数据仓库技术

　　数据仓库之父William H. Inmon在1991年出版的“Building the Data Warehouse”一书中提出：“数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。”数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。

　　图2是斯坦福大学“WHPS”课题组提出的一个数据仓库基本体系结构模型。事实上，我们目前所研究的任何一种相对复杂的数据仓库结构，都是由此基本结构发展而来。此结构的基本组成包括：

　　1. 外部数据源。为数据仓库提供最底层的操作数据库系统；

　　2. 监视器。负责感知外部数据源发生的变化，并按设定的需求抽取相关数据；

　　3. 中间集成器。将从操作数据库中抽取经过清洗、转换、加载等操作的数据，集成到数据仓库中；

　　4. 数据仓库。存储经过清洗、转换后的干净数据供分析处理用。根据不同需求，数据能够按不同深度进行存储。数据仓库中还存储元数据，元数据记录了数据的结构和数据仓库的变化等重要信息；

　　5. 客户应用。供用户对数据仓库中的数据进行访问查询，并以直观的方式展示分析结果。

　　构建数据仓库通常采用CLDS方法。所谓CLDS方法，是指与传统的数据库系统设计方法SDLC(Systems Development Life Cycle)截然相反的一种设计方法。通常，我们也把这种从已有数据出发的数据仓库设计方法称为“数据驱动”的系统设计方法。“数据驱动”的系统设计方法不再是面向应用的，而是从应用需求出发。这些工作已经在数据库系统设计时完成，其成果就是现有的数据库系统及其在数据库系统中的数据资源。数据仓库的设计其实就是从这些已有的数据库系统出发，按照分析领域对数据及数据之间的联系重新考察，组织数据仓库中的主题。

　　为了解决数据仓库架构的选择问题并清除所有的干扰，人们制定了DW2.0(全称是Data Warehousing 2.0)。DW2.0中有很多重要的构架特征。这些构架特征代表了DW2.0相对于第一代数据仓库在技术和构架上的进步：

　　1. 认识到数据仓库中数据的生命周期，按照数据的访问概率设立了仓库分区；

　　2. 认识到元数据的重要性，并按实际需要采取不同的方式进行存储；

　　3. 对于非结构化数据有了更好的处理方法。