银行的数据仓库ODS历史库的区别

银行的数据仓库ODS历史库的区别

银行的数据仓库、ODS、历史库的区别和联系

By hooyang 2013.11.7 xi’an

（一）、什么是ODS

面向主题的、集成的、不断变化的、当前或接近当前的数据集合，用来满足企业综合的、集成的以及操作型的处理需求。

通过统一规划，规范框架和数据，ODS可以实现操作型数据整合和各个系统之间的数据交换，能够提供实时的操作型报表，减轻数据仓库的负担。常常被作为数据仓库的过渡。

系统应用集成中一般对各系统中数据分为两类：操作型数据,有细节化，分散化的特点；决策型数据，有综合化，集成化的特点。

数据仓库概念的提出也把数据处理划分为了操作型处理和分析型处理两种不同类型，从而建立起了DB-DW的两层体系结构。但是有很多情况，DB-DW的两层体系结构并不能涵盖企业所有的数据处理要求,比如有些实时性决策问题,它要求获取数据周期不能太长,而且也需要一定程度的汇总。信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS（操作型数据存储）的出现。它像DW一样是一种面向主题，集成的数据环境，又像操作型DB一样包含着全局一致的、细节的当前的数据。这样就构成了DB-ODS-DW的关于企业数据的三层体系结构。

ODS是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征。

（二）、下面对数据仓库、ODS和数据库进行多方面的比较：

银行的数据仓库ODS历史库的区别

（三）、应用集成方案比较

ODS技术的引入和应用，为企业在日常经营中进行实时OLAP提供了一种解决方案，使得企业无须建立一个“臃肿”的DW，就可以进行一些非战略性的中层决策，来实现对企业的日常管理和控制，同时也能获得较快的响应速度。

（四）、DW/ODS/历史库区别：

数据仓库:根据通用的数据仓库模型，来构建的用于数据分析的数据库。他是通用的，模型化的，可以扩展的。不同厂商提供的模型有差异，银行内TD 与 IBM 在这块比较多。

ODS:根据不同的主题，或者说不同的应用，来构建的数据库。比

银行的数据仓库ODS历史库的区别

如说：risk,crm之类，有点针对应用出发来做的。或者说，有时候银行是先有ODS，后有数据仓库的。

历史库:历史库与数据仓库最大的差别，历史库顾名思义就是历史数据的存放，一般来说，数据就是最原始的数据，不作任何的加工。而数据仓库要根据模型来做数据ETL。历史库往往用于应用数据查询，如：网银历史查询，以及一些监管要求数据没有作过任何加工修改过时使用。

（五）、操作数据存储（ODS）与数据仓库（DW）的区别：

数据仓库其实就是为满足查询、分析、决策等应用功能需求而发展出的一套软件实施方法论，ODS只是这套方法论中为了满足部分即席查询、实时报表分析、ETL抽取数据快照定义而给出的实施方法。

ODS是介于DB和DW 之间的一种数据存储技术，和原来面向应用的分散的DB相比，ODS中的数据组织方式和数据仓库（DW）一样也是面向主题的和集成的，所以对进入ODS的数据也象进入数据仓库的数据一样进行集成处理。另外ODS只是存放当前或接近当前的数据，如果需要的话还可以对ODS中的数据进行增、删和更新等操作，虽然DW中的数据也是面向主题和集成的，但这些数据一般不进行修改，所以ODS和DW的区别主要体现数据的可变性、当前性、稳定性、汇总度上。

简单说ODS只是业务数据库的一个备份或者映像，ODS中的数据也尽量不做转换，而是原封不动地与业务数据库保持一致，目的是为了使数据仓库的处理和决策支持要求OLAP（联机分析处理）与OLTP

银行的数据仓库ODS历史库的区别

（联机事务处理）系统相隔离，减少决策支持要求对OLTP系统的影响。

为什么需要有一个ODS系统呢？一般在带有ODS的系统体系结构中，ODS都具备如下几个作用：

1） 在业务系统和数据仓库之间形成一个隔离层；

2） 转移一部分业务系统细节查询的功能：

ODS的数据从粒度、 组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力；

3） 完成数据仓库中不能完成的一些功能：

数据仓库从宏观角度满足企业的决策支持要求，而ODS层则从微观角度反映细节交易数据或者低粒度的数据查询要求。

经过上面对一些概念的描述，我一直在想，我们当前的电子银行项目或给其他行开发的基于ODSB开发的项目是DW吗？我们面对的是客户提出的几十甚至上百张的报表需求，项目完成的是以几个业务主题建设的数据仓库吗？如果是数据仓库，那提供用户灵活的多维立方体、OLAP（联机分析处理）分析中那里？这些问题经过思考过后，我总结得出：虽然提供给用户的是一大堆各种各样的报表，但是数据仓库的架构是存在的，首先在数据准备区（数据平台）中建立一致性维度、建立一致性事实的计算方法；其次在一致性维度、一致性事实的基础上逐步建立数据集市，这个为电子银行部提供的其实就是一个数据集市，我们在这个数据集市上产生了业务报表，如果客户需要，完

银行的数据仓库ODS历史库的区别

全可以创建几个如“渠道签约分析”、“渠道交易分析”等业务主题，再通过Cognos工具产生对应的多维立方体，提供管理层用户上卷、下钻等数据分析。这样我们以后为其他部门每次增加数据集市，都会在数据准备区整合一致性维度，并将整合好的一致性维度同步更新到所有的数据集市。这样，建立的所有数据集市合在一起就是一个整合好的数据仓库。这种数据仓库架构（自下而上）具有逐步建设的特点，它的开发周期比其他架构（自上而下）方式的开发周期要短，风险和相应的成本也要低。

其实数据仓库的建设还有一种“企业信息工厂”（自上而下）的实现方式是，首先进行全企业的数据整合，建立企业信息模型，即EDW。对于各种分析需求再建立相应的数据集市或者探索仓库，其数据来源于EDW，原子层给建立OLAP带来一定的复杂性，但是对于建立更复杂的应用，如挖掘仓库、探索仓库提供了更好的支持。这类架构的建设周期比较长，相应的成本也比较高。用户在短时间看不到想要的结果。