人口统计数据仓库的设计与实现

人口统计数据仓库的设计与实现

计算机科Ｓ／：２００３Ｖ０１．３０Ｎ９．１０（增刊）

人口统计数据仓库的设计与实现¨

ＴｈｅＤｅｓｉｇｎａｎｄＡｐｐｌｉｃａｔｉｏｎｏｆＰｏｐｕｌａｔｉｏｎＳｔａｔｉｓｔｉｃＤａｔａ

Ｗａｒｅｈｏｕｓｅ

杨文川１郁文生２黄涛３

（北京邮电大学电信工程学院（北京大学光华管理学院

Ａｂｓｔｒａｃｔ

Ｔｈｉｓ

ｉｎｔｅｎｄｅｄ

ｅｘｐｌｏｒｅｔｈｅ

ｃｏｎｓｔｒｕｃｔｉｏｎ

北京１００８７６）１北京１００８７１）３

（中国科学院自动化研究所复杂系统与智能科学实验室北京１０００８０）２

ｐａｐｅｒｉｓ

ｔｏ

ａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｄａｔａｗａｒｅｈｏｕｓｅｔｅｃｈｎｏｌｏｇｙｉｎｐｏｐｕ—

ｅｘ－

ｌａｔｉｏｎｓｔａｔｉｓｔｉｃＩｔ

ｐｒｅｓｅｎｔｓ

ｔｈｅｂｕｉｌｄｉｎｇｏｆＰｏｐｕｌａｔｉｏｎＳｔａｔｉｓｔｉｃＤａｔａ

ａ

ＷａｒｅｈｏｕｓｅＳｙｓｔｅｍ（ＰＳＤＷＳ），ｉｎｃｌｕｄｉｎｇｄａｔａ

ｍａｒｋｅｔａｎａｌｙｓｉｓａｎｄｆｏｒｅｃａｓｔ．Ｔｈｅ

ｐａｐｅｒ

ｔｒａｃｔｉｏｎａｎｄｃｈｅｃｋ—ｕｐ．ｄａｔａｎｏｒｍａｌｉｚａｔｉｏｎ。ａｎｄ

ｍｅｃｈａｎｉｓｍｔｏｓｕｐｐｏｒｔａｌｓｏ

ｓｕｍｍａｒｉｚｅｓｓｏｍｅｂａｓｉｃｒｅｑｕｉｒｅｍｅｎｔｓｆｏｒａｐＤｌｙｍｇｄａｔａｗａｒｅｈｏｕｓｅｉｎｐｏｐｕｌａｔｉｏｎｓｔａｔｉｓｔｉｃｉｋｌｄｓａｎｄｒｅａｌｉｚｅｄｍｆｅｎｇＤａｔａＫｅｙｗｏｒｄｓ

Ｗａｎ—

Ｗａｒｅｈｏｕｓｅ．

Ｐｏｐｕｌａｔｉｏｎｓｔａｔｉｓｔｉｃｄａｔａ

ｗａｒｅｈｏｕｓｅ．Ｍｅｔａｄａｔａ

１．引言

我国人口统计自８０年代以来，通过三次全国人口普查，五年一次的１％人口调查和每年的１‰人口变动情况抽样调查．已经形成了比较完善的人口统计调查体系，第五次人口普查是世纪之交最重要的一次国情调查，不仅反映我国人口规模、分布、结构、流动等人口态势量的方面，还将从受教育程度、所从事的行业、职业、人民居住水平等视角，描绘出我国人口在质的方面变化。

这种变革将深刻地影响我国人口数量、结构和分布的变化，出现了人口增长速度减缓、流动人口增加、人户分离突出、人口结构向老龄化转变、人口受教育程度提高、城市化进程加快、就业方式日益活跃、就业压力增大等多种现象。反过来，人口的这种变化又必将影响着社会经济的发展。因此，建立人口数据仓库是深层次分析研究人口与社会可持续发展的要求。

因此，建立一个面向ｚ１世纪的反映人口数量、人口结构和人口素质的统计数据信息平台是非常重要和非常必要的。

向上看，数据库技术大致划分为两大类：操作性处理和分析性处理（或信息性处理）。数据仓库的经典概念由ｗ．Ｈ．Ｉｎｍｏｎ于１９９２年最早提出：“数据仓库是２０世纪９０年代信息技术构架的新焦点，它提供集成化和历史化的数据，集成种类不同的应用系统，数据仓库从事物发展和历史的角度来组织和存贮数据，以供信息化和分析处理之用。”

我们设计的人口数据仓库系统分为源数据、仓库系统和分析模型系统三个部分：

（１）源数据库：数据主要来自调查数据库。（２）数据仓库系统：数据仓库建设是利用数据仓库制作和设计工具，将相关的数据从调查数据库内集中到数据仓库。

（３）数据展示和联机分析系统：在仓库数据基础上，将分析所需的数据形成分析数据集市．选择分析、预测模型，进行分析、推算。最后，将分析结果由在线分析软件和报表传递给分析用户。

系统的结构和数据流程如图１所示。２．１源数据库 原始数据与源数据

人口统计的原始数据是

指普查和调查处理后的数据，它包括微观数据和宏观汇总数据。具体有：第五次人口普查数据；第四次人口普查数据；１％人口抽样调查数据；历年人口变动调查数据；局内统计报表制度内的相关数据；公安年报统计相关数据；计划生育部门的统计相关数据。

数据仓库的源数据是对原有数据的再整理，整

２．人口数据仓库的设计

统计信息化建设的核心是统计信息的应用和管理，数据库是信息存贮和管理的重要形式。数据库是计算机管理和处理信息的主要应用技术。从应用方

＊）本文研究得到国家自然科学基金“６０２０４００６”项目资助．杨文川博士，副教授．硕士生导师，主要从事数据仓库和决策支持系统的研究；郁立生博士．副研究员，博士生导师．主要从事数据挖掘．复杂系统与智能科学领域的研究；黄涛博士后．副教授，主要从事宏观经济领域决策支持系统的研究．

１５４

人口统计数据仓库的设计与实现

理的内容包括：对原始数据的统计指标口径调整后的汇总或测算。如：“四普”数据按“五普”口径进行汇总，产生新的数据；存贮格式的规范化。“五普”数据是Ｏｒａｃｌｅ数据库管理，其他数据为ＦｏｘＰｒｏ数据库或文本文件形式。

统计指标厦报表制度描述的规范化与无数据

范畴。规范统计指标描述，建立统计元数据库，也是统计信息化的基础建设。

建立和完善源数据库、元数据库是数据仓库建设的基础，将原始数据整理成源数据也是重要的数据管理和整理措施，其处理环境和程序系统是仓库建设的重要内容。其主要业务理论基础是人口统计学，社会经济统计学，它是源数据指标体系的理论基

础。

库建设原始数据被整理成源数据是根据《国家统计报表制度》中的统计指标描述。描述对数据特性的数据称之为元数据。统计指标描述就属于元数据的

源数据库

剽圣吕麟数辩匿』ｋ』叶

ｌ＿＿＿Ｉ◆

数据仓库

睡１．∈二商磊耥回

ＩＩＩＩＩｌｌ◆麓ｌｌ嚣嘉｝

人口理论薏靼照Ｉ

主暨糯１

翟摊ｌ元鲣ｌ

担台鲤｛

．１

鹰昌函ｉ戽司ｌｌ品劣蒜嚣盛Ｉ

ｌ鹄港器鉴嚣饕警Ｉ『ｍ《ｍＩｎｍＨ“叫ＬＬ———Ｊ

！！

ｌ国家统计…

１调套制度…

犷ｉ穗湍藩］

：ｌ！Ｉ

：炎昌潞：怨’目“

图１人口统计数据仓库系统结构和数据流图

２．２数据仓库

数据仓库中的主题数据与提取依椐数据仓库中的数据是按分析研究的主题，从源数据库中抽取的，它是被研究的系统主体随时间的变化，按照某种规律的展示其特征。主题指标的确定则根据对研究问题的主体变化规律的刻画。在数据形式上，是对研究问题的一些信息集合一主题表。对于不同的研究主体，对应的主题数据的描述也是不一样的。

数据仓库的主题数据是对事物发展变化的客观反映。它不仅可以来自于统计调查，而且可以来自于科学的测算联合核算。如研究人口总量与人口结构主题，则分时问、分地域（按省、市、县）的反映人口数量、人口结构和人口素质的统计信息成为仓库的主题数据。

主题数据的抽取与转换主题数据从源数据库中提取的自动转换，保证了数据仓库的更新机制。一个源数据库，往往可以对应若干个不同研究主题的数据仓库。确定数据仓库数据主体的业务理论基础是人口理论、社会学、经济学等社会科学理论，人们对人口与社会发展变化规律的研究成果，是建立科学、有效的数据仓库主题的重 …… 此处隐藏：5044字，全部文档内容请下载后查看。喜欢就下载吧 ……