增量ETL开发方案一

增量ETL开发方案（一）

根据PMS新增退运模块开发ETL增量的抽取所有设备表的数据：

1.需求分析：

PMS新增退运模块对四个主表及设备本体表新增，修改，退运； 开发ETL抽取所有设备表及四张主表新增及修改的数据，将退运的设备关联的T_LOGIC_DEV_DICT 表中的YXZT置为4。

2.初步方案：(采用日志表方式)

工具：Informatica PowerCenter

一、创建业务日志表：在数据库中创建业务日志表（T_DEV_XZTY_LOG）

-- Create table

create table T_DEV_XZTY_LOG

(

TABLE_ID INTEGER not null,

TABLE_NAME VARCHAR2(50) not null,

GDJDM VARCHAR2(32),

INSERT_TIME DATE default SYSDATE

)

tablespace PMSDS

pctfree 10

initrans 1

maxtrans 255

storage

(

initial 64

minextents 1

maxextents unlimited

);

-- Create/Recreate primary, unique and foreign key constraints

alter table T_DEV_XZTY_LOG

add constraint T_DEV_XZTY_LOG_PK primary key TABLE_NAME) (TABLE_ID,

using index

tablespace PMSDS

pctfree 10

initrans 2

maxtrans 255

storage

(

initial 64K

minextents 1

maxextents unlimited

);

Sources：PMSDJX/123456@122中所有的设备表

Targets1：T_DEV_XZTY_LOG

Mappings：（如下图）

图(1):

通过该步骤比较PMSDJX中设备表中的数据和PMSSJ中设备表中的数据，将PMSDJX中存在而PMSSJ中不存在的数据ID和TABLE_NAME存入表 T_DEV_XZTY_LOG；

二、

（1）新增的设备

Sources1：PMSDJX/123456@122中所有的设备表

Sources2：T_DEV_XZTY_LOG

Targets：PMSSJ/123456@122中与Sources1对应的所有设备表

Mappings：Sources1中的表ID与 Sources2中的表的TABLE_ID相关联作为源，抽取条件为:

Sources1.ID=Sources2.TABLE_ID

AND

Sources2.TABLE_NAME=’设备表名称’;

其他组件（Lookuo、Filter、Update等组件）的使用参考图(1)；

（2）更新的设备

Sources1：PMSDJX/123456@122中所有的设备表

Sources2：T_EDIT_SUBDEV_INFO

Sources3：T_EDIT_SUBDEV_INFO_SUB

Targets：PMSSJ/123456@122中与Sources1对应的所有设备表 Mappings：Sources2中的表ID与 Sources3中的表的MID相关联作为源，抽取条件为:

Sources2.TABLE_NAME=’设备表名称’

AND

Sources3.FINISH_DATE>SYSDATE — 1;

其他组件（Lookuo、Filter、Update等组件）的使用参考图(1)；

三、ETL Workflows的创建（详细步骤略）

该步骤的关键是源与目标及LOOKUP组件的数据源的选择