datastage学习文档 - 图文(10)

工作总结 2007 DBMSTYPE = ODBC Note: 一般情况下Project directory下也要放置一个uvodbc.config,默认情况

下,DataStage在Projects directory下寻找uvodbc.config文件,找到了就在工程目录里使用它，否则会到$DSHOME下寻找uvodbc.config文件。

14

ETL系统扩展

当系统资源不足时,有两种方式扩展系统性能:SMP和MPP

1. SMP和MPP的区别

SMP是均衡的多处理系统,增加的CPU和Memory被所有的Project共享,好处

是扩展实施简单,只需修改Config File;缺点是受机器Time Window的限制,最高可扩展到64 CPU.

MPP是多数据量的并行处理系统,扩展的服务器与原服务器之间没关系,CPU

和Memory各自独占, 分别独立运行; 扩展的服务器与原服务器基于应用的工作量，将应用分别分配到两台机器独立运行.

2. 两种扩展方式可结合使用: 当SMP的扩展超出极限，选择MPP作为补充,即

应用切分扩展 3. 共有三种方式扩展MPP系统，前提是：每两台机器间通过Rsh交互；每台机器

都必须创建相同的dsadm用户及dstage主组；每台机器上的安装路径或者挂载路径必须完全一致。

? 扩展节点安装一套新的Datastage服务器，通过修改Configuration File和

原有的DataStage服务器组成MPP系统。 ? 使用$install_dir/install/ copy-orchdist脚本复制Datastage Engine到新的

扩展节点，修改Configuration File加载新的节点。 ? 通过NFS共享已有的Datastage目录，使新扩展的节点可以访问到

DataStage目录。修改configuration file添加新的节点。

15 Remote Shell (rsh)的配置

sisiu056, sisiu057, sisiu058, sisiu060四台机器任意两台之间都相互信任（即rlogin都可以成功），相互之间都可以通信,任意两个结点之间可以不需要密码，通过rsh执行命令或者登陆，主要涉及到两个文件的修改: .rhosts文件和 hosts.equiv文件。

14.1 创建并配置 .rhosts文件

Individual 2007-10 46 /

65

工作总结 2007 ? 用户以qdb01登录sisiu056, sisiu057, sisiu058, sisiu060中的任意一台机器。 ? 在/home/qdb01目录下创建名为.rhosts的文件。

vi /home/qdb01/.rhosts

? 将如下内容填加到.rhosts文件中。

sisiu056 qdb01--------hostname username sisiu057 qdb01 sisiu058 qdb01 sisiu060 qdb01

14.2 修改/etc/hosts.equiv文件

将如下内容分别追加到sisiu056, sisiu057, sisiu058, sisiu060四台机器的/etc/hosts.equiv文件末尾。

sisiu056 qdb01 sisiu057 qdb01 sisiu058 qdb01 sisiu060 qdb01

运行rlogin hostname命令查看rsh是否配置成功。

16 dsadmin命令的使用

15.1 dsadmin命令的使用

登陆DataStage服务器,输入:cd $DSHOME/bin;在输入dsadmin 回车,进入dsadmin命令;

Command Syntax:

dsadmin [-file | [-server ][-user ][-password ]] []

Valid primary command options are: -createproject -deleteproject -oshvisible -enablercp

-enablejobadmin -envadd -envdelete

Individual 2007-10 47 / 65

工作总结 2007 -envset -advancedruntime -basedirectory -deploymentdirectory -customdeployment -listprojects -listproperties -listenv

-enablegeneratexml

命令 -createproject -deleteproject -oshvisible -enablercp -enablejobadmin -envadd 命令说明 创建一个工程Project 删除一个工程Project 使产生的OSH代码可见 使RCP有效或失效 使JOB处于可管理状态 增加环境变量，也即可作为JOB的参数 语法 dsadmin -createproject [-location ] dsadmin -deleteproject dsadmin -oshvisible TRUE | FALSE dsadmin -enablercp TRUE | FALSE dsadmin -enablejobadmin TRUE | FALSE dsadmin -envadd -type STRING | ENCRYPTED -prompt \ -envdelete -envset -advancedruntime -basedirectory 删除环境变量 设置环境变量的值 dsadmin -envdelete dsadmin -envset -value \dsadmin -advancedruntime \runtime options>\dsadmin -basedirectory dsadmin -deploymentdirectory dsadmin -customdeployment \deployment commands>\dsadmin -listprojects dsadmin -listproperties -deploymentdirectory -customdeployment -listprojects -listproperties 显示一台机器上所有的工程名 显示一个工程的属性，包括OSHVisible=1 JobAdminEnabled=1 RTCPEnabled=1 PXAdvRTOptions= PXRemoteBaseDirectory= PXDeployJobDirectoryTemplate= PXDeployCustomAction= Individual 2007-10 48 / 65

工作总结 PXDeployGenerateXML=0 -listenv -enablegeneratexml 显示一个工程的所有环境变量 是否产生XML dsadmin -listenv dsadmin -enablegeneratexml TRUE | FALSE 2007

12.2 自定义环境变量的使用

在datastage中，使用Sequential_File的时候需要对NULL值做处理，但是前提是要在DataStage Administrator中的user defined中添加一个环境变量 Name: APT_IMPEXP_ALLOW_ZERO_LENGTH_FIXED_NULL Type: string Value: 0

17 如何启动JobMonApp

进入/Ascential/DataStage/PXEngine/java目录，或$APT_ORCHHOME/java,输入命令：sh jobmoninit 来启动JobMonApp

注：$APT_ORCHHOME是并行引擎的目录

18 DS.TOOLS

先进入 cd $DSHOME/bin

然后用uvsh命令进入到tcl语言界面，如下：

Individual 2007-10 49 /

65

工作总结 2007 然后用LOGTO SGMINF_MQ 命令登录到project SGMINF_MQ的目录 然后输入DS.TOOLS命令就可以进入到DS.TOOLS对话框界面了，如下：

注意：退出的时候要先按‘回车键’，然后输入‘Q’再回车就可以了！

DS.TOOLS所包含的内容如下：

DataStage Tools Menu

1. Report on project licenses

2. Rebuild Repository indices ----------重建索引 3. Set up server-side tracing 4. Administer processes/locks 5. Adjust job tunable properties ………….

Which would you like? ( 1 - 5 ) ?

Individual 2007-10 50 /

65