用户行为分析系统技术建议书(2)

信利宽带用户行为分析系统技术建议书

信息

行为

用URL, 过滤掉 图片等无用信 息， 并能够支持 进行过滤， 同时 可以进行信息 简单统计， 上传 指定数量信息 (TOP N 机 制)

TOP N值 可支持动 态给定

采集用户 搜索关键 字信息

08PN03-SRS-BHCOLL ECT-F04

1.0

可以获知 用户所关 心信息

获得用户使用 baidu

、google, 先仅记录 yahoo等主要搜 页面搜索 索引擎进行搜 信息， 其他 索的关键字信 分类搜索 息， 并且需要进 暂不考虑 行相关字符的 解码处理 获得用户机器 中启动的进程 名称和使用时 长 过滤掉系 统相关的 进程

采集用户 使用进程 信息

08PN03-SRS-BHCOLL ECT-F05

1.0

可以获知 用户日常 使用程序 的信息 可以获知 用户喜 爱，同时 可验证用 户分类正 确性 为针对性 营销提供 目的地

采集用户 收藏夹信 息

08PN03-SRS-BHCOLL ECT-F06

1.0

获取用户收藏 夹相关信息

采集用户 对应的邮 箱地址信 息

08PN03-SRS-BHCOLL ECT-F07

1.0

采集获取用户 WEB 邮箱 所对应的软件、 可以仅选 WEB 等邮箱地 常用邮箱 址信息 例如用户访问 网站是否收费， 访问流量较多 可以逐步 的前多少 IP, 添加细化 P2P\VOIP 信息 等 上传过程 需要进行 将用户信息上 加密， 防止 传，进行汇总、 采集行为 分析 被用户感 知， 同时尽6 西安信利软件科技有限公司

其他采集 信息

08PN03-SRS-BHCOLL ECT-F08

1.0

其他反映 用户行为 信息

采集信息 上传

08PN03-SRS-BHCOLL ECT-F09

1.0

将用户信 息上传， 进行汇 总、分析

宽带用户行为分析系统

信利宽带用户行为分析系统技术建议书

量做到压 缩上传， 减 少通讯数 据量 如果上传 前压缩， 则 接收到数 据之后需 要解析。

信息 汇总 存储

采集信息 接收

08PN03-SRS -BHSTORE-F01

1.0

接收采集 信息

获得采集插件 上传信息

采集行为 信息入库

08PN03-SRS -BHSTORE-F02

1.0

保存行为 信息

将接收到的采 集信息进行保 存 根据行为特征 划分不同的类 别 参见附录 中的用户 行为分析 模型设计 文档

分类模型 建立

08PN03-SRS -BHANALYSIS-F01

1.0

为分类提 供前提

分类相关 特征库形 成

08PN03-SRS -BHANALYSIS-F02

1.0

为用户分 类、行为 统计等提 供数据依 据

根据分类模型， 形成 URL,搜 特征库需 索关键字， 进程 要长时间 等各类的特征 逐步完善。 库， 为进行自动 分类提供依据。 根据已过滤库、 网页标题等信 息将原始行为 数据进行过滤， 并以特定的格 式进行保存。 依据分类特征 库， 对用户行为 数据进行分类 并保存分类结 果 根据用户的行 为数据及其分 类， 将用户进行 分类并保存分 类结果 根据用户行为 信息和类别， 挖 掘用户其他感 兴趣类别7 西安信利软件科技有限公司

信息 挖掘 统计

数据清洗 转换

08PN03-SRS -BHANALYSIS-F03

1.0

丢弃无用 信息数据

应用分类

08PN03-SRS -BHANALYSIS-F04

1.0

对用户行 为进行分 类

用户分类

08PN03-SRS -BHANALYSIS-F05

1.0

对用户进 行分类

用户聚类 分析

08PN03-SRS -BHANALYSIS-F06

1.0

判定用户 类别

宽带用户行为分析系统

2.5. 运行环境

操作系统

采集插件 Windows XP及以上中文简体操作系统 服务器 WINDOWS2003 或linux系统 数据库 DB2或ORACLE

系统支持语言 中文

宽带用户行为分析系统

3.

系统总体架构

3.1. 系统目标

本系统的主要目标是，通过分析用户的计算机行为（主要是上网行为），来确定用户的

类型（喜好、兴趣等），从而实现对用户进行群分，并可将具有相同喜好的用户进行聚类，对不同类型的用户进行定向的营销和广告推送等商业活动。

用户的行为主要包括用户计算机安装软件、访问的URL、搜索的关键词、经常使用的软

件等等，系统的采集模块采集到这些数据后，由分析处理模块进行聚类、分类等的处理后，再将用户划分为不同的群体，并由系统的展示模块展示分群结果。

3.2. 技术方案说明

本系统的特点是以数据为中心，进行相关的采集、分析处理工作。因此数据采集、数据

存储以及数据的分析处理，都是要重点考虑的技术问题。下图为相关的数据流图：

用户基本信息

插件采集以太网以太网报文报文

计算机配置信息WEB访问信息VOIP信息P2P信息

XMLXML

形式形式组织组织上传统计分析数据汇总存储存储

数据数据

仓库仓库

数据挖掘统计统计

结果结果

进行进行

展现展现

系统主要由信息采集、信息汇总存储、信息挖掘统计、系统展现输出几大部分组成，各

部分相关描述为：

数据采集：

以插件（动态链接库）的方式内嵌到星空极速拨号客户端中，在用户上网过程中采集用户相关的行为数据。

宽带用户行为分析系统

上网行为数据采集基于网络嗅探的方式进行实现，利用WinpCap抓取用户的上网数据，如访问URL，搜索关键字等信息

用户其他行为信息，如包括进程快照，硬件、软件配置等信息，则利用Windows相关的API进行获取。

信息汇总存储：

借助TCP/IP协议，信息采集插件在用户每次上线后，将上次上网的相关行为信息以XML的形式组织上传；信息汇总存储部分，将采集插件上传的信息进行解析，并按照内容存储在数据仓库中的不同表中，供后续的统计挖掘使用。

同时出于系统容量的考虑，系统会定期的清理无用的历史数据，从而减少整体数据量，提供系统的分析、处理性能。

系统展现输出

该部分的主要目的是将系统相关的统计分析数据简单直观的展现给用户，展现方式有WEB、报表等形式，展现相关数据主要从数据仓库中提取。

3.3. 网络拓扑图

宽带用户行为分析系统

3.4. 网络拓扑说明

装有采集插件的客户端在使用过程中进行信息采集，并会在适当时间将采集的信息上报给后台业务服务器，业务服务器接收到采集信息之后，会进行简单处理，然后将行为数据放入到数据仓库中。

统计服务器根据数据仓库和行为特征库定期将用户的行为数据进行分类，并根据应用分类的结果对用户进行分类，同时进行一定的热门统计、数据挖掘等工作。

发布服务器以web、报表、接口等多种方式将用户分群、汇总统计、模型输出等相关数据信息进行呈现。

3.5. 系统整体结构图

宽带用户行为分析系统

该结构图中信息采集包括了旁路分光采集、客户端插件采集和其他来源，在现阶段，仅仅考虑客户端插件采集的方式。

3.6. 系统中各服务器介绍

系统中的服务器主要有信息汇总服务器，数据仓库服务器，信息统计分析服务器，信息发布服务器等服务器组成。各服务器介绍如下：

信息汇总服务器

宽带用户行为分析系统

该服务器主要作用是将插件采集的信息进行汇总、保存。 数据仓库服务器

…… 此处隐藏：2678字，全部文档内容请下载后查看。喜欢就下载吧 ……