基于Python的手机舆情系统

基于Python的手机舆情系统设计与实现

摘 要

系统主要就是针对手机行业文章进行抓取并分析统计，根据用户定义关键词在数据库中全文搜索匹配相应文章，然后给用户进行展示，为用户提供便利。

系统利用Python urllib对权威手机资讯网站进行网页抓取，然后用Python re包和正则表达式在网页中匹配到相关数据，再用Python w3lib.html去掉页面中臃肿的html标签。进行网页提纯，并利用MySQL进行存储。系统后台运用Python flask进行开发实现，前端则运用html、css、javascript、jquery进行开发并实现简单的页面交互。利用Python和Sublim工具对系统的页面和服务器进程编程和部署，系统主要是服务器端入手建立基本的前后调一体化流程。系统主要有自定义频道、自定义栏目（同时设置栏目关键词）、查看更多等功能，用户在栏目中查看根据关键词匹配到的文章列表。

关键词：舆情 手机资讯

The Design And Implementation Of Mobile Public Opinion

System Based On Python

Abstract

I

System is mainly aimed at the mobile phone industry articles to grab and analysis of statistics, based on user-defined keywords full-text search matching corresponding articles in the database, and then to users to display, provide convenience for the user.

System USES Python urllib cell phone information to web sites for authority to grab, and then use Python re package and regular expression matching to the relevant data in the web page, then use Python w3lib. The bloated HTML tags in HTML to remove page for web data refinement, and deposited in the MySQL database for storage.Systems use Python flask framework for development background, front end uses HTML, CSS, javascript, jquery interaction to develop and implement a simple page.Using Python and Sublim tools page on the system and the server process programming and deployment, before and after the system is mainly the server side of the basic integration process.Channel system mainly include custom, custom columns (at the same time set up keywords), read more, and other functions, users in the section view based on keyword matching to the list of articles.

Key words: Public opinion Phone information

II

目 录

前 言 ................................................. 1 第1章 课题研究背景与价值 ............................... 2

第1.1节 选题的意义与价值 ............................ 2 第1.2节 研究综述 .................................... 3 第1.3节 课题的研究意义与目的 ........................ 3 第1.4节 研究范围与内容 .............................. 4 第2章 手机舆情系统技术的概况 ........................... 7

第2.1节 系统开发环境 ................................ 7 第2.2节 系统开发技术 ................................ 8 第3章 系统数据采集与存储 ............................... 10

第3.1节 系统数据的采集 ............................. 10 第3.2节 系统数据的存储 ............................. 11 第4章 系统功能设计与实现 ............................... 16

第4.1节 用户登录 ................................... 16 第4.2节 自定义频道 ................................. 18 第4.3节 自定义栏目 ................................. 20 第4.4节 爬虫设计与实现 ............................. 24 第4.5节 系统数据库结构 ............................. 24 第5章 系统测试 ......................................... 27

III

第5.1节 系统测试目的与意义 ......................... 27 第5.2节 测试过程 ................................... 27 第5.3节 其他错误 ................................... 29 结 论 ................................................ 32 附 录 ................................................ 34 参考文献 ................................................ 37 致 谢 ................................ 错误！未定义书签。

IV

前 言

伴随着计算机技术，通信技术的发展，网络的规模也越来越大，互联网多元素也随之不断的添加。随着互联网的快速发展，网络已经是成为了一种新的信息传播形式，已经潜移默化的影响着人们的日常生活。网友活跃言论已经达到超前卫的程度，不论是国内大事件还是国外新鲜事件，都能马上参与进来发表言论，通过网络来表述论点、言论思想，从而产生非常大的舆论压力，达到任何单位都没有办法忽略的地步。那么网络舆情早已经悄悄的进入到了我们的生活。

用来调侃那些每天都抱着手机过日子的人们段子在网上为数不少，这正成为许多人的真实写照。目前手机基本上已经离不开人们的生活了，手机可以能让一个人的生活变得“充实”而不单调。随着手机越来越智能化，功能也越来越多元化，在生活上也给予我们带来了极大的便利，手机正在成为大多数人生活中“接触最频繁的人”。在这里不过多评价对于手机改变了我们生活的利与弊。我们主要想说的是，既然我们队与手机如此的依赖。那对于我们购买手机的要求条件越来越苛刻。不仅是对它打电话、发短信等的基本功能的要求，还要通过品牌、配置、性价比等综合因素考虑。于是我们花费大量的时间在网上搜索关于手机的各种配置信息、用户评论、性能分析等等。尽管我们花费了大量的时间来搜集相关信息，然而大多数的情况，我们还是找不到我们真正需求的内容来供我们进行参考。

然而这个平台就是为你量身定做，我们在各大购物网站来搜集手机销量做统计，在各大手机权威平台网站做最新资讯的采集。从而精确、条理的展现在你的面前，进而解决我们最初的需求。人工智能就是大量数据的采集与分析从而的得到的产物。我们也应该追寻时代的脚步来满足我们的需求。

1