城市规划与研究中的开放数据(大数据)获取方法及应用分析技术
Experimental center of City Experience、simulation and analysis,XAUAT
数字城市空间分析技术与数据增强设计培训系列课程(五)
城市规划与研究中的开放数据(大数据)获取方法及应用分析技术
主讲人:郑晓伟(@郑晓伟_XAUAT)西安建筑科技大学建筑学院城乡规划系西安建筑科技大学·城市体验、模拟与分析实验中心
2015年9月2日
内容介绍 开放数据(大数据)的相关基础知识 运用互联网数据进行城市规划及分析所使用的主要工具及流程 案例:运用“大众点评网”数据对西安市城市公共中心体系空间专业化
与功能分异判别研究 了解大众点评网(西安餐饮、商业、娱乐、金融、社区等板块)的网页结构 运用火车采集器分类采集网页数据信息 坐标系统转换(WGS火星经纬度坐标→城市XY坐标) 将参照点(XY坐标)文件导入ArcMap并进行预处理 数据空间分布特征空间分析及可视化表达 研究结论以及对西安市总体规划中各级公共中心的优化与专业化发展调整建议
开放数据(大数据)运用于城市规划的局限性及展望
开放数据和大数据的区别开放数据:商业网站(大众点评、安居客等)数据、地图开放平台数据、社交媒体(新浪微博)数据、政府政务公开数据等大数据:手机信令数据、浮动车数据(例如车载GPS、公交刷卡、地铁刷卡)等
大数据(近似全样本数据)
开放数据(非全样本数据)
对于大部分建筑学背景的城市规划师(计算机基础≠0,编程基础=0,网络知识基础=0,数理统计基础≈0,…)来讲,如何通过一定的手段获取各类开放数据(大数据)是进行各层面、各类型城市规划定量分析的最大障碍!
运用互联网数据进行城市规划与研究所使用的主要工具及流程 STEP1:定位查找数据源的网络地址Chrome(谷歌浏览器)
STEP2:将获取的网络开放数据保存在本地
火车采集器(V8)
STEP3:数据的清洗、预处理 STEP4:坐标系统转换(地理坐标→平面坐标))
Microsoft Excel 2007
万能坐标转换器
STEP5:空间分析、空间统计及可视化表达
IBM SPSS 19.0
ArcGIS 10.x软件包
案例应用:运用“大众点评网(http://www.77cn.com.cn)”数据对西安市城市公共中心体系识别与优化调整的研究
西安市城市总体规划确定的18个公共中心(商业中心)
随着城市公共中心空间的不断发展和完善,同一城市内部不同的公共中心 (特别是次级公共中心)的内部功能构成也产生了明显不同的空间专业化特征。这种分异现象不仅是城市,也是城市公共中心产业体系自我选择自我优化的过程。
大众点评网(http://www.77cn.com.cn,始于2003年4月)
是我国最早建立的第三方点评平台,注册会员可以通过网站自由发表对餐馆的评论和消费心得,通过一定的信息聚合和组织以后,为潜在的消费者提供客观准确的点评信息。网站包括美食、休闲娱乐、购物等诸多领域的生活服务信息,可以在一定程度上借助其海量点评信息对城市相关服务业的空间分布、密度、热度等进行分析,从而对规划决策提供一定的数据基础支撑。
1.了解大众点评网(西安美食板块)的网页结构网址
开发者工具(HTML)
1.了解大众点评网(西安美食板块)的网页结构 HTML(Hyper Text Markup Language,超文本标签语言)文档的基本结构
<!DOCTYPE html><html><head></head><body></body></html>
<head内容><body内容>
<!DOCTYPE html>:文件声明<head>:头部,内容一般不会出现在网页中<body>:网页内容<html></html>:双标签<br/>:单标签
1.了解大众点评网(西安美食板块)的网页结构 HTML(Hyper Text Markup Language,超文本标签语言)元素属性
<meta charset=“UTF-8”/><>——标签 meta——元素 charset——元素属性 UTF-8——属性值/——结束 元素及其属性必须放在同一个标签当中; 标签内元素与属性之间必须用空格分开; 元素属性的值建议用单引号或双引号括起来;
属性和属性值也不用区分大小写。
1.了解大众点评网(西安美食板块)的网页结构
一级网址
二级网址……http://www.77cn.com.cn/search/category/17/10/r124p5?aid= 40d5143611213e8d872390ff0d058388d22d7cbfc50973aebd00 86c3c60a0cb4ed30cee2e7fc1523f25f39a106cc8b81b8072fdcdf fd93a4bdda34e688ffaa9fa90fbc174acb62adc050f0d33e50b45a 830f15ddcbab34d35b4aff11e4d5ad43943ac53cfc788520e4da8 91862daf6a543aeb01508e3792237264aeac95a706c0c5ca7b35 1b3a3d42c271281f4930e05
分页网址信息网址 http://www.77cn.com.cn/shop/19677471
1.了解大众点评网(西安美食板块)的网页结构 明确采集数据的内容及类型
标题; 点评数量; 人均消费; 口味;
环境; 服务; 经纬度(坐标);
其他……
2.运用火车采集器采集网页数据信息 新建分组——新建任务——编辑任务 采集网址规则——添加开始采集地址(单条网址、批量/多页)
3
1
可将按照行政区(碑林区、雁塔区、莲湖区…)划分的次级网址作为起始网址
2
2.运用火车采集器采集网页数据信息 新建分组——新建任务——编辑任务 采集网址规则——添加开始采集地址(单条网址、批量/多页)
批量/多页网址格式的采集规则
2.运用火车采集器采集网页数据信息 多级网址的获取
网页地址格式规则: http://www.77cn.com.cn/shop/(*)
…… 此处隐藏:821字,全部文档内容请下载后查看。喜欢就下载吧 ……相关推荐:
- [实用文档]李践-有效提升销售的12大黄金法则8-大
- [实用文档]党支部换届工作方案
- [实用文档]2013年下期电子商务专业部宣传工作计划
- [实用文档]方庄一矿通风、钻探绩效工资考核管理办
- [实用文档]项目一 认识企业物流认识企业物流
- [实用文档]MBI_Display_产品蓝图规画
- [实用文档]北京市建筑业劳务作业人员普法维权培训
- [实用文档]锅炉燃烧调整与运行优化
- [实用文档]4支付结算业务的核算
- [实用文档]米什金_货币金融学_第9版各章学习指导
- [实用文档]水泥混凝土路面硬化工程施工组织设计
- [实用文档]钢筋工程安全技术交底书
- [实用文档]关于公布华中师范大学本科毕业论文
- [实用文档]太原市园林绿化施工合同范本 2
- [实用文档]周日辅导 初中英语分类复习单项选择题(
- [实用文档]第四章 文化经纪人的管理形式 第二节
- [实用文档]学宪法讲宪法竞赛题库
- [实用文档]《数值计算方法》期末考试模拟试题二
- [实用文档]爱词霸学英语:每日一句( 十月)
- [实用文档]2014年国家公务员面试:无领导小组讨论
- 新课程主要理念和教学案例分析汇编(24
- 英国人的快乐源于幸福的家庭生活
- 七年级上册第一次月考模拟数学试卷
- 真丝及仿真丝的种类有哪些?
- 【最新】华师大版八年级数学下册第十六
- 高中英语3500个必背单词
- 我可以接受失败,但我不能接受放弃!
- 最近更新沪科版八年级物理上册期末试卷
- 绿化工作先进乡镇事迹材料
- 鲁教版九年级上册思想品德教学计划
- 英语音标的分类
- 地下室底板无梁楼盖与普通梁板结构形式
- 美容师黄金销售话术
- 雅思写作满分作文备考方法
- 血清甲状腺激素测定与高频彩色多普勒超
- 1度浅析装修对室内空气品质的影响
- 2017-2022年中国汞矿行业深度分析与投
- 计算机二级VB公共基础知识
- (何勇)秸秆禁烧_重在寻找出路
- 内外墙抹灰工程分包施工合同1




