地理大数据获取、处理及可视化的思考.pptx

地理大数据获取、处理以及可视化汇报人：XXXXXXXXXXXXX学院地理大数据获取、处理以及可视化引言01地理大数据获取02大数据处理03可视化表达0401引言PART ONEIntroduction1.背景 2014年3月“大数据”首次出现在《政府工作报告》中以来，国务院常务会议一年内6次提及大数据运用。2015年11月3日发布的《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》提出，拓展网络经济空间，推进数据资源开放共享，实施国家大数据战略，超前布局下一代互联网，这是我国首次提出“国家大数据战略”2.地理大数据的特点3.应用基于“位置+用户行为”的广告投放，将是广告投放的未来。基于有效人流量的商业布局，让选址开店不再盲目。通过位置大数据，可以综合比对各区域的人流量、人群属性等数据。基于区域人流数据的交通规划，让城市治理更有前瞻性。3.应用3.应用3.应用02地理大数据的获取PART TWOAccess to geographic big data1.获取手段2.获取手段的分类一、动手获取 公开数据库和爬虫技术。基于目标网站的数据，利用爬虫技术下载目标类型的数据。二、使用现成 数据交易平台和网络采集器。依托资金支撑，购买所需数据或者使用网络采集器下载数据。2.获取手段的选择以平台为主、以爬虫为辅2.常见的大数据获取平台之一八爪鱼聚焦领域2.常见的大数据获取平台之一八爪鱼爬虫功能2.常见的大数据获取平台之一八爪鱼数据服务2.常见的大数据获取平台之一八爪鱼某知名网络舆情监控平台采集需求：采集今日头条，百度资讯，微博等多个平台数据，每个平台24小时不间断批量搜索多个关键词，然后将采集的数据同步发送到自己的内部平台。解决方案：数百台云服务器在每个平台进行关键词搜索，实时采集最新的数据，通过一系列去重手段，实现每次的增量采集。服务时间：2018年10月至今服务效果：按照关键词实时监控多个平台，24小时不间断。采集的数据同步发送到自己的内部平台，第一时间发现热点事件。2.常见的大数据获取平台之一八爪鱼3.常见的大数据获取平台之一造数聚焦领域3.常见的大数据获取平台之一造数爬虫功能商业金融性较强4.常见的大数据获取平台之一火车采集器 火车采集器是目前使用人数最多的互联网数据抓取、处理、分析，挖掘软件。可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。4.常见的大数据获取平台之一火车采集器功能4.常见的大数据获取平台之一火车采集器03大数据处理PART THREEBig data processing1.处理流程采集导入/预处理统计/分析挖掘虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。2.必知的概念数据挖掘利用各种技术与统计方法，将大量的历史数据，进行整理分析，归纳与整合，是从海量数据中“挖掘”隐藏信息，如趋势、特征及相关的一种过程。工作BI（商业智能）、数据分析、市场运营都可以做这个工作。机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。3.关键技术预处理常见：数据清洗数据挖掘常见算法4.深度学习应用案例目标监测4.深度学习应用案例土地覆被分类4.深度学习应用案例04可视化表达PART FOURVisualization methods1.Python中的可视化库统计图（散点图，线，面积，条形图，直方图）：几乎所有InfoVis库都能很好地支持，其中Seaborn，bqplot，Altair，ggplot2，plotnine的专注于这些图。图像，常规网格，矩形网格：Bokeh，Datashader，HoloViews，Matplotlib，Plotly以及大多数SciVis库的支持。不规则的二维网格（三角网格）：Matplotlib，Bokeh，Datashader，HoloViews和SciVis库的支持较好。地理数据：Matplotlib（Cartopy），GeoViews，ipyleaf