信息分析实验教程：获取编PPT教学课件.pptxVIP

信息分析实验教程第一编获取编

第1章数据获取

基础知识数据获取概述数据获取是在不触犯相关法律法规的基础上，通过一定的技术手段、方式方法所开展的搜集、捕获原始数据资料以支撑相关研究或业务开展的系列活动的统称。可能受到的限制可能受到获取数据的工具、渠道、外界的数据封锁、数据量太大而无法容纳的限制；客观事物反映在数据上是模糊的，难以清晰描述或界定边界；信息模型的局限或者获取信息的成本太高的限制等。

基础知识数据获取来源与方法数据获取来源

基础知识数据获取来源与方法数据获取方法线上数据获取方法网络数据采集电子邮件采集线下数据获取方法调查实验

基础知识数据获取来源与方法数据获取流程

基础知识数据隐私与数据资源共享隐私：“单个用户的某一些属性”公开群体用户的信息不属于隐私泄漏但若能从数据中能准确推测出个体的信息，则属于隐私泄漏讨论隐私保护的情景为学术研究和数据交流开放用户数据服务提供商为了提高服务质量，主动收集用户的数据

软件工具序号工具名称开发者技术特性功能简述类型1CrawleyCamporezPython爬虫框架；跨平台可个性定制化开发，用于网页中任意类型数据的采集开源，支持二次开发2ScrapyScrapinghub开源，支持二次开发3SkyCaiji南昌卓蓝科技有限公司跨平台；支持本地或云端采集；需要PHP环境用于网页中多种数据的采集开源，部分支持二次开发4后羿采集器