- 30
- 0
- 约1.64千字
- 约 10页
- 2023-03-22 发布于山东
- 举报
* * * 5.2 数据的采集 CONTENT 1 数据采集的方法和工具 2 数据的存储和保护 5.2.1 数据采集的方法和工具 在大数据时代,数据的来源广泛、类型丰富、规模巨大,人工采集数据显然不切实际,因而需要根据特定的需求,采用适当的方法和工具进行采集。 城市交通系统 实时成交额 5.2.1 数据采集的方法和工具 1 系统日志采集法 在信息系统中,系统日志是记录系统中硬件、软件和系统问题的信息文件。 通常是在目标主机上安装一个小程序,将目标主机的文本、应用程序、数据库等日志信息有选择地定向推送到日志服务器进行存储、监控和管理。 通过日志服务器可以监视系统中发生的事件,可以检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。 5.2.1 数据采集的方法和工具 5.2.1 数据采集的方法和工具 2 网络数据采集法 通过网络爬虫或网站公开的API(应用程序接口)等方式从网站上获取数据信息。 该方法可将非结构化数据从网页中抽取出来,将其存储为统一的本地数据文件,并以结构化的方式存储。 5.2.1 数据采集的方法和工具 5.2.1 数据采集的方法和工具 阅读课本P105【扩展】 使用Python进行网络数据采集和分析所需要的一些第三方扩展库:NumPy,SciPy,Pandas,Matplotlib 在Python中使用import语句导入指定模块的语法: import modul
您可能关注的文档
- 2022-2023学年高二历史:文化遗产全人类共同的财富.pptx
- 2022-2023学年高二历史:欧洲文化的形成.pptx
- 2022-2023学年高一信息技术:运用循环结构描述问题求解过程.ppt
- 2022-2023学年高一信息技术:运用选择结构描述问题求解过程.ppt
- 2022-2023学年高一信息技术:运用顺序结构描述问题求解过程.ppt
- 2022-2023学年高一信息技术:体验计算机解决问题的过程.ppt
- 2022-2023学年高一信息技术:算法及其描述.ppt
- 2022-2023学年高一信息技术:数据的可视化表达.ppt
- 2022-2023学年高一信息技术:数据的分析.ppt
- 2022-2023学年高一信息技术:数据编码.ppt
原创力文档

文档评论(0)