数据智能与应用 (2).pptVIP

第一章数据智能之起源

第四节数据分析工具与技能1

2用什么写：Python在哪里写：Jupyter写什么：Scikit-learn怎么写：PyTorch放哪里：Github大数据可视化关系图大数据分析机器学习大数据存取数据仓库大数据处理自然语言处理技术大数据采集数据源

一、Python语言常被称为胶水语言，能够把用其他语言制作的各种模块很轻松地连接在一起，是一门易学而又严谨的程序设计语言，常用于数据分析、机器学习、矩阵运算、科学数据可视化、数字图像处理、网络爬虫、Web应用等。3Python为唯一通用的编程语言Python数据分析具有的优势：语法简单精炼，易于上手有许多功能强大的库不仅适用于研究和原型构建，同时也适用于构建生产系统能够以多种形式轻易地与其他语言组件“粘接”在一起拥有Python社区，供多人参与交流

一、Python语言PythonPackageIndex（PyPI）拥有众多软件包4科学计算可视化统计分析机器学习

二、Jupyter5Python有自己的交互开发学习环境（interactivedevelopmentlearningenvironment），称为IDLE，也可以从终端（Terminal）或命令行界面，或任何IDE中运行，一个很好的常用选择是Jupyter。JupyterNotebook是一个开源的Web应用程序，允许用户创建和共享包含代码，方程式、可视化和文本的文档，是一个基于浏览器的编程框架，最初被称为IPython，可以通过浏览器访问，为文本界面。其用途包括数据清理和转换、数值模拟、统计建模、数据可视化、机器学习等。

二、Jupyter6优势：交互式文本输出可选择语言丰富分享笔记本大数据整合

三、Scikit-learnScikit-learn项目最早由数据科学家DavidCournapeau在2007年发起，需要NumPy和SciPy等其他包的支持，是Python语言中专门针对机器学习应用而发展起来的一款开源框架。7优势：简单有效的数据挖掘和数据分析工具可供所有人访问，并可在各种环境下重复使用基于NumPy，SciPy和Matplotlib构建开源，商业上可用-BSD许可证

三、Scikit-learn8应用经典算法分类异常检测，图像识别，等支持向量机SVM，随机森林聚类图像分隔，群体划分，等K均值聚类回归价格预测，趋势预测，等支持向量回归SVR，集成方法降维特征提取，可视化，等主成分分析PCA模型选择增加模型准确性交叉验证，网格法预处理特征提取，归一化归一化，非线性转换

四、PyTorch9深度学习框架发展程度深度学习框架GitHub数据变化深度学习框架增长率IEEE国际计算机视觉与模式识别会议CVPR2020会议接收论文：PyTorch使用了405次，TensorFlow使用了102次

四、PyTorch10由Facebook人工智能研究院（FAIR）于2017年1月推出基于Torch的Python开源机器学习库专门针对GPU加速的深度神经网络编程Torch是一个有大量机器学习算法支持的科学计算框架，是一个与Numpy类似的张量（Tensor）操作库。优点：PyTorch是相当简洁且高效快速的框架设计追求最少的封装设计符合人类思维，它让用户尽可能地专注于实现自己的想法与google的Tensorflow类似，FAIR的支持足以确保PyTorch获得持续的开发更新PyTorch作者亲自维护的论坛，供用户交流和求教问题入门简单

四、PyTorch11不断减少估计值与实际值之间残差拟合映射学习用预测或估计封装函数：torch.nn：神经网络库loss：计算损失backward：计算梯度optimizer：参数更新

五、Github12面向开源及私有软件项目的托管平台，只支持Git作为唯一的版本库格式进行托管。Github拥有超过千万的开发者用户，随着越来越多的应用程序转移到了云上，Github以及成为了管理软件开发以及发现已有代码的首选方法。在Github，用户可以通过探索轻而易举地找到海量的开源代码，因此其成为程序员的圣地也不为过。