第11章 基于TipDM数据挖掘建模平台实现金融服务机构资金流量预测《Python数据分析与挖掘实战》.pptxVIP

基于TipDM数据挖掘平台实现金融服务机构资金流量预测;;TipDM大数据挖掘建模平台是由广东泰迪智能科技股份有限公司自主研发，面向大数据挖掘项目的工具。平台使用Java语言开发，采用B/S结构，用户不需要下载客户端，可通过浏览器进行访问。 平台提供了基于Python、R以及Hadoop/Spark分布式引擎的大数据分析功能。 平台支持工作流，用户可在没有Java、Scala、Python、R等编程语言基础的情况下，通过拖拽的方式进行操作，以流程化的方式将数据输入输出、统计分析，数据预处理、分析与建模等环节进行连接，从而达成大数据分析的目的。;平台的界面如图所示。 ;读者可通过关注微信公众号“泰迪学院”，获取平台的访问方式，具体步骤如下。 微信搜索公众号“泰迪学院”或“TipDataMining”，关注公众号。 关注公众号后，回复“建模平台”，获取平台访问方式 ;以金融服务机构资金流量预测案例为例，介绍如何使用平台实现案例的流程。在介绍之前，需要引入平台的几个概念。 组件：将建模过程涉及的输入/输出、数据探索及预处理、建模、模型评估等算法分别进行封装，每一个封装好的算法模块称之为组件。 工程：为实现某一数据分析目标，将各组件通过流程化的方式进行连接，整个数据分析流程称为一个工程。 模板：用户可以将配置好的工程，通过模板的方式，分享给其他用户，其他用户可以使用改模板，创建一个无需配置组件便可运行的工程。;TipDM大数据挖掘建模平台主要有以下几个特点。 平台算法基于Python、R以及Hadoop/Spark分布式引擎，用于数据分析。Python、R以及Hadoop/Spark分布式是目前最为流行的用于数据分析的语言，高度契合行业需求。 用户可在没有Python、R或者Hadoop/Spark编程基础的情况下，使用直观的拖曳式图形界面构建数据分析流程，无须编程。 提供公开可用的数据分析示例工程，一键创建，快速运行。支持挖掘流程每个节点的结果在线预览。 Python算法包提供60种算法，分为11大类：统计分析、数据预处理、脚本类组件、分类、聚类、回归、时间序列、关联规则、文本挖掘、深度学习、画图。同时还提供Python脚本和R脚本，快速粘贴代码即可运行。 Spark算法包提供38种算法，分为7大类：数据预处理、统计分析，分类、聚类、回归、智能推荐、关联规则。R语言算法包提供52种算法，分为8大类：统计分析、数据预处理、分类、聚类、回归、时间序列、关联规则、文本挖掘。;登录平台后，用户即可看到【模板】模块系统提供的示例工程（模板），如图所示。 【模板】模块主要用于标准大数据分析案例的快速创建和展示。通过【模板】模块，用户可以创建一个无须导入数据及配置参数就能够快速运行的工程。同时，每一个模板的创建者都具有模板的所有权，能够对模板进行管理。用户可以将自己搭建的数据分析工程生成为模板，显示在【模板】模块，供其他用户一键创建。 ;【数据空间】模块主要用于数据分析工程的数据导入与管理，根据情况用户可选择数据来源于【文件】或者【数据库】。【文件】支持从本地导入任意类型数据，如图所示。;【数据库】支持从DB2、SQL Server、MySQL、Oracle、PostgreSQL等常用关系型数据库导入数据，如图所示。;【我的项目】模块主要用于数据分析流程化的创建与管理，如图所示，通过【工程】模块，用户可以创建空白工程，进行数据分析工程的配置，将数据输入输出、数据预处理、挖掘建模、模型评估等环节通过流程化的方式进行连接，达到数据分析的目的。 对于完成度优秀的工程，可以将其保存为模板，让其他使用者学习和借鉴。;【系统组件】模块主要用于大数据分析内置常用算法组件的管理，提供Python、R语言、Spark三种算法包，如图所示。;Python算法包包含统计分析、预处理、脚本、分类、回归、聚类、时间序列、关联规则、文本分析和绘图，共十大类，具体如下。 【统计分析】类提供对数据整体情况进行统计的常用组件，包括：因子分析、全表统计、正态性检验、相关性分析、卡方检验、主成分分析和频数统计。 【预处理】类提供对数据进行清洗的组件，包括：数据标准化、缺失值处理、表堆叠、数据筛选、行列转置、修改列名、衍生变量、数据拆分、主键合并、新增序列、数据排序、记录去重和分组聚合。 【脚本】类提供一个Python代码编辑框。用户可以在代码编辑框中粘贴已经写好的程序代码并直接运行，无须再额外配置成组件。 【分类】类提供常用的分类算法组件，包括：朴素贝叶斯、支持向量机、CART分类树、逻辑回归、神经网络和K最近邻。 ;【聚类】类提供常用的聚类算法组件，包括：层次聚类、DBSCAN密度聚类和KMeans。 【回归】类提供常用的回归算法组件，包括：CART回归树、线性回归、支持向量回归和