大数据算法模型优化管理方案.docx

PAGE II 大数据算法模型优化管理方案  目 录 TOC \o 1-3 \h \z \u 1. 算法模型优化管理方案 4 1.1. 算法模型的设计和优化 4 1.1.1. 算法模型设计 4 1.1.2. 算法模型优化 11 1.2. 算法模型进行统计管理及维护 20 1.2.1. 算法模型梳理 20 1.2.2. 模型设计维护优化 28 1.2.3. 数据模型管理 29 1.3. 算法使用有效性验证 35 1.3.1. 典型业务验证 36 1.3.2. 典型应用验证 36 1.4. 算法模型成果的固化和展现 36 1.4.1. 涉及资源 36 1.4.2. E-R模型 40 1.4.3. 数据模型 43 1.5. 模型库建设优化 63 1.5.1. 缓冲库的建设 63 1.5.2. 基础库的建设 63 1.5.3. 公共元数据库的建设 64 1.5.4. 主题库的建设 64 1.6. 模型层次关系优化 64 1.6.1. 概念模型设计 65 1.6.2. 逻辑模型设计 66 1.6.3. 物理模型设计 68 1.6.4. 数据粒度模型的设计 69 1.7. 算法模型重点分析 69 1.7.1. 可视化分析 69 1.7.2. 数据分析 70 1.7.3. 数据质量管理 70  算法模型优化管理方案 算法模型的设计和优化 算法模型设计 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。它是一门涉及面很广的交叉学科，包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。 数据挖掘在税务领域，就是利用数学算法模型，探索并形成业务数据模型，寻找业务数据间的隐性关系、规律，利用挖掘工具的模拟运行平台，评估业务数据模型的有效性，通过参数调整训练修改模型，并提供特有图形，展现最终的业务数据模型结果集。 数据挖掘的技术设计具体如下所示： 提供聚类，分群，预测，关联等多种数据挖掘技术 数据挖掘提供丰富的挖掘模型和灵活算法，包括于机器学习，人工智能和统计学等方面，模型内嵌入预测模型、聚类模型、关联模型、探索模型等，并且提供标准接口供二次开发； 设计在数据库内嵌的数据挖掘算法，以存储过程方式供开发应用 作为开放架构体系，设计支持完全的数据库内挖掘，可在Oracle关系数据库内实现关键的数据挖掘任务，如数据准备、数据建模和模型评估等，从而极大地提高数据挖掘的效率，即实现IBM Intelligence Miner、 Oracle Data Mining、SQL Server提供数据挖掘算法的整合。通过二次开发的本地可视化界面，数据仓库中的算法和模型在工具框架内得到统一管理。 实现模型评估和解释 实现评估图、表格以及统计分析等多种模型评估方式，提供的评估图包含：收益图表、功效图表、投资回报图表、利润图表、响应图表，使用分析、矩阵、统计等节点输出表格、统计量等对模型进行评估。 模型显示采用平台统一的展现工具，嵌入分析应用 实现把数据挖掘结果回传到数据仓库中，统一由前端分析展现工具进行展现：例如把数据挖掘模型导出成SQL语句及格式文件集成到其它应用系统中；或者通过二次开发接口，把整个数据挖掘流程导出，供应用平台通过API进行调用，从而达到数据挖掘结果脱离挖掘系统环境集成到应用系统中的目的，同时数据挖掘结果可以推回到数据库中等。 根据数据挖掘的功能性需求和技术性特点，系统架构可分为业务建模、源数据分析、建算法模型、数据准备、模型训练评估、结果发布六个部分，具体示意如下图所示： 业务建模：包括根据应用场景建立的业务模型、挖掘目标、挖掘结果可量度的成功标准，供后期挖掘模型验证使用。 源数据分析：根据业务模型，提供针对源数据的探索性分析和数据质量分析功能，并提供相关报告。 算法建模：根据应用场景和业务模型的特点，从挖掘模型的各类算法中选择相适应的算法，建立算法模型，并设置对应参数，对相类似的几种算法模型进行模型评估，择优选择。 数据装载：从源数据中采集算法模型所需数据，经过清洗加工，装载到算法模型中。 模型训练评估：根据模型有效性评估的方法库，结合模型噪声处理，根据学习型模型进行自动测算，训练过程中不断参数调整，根据业务模型匹配度，完成模型训练评估 结果发布：把数据挖掘结果发布到数据库或者相关文件中，并提供可视化展现界面 挖掘模型和算法 挖掘算法 管理决策分析平台提供了丰富的数据挖掘模型和灵活算法，这些方法分别来自于机器学习，人工智能和统计学。每种方法都有自己的长处，并且