数据挖掘与中医证候研究数据挖掘-mipaper.pdf

数据挖掘与中医证候研究 数据挖掘与中医证候研究 上海中医药大学附属龙华医院 上海中医药大学附属龙华医院 郑培永 郑培永 一、数据挖掘 一、数据挖掘 1 由来—— 网络之后的下一个技术热点 由来—— 网络之后的下一个技术热点 • 《纽约时报》由60年代的10～20版扩张至现 在的100～200版 •大量信息在给人们带来方便的同时也带来了 问题：第一是信息过量；第二是信息真假难 以辨识；第三是信息安全难以保证；第四是 信息形式不一致，难以统一处理 •面对这一挑战，数据挖掘和知识发现技术应 运而生，并显示出强大的生命力 由来——数据爆炸但知识贫乏 由来——数据爆炸但知识贫乏 • 激增的数据背后隐藏着许多重要的信息，人们 希望更好地利用这些数据 • 目前的数据库系统可以高效地实现数据的录 入、查询、统计等功能，但无法根据现有的数 据预测未来的发展趋势 • 缺乏挖掘数据知识的手段，导致了“数据爆炸 但知识贫乏” 的现象 2 数据挖掘的概念 数据挖掘的概念 • 从大量的、不完全的、模糊的、随机的数 据中，抽取出潜在的、有价值的知识(模型 或规则)的过程 数据挖掘的目的 数据挖掘的目的 • 在于使用所发现的模式帮助解释当前的行 为或预测未来的结果 3 数据挖掘的步骤 数据挖掘的步骤 第一，问题定义 第二，数据准备 第三，数据挖掘 第四，结果分析 第五，知识的同化 问题定义 问题定义 • 了解相关领域的有关情况，熟悉背景知 识，弄清用户要求 4 数据准备 数据准备 • 数据的选择：搜索有关的内部和外部数据信息， 并从中选择出适用于数据挖掘应用的数据 • 数据的预处理：研究数据的质量，为进一步的分 析作准备 • 数据的转换：将数据转换成一个分析模型，建立 一个真正适合挖掘算法的分析模型是数据挖掘成 功的关键 数据挖掘 数据挖掘 • 对所得到的经过转换的数据进行挖掘 5 结果分析 结果分析 • 对数据挖掘的结果以用户能了解的方式呈 现，并加以解释和评价，确定所发现的东 西是否有用 知识的同化 知识的同化 • 将所发现的知识应用于新的情景 6 数据挖掘与传统分析方法的区别 数据挖掘与传统分析方法的区别 • 数据挖掘与传统的数据分析(如查询、报 表、联机应用分析) 的本质区别是数据挖掘 是在没有明确假设的前