明略数据-洞见数据之秘.pdf

1 洞见数据之密 卷首语 最初的数据挖掘技术雏形出现在 20 世纪 60 至 70 年代，那时候全球互联网 泡沫才刚刚开始膨胀。随着各行各业数据量的激增以及产品生命周期变化的愈发 复杂，数字已变成一种珍贵性资产。 从知识发现、商业智能、预测建模到预测分析，数据挖掘相关技术名称的不 断变更，不仅体现了其内涵与定义上的延伸，还意味着它在业务流程和商业决策 上产生的越来越重要影响。业务驱动的需求扩展促使数据挖掘从简单的数据检索 和统计成长为更复杂的分析预测工具。如今，数据挖掘和分析型 CRM已发展为主 流，不同的数据挖掘软件也随着技术和算法进步而日趋成熟。 同时，数据挖掘是一个分析过程，旨在探索大量数据背后，模式或变量间较 为一致的系统关系，并将分析出的模式应用于新的数据子集。也就是说，数据挖 掘的最终目标是实现精准预测，特别是对个群体行为、商业决策乃至社会层面的 关系和发展预测。几十年来，社会科学将交互的强度和频率量化以衡量个人间的 关系，因此便有了弱关系和强关系之说。弱关系（松散的熟人）可以帮助传播不 洞见数据之密 2 同群体间的思想或创新，有利于信息流动。这种潜在关系的联结也让数据挖掘技 术有了真正的用武之地。在这样的运作机制下，关系数据挖掘也对数据特征的准 确性提出了更高的要求。 明略数据作为国内领先的企业级大数据技术商业化公司，可以有效帮助企业 将多源异构、非结构化的数据进行统一存储并挖掘出其中所隐藏的价值。除了利 用传统的数据挖掘方法，如通过人工智能自动地按照一些基本特征对数据进行分 类、聚类外，明略还会根据真实的数据样本通过机器学习进行样本训练，从而得 出比“人”的主观意识更精确的规则集和模型。在提升数据特征精准性上，明略 可以做到从原始数据中提取特征，紧密联系不同领域不同业务选择合适的特征， 以实现数据间的区分度。在解决数据关联问题上，明略会把数据转化成类似知识 图谱的形式去进行存储，使业务人员能更容易地理解这些数据。 为了在 DT 时代下为企业变革提供更好的支撑和服务，明略在 2015 年 10 月 同时发布了数据系统革命性产品 SCOPA( 数据关联分析 )、数据安全与运维安全 的大数据平台产品 MDP(Mininglamp DataPatform)，以及分布式全量数据挖掘产 品 DataInsight。多条业务线和不同类别产品的拓展，已使得明略能更好地在海 量社会数据中洞察出真正的数据之密，在信息浪潮中挖掘出更多隐藏在数据中的 “宝藏”。 这正如明略所主张的思想：“孤立无序、种类繁多的数据本身不具备价值， 只有将数据统一、关联起来，才能发掘信息，发挥价值。” 3 洞见数据之密 目录 05 安全有效地输出价值：大数据是这个游戏的名字 16 一线专家谈谈：数据挖掘在实际领域中的那些事儿 27 当 AlphaGo 火了以后，我们来聊聊深度学习 41 数据量决定了特定领域自然语言处理最终效果 46 特定领域自然语言处理最终效果 53 MDP 打造新一代高性能、高可用、高安全大数据平台 61 数据关系挖掘算法、技术难点及应用场景分析 66 SCOPA 架构升级下的实践与优化 4 洞见数据之密 安全有效地输出价值： 大数据是这个游戏的名字 作者 江金陵 【编者按】Hadoop于2006年1月28日诞生，至今已有10年，它改 变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，形成了自己 的极其火爆的技术生态圈，并受到非常广泛的应用。在2016年Hadoop十岁 生日之际，InfoQ策划了一个Hadoop热点系列文章，为大家梳理Hadoop这 十年的变化，技术圈的生态状况，回顾以前，激励以后。 要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出， 并在现有的 Hadoop 和大数据生态圈内根据实际需求挑选并整合各部分合适的组 件来