采用基于IBMPowerSystems非结构化文本分析支持.PDF

采用基于IBM Power Systems 的非结构化文本分析支持 关键决策商业案例 Stephen Markham 博士 Michael Kowolenko 博士 北卡罗莱纳州立大学 管理学院 这是一个问题，不是技术。 --Michael Kowolenko 虽然大数据能够极大地改变业务环境，但技术只是决定的推动因素。很多公司利用结构化 大数据制定日常运营决策。然而，非程序化的关键战略决策往往涉及非结构化数据。本文 介绍使用大数据技术收集和分析非结构化数据的商业价值。这种方法采用融入流程中的重 要思考，结合先进的服务器和软件将大数据转化为商业价值。这种流程和结果为需要自适 应结构、文化和专业技术，实现大数据应有能力带来了新机遇。 本文包括三个目的。首先，说明采用结构化和非结构化数据制定决策的差别。然后，举 例说明企业如何利用非结构化数据实现商业价值。最后，说明企业如何利用非结构化数 据实现类似商业价值，以及为什么选择正确的服务器和软件可以产生不同的结果。 基于Power System 进行非结构化数据分析 1. 采用结构化数据与非结构化数据制定决策的差别 非结构化文本包括现有大约80%的数据。只使用结构化数据的企业失去大量可用信息 产生的收益。非结构化数据包括美国证券交易委员会(SEC) 、国家卫生研究院(NIH) 、 国家科学基金会(NSF) 和能源部(DOE) 等政府报告，以及学术研究、商业和金融分析 报告，咨询调查结果和许多其他来源所含的内容。非结构化文本还存在于无数社会媒体 渠道中，如Facebook、博客、顾客投诉记录和Twitter，以及新闻报道、大众媒体、专 业杂志和许多其他网站。 非结构化数据揭示客户需求、竞争对手的动作、新趋势，以及制定关键业务决策所需的其 他信息。结构化大数据方法收集合并行列数字提供给决策者。采用先进的统计技术分析大 量数字，可以揭示数据中的重要模式。利用这些技术，决策者可以实时了解发生的情况， 或将要发生的情况。分析可以进行加、减、乘、除的数据依赖于结构化方法收集数据，对 于定价、分销和库存等业务决策是必不可少的。 另一方面，非结构化办法解析重要信息。例如，非结构化大数据发现一家竞争对手将建新 厂的公告，或者一家客户将扩展运营的公告。从而使决策者能够快速做出反应– 在结构化 数据最终显示销售收入下降之前。要想真正做到 “大海捞针”，企业必须采用大数据收集 大量非结构化文本，利用专用程序通过计算机搜索，在数以千万计的文档中找出特定信 息。 1.1. 重点思考推动大数据的使用 基于数据制定决策需要人们知道提出的问题，但经验表明，情况并非总是如此。许多组 织缺少采用重点思考的流程。在创新管理研究中心(CIMS) 1 进行的每个行业赞助项目 中，从初创企业到《财富500强》成员，各类公司都面临开展战略调查的困扰。 1 CIMS 由工业大学合作研究中心(IUCRC) 设立，成立于1984年，是唯一由美国国家科学基金会(NSF) 提供 资金支持的研究中心，主要调查创新在组织和管理方面产生的成果。 2 基于Power System 进行非结构化数据分析 重点思考肯定推动大数据的使用– 大数据不能推动思考。重点思考是寻找数据源和工具， 了解非结构化文本潜在含义的基础。例如，“我们公司需要调查社交媒体进行情感分析” 这句话，可以分解成一系列小问题，例如： o 与我们产品相关的情感 o 与竞争相关的情感 o 客户喜欢和不喜欢产品之类的问题 o 我们公司的新产品如何解决客户不喜欢 o 提高哪方面的竞争力可以解决客户不喜欢 根据重点思考原理，我们帮助开发了利用非结构化文本实现商业价值的流程。实际上， 大量公司利用重点思考成功开发了业务决策流程。 1.2. 利用重点思考分析非结构化数据的过程 这个过程( 图1) 需要相关各方跨部门团队从一开始就共同参与，并已在许多行业证明是成 功的。这个过程采用重点思考的方法：1) 定义提问内容，组成需要调查的具体问题; 2) 确 定信息源; 3) 确定搜索条件，并定义条件之间的关