EBU智能语义分析平台.DOC

上海易步信息技术有限公司 Shanghai EBU Info-Technology Co.,Ltd 目录 一、大数据时代的挑战 4 1、挑战：非结构化与预测分析 4 2、应对：语义分析技术 5 二、上海易步：智能语义分析服务 6 三、智能语义分析平台 7 1、平台技术架构 7 2、数据平台 8 3、分析平台 8 （1） 基础语义库 9 （2）浅层语义分析 10 （3） 深层语义分析 10 4、 应用平台 11 （1）政府/媒体 12 （2）高校/科研机构 12 （3）企业/商业 12 5、技术优势 13 四、系统功能特色 14 1、海量信息，及时准确 14 2、自动过滤，分类聚类 16 3、 热点分析，趋势报告 16 4、态度分析，自动褒贬 17 5、可视化报表，一键导出 18 五、应用案例 19 1、上海市企业创新资源管理与分析平台 19 2、佛山网络舆情监测分析系统 20 3、网络视频监测与分析系统 21 4、电视节目舆情监测分析报告 22 5、电商数据网络监察分析系统 23 公司联系方式 25 一、大数据时代的挑战 1、挑战：非结构化与预测分析 麦肯锡公司提出的大数据时代到来的观点，引起了全球广泛的反响。多家机构认为，“大数据”将会成为贯穿以后的一条全新主线。? 图1 大数据的挑战 ?真正的大数据时代刚刚开始。标志性的区别就在于：一是数据量的急速增加，预计数据量每18～24个月就翻一番，年数字信息量将会增长50%以上；二是以往的数据只是结构化数据、非个性化的数据；而进入2012年，非结构化数据占有比例达到互联网整个数据量的75%以上；三是对数据价值的要求更高，传统的统计报表已满足不了需求，基于深层数据挖掘的预测性分析成为重点。 随着大数据时代的来临，我们将面临一场变革，大数据将成为机构和企业发展的当务之急；对这些新数据型态的应用，带来可持续的竞争优势。 2、应对：语义分析技术 在大数据时代，最关键的是处理数据的能力：最大的挑战是对信息的有效掌管，即如何筛选来源，深度分析与挖掘，分享其价值。 要解决这些问题，就需要一种这样的信息处理不但能够处理所有类型的信息，而且能自然语言处理(NLP，Natural Language Processing) 是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机“理解”自然语言，一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一 二、上海易步：智能语义分析服务 上海易步信息技术有限公司成立于上海张江高科技产业园区，是一家研发语义分析技术的高科技公司，提供基于大数据的行业情报分析服务。公司专注于大数据、智能技术和语义分析等领域，主要致力于智能语义技术的开发和市场应用，尤其侧重于各类数字化信息的智能语义分析和深度数据挖掘。 图3 公司定位与产品技术 公司团队具有十多年的底层技术积累，投入了数千万元的研发资金，取得多项知识产权。利用搜索引擎和语义分析方面的技术优势，公司着力开放式（互联网）与封闭式（数据库）数据的采集，大数据架构的数据集成和存储并提供智能语义分析和深层数据挖掘，以满足大数据时代的专业信息服务需求。 公司已研发出基于大数据的“EBU智能语义分析平台”，并相继推出了应用于政府/媒体行业的舆情监测分析系统、适用于高校/科研院所的科研情报分析系统、适用于企业市场的商业智能分析系统；该平台目前已经进入成熟应用和市场销售阶段，主要面向政府、高校、科研机构、企业、电子商务网站等用户。 三、智能语义分析平台 1、平台技术架构 EBU智能语义分析平台是一个集实时数据采集和存储、语义分析、专业知识库的大数据处理平台，可在智能分析的基础上实现数据集成、自动分析和知识服务。 图4 EBU智能语义分析平台架构 平台针对用户的实际需求，可实现大数据环境下的海量、多来源、异构数据进行自动采集、筛选、结构化、标引，并进行复杂语义深度解析，帮助用户在面对海量数据时第一时间获取可分析数据并挖掘隐藏在数据背后的深层涵义。 2、数据平台 数据平台采集各个来源的多种数据，并以其能够实现快速处理和检索的独特结构储存它们。 分析平台是整个系统的核心和关键，主要是对储存和索引的数据进行智能语义分析和深层数据挖掘。在处理数据时，平台能联系基础语义库和语境来分析，包括语义库匹配、自动摘要、结构化抽取、分类、聚类、内部超链接、相似度分析、热点分析、褒贬分析等。 分析平台包括基础语义库、浅层语义分析和深层语义分析三部分： 图6 分析平台架构 （1） 基础语义库 语义库系统是语义分析引擎运行的基础语料库，包括中文分词词库、网络新词词库、中英文倾向性词库等。该部分收录现代汉语词汇和网络词汇达到20万条以上，其中，中文倾向性词条达到2万条以上，英文倾向性词汇达到11万条。 该语义库