非结构化数据管理及其应用.pptVIP

非结构化数据管理及其应用 Bao XiaoYuan PKU PostDoc Topics 概念与背景 非结构化数据的价值 应用 企业搜索（Enterprise Searching） 设计制造（Manufacture） 网络信息抽取与分析（Web Page Extracting and Analysis） 相关技术 UDM 管理框架 分析技术 Dataspace, GFS, XML 非结构化数据的管理问题 更多的示例…… 概念与背景 Structural Data Relational Table Semi-structural Data XML, HTML Unstructural Data Text, Video, Audio, E-mail, …… 概念与背景 Any data without a well-defined model for information access Examples, Word documents E-mails Examples of what is structured Database tables Objects XML tags 概念与背景 UDM The process of mining and analyzing unstructured data to capture useful information Market size $100M for text mining Much greater IT impact 概念与背景 为什么需要UDM? Unstructured data consists of text, audio, images etc. Unstructured data contains significant business value Technologies and tools exist for leveraging the value in unstructured data The value in unstructured data is mostly untapped 应用驱动 企业行为监控 企业搜索（人们需要像搜索互联网那样搜索Intranet中的信息） 商业智能 Topics 概念与背景 非结构化数据的价值 应用 企业搜索（Enterprise Searching） 设计制造（Manufacture） 网络信息抽取与分析（Web Page Extracting and Analysis） 相关技术 UDM 管理框架 分析技术 Dataspace, GFS, XML 非结构化数据的管理问题 更多的示例…… 非结构化数据的价值 “Amount of text-based data alone will grow to over 800 terabytes by 2004” - Forrester “Amount of unstructured data in large corporations doubles every?2 months” - IDC 一直没有得到重视(CACM 2007) 是否有价值需要加以分析 处理技术复杂(NLP近年的进展不大） 有效的存储设备、技术限制 非结构化数据的价值 “The average knowledge worker spends 2.5 hours per day searching for documents” - IDC – March 2002 “80-90% of information on the net and corporate networks is unstructured” - Goldman Sachs 不断增长的非结构化数据 UDM 对结构化数据的有力补充 应用价值 Business Value Better information More timely information More relevant information Better decision support IT Impact More information to store and manage More complex analysis Greater business impact Topics 概念与背景 非结构化数据的价值 应用 企业搜索（Enterprise Searching） 设计制造（Manufacture） 网络信息抽取与分析（Web Page Extracting and Analysis） 相关技术 UDM 管理框架 分析技术 Dataspace, GFS, XML 非结构化数据的管理问题 更多的示例…… 企业搜索 与Internet搜索