达观数据产品说明文档.docx

达观数据产品说明文档达观数据科技旨在为应用方提供文本挖掘、搜索引擎、推荐系统、数据采集、数据统计等大数据技术服务。文本挖掘达观数据科技为应用方提供功能强大、使用灵活的文本挖掘服务，帮助应用方快速分析海量文本数据，从中提取有用信息。达观文本挖掘系统具备6大功能：文本标签提取、文本自动归类、文本自动审核、垃圾评论自动过滤、文本情感倾向分析和网络舆情分析。1.1 文本标签提取达观文本标签提取功能即将文本的核心词语提取出来生成文本重要标签。以热播剧《太阳的后裔》为例，一篇关于它的新闻报道经过系统处理后会生成诸如“韩剧”、“宋仲基”、“宋慧乔”、“爱情”这些标签。达观文本标签提取功能一方面可以帮助用户快速了解文本内容概要，另一方面可帮助应用方高效地管理文本资源。图1-1 文本标签提取1.2文本自动归类达观文本自动归类服务可对文本内容进行分析，给出文本所属的类别和置信度，该功能支持二级分类。如一篇报道世界杯的新闻不仅可通过一级分类被归为“体育”，还可进一步通过二级分类归为“足球”。按照一定的分类体系对文本进行归类是企业有效管理和使用海量文本数据的前提，而达观提供的二级分类文本处理更是大大提升了文本分类的精度，提高了企业对文本数据管理和使用的效率。图1-2 文本自动归类1.3文本自动审核达观文本自动审核系统利用高复杂度的智能算法对文本内容进行整体分析，判断其是否含有涉政、涉黄的敏感内容，同时给出违规的严重程度。此类工作以往多通过人工审核或关键词过滤等形式完成，效率低下同时效果也难以保证。达观文本自动审核系统精准度远超关键词过滤技术，可大幅减少人力成本，提高工作效率。图1-3 文本自动审核1.4 垃圾评论自动过滤达观垃圾评论自动过滤系统可精准识别垃圾评论。很多网站和APP都具有用户评论功能，然而泛滥的垃圾评论掩盖了有价值的评论，大大影响了产品的用户体验。达观的垃圾评论自动过滤功能可帮助企业实现垃圾评论过滤的自动化处理，降低人力成本。图1-4 垃圾评论自动过滤1.5文本情感倾向分析达观文本情感倾向分析功能可针对一段文本分析出作者所要表达的意见态度或情感倾向，如赞扬、批评，或喜、怒、哀、乐等。该功能可用于分析用户评论的情感倾向，这有助于企业准确了解用户对产品的反馈，及时改进。图1-5 文本情感倾向分析1.6 网络舆情分析达观网络舆情分析功能即针对海量的网络舆论数据进行全自动的分析挖掘和汇总，从中提取关键信息，产出多维度分析结果。该功能可帮助企业了解用户需求，跟踪负面信息，了解行业动态，协助政府机构检测敏感事件和舆论热点。图1-6 网络舆情分析搜索引擎通过使用达观搜索服务，应用方可快速构建自己的高性能实时搜索服务。现阶段，达观提供的服务主要包括关键词搜索、搜索词提示、相关搜索词推荐、搜索词自动纠错、搜索词自动变换，在此基础上达观还支持手动配置搜索结果，并对搜索效果数据进行统计。国内某知名女性原创网络文学网站在M站接入我们的搜索服务后，搜索量及点击量都出现显著提升。图2-1 客户案例2.1 关键词搜索关键词搜索即最基本的搜索功能，系统根据用户输入的查询词，实时返回相关的搜索结果。如输入“变形金刚”，搜索结果显示含有“变形金刚”的内容。达观数据提供的关键词搜索服务可保证在100ms内返回搜索结果，并且支持对搜索结果进行筛选、自定义排序，帮助用户快速找到目标产品。图2-2 关键词搜索 2.2 搜索词提示搜索词提示即根据用户当前已输入的部分查询词，如少量的字、拼音、声母，自动提示完整的查询关键词，如输入“变形”，提示“变形金刚”、“变形计”等。达观提供的搜索提示功能不只是简单地提示全网数据库中与已键入关键字相关的词条，而是根据搜索浏览点击等不同的用户行为提示用户可能搜索的词条。达观搜索词提示该功能可有效节省用户输入的时间成本、提升用户体验。图2-3搜索词提示2.3 相关搜索词推荐相关搜索词推荐即当用户输入一个搜索词时，系统推荐与当前搜索词相关的其他搜索词，帮助用户进行联想式查询。如当前搜索词为“变形金刚1”，相关搜索推荐“变形金刚电影”、“变形金刚4”等。达观相关搜索词推荐功能可以引导用户发现其他更具体、更符合要求的关键词，有效延长用户在网站的停留时间。图2-4相关搜索词推荐2.4 搜索词自动纠错搜索词自动纠错即当用户出现英文单词拼写错误、中文乱用同音字、文字错输为拼音等输入错误时，系统自动识别纠错，显示正确搜索词的搜索结果。如输入“变型金刚”，系统自动将搜索词改为“变形金刚”，并显示“变形金刚”的搜索结果。达观搜索词自动纠错功能支持英文拼写纠错、中文同音字纠错、拼音转换等，有效提升用户搜索结果准确度。图2-5 搜索词自动纠错2.5 搜索词自动变换搜索词自动变换即当用户输入的搜索词语义不明时，系统直接将其进行替换，显示替换后的搜索结果。如输入“今天天气”，