刘俊-论文答辩.pptVIP

1. 研究背景 互联网的飞速发展导致web数据的爆炸式增长，各种web数据管理系统应运而生 2. 研究内容 2.1 数据采集模块 多种数据采集方式 数值定量评分 选择式自定义话题投票 推荐标注词的半自动标注 自由文本式交互评论 基于个性化库的数据组合分析 2.2 个性化库模块 基于对象代理数据库创建个性化库 对于单个源类建立select、join代理类 对于多个源类建立union代理类 对已创建的个性化库进行查看、推荐、更新、删除等操作 协同分析平台框架结构图 2.3 标注词协同推荐 在标注分析时，为了启发用户的思维，促进用户之间的协同分析，由系统通过分析用户群对目标数据的已有标注集合，自动地为用户进行标注词的推荐 标注词采集 数据相似度计算方法 Web数据之间通过数据的某些关键属性和特征进行计算，例如专利数据通过IPC分类号、专利名称 个性化库之间通过代理规则以及库中相同数据占数据总数的比例进行计算 标注词统计与过滤 推荐概率公式 fwhole表示当前标注词被用于系统中所有数据的全局推荐频数 fpart表示当前标注词被用于目标数据或者特定最近邻居的局部推荐频数； 标注词融合与推荐 2.4 多评论自动文摘 为了将多个用户的文本评论融合成一个综合结果，方便用户查看，提出多评论自动文摘算法进行多用户文本评论的聚类和文摘 基于句子相似度的主题分类 具体步骤 对集合中的句子进行编号 对每个句子，求出它与所有比自己编号大的句子之间的语义相似度 将相似度矩阵进行排序，并为每个句子建立一个单独的集合 取矩阵的一个元素，如果该元素的相似度值不小于预定阈值，则转下一步，否则结束 将该元素对应的句子所在的集合合并，转上一步 句子相似度的计算 具体步骤 对句子A、B进行分词和词性标注 取出A、B分词结果中的名词、形容词和动词，分别得到集合A’、B’ 对A’中的每一个词，计算出其与B’中每个词的词汇语义相似度，并求出相似度最大值 对B’中的每一个词，计算出其与A’中每个词的词汇语义相似度，并求出相似度最大值 按照上式计算出A和B的相似度 基于情感倾向度的文摘句抽取 情感倾向度的计算 具体步骤 对句子S进行分词处理 根据情感词典，对句子S的分词结果进行扫描，找出其中的褒义词、贬义词和程度副词 判断句子S中褒贬词和程度副词的对应修饰关系 根据上式计算出每个句子的情感倾向度 例如：这/r 款/q 手机/n 不仅/c 外观/n 好看/a+ ，/w 功能/n 也/d 很/d+2 齐全/a+ 。/w 3. 本文创新 多途径数据获取方式 基于对象代理模型的个性化库创建管理、数值定量评分、多项选择式自定义话题投票、推荐标注词的半自动标注分析、文本式交互评论 融合语义的标注词协同推荐 通过基于数据相似度的标注词采集、基于统计信息的标注词过滤和基于语义相似度的标注词融合等策略实现标注词的协同推荐 多评论数据的自动文摘抽取 针对评论数据的特点，提出基于句子语义相似度的主题分类、基于情感倾向度的文摘句抽取等策略进行多评论自动文摘 4. 总结展望 本文总结 设计了协同分析平台的框架结构 设计了多种有效的数据采集方式 提出并实现标注词协同推荐算法 提出并实现多评论自动文摘算法 下一步工作 基于本体的动态分析模板的定制 文本评论的信息抽取，按主题查询等 不同的web数据，其相似度的衡量会有不同的标准和方法 * * * 学 生：刘俊 导 师：彭智勇 教授 时 间：2010-05-31 Web数据协同分析技术研究 答辩提纲 4. 总结展望 4 1. 研究背景 1 2. 研究内容 2 3. 本文创新 3 对web数据进行高效管理的目的之一是如何挖掘出其潜在的信息和价值，即需要由用户对其进行分析，添加语义信息 由于用户自身的职业经验、知识结构以及关注的焦点等各不相同，很难由某个用户单独的分析而得到对web数据全面客观的综合评估 ？ ？ ？ 如何充分获取用户的观点数据，如何促进用户之间的协同，如何对多个独立的观点数据进行处理从而形成集体智慧？ 总体价值 ？ 协同分析平台框架结构图 感谢各位老师提出宝贵意见 * * *