第八讲：文本挖掘应用——Mooc时代在线课程知识点自动提取的算法设计研究报告.ppt

谢谢！ MOOC（大规模开放在线课程）让每个人享有学习的权利，开始于2011年秋天，被誉为“印刷术发明以来教育最大的革新”，给“未来教育”带来了曙光 5Any（任何人、任何时间、任何地点、任何方式、任何课程） 学习免费，考试和申请证书需要交费 考试通过率只有5% 慕课发展非常迅速，国际上已有3大主流平台：Coursera、edX和Udacity（北大和清华已经加入edx，复旦和上海交大已经加入Coursera），以Coursera为例，2011年底成立，2014年1月注册人数就突破440万，学生来自196个国家，合作高校84所，426门课程 * 由于慕课追求“多而全”的课程和资源，而学习对象又是面向全球所有的人。在这样的一种情况下，让每个学习者自己选择课程（分类查找或者关键字查找），而且顺利完成学习的确比较困难，因为学习者在选择课程初期带有诸多不确定性和随机性，随着学习的深入，学习者的兴趣可能发生转移，或者发现根本学不懂，也就是课程要求与自己的学习能力不相符合。因此，从管理和技术的角度，需要为每位学习者主动提供适合他学习的课程和资源。 * Mooc时代在线课程知识点自动提取的算法设计 PPT模板下载：/moban/ 行业PPT模板：/hangye/ 节日PPT模板：/jieri/ PPT素材下载：/sucai/ PPT背景图片：/beijing/ PPT图表下载：/tubiao/ 优秀PPT下载：/xiazai/ PPT教程： /powerpoint/ Word教程： /word/ Excel教程：/excel/ 资料下载：/ziliao/ PPT课件下载：/kejian/ 范文下载：/fanwen/ 试卷下载：/shiti/ 教案下载：/jiaoan/ 引言 01 理论基础与方法 02 03 自动提取知识点的框架和算法 04 实证 引言 01 理论基础与方法 02 03 自动提取知识点的框架和算法 04 实证 MOOC，英文全称Massive Open Online Course，中文全称为大规模在线开放课程。 MOOC发展非常迅速，以Coursera为例，2011年底成立，2014年注册人数就突破440万，学生来自196个国家，合作高校84所，426门课程 MOOC学习能够按期毕业的学生不足5%，因此MOOC面临最大的问题-高辍学率 问题分析解决思路 主要原因：课程资源与学生能力不匹配 解决思路：根据学生的学习能力和兴趣爱好向学生推荐合适的课程资源（个性化推荐） 需要技术：本体推荐技术，首要任务是构建本体，考虑大规模课程资源，需要自动构建本体（本体学习，Ontology Learning） 课程本体学习 课程本体学习包括： 课程知识点自动提取 知识点之间关系自动提取 课程知识点自动提取是非常重要的任务，也是关系提取的基础 理论基础与方法 02 引言 01 03 自动提取知识点的框架和算法 04 实证 文本挖掘一般方法 文档 物征提取/文本表示 特征选择 挖掘方法获取知识模式 知识 用户评价 ? ? ? ? 2.1概念过滤（Concept filters） 领域相关度 领域一致度 概率过滤 2.2词频TF-IDF 词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的频率 如果包含词条t的文档越少，也就是n越小，逆向文件频率（inverse document frequency，IDF）是一个词语普遍重要性的度量，基本思想：IDF越大，则说明词条t具有很好的类别区分能力 2.3相似度计算 余弦相似度 Jaccard相似性系数 皮尔逊相关系数 03 自动提取知识点的框架和算法 引言 01 理论基础与方法 02 04 实证 自动提取课程知识点的框架 3.1文档预处理 对文档进行分类，取MOOC中非常重要的3类文档： 教学文件、教学内容和习题库 将各种格式（word、pdf、html、XML、Excel等）统一转化为纯文本文件格式（*.txt） 3.2中文分词与词性标注 采用中科院计算所研究的ICTCLAS开源软件进行分词和词性标注 增加教育领域词典、计算机领域词典、以及课程领域词典 3.3选择候选课程知识点 采用VSM模型利用TF-IDF算法计算特征的TF-IDF值 考虑到以后对知识点间关系的提取，需要统计每个候选课程知识点的属性，包括：所在文档的位置、所在文档字节大小、所在段落位置、所在句子的位置、同一句子中的其它候选知识点等等 3.4 相似度计算 3.5 权重计算 3.6 提取课程知识点 3