曾俊瑀-阿里技术沙龙.pptxVIP

NLP在豆瓣标签系统的应用豆瓣算法工程师 曾俊瑀junyu.zeng@douban id : knighter2013.10.26什么是标签标签的作用标签的提取标签的整合总结与思考什么是标签标签的作用标签的提取标签的整合总结与思考什么是标签用户视角什么是标签系统视角什么是标签一个有意义的片断具有信息量可被用户理解和使用相对独立的语法成分：词或短语文本长度和信息量的平衡以简要的方式反映较多的内容由使用和展示方式决定什么是标签标签的作用标签的提取标签的整合标签的特点标签的作用标签预测用户画像标签推荐热点发现什么是标签标签的作用标签的提取标签的整合总结与思考标签的提取标题导演主演类型别名剧情简介标签的提取小组标题小组帖子小组简介标签的提取词库构建原始文本中文分词词性标注标签集标签选择标签的提取条目元信息外部资源维基百科/维基字典词库构建生成候选词内部词库词的独立性标签的提取词库构建外部资源元信息词列表 书名，电影名，出版社，作者，译者，歌手，演员，导演维基百科文本中的实体词维基字典维基百科中不包含的形容词等标签的提取词库构建内部词库使用N-gram生成候选词我在豆瓣工作在豆，瓣工，豆瓣工豆瓣，工作计算词的内部独立性P(豆瓣) P(豆)*P(瓣)计算词的外部独立性 示例溶咖 陈奕 豆瓣电速溶咖? 百事可? 贝叶曼哈 农夫山? ?潘多国际主 瓣电? 邻广个么