- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
技术支持:风淋室/
净化台/modpic-13/
计算机研究与发展 ISSN1000—1239/CN 11—1777/TP
JournalofComputerResearchandDevelopment 46(10):1704-1712,2009
面向大规模语料 的语言模型研 究新进展
骆卫华 刘 群。 白 硕。
(中国科学院研究生院 北京 100049)
。(中国科学院计算技术研究所智能信息处理重点实验室 北京 100190)
。(上海证券交易所 上海 200120)
(1uoweihua@ ict.ac.cn)
A Review oftheState-of-the-ArtofResearch on Large-ScaleCorpora Oriented
LanguageM odeling
LuoWeihua ,LiuQun ,andBaiShuo。
(GraduateUniversityofChineseAcademyofSciences,Beijing100049)
(KeyLaboratoryofIntelligentInformationProcessing,InstituteofComputingTechnology,ChineseAcademyofSciences,
Beijing 100190)
。(ShanghaiSecuritiesExchange,Shanghai200120)
Abstract N—gram languagemodel(IM ) isa key componentin many research areasofnatural
language processing, such as statistical machine translation, information retrieval, speech
recognition,etc. Using higher—ordermodelsandmore training data can significantly improve the
performanceofapplications.However,forlim itedresourcesofthesystems (e.g.,memory,usageof
CPU ,etc),thecostoftrainingandaccessinglarge—scaleIM becomesprohibitivewithmoreandmore
monolingualcorporaavailable.Therefore,theresearchon large—scalelanguagemodelingdrawsmore
attention.Theauthorsintroduce the state—of-the—artoftheideasand progressofthe issue,which
focusesonsomerepresentativeapproaches,includinganadhocmethod,arandomizedrepresentation
modelandadistributedparallelframework.Theadhocmethod isaunifiedoneintegrating division
andconqueringofdata,compactdatastructrue,datacompressionbasedon quantizationandmemory
mapping.TherandomizedrepresentationofLM isalossycompressionmodelbasedonBloom filter.
ThedistributedparallelframeworkcarriesoutthetrainingofLM basedonM apReduceandperforms
therequestsofN—gramsinabatch modeofremotecal1.Theperformanceofsystemsofstatistical
machinetranslation utilizing theapproachesisdescribed respectivelyw
您可能关注的文档
- 张大妈福利WMF完美福20cm不锈钢煎锅.pdf
- 在线流变仪研究进展及利用.pdf
- 美亚入手LEGO乐高EducationSOFTBricksSet软积木745003.pdf
- 美国格林瀚克边墙风机.pdf
- 数值分析期末复习总结.pdf
- 整合ERP之碳足迹建构模式研究.pdf
- 我国英语学习者课堂环境下形态意识发展王栋.pdf
- 抑制永磁直线电机推力波动电流补偿控制策略.pdf
- 先导式减压阀.pdf
- 一种不连续SturmLiouville问题特征函数振动性(1).pdf
- 2.2.1风蚀地貌公开课教案教学设计课件资料.pptx
- 15教学阅读公开课教案教学设计课件资料.doc
- 17十七、DNA的半保留复制公开课教案教学设计课件资料.pptx
- 考点38 自然保护区建设与生态安全公开课教案教学设计课件资料.doc
- 3科学试卷公开课教案教学设计课件资料.doc
- 光现象公开课教案教学设计课件资料.docx
- 第一部分 第七章 课时43 地质灾害公开课教案教学设计课件资料.docx
- 核心素养综合练3 区域认知公开课教案教学设计课件资料.doc
- 4.4国际合作教学设计2023-2024学年人教版(2019)高中地理选择性必修2公开课教案教学设计.docx
- 2.1.3滑坡、泥石流课件公开课教案教学设计课件资料.pptx
文档评论(0)