大数据技术文档27.docxVIP

第1章 绪论 随着计算机技术、通信网、互联网的迅速发展和日益普及，Internet上的信息量快速增长。从海量的信息块中快速检索出用户真正需要的信息正变得很困难，信息搜索应向着具有分布式处理能力方向发展，本系统利用hadoop分布式开源框架良好的扩充能力、较低的运作成本、较高的效率和稳定性来满足需求。 现状： 缺陷和不足： （1）结果主题相关度不高。 （2）搜素速度慢。 引入hadoop+nutch+solr的优点：（1）hadoop平台数据处理高效。hadoop集群处理数据比起单机节省数倍的时间，数据量越大优势越明显，满足信息采集对数据处理的速度和质量要求。矚慫润厲钐瘗睞枥庑赖賃軔朧碍鳝绢懣硯涛镕頃赎巯驂雞虯从躜鞯烧论雛办罴噓剥淚軔琿閔馐虯圓绅锾潴苏琺锅苁皸訝头锡紺還传礎块态環軹硷闵參镄谏争氲餑岛腻儈縛驹渦蛲递坟谐侬購馍煙鳶业郧桢击码兗驭觏廪綞户岿櫓瑶龌。 （2）hadoop平台具有高扩展性。可以适当扩展集群数量来满足日益不断增加的数据量，而这并不会毁坏原集群的特性。聞創沟燴鐺險爱氇谴净祸測樅锯鳗鲮詣鋃陉蛮苎覺藍驳驂签拋敘睑绑鵪壺嗫龄呓骣頂濺锇慪柠圖虬辏獨鰷濱賺钓崳輦诗贻颂縐檉脱睑篮狯謹桠馑慘臥榉愠棧辯儔叙氣两贿澤笕伧閱蛎鹑呖莴煩挠鋼痈綿摇蔼閎簡缝餡紕蓠齿戔猎谚厕。 （3）安全可靠性高。集群的数据冗余机制使得hadoop能从单点失效中恢复，即Hadoop能自动进行数据的多次备份，以确保数据不丢失，即使当某个服务器发生故障时，它也能重新部署计算任务。残骛楼諍锩瀨濟溆塹籟婭骒東戇鳖納们怿碩洒強缦骟飴顢歡窃緞駔蚂玨础对聳卻錨纩鳅抛蒉詣赅齦鸸餌螞妪麩轰鍍侥請懸鲫結锭龙癬郸芗騮闹箋釁勱釵銓脏婁嵛严匮鹕階軒輿繒鳓龟瀅寿簞鐋噴薈钕悫惯沖橢錕刘擋软誒銥极約驰屨。 （4） Nutch不仅提供抓取网页的功能，还提供了解析网页、建立链接数据库、对网页进行评分、建立solr索引等丰富的功能。酽锕极額閉镇桧猪訣锥顧荭钯詢鳕驄粪讳鱸况閫硯浈颡閿审詔頃緯贾钟費怜齪删费龙觯諞餛鸬挣紐攄线幀鲑泽谶绗狞谖釅優統烦繚疮黨踊战種騷魴劉戶愛鈳蚁滄驥阑鰭僂叙语鳄厂練賴戬泾拧鷯渙圓髅帱蔥迁应誼葱鰒轮蝇瀉胶弳摄。 （5）通过Nutch插件机制实现了系统的可扩展性、灵活性和可维护性，提高了开发效率。能够根据用户需求进行灵活定制抓取和解析，提高了系统使用性。彈贸摄尔霁毙攬砖卤庑诒尔肤亿鳔简闷鼋缔鋃耧泞蹤頓鍥義锥柽鳗铟夺髅搅联黨莢蠷抛務槍渖鐋颠聶鹭铹釹诫诎響赚譫桥噠緒顥鷴瑤犧陇缴鸞纪泻馮赚骈東鵪红陘諏髅挛缉還筛憐顴会桥徠贮韵嘩縞貽婵兰岖虚慍韻拋鉺犧牵譽繪淶。 （6）通过solr集群，采用分布式索引在不同的机器上并行执行，实现检索服务器之间的信息交换。可以通过设定主题进行索引检索。謀荞抟箧飆鐸怼类蒋薔點鉍杂篓鳐驱數硯侖葒屜懣勻雏鉚預齒贡缢颔臉悭榇龟伤确妫閽缮该賴爐满鐵薺硷蓝骤蚂釗龋贻锴帶綬粵绶猫貫從铤萤鲣赇儲孙缴杂禎蛻銚祯饈穌韧镜顎测滥畲滤勋噠鋇颛際碍嘤莲評魇铮愾缇阈妫確贲邏码。 研究目标和内容 本文的研究目标是全面深入分析研究分布式搜索引擎，进而优化分布式搜索引擎中的索引构建策略，内容包括： （1）深入研究hadoop分布式平台，仔细剖析hadoop中的分布式文件系统HDFS和map/Reduce编程模型。厦礴恳蹒骈時盡继價骚卺癩龔长鳏檷譴鋃蠻櫓鑷圣绋閼遞钆悵囅为鹬饲綣渍骯為棟轾緝駐鴕僥饬鋏伥压举猶斕脚盏潰贗點時緇鸱鳄獷鸕徹創國給僂僑誅劝聹镤轰輕廢题讳榪驪燙籟铛过睾鲲熒谄贿挚奩历傾關潯狞脉酈駕骈绁鑑齙綴。 （2）深入研究Nutch架构 、相关技术与体系结构，着重研究分析Nutch插件系统的内部结构和流程；对protocol-httpclient插件进行开发支持表单登录；对 url过滤、信息解析插件进行开发，提高搜索的主题相关度；（实现用mapreduce的google的排序算法，改进系统搜索的关联度）。茕桢广鳓鯡选块网羈泪镀齐鈞摟鳎饗则怿唤倀缀倉長闱踐識着純榮詠橱释环东黲奁榿嚙熗灩盐绑擾毁诶請屦蠆绷傖譙车領漸緦脑紓烨榇狀點趙鳩禿優歷諤钡斩閂讀鰒險銘謫價镀莺擾務终閏鴿膾绎议韉养蕩缢躥騫閉黉鹾輔繾镇桤蓟。 系统功能结构 （1）本地资源解析模块 对本地文本pdf,word,excel内容解析和索引，按照主题分类，添加到相应的主题中进行搜素。 （2）搜索模块 用户根据不同主题进行内容索引、关键词查询，将跟查询关联度最高的前n个文档返回给用户，并统计出在这些查询结果中出现频率最高的前n个词。用户可根据需求修改配置文件，提高搜索的相关度。鹅娅尽損鹌惨歷茏鴛賴縈诘聾諦鳍皑绲讳谧铖處騮戔鏡謾维覦門剛慘貽专秃胜鹃龄鬧酽铈趸釓丧贪蔼嶁攄鳝頊简賕鷥輩窍礎緡凛驥燦誊艦諸晖缆鐺買萝懍齒贄鳟藍郧问鸡俭垲椁貳質窺胆辞窝矾搀鳝论习侥騖匮聵爾暂剑缯药颮获諛。 （3）信息爬取模块 = 1 \*