网络内容分级索引结构探究.pdf

弼络府窖分级素引结椅研究 摘要 随着计算机和通信技术的发展，互联网已经成为人们发布和获取信息的重要 渠道。然而，由于互联网信息发布的无地域性和匿名性等特点，各种信息难以进 行有效的监督和管理。互联网信息的内容安全问题日趋严重，对公众生活和社会 生产造成了严重的影响。先了保障互联网信息的内容安全，研究和开发蹰络内容 过滤工具具有重要的现实意义。 目前，网络内容过滤技术可以归为标签过滤、关键字过滤、URL过滤、分类 过滤和内容过滤等几大类。URL过滤技术由于其灵活性和高实现效率，在网络内 容过滤系统中得到了广泛的应用。然而。互联网的发展使得URL过滤技术不得不 面对存储空间增犬和查询效率降低等问题。为了解决这些问题，本文结合网络媒 Content MultimediaFiltering 的设计框架， 体内容过滤系统 IMCF，Internet 提出了～个基于CPat—Tree结构设计的网络内容分级索引模型。 本文主要讨论了内容分级索引结构模型的设计和实现。该模型负责存储和维 护定期发布的URL和信息矢量列表，向用户终端提供快速的URL信息矢量查询服 务。内容分级索引结构模型采用散列函数对URL进行编码，然后通过CFat-Tree 模型对URL编码实施存储、索引和查询操作。本文的创新之处在于提出了基于 CPat-Tree存储和索引URL及其信息矢量的方法，对生成算法和查询算法进行了 有益的改进。本文还提出了～种在该URL分级索引结构模型上实旆的裁剪算法。 该算法基于键值相似度比较．直接对存储数组迸行遍历剩减，以缩减CPat-Tree 的存储空间。理论分析和实验结果表明，运用了裁剪算法后，CPat—Tree索引的 存储空闻减小到原来的10％左右；在URL信息矢量的相似度变化范围内，索引结 构的查询效率相对裁剪前提高约30％-609‘。 关键词 网络内容过滤：CPat—Tree；裁剪：URL数据库 中图分类号TP391．3 网络内容分级索引结构研究 Abstract Withthe of andtelecom has developmentcomputer technology．internet becomeone the to of majorchannelsaccess informationscatteredininternetiS difficulttobe and supervised ofnetworkcontentis managed．Thesecurity increasinglycriticaltothe and of public．Thus，investigatingdevelopingfilteringtechnologies networkcontentare andessentialtotheinternet meaningful security． areclassifledas Existingfilteringtechnologies label—filtering， and keywords—filtering，URL_filtering，category—filtering usedfor content—filtering．TheURL-filteringtechnologyiswidely its and highadaptabilityefficiency．However，theURL—filteringtechnology is the andthe inevitablyfacingincreasingstorage decliningquery underthefast of efficiency internet．TheofthiS development objective studyisto the ofthe improvequeryefficiencyURL—filteringtechnology aS its a basedonCPat—Tree reducingstoragebydevelopingsystem undertheframeworkof structure IMCF InternetMultimediaContent Filtering ． This focusesonthe and ofnetwork paper designimplementationcontent claSSificatiOilandindexmodel．Themodelstoresandmaintainsaperiodic and betweenURLs information then updatedmapping vectors，andprovides