互聯网论坛监测系统的设计.docVIP

互联网论坛监测系统的设计 Pnbsp;/P PBR以太网数据传输通过广播实现，通常在同一个共享局域网的所有网络接口都有访问在物理媒体上传输的所有数据的能力，但是在系统正常工作时，应用程序只能接收到本主机为目标主机的数据包，其他数据包过滤后将被丢弃不作处理。该过滤机制可以作用在链路层、网络层和传输层这几个层次。BR链路层主要指网卡驱动程序判断所收到包的目标以太网地址，在系统正常工作时，一个合法的网络接口应该只响应这样的两种数据帧:BR#8226;帧的目标区域具有和本地网络接口相匹配的硬件地址。BR#8226;帧的目标区域具有广播地址。BR在接收到上面两种情况的数据包时，网络接口通过CPU产生硬件中断，操作系统进行中断处理后将帧中所包含的数据传送给网络层进一步处理。而其他情况下数据帧将被丢弃不作处理。网络层判断目标IP地址是否为本机所绑定的IP地址，如果不是本机所绑定IP地址，将丢弃这些IP数据报;如果符合本机1P地址则交给传输层处理。/P P滤程序会导致数据包丢失、来不及分析处理等。用户可以按特定的子网主机以及特定的协议端口如Http, FTP, E-mail等进行过滤，只将用户关心的敏感数据向上层提交，从而提高系统的工作效率。信息的简单过滤有如下几种。BR1.nbsp;协议过滤：BR根据传输层和网络层中的特性过滤，如选择。TCP数据而非UDP数据。BR2.nbsp;类型过滤：BR站过滤：根据MAC地址，筛选出某个工作站或服务器的数据。BR服务过滤：根据端口筛选特定类型服务。BR3.nbsp;内容的过滤：BR根据收到信息的内容，选择性的数据过滤。BR本系统采用内容过滤的方法来实现论坛监测。/P P接入互联网，对定点网站、论坛进行数据深入挖掘，基于发帖人、发帖时间、主题及正文进行分类检索与统计，对目标站点的信息提取率达到90%；专项针对目标论坛的信息发布进行内容获取，对目标论坛分组，基于论坛组进行高效的轮询式全文获取；采用纯文本方式存储，以最大限度节约空间。BR数据报告生成平台：BR以海量信息为基础，自动聚成目标论坛当前热点，并发布信息快照、生成数据报告。〖本文来自：计算机毕业网nbsp; A href=/A 〗BR系统还应该需要：BR定点网站深入挖掘BR#8226;网络终端浏览行为智能模拟BR#8226;目标站点信息提取率达到90%BR#8226;专项针对论坛发布内容获取BR#8226;目标论坛分组，基于论坛组的高效轮询式全文获取BR此功能主要能够很快的建立目标论坛网站的目录，并根据需要定点某个网站。在这个定点网站中利用搜索，提取所需的信息。/P P#8226;网站过滤白名单和黑名单功能。可设置只监视具体的一些网站，也可以忽略监视某些网站；比如一个公司里通常SINA这样的网站可能同时所有的人都有去看，如果都监视的话将相当浪费资源又内容重复，实际上也无意义和必要。因此采用过滤方法模糊控制模式去忽略对一些公共的东西过滤。比如输入SINA，将过滤全部包含SINA的所有URL访问，这叫做白名单过滤。对包含色情和反动信息的过滤叫做黑名单过滤。BR流量监视与限制：BR包括针对具体的对象，能够详细准确监视其发生的流量，并能够限制其占据的流量带宽。BR数据备份和配置管理：BR包括允许定义数据保存时间或删除过时的数据。数据、配置和日志的查看、打印、备份恢复功能。简单容易的数据备份方式和海量存储模式。支持监视内容和配置文件的海量模式备份、恢复。BR4.2论坛监测系统功能模块的描述BR对用户上网行为的监测和管理事实上要配合一个复杂的网络系统体系去实现，首先要定义网络用户的类型，普通用户、管理员等都应有不同的网络权限去获得网络的资源，因此就需要网管功能的软硬件了。此外对用户的数据的监测就只能通过流控设备去实现，了解所使用的各个服务的流量，对敏感的流量和服务有必要进行抓包分析。特别是对技术含量较高的企业有很大用途。BR本系统根据功能模块化分为后台和前台软件两部分。后台部分由主进程和主线程完成。主进程通过主控模块实现。主线程通过包捕获模块、解码模块、模式匹配模块和输出模块来完成。前台部分包括图形显示模块、命令模块。BR主控模块实现的功能包括所有模块的初始化、命令行解释、配置文件解释、建立主线程、关闭主线程。/P Pstruct pcap_md ;nbsp; 表示数据包截获机制状态和相关设备状态的结构。BRint bufsize;nbsp;nbsp;nbsp;nbsp;nbsp; 数据包缓冲区大小。BRu -char *buffer;nbsp; 数据包缓冲区的首地址。BRu -char *bf;nbsp;nbsp;nbsp;nbsp;nbsp; 缓冲区指针。BRint cc;nbsp;nbsp;nbs