06年上半年技术讲座分布式公路交通情况调查处理系统.docVIP

分布式交通情况调查数据处理系统 —— 计算机中心2006年上半年技术讲座 胡立辉 2006年6月 一、项目背景 1、需求背景 公路交通情况是反映公路运营状况的重要信息，是公路交通建设规划、建设项目前期工作、公路建设决策、公路养护和管理的重要依据。图4 双服务器系统架构 针对 图4的组成架构，需要说明如下几点： 需要两台服务器、两个SQL Server的数据库管理系统和同名的数据库实例； 服务器1的基本功能：1）接收观测站数据包，并保留一个备份；2）解析并验证数据包，同时判断数据包时序是否重复；3）向交通部DSC转发数据包。如果该服务器停止运行，则观测站将停止发数据包直到服务器正常；5）满足服务器2的数据分发需求。该服务器尽量满足24*7运行状态（但也不会出现因停机而丢失数据的情况）。该服务器特别强调性能的稳定、可靠，其硬件设备配置不需要特别考虑； 服务器2的基本功能：1）从服务器1中抓取数据包文本；2）解析数据包文本（不需要判断重复）；3）保存T1天内的时段数据、T2天内的小时数据，供一般查询用户使用；4）保存永久数据（时段、小时、日）；5）定时删除T1天前的临时时段数据，定时转移T2天前的小时数据。该服务器的数据量非常大。但该服务器可以停机、可以慢响应用户请求。因此，该服务器的硬件设备配置要求比较高； 在服务器1上保存数据包文本，而不同步马上转发、分发数据包文本的主要原因：1）保持服务器1的完全独立性：不会因交通部DSC、服务器2的停机、网络故障或其他故障而停止接受客户端数据；2）在服务器2分发服务器1接收的数据包，比较将时段数据、小时数据、日数据从服务器1复制到服务器2，信息量要小得多，速度也要快得多（服务器2只需要增加解析包的时间，从服务器1取4个车道的数据显然要长些）； 双服务器架构可以合并为一个服务器情况，此时仅需要建立另一个数据库实例即可。 三、系统特点与难点 1、系统特点 根据我省实际，目前已经安装配备了35个观测设备，未来将达到100～200个观测站的规模，现按100个观测站的规模考虑，本系统有如下特点： 高频率实时运行 系统必须24*7小时运行，并能在3秒种内处理一个数据包 超大记录量 全年将有4000～8000万条、20～40G的实时时段数据. 实时服务 对各个观测站管理者提供实时的流量查询、数据下载 2、系统难点 本系统的难点体现在：既要满足实时不间断运行，又要满足可能的100～200个左右的观测点的数据查询需求，同时要保证系统数据的可靠与安全。 四、主要技术路线 1、平台及开发工具 服务器 两台有固定IP地址的PC机 运行平台 Microsoft Windows2000/2003 + IIS5.0/6.0 +.NET 2.0 数据管理系统 Microsoft SQL Server 2000 + SP4 开发工具 Visual C# 2005 Express版 2、关键技术 数据包的判重与解析 1）使用了时序区间算法记录各观测站的时序包；2）没有使用一般的字符串处理或正则式处理方式，而是使用一遍扫描、同步解析，达到快速分解数据包的目的； 多线程及线程池技术 建立客户端Socket连接、清除内部超时的Socket连接、数据包解析； 异步处理技术 读写客户端Socket数据； 基于事件的消息传递 处理内部类到窗体类的消息传递，均是通过.NET的事件机制实现的； ASP.NET与Web服务技术 应用ASP.NET建立在线查询与数据发布系统，应用Web服务技术实现远程客户端的数据读取； .NET平台的COM .NET提供封装Windows平台下的COM组件为.NET装配集组件，以更安全的方式调用COM组件的方法。本系统主要调用Excel制作输出报表。 四、程序运行演示（双服务器架构） 客户端+接收服务器 模拟一个远程带IP的观测站设备通过无线Modem发送观测数据包，省级DSC接收服务器接收数据包的运行过程； 转发服务器+接收服务器+分发服务器 模拟一个转发服务器将省级DSC的数据包转发到交通部DSC的过程，同时省级DSC分发数据包的过程； 远程客户端 实时查询交通DSC的接收数据情况（单服务器架构，已经出现超时错误）； 实际运行情况 启动较慢，但系统比较稳定（4月29日到5月25日没有down机）。 五、下一步的工作 服务器架构转换 将交通厅的单服务器架构转换为双服务器架构； 综合报表处理系统 取代连续观测站报表的人工处理方式，直接从DSC汇总数据报表。同时，将间歇式观测数据也统一到省级DSC中。这样，将显著提高工作效率、加快数据处理速度； 交通信息在线发布 结合交通厅正在研制的全省公路GPS，建立一个全省交通情况的信息发布网站，为社会提供信息服务。 第 1 页