大数据应用解决方案(推荐).doc

交通行业大数据应用 背 景： 随着经济发展迅猛，地方交通越来越繁忙，机动车辆不断增加，地方政府需要好的方法对过往车辆进行监控管理，从而提供更好的交通服务。地方交通部门采用了数据驱动的方法，在市内重要检查点安装了上千台数字监控设备，这些设备7×24小时不间断捕获图像和视频数据，每月数据量达TB级。现在，交通部门面临着如何通过有效利用这些不断增加的交通信息数据该改进交通管理的挑战。 要解决的问题： 1. 集中管理交通数据。 集中访问分散存储在不同的支队数据中心的图像或视频等交通数据和道路交通管理设施、装备和应用系统等。 2. 优化海量数据利用。提供尽可能长时间段的车辆监控数据为市公安治安、刑侦、经侦部门人员及一线民警等提供信息支撑服务。 3. 改善交通。提高对各种交通突发事件的应急调度能力，依据历史数据预测交通或突发事件的趋势。 4. 提升交通案件侦破能力。 5. 增强交通警察对机动车辆的监管能力 实施后的效果： 1. 实现基础过车结构化数据的永久存储，可以保存最近24个月的交通违法图像数据，实时对数据检索，并可随时无缝扩容。 2. 单服务器允许平均每秒250次500KB尺寸图片同步传输或2000次异步并发存储。 3. 不到1秒即可得到从24亿条过车数据中的机动车号牌查询出的精确结果和行车轨迹。 4. 提升交通案件侦破能力。 机动车违法图像信息在系统的保存周期从3个月延长到24个月，交通警察等部门可根据车辆的颜色、车型、号牌等信息实时查询其历史行为、行车路线和车辆营运公司、驾驶人等关联信息。 5. 增强交通警察对机动车辆的监管能力。交警可以从24亿条过车数据中轻松检索被监测机动车的号牌精确查询和行车轨迹。 6. 便捷利用关联车辆的分析数据。针对24亿条实际过车数据进行两卡点、多卡点的伴随车辆和碰撞车辆的复杂分析，查询耗时仅为10秒左右。 运营商详单账单查询大数据应用 新一代详单账单查询系统（省级） 背 景： 微博、微信的快速发展所带来的非结构化语言记录、音频、图片和视频等数据加快了电信行业数据量的增长速度。海量的非结构化数据带来的并不仅仅是存储、传输的问题，做好海量非结构化数据分析以更好的服务客户、提高效率已经成为全球运营商当前最为紧迫的问题。 随着移动设备、快速3G 和 4G 连接、自助服务或帐户相关信息查询服务日益受到消费者的青睐，除了传统的语音，上网、短信以及在线查询每月账单 / 电话详单信息相关的数据通信部分迅速增加。随着业务不断扩展，3G 用户数量和计费数据记录已使查询数据请求的数量明显增加，系统响应速度变慢。 要解决的问题： 1. 现有计费系统维护成本高，降低了计费业务单位的盈利能力。 2. 速度慢，降低了服务质量。当前高科技个性化的客户支持模式不可扩展，无法应对爆炸性的需求增长，可能会导致不满的顾客流向竞争对手。 3. 解决规模问题。RDBMS 解决方案无法满足存储规模和实时查询要求，进而无法为用户提供优质服务。 实施后的效果： 1. 个人用户能够查询并在线支付话费，准确实时查询六个月内的电话详单。 2. X86解决方案只以当前 RISC平台价格的一小部分就实现了这些功能，但在规模上却以经济的方式扩展到数亿个用户。 3. 新的分析数据功能，可显示实际客户使用情况、偏好和按照细分客户群提供服务的成本之间的联系。同时可以主动监测网络使用情况，发现性能瓶颈，确定哪些网站与用户产生的数据收费最高。 4. 性能更高：账单明细检索查询速度是3 00000份账单/秒，插入速度是800000份账单/秒。该系统目前每月无缝处理30TB的用户计费数据，每个表支持数十亿份账单。查询性能提高了 30 倍,从而大大提高了新系统的负载能力,可以支持数百万用户同时在线查询。 5. 高可靠性：该系统不需要保存在一台中央计算机或单一 MPP 数据仓库中，从而改进了跨集群（平均每个集群80个节点）的灾难恢复能力。HDFS 的自恢复功能可以使数据的信息在集群中永远保留三份副本，这样数据就不会丢失。当硬件或网络不能运转时，它仍然可以提供数据和文件读写能力。 运营商网络优化大数据应用 背 景： 运营商的网络环境日趋复杂，其中无线接入网就有2G、3G、WiFi、LTE等多种制式，基站的分布密度越来越高，用户数也越来越多，对于海量的网络设备信息、网络运行信息、用户信息和终端呼叫信令等数据，系统的网络优化越来越困难。 网络优化实时性要求非常高，一旦基站出现了故障，必须在非常短的时间内进行定位和修复，否则不仅会造成直接的经济损失，而且会导致用户大面积的投诉，甚至导致用户流失，也对潜在的用户造成不好的影响。如何通过使用合适的大数据平台存储信令大数据，进行端到端网络质量的分析，快速进行网络优化和故障定位，是运营商吸引增加用户、减少用户流失、增加收入和实现精细化运营的一个