新数据挖掘的国内外应用.pdfVIP

新数据挖掘的国内外应用

数据挖掘的国内外应用

一、概述

数据挖掘作为近年来新兴的一门计算机边缘学科，其在国内外引起了越来

越多的关注。并且随着数据挖掘技术的不断改进和数据挖掘工具的不断完善，

数据挖掘必将在各行各业中得到广泛的应用。数据挖掘从大量的数据中通过算

法搜索隐藏于其中信息的过程。这项以数据库技术、统计分析、人工智能等为

依托的综合性运用技术的出现有其必然性和可行性。首先，信息社会的到来对

数据的筛选和利用提出了更高的要求，而少量数据的出现又使得基于传统数据

处理方法的人们面对大量数据无从下手，此时必然要求有更为先进的数据处理

技术；其次，计算机性价比的提升和磁盘存储器价格的大幅度降低，使得人们

借助计算机来完成数据的分析和处理成为可能。

城市是生存繁衍最好的地方、是社会交往的地方、是文化享受的地方，按

照城市的职能，我们让它智能化，比如智慧安防、智慧环保、智慧能源、智慧

城管、智慧养老、智慧国土规划、智慧交通等都是让人有更好的环境来生存繁

衍。在经济发展方面，可以推动智慧制造、工业互联网、物联网。在文化享受

方面，可以考虑智慧户外流媒体、智慧教育、智慧旅游等等。李德仁院士将智

慧城市定义为“智慧城市=数字城市+物联网+云计算”。其中，数字城市技术把

基础地理数据、正射影像、街景影像数据、全景影像数据、三维模型数据结合

在一起，这产生了大量的地图数据，而在智慧城市的建设和应用中，将产生从

TB到PB级越来越多的数据，从而进入大数据时代。而对于这些大数据来说，传

统的数据分析工作已经不适合对现有数据进行合理的分析，导致了一种“数据

爆炸但知识贫乏”的现象。目前在智慧城市中的各种应用如智慧交通，智慧国

土等应用中的数据库系统主要局限于实现数据的录入、查询、统计等功能，但

无法有效地发现数据中存在的关系和规则，很难把握数据背后隐藏的知识，无

法根据现有的数据预测未来的趋势。这在一定程度上阻碍了智慧城市的应用与

普及。而数据挖掘技术恰恰是解决这一难题的最佳方法。应用数据挖掘技术，

可以从GIS数据库中发现更多的地理知识和地理规律、对专题数据进行有效、

诊断与预警分析，以及基于“社会经济发展-污染减排-环境质量改善”的环

境预测模式，开展环境形势分析与预测，识别经济社会发展中的重大环境问题，

开展环境规划政策模拟分析，探索建立各类政策模拟分析模型系统，实现环境

税、排污收费、排污权交易、生态补偿、价格补贴等手段对经济社会的影响的

预测，开展环境经济政策实施的成本分析；开展环境风险源分类分级评估、环

境风险区划等工作，支撑环境风险源分类分级分区管理政策的制定。

5、智慧安防

对于“安防”行业来讲，在平安城市、智能交通管理、环境保护、危化品

运输监控、食品安全监控，包括政府机构、大企业工作场所等的与网络连接的

设备系统将最有可能成为最大的数据资源。随着智慧城市等工程的推进，监控

摄像头已经遍布大街小巷，安防监控对高清化、智能化、网络化、数字化的要

求越来越高，数据量自然也不断地迅速增加。那么，数据挖掘技术在面对“安

防”行业所长生的大量非机构化数据所急需解决的核心技术为：

视频浓缩检索技术，主要是利用图像处理(包括视频浓缩、摘要、复原等)、

模式识别、海量数据分类存储以及搜索等技术，对海量的存储录像等原始信息

进行分析和挖掘，对于目标特征、目标行为、目标间关联关系这三大类信息内

容，形成各种分类的特征信息库、元数据和索引等，并提供统一接口供外部应

用进行搜索，以期通过有限的线索，达到案件快速关联和定位。

视频图像信息库建设，目前应用比较广泛的是卡口和电警的应用。由于车

牌识别技术的日趋成熟，通过车牌、车牌颜色、车身、车身颜色、车辆类型等

特征识别，把车辆图片、车辆信息、车主信息、盗抢车辆库等结合起来，可以

有效的进行车辆的查找、布控和案件线索搜索。而其他如视频监控录像、案件

等信息如何形成统一接口查询，如何进行有效数据关联，应用不是特别广泛。

为此，国内很多科研单位和智能产品公司进行了多方面探索。如清华大学、中

国科学院自动化研究所，上海交通大学、浙江大学等。

视频图像信息库建设和海量数据的处理、分析、检索，是提高效率的有力

手段。通过视频智能分析技术，把海量的视频数据进行浓缩、提取特征摘要、

减少了存储空间。如1小时的视频录像，通过特征值方式的视频浓缩，可以把

录像压缩到10分钟左右。同时，视频图像信息库有别于传统的关系数据库模型，

针对结构化，半结构化和非结构化数据，通过数据的多个