浅议物联网与大数据处理技术.docVIP

浅议物联网与大数据处理技术 　　摘要：大数据时代，通过分析获得大数据的衍生价值和潜在价值，对企业在各个领域获取竞争优势、引领行业发展十分重要。大数据的异构性、规模性、及时性、复杂性以及隐私问题成为数据创造价值进展过程中的阻力。文章讨论了物联网数据的问题和挑战，提供了物联网数据处理的计算基础架构，重点关注大规模数据处理面临的挑战。通过讨论新兴计算技术，为改善大规模数据管理提供帮助。 　　关键词：大数据；云计算；可扩展性；异构计算；海量数据处理技术 　　网络技术已经渗透到人们社会生活的方方面面，甚至是不可或缺。移动手机和其他移动通信设备，如笔记本电脑、平板电脑、电子书阅读器如Kindle*HNook、GPS车载信息系统等，几乎所有的社交媒体都在广泛使用网络，移动互联的便利越来越多地被用户接受。未来“物联网”生态系统将主宰世界，每一个有形实体都有一个身份，和用户对话交互，通过触摸掌上电脑PDA或单击鼠标键你就可以控制所有的物品。 　　每一件日常用品都可以通过互联网寻址和控制。人们获取信息和交流的方式发生根本性的改变。可以预计，在不久的将来，几乎所有物品和每个人都能够实现实时无线互联。在未来，移动手机将作为中心或远程控制器，联系人们周围的一切，这是所谓的物联网。 　　物联网的概念于1999年提出，物联网是一个动态、具有配置功能的全球网络基础设施，基于国际标准、能够共同操作的通信协议，是将所有物品通过各种信息传感设备，如射频识别装置、红外感应器、3s技术（即遥感技术+地理信息系统+全球定位系统）、激光扫描器等各类装置与互联网结合起来，实现数据采集、融合、处理，并通过操作终端，实现智能化识别和管理u。。在此定义的“物品”具有物理身份和虚拟身份2个身份，物理属性和虚拟身份使用智能接口无缝地集成到信息网络，这是未来互联网的一个集成部分。据研究估计，到2020年，连接物品对象的数量将达到500亿。物联网承诺人类生活在一个智能的、高度网络化的世界，在这个世界里，它允许广泛地与环境交互。无论你去哪里，都可以运用对象超链接。手机终端是验证这些连接的，并保持连接的关键设备。对象超链接又称硬链接，是一个新词，通常指互联网延伸到现实世界中的对象和地点。 　　对象超链接通过URLs（地址）对现实世界的对象进行标记，有形的物体或位置就成为元对象，目标是实现网络到现实世界的扩展。大多数物体的某些特性被标记集成或附加到对象。这些标记可以使用不同种类的无线近场通信进行分析，例如使用RFID标签或蓝牙设备，其他视觉标记可以使用相机扫描进行分析，例如标准的一维条形码或现代流行二维条码。这些对象标签可以被无线移动设备读取，对象和位置相关的信息就会被检索并显示。使用RFID标签，每一个实际物体在模拟计算机世界里可能有一个唯一的识别号码，像一个IP地址一样。 　　1.物联网数据处理 　　在大数据时代，通过分析获得大数据的衍生价值和潜在价值，对企业在各个领域获取竞争优势、引领行业发展十分重要。物联网的兴起，导致产品的数量数据和产品类型数据以前所未有的速度增长。大数据的异构性、规模性、及时性、复杂性以及隐私问题成为数据创造价值进展过程中的阻力。在物联网中，传感器、执行器、RFID标签是物理对象的表现，从公路到心脏起搏器，它们通过供应链被放置在不同种类产品中，通过有线和无线网络连接，对库存商品监控、住院病人管理、停车场和互联网汽车上使用一系列的传感器进行管理，方便了各种不同数据的采集。 　　专业人士积极利用大数据可挖掘出有价值的信息，这要求计算机具备巨大的存储和计算资源，加上先进的软件系统，能保证分析各种图形的运算、生成和显示。物联网导致产品的数量和类型方面的数据以前所未有的速度激增。公司运用这些数据进行分析，进而改进业务流程，预测趋势和损失。这些数据也可以为产品开发、客户支持、生产经营和团队营销提供决策信息，利用这些信息来改善产品的性能、增加收入、降低成本等。 　　2.物联网数据的特征 　　（1）物联网生成大量的数据信息。物联网信息生成的速度远远超过了传统系统，并且产生各种不同的类型的监测信息。新兴数据形式的多样性表明现实社会存在许多有趣的企业。例如，国外的Twitter、Facebook和国内的微博、微信等社交媒体已经成为大数据的主要来源之一。2015年8月，美国的Facebook首次突破在一天内达到10亿人在线，而国内腾讯QQ目前历史最高实时在线人数已达2.28亿。由于传感器与世界互动，“物联网”产生的数据量是相当可观的，数字处理需求成为可行。 　　（2）物联网数据的多样性。与传统的事务处理不同，“物联网”爆炸式数据量来自传感器，数据可以不断采集，且速度快。“物联网”数据的多样性取决于传感器的类型和不断扩大的数据源。处理大量复杂数据和信息的方式也多种