大数据在it方面的应用..docVIP

大数据IT领域的意义 课程： 14MGB002H-D4 自然辩证法 学号： 2015E8013261170 姓名： 薛智友 目录 大数据的简介 2 大数据的意义 4 企业大数据项目 6 数据是企业最宝贵的财富。 6 政府部门 7 个人 7 企业管理 9 预测 9 更有效地组织企业以节省资金 9 真正了解客户 10 企业共同创建、实时改进和创新产品 10 利用大数据找到新的商业机会 11 参考文献 12 大数据IT领域的意义 大数据的简介 大数据，英文big data。多大的数据才叫大数据?其实，关于大数据，难以有一个非常定量的定义。维基百科给出了一个定性的描述：大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集。IDC(互联网数据中心)的定义则是：为了更经济的从高频率获取的、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术。但不管怎么定义，大数据大概有以下四个方面的特点 1、巨大的数据量(volume),集中存储和集中处理数据已经无法处理这么巨大的数据。 近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求[1]。 机构或公司 业务数据量 百度 10PB～100PB/天 淘宝 100PB/天 Twitter 2亿条消息/天 会城市公安局道路车辆监控 200亿条/三年 表一 部分机构的数据量 图一 数据量的庞大 每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年时间处理； 每天有200万篇博客在网上发布，这些文章相当于《时代》杂志刊发770年的总量； 每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有80个埃菲尔铁塔那么高； 每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年； 每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台电脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放； 谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书，超过了全世界的专业翻译人员一年能够翻译的文字规模。 2、多结构化的数据(variety),文本、图片、音频、视频、文档等 3、增长速度快(velocity),海量数据需要及时处理，用户庞大、设备多，数据指数增长。 4、价值密度低(value),单条数据并无太多价值，但庞大的数据量蕴含巨大的财富。 谈及大数据就不得不谈谈他的孪生兄弟--云计算。大数据是应用需求驱动发展的，而云计算则是靠商业模式驱动发展。有人说云计算改变了IT，大数据改变了业务。现如今，大数据在各行各业发挥着必不可少的作用。 图二 大数据占的市场规模 图三 大数据在各行业的分布 大数据的意义 大数据的研究和分析应用具有十分重大的意义和价值。被誉为“大数据时代预言家”的维克托·迈尔-舍恩伯格在其《大数据时代》一书中列举了大量详实的大数据应用案例，并分析预测了大数据的发展现状和未来趋势，提出了很多重要的观点和发展思路。他认为：“大数据开启了一次重大的时代转型”，指出大数据将带来巨大的变革，改变我们的生活、工作和思维方式，改变我们的商业模式，影响我们的经济、政治、科技和社会等各个层面。 由于大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据并行计算技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。不仅如此，以大数据处理为中心的计算技术将对传统计算技术产生革命性的影响，广泛影响计算机体系结构、操作系统、数据库、编译技术、程序设计技术和方法、软件工程技术、多媒体信息处理技术、人工智能以及其他计算机应用技术，并与传统计算技术相互结合产生很多新的研究热点和课题。 大数据给传统的计算技术带来了很多新的挑战。大数据使得很多在小数据集上有效的传统的串行化算法在面对大数据处理时难以在可接受的时间内完成计算;同时大数据含有较多噪音、样本稀疏、样本不平衡等特点使得现有的很多机器学习算法有效性降低。因此，微软全球副总裁陆奇博士在2012年全国第一届“中国云/移动互联网创新大奖赛”颁奖大会主题报告中指出：“大数据使得绝大多数现有的串行化机器学习算法都需要重写”。 大数据技术的发展将给我们研究计算机技术的专业人员带来新的挑战和机遇。目前，国内外IT企业对大数据技术人才的需求正快速增长，未来5～10年内业界将需要大量的掌握大数据处理技术的人才。IDC研