大数据和人工智能概念全面解析.pdfVIP

⼤数据和⼈⼯智能概念全⾯解析 ⼀、⼤数据和⼈⼯智能 ⼤数据是伴随着信息数据爆炸式增长和⽹络计算技术迅速发展⽽兴起的⼀个新型概念。根据麦肯锡全球研究所的定义，⼤数据是⼀种规模⼤ 到在获取、存储、管理、分析⽅⾯⼤⼤超出了传统数据库软件⼯具能⼒范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数 据类型和价值密度低四⼤特征。⼤数据能够帮助各⾏各业的企业从原本毫⽆价值的海量数据中挖掘出⽤户的需求，使数据能够从量变到质 变，真正产⽣价值。随着⼤数据的发展，其应⽤已经渗透到农业、⼯业、商业、服务业、医疗领域等各个⽅⾯，成为影响产业发展的⼀个重 要因素。 当前⼈们所说的⼈⼯智能，是指研究、开发⽤于模拟、延伸和扩展⼈的智能的理论、⽅法、技术以及应⽤系统的⼀门新的技术科学，是由⼈ ⼯制造出来的系统所表现出来的智能。 传统⼈⼯智能受制于计算能⼒，并没能完成⼤规模的并⾏计算和并⾏处理，⼈⼯智能系统的能⼒较差。2006年，Hinton教授提出 “深度 学习”神经⽹络使得⼈⼯智能性能获得突破性进展，进⽽促使⼈⼯智能产业⼜⼀次进⼊快速发展阶段。 “深度学习”神经⽹络主要机理是通 过深层神经⽹络算法来模拟⼈的⼤脑学习过程，通过输⼊与输出的⾮线性关系将低层特征组合成更⾼层的抽象表⽰，最终达到掌握运⽤的⽔ 平。数据量的丰富程度决定了是否有充⾜数据对神经⽹络进⾏训练，进⽽使⼈⼯智能系统经过深度学习训练后达到强⼈⼯智能⽔平。因此， 能否有⾜够多的数据对⼈⼯神经⽹络进⾏深度训练，提升算法有效性是⼈⼯智能能否达到类⼈或超⼈⽔平的决定因素之⼀。 如果你想要系统地学习⼈⼯智能，那么推荐你去 床长⼈⼯智能教程。⾮常棒的⼤神之作，教程不仅通俗易懂，⽽且很风趣幽默。点击可以 查 教程。 随着移动互联⽹的爆发，数据量呈现出指数级的增长，⼤数据的积累为⼈⼯智能提供了基础⽀撑。同时受益于计算机技术在数据采集、存 储、计算等环节的突破，⼈⼯智能已从简单的算法+数据库发展演化到了机器学习+深度理解的状态。 ⼆、⼈⼯智能产业及⽣态 按产业链结构划分，⼈⼯智能可以分为基础技术层、AI技术层和AI应⽤层。基础技术层主要聚焦于数据资源、计算能⼒和硬件平台，数据资 源主要是各类⼤数据，硬件资源包括芯⽚研发、存储设备开发等。AI技术层着重于算法、模型及可应⽤技术，如计算智能算法、感知智能算 法、认知智能算法。AI应⽤层则主要关注将⼈⼯智能与下游各领域结合起来，如⽆⼈机、机器⼈、虚拟客服、语⾳输⼊法等。 图1 ⼈⼯智能产业链 资料来源 ：中国产业信息⽹， 《20 17年中国⼈⼯智能⾏业发展概况及未来发展趋势分析》 （⼀）基础技术层 1.1 ⼤数据 数据资源是机器学习训练的基本素材，通过对于数据的学习，机器能不断积累经验和优化决策参数，逐渐变得更贴近⼈类智能。 从数据流动⽅向的⾓度来 ，⼤数据的产业链可分为底层平台、处理分析、应⽤三个层次。底层平台由基础设施与数据资产池构成，主要提 供数据采集、分享和交易服务，处理分析则是在原始数据的基础上对数据进⾏清洗后以不同⽅式呈现。在数据处理分析的基础之上，挖掘各 ⾏业的数据需求，最终为⽤户提供服务。 根据数据应⽤程度不同，⼤数据产业链下各参与⽅功能可细分为数据标准与规范化、数据采集、数据安全、数据储存与管理、数据分析与挖 掘、数据运维和数据运⽤七个⽅⾯。 1.2 计算能⼒和硬件平台 数据资源、核⼼算法、运算能⼒是⼈⼯智能的三⼤核⼼要素。随着全球移动互联⽹和物联⽹等快速发展，⼈类可获取利⽤的数据正以爆炸式 增长。海量的⼤数据通过最新的深度学习技术将为⼈⼯智能的发展与应⽤带来难以估量的价值，⽽运算能⼒提升是⼈⼯智能发展的前提保 障。其中，芯⽚是运算能⼒的核⼼。 就 ⽬前⽽⾔，AI 芯⽚主要类型有GPU、FPGA、ASIC和类⼈脑芯⽚四种。 1.2.1 GPU 1.2.1.1 GPU简介 GPU 即图形处理器，最初是⽤来做图像运算的微处理器。GPU 优化和调整了CPU 结构，使其运算速度突飞猛进，拥有了更强⼤的处理浮 点运算的能⼒。2009 年，斯坦福⼤学的吴恩达及其团队发现GPU 芯⽚可以并⾏运⾏神经⽹络。⽤GPU来运⾏机器学习模型，同样的⼤训 练集，GPU在耗费功率更低、占⽤基础设施更少的情况下能够⽀持远⽐单纯使⽤CPU时10- 100倍的应⽤吞吐量。因此GPU已经成为数据 科学家处理⼤数据的处理器。 1.2.1.2