人工智能在大数据技术中的应用2.pdfVIP

人工智能在大数据技术中的应用 摘要：如今大数据在社会各个方面都发挥着非常重要的作用。而且，全球信息化的趋 势也在昭示着大数据技术将会得到更加广泛地应用。在各种工业发展中，也开始逐渐应用 大数据技术，我们已经走进了工业大数据时代，如果能够基于人工智能技术的基础上研究 大数据分析方法，就可以从根本上优化大数据的使用范围。 关键词：人工智能；大数据技术；应用 一、大数据分析处理需求 当前针对大规模异质化数据集合，主流的大数据分析处理方法是在通用模型框架下不 断尝试超大规模的模型参数，实现“端到端”的分析推断。在这种模式下，大数据分析处理 能力很大程度依赖于算力平台和数据资源的支持。在实际应用中，这些大数据分析处理技 术面临着真实场景和关键领域中数据泛滥与缺失并存、大数据分析研判的复杂不确定性、 数据安全监管缺失等挑战，最终使得分析处理存在过程可解释性差、模型泛化能力弱、因 果规律不清晰、研判结果不可信、数据价值利用率低等问题。为解决这些挑战性问题，我 们需要重新思考大数据处理架构与分析模式，新一代的大数据分析处理技术体系应该在各 种实时场景下实现高价值知识生成、持续在线的瞬时决策、安全可信的推理研判，以及适 用于未来各种有人-无人结合的在线系统行动优化。本文认为，新一代大数据分析处理至少 需要满足如下4个方面的需求。 (1）人在回路的计算范式。为解决现有大数据分析处理方法难以攻克的高阶复杂问 题，需要在其中引入人的智能与决策，强调人、机器及数据之间的有机交互。不同于原来 的人机交互，即机器按照人的指令，或人听机器的输出结果，而是更关注人脑和机器思维 的深度融合计算。 (2）广谱关联的分析模式。为解决大数据价值密度低、极稀疏、不均匀、关键信息缺 失的问题，一方面，融合各个对象在“人机物”融合的多域多维数据空间中留下的多元异构 信号，利用关联增强信号；另一方面，融合数据与知识，构建终生学习、可迁移扩展的知 识体系，形成数据驱动与知识制导深度融合的新分析模式。 (3）在线增强的处理架构。随着万物互联和智能泛在发展，大数据云边端协同计算技 术和解耦化的云边端处理框架成为热点。基于云计算环境下的流批混合处理将进一步向边 缘端发展，训练学习与推理预测将在前端设备上融合一体。利用云边端资源弹性调度能 力，实现感知与认知能力前置，支持在线环境下基于动态活性数据的瞬时决策，从而形成 去中心化、异构分布、持续在线的新型计算框架。 (4）安全可信的大数据分析。安全可信是满足关键领域和场景下认知和决策安全的基 本需求。一方面，着重关注大数据分析处理结果的可解释、可信和公平性；另一方面，实 现数据在收集、存储、使用、流通中的安全保护和异常检测，保证在强对抗攻击下分析处 理模型与方法的鲁棒性和免疫性。 二、人工智能与大数据技术的应用 （一）生态领域的应用 基于人工智能技术的大数据分析技术在生态领域的作用主要可以分为三个方面：第一 个方面是生态保护领域的应用，第二个方面是生态修复领域的应用，第三个方面是生态灾 害防治领域的应用。 近年来，我国的经济发展十分迅速，但也导致了相应的环境问题，党中央以及相关部 门也加大了对生态环境保护的重视。例如，在针对森林生态系统的防护过程中，需要做到 的就是确保森林资源不被酸雨所影响，还要尽量注意全球变暖对于森林资源的影响。在这 种情况下，可以利用人工智能和卫星遥感技术与大数据分析相结合，针对未来的天气情况 以及气候环境进行实时预测以及监控。利用人工智能对环境健康进行监测的同时，也可以 利用大数据分析技术来调取森林近年来的生长数据，一旦发现有酸雨即将来临，相关负责 人员就可以提前采取措施，通过分析森林的生长情况来确认森林是否会被酸雨所破坏，以 及相关的防护措施要做到什么程度，这样就可以提前对森林资源进行保护。 在生态修复领域的应用中，可以将人工智能技术下的大数据分析技术应用到种苗培育 当中，在生态修复的过程中，不可避免地会涉及一系列的种苗，在培育时就可以利用人工 智能和大数据分析技术来分析当地的生态环境，判断适合种植什么样的植物可以提高植物 的存活率。将人工智能技术应用到生态灾害防治领域，可以防止发生大面积的森林火灾， 利用热成像摄像机可以随时监测森林当中的情况，一旦发生任何病虫害，也可以及时发 现。例如，中国气象局联合阿里公司通过大数据技术整合、分析和解释海量天气数据，给 天气预报和极端气候预警带来新的机遇。大数据技术挖掘和分析历年气象数据，智能学习 降水、温度、