2024年人工智能发展报告总结.docx

2024年人工智能发展报告总结

1、核心信息

在2024年，人工智能（AI）领域取得了显著的进展，但也面临着挑战。

AI在特定任务上超越了人类，如图像分类和语言理解，但在更复杂的任务上仍有局限。

工业界在AI研究中发挥了主导作用，尤其在机器学习模型的产出上。

训练大型AI模型的成本不断上升，例如GPT-4花了约7800万美金的，Gimini花了约1.91亿美金。

美国、中国和欧洲是AI模型的主要贡献者，其中中国在AI专利方面领先。

AI模型的可靠性评估缺乏统一标准，生成式AI投资激增，AI提高了工作者的效率和质量，加速了科学和医疗的发展，美国AI相关条款发布数量急剧增加，全球对AI潜在影响的意识增强，紧张情绪上升。

2、AI研究和发展

2.1核心要点

AI研究继续由工业界主导，公开源码的模型数量增加，训练成本上升，美国、中国和欧洲在AI大模型发展上占主导地位。中国在AI专利方面占据领先地位，GitHub上的AI研究资源和相关论文发表数量持续增长。

2.2核心对比信息

从2010年到2022年，AI相关的论文发表数量逐年增加，美国在发布优秀的机器学习模型数量上保持世界首位。

2.3模型是否会用尽数据

AI模型的发展依赖于大量数据，但有担忧表示，计算机科学家可能很快就会用尽高质量数据。尽管合成数据可以缓解这一问题，但使用合成数据训练的模型可能会出现性能下降。

2.4基础模型发展

基础模型在广泛的数据集上训练，具有多功能性，并适用于许多下游应用。这些模型在实际场景中的部署越来越多，不同国家和组织在基础模型的发布数量上有所不同。

2.5训练模型成本

训练大型AI模型的成本不断上升，达到数千万美元甚至数亿美元。这表明了AI领域在资源投入方面的增长。

3、技术性能

3.1核心要点

AI在特定任务上超越了人类，多模态AI模型的出现，如Google的Gemini和OpenAI的GPT-4，展示了处理图像和文本信息的能力。新的benchmarks评估集的出现，如SWE-bench和HEIM，以及人类评估的引入，如聊天机器人竞技场排行榜，反映了AI技术性能的提升。

3.2重要模型发布情况

2023年见证了多个重要AI模型的发布，包括Anthropic的Claude、OpenAI的GPT-4、StabilityAI的StableDiffusionv2等，这些模型在多项benchmarks中超越了人类水平。

3.3AI表现情况

AI在图像分类、英语理解和自然语言推理等任务中超越了人类，但在竞赛数学、多语言理解和视觉常识推理等任务上仍有局限。

3.4多学科、高难度评估集(MMMUGPQAARC)

新的评估集如MMMU、GPQA和ARC的出现，旨在评估AI的多学科推理能力和抽象归纳能力。尽管AI模型在这些评估中取得了一定的成绩，但与人类专家相比仍有差距。

3.5Agents

基于大型语言模型的AI代理在特定场景中自动处理任务的能力得到了提升，如AgentBench评估的基于LLM的25个agents。

3.6RLHFRLAIF

RLHF和RLAIF是两种基于强化学习的方法，用于训练AI模型以更好地符合人类的偏好和反馈。RLAIF在生成无害对话任务中表现优于RLHF。

3.7LLM随着时间迭代效果对比

随着时间的推移，LLM的效果有所变化。一些研究表明，随着新数据和用户反馈的加入，某些任务的效果可能出现下降。

3.8提升LLM效果的技巧

包括prompting、OPRO和fine-tuning在内的多种技术被用来提升LLM的效果。这些技术通过不同的方法优化模型性能，如通过自然语言描述任务或减少内存需求。

3.9训练AI系统对环境的影响

训练大型AI模型消耗大量资源并释放二氧化碳，对环境造成影响。尽管如此，AI系统也可以用于预测城市空气质量和优化能源使用，从而对环境产生积极影响。

4、AI可靠性

AI的可靠性评估涉及隐私、数据治理、透明性和可解释性、安全性和公平性等多个方面。目前，对LLM的全面标准评估存在缺陷，政治伪造内容的产生和检测成为一个问题，ChatGPT在政治上的偏见也引起了关注。

4.1AI可靠性定义

AI的可靠性从数据治理、可解释性、公平性、隐私、安全性和透明性等多个维度进行定义和评估。

5、AI对经济的影响

AI对经济的影响是多方面的，包括提高生产效率、改变工作市场和投资趋势。生成式AI的投资增长迅速，AI相关工作职位数量减少，但AI降低了企业支出并提升了收益。中国在工业机器人领域占据主导地位，AI提高了工作者的产能和效率。《财富》500强公司越来越多地讨论人工智能，特别是生成式AI。

5.1AI重大新闻

2023年，AI领域发生了多项重大新闻，包括BioNTech收购AI公司InstaDeep、微软对OpenAI的投资、G