AI大模型-第一章LLM发展-方法（修改于大模型技术-原理-应用-哈工大）.pptxVIP

AI第一章：大语言模型(LLM:LargeLanguageModel)背景-发展-训练-应用

最新研究：（皆已经开源） PaddleOCR-VLdeepseek-OCRdeepseek-OCR原文：/deepseek-ai/DeepSeek-OCR/refs/heads/main/DeepSeek_OCR_paper.pdf项目地址：/deepseek-ai/DeepSeek-OCR.

PaddleOCR-VLPaddleOCR-VL是一个为文档解析量身定制的SOTA（最先进）且资源高效的模型。其核心组件是PaddleOCR-VL-0.9B，这是一个紧凑而强大的视觉-语言模型（VLM），它将NaViT风格的动态分辨率视觉编码器与ERNIE-4.5-0.3B语言模型集成在一起，以实现准确的元素识别。这一创新模型高效地支持109种语言，并在识别复杂元素（例如文本、表格、公式和图表）方面表现出色，同时保持最低限度的资源消耗。通过对广泛使用的公共基准测试和内部基准测试的全面评估，PaddleOCR-VL在页面级文档解析和元素级识别中均达到了SOTA性能。它显著优于现有解决方案，展现出与顶级VLM的强大竞争力，并提供快速的推理速度。这些优势使其非常适合在实际场景中的部署。PaddleOCR文档PaddleOCR-VL·模型库Paddle部署稍显麻烦

LLM相关背景现状近年来，研究界为大规模参数(例如,包含数百亿或数千亿的参数)的语言模型创造了大型语言模型(largelanguagemodels，LLM)。随着ChatGPT、千问、文心、智谱、KIMI、豆包、claude、grok等大模型的推出和应用，国内外对LLMs的研究都取得了很大的进展，引起了社会的广泛关注。当前有众多开源大模型，Llama、ChatGLM、千帆、通义千问系列。Qwen-7B的B,1B表示参数量为10亿（1Billion）国内外开源大模型一直受到研究者的关注，但是种类比较繁多，每年就已经推出了两位数以上的数量。并且在推理、语音识别、语音合成、多模态上也有众多进展。多模态LLMAI推理，LLM工具LLM

语言是继真核细胞之后最伟大的进化成就——社会生物学之父爱德华·威尔逊大模型又称大语言模型（LargeLanguageModels）语言是人类交流思想、表达情感最自然、最深刻、最方便的工具语言本身就是人类有史以来最大的技术发明——詹姆斯·格雷克《信息简史》人类历史上大部分知识是以语言文字形式记载和流传的为什么是语言?

自然语言处理（NaturalLanguageProcessing，NLP）用计算机来理解和生成自然语言的各种理论和方法属于认知智能是人类和动物的主要区别之一需要更强的抽象和推理能力运算智能感知智能认知智能能存储会计算能听会说能看会认能理解会思考自然语言指的是人类语言，特指文本符号，而非语音信号什么是自然语言处理?

深度学习的下一个前沿课题是自然语言理解——图灵奖得主、MetaAI负责人YannLeCun下一个十年,懂语言者得天下——美国工程院士、微软前全球执行副总裁沈向洋深度学习的下一个大的进展应该是让神经网络真正理解文档的内容——诺贝尔奖得主、图灵奖得主、深度学习之父GeoffreyHinton自然语言处理成为制约人工智能取得更大突破和更广泛应用的瓶颈——美国双院院士、世界知名机器学习专家MichaelI.Jordan如果给我10亿美金,我会建造一个自然语言处理研究项目NASA级别的

小规模专家知识1950~1990自然语言处理技术已经经历了五次范式变迁自然语言处理的发展历史浅层机器学习算法1990~2010预训练语言模型2018~2023深度学习2010~2017大模型2023~2024

GenerativePre-trainedTransformer，OpenAI2018采用语言模型预训练任务语言模型计算一个句子在语言中出现的概率或给定上文，预测下一个词出现的概率哈工大位于____[知识]我在水果店看到了苹果、香蕉、____[语义]小明打了小红，然后她____[推理、指代]我一定推荐给朋友看，这部电影真是____[情感]……MMMMM输入层喜欢吃土豆炖茄子预训练阶段语言模型学到了什么？输出