6.4自然语言处理.pptxVIP

自然语言处理：人际沟通的桥梁ARTIFICIALINTELLIGENCEANDFUTUREEDUCATION6.4

6.4.1传统自然语言处理：语言工程师的工具箱NLP的定义与技术基础传统NLP利用规则、语言学理论和人工特征来理解和生成语言，但面对复杂场景有限制。关键技术包括：规则和手工算法：基于专家制定的规则解析文本。语言学理论：如生成语法，支持句法分析。人工特征提取：如TF-IDF，提取文本关键信息。01文本预处理分词，去停用词。02特征提取词性标注，词嵌入03语法和语义分析句法分析，命名实体识别。04高级任务情感分析，机器翻译。

6.4.2大规模语言模型：智能时代的语言魔术师LLM定义与技术基础简述LLM是一种深度学习模型，通过海量文本训练生成和理解语言。技术基础包括深度学习和神经网络（如Transformer），以及大量数据和计算资源。LLM工作流程数据预处理：清洗数据，文本标记化。预训练：自监督学习，使用大规模数据集。微调：针对特定任务调整模型，优化超参数。推理：生成文本或回答问题。LLM应用实例文本：内容创作，办公自动化，语音识别与合成。图片：根据描述生成图像，创意设计。视频：视频创作，虚拟数字人制作。代码：技术文档生成，编程辅助与代码测试。

6.4.3两者之间的对比：手工艺与智能工厂传统NLPLLM技术对比依赖手工规则和特征，需语言学家知识数据驱动，自动学习语言模式需大规模数据和计算资源。性能对比特定任务表现好，处理复杂现象不足。通用性强，多任务性能优越微调适应不同任务，灵活性高。数据需求和开发复杂度数据需求低，开发依赖专家知识和合作。数据需求巨大开发需高性能计算设备和大规模数据集。为了更好地理解这两种方法的特点和应用场景，我们将在以下几个方面进行详细对比：

课后提问结构脑（结构化思维）:大语言模型能帮我们做哪些日常琐事？类比脑（类比式思维）:如果AI助手能陪你聊天讲故事，你希望它会什么？想象脑（发散性思维）:未来AI能帮人类完成所有工作吗？批判脑（批判式思维）:大模型和传统程序有什么区别？结构化思维人机互动：日常生活里，有哪些具体场景能够借助大语言模型来提高效率？AI可能回应：写作场景可快速生成文案、润色语句；学习中辅助解答疑问、总结资料；旅行时规划路线、推荐景点；家务安排上制定清单，都能有效提升效率。结构脑（结构化思维）:我们在生活中哪些地方能看到自然语言处理技术呢？类比脑（类比式思维）:语音助手处理语言的过程和我们人类说话的过程，有什么相似的地方呢？想象脑（发散性思维）:除了现在用到的地方，还有哪些地方可以用自然语言处理技术来变得更好呢？批判脑（批判式思维）:现在的自然语言处理技术在用的时候，可能会遇到什么问题呢？发散性思维人机互动：除了已知的应用场景，自然语言处理技术引入到哪些领域能带来改善？AI可能回应：在文化遗产保护中，可分析古籍文献；美容行业能解读顾客需求提供建议；宠物训练领域，理解指令辅助训练，都可通过该技术改善现状。