原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
Huggingface管道的介绍
实验二十二
课程学习目标了解管道的概念及其组成部分。了解管道工作流程。掌握各种类型管道的使用。
Huggingface中管道的概念HuggingFace的管道（Pipeline）是一种强大的工具，它使得开发者能够使用极少的代码快速开启各种NLP任务。这个管道具备了数据预处理、模型处理、模型输出后处理等步骤，用户可以直接输入原始数据，然后得到预测结果。
Huggingface中管道的概念具体来说，给定一个任务之后，Pipeline会自动调用一个预训练好的模型，并根据用户提供的输入执行以下步骤。(1)将用户输入的文本进行预处理，使其转换为模型可以理解的格式。(2)将预处理后的输入传递给模型进行推理处理。(3)对模型的输出结果进行后处理，使得预测结果更加易于理解和使用。
管道的基本组成(1)Tokenizer：负责数据的预处理。将原始文本数据转化为模型可以理解和处理的格式。(2)Model：是进行推理的核心部分。它根据输入的数据（经过Tokenizer处理后的）生成预测或输出。(3)Post-processing：负责对模型的输出进行后处理，使其更易于理解和使用。
管道的工作流程(1)输入：用户将原始文本或数据输入到管道中。(2)预处理：Tokenizer对输入数据进行预处理。它将文本转化为模型可以接受的格式，包括分词、编码等步骤。(3)模型推理：经过预处理的数据被传递给模型。模型根据输入数据生成预测或输出。(4)后处理：模型的输出被后处理步骤进一步处理。这可能包括将模型的原始输出转换为更易于理解的形式，或进行其他特定的格式化操作。(5)输出：最终，处理后的结果作为管道的输出返回给用户。这些结果可能包括分类标签、情感分析得分、翻译文本等，具体取决于管道的任务类型。
管道支持的部分任务(1)文本分类(2)命名实体识别(3)问答系统(4)摘要提取(5)文本生成(6)特征提取(7)填充掩码(8)实体链接(9)零样本分类(10)语义相似性
管道使用示例首先从transformers库中导入pipeline如果没有指定加载模型，pipeline()会自动加载一个默认模型和一个能够进行任务推理的预处理类。然后我们可以在目标文本上使用classifier了，将要进行预测的文本输入
管道使用示例如果你有不止一个输入，可以把所有输入放入一个列表然后传给pipeline()，它将会返回一个字典列表。使用for循环遍历结果
本节实验作业使用pipeline进行命名实体识别任务。给定文本“ApplewasfoundedbySteveJobsandSteveWozniakinApril1976.”，使用命名实体识别管道识别文本中的命名实体，并将其标注为人名、地名、组织名等，输出每个命名实体的类型和位置信息。具体操作请查看视频教程
文档评论（0）