汽车行业研发部算法工程师NLP自然语言处理手册.docxVIP

汽车行业研发部算法工程师NLP自然语言处理手册

第1章自然语言处理基础与数据工程

1.1语言学基础与术语体系

语言学研究的核心在于理解人类如何通过符号系统表达思想，而自然语言处理（NLP）则是利用计算机模拟这一过程的学科。在算法工程师的视角下，我们首先需建立对“词”、“句”、“语义”的精确认知。例如，在中文语境中，“猫”是一个词（Token），但在分词算法中，它可能被视为一个独立的单元，也可能被拆分为“猫”和“头”等字，这取决于具体的分词策略。②术语体系中，“词元”（WordUnit）指代最小的语义单位，如“北京”是一个词元，而“北”和“京”则是字元（Character）；“句法范畴”则描述句子中各词元之间的语法关系，如主谓宾结构。区分“词性标注”与“词性分类”是基础中的基础：词性标注是确定一个词在句子中的语法角色（如动词、名词），而词性分类则是预测词在多大程度上属于某个词性类别（如“是”是名词还是动词的边界）。④句法树（SyntacticTree）是句法分析的核心结构，它通过节点和边来表示句子内部的层级关系；例如，在句子“我吃饭”中，根节点是“我”，其子节点是“吃”，再细分为“吃”和“饭”，形成了一棵二叉树。⑤在中文分词中，词界划分比英语更复杂，因为汉语存在大量的同形异义词和近义词；例如，“苹果”在英文中是一个词，而在中文中可能被拆分为“苹”和“果”，或