Java程序设计任务驱动教程课件 项目13 任务1 人工智能技术的应用—词频统计.pptxVIP

项目十三人工智能、大数据技术的应用任务一人工智能技术的应用—词频统计Java程序设计任务驱动教程

项目十三人工智能、大数据技术的应用任务一人工智能技术的应用—词频统计任务二人工智能技术的应用—人脸检测任务三大数据技术的应用—商品销售数据分析

任务要求小明最近在研究如何实现智能问答系统，需要解决分词的问题。分词就是将连续的文本序列划分为单独的词汇单元，这有助于计算机更准确地理解文本内容。现有一段文本，需要统计其中每个词语出现的次数。文本如下：“我们要坚持教育优先发展、科技自立自强、人才引领驱动，加快建设教育强国、科技强国、人才强国，坚持为党育人、为国育才。”

1.自然语言处理与HanLP4自然语言处理：自然语言处理（NaturalLanguageProcessing，NLP）是计算机科学领域与人工智能领域的一个重要方向，它融语言学、计算机科学、数学等于一体，研究能实现人与计算机用自然语言进行有效通信的各种理论和方法分词：分词是自然语言处理中的一个重要步骤，它对于后续的文本分析、信息提取、机器翻译等任务具有至关重要的意义。HanLP：HanLP是一个面向生产环境的多语种自然语言处理包，是目前广泛使用的Java中文处理包，支持多种语言和技术，具有中文分词、词性标注、命名实体识别等功能。

2.HanLP的下载及配置（1）下载HanLP在HanLP的官方网站下载HanLP的jar包和数据文件。目前仅HanLP1.x支持Java开发，打开其下载页面，下载HanLP1.x。

2.HanLP的下载及配置（2）下载数据文件下载数据文件data.zip，并解压。HanLP中的数据分为词典（dictionary）和模型（model）两种，其中，词典是词法分析必需的，模型是句法分析必需的。HanLP的data文件夹的结构如下图所示

2.HanLP的下载及配置（3）下载jar包和配置文件下载hanlp-1.8.4-release.zip，压缩包包含3个文件：hanlp.properties、hanlp-1.8.4.jar和hanlp-1.8.4-sources.jar。修改配置文件：hanlp.properties是HanLP的配置文件，作用是告诉HanLP数据包的位置，因此只需修改第一行为data目录的父目录，比如data目录是F:\ideaProject\BookDemo\data#Windows用户请注意，路径分隔符统一使用/root=F:/ideaProject/BookDemo修改配置文件

2.HanLP的下载及配置导入jar包打开IDEA项目设置，在“Modules”中添加hanlp-1.8.4.jar依赖，如图1所示。在“Libraries”库文件中导入hanlp-1.8.4-sources.jar包，如图2所示。图1图2

任务实现设计算法如下：（1）使用HanLP进行分词。（2）将分词结果转换为字符串列表。（3）使用哈希表存储词频数据。

代码提示定义函数：countWordFrequency参考代码运行

总结自然语言处理分词HanLP使用Java语言实现中文分词