- 1
- 0
- 约小于1千字
- 约 7页
- 2017-03-26 发布于江苏
- 举报
分词器的介绍:
推荐使用的四大类分词器:
SimpleAnalyzer
StopAnalyzer
WhiteSpaceAnalyzer
StandardAnalyzer
TokenStream:
通过 Tokenizer和TokenFilter 来生成最终的TokenStream
Tokenizer: 用来分词的类,将一组数据划分为语汇单元
TokenFilter:用来过滤语汇单元的类
索引中大写字母被保存为小写的原因就是这里了
Lucene的分词:
StopAnalyzer的默认停用词:
中文分词器:
MMseg:
MMSeg无参的构造函数:
会自动加载data里面的词库
不使用Maven的话要下载with-dic版本的jar包自定义同义词分词器:
思路:
自定义Tokenizer和TokenTilter (使用MMSeg4j)
获取CharTermAttribute
获取PositionIncrementAttribute
获取相应的同义词列表
如果有同义词数据,在相同的位置添加同义词
Worknet的原理也是这样滴
思路2:
您可能关注的文档
- java程序的控制语言(while).doc
- JDPMLEFluo.doc
- JDQG持续改进管理办法.doc
- JD动力循环水系统操作规程.doc
- JOINTVENTURECONTRACTMANUFACTURING.doc
- JDX期末复习.doc
- JPB便携式溶解氧分析仪.doc
- JTWLDSF系列线型定温火灾探测器安装于变压器动力配电装置上.doc
- Jvvel《数学分析》收敛数列的性质.doc
- Iuthgk全国月高等教育自学考试建筑经济与企业管理试题.doc
- 2025-2026学年天津市和平区高三(上)期末数学试卷(含解析).pdf
- 2025-2026学年云南省楚雄州高三(上)期末数学试卷(含答案).pdf
- 2025-2026学年甘肃省天水市张家川实验中学高三(上)期末数学试卷(含答案).docx
- 2025-2026学年福建省厦门市松柏中学高二(上)期末数学试卷(含答案).docx
- 2025-2026学年广西钦州市高一(上)期末物理试卷(含答案).docx
- 2025-2026学年河北省邯郸市临漳县九年级(上)期末化学试卷(含答案).docx
- 2025-2026学年河北省石家庄二十三中七年级(上)期末历史试卷(含答案).docx
- 2025-2026学年海南省五指山市九年级(上)期末化学试卷(含答案).docx
- 2025-2026学年河北省唐山市玉田县九年级(上)期末化学试卷(含答案).docx
- 2025-2026学年河北省邢台市市区九年级(上)期末化学试卷(含答案).docx
最近下载
- (苏教版)数学五年级上册寒假“天天练”作业设计,含30份题组,附参考答案.doc
- 有限空间作业注意事项.pptx VIP
- 从明代土地产权制度弊端剖析古代土地制度的困境与启示.docx
- 工贸企业常见安全生产隐患诊断检查指导书.pdf VIP
- 麓山景区2006-2020详细规划.doc VIP
- 《地基与基础培训》课件.ppt VIP
- 2026年村卫生室基本公共卫生服务工作计划.docx VIP
- 阿姆斯壮Armstrong--THE BRAIN® DMC80再循环水温控制样本.pdf
- 《地下工程建设疏干排水水资源论证导则》.pdf VIP
- GB 17167-2025用能单位能源计量器具配备和管理通则.pdf
原创力文档

文档评论(0)