基于语义相似性分割方法.pdfVIP

01.语义文档分割器的使用与背景

面中使用的文档分割器都是使用

特定字符

对文本进行拆分，这种拆分模式虽然考虑了

文档中的上下文切断的问题，但是并没有考虑句子之间的语义相似性，如果有一篇长文本，需

要将其分割成语义相关的块，以便更好地理解和处理，这个时候可以使用

LangChain

中的

语

义相似性分割器(SemanticChunker)

来实现这个任务。

_

语义相似性分割器

目前仍处于实验性，这个类目前位于

langchainexperimental

包中

（这个包中的类与方法未来极大概率会发生变更，需要谨慎使用），安装命令

_

pip

install

‑U

langchainexperimental

SemanticChunker

在使用上和其他的文档分割器存在一些差异，并且该类并没有继承

TextSplitter，实例化参数含义如下：

1.文本嵌入模型：在该分类器底层使用向量的余弦相似度来识别语句之间的相似性。

_

2.buffersize：文本缓冲区大小，默认为

1，即在计算相似性时，该文