LangChain自定义分割器实现技巧与示例.pdf

LangChain自定义分割器实现技巧与示例.pdf

01.自定义文档分割器

在LangChain中,如果内置的文档分割器均没办法完成需求,还可以根据特定的需求实现

自定义文档分割器(一般极少),实现的方法也非常简单,继承文本分割器基类TextSplitter,

在构造函数中传递相关参数,然后实现split_text()方法即可。

例如,实现一个根据传递的分隔符实现对文档进行片段划分,并且将分割出来的文档片段转

换成N个的分割器,代码示例

fromtypingimportList

importjieba.analyse

from

文档评论(0)

1亿VIP精品文档

相关文档