01.自定义文档分割器
在LangChain中,如果内置的文档分割器均没办法完成需求,还可以根据特定的需求实现
自定义文档分割器(一般极少),实现的方法也非常简单,继承文本分割器基类TextSplitter,
在构造函数中传递相关参数,然后实现split_text()方法即可。
例如,实现一个根据传递的分隔符实现对文档进行片段划分,并且将分割出来的文档片段转
换成N个的分割器,代码示例
fromtypingimportList
importjieba.analyse
from
01.自定义文档分割器
在LangChain中,如果内置的文档分割器均没办法完成需求,还可以根据特定的需求实现
自定义文档分割器(一般极少),实现的方法也非常简单,继承文本分割器基类TextSplitter,
在构造函数中传递相关参数,然后实现split_text()方法即可。
例如,实现一个根据传递的分隔符实现对文档进行片段划分,并且将分割出来的文档片段转
换成N个的分割器,代码示例
fromtypingimportList
importjieba.analyse
from
文档评论(0)