langchain_community.document_loaders.diffbot.DiffbotLoader

class langchain_community.document_loaders.diffbot.DiffbotLoader(api_token: str, urls: List[str], continue_on_failure: bool = True)

加载 Diffbot JSON 文件。

使用 API 密钥、标识符和密钥初始化。

参数

• api_token (str) – Diffbot API 密钥。

• urls (List[str]) – 要加载的 URL 列表。

• continue_on_failure (bool) – 如果一个失败，是否继续加载其他 URL。默认为 True。

方法

__init__(api_token, urls[, continue_on_failure])	使用 API 密钥、标识符和密钥初始化。
alazy_load()	文档的懒加载器。
aload()	将数据加载到文档对象中。
lazy_load()	文档的懒加载器。
load()	从所有 URL 中提取 Diffbot 中的文本并返回文档
load_and_split([text_splitter])	加载文档并将其分割成块。

__init__(api_token: str, urls: List[str], continue_on_failure: bool = True)

使用 API 密钥、标识符和密钥初始化。

参数

• api_token (str) – Diffbot API 密钥。

• urls (List[str]) – 要加载的 URL 列表。

• continue_on_failure (bool) – 如果一个失败，是否继续加载其他 URL。默认为 True。

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到文档对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

文档的懒加载器。

返回类型

Iterator[Document]

load() → List[Document]

从所有 URL 中提取 Diffbot 中的文本并返回文档

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] * = None) → List[Document]

加载数据并将它们分割成块。块作为文档返回。

不要重写此方法。应考虑将其弃用!

参数

text_splitter(可选[TextSplitter]) - 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回：

文档列表。

返回类型

List[Document]

使用DiffbotLoader的示例

• Diffbot