langchain_community.document_loaders.wikipedia.WikipediaLoader

类 langchain_community.document_loaders.wikipedia.WikipediaLoader(query: str, lang: str = 'en', load_max_docs: Optional[int] = 25, load_all_available_meta: Optional[bool] = False, doc_content_chars_max: Optional[int] = 4000)

从 维基百科 加载。

目前查询长度的硬限制是 300。

每个维基百科页面代表一个文档。

初始化 WikipediaLoader 类的新实例。

参数

• query (str) – 用于在维基百科上搜索的查询字符串。

• lang (str, 可选) – 维基百科语言版本的代码。默认为 “en”。

• load_max_docs (int, 可选) – 要加载的文档的最大数量。默认为 100。

• load_all_available_meta (bool, 可选) – 表示是否加载每个文档的所有可用元数据。默认为 False。

• doc_content_chars_max (int, 可选) – 文档内容的最大字符数。默认为 4000。

方法

__init__(query[, lang, load_max_docs, ...])	初始化 WikipediaLoader 类的新实例。
alazy_load()	Document 的懒加载器。
aload()	将数据加载到 Document 对象中。
lazy_load()	从维基百科加载查询结果到文档列表中。
load()	将数据加载到 Document 对象中。
load_and_split([text_splitter])	加载文档并将其分割成块。

__init__(query: str, lang: str = 'en', load_max_docs: Optional[int] = 25, load_all_available_meta: Optional[bool] = False, doc_content_chars_max: Optional[int] = 4000)

初始化 WikipediaLoader 类的新实例。

参数

• query (str) – 用于在维基百科上搜索的查询字符串。

• lang (str, 可选) – 维基百科语言版本的代码。默认为 “en”。

• load_max_docs (int, 可选) – 要加载的文档的最大数量。默认为 100。

• load_all_available_meta (bool, 可选) – 表示是否加载每个文档的所有可用元数据。默认为 False。

• doc_content_chars_max (int, 可选) – 文档内容的最大字符数。默认为 4000。

async alazy_load() → AsyncIterator[Document]

Document 的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

从维基百科加载查询结果到文档列表中。

返回值

代表所加载

维基百科页面的Document对象列表。

返回类型

Iterator[Document]

load() → List[Document]¶

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]¶

加载文档并将它们分割成块。块作为文档返回。

不要重写此方法。应该将其视为已过时！

参数

text_splitter (可选[]TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回值

文档列表。

返回类型

Document列表

使用WikipediaLoader的示例

• Diffbot

• 维基百科