langchain_community.document_loaders.docusaurus.DocusaurusLoader

class langchain_community.document_loaders.docusaurus.DocusaurusLoader(url: str, custom_html_tags: Optional[List[str]] = None, **kwargs: Any)

从 Docusaurus 文档加载。

它利用 SitemapLoader 来遍历 Docusaurus 文档网站的生成页面，并通过查找特定 HTML 标签来提取内容。默认情况下，解析器搜索 Docusaurus 页面的主要内容，通常是 <article> 标签。您也可以通过提供一个列表来定义自己的定制 HTML 标签，例如：[“div”, “.main”, “a”]。

初始化 DocusaurusLoader

参数

• url (str) – Docusaurus 网站的基 URL。

• custom_html_tags (Optional[List[str]]) – 可选的自定义 HTML 标签，用于从页面提取内容。

• kwargs (Any) – 传递给底层 SitemapLoader 的额外参数，例如：filter_urls，blocksize，meta_function，is_local，continue_on_failure

属性

web_path

方法

__init__(url[, custom_html_tags])	初始化 DocusaurusLoader
alazy_load()	Documents 的懒加载。
aload()	将 web_path 中的 urls 异步加载到 Documents 中。
fetch_all(urls)	以限流方式并发提取所有 urls。
lazy_load()	加载网站地图。
load()	将数据加载到 Document 对象中。
load_and_split([text_splitter])	加载 Documents 并将其分割成块。
parse_sitemap(soup, *[, depth])	解析网站地图 xml 并将其加载到字典列表中。
scrape([parser])	从网页中抓取数据，并以 BeautifulSoup 格式返回。
scrape_all(urls[, parser])	提取所有 urls，然后返回所有结果的 soup。

__init__(url: str, custom_html_tags: Optional[List[str]] = None, **kwargs: Any)

初始化 DocusaurusLoader

参数

• url (str) – Docusaurus 网站的基 URL。

• custom_html_tags (Optional[List[str]]) – 可选的自定义 HTML 标签，用于从页面提取内容。

• kwargs (Any) – 传递给底层 SitemapLoader 的额外参数，例如：filter_urls，blocksize，meta_function，is_local，continue_on_failure

async alazy_load() → AsyncIterator[

Documents 的懒加载。

返回类型

AsyncIterator[

aload() → List[

将 web_path 中的 urls 异步加载到 Documents 中。

返回类型

List[

async fetch_all(urls: List[str]) → Any

以限流方式并发提取所有 urls。

参数

urls (List[str]) –

返回类型

任何

lazy_load() → Iterator[

加载网站地图。

返回类型

Iterator[

load() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其分割成块。块以Document的形式返回。

请不要覆盖此方法。应考虑将其弃用！

参数

text_splitter (可选[TextSplitter]) - 用于分割文档的TextSplitter实例。默认值为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

parse_sitemap(soup: Any, *, depth: int = 0) → List[dict]

解析网站地图 xml 并将其加载到字典列表中。

参数

• soup (Any) - BeautifulSoup对象。

• depth (int) - 当前网站地图的深度。默认值：0

返回

字典列表。

返回类型

List[dict]

scrape(parser: Optional[str] = None) → Any

从网页中抓取数据，并以 BeautifulSoup 格式返回。

参数

parser (可选[str]) -

返回类型

任何

scrape_all(urls: List[str], parser: Optional[str] = None) → List[Any]

提取所有 urls，然后返回所有结果的 soup。

参数

• urls (List[str]) –

• parser (可选[str]) -

返回类型

Any[]

使用 DocusaurusLoader 的示例

• Docusaurus