langchain_community.document_loaders.readthedocs.ReadTheDocsLoader

class langchainCommunity.document_loaders.readthedocs.ReadTheDocsLoader(path: Union[str, Path], encoding: Optional[str] = None, errors: Optional[str] = None, custom_html_tag: Optional[Tuple[str, dict]] = None, patterns: Sequence[str] = ('*.htm', '...)[源代码]

加载 ReadTheDocs 文档目录。

初始化 ReadTheDocsLoader

加载器遍历 path 下的所有文件，并通过检索主要 HTML 标签来提取文件的实际内容。默认的主要 HTML 标签包括 <main id="main-content>，<div role="main>和 <article role="main">。您也可以通过传递 custom_html_tag 定义自己的 HTML 标签，例如 (“div”, “class=main”)。加载器按自定义 HTML 标签的顺序迭代 HTML 标签（如果存在），然后是默认 HTML 标签。如果任何标签不为空，循环将中断并从中检索内容。

参数

  • path (Union [ str , Path ]) – 被拉取的 readthedocs 文件夹的位置。

  • encoding (Optional [ str ]) – 用于打开文档的编码。

  • errors (Optional [ str ]) – 指定如何处理编码和解码错误—此操作不能在二进制模式下使用。

  • custom_html_tag (Optional [ Tuple [ str , dict ] ]) – 可选自定义 HTML 标签以从文件中检索内容。

  • patterns (Sequence [ str ]) – 要加载的文件模式，传递给 glob.rglob。

  • exclude_links_ratio (float) – 链接：内容比例的排除页数。这是为了减少索引页频繁出现在检索结果中的频率。建议：0.5

  • kwargs (可选[任何]) – 传递给 bs4.BeautifulSoup 的命名参数。

方法

__init__(path[, encoding, errors, ...])

初始化 ReadTheDocsLoader

alazy_load()

文档的懒加载器。

aload()

将数据加载到 Document 对象中。

lazy_load()

文档的懒加载器。

load()

将数据加载到 Document 对象中。

load_and_split([text_splitter])

加载文档并将它们分割成块。
__init__(path: Union[str, Path], encoding: Optional[str] = None, errors: Optional[str] = None, custom_html_tag: Optional[Tuple[str, dict]] = None, patterns: Sequence[str] = ('*.htm', '*.html'), **kwargs: Optional[Any])[源代码]

初始化 ReadTheDocsLoader

加载器遍历 path 下的所有文件，并通过检索主要 HTML 标签来提取文件的实际内容。默认的主要 HTML 标签包括 <main id="main-content>，<div role="main>和 <article role="main">。您也可以通过传递 custom_html_tag 定义自己的 HTML 标签，例如 (“div”, “class=main”)。加载器按自定义 HTML 标签的顺序迭代 HTML 标签（如果存在），然后是默认 HTML 标签。如果任何标签不为空，循环将中断并从中检索内容。

参数

  • path (Union [ str , Path ]) – 被拉取的 readthedocs 文件夹的位置。

  • encoding (Optional [ str ]) – 用于打开文档的编码。

  • errors (Optional [ str ]) – 指定如何处理编码和解码错误—此操作不能在二进制模式下使用。

  • custom_html_tag (Optional [ Tuple [ str , dict ] ]) – 可选自定义 HTML 标签以从文件中检索内容。

  • patterns (Sequence [ str ]) – 要加载的文件模式，传递给 glob.rglob。

  • exclude_links_ratio (float) – 链接：内容比例的排除页数。这是为了减少索引页频繁出现在检索结果中的频率。建议：0.5

  • kwargs (可选[任何]) – 传递给 bs4.BeautifulSoup 的命名参数。

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document][source]

文档的懒加载器。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将它们分割成块。块作为Document返回。

不要重写此方法。应考虑将其弃用！

参数

text_splitter (可选) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

使用ReadTheDocsLoader的示例