langchain_community.document_loaders.html.UnstructuredHTMLLoader

class langchain_community.document_loaders.html.UnstructuredHTMLLoader(file_path: Union[str, List[str], Path, List[Path]], **, mode: str = 'single', **unstructured_kwargs: Any)[source]

使用 Unstructured 加载 HTML 文件。

您可以在两种模式下运行加载器： “single”（单文件）和“elements”（元素）。如果您使用“single”模式，文件将被作为一个 langchain Document 对象返回。如果您使用“elements”模式，无结构库将文档拆分为如标题（Title）和叙述文本（NarrativeText）等元素。您可以在模式后传递额外的无结构参数（kwargs）以应用不同的无结构设置。

示例

from langchain_community.document_loaders import UnstructuredHTMLLoader

loader = UnstructuredHTMLLoader(

“example.html”, mode=”elements”, strategy=”fast”,

docs = loader.load()

参考文献

https://unstructured-io.github.io/unstructured/bricks.html#partition-html

使用文件路径初始化。

方法

__init__(file_path, *[, mode])

使用文件路径初始化。

alazy_load()

Documents 的懒加载器。

aload()

将数据加载到 Document 对象中。

lazy_load()

加载文件。

load()

将数据加载到 Document 对象中。

load_and_split([text_splitter])

将 Documents 加载并拆分为块。
参数

  • file_path (Union[str, List[str], Path, List[Path]]) –

  • mode (str) –

  • unstructured_kwargs (Any) –

构造函数__init__(file_path: Union[str, List[str], Path, List[Path]], **unstructured_kwargs: Any)

使用文件路径初始化。

参数

  • file_path (Union[str, List[str], Path, List[Path]]) –

  • mode (str) –

  • unstructured_kwargs (Any) –

async alazy_load() → AsyncIterator[Document]

Documents 的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

加载文件。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将它们分成块。块作为文档返回。

不要重写此方法。应将其视为已弃用！

参数

text_splitter (可选[TextSplitter]) – 用来分割文档的 TextSplitter 实例。默认为 RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

列表[Document]

使用 UnstructuredHTMLLoader 的示例