langchain_community.document_loaders.markdown.UnstructuredMarkdownLoader

class langchain_community.document_loaders.markdown.UnstructuredMarkdownLoader(file_path: Union[str, List[str], Path, List[Path]], *, mode: str = 'single', **unstructured_kwargs: Any)[source]

使用 Unstructured 加载 Markdown 文件。

您可以选择两种模式之一来运行加载器：“single” 和 “elements”。如果使用 “single” 模式，文档将作为一个单个 langchain Document 对象返回。如果使用 “elements” 模式，unstructured 库将文档分割成标题、叙述文本等元素。您可以在模式之后传递额外的 unstructured kwargs，以应用不同的无结构设置。

示例

from langchain_community.document_loaders import UnstructuredMarkdownLoader

loader = UnstructuredMarkdownLoader(

“example.md”, mode=”elements”, strategy=”fast”,

) docs = loader.load()

参考

https://unstructured-io.github.io/unstructured/core/partition.html#partition-md

用文件路径初始化。

方法

__init__(file_path, *[, mode])

用文件路径初始化。

alazy_load()

Documents 的懒加载器。

aload()

将数据加载到 Document 对象中。

lazy_load()

加载文件。

load()

将数据加载到 Document 对象中。

load_and_split([text_splitter])

加载 Documents 并分割成块。
参数

  • file_path (Union[str, List[str], Path, List[Path]]) –

  • mode (str) –

  • unstructured_kwargs (Any) –

__init__(file_path: Union[str, List[str], Path, List[Path]], *args, mode: str = 'single', **unstructured_kwargs)

用文件路径初始化。

参数

  • file_path (Union[str, List[str], Path, List[Path]]) –

  • mode (str) –

  • unstructured_kwargs (Any) –

async alazy_load() → AsyncIterator[Document]

Documents 的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

加载文件。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其拆分为块。块作为文档返回。

不要重写此方法。应考虑将其标记为已弃用!

参数

text_splitter (可选[TextSplitter]) – 用于拆分文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

列表[Document]

使用UnstructuredMarkdownLoader的示例