langchain_community.document_loaders.url.UnstructuredURLLoader

class langchain_community.document_loaders.url.UnstructuredURLLoader(urls: List[str], continue_on_failure: bool = True, mode: str = 'single', show_progress_bar: bool = False, **unstructured_kwargs: Any)

使用Unstructured从远程URL加载文件。

使用非结构化分区函数检测MIME类型并将文件路由到适当的分区器。

您可以在两种模式中运行加载器：“single”和“elements”。如果您使用“single”模式，文档将作为单个langchain Document对象返回。如果您使用“elements”模式，非结构化库将文档分割成标题、叙述文本等元素。您可以在模式之后传递额外的非结构化kwargs来应用不同的非结构化设置。

示例

from langchain_community.document_loaders import UnstructuredURLLoader

loader = UnstructuredURLLoader(

urls=[“<url-1>”, “<url-2>”], mode=”elements”, strategy=”fast”,

) docs = loader.load()

参考

https://unstructured-io.github.io/unstructured/bricks.html#partition

使用文件路径初始化。

方法

__init__(urls[, continue_on_failure, mode, ...])	使用文件路径初始化。
alazy_load()	Documents的懒加载器。
aload()	将数据加载到Document对象中。
lazy_load()	Documents的懒加载器。
load()	加载文件。
load_and_split([text_splitter])	加载数据并分割成块。

参数

• urls (List[str]) –

• continue_on_failure (bool) –

• mode (str) –

• show_progress_bar (bool) –

• unstructured_kwargs (Any) –

__init__(urls: List[str], continue_on_failure: bool = True, mode: str = 'single', show_progress_bar: bool = False, **unstructured_kwargs: Any)

使用文件路径初始化。

参数

• urls (List[str]) –

• continue_on_failure (bool) –

• mode (str) –

• show_progress_bar (bool) –

• unstructured_kwargs (Any) –

async alazy_load() → AsyncIterator[Document]

Documents的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到Document对象中。

返回类型

列表[Document]

lazy_load() → Iterator[Document]

Documents的懒加载器。

返回类型

迭代器[Document]

load() → List[Document]

加载文件。

返回类型

列表[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其分割成块。块以文档的形式返回。

不要重写此方法。它应当被认为是过时的！

参数

text_splitter (Optional[TextSplitter]) – 用于分割文档的 TextSplitter 实例。默认为 RecursiveCharacterTextSplitter。

返回值

文档的列表。

返回类型

List[Document]

使用 UnstructuredURLLoader 的示例

• URL

• 非结构化数据