langchain_community.document_loaders.concurrent.ConcurrentLoader

class langchain_community.document_loaders.concurrent.ConcurrentLoader(blob_loader: BlobLoader, blob_parser: BaseBlobParser, num_workers: int = 4)[source]

并发加载和解析文档。

一个通用的文档加载器。

参数

  • blob_loader (BlobLoader) – 一种可以生成块的块加载器

  • blob_parser (BaseBlobParser) – 一种可以将块解析为文档的块解析器

  • num_workers (int) –

方法

__init__(blob_loader, blob_parser[, num_workers])

一个通用的文档加载器。

alazy_load()

文档的懒加载器。

aload()

将数据加载到文档对象中。

from_filesystem(path, *[, glob, exclude, ...])

使用文件系统块加载器创建一个并发的通用文档加载器。

get_parser(**kwargs)

覆盖此方法以将默认解析器与类关联。

lazy_load()

使用并发解析懒加载数据文档。

load()

将数据加载到文档对象中。

load_and_split([text_splitter])

加载所有文档并将它们分成句子。
__init__(blob_loader: BlobLoader, blob_parser: BaseBlobParser, num_workers: int = 4) → None[源代码]

一个通用的文档加载器。

参数

  • blob_loader (BlobLoader) – 一种可以生成块的块加载器

  • blob_parser (BaseBlobParser) – 一种可以将块解析为文档的块解析器

  • num_workers (int) –

返回类型

None

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到文档对象中。

返回类型

List[Document]

classmethod from_filesystem(path: Union[str, Path], *, glob: str = '**/[!.]*', exclude: Sequence[str] = (), suffixes: Optional[Sequence[str]] = None, show_progress: bool = False, parser: Union[Literal['default'], BaseBlobParser] = 'default', num_workers: int = 4, parser_kwargs: Optional[dict] = None) → ConcurrentLoader[来源]

使用文件系统块加载器创建一个并发的通用文档加载器。

参数

  • path (联合[str, Path]) – 加载文档的目录的路径。

  • glob (str) – 用于查找文档的 glob 模式。

  • suffixes (可选的[序列[str]]) – 用于过滤文档的后缀。如果为 None，将加载与 glob 匹配的所有文件。

  • exclude (序列[str]) – 从加载器中排除的模式的列表。

  • show_progress (bool) – 是否显示进度条（需要 tqdm）。作为文件系统加载器的代理。

  • parser (联合[LITERAL['default'], ~langchain_core.document_loaders.base.BaseBlobParser]) – 一种知道如何将 blob 解析成文档的 blob 解析器

  • num_workers (int) – 最大并发工作进程数。

  • parser_kwargs (可选[dict]) – 传递给解析器的关键字参数。

返回类型

ConcurrentLoader

静态 get_parser(**kwargs: Any) → BaseBlobParser

覆盖此方法以将默认解析器与类关联。

参数

kwargs (任何类型) –

返回类型

BaseBlobParser

lazy_load() → Iterator[Document][source]

使用并发解析懒加载数据文档。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到文档对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载所有文档并将它们分成句子。

参数

text_splitter (可选[TextSplitter]) –

返回类型

Document

ConcurrentLoader 的使用示例