langchain_community.document_loaders.airbyte.AirbyteCDKLoader

class langchain_community.document_loaders.airbyte.AirbyteCDKLoader(config: Mapping[str, Any], source_class: Any, stream_name: str, record_handler: Optional[Callable[[Any, Optional[str]], Document]] = None, state: Optional[Any] = None)[source]

使用通过 CDK 实现的 Airbyte 源连接器加载数据。

初始化加载器。

参数

  • config (Mapping[str, Any]) – 传递给源连接器的配置。

  • source_class (Any) – 源连接器类。

  • stream_name (str) – 要加载的流名称。

  • record_handler (Optional[Callable[[Any, Optional[str]], Document]]) – 一个函数，接收记录和一个可选的 ID 并返回一个文档。如果为 None，则将记录用作文档。默认为 None。

  • state (Optional[Any]) – 传递给源连接器的状态。默认为 None。

属性

last_state

方法

__init__(config, source_class, stream_name)

初始化加载器。

alazy_load()

文档的懒加载器。

aload()

将数据加载到文档对象中。

lazy_load()

文档的懒加载器。

load()

将数据加载到文档对象中。

load_and_split([text_splitter])

加载文档并分割成块。
__init__(config: Mapping[str, Any], source_class: Any, stream_name: str, record_handler: Optional[Callable[[Any, Optional[str]], Document]], state: Optional[Any] = None) → None[source]

初始化加载器。

参数

  • config (Mapping[str, Any]) – 传递给源连接器的配置。

  • source_class (Any) – 源连接器类。

  • stream_name (str) – 要加载的流名称。

  • record_handler (Optional[Callable[[Any, Optional[str]], Document]]) – 一个函数，接收记录和一个可选的 ID 并返回一个文档。如果为 None，则将记录用作文档。默认为 None。

  • state (Optional[Any]) – 传递给源连接器的状态。默认为 None。

返回类型

None

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到文档对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document][source]

文档的懒加载器。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到文档对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将它们拆分为块。块以Document的形式返回。

不要覆盖此方法。应考虑将其视为已弃用！

参数

text_splitter (可选[TextSplitter]) – 用于拆分文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

Document列表。

返回类型

List[Document]

使用AirbyteCDKLoader的示例