langchain_community.document_loaders.lakefs.LakeFSLoader

class langchain_community.document_loaders.lakefs.LakeFSLoader(lakefs_access_key: str, lakefs_secret_key: str, lakefs_endpoint: str, repo: Optional[str] = None, ref: Optional[str] = 'main', path: Optional[str] = '')

从 lakeFS 加载。

参数

• lakefs_access_key (str) – [必需] lakeFS 服务器访问密钥

• lakefs_secret_key (str) – [必需] lakeFS 服务器密钥

• lakefs_endpoint (str) – [必需] lakeFS 服务器端点地址，例如：https://example.my-lakefs.com

• repo (str) – [可选，默认 = ‘’] 目标仓库

• ref (str) – [可选，默认 = ‘main’] 目标 ref（分支名称、标签或提交 ID）

• path (str) – [可选，默认 = ‘’] 目标路径

属性

repo
ref
path

方法

__init__(lakefs_access_key, ...[, repo, ...])	参数 lakefs_access_key [必需] lakeFS 服务器访问密钥
alazy_load()	Documents 的懒加载器。
aload()	将数据加载到 Document 对象中。
lazy_load()	Documents 的懒加载器。
load()	将数据加载到 Document 对象中。
load_and_split([text_splitter])	加载 Documents 并分割成块。
set_path(path)
set_ref(ref)
set_repo(repo)

__init__(lakefs_access_key: str, lakefs_secret_key: str, lakefs_endpoint: str, repo: Optional[str] = None, ref: Optional[str] = 'main', path: Optional[str] = '')

参数

• lakefs_access_key (str) – [必需] lakeFS 服务器访问密钥

• lakefs_secret_key (str) – [必需] lakeFS 服务器密钥

• lakefs_endpoint (str) – [必需] lakeFS 服务器端点地址，例如：https://example.my-lakefs.com

• repo (可选[str]) – [可选，默认 = ‘’] 目标仓库

• ref (可选[str]) – [可选，默认 = ‘main’] 目标引用（分支名称、标签或提交ID）

• path (可选[str]) – [可选，默认 = ‘’] 目标路径

async alazy_load() → AsyncIterator[Document]

Documents 的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

Documents 的懒加载器。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载数据文档并分割为块。块以文档的形式返回。

不要重写此方法。应考虑将其弃用！

参数

text_splitter （可选）：使用 TextSplitter 实例分割文档。默认为 RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

set_path(path: str) → None

参数

path （str）：

返回类型

None

set_ref(ref: str) → None

参数

ref （str）：

返回类型

None

set_repo(repo: str) → None

参数

repo （str）：

返回类型

None

使用 LakeFSLoader 的示例

• lakeFS