langchain_community.document_loaders.gcs_directory.GCSDirectoryLoader

class langchain_community.document_loaders.gcs_directory.GCSDirectoryLoader(project_name: str, bucket: str, prefix: str = '', loader_func: Optional[Callable[[str], BaseLoader]] = None, continue_on_failure: bool = False)

自版本 0.0.32 被弃用： 请使用 langchain_google_community.GCSDirectoryLoader 代替。

从 GCS 目录加载数据。

使用存储桶和键名初始化。

参数

• project_name (str) – GCS 存储桶的项目 ID。

• bucket (str) – GCS 存储桶的名称。

• prefix (str) – GCS 存储桶的前缀。

• loader_func (Optional[Callable[[str], BaseLoader]]) – 一个加载器函数，根据文件路径参数实例化加载器。如果没有提供，GCSFileLoader 将使用其默认加载器。

• continue_on_failure (bool) – 对 GCS 目录中的每个文件使用 try-except 块。如果设置为 True，则处理文件失败不会导致错误。

方法

__init__(project_name, bucket[, prefix, ...])	使用存储桶和键名初始化。
alazy_load()	Document 的懒加载器。
aload()	将数据加载到 Document 对象中。
lazy_load()	Document 的懒加载器。
load()	加载文档。
load_and_split([text_splitter])	加载 Documents 并将它们分成块。

__init__(project_name: str, bucket: str, prefix: str = '', loader_func: Optional[Callable[[str], BaseLoader]] = None, continue_on_failure: bool = False)

使用存储桶和键名初始化。

参数

• project_name (str) – GCS 存储桶的项目 ID。

• bucket (str) – GCS 存储桶的名称。

• prefix (str) – GCS 存储桶的前缀。

• loader_func (Optional[Callable[[str], BaseLoader]]) – 一个加载器函数，根据文件路径参数实例化加载器。如果没有提供，GCSFileLoader 将使用其默认加载器。

• continue_on_failure (bool) – 对 GCS 目录中的每个文件使用 try-except 块。如果设置为 True，则处理文件失败不会导致错误。

async alazy_load() → AsyncIterator[Document]

Document 的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

Document 的懒加载器。

返回类型

Iterator[Document]

load() → List[Document]

加载文档。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将它们分割成块。块以Document对象的形式返回。

不要重写此方法。应该考虑将其废弃！

参数

text_splitter (可选[TextSplitter]) – 使用TextSplitter对象进行文档分割。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]