langchain_community.document_loaders.glue_catalog.GlueCatalogLoader¶
- class langchain_community.document_loaders.glue_catalog.GlueCatalogLoader(database: str, *, session: Optional[Session] = None, profile_name: Optional[str] = None, table_filter: Optional[List[str]] = None)[源代码]¶
从AWS Glue加载表模式。
此加载器可获取指定AWS Glue数据库中每个表的模式。模式详情包括列名和它们的数据类型，类似于pandas dtype表示。
AWS凭证通过boto3自动加载，遵循标准的AWS方法：[https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html](https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html)
如果需要特定的AWS配置文件，可以指定并用于建立会话。
初始化Glue数据库加载器。
- 参数
database (str) – 加载表模式的Glue数据库的名称。
session (Optional[Session]) – 可选。boto3会话对象。如果没有提供，将创建一个新的会话。
profile_name (Optional[str]) – 可选。用于凭证的AWS配置文件名称。
table_filter (Optional[List[str]]) – 可选。要获取其模式的数据表名称列表，如果为None则获取所有。
方法
__init__(database, *[, session, ...])初始化Glue数据库加载器。
Documents的延迟加载器。
aload()将数据加载到Document对象中。
延迟加载表模式为Document对象。
load()将数据加载到Document对象中。
load_and_split([text_splitter])加载Documents并将它们分割成块。
- __init__(database: str, *, session: Optional[Session] = None, profile_name: Optional[str] = None, table_filter: Optional[List[str]] = None)[source]¶
初始化Glue数据库加载器。
- 参数
database (str) – 加载表模式的Glue数据库的名称。
session (Optional[Session]) – 可选。boto3会话对象。如果没有提供，将创建一个新的会话。
profile_name (Optional[str]) – 可选。用于凭证的AWS配置文件名称。
table_filter (Optional[List[str]]) – 可选。要获取其模式的数据表名称列表，如果为None则获取所有。
- lazy_load() Iterator[Document][source]¶
延迟加载表模式为Document对象。
- 产生
文档对象，每个对象代表一个表的规范。
- 返回类型
Iterator[Document]
- load_and_split(text_splitter: Optional[TextSplitter] = None) List[Document]¶
加载文档并将其分割成块。块以文档的形式返回。
不要覆盖此方法。应将其视为已过时！
- 参数
text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。
- 返回
文档列表。
- 返回类型
List[Document]