`langchain_community.document_loaders.tensorflow_datasets`.TensorflowDatasetLoader¶

class langchain_community.document_loaders.tensorflow_datasets.TensorflowDatasetLoader(dataset_name: str, split_name: str, load_max_docs: Optional[int] = 100, sample_to_document_function: Optional[Callable[[Dict], Document]] = None)[source]¶

从 TensorFlow Dataset 中加载。

dataset_name¶: 要加载的数据集名称。

split_name¶: 要加载的分区的名称。

load_max_docs¶: 加载文档数量的限制。默认为100。

sample_to_document_function¶: 将数据集样本转换为Document的函数。

示例

from langchain_community.document_loaders import TensorflowDatasetLoader

def mlqaen_example_to_document(example: dict) -> Document:
    return Document(
        page_content=decode_to_str(example["context"]),
        metadata={
            "id": decode_to_str(example["id"]),
            "title": decode_to_str(example["title"]),
            "question": decode_to_str(example["question"]),
            "answer": decode_to_str(example["answers"]["text"][0]),
        },
    )

tsds_client = TensorflowDatasetLoader(
        dataset_name="mlqa/en",
        split_name="test",
        load_max_docs=100,
        sample_to_document_function=mlqaen_example_to_document,
    )

初始化TensorflowDatasetLoader。

参数

dataset_name (str) – 要加载的数据集名称
split_name (str) – 要加载的分区的名称。
load_max_docs (Optional[int]) – 加载文档数量的限制。默认为100。
sample_to_document_function (Optional[Callable[[Dict], Document]]) – 将数据集样本转换为Document的函数。

属性

`load_max_docs`	加载的最大文档数量。
`sample_to_document_function`	将数据集样本转换为Document的定制函数。

方法

`__init__`(dataset_name, split_name[, ...])	初始化TensorflowDatasetLoader。
`alazy_load`()	Documents的懒加载器。
`aload`()	将数据加载到Document对象中。
`lazy_load`()	Documents的懒加载器。
`load`()	将数据加载到Document对象中。
`load_and_split`([text_splitter])	加载文档并分割为段。

__init__(dataset_name: str, split_name: str, load_max_docs: Optional[int] = 100, sample_to_document_function: Optional[Callable[[Dict], Document]] = None)[source]¶

初始化TensorflowDatasetLoader。

参数

dataset_name (str) – 要加载的数据集名称
split_name (str) – 要加载的分区的名称。
load_max_docs (Optional[int]) – 加载文档数量的限制。默认为100。
sample_to_document_function (Optional[Callable[[Dict], Document]]) – 将数据集样本转换为Document的函数。

async alazy_load() → AsyncIterator[Document]¶

Documents的懒加载器。

返回类型: AsyncIterator[Document]

async aload() → List[Document]¶

将数据加载到Document对象中。

返回类型: List[Document]

lazy_load() → Iterator[Document][source]¶

Documents的懒加载器。

返回类型: Iterator[Document]

load() → List[Document]¶

将数据加载到Document对象中。

返回类型: List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]¶

加载文档并将其拆分为块。块以 Document 的形式返回。

不要覆盖此方法。应将其视为已过时！

参数: text_splitter （可选[TextSplitter]） – 用于拆分文档的 TextSplitter 实例。默认为 RecursiveCharacterTextSplitter。
返回: 文档列表。
返回类型: List[Document]

使用 TensorflowDatasetLoader 的示例¶

TensorFlow Datasets

langchain_community.document_loaders.tensorflow_datasets.TensorflowDatasetLoader¶

使用 TensorflowDatasetLoader 的示例¶

`langchain_community.document_loaders.tensorflow_datasets`.TensorflowDatasetLoader¶