langchain_community.document_loaders.scrapingant.ScrapingAntLoader

class langchain_community.document_loaders.scrapingant.ScrapingAntLoader(urls: List[str], *, api_key: Optional[str] = None, scrape_config: Optional[dict] = None, continue_on_failure: bool = True)

使用 ScrapingAnt 将 URL 转换为 LLM 可访问的 Markdown。

获取更多详细信息，请访问： https://docs.scrapingant.com/python-client

初始化客户端。

参数

• urls (List[str]) – 要抓取的 URL 列表。

• api_key (Optional[str]) – ScrapingAnt API 密钥。如果没有指定，则必须设置环境变量 SCRAPINGANT_API_KEY。

• scrape_config (Optional[dict]) – 从 ScrapingAntClient.markdown_request 获取的抓取配置。

• continue_on_failure (bool) – 如果抓取 URL 失败时，是否继续。

方法

__init__(urls, *[, api_key, scrape_config, ...])	初始化客户端。
alazy_load()	Documents 的懒加载器。
aload()	将数据加载到 Document 对象中。
lazy_load()	从 ScrapingAnt 获取数据。
load()	将数据加载到 Document 对象中。
load_and_split([text_splitter])	加载 Documents 并将其拆分为块。

__init__（urls: str列表], *, api_key: Optional[str] = None, scrape_config: Optional[dict] = None, continue_on_failure: bool = True） → None

初始化客户端。

参数

• urls (List[str]) – 要抓取的 URL 列表。

• api_key (Optional[str]) – ScrapingAnt API 密钥。如果没有指定，则必须设置环境变量 SCRAPINGANT_API_KEY。

• scrape_config (Optional[dict]) – 从 ScrapingAntClient.markdown_request 获取的抓取配置。

• continue_on_failure (bool) – 如果抓取 URL 失败时，是否继续。

返回类型

None

asyncalazy_load（） → AsyncIterator[Document]

Documents 的懒加载器。

返回类型

AsyncIterator[Document]

asyncaload（） → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load（） → Iterator[Document]

从 ScrapingAnt 获取数据。

返回类型

Iterator[Document]

load（） → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其拆分为块。块以Document形式返回。

请勿重写此方法。应将其视为已弃用！

参数

text_splitter (可选[TextSplitter]) – 用于拆分文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回值

Document列表。

返回类型

List[Document]