langchain_community.document_loaders.scrapfly.ScrapflyLoader

class langchain_community.document_loaders.scrapfly.ScrapflyLoader(urls: List[str], *, api_key: Optional[str], scrape_format: Literal['markdown', 'text'] = 'markdown', scrape_config: Optional[dict] = None, continue_on_failure: bool = True)

使用 Scrapfly.io 将 URL 转换为 llm 可访问的 Markdown。

更多详情，请访问：https://scrapfly.io/docs/sdk/python

初始化客户端。

参数

• urls (列表[str]) – 要抓取的 URL 列表。

• api_key (可选[str]) – Scrapfly API 密钥。如果没有指定，必须设置环境变量 SCRAPFLY_API_KEY。

• scrape_format (文字['markdown', 'text']) – 抓取结果格式，可以是“markdown”或“text”之一。

• scrape_config (可选[dict]) – ScrapFly 抓取配置字典对象。

• continue_on_failure (布尔) – 在抓取 URL 失败时是否继续。

方法

__init__(urls, [api_key, scrape_format, ...])	初始化客户端。
alazy_load()	Documents 的懒惰加载器。
aload()	将数据加载到 Document 对象中。
lazy_load()	Documents 的懒惰加载器。
load()	将数据加载到 Document 对象中。
load_and_split([text_splitter])	加载 Documents 并将其分割成块。

__init__(urls: List[str], *, api_key: Optional[str] = None, scrape_format: Literal['markdown', 'text'] = 'markdown', scrape_config: Optional[dict] = None, continue_on_failure: bool = True) → None

初始化客户端。

参数

• urls (列表[str]) – 要抓取的 URL 列表。

• api_key (可选[str]) – Scrapfly API 密钥。如果没有指定，必须设置环境变量 SCRAPFLY_API_KEY。

• scrape_format (文字['markdown', 'text']) – 抓取结果格式，可以是“markdown”或“text”之一。

• scrape_config (可选[dict]) – ScrapFly 抓取配置字典对象。

• continue_on_failure (布尔) – 在抓取 URL 失败时是否继续。

返回类型

None

asyncalazy_load() → AsyncIterator[Document]

Documents 的懒惰加载器。

返回类型

AsyncIterator[Document]

asyncaload() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

Documents 的懒惰加载器。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将它们分成块。块作为文档返回。

不要重写此方法。应考虑将其弃用！

参数

text_splitter (可选：Optional[TextSplitter]) – 用于拆分文档的 TextSplitter 实例。默认为 RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

使用 ScrapflyLoader 的示例

• # ScrapFly