langchain_community.document_loaders.rss.RSSFeedLoader

class langchain_community.document_loaders.rss.RSSFeedLoader(urls: Optional[Sequence[str]] = None, opml: Optional[str] = None, continue_on_failure: bool = True, show_progress_bar: bool = False, **newsloader_kwargs: Any)

使用Unstructured从RSS源加载新闻报道。

参数

• urls (可选[序列[字符串]]) – 要加载的RSS源URL。每个源中的文章将被加载到自己的文档中。

• opml (可选[字符串]) – 从OPML文件加载feed URL。urls或opml中只能提供其中一个。值

• string (可以是URL) –

• string. (或作为字节的OPML标记内容) –

• continue_on_failure (布尔值) – 如果为True，则在特定URL加载失败时继续加载文档。

• show_progress_bar (布尔值) – 如果为True，则使用tqdm显示加载进度条。需要安装tqdm，pip install tqdm。

• **newsloader_kwargs (任何类型) – 传递给NewsURLLoader的任何额外的命名参数。

示例

from langchain_community.document_loaders import RSSFeedLoader

loader = RSSFeedLoader(
    urls=["<url-1>", "<url-2>"],
)
docs = loader.load()

该加载器使用feedparser解析RSS源。feedparser库默认不安装，如果您使用此加载器，请将其安装：https://pythonhosted.org/feedparser/

如果您使用OPML，还应安装listparser：https://pythonhosted.org/listparser/

最后，使用newspaper处理每篇文章：https://newspaper.readthedocs.io/en/latest/

使用urls或OPML初始化。

方法

__init__([urls, opml, continue_on_failure, ...])	使用urls或OPML初始化。
alazy_load()	Documents的懒加载器。
aload()	将数据加载到Document对象中。
lazy_load()	Documents的懒加载器。
load()	将数据加载到Document对象中。
load_and_split([text_splitter])	加载文档并将其分割成块。

__init__(urls: Optional[Sequence[str]] = None, opml: Optional[str] = None, continue_on_failure: bool = True, show_progress_bar: bool = False, **newsloader_kwargs: Any) → None

使用urls或OPML初始化。

参数

• urls (可选[Sequence[str]]) –

• opml (可选[str]) –

• continue_on_failure (bool) –

• show_progress_bar (bool) –

• newsloader_kwargs (Any) –

返回类型

None

async alazy_load() → AsyncIterator[Document]

Documents的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到Document对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document]

Documents的懒加载器。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到Document对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其拆分为块。块作为文档返回。

不要重写此方法。应将其视为已弃用！

参数

text_splitter (可选[TextSplitter]) - 用于拆分文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

使用RSSFeedLoader的示例

• RSS Feeds