langchain_community.document_loaders.news.NewsURLLoader

class langchain_community.document_loaders.news.NewsURLLoader(urls: List[str], text_mode: bool = True, nlp: bool = False, continue_on_failure: bool = True, show_progress_bar: bool = False, **newspaper_kwargs: Any)

使用Unstructured从URL加载新闻文章。

参数

• urls (列表[字符串]) – 要加载的URL。每个URL都加载到自己的文档中。

• text_mode (布尔值) – 如果为True，则从URL中提取文本，并使用该文本作为页面内容。否则，提取原始HTML。

• nlp (布尔值) – 如果为True，则对提取的内容进行NLP处理，例如提供摘要和提取关键词。

• continue_on_failure (布尔值) – 如果为True，即使加载特定URL失败，也继续加载文档。

• show_progress_bar (布尔值) – 如果为True，使用tqdm显示加载进度条。需要已安装tqdm，pip install tqdm。

• **newspaper_kwargs (任何类型) – 传递给newspaper.Article()的任何其他命名参数。

示例

from langchain_community.document_loaders import NewsURLLoader

loader = NewsURLLoader(
    urls=["<url-1>", "<url-2>"],
)
docs = loader.load()

newspaper参考

https://newspaper.readthedocs.io/en/latest/

使用文件路径进行初始化。

方法

__init__(urls[, {text_mode, nlp, ...})	使用文件路径进行初始化。
alazy_load()	Documents的懒加载器。
aload()	将数据加载到Document对象中。
lazy_load()	Documents的懒加载器。
load()	将数据加载到Document对象中。
load_and_split([text_splitter])	加载Documents并将其分割成块。

__init__(urls: List[str], text_mode: bool = True, nlp: bool = False, continue_on_failure: bool = True, show_progress_bar: bool = False, **newspaper_kwargs: Any) → None

使用文件路径进行初始化。

参数

• urls (列表[字符串]) –

• text_mode (布尔值) –

• nlp (布尔值) –

• continue_on_failure (布尔值) –

• show_progress_bar (布尔值) –

• newspaper_kwargs (任何类型) –

返回类型

None

async alazy_load() → AsyncIterator[Document]

Documents的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到Document对象中。

返回类型

列表[Document]

lazy_load() → Iterator[Document]

Documents的懒加载器。

返回类型

迭代器[文档]

load() → List[Document]

将数据加载到Document对象中。

返回类型

列表[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]¶

加载数据文档并将它们分割成块。块作为文档返回。

不要覆盖此方法。应该认为它是弃用的！

参数

text_splitter (可选[TextSplitter]) – 用于分割文档的 TextSplitter 实例。默认为 RecursiveCharacterTextSplitter。

返回值

文档列表。

返回类型

列表[Document]

使用 NewsURLLoader 的示例

• 新闻 URL