langchain_community.document_loaders.hn.HNLoader

class langchain_community.document_loaders.hn.HNLoader(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True)

加载 Hacker News 数据。

它可以从主页面结果或评论页面加载数据。

初始化加载器。

参数

• web_paths (序列[str]) – 要加载的 Web 路径。

• requests_per_second (int) – 可同时进行的并发请求数的最大值。

• default_parser (str) – 用于 BeautifulSoup 的默认解析器。

• requests_kwargs (Optional[Dict[str, Any]]) – requests 的 kwargs

• raise_for_status (bool) – 如果 http 状态码表示错误，则引发异常。

• bs_get_text_kwargs (Optional[字典[字符串, 任意类型]]) – beatifulsoup4 get_text 的参数

• bs_kwargs (Optional[字典[字符串, 任意类型]]) – beatifulsoup4 解析网页的参数

• show_progress (布尔值) – 加载页面时显示进度条。

• web_path (Union[字符串, 字符串序列]) –

• header_template (Optional[字典]) –

• verify_ssl (布尔值) –

• proxies (Optional[字典]) –

• continue_on_failure (布尔值) –

• autoset_encoding (布尔值) –

• encoding (Optional[字符串]) –

• session (任意类型) –

属性

web_path

方法

__init__([web_path, header_template, ...])	初始化加载器。
alazy_load()	文档的懒加载器。
aload()	将 web_path 中的 URL 异步加载到文档中。
fetch_all(urls)	并发限速抓取所有 URL。
lazy_load()	从 web_path 中的 URL 懒加载文本。
load()	获取重要的 HN 网页信息。
load_and_split([text_splitter])	加载文档并分割成多个部分。
load_comments(soup_info)	从 HN 论坛帖子加载评论。
load_results(soup)	从 HN 页面加载项。
scrape([parser])	从网页抓取数据并返回 BeautifulSoup 格式的数据。
scrape_all(urls[, parser])	抓取所有 URL，然后返回所有结果的 soup。

__init__(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True) → None

初始化加载器。

参数

• web_paths (序列[str]) – 要加载的 Web 路径。

• requests_per_second (int) – 可同时进行的并发请求数的最大值。

• default_parser (str) – 用于 BeautifulSoup 的默认解析器。

• requests_kwargs (Optional[Dict[str, Any]]) – requests 的 kwargs

• raise_for_status (bool) – 如果 http 状态码表示错误，则引发异常。

• bs_get_text_kwargs (Optional[字典[字符串, 任意类型]]) – beatifulsoup4 get_text 的参数

• bs_kwargs (Optional[字典[字符串, 任意类型]]) – beatifulsoup4 解析网页的参数

• show_progress (布尔值) – 加载页面时显示进度条。

• web_path (Union[字符串, 字符串序列]) –

• header_template (Optional[字典]) –

• verify_ssl (布尔值) –

• proxies (Optional[字典]) –

• continue_on_failure (布尔值) –

• autoset_encoding (布尔值) –

• encoding (Optional[字符串]) –

• session (Optional[任意类型]) –

返回类型

None

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

aload() → List[Document]

将 web_path 中的 URL 异步加载到文档中。

返回类型

List[Document]

async fetch_all(urls: List[str]) → Any

并发限速抓取所有 URL。

参数

urls (List[str]) –

返回类型

Any

lazy_load() → Iterator[Document]

从 web_path 中的 URL 懒加载文本。

返回类型

Iterator[Document]

load() → List[Document]

获取重要的 HN 网页信息。

HN网页组件是

• 标题

• 内容

• 源网址

• 发表时间

• 帖子作者

• 评论数量

• 帖子排名

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其拆分成块。块以Document的形式返回。

不要重写此方法。它应该被认为是过时的！

参数

text_splitter (Optional[TextSplitter]) – 用于拆分文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

load_comments(soup_info: Any) → List[Document]

从 HN 论坛帖子加载评论。

参数

soup_info (Any) –

返回类型

List[Document]

load_results(soup: Any) → List[Document]

从 HN 页面加载项。

参数

soup (Any) –

返回类型

List[Document]

scrape(parser: Optional[str] = None) → Any

从网页抓取数据并返回 BeautifulSoup 格式的数据。

参数

parser (Optional[str]) –

返回类型

Any

scrape_all(urls: List[str], parser: Optional[str] = None) → List[Any]

抓取所有 URL，然后返回所有结果的 soup。

参数

• urls (List[str]) –

• parser (Optional[str]) –

返回类型

List[Any]

使用 HNLoader 的示例

• Google Spanner

• Hacker News