langchain_community.document_loaders.web_base.WebBaseLoader

class langchain_community.document_loaders.web_base.WebBaseLoader(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True)[source]

使用 urllib 加载HTML页面并使用 `BeautifulSoup’ 解析它们。

初始化加载器。

参数

  • web_paths (序列str) – 要加载的Web路径。

  • requests_per_second (int) – 允许的最大并发请求数。

  • default_parser (str) – 用于BeautifulSoup的默认解析器。

  • requests_kwargs (可选Dictstr, Any) – 请求的kwargs

  • raise_for_status (bool) – 如果HTTP状态码表示错误，则引发异常。

  • bs_get_text_kwargs (可选：字典景丽，其中键和值可以是字符串和任何类型) – beatifulsoup4 get_text 函数的参数字典

  • bs_kwargs (可选：字典景丽，其中键和值可以是字符串和任何类型) – beatifulsoup4 解析网页时的参数字典

  • show_progress (布尔值) – 加载网页时显示进度条。

  • web_path (可以是字符串或字符串序列) –

  • header_template (可选：字典) –

  • verify_ssl (布尔值) –

  • proxies (可选：字典) –

  • continue_on_failure (布尔值) –

  • autoset_encoding (布尔值) –

  • encoding (可选：字符串) –

  • session (任意类型) –

属性

web_path

方法

__init__([web_path,  header_template,  ...])

初始化加载器。

alazy_load()

Documents 的懒加载器。

aload()

从 web_path 中的网址异步加载文本到 Documents。

fetch_all(urls)

以速率限制并发地获取所有网址。

lazy_load()

从 web_path 中的 URL(s) 懒加载文本。

load()

将数据加载到 Document 对象中。

load_and_split([text_splitter])

加载 Documents 并将其分割成块。

scrape([parser])

从网页中抓取数据并以 BeautifulSoup 格式返回。

scrape_all(urls[, parser])

获取所有网址，然后返回所有结果的 soups。
__init__(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True) → None[source]

初始化加载器。

参数

  • web_paths (序列str) – 要加载的Web路径。

  • requests_per_second (int) – 允许的最大并发请求数。

  • default_parser (str) – 用于BeautifulSoup的默认解析器。

  • requests_kwargs (可选Dictstr, Any) – 请求的kwargs

  • raise_for_status (bool) – 如果HTTP状态码表示错误，则引发异常。

  • bs_get_text_kwargs (可选：字典景丽，其中键和值可以是字符串和任何类型) – beatifulsoup4 get_text 函数的参数字典

  • bs_kwargs (可选：字典景丽，其中键和值可以是字符串和任何类型) – beatifulsoup4 解析网页时的参数字典

  • show_progress (布尔值) – 加载网页时显示进度条。

  • web_path (可以是字符串或字符串序列) –

  • header_template (可选：字典) –

  • verify_ssl (布尔值) –

  • proxies (可选：字典) –

  • continue_on_failure (布尔值) –

  • autoset_encoding (布尔值) –

  • encoding (可选：字符串) –

  • session (可选：任意类型) –

返回类型

None

async alazy_load() → AsyncIterator[Document]

Documents 的懒加载器。

返回类型

AsyncIterator[Document]

aload() → List[Document][source]

从 web_path 中的网址异步加载文本到 Documents。

返回类型

List[Document]

async fetch_all(urls: List[str]) → Any[source]

以速率限制并发地获取所有网址。

参数

urls (List[str]) –

返回类型

任何类型的数据

lazy_load() → Iterator[Document][source]

从 web_path 中的 URL(s) 懒加载文本。

返回类型

迭代器[文档]

load() → List[Document]

将数据加载到 Document 对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并分割成块。块作为文档返回。

不要重写此方法。应考虑将其弃用！

参数

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回：

文档列表。

返回类型

列表中包含文档。

scrape(parser: Optional[str] = None) → Any[source]

从网页中抓取数据并以 BeautifulSoup 格式返回。

参数

parser (Optional[str]) –

返回类型

任何类型的数据

scrape_all(urls: List[str], parser: Optional[str] = None) → List[Any][source]

获取所有网址，然后返回所有结果的 soups。

参数

  • urls (List[str]) –

  • parser (Optional[str]) –

返回类型

Any

使用WebBaseLoader的示例