langchain_community.document_loaders.azlyrics.AZLyricsLoader

class langchain_community.document_loaders.azlyrics.AZLyricsLoader(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True)[source]

加载 AZLyrics 网页。

初始化加载器。

参数

  • web_paths (字符串序列[]) – 要加载的网页路径。

  • requests_per_second (整数) – 允许的最大并发请求数量。

  • default_parser (字符串) – 为 BeautifulSoup 使用的默认解析器。

  • requests_kwargs (可选[字典[字符串, 任何类型]]) – 请求的 kwargs。

  • raise_for_status (布尔值) – 如果 http 状态代码表示错误，则抛出异常。

  • bs_get_text_kwargs (可选[Dict[str, Any]]) – beatifulsoup4 get_text 的参数

  • bs_kwargs (可选[Dict[str, Any]]) – beatifulsoup4 解析网页的参数

  • show_progress (布尔值) – 加载页面时显示进度条。

  • web_path (Union[str, str[]]) –

  • header_template (可选[dict]) –

  • verify_ssl (布尔值) –

  • proxies (可选[dict]) –

  • continue_on_failure (布尔值) –

  • autoset_encoding (布尔值) –

  • encoding (可选[str]) –

  • session (Any) –

属性

web_path

方法

__init__([web_path, header_template, ...])

初始化加载器。

alazy_load()

文档的懒加载器。

aload()

从 web_path 中的 urls 异步加载文本到文档中。

fetch_all(urls)

并发地以速率限制抓取所有 urls。

lazy_load()

从 web_path 中的 url(s) 懒加载文本。

load()

将网页加载到文档中。

load_and_split([text_splitter])

加载数据文档并分割为块。

scrape([parser])

从网页抓取数据并返回 BeautifulSoup 格式。

scrape_all(urls[, parser])

抓取所有 urls，然后返回所有结果的美Soup。
__init__(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True) → None

初始化加载器。

参数

  • web_paths (字符串序列[]) – 要加载的网页路径。

  • requests_per_second (整数) – 允许的最大并发请求数量。

  • default_parser (字符串) – 为 BeautifulSoup 使用的默认解析器。

  • requests_kwargs (可选[字典[字符串, 任何类型]]) – 请求的 kwargs。

  • raise_for_status (布尔值) – 如果 http 状态代码表示错误，则抛出异常。

  • bs_get_text_kwargs (可选[Dict[str, Any]]) – beatifulsoup4 get_text 的参数

  • bs_kwargs (可选[Dict[str, Any]]) – beatifulsoup4 解析网页的参数

  • show_progress (布尔值) – 加载页面时显示进度条。

  • web_path (Union[str, str[]]) –

  • header_template (可选[dict]) –

  • verify_ssl (布尔值) –

  • proxies (可选[dict]) –

  • continue_on_failure (布尔值) –

  • autoset_encoding (布尔值) –

  • encoding (可选[str]) –

  • session (可选[Any]) –

返回类型

None

异步 alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

aload() → List[Document]

从 web_path 中的 urls 异步加载文本到文档中。

返回类型

List[Document]

async fetch_all(urls: List[str]) → Any

并发地以速率限制抓取所有 urls。

参数

urls (List[str]) –

返回类型

任何

lazy_load() → Iterator[Document]

从 web_path 中的 url(s) 懒加载文本。

返回类型

Iterator[Document]

load() → List[Document][source]

将网页加载到文档中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter]) → List[Document]

加载文档并将其分割成块。块作为文档返回。

不要重写此方法。应考虑将其弃用！

参数

text_splitter (Optional[TextSplitter]) – 用于分割文档的 TextSplitter 实例。默认为 RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

scrape(parser: Optional[str] = None) → Any

从网页抓取数据并返回 BeautifulSoup 格式。

参数

parser (Optional[str]) –

返回类型

任何

scrape_all(urls: List[str], parser: Optional[str] = None) → List[Any]

抓取所有 urls，然后返回所有结果的美Soup。

参数

  • urls (List[str]) –

  • parser (Optional[str]) –

返回类型

Any类型列表

使用 AZLyricsLoader 的示例