langchain_community.document_loaders.imsdb.IMSDbLoader

class langchain_community.document_loaders.imsdb.IMSDbLoader(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True)

加载^IMSDb网页。

初始化加载器。

参数

• web_paths (str列表) – 要加载的网页路径。

• requests_per_second (int) – 允许的最大并发请求数量。

• default_parser (str) – 用于BeautifulSoup的默认解析器。

• requests_kwargs (可选[dict[str, Any]]) – 请求的kwargs。

• raise_for_status (bool) – 如果HTTP状态码表示错误则引发异常。

• bs_get_text_kwargs (Optional[Dict[str, Any]]) – beautifulsoup4 get_text 的参数字典

• bs_kwargs (Optional[Dict[str, Any]]) – beautifulsoup4 解析网页的参数字典

• show_progress (bool) – 加载页面时显示进度条。

• web_path (Union[str, Sequence[str]]) –

• header_template (Optional[dict]) –

• verify_ssl (bool) –

• proxies (Optional[dict]) –

• continue_on_failure (bool) –

• autoset_encoding (bool) –

• encoding (Optional[str]) –

• session (Any) –

属性

web_path

方法

__init__([web_path, header_template, ...])	初始化加载器。
alazy_load()	Documents 的懒加载器。
aload()	将 web_path 中的 URL 异步加载到 Documents 中。
fetch_all(urls)	带速率限制并发获取所有 URL。
lazy_load()	从 web_path 中的 URL 懒加载文本。
load()	加载网页。
load_and_split([text_splitter])	加载 Documents 并分割成块。
scrape([parser])	从网页抓取数据并以其 BeautifulSoup 格式返回。
scrape_all(urls[, parser])	获取所有 URL，然后返回所有结果的美Soup 对象。

__init__(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True) → None

初始化加载器。

参数

• web_paths (str列表) – 要加载的网页路径。

• requests_per_second (int) – 允许的最大并发请求数量。

• default_parser (str) – 用于BeautifulSoup的默认解析器。

• requests_kwargs (可选[dict[str, Any]]) – 请求的kwargs。

• raise_for_status (bool) – 如果HTTP状态码表示错误则引发异常。

• bs_get_text_kwargs (Optional[Dict[str, Any]]) – beautifulsoup4 get_text 的参数字典

• bs_kwargs (Optional[Dict[str, Any]]) – beautifulsoup4 解析网页的参数字典

• show_progress (bool) – 加载页面时显示进度条。

• web_path (Union[str, Sequence[str]]) –

• header_template (Optional[dict]) –

• verify_ssl (bool) –

• proxies (Optional[dict]) –

• continue_on_failure (bool) –

• autoset_encoding (bool) –

• encoding (Optional[str]) –

• session (Optional[Any]) –

返回类型

None

async alazy_load() → AsyncIterator[Document]

Documents 的懒加载器。

返回类型

AsyncIterator[Document]

aload() → List[Document]

将 web_path 中的 URL 异步加载到 Documents 中。

返回类型

List[Document]

async fetch_all(urls: List[str]) → Any

带速率限制并发获取所有 URL。

参数

urls (List[str]) –

返回类型

任意

lazy_load() → Iterator[Document]

从 web_path 中的 URL 懒加载文本。

返回类型

Iterator[Document]

load() → List[Document]

加载网页。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将其分成块。块作为文档返回。

不要重写此方法。应将其认为已过时！

参数

text_splitter (Optional[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

List[Document]

scrape(parser: Optional[str] = None) → Any

从网页抓取数据并以其 BeautifulSoup 格式返回。

参数

parser (Optional[str]) –

返回类型

任意

scrape_all(urls: List[str], parser: Optional[str] = None) → List[Any]

获取所有 URL，然后返回所有结果的美Soup 对象。

参数

• urls (List[str]) –

• parser (Optional[str]) –

返回类型

Any 列表

使用 IMSDbLoader 的示例

• IMSDb