langchain_community.document_loaders.college_confidential.CollegeConfidentialLoader

class langchain_community.document_loaders.college_confidential.CollegeConfidentialLoader(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True)[source]

加载《校园秘密》网页。

初始化加载器。

参数

  • web_paths (序列[str]) - 要加载数据的网页路径。

  • requests_per_second (int) - 最大并发请求数量。

  • default_parser (str) - BeautifulSoup 的默认解析器。

  • requests_kwargs (可选： Dict[str，Any]]) – requests 的 kwargs

  • raise_for_status (布尔值) – 如果 HTTP 状态码表示错误，则引发异常。

  • bs_get_text_kwargs (可选： Dict[str，Any]]) – beatifulsoup4 get_text 的 kwargs

  • bs_kwargs (可选： Dict[str，Any]]) – beatifulsoup4 网页解析的 kwargs

  • show_progress (布尔值) – 加载页面时显示进度条。

  • web_path (联合：str，Sequence[str]]) –

  • header_template (可选：dict) –

  • verify_ssl (布尔值) –

  • proxies (可选：dict) –

  • continue_on_failure (布尔值) –

  • autoset_encoding (布尔值) –

  • encoding (可选：str) –

  • session (Any) –

属性

web_path

方法

__init__([web_path, header_template, ...])

初始化加载器。

alazy_load()

文档的懒加载器。

aload()

将 web_path 中的 URL 同步加载到文档中。

fetch_all(urls)

以速率限制并发抓取所有 URL。

lazy_load()

从 web_path 中的 URL(s) 懒加载文本。

load()

将网页作为文档加载。

load_and_split([text_splitter])

加载文档并将其分割成块。

scrape([parser])

从网页抓取数据并以 BeautifulSoup 格式返回。

scrape_all(urls[, parser])

抓取所有 URL，然后返回所有结果的 soups。
__init__(web_path: Union[str, Sequence[str]] = '', header_template: Optional[dict] = None, verify_ssl: bool = True, proxies: Optional[dict] = None, continue_on_failure: bool = False, autoset_encoding: bool = True, encoding: Optional[str] = None, web_paths: Sequence[str] = (), requests_per_second: int = 2, default_parser: str = 'html.parser', requests_kwargs: Optional[Dict[str, Any]] = None, raise_for_status: bool = False, bs_get_text_kwargs: Optional[Dict[str, Any]] = None, bs_kwargs: Optional[Dict[str, Any]] = None, session: Optional[Any] = None, *, show_progress: bool = True) → None

初始化加载器。

参数

  • web_paths (序列[str]) - 要加载数据的网页路径。

  • requests_per_second (int) - 最大并发请求数量。

  • default_parser (str) - BeautifulSoup 的默认解析器。

  • requests_kwargs (可选： Dict[str，Any]]) – requests 的 kwargs

  • raise_for_status (布尔值) – 如果 HTTP 状态码表示错误，则引发异常。

  • bs_get_text_kwargs (可选： Dict[str，Any]]) – beatifulsoup4 get_text 的 kwargs

  • bs_kwargs (可选： Dict[str，Any]]) – beatifulsoup4 网页解析的 kwargs

  • show_progress (布尔值) – 加载页面时显示进度条。

  • web_path (联合：str，Sequence[str]]) –

  • header_template (可选：dict) –

  • verify_ssl (布尔值) –

  • proxies (可选：dict) –

  • continue_on_failure (布尔值) –

  • autoset_encoding (布尔值) –

  • encoding (可选：str) –

  • session (可选：Any) –

返回类型

None

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

aload() → List[Document]

将 web_path 中的 URL 同步加载到文档中。

返回类型

List[Document]

async fetch_all(urls: List[str]) → Any

以速率限制并发抓取所有 URL。

参数

urls (List[str]) –

返回类型

Any

lazy_load() → Iterator[Document]

从 web_path 中的 URL(s) 懒加载文本。

返回类型

Iterator[Document]

load() → List[Document][源代码]

将网页作为文档加载。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载数据并分割成块。块被作为Document返回。

不要覆盖此方法。应将其视为已过时！

参数

text_splitter (Optional[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

Document列表。

返回类型

List[Document]

scrape(parser: Optional[str] = None) → Any

从网页抓取数据并以 BeautifulSoup 格式返回。

参数

parser (Optional[str]) –

返回类型

Any

scrape_all(urls: List[str], parser: Optional[str] = None) → List[Any]

抓取所有 URL，然后返回所有结果的 soups。

参数

  • urls (List[str]) –

  • parser (Optional[str]) –

返回类型

Any 列表

使用 CollegeConfidentialLoader 的示例