langchain_community.document_loaders.html_bs.BSHTMLLoader

class langchain_community.document_loaders.html_bs.BSHTMLLoader(file_path: Union[str, Path], open_encoding: Optional[str] = None, bs_kwargs: Optional[dict] = None, get_text_separator: str = '')[源码]

加载并解析HTML文件。

使用路径初始化，可选文件编码以及传递给BeautifulSoup对象的任何kwargs。

参数

  • file_path (Union[str, Path]) – 加载的文件的路径。

  • open_encoding (Optional[str]) – 打开文件时使用的编码。

  • bs_kwargs (Optional[dict]) – 传递给BeautifulSoup对象的任何kwargs。

  • get_text_separator (str) – 在soup调用get_text时使用的分隔符。

方法

__init__(file_path[, open_encoding, ...])

使用路径初始化，可选文件编码以及传递给BeautifulSoup对象的任何kwargs。

alazy_load()

Documents的懒加载器。

aload()

将数据加载到Document对象中。

lazy_load()

将HTML文档加载到Document对象中。

load()

将数据加载到Document对象中。

load_and_split([text_splitter])

将Documents加载并分割成块。
__init__(file_path: Union[str, Path], open_encoding: Optional[str] = None, bs_kwargs: Optional[dict] = None, get_text_separator: str = '') → None[source]

使用路径初始化，可选文件编码以及传递给BeautifulSoup对象的任何kwargs。

参数

  • file_path (Union[str, Path]) – 加载的文件的路径。

  • open_encoding (Optional[str]) – 打开文件时使用的编码。

  • bs_kwargs (Optional[dict]) – 传递给BeautifulSoup对象的任何kwargs。

  • get_text_separator (str) – 在soup调用get_text时使用的分隔符。

返回类型

None

async alazy_load() → AsyncIterator[Document]

Documents的懒加载器。

返回类型

AsyncIterator[Document]

async aload() → List[Document]

将数据加载到Document对象中。

返回类型

List[Document]

lazy_load() → Iterator[Document][source]

将HTML文档加载到Document对象中。

返回类型

Iterator[Document]

load() → List[Document]

将数据加载到Document对象中。

返回类型

List[Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载数据并按块进行分割。块作为Document返回。

不要重写此方法。应该考虑它已被弃用！

参数

text_splitter (可选[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

Document列表。

返回类型

列表[Document]

使用BSHTMLLoader的示例