langchain_community.document_loaders.gitbook.GitbookLoader

class langchain_community.document_loaders.gitbook.GitbookLoader(web_page: str, load_all_paths: bool = False, base_url: Optional[str] = None, content_selector: str = 'main', continue_on_failure: bool = False, show_progress: bool = True)

加载 GitBook 数据。

1. 从单个页面或

2. 自定义导航栏中的所有（相对）路径。

用网页地址和是否加载所有路径进行初始化。

参数

• web_page (str) – 要加载的网页或用于发现相对路径的起点。

• load_all_paths (bool) – 如果设置为 True，则加载导航栏中的所有相对路径，而不是仅加载 web_page。

• base_url (Optional[str]) – 如果 load_all_paths 为 True，则相对路径将附加到此基本 URL。默认为 web_page。

• content_selector (str) – 要加载内容的 CSS 选择器。默认为“main”。

• continue_on_failure (bool) – 如果加载 URL 时发生错误，是否继续加载网站图并发出警告而不是引发异常。将此设置为 True 可以使加载器更健壮，但也可能导致丢失数据。默认：False

• show_progress (bool) – 是否在加载时显示进度条。默认：True

属性

web_path

方法

__init__(web_page[, load_all_paths, ...])	用网页地址和是否加载所有路径进行初始化。
alazy_load()	文档的懒加载器。
aload()	从 web_path 中的 URL 异步加载文本到文档。
fetch_all(urls)	以速率限制的方式并行获取所有 URL。
lazy_load()	从单个 GitBook 页面获取文本。
load()	将数据加载到文档对象中。
load_and_split([文本分割器])	加载文档并将它们分割成块。
scrape([解析器])	从网页抓取数据，并以 BeautifulSoup 格式返回。
scrape_all(urls[, 解析器])	获取所有 URL，然后返回所有结果的 soup。

__init__(web_page: str, load_all_paths: bool = False, base_url: Optional[str] = None, content_selector: str = 'main', continue_on_failure: bool = False, show_progress: bool = True)

用网页地址和是否加载所有路径进行初始化。

参数

• web_page (str) – 要加载的网页或用于发现相对路径的起点。

• load_all_paths (bool) – 如果设置为 True，则加载导航栏中的所有相对路径，而不是仅加载 web_page。

• base_url (Optional[str]) – 如果 load_all_paths 为 True，则相对路径将附加到此基本 URL。默认为 web_page。

• content_selector (str) – 要加载内容的 CSS 选择器。默认为“main”。

• continue_on_failure (bool) – 如果加载 URL 时发生错误，是否继续加载网站图并发出警告而不是引发异常。将此设置为 True 可以使加载器更健壮，但也可能导致丢失数据。默认：False

• show_progress (bool) – 是否在加载时显示进度条。默认：True

async alazy_load() → AsyncIterator[Document]

文档的懒加载器。

返回类型

AsyncIterator[Document]

aload() → List[Document]

从 web_path 中的 URL 异步加载文本到文档。

返回类型

]Document]

async fetch_all(urls: List[str]) → Any

以速率限制的方式并行获取所有 URL。

参数

urls (List[str]) –

返回类型

任意类型

lazy_load() → Iterator[Document]

从单个 GitBook 页面获取文本。

返回类型

文档迭代器[Document]

load() → List[Document]

将数据加载到文档对象中。

返回类型

]Document]

load_and_split(text_splitter: Optional[TextSplitter] = None) → List[Document]

加载文档并将它们分割成块。块以文档的形式返回。

不要重写此方法。应该考虑将其标记为过时！

参数

text_splitter (Optional[TextSplitter]) – 用于分割文档的TextSplitter实例。默认为RecursiveCharacterTextSplitter。

返回

文档列表。

返回类型

列表[Document]

scrape(parser: Optional[str] = None) → Any

从网页抓取数据，并以 BeautifulSoup 格式返回。

参数

parser (Optional[str]) –

返回类型

任意类型

scrape_all(urls: List[str], parser: Optional[str] = None) → List[Any]

获取所有 URL，然后返回所有结果的 soup。

参数

• urls (List[str]) –

• parser (Optional[str]) –

返回类型

List[Any]

使用 GitbookLoader 的示例

• GitBook