`langchain_community.retrievers.web_research`.WebResearchRetriever¶

备注

WebResearchRetriever实现了标准Runnable 接口。🏃

Runnable 接口还提供了额外的运行时可用的方法，例如with_types、with_retry、assign、bind、get_graph等。

class langchain_community.retrievers.web_research.WebResearchRetriever[来源]¶

基类：BaseRetriever

Google Search API检索器。

初始化检索器。

参数 allow_dangerous_requests: bool = False¶

一个标志，用于强制用户在使用此检索器时认可SSRF攻击的风险。

如果用户在使用此检索器时已采取必要的安全措施以防止SSRF攻击，则应将此标志设置为True。

例如，用户可以通过适当配置的代理运行请求，并防止爬虫意外爬取内部资源。

参数 llm_chain: LLMChain [必需]¶

参数 metadata: Optional[Dict[str, Any]] = None¶: 与检索器关联的可选元数据。默认为None。这些元数据将与对检索器的每次调用关联，并作为SQLite类回调中定义的处理程序参数传递。您可以用这些参数来识别检索器的特定实例及其用途。

参数num_search_results:int=1¶: 每次Google搜索的页面数

参数search:GoogleSearchAPIWrapper [必需]¶: Google搜索API包装器

参数tags:Optional[List[str]]=None¶: 与检索器关联的可选标签列表。默认为None。这些标签将与对检索器的每次调用关联，并作为SQLite类回调中定义的处理程序参数传递。您可以用这些参数来识别检索器的特定实例及其用途。

参数text_splitter:TextSplitter=<langchain_text_splitters.character.RecursiveCharacterTextSplitter object>¶: 分割网页的文本分割器

参数trust_env:bool=False¶: 是否使用http_proxy/https_proxy环境变量或检查.netrc进行代理配置

参数url_database:List[str] [可选]¶: 处理过的URL列表

参数vectorstore:VectorStore [必需]¶: 网页存储向量库

async abatch(inputs: List[Input], config: Optional[Union[RunnableConfig, List[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → List[Output]¶

默认实现通过asyncio.gather并行运行ainvoke。

默认批处理实现对于IO密集型的Runnable效果良好。

如果子类能够更有效地批处理，则应重写此方法；例如，如果底层的Runnable使用的API支持批处理模式。

参数

inputs (列表[输入]) – Runnable的输入列表。
config (可选[联合[RunnableConfig, 列表[RunnableConfig]]]) – 在调用Runnable时使用的配置。配置支持标准键，如‘tags’、‘metadata’用于调试目的，‘max_concurrency’用于控制并行执行的工作量，以及其他键。请参阅RunnableConfig以获取更多详细信息。默认为None。
return_exceptions (布尔值) – 是否返回异常而不是抛出它们。默认为False。
kwargs (可选[任何]) – 传递给Runnable的额外关键字参数。

返回

Runnable的输出列表。

返回类型

列表[输出]

async abatch_as_completed(inputs: Sequence[Input], config: Optional[Union[RunnableConfig, Sequence[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → AsyncIterator[Tuple[int, Union[Output, Exception]]]›

在输入列表上并行运行run_invoke，结果依次完成。

参数

inputs (Sequence[Input]) – 传递给Runnable的输入列表。
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) – 调用Runnable时使用的配置。配置支持标准键，如’tags’、‘metadata’用于跟踪，‘max_concurrency’用于控制并行工作的多少，以及其他键。请参阅RunnableConfig以获取更多详细信息。默认为None。
return_exceptions (布尔值) – 是否返回异常而不是抛出它们。默认为False。
kwargs (可选[任何]) – 传递给Runnable的额外关键字参数。

产出

一个包含输入索引和Runnable输出的元组。

返回类型

AsyncIterator[Tuple[int, Union[Output, Exception]]]

async aget_relevant_documents(query: str, *, callbacks: Callbacks = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, run_name: Optional[str] = None, **kwargs: Any) → List[Document]¶

自版本 langchain-core==0.1.46 起已弃用: 请使用 ainvoke 代替。

异步获取与查询相关的文档。

用户应优先使用 .ainvoke 或 .abatch 而不是直接使用 aget_relevant_documents。

参数

query (str) – 用于查找相关文档的字符串。
callbacks (Callbacks) – 回调管理器或回调列表。
tags (Optional[List[str]]) – 可选的与检索器相关联的标签列表。这些标签将与每次调用此检索器相关联，并将其传递给 callbacks 中定义的处理程序。默认为 None。
metadata (Optional[Dict[str, Any]]) – 可选的与检索器相关联的元数据。此元数据将与每次调用此检索器相关联，并将其传递给 callbacks 中定义的处理程序。默认为 None。
run_name (Optional[str]) – 可选的运行名称。默认为 None。
kwargs (Any) – 向检索器传递的附加参数。

返回

相关文档列表。

返回类型

列表 [Document]

async ainvoke(input: str, config: Optional[RunnableConfig] = None, **kwargs: Any) → List[Document]¶: 异步调用检索器获取相关文档。

异步检索器调用的主要入口点。

参数

输入（《str》） – 查询字符串。

配置（《Optional[[RunnableConfig]]》） – 检索器的配置。默认为None。

kwargs (Any) – 向检索器传递的附加参数。

返回

相关文档列表。

返回类型

《List[Document]》

示例

await retriever.ainvoke("query")

as_tool(args_schema: Optional[Type[BaseModel]] = None, *, name: Optional[str] = None, description: Optional[str] = None, arg_types: Optional[Dict[str, Type]] = None) → BaseTool¶

测试版

此API处于测试版，未来可能会发生变化。

从可运行对象创建BaseTool。

as_tool将从Runnable实例化一个具有名字、描述和args_schema的BaseTool。尽可能的情况下，从runnable.get_input_schema推断出模式。或者（例如，如果Runnable接受字典作为输入且字典的特定键没有类型），可以通过args_schema直接指定模式。您还可以传递arg_types来仅指定所需的参数及其类型。

参数

args_schema (可选[类型[BaseModel]]) – 工具的模式。默认为空。

name (可选[str]) – 工具的名称。默认为空。

description (可选[str]) – 工具的描述。默认为空。

arg_types (可选[Dict[str, 类型]]) – 参数名称到类型的字典。默认为空。

返回

BaseTool实例。

返回类型

BaseTool

类型化字典输入

from typing import List from typing_extensions import TypedDict from langchain_core.runnables import RunnableLambda class Args(TypedDict): a: int b: List[int] def f(x: Args) -> str: return str(x["a"] * max(x["b"])) runnable = RunnableLambda(f) as_tool = runnable.as_tool() as_tool.invoke({"a": 3, "b": [1, 2]})

dict输入，通过args_schema指定模式

from typing import Any, Dict, List from langchain_core.pydantic_v1 import BaseModel, Field from langchain_core.runnables import RunnableLambda def f(x: Dict[str, Any]) -> str: return str(x["a"] * max(x["b"])) class FSchema(BaseModel): """Apply a function to an integer and list of integers.""" a: int = Field(..., description="Integer") b: List[int] = Field(..., description="List of ints") runnable = RunnableLambda(f) as_tool = runnable.as_tool(FSchema) as_tool.invoke({"a": 3, "b": [1, 2]})

dict输入，通过arg_types指定模式

from typing import Any, Dict, List from langchain_core.runnables import RunnableLambda def f(x: Dict[str, Any]) -> str: return str(x["a"] * max(x["b"])) runnable = RunnableLambda(f) as_tool = runnable.as_tool(arg_types={"a": int, "b": List[int]}) as_tool.invoke({"a": 3, "b": [1, 2]})

字符串输入

from langchain_core.runnables import RunnableLambda def f(x: str) -> str: return x + "a" def g(x: str) -> str: return x + "z" runnable = RunnableLambda(f) | g as_tool = runnable.as_tool() as_tool.invoke("b")

新版本0.2.14。

async astream(input: Input, config: Optional[RunnableConfig] = None, **kwargs: Optional[Any]) → AsyncIterator[Output]¶

astream的默认实现，它调用ainvoke。子类应覆盖此方法以支持流式输出。

参数

input (输入) – Runnable的输入。

config (可选[RunnableConfig]) – 用于Runnable的配置。默认为空。

kwargs (可选[任何]) – 传递给Runnable的额外关键字参数。

产出

Runnable的输出。

返回类型

AsyncIterator[输出]

astream_events(input: Any, config: Optional[RunnableConfig] = None, *, version: Literal['v1', 'v2'], include_names: Optional[Sequence[str]] = None, include_types: Optional[Sequence[str]] = None, include_tags: Optional[Sequence[str]] = None, exclude_names: Optional[Sequence[str]] = None, exclude_types: Optional[Sequence[str]] = None, exclude_tags: Optional[Sequence[str]] = None, **kwargs: Any) → AsyncIterator[Union[StandardStreamEvent, CustomStreamEvent]]¶

batch(inputs: 列表[输入], config: 可选[联合[可运行配置, 列表[可运行配置]]] = None, *, return_exceptions: 布尔值 = False, **kwargs: 可选[任何类型]) → 列表[输出]¶

默认实现使用线程池执行器并行运行。

默认批处理实现对于IO密集型的Runnable效果良好。

如果子类能够更有效地批处理，则应重写此方法；例如，如果底层的Runnable使用的API支持批处理模式。

参数

inputs (列表[输入]) –
config (可选[联合[可运行配置, 列表[可运行配置]]]) –
return_exceptions (布尔值) –
kwargs (可选[任何类型]) –

返回类型

列表[输出]

batch_as_completed(inputs: Sequence[Input], config: Optional[Union[RunnableConfig, Sequence[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → Iterator[Tuple[int, Union[Output, Exception]]]¶

在一系列输入上并行运行调用，结果完成后生成。

参数

inputs (Sequence[Input]) –
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) –
return_exceptions (布尔值) –
kwargs (可选[任何类型]) –

返回类型

Iterator[Tuple[int, Union[Output, Exception]]]

clean_search_query(query: str) → str[source]¶

参数: query (str) –
返回类型: 字符串

configurable_alternatives(which: ConfigurableField, *, default_key: str = 'default', prefix_keys: bool = False, **kwargs: Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) → RunnableSerializable[Input, Output]¶

在运行时可以设置的Runnables的替代配置。

参数

which (ConfigurableField) – 要用于选择替代方案的ConfigurableField实例。
default_key (str) – 如果未选择替代方案，将使用的默认键。默认为“default”。
prefix_keys (bool) – 是否在键前加ConfigurableField id的前缀。默认为False。
**kwargs (Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) – 键到Runnable实例或返回Runnable实例的可调用对象的关键字字典。

返回

配置了替代方案的新Runnable。

返回类型

RunnableSerializable[Input, Output]

from langchain_anthropic import ChatAnthropic
from langchain_core.runnables.utils import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatAnthropic(
    model_name="claude-3-sonnet-20240229"
).configurable_alternatives(
    ConfigurableField(id="llm"),
    default_key="anthropic",
    openai=ChatOpenAI()
)

# uses the default model ChatAnthropic
print(model.invoke("which organization created you?").content)

# uses ChatOpenAI
print(
    model.with_config(
        configurable={"llm": "openai"}
    ).invoke("which organization created you?").content
)

configurable_fields(**kwargs: Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) → RunnableSerializable[Input, Output]

在运行时配置特定的可运行字段。

参数: **kwargs (Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) – 用于配置的可配置字段实例的字典。
返回: 配置字段后创建的新可运行对象。
返回类型: RunnableSerializable[Input, Output]

from langchain_core.runnables import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatOpenAI(max_tokens=20).configurable_fields(
    max_tokens=ConfigurableField(
        id="output_token_number",
        name="Max tokens in the output",
        description="The maximum number of tokens in the output",
    )
)

# max_tokens = 20
print(
    "max_tokens_20: ",
    model.invoke("tell me something about chess").content
)

# max_tokens = 200
print("max_tokens_200: ", model.with_config(
    configurable={"output_token_number": 200}
    ).invoke("tell me something about chess").content
)

classmethod from_llm(vectorstore: ~langchain_core.vectorstores.base.VectorStore, llm: ~langchain_core.language_models.llms.BaseLLM, search: ~langchain_community.utilities.google_search.GoogleSearchAPIWrapper, prompt: ~typing.Optional[~langchain_core.prompts.base.BasePromptTemplate] = None, num_search_results: int = 1, text_splitter: ~langchain_text_splitters.character.RecursiveCharacterTextSplitter = <langchain_text_splitters.character.RecursiveCharacterTextSplitter object>, trust_env: bool = False, allow_dangerous_requests: bool = False) → WebResearchRetriever[source]¶

使用默认模板从llm初始化。

参数

vectorstore (VectorStore) – 存储网页的向量存储。
llm (BaseLLM) – 用于生成搜索问题的 llm
search (GoogleSearchAPIWrapper) – GoogleSearchAPIWrapper
prompt (可选：BasePromptTemplate） – 生成搜索问题的提示
num_search_results (int) – 每次谷歌搜索的页数
text_splitter (RecursiveCharacterTextSplitter) – 将网页分割成块的文字分割器
trust_env (bool) – 是否使用 http_proxy/https_proxy 环境变量或检查 .netrc 以进行代理配置
allow_dangerous_requests (bool) –

返回

WebResearchRetriever

返回类型

WebResearchRetriever

get_relevant_documents(query: str, *, callbacks: Callbacks = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, run_name: Optional[str] = None, **kwargs: Any) → List[Document]¶

已弃用自版本 langchain-core==0.1.46：使用 invoke 代替。

检索与查询相关的文档。

用户应优先使用 .invoke 或 .batch 而不是直接使用 get_relevant_documents。

参数

query (str) – 用于查找相关文档的字符串。
callbacks (Callbacks) – 回调管理器或回调列表。默认为 None。
tags (Optional[List[str]]) – 可选的与检索器相关联的标签列表。这些标签将与每次调用此检索器相关联，并将其传递给 callbacks 中定义的处理程序。默认为 None。
metadata (Optional[Dict[str, Any]]) – 可选的与检索器相关联的元数据。此元数据将与每次调用此检索器相关联，并将其传递给 callbacks 中定义的处理程序。默认为 None。
run_name (Optional[str]) – 可选的运行名称。默认为 None。
kwargs (Any) – 向检索器传递的附加参数。

返回

事件	名称	块	输入	输出
on_chat_model_start	【模型名称】		{"messages": [[SystemMessage, HumanMessage]]}
on_chat_model_stream	【模型名称】	AIMessageChunk(content="hello")
on_chat_model_end	【模型名称】		{"messages": [[SystemMessage, HumanMessage]]}	AIMessageChunk(content="hello world")
on_llm_start	【模型名称】		{'input': 'hello'}
on_llm_stream	【模型名称】	"Hello"
on_llm_end	【模型名称】		"Hello human!"
on_chain_start	format_docs
on_chain_stream	format_docs	"hello world!, goodbye world!"
on_chain_end	format_docs		[Document(…)]	"hello world!, goodbye world!"
on_tool_start	some_tool		{"x": 1, "y": "2"}
on_tool_end	some_tool			{"x": 1, "y": "2"}
on_retriever_start	[检索器名称]		{"query": "hello"}
on_retriever_end	[检索器名称]		{"query": "hello"}	[Document(…), ..]
on_prompt_start	[模板名称]		{"question": "hello"}
on_prompt_end	[模板名称]		{"question": "hello"}	ChatPromptValue(messages: [SystemMessage, …])

属性	类型	描述
名称	字符串	为事件定义的用户名称。
数据	任何类型	与事件关联的数据。这可以是一切，尽管我们建议将其制作成可序列化的JSON。

langchain_community.retrievers.web_research.WebResearchRetriever¶

`langchain_community.retrievers.web_research`.WebResearchRetriever¶