`langchain_google_vertexai.chat_models`.ChatVertexAI¶

注意

ChatVertexAI 实现了标准的 Runnable 接口。 🏃

Runnable 接口 具有 runnable 上可用的其他方法，例如 with_types、 with_retry、 assign、 bind、 get_graph 等。

class langchain_google_vertexai.chat_models.ChatVertexAI[source]¶

基类： _VertexAICommon, BaseChatModel

Google Cloud Vertex AI 聊天模型集成。

安装设置
您必须安装 langchain-google-vertexai Python 包。 .. code-block:: bash

pip install -U langchain-google-vertexai

以及以下任一方式

为您的环境配置凭据（gcloud、工作负载身份等）

将服务帐户 JSON 文件的路径存储为 GOOGLE_APPLICATION_CREDENTIALS 环境变量

此代码库使用 google.auth 库，该库首先查找上述应用程序凭据变量，然后查找系统级身份验证。

更多信息请参考： https://cloud.google.com/docs/authentication/application-default-credentials#GAC 和 https://googleapis.dev/python/google-auth/latest/reference/google.auth.html#module-google.auth。

关键初始化参数 — 完成参数

model: str
要使用的 ChatVertexAI 模型的名称。例如 “gemini-1.5-flash-001”、“gemini-1.5-pro-001” 等。

temperature: Optional[float]
采样温度。

max_tokens: Optional[int]
要生成的最大令牌数。

stop: Optional[List[str]]
默认停止序列。

safety_settings: Optional[Dict[vertexai.generative_models.HarmCategory, vertexai.generative_models.HarmBlockThreshold]]
用于所有生成的默认安全设置。

关键初始化参数 — 客户端参数

max_retries: int
最大重试次数。

credentials: Optional[google.auth.credentials.Credentials]
进行 API 调用时使用的默认自定义凭据。如果未提供，将从环境中获取凭据。

project: Optional[str]
进行 Vertex API 调用时使用的默认 GCP 项目。

location: str = “us-central1”
进行 API 调用时使用的默认位置。

request_parallelism: int = 5
允许向 VertexAI 模型发出的请求的并行量。默认为 5。

base_url: Optional[str]
API 请求的基本 URL。

请参阅参数部分中受支持的初始化参数及其描述的完整列表。
实例化
from langchain_google_vertexai import ChatVertexAI

llm = ChatVertexAI(
    model="gemini-1.5-flash-001",
    temperature=0,
    max_tokens=None,
    max_retries=6,
    stop=None,
    # other params...
)
调用
messages = [
    ("system", "You are a helpful translator. Translate the user sentence to French."),
    ("human", "I love programming."),
]
llm.invoke(messages)
AIMessage(content="J'adore programmer.

“, response_metadata={‘is_blocked’: False, ‘safety_ratings’: [{‘category’: ‘HARM_CATEGORY_HATE_SPEECH’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_DANGEROUS_CONTENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_HARASSMENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_SEXUALLY_EXPLICIT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}], ‘citation_metadata’: None, ‘usage_metadata’: {‘prompt_token_count’: 17, ‘candidates_token_count’: 7, ‘total_token_count’: 24}}, id=’run-925ce305-2268-44c4-875f-dde9128520ad-0’)

流式处理

for chunk in llm.stream(messages):
    print(chunk)

AIMessageChunk(content='J', response_metadata={'is_blocked': False, 'safety_ratings': [], 'citation_metadata': None}, id='run-9df01d73-84d9-42db-9d6b-b1466a019e89')
AIMessageChunk(content="'adore programmer.

“, response_metadata={‘is_blocked’: False, ‘safety_ratings’: [{‘category’: ‘HARM_CATEGORY_HATE_SPEECH’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_DANGEROUS_CONTENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_HARASSMENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_SEXUALLY_EXPLICIT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}], ‘citation_metadata’: None}, id=’run-9df01d73-84d9-42db-9d6b-b1466a019e89’)

AIMessageChunk(content=’’, response_metadata={‘is_blocked’: False, ‘safety_ratings’: [], ‘citation_metadata’: None, ‘usage_metadata’: {‘prompt_token_count’: 17, ‘candidates_token_count’: 7, ‘total_token_count’: 24}}, id=’run-9df01d73-84d9-42db-9d6b-b1466a019e89’)

stream = llm.stream(messages)
full = next(stream)
for chunk in stream:
    full += chunk
full

AIMessageChunk(content="J'adore programmer.

“, response_metadata={‘is_blocked’: False, ‘safety_ratings’: [{‘category’: ‘HARM_CATEGORY_HATE_SPEECH’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_DANGEROUS_CONTENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_HARASSMENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_SEXUALLY_EXPLICIT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}], ‘citation_metadata’: None, ‘usage_metadata’: {‘prompt_token_count’: 17, ‘candidates_token_count’: 7, ‘total_token_count’: 24}}, id=’run-b7f7492c-4cb5-42d0-8fc3-dce9b293b0fb’)

异步

await llm.ainvoke(messages)

# stream:
# async for chunk in (await llm.astream(messages))

# batch:
# await llm.abatch([messages])

AIMessage(content="J'adore programmer.

“, response_metadata={‘is_blocked’: False, ‘safety_ratings’: [{‘category’: ‘HARM_CATEGORY_HATE_SPEECH’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_DANGEROUS_CONTENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_HARASSMENT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}, {‘category’: ‘HARM_CATEGORY_SEXUALLY_EXPLICIT’, ‘probability_label’: ‘NEGLIGIBLE’, ‘blocked’: False}], ‘citation_metadata’: None, ‘usage_metadata’: {‘prompt_token_count’: 17, ‘candidates_token_count’: 7, ‘total_token_count’: 24}}, id=’run-925ce305-2268-44c4-875f-dde9128520ad-0’)

工具调用

from langchain_core.pydantic_v1 import BaseModel, Field

class GetWeather(BaseModel):
    '''Get the current weather in a given location'''

    location: str = Field(..., description="The city and state, e.g. San Francisco, CA")

class GetPopulation(BaseModel):
    '''Get the current population in a given location'''

    location: str = Field(..., description="The city and state, e.g. San Francisco, CA")

llm_with_tools = llm.bind_tools([GetWeather, GetPopulation])
ai_msg = llm_with_tools.invoke("Which city is hotter today and which is bigger: LA or NY?")
ai_msg.tool_calls

[{'name': 'GetWeather',
  'args': {'location': 'Los Angeles, CA'},
  'id': '2a2401fa-40db-470d-83ce-4e52de910d9e'},
 {'name': 'GetWeather',
  'args': {'location': 'New York City, NY'},
  'id': '96761deb-ab7f-4ef9-b4b4-6d44562fc46e'},
 {'name': 'GetPopulation',
  'args': {'location': 'Los Angeles, CA'},
  'id': '9147d532-abee-43a2-adb5-12f164300484'},
 {'name': 'GetPopulation',
  'args': {'location': 'New York City, NY'},
  'id': 'c43374ea-bde5-49ca-8487-5b83ebeea1e6'}]

有关更多信息，请参阅 ChatVertexAI.bind_tools() 方法。

结构化输出

from typing import Optional

from langchain_core.pydantic_v1 import BaseModel, Field

class Joke(BaseModel):
    '''Joke to tell user.'''

    setup: str = Field(description="The setup of the joke")
    punchline: str = Field(description="The punchline to the joke")
    rating: Optional[int] = Field(description="How funny the joke is, from 1 to 10")

structured_llm = llm.with_structured_output(Joke)
structured_llm.invoke("Tell me a joke about cats")

Joke(setup='What do you call a cat that loves to bowl?', punchline='An alley cat!', rating=None)

有关更多信息，请参阅 ChatVertexAI.with_structured_output()。

图像输入

import base64
import httpx
from langchain_core.messages import HumanMessage

image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image_data = base64.b64encode(httpx.get(image_url).content).decode("utf-8")
message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {
            "type": "image_url",
            "image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
        },
    ],
)
ai_msg = llm.invoke([message])
ai_msg.content

'The weather in this image appears to be sunny and pleasant. The sky is a bright blue with scattered white clouds, suggesting a clear and mild day. The lush green grass indicates recent rainfall or sufficient moisture. The absence of strong shadows suggests that the sun is high in the sky, possibly late afternoon. Overall, the image conveys a sense of tranquility and warmth, characteristic of a beautiful summer day.

‘

您还可以指向 GCS 文件，这更快/更有效，因为字节在来回传输。

llm.invoke(
    [
        HumanMessage(
            [
                "What's in the image?",
                {
                    "type": "media",
                    "file_uri": "gs://cloud-samples-data/generative-ai/image/scones.jpg",
                    "mime_type": "image/jpeg",
                },
            ]
        )
    ]
).content

'The image is of five blueberry scones arranged on a piece of baking paper.

以下是图片中的内容：* 五个蓝莓烤饼： 它们散落在羊皮纸上，撒上糖粉。 * 两杯咖啡： 两个白色杯子配碟子。一杯看起来是满的，另一杯部分被喝掉了。 * 一碗蓝莓： 一个棕色的碗里装满了新鲜的蓝莓，放在烤饼附近。 * 一把勺子： 一把银勺子，上面写着“Let’s Jam”，放在纸上。 * 粉色牡丹： 几朵粉色牡丹花躺在烤饼旁边，增添了一丝色彩。 * 烘焙纸： 烤饼、杯子、碗和勺子排列在一张白色烘焙纸上，上面溅满了紫色。纸张皱巴巴的，放在深色表面上。

图像具有乡村和美味的感觉，暗示着舒适和愉悦的早餐或早午餐环境。 ‘

视频输入

注意：目前仅 gemini-...-vision 模型支持。

llm = ChatVertexAI(model="gemini-1.0-pro-vision")

llm.invoke(
    [
        HumanMessage(
            [
                "What's in the video?",
                {
                    "type": "media",
                    "file_uri": "gs://cloud-samples-data/video/animals.mp4",
                    "mime_type": "video/mp4",
                },
            ]
        )
    ]
).content

'The video is about a new feature in Google Photos called "Zoomable Selfies". The feature allows users to take selfies with animals at the zoo. The video shows several examples of people taking selfies with animals, including a tiger, an elephant, and a sea otter. The video also shows how the feature works. Users simply need to open the Google Photos app and select the "Zoomable Selfies" option. Then, they need to choose an animal from the list of available animals. The app will then guide the user through the process of taking the selfie.'

音频输入

from langchain_core.messages import HumanMessage

llm = ChatVertexAI(model="gemini-1.5-flash-001")

llm.invoke(
    [
        HumanMessage(
            [
                "What's this audio about?",
                {
                    "type": "media",
                    "file_uri": "gs://cloud-samples-data/generative-ai/audio/pixel.mp3",
                    "mime_type": "audio/mpeg",
                },
            ]
        )
    ]
).content

"This audio is an interview with two product managers from Google who work on Pixel feature drops. They discuss how feature drops are important for showcasing how Google devices are constantly improving and getting better. They also discuss some of the highlights of the January feature drop and the new features coming in the March drop for Pixel phones and Pixel watches. The interview concludes with discussion of how user feedback is extremely important to them in deciding which features to include in the feature drops. "

令牌使用量

ai_msg = llm.invoke(messages)
ai_msg.usage_metadata

{'input_tokens': 17, 'output_tokens': 7, 'total_tokens': 24}

响应元数据

ai_msg = llm.invoke(messages)
ai_msg.response_metadata

{'is_blocked': False,
 'safety_ratings': [{'category': 'HARM_CATEGORY_HATE_SPEECH',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False},
  {'category': 'HARM_CATEGORY_DANGEROUS_CONTENT',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False},
  {'category': 'HARM_CATEGORY_HARASSMENT',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False},
  {'category': 'HARM_CATEGORY_SEXUALLY_EXPLICIT',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False}],
 'usage_metadata': {'prompt_token_count': 17,
  'candidates_token_count': 7,
  'total_token_count': 24}}

安全设置

from langchain_google_vertexai import HarmBlockThreshold, HarmCategory

llm = ChatVertexAI(
    model="gemini-1.5-pro",
    safety_settings={
        HarmCategory.HARM_CATEGORY_HATE_SPEECH: HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
        HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT: HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
        HarmCategory.HARM_CATEGORY_HARASSMENT: HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
        HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT: HarmBlockThreshold.BLOCK_ONLY_HIGH,
    },
)

llm.invoke(messages).response_metadata

{'is_blocked': False,
 'safety_ratings': [{'category': 'HARM_CATEGORY_HATE_SPEECH',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False},
  {'category': 'HARM_CATEGORY_DANGEROUS_CONTENT',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False},
  {'category': 'HARM_CATEGORY_HARASSMENT',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False},
  {'category': 'HARM_CATEGORY_SEXUALLY_EXPLICIT',
   'probability_label': 'NEGLIGIBLE',
   'blocked': False}],
 'usage_metadata': {'prompt_token_count': 17,
  'candidates_token_count': 7,
  'total_token_count': 24}}

mypy 类型提示需要识别 model_name 为有效参数。

param additional_headers: Optional[Dict[str, str]] = None¶: 表示模型调用的附加标头的键值字典

param api_endpoint: Optional[str] = None (别名 'base_url')¶: 所需的 API 端点，例如 us-central1-aiplatform.googleapis.com

param api_transport: Optional[str] = None¶: 所需的 API 传输方法，可以是 ‘grpc’ 或 ‘rest’。如果定义了，则使用 vertexai.init 中的默认参数。

param cache: Union[BaseCache, bool, None] = None¶

是否缓存响应。

如果为 true，将使用全局缓存。
如果为 false，将不使用缓存
如果为 None，如果设置了全局缓存，将使用全局缓存，否则不使用缓存。
如果是 BaseCache 的实例，将使用提供的缓存。

模型流式处理方法目前不支持缓存。

param cached_content: Optional[str] = None¶: 可选。在缓存模式下使用模型。仅在 Gemini 1.5 及更高版本模型中受支持。必须是包含缓存名称的字符串（数字序列）

param callback_manager: Optional[BaseCallbackManager] = None¶: [已弃用] 要添加到运行轨迹的回调管理器。

param callbacks: Callbacks = None¶: 要添加到运行轨迹的回调。

param client_cert_source: Optional[Callable[[], Tuple[bytes, bytes]]] = None¶: 一个回调，返回客户端证书字节和私钥字节

param convert_system_message_to_human: bool = False¶: [已弃用] 由于新的 Gemini 模型支持设置系统消息，因此不建议将此参数设置为 True。

param credentials: Any = None¶: 要使用的默认自定义凭据 (google.auth.credentials.Credentials)

param custom_get_token_ids: Optional[Callable[[str], List[int]]] = None¶: 用于计算令牌的可选编码器。

param examples: Optional[List[BaseMessage]] = None¶

param full_model_name: Optional[str] = None¶: 模型端点的完整名称。

param location: str = 'us-central1'¶: 进行 API 调用时使用的默认位置。

param max_output_tokens: Optional[int] = None (别名 'max_tokens')¶: 令牌限制决定了一个提示的最大文本输出量。

param max_retries: int = 6¶: 生成时要进行的最大重试次数。

param metadata: Optional[Dict[str, Any]] = None¶: 要添加到运行轨迹的元数据。

param model_name: str = 'chat-bison' (别名 'model')¶: 底层模型名称。

param n: int = 1¶: 每个提示要生成多少个完成项。

param project: Optional[str] = None¶: 进行 Vertex API 调用时使用的默认 GCP 项目。

param rate_limiter: Optional[BaseRateLimiter] = None¶: 可选的速率限制器，用于限制请求数。

param request_parallelism: int = 5¶: 允许向 VertexAI 模型发出的请求的并行量。

param response_mime_type: Optional[str] = None¶

可选。生成的候选文本的输出响应 mimetype。仅

在 Gemini 1.5 及更高版本模型中受支持。支持的 mimetype

“text/plain”：（默认）文本输出。
“application/json”：候选者中的 JSON 响应。

还需要提示模型输出适当的响应类型，否则行为未定义。这是一个预览功能。

param response_schema: Optional[Dict[str, Any]] = None¶: 可选。对输出强制执行架构。仅当 response_mime_type 设置为 application/json 时才有效。字典的格式应遵循 Open API 架构。

param safety_settings: Optional['SafetySettingsType'] = None¶

用于所有生成的默认安全设置。

例如

from langchain_google_vertexai import HarmBlockThreshold, HarmCategory

safety_settings = {
HarmCategory.HARM_CATEGORY_UNSPECIFIED: HarmBlockThreshold.BLOCK_NONE, HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT: HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE, HarmCategory.HARM_CATEGORY_HATE_SPEECH: HarmBlockThreshold.BLOCK_ONLY_HIGH, HarmCategory.HARM_CATEGORY_HARASSMENT: HarmBlockThreshold.BLOCK_LOW_AND_ABOVE, HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT: HarmBlockThreshold.BLOCK_NONE,

}

param stop: Optional[List[str]] = None (别名 'stop_sequences')¶: 生成时使用的可选停止词列表。

param streaming: bool = False¶: 是否流式传输结果。

param tags: Optional[List[str]] = None¶: 要添加到运行轨迹的标签。

param temperature: Optional[float] = None¶: 采样温度，它控制令牌选择中的随机程度。

param top_k: Optional[int] = None¶: 模型如何选择用于输出的令牌，下一个令牌是从

param top_p: Optional[float] = None¶: 令牌从最有可能到最不可能的顺序选择，直到它们的总和

param tuned_model_name: Optional[str] = None¶: 微调模型的名称。如果传递了 tuned_model_name，则 model_name 将用于确定模型系列

param verbose: bool [Optional]¶: 是否打印输出响应文本。

__call__(messages: List[BaseMessage], stop: Optional[List[str]] = None, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, **kwargs: Any) → BaseMessage¶

自 langchain-core==0.1.7 版本起已弃用: 请使用 invoke 代替。

参数

messages (List[BaseMessage]) –
stop (Optional[List[str]]) –
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) –
kwargs (Any) –

返回类型

BaseMessage

async abatch(inputs: List[Input], config: Optional[Union[RunnableConfig, List[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → List[Output]¶

默认实现使用 asyncio.gather 并行运行 ainvoke。

batch 的默认实现对于 IO 密集型 runnable 效果良好。

如果子类可以更高效地进行批量处理，则应覆盖此方法；例如，如果底层 Runnable 使用支持批量模式的 API。

参数

inputs (List[Input]) – Runnable 的输入列表。
config (Optional[Union[RunnableConfig, List[RunnableConfig]]]) – 调用 Runnable 时使用的配置。该配置支持标准键，例如用于跟踪目的的 ‘tags’、‘metadata’，用于控制并行执行工作量的 ‘max_concurrency’，以及其他键。请参阅 RunnableConfig 以获取更多详细信息。默认为 None。
return_exceptions (bool) – 是否返回异常而不是引发异常。默认为 False。
kwargs (Optional[Any]) – 传递给 Runnable 的其他关键字参数。

返回

Runnable 的输出列表。

返回类型

List[Output]

async abatch_as_completed(inputs: Sequence[Input], config: Optional[Union[RunnableConfig, Sequence[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → AsyncIterator[Tuple[int, Union[Output, Exception]]]¶

在一系列输入上并行运行 ainvoke，并在结果完成时生成结果。

参数

inputs (Sequence[Input]) – Runnable 的输入列表。
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) – 调用 Runnable 时使用的配置。该配置支持标准键，例如用于跟踪目的的 ‘tags’、‘metadata’，用于控制并行执行工作量的 ‘max_concurrency’，以及其他键。请参阅 RunnableConfig 以获取更多详细信息。默认为 None。默认为 None。
return_exceptions (bool) – 是否返回异常而不是引发异常。默认为 False。
kwargs (Optional[Any]) – 传递给 Runnable 的其他关键字参数。

返回值

一个元组，包含输入的索引和 Runnable 的输出。

返回类型

AsyncIterator[Tuple[int, Union[Output, Exception]]]

async agenerate(messages: List[List[BaseMessage]], stop: Optional[List[str]] = None, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, *, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, run_name: Optional[str] = None, run_id: Optional[UUID] = None, **kwargs: Any) → LLMResult¶

异步地将一系列提示传递给模型并返回生成结果。

对于公开批量 API 的模型，此方法应利用批量调用。

当您想要执行以下操作时，请使用此方法

利用批量调用，
需要模型提供比仅生成最佳值更多的输出，
构建与底层语言模型无关的链
类型（例如，纯文本补全模型与聊天模型）。

参数

messages (List[List[BaseMessage]]) – 消息列表的列表。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 要传递的回调。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
**kwargs (Any) – 任意额外的关键字参数。这些通常会传递给模型提供商 API 调用。
tags (Optional[List[str]]) –
metadata (Optional[Dict[str, Any]]) –
run_name (Optional[str]) –
run_id (Optional[UUID]) –
**kwargs –

返回

一个 LLMResult，其中包含每个输入的候选生成列表: 提示以及其他模型提供商特定的输出。

返回类型

LLMResult

async agenerate_prompt(prompts: List[PromptValue], stop: Optional[List[str]] = None, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, **kwargs: Any) → LLMResult¶

异步地传递一系列提示并返回模型生成结果。

对于公开批量 API 的模型，此方法应利用批量调用。

当您想要执行以下操作时，请使用此方法

利用批量调用，
需要模型提供比仅生成最佳值更多的输出，
构建与底层语言模型无关的链
类型（例如，纯文本补全模型与聊天模型）。

参数

prompts (List[PromptValue]) – PromptValue 列表。 PromptValue 是一个可以转换为匹配任何语言模型格式的对象（纯文本生成模型的字符串和聊天模型的 BaseMessage）。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 要传递的回调。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
**kwargs (Any) – 任意额外的关键字参数。这些通常会传递给模型提供商 API 调用。

返回

一个 LLMResult，其中包含每个输入的候选生成列表: 提示以及其他模型提供商特定的输出。

返回类型

LLMResult

async ainvoke(input: LanguageModelInput, config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → BaseMessage¶

ainvoke 的默认实现，从线程调用 invoke。

即使 Runnable 没有实现 invoke 的原生异步版本，默认实现也允许使用异步代码。

如果子类可以异步运行，则应覆盖此方法。

参数

input (LanguageModelInput) –
config (Optional[RunnableConfig]) –
stop (Optional[List[str]]) –
kwargs (Any) –

返回类型

BaseMessage

async apredict(text: str, *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → str¶

自 langchain-core==0.1.7 版本起已弃用: 请使用 ainvoke 代替。

参数

text (str) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型

str

async apredict_messages(messages: List[BaseMessage], *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → BaseMessage¶

自 langchain-core==0.1.7 版本起已弃用: 请使用 ainvoke 代替。

参数

messages (List[BaseMessage]) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型

BaseMessage

as_tool(args_schema: Optional[Type[BaseModel]], *, name: Optional[str] = None, description: Optional[str] = None, arg_types: Optional[Dict[str, Type]] = None) → BaseTool¶

Beta

此 API 处于 Beta 阶段，将来可能会发生变化。

从 Runnable 创建一个 BaseTool。

as_tool 将从 Runnable 实例化一个具有名称、描述和 args_schema 的 BaseTool。在可能的情况下，模式从 runnable.get_input_schema 推断。或者（例如，如果 Runnable 接受 dict 作为输入，并且未键入特定的 dict 键），则可以使用 args_schema 直接指定模式。您还可以传递 arg_types 以仅指定必需的参数及其类型。

参数

args_schema (Optional[Type[BaseModel]]) – 工具的模式。默认为 None。
name (Optional[str]) – 工具的名称。默认为 None。
description (Optional[str]) – 工具的描述。默认为 None。
arg_types (Optional[Dict[str, Type]]) – 参数名称到类型的字典。默认为 None。

返回

一个 BaseTool 实例。

返回类型

BaseTool

类型化字典输入

from typing import List
from typing_extensions import TypedDict
from langchain_core.runnables import RunnableLambda

class Args(TypedDict):
    a: int
    b: List[int]

def f(x: Args) -> str:
    return str(x["a"] * max(x["b"]))

runnable = RunnableLambda(f)
as_tool = runnable.as_tool()
as_tool.invoke({"a": 3, "b": [1, 2]})

dict 输入，通过 args_schema 指定模式

from typing import Any, Dict, List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.runnables import RunnableLambda

def f(x: Dict[str, Any]) -> str:
    return str(x["a"] * max(x["b"]))

class FSchema(BaseModel):
    """Apply a function to an integer and list of integers."""

    a: int = Field(..., description="Integer")
    b: List[int] = Field(..., description="List of ints")

runnable = RunnableLambda(f)
as_tool = runnable.as_tool(FSchema)
as_tool.invoke({"a": 3, "b": [1, 2]})

dict 输入，通过 arg_types 指定模式

from typing import Any, Dict, List
from langchain_core.runnables import RunnableLambda

def f(x: Dict[str, Any]) -> str:
    return str(x["a"] * max(x["b"]))

runnable = RunnableLambda(f)
as_tool = runnable.as_tool(arg_types={"a": int, "b": List[int]})
as_tool.invoke({"a": 3, "b": [1, 2]})

字符串输入

from langchain_core.runnables import RunnableLambda

def f(x: str) -> str:
    return x + "a"

def g(x: str) -> str:
    return x + "z"

runnable = RunnableLambda(f) | g
as_tool = runnable.as_tool()
as_tool.invoke("b")

0.2.14 版本新增。

async astream(input: LanguageModelInput, config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → AsyncIterator[BaseMessageChunk]¶

astream 的默认实现，它调用 ainvoke。如果子类支持流式输出，则应重写此方法。

参数

input (LanguageModelInput) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。默认为 None。
kwargs (Any) – 传递给 Runnable 的其他关键字参数。
stop (Optional[List[str]]) –

返回值

Runnable 的输出。

返回类型

AsyncIterator[BaseMessageChunk]

astream_events(input: Any, config: Optional[RunnableConfig] = None, *, version: Literal['v1', 'v2'], include_names: Optional[Sequence[str]] = None, include_types: Optional[Sequence[str]] = None, include_tags: Optional[Sequence[str]] = None, exclude_names: Optional[Sequence[str]] = None, exclude_types: Optional[Sequence[str]] = None, exclude_tags: Optional[Sequence[str]] = None, **kwargs: Any) → AsyncIterator[Union[StandardStreamEvent, CustomStreamEvent]]¶

Beta

此 API 处于 Beta 阶段，将来可能会发生变化。

生成事件流。

用于创建一个 StreamEvents 的迭代器，该迭代器提供关于 Runnable 进度的实时信息，包括来自中间结果的 StreamEvents。

StreamEvent 是一个具有以下模式的字典

event: str - 事件名称的格式为
格式：on_[runnable_type]_(start|stream|end)。
name: str - 生成事件的 Runnable 的名称。
run_id: str - 与给定 Runnable 执行关联的随机生成的 ID，
该 Runnable 发出事件。作为父 Runnable 执行一部分而被调用的子 Runnable 会被分配其自己的唯一 ID。
parent_ids: List[str] - 生成事件的父 runnables 的 ID。
根 Runnable 将具有一个空列表。父 ID 的顺序是从根到直接父级。仅适用于 API 的 v2 版本。API 的 v1 版本将返回一个空列表。
tags: Optional[List[str]] - 生成事件的 Runnable 的标签。
事件。
metadata: Optional[Dict[str, Any]] - Runnable 的元数据
生成了事件。
data: Dict[str, Any]

下面是一个表格，说明了各种链可能发出的一些事件。为了简洁起见，元数据字段已从表中省略。链定义已包含在表格之后。

注意此参考表适用于模式的 V2 版本。

事件	名称	块	输入	输出
on_chat_model_start	[模型名称]		{“messages”: [[SystemMessage, HumanMessage]]}
on_chat_model_stream	[模型名称]	AIMessageChunk(content=”你好”)
on_chat_model_end	[模型名称]		{“messages”: [[SystemMessage, HumanMessage]]}	AIMessageChunk(content=”你好世界”)
on_llm_start	[模型名称]		{‘input’: ‘你好’}
on_llm_stream	[模型名称]	‘你好’
on_llm_end	[模型名称]		‘你好人类！’
on_chain_start	format_docs
on_chain_stream	format_docs	“你好世界！，再见世界！”
on_chain_end	format_docs		[Document(…)]	“你好世界！，再见世界！”
on_tool_start	some_tool		{“x”: 1, “y”: “2”}
on_tool_end	some_tool			{“x”: 1, “y”: “2”}
on_retriever_start	[检索器名称]		{“query”: “你好”}
on_retriever_end	[检索器名称]		{“query”: “你好”}	[Document(…), ..]
on_prompt_start	[模板名称]		{“question”: “你好”}
on_prompt_end	[模板名称]		{“question”: “你好”}	ChatPromptValue(messages: [SystemMessage, …])

除了标准事件之外，用户还可以调度自定义事件（请参阅下面的示例）。

自定义事件将仅在 API 的 v2 版本中显示！

自定义事件具有以下格式

属性	类型	描述
名称	str	用户为事件定义的名称。
数据	Any	与事件关联的数据。这可以是任何内容，但我们建议使其可 JSON 序列化。

以下是与上面显示的标准事件关联的声明

format_docs:

def format_docs(docs: List[Document]) -> str:
    '''Format the docs.'''
    return ", ".join([doc.page_content for doc in docs])

format_docs = RunnableLambda(format_docs)

some_tool:

@tool
def some_tool(x: int, y: str) -> dict:
    '''Some_tool.'''
    return {"x": x, "y": y}

提示:

template = ChatPromptTemplate.from_messages(
    [("system", "You are Cat Agent 007"), ("human", "{question}")]
).with_config({"run_name": "my_template", "tags": ["my_template"]})

示例

from langchain_core.runnables import RunnableLambda

async def reverse(s: str) -> str:
    return s[::-1]

chain = RunnableLambda(func=reverse)

events = [
    event async for event in chain.astream_events("hello", version="v2")
]

# will produce the following events (run_id, and parent_ids
# has been omitted for brevity):
[
    {
        "data": {"input": "hello"},
        "event": "on_chain_start",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
    {
        "data": {"chunk": "olleh"},
        "event": "on_chain_stream",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
    {
        "data": {"output": "olleh"},
        "event": "on_chain_end",
        "metadata": {},
        "name": "reverse",
        "tags": [],
    },
]

示例：调度自定义事件

from langchain_core.callbacks.manager import (
    adispatch_custom_event,
)
from langchain_core.runnables import RunnableLambda, RunnableConfig
import asyncio


async def slow_thing(some_input: str, config: RunnableConfig) -> str:
    """Do something that takes a long time."""
    await asyncio.sleep(1) # Placeholder for some slow operation
    await adispatch_custom_event(
        "progress_event",
        {"message": "Finished step 1 of 3"},
        config=config # Must be included for python < 3.10
    )
    await asyncio.sleep(1) # Placeholder for some slow operation
    await adispatch_custom_event(
        "progress_event",
        {"message": "Finished step 2 of 3"},
        config=config # Must be included for python < 3.10
    )
    await asyncio.sleep(1) # Placeholder for some slow operation
    return "Done"

slow_thing = RunnableLambda(slow_thing)

async for event in slow_thing.astream_events("some_input", version="v2"):
    print(event)

参数

input (Any) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。
version (Literal['v1', 'v2']) – 要使用的模式版本，可以是 v2 或 v1。用户应使用 v2。v1 用于向后兼容，将在 0.4.0 中弃用。在 API 稳定之前，不会分配默认值。自定义事件将仅在 v2 中显示。
include_names (Optional[Sequence[str]]) – 仅包括来自具有匹配名称的 runnables 的事件。
include_types (Optional[Sequence[str]]) – 仅包括来自具有匹配类型的 runnables 的事件。
include_tags (Optional[Sequence[str]]) – 仅包括来自具有匹配标签的 runnables 的事件。
exclude_names (Optional[Sequence[str]]) – 排除来自具有匹配名称的 runnables 的事件。
exclude_types (Optional[Sequence[str]]) – 排除来自具有匹配类型的 runnables 的事件。
exclude_tags (Optional[Sequence[str]]) – 排除来自具有匹配标签的 runnables 的事件。
kwargs (Any) – 传递给 Runnable 的其他关键字参数。这些参数将传递给 astream_log，因为 astream_events 的此实现构建在 astream_log 之上。

返回值

StreamEvents 的异步流。

Raises

NotImplementedError – 如果版本不是 v1 或 v2。

返回类型

AsyncIterator[Union[StandardStreamEvent, CustomStreamEvent]]

batch(inputs: List[Input], config: Optional[Union[RunnableConfig, List[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → List[Output]¶

默认实现使用线程池执行器并行运行 invoke。

batch 的默认实现对于 IO 密集型 runnable 效果良好。

如果子类可以更高效地进行批量处理，则应覆盖此方法；例如，如果底层 Runnable 使用支持批量模式的 API。

参数

inputs (List[Input]) –
config (Optional[Union[RunnableConfig, List[RunnableConfig]]]) –
return_exceptions (bool) –
kwargs (Optional[Any]) –

返回类型

List[Output]

batch_as_completed(inputs: Sequence[Input], config: Optional[Union[RunnableConfig, Sequence[RunnableConfig]]] = None, *, return_exceptions: bool = False, **kwargs: Optional[Any]) → Iterator[Tuple[int, Union[Output, Exception]]]¶

在输入列表上并行运行 invoke，并在结果完成时生成结果。

参数

inputs (Sequence[Input]) –
config (Optional[Union[RunnableConfig, Sequence[RunnableConfig]]]) –
return_exceptions (bool) –
kwargs (Optional[Any]) –

返回类型

Iterator[Tuple[int, Union[Output, Exception]]]

bind_tools(tools: Sequence[Union[Tool, Tool, _ToolDictLike, BaseTool, Type[BaseModel], FunctionDescription, Callable, FunctionDeclaration, Dict[str, Any]]], tool_config: Optional[_ToolConfigDict] = None, *, tool_choice: Optional[Union[dict, List[str], str, Literal['auto', 'none', 'any'], Literal[True], bool]] = None, **kwargs: Any) → Runnable[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], BaseMessage][source]¶

将类似工具的对象绑定到此聊天模型。

假设模型与 Vertex 工具调用 API 兼容。

参数

tools (Sequence[Union[Tool, Tool, _ToolDictLike, BaseTool, Type[BaseModel], FunctionDescription, Callable, FunctionDeclaration, Dict[str, Any]]]) – 要绑定到此聊天模型的工具定义列表。可以是 pydantic 模型、可调用对象或 BaseTool。Pydantic 模型、可调用对象和 BaseTool 将自动转换为它们的模式字典表示形式。
**kwargs (Any) – 传递给 Runnable 构造函数的任何其他参数。
tool_config (Optional[_ToolConfigDict]) –
tool_choice (Optional[Union[dict, List[str], str, Literal['auto', 'none', 'any'], ~typing.Literal[True], bool]]) –
**kwargs –

返回类型

Runnable[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], BaseMessage]

call_as_llm(message: str, stop: Optional[List[str]] = None, **kwargs: Any) → str¶

自 langchain-core==0.1.7 版本起已弃用: 请使用 invoke 代替。

参数

message (str) –
stop (Optional[List[str]]) –
kwargs (Any) –

返回类型

str

configurable_alternatives(which: ConfigurableField, *, default_key: str = 'default', prefix_keys: bool = False, **kwargs: Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) → RunnableSerializable[Input, Output]¶

为可在运行时设置的 Runnables 配置备选项。

参数

which (ConfigurableField) – ConfigurableField 实例，将用于选择备选项。
default_key (str) – 如果未选择备选项，则使用的默认键。默认为“default”。
prefix_keys (bool) – 是否使用 ConfigurableField id 作为键的前缀。默认为 False。
**kwargs (Union[Runnable[Input, Output], Callable[[], Runnable[Input, Output]]]) – 键到 Runnable 实例或返回 Runnable 实例的可调用对象的字典。

返回

配置了备选项的新 Runnable。

返回类型

RunnableSerializable[Input, Output]

from langchain_anthropic import ChatAnthropic
from langchain_core.runnables.utils import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatAnthropic(
    model_name="claude-3-sonnet-20240229"
).configurable_alternatives(
    ConfigurableField(id="llm"),
    default_key="anthropic",
    openai=ChatOpenAI()
)

# uses the default model ChatAnthropic
print(model.invoke("which organization created you?").content)

# uses ChatOpenAI
print(
    model.with_config(
        configurable={"llm": "openai"}
    ).invoke("which organization created you?").content
)

configurable_fields(**kwargs: Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) → RunnableSerializable[Input, Output]¶

在运行时配置特定的 Runnable 字段。

参数: **kwargs (Union[ConfigurableField, ConfigurableFieldSingleOption, ConfigurableFieldMultiOption]) – 用于配置的 ConfigurableField 实例字典。
返回: 配置了字段的新 Runnable。
返回类型: RunnableSerializable[Input, Output]

from langchain_core.runnables import ConfigurableField
from langchain_openai import ChatOpenAI

model = ChatOpenAI(max_tokens=20).configurable_fields(
    max_tokens=ConfigurableField(
        id="output_token_number",
        name="Max tokens in the output",
        description="The maximum number of tokens in the output",
    )
)

# max_tokens = 20
print(
    "max_tokens_20: ",
    model.invoke("tell me something about chess").content
)

# max_tokens = 200
print("max_tokens_200: ", model.with_config(
    configurable={"output_token_number": 200}
    ).invoke("tell me something about chess").content
)

generate(messages: List[List[BaseMessage]], stop: Optional[List[str]] = None, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, *, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, run_name: Optional[str] = None, run_id: Optional[UUID] = None, **kwargs: Any) → LLMResult¶

将一系列提示传递给模型并返回模型生成结果。

对于公开批量 API 的模型，此方法应利用批量调用。

当您想要执行以下操作时，请使用此方法

利用批量调用，
需要模型提供比仅生成最佳值更多的输出，
构建与底层语言模型无关的链
类型（例如，纯文本补全模型与聊天模型）。

参数

messages (List[List[BaseMessage]]) – 消息列表的列表。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 要传递的回调。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
**kwargs (Any) – 任意额外的关键字参数。这些通常会传递给模型提供商 API 调用。
tags (Optional[List[str]]) –
metadata (Optional[Dict[str, Any]]) –
run_name (Optional[str]) –
run_id (Optional[UUID]) –
**kwargs –

返回

一个 LLMResult，其中包含每个输入的候选生成列表: 提示以及其他模型提供商特定的输出。

返回类型

LLMResult

generate_prompt(prompts: List[PromptValue], stop: Optional[List[str]] = None, callbacks: Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]] = None, **kwargs: Any) → LLMResult¶

将一系列提示传递给模型并返回模型生成结果。

对于公开批量 API 的模型，此方法应利用批量调用。

当您想要执行以下操作时，请使用此方法

利用批量调用，
需要模型提供比仅生成最佳值更多的输出，
构建与底层语言模型无关的链
类型（例如，纯文本补全模型与聊天模型）。

参数

prompts (List[PromptValue]) – PromptValue 列表。 PromptValue 是一个可以转换为匹配任何语言模型格式的对象（纯文本生成模型的字符串和聊天模型的 BaseMessage）。
stop (Optional[List[str]]) – 生成时使用的停止词。模型输出在首次出现任何这些子字符串时被截断。
callbacks (Optional[Union[List[BaseCallbackHandler], BaseCallbackManager]]) – 要传递的回调。用于在整个生成过程中执行额外的功能，例如日志记录或流式传输。
**kwargs (Any) – 任意额外的关键字参数。这些通常会传递给模型提供商 API 调用。

返回

一个 LLMResult，其中包含每个输入的候选生成列表: 提示以及其他模型提供商特定的输出。

返回类型

LLMResult

get_num_tokens(text: str) → int[source]¶

获取文本中存在的 token 数量。

参数: text (str) –
返回类型: int

get_num_tokens_from_messages(messages: List[BaseMessage]) → int¶

获取消息中的 token 数量。

用于检查输入是否适合模型的上下文窗口。

参数: messages (List[BaseMessage]) – 要进行 token 化的消息输入。
返回: 消息中 token 数量的总和。
返回类型: int

get_token_ids(text: str) → List[int]¶

返回文本中 token 的有序 ID 列表。

参数

text (str) – 要进行 token 化的字符串输入。

返回

一个 ID 列表，对应于文本中的 token，按照它们在文本中出现的顺序排列: 在文本中。

返回类型

List[int]

invoke(input: LanguageModelInput, config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → BaseMessage¶

将单个输入转换为输出。重写此方法以实现自定义逻辑。

参数

input (LanguageModelInput) – Runnable 的输入。
config (Optional[RunnableConfig]) – 调用 Runnable 时使用的配置。此配置支持标准键，例如用于追踪目的的 ‘tags’、‘metadata’，用于控制并行工作量的 ‘max_concurrency’，以及其他键。请参阅 RunnableConfig 以获取更多详细信息。
stop (Optional[List[str]]) –
kwargs (Any) –

返回

Runnable 的输出。

返回类型

BaseMessage

predict(text: str, *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → str¶

自 langchain-core==0.1.7 版本起已弃用: 请使用 invoke 代替。

参数

text (str) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型

str

predict_messages(messages: List[BaseMessage], *, stop: Optional[Sequence[str]] = None, **kwargs: Any) → BaseMessage¶

自 langchain-core==0.1.7 版本起已弃用: 请使用 invoke 代替。

参数

messages (List[BaseMessage]) –
stop (Optional[Sequence[str]]) –
kwargs (Any) –

返回类型

BaseMessage

stream(input: LanguageModelInput, config: Optional[RunnableConfig] = None, *, stop: Optional[List[str]] = None, **kwargs: Any) → Iterator[BaseMessageChunk]¶

流式传输的默认实现，它调用 invoke。如果子类支持流式输出，则应重写此方法。

参数

input (LanguageModelInput) – Runnable 的输入。
config (Optional[RunnableConfig]) – 用于 Runnable 的配置。默认为 None。
kwargs (Any) – 传递给 Runnable 的其他关键字参数。
stop (Optional[List[str]]) –

返回值

Runnable 的输出。

返回类型

Iterator[BaseMessageChunk]

to_json() → Union[SerializedConstructor, SerializedNotImplemented]¶

将 Runnable 序列化为 JSON。

返回: Runnable 的 JSON 可序列化表示形式。
返回类型: Union[SerializedConstructor, SerializedNotImplemented]

with_structured_output(schema: Union[Dict, Type[BaseModel]], *, include_raw: bool = False, **kwargs: Any) → Runnable[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], Union[Dict, BaseModel]][source]¶

模型包装器，返回根据给定模式格式化的输出。

在 1.1.0 版本中变更：在 1.1.0 版本中修正了返回类型。之前，如果提供了字典模式，则输出格式为 [{"args": {}, "name": "schema_name"}]，其中输出是一个包含单个字典的列表，并且该字典的 “args” 对应于模式。从 1.1.0 版本开始，这已被修复，以便直接返回模式（与旧 “args” 键对应的值）。

参数

schema (Union[Dict, Type[BaseModel]]) – 输出模式，可以是字典或 Pydantic 类。如果是 Pydantic 类，则模型输出将是该类的对象。如果是字典，则模型输出将是字典。使用 Pydantic 类，返回的属性将经过验证，而使用字典则不会。如果 method 是 “function_calling” 并且 schema 是字典，则该字典必须符合 OpenAI 函数调用规范。
include_raw (bool) – 如果为 False，则仅返回解析后的结构化输出。如果在模型输出解析期间发生错误，则会引发错误。如果为 True，则将返回原始模型响应 (BaseMessage) 和解析后的模型响应。如果在输出解析期间发生错误，则会捕获该错误并返回。最终输出始终是一个字典，包含键 “raw”、“parsed” 和 “parsing_error”。
kwargs (Any) –

返回

一个 Runnable，接受任何 ChatModel 输入。如果 include_raw 为 True，则返回一个字典，其中包含键 — raw: BaseMessage, parsed: Optional[_DictOrPydantic], parsing_error: Optional[BaseException]。如果 include_raw 为 False，则仅返回 _DictOrPydantic，其中 _DictOrPydantic 取决于模式。如果 schema 是 Pydantic 类，则 _DictOrPydantic 是 Pydantic 类。如果 schema 是字典，则 _DictOrPydantic 是字典。

返回类型

Runnable[Union[PromptValue, str, Sequence[Union[BaseMessage, List[str], Tuple[str, str], str, Dict[str, Any]]]], Union[Dict, BaseModel]]

示例：Pydantic 模式，排除原始数据

from langchain_core.pydantic_v1 import BaseModel
from langchain_google_vertexai import ChatVertexAI

class AnswerWithJustification(BaseModel):
    '''An answer to the user question along with justification for the answer.'''
    answer: str
    justification: str

llm = ChatVertexAI(model_name="gemini-pro", temperature=0)
structured_llm = llm.with_structured_output(AnswerWithJustification)

structured_llm.invoke("What weighs more a pound of bricks or a pound of feathers")
# -> AnswerWithJustification(
#     answer='They weigh the same.', justification='A pound is a pound.'
# )

示例：Pydantic 模式，包含原始数据

from langchain_core.pydantic_v1 import BaseModel
from langchain_google_vertexai import ChatVertexAI

class AnswerWithJustification(BaseModel):
    '''An answer to the user question along with justification for the answer.'''
    answer: str
    justification: str

llm = ChatVertexAI(model_name="gemini-pro", temperature=0)
structured_llm = llm.with_structured_output(AnswerWithJustification, include_raw=True)

structured_llm.invoke("What weighs more a pound of bricks or a pound of feathers")
# -> {
#     'raw': AIMessage(content='', additional_kwargs={'tool_calls': [{'id': 'call_Ao02pnFYXD6GN1yzc0uXPsvF', 'function': {'arguments': '{"answer":"They weigh the same.","justification":"Both a pound of bricks and a pound of feathers weigh one pound. The weight is the same, but the volume or density of the objects may differ."}', 'name': 'AnswerWithJustification'}, 'type': 'function'}]}),
#     'parsed': AnswerWithJustification(answer='They weigh the same.', justification='Both a pound of bricks and a pound of feathers weigh one pound. The weight is the same, but the volume or density of the objects may differ.'),
#     'parsing_error': None
# }

示例：字典模式，排除原始数据

from langchain_core.pydantic_v1 import BaseModel
from langchain_core.utils.function_calling import convert_to_openai_function
from langchain_google_vertexai import ChatVertexAI

class AnswerWithJustification(BaseModel):
    '''An answer to the user question along with justification for the answer.'''
    answer: str
    justification: str

dict_schema = convert_to_openai_function(AnswerWithJustification)
llm = ChatVertexAI(model_name="gemini-pro", temperature=0)
structured_llm = llm.with_structured_output(dict_schema)

structured_llm.invoke("What weighs more a pound of bricks or a pound of feathers")
# -> {
#     'answer': 'They weigh the same',
#     'justification': 'Both a pound of bricks and a pound of feathers weigh one pound. The weight is the same, but the volume and density of the two substances differ.'
# }

property async_prediction_client: PredictionServiceAsyncClient¶: 返回 PredictionServiceClient。

property prediction_client: PredictionServiceClient¶: 返回 PredictionServiceClient。

task_executor: ClassVar[Optional[Executor]] = FieldInfo(exclude=True, extra={})¶

langchain_google_vertexai.chat_models.ChatVertexAI¶

ChatVertexAI 的使用示例¶

`langchain_google_vertexai.chat_models`.ChatVertexAI¶