langchain.callbacks.streaming_aiter_final_only
.AsyncFinalIteratorCallbackHandler¶
- class langchain.callbacks.streaming_aiter_final_only.AsyncFinalIteratorCallbackHandler(*, answer_prefix_tokens: Optional[List[str]] = None, strip_tokens: bool = True, stream_prefix: bool = False)[source]¶
返回异步迭代器的回调处理器。只有代理的最终输出会被迭代。
实例化 AsyncFinalIteratorCallbackHandler。
- Parameters
answer_prefix_tokens (Optional[List[str]]) – 作为答案前缀的 Token 序列。默认为 [“Final”, “Answer”, “:”]
strip_tokens (bool) – 当比较 answer_prefix_tokens 和最后的 tokens 时,是否忽略空格和换行符?(以确定是否已达到答案)
stream_prefix (bool) – 答案前缀本身也应该被流式传输吗?
Attributes
always_verbose
ignore_agent
Whether to ignore agent callbacks.
ignore_chain
Whether to ignore chain callbacks.
ignore_chat_model
Whether to ignore chat model callbacks.
ignore_custom_event
Ignore custom event.
ignore_llm
Whether to ignore LLM callbacks.
ignore_retriever
Whether to ignore retriever callbacks.
ignore_retry
Whether to ignore retry callbacks.
raise_error
Whether to raise an error if an exception occurs.
run_inline
Whether to run the callback inline.
Methods
__init__
(*[, answer_prefix_tokens, ...])实例化 AsyncFinalIteratorCallbackHandler。
aiter
()append_to_last_tokens
(token)on_agent_action
(action, *, run_id[, ...])Run on agent action.
on_agent_finish
(finish, *, run_id[, ...])Run on the agent end.
on_chain_end
(outputs, *, run_id[, ...])Run when a chain ends running.
on_chain_error
(error, *, run_id[, ...])Run when chain errors.
on_chain_start
(serialized, inputs, *, run_id)Run when a chain starts running.
on_chat_model_start
(serialized, messages, *, ...)Run when a chat model starts running.
on_custom_event
(name, data, *, run_id[, ...])Override to define a handler for a custom event.
on_llm_end
(response, **kwargs)Run when LLM ends running.
on_llm_error
(error, **kwargs)Run when LLM errors.
on_llm_new_token
(token, **kwargs)Run on new LLM token.
on_llm_start
(serialized, prompts, **kwargs)Run when LLM starts running.
on_retriever_end
(documents, *, run_id[, ...])Run on the retriever end.
on_retriever_error
(error, *, run_id[, ...])Run on retriever error.
on_retriever_start
(serialized, query, *, run_id)Run on the retriever start.
on_retry
(retry_state, *, run_id[, parent_run_id])Run on a retry event.
on_text
(text, *, run_id[, parent_run_id, tags])Run on an arbitrary text.
on_tool_end
(output, *, run_id[, ...])Run when the tool ends running.
on_tool_error
(error, *, run_id[, ...])Run when tool errors.
on_tool_start
(serialized, input_str, *, run_id)Run when the tool starts running.
- __init__(*, answer_prefix_tokens: Optional[List[str]] = None, strip_tokens: bool = True, stream_prefix: bool = False) None [source]¶
实例化 AsyncFinalIteratorCallbackHandler。
- Parameters
answer_prefix_tokens (Optional[List[str]]) – 作为答案前缀的 Token 序列。默认为 [“Final”, “Answer”, “:”]
strip_tokens (bool) – 当比较 answer_prefix_tokens 和最后的 tokens 时,是否忽略空格和换行符?(以确定是否已达到答案)
stream_prefix (bool) – 答案前缀本身也应该被流式传输吗?
- Return type
None
- async aiter() AsyncIterator[str] ¶
- Return type
AsyncIterator[str]
- async on_agent_action(action: AgentAction, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run on agent action.
- Parameters
action (AgentAction) – 代理的动作。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_agent_finish(finish: AgentFinish, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run on the agent end.
- Parameters
finish (AgentFinish) – 代理完成。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_chain_end(outputs: Dict[str, Any], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run when a chain ends running.
- Parameters
outputs (Dict[str, Any]) – 链的输出。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_chain_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run when chain errors.
- Parameters
error (BaseException) – 发生的错误。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_chain_start(serialized: Dict[str, Any], inputs: Dict[str, Any], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) None ¶
Run when a chain starts running.
- Parameters
serialized (Dict[str, Any]) – 序列化的链。
inputs (Dict[str, Any]) – 输入。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
metadata (Optional[Dict[str, Any]]) – 元数据。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_chat_model_start(serialized: Dict[str, Any], messages: List[List[BaseMessage]], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) Any ¶
Run when a chat model starts running.
- 注意:此方法为聊天模型而调用。如果您正在为非聊天模型实现
处理程序,则应使用 on_llm_start 代替。
- Parameters
serialized (Dict[str, Any]) – 序列化的聊天模型。
messages (List[List[BaseMessage]]) – 消息。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
metadata (Optional[Dict[str, Any]]) – 元数据。
kwargs (Any) – 附加关键字参数。
- Return type
Any
- async on_custom_event(name: str, data: Any, *, run_id: UUID, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) None ¶
Override to define a handler for a custom event.
- Parameters
name (str) – 自定义事件的名称。
data (Any) – 自定义事件的数据。格式将与用户指定的格式匹配。
run_id (UUID) – 运行的 ID。
tags (Optional[List[str]]) – 与自定义事件关联的标签(包括继承的标签)。
metadata (Optional[Dict[str, Any]]) – 与自定义事件关联的元数据(包括继承的元数据)。
kwargs (Any) –
- Return type
None
New in version 0.2.15.
- async on_llm_end(response: LLMResult, **kwargs: Any) None [source]¶
Run when LLM ends running.
- Parameters
response (LLMResult) – 生成的响应。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_llm_error(error: BaseException, **kwargs: Any) None ¶
Run when LLM errors.
- Parameters
error (BaseException) – 发生的错误。
run_id – 运行 ID。这是当前运行的 ID。
parent_run_id – 父运行 ID。这是父运行的 ID。
tags – 标签。
kwargs (Any) –
额外的关键字参数。 - response (LLMResult): 错误发生前生成的响应。
错误发生前生成的响应。
- Return type
None
- async on_llm_new_token(token: str, **kwargs: Any) None [source]¶
在新的 LLM 令牌上运行。仅在启用流式处理时可用。
- Parameters
token (str) – 新令牌。
chunk (GenerationChunk | ChatGenerationChunk) – 新生成的块,包含内容和其他信息。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_llm_start(serialized: Dict[str, Any], prompts: List[str], **kwargs: Any) None [source]¶
Run when LLM starts running.
- ATTENTION: 此方法为非聊天模型(常规 LLM)调用。如果
您正在为聊天模型实现处理程序,则应使用 on_chat_model_start 代替。
- Parameters
serialized (Dict[str, Any]) – 序列化的 LLM。
prompts (List[str]) – 提示。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
metadata (Optional[Dict[str, Any]]) – 元数据。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_retriever_end(documents: Sequence[Document], *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run on the retriever end.
- Parameters
documents (Sequence[Document]) – 检索到的文档。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_retriever_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run on retriever error.
- Parameters
error (BaseException) – 发生的错误。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_retriever_start(serialized: Dict[str, Any], query: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, **kwargs: Any) None ¶
Run on the retriever start.
- Parameters
serialized (Dict[str, Any]) – 序列化的检索器。
query (str) – 查询。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
metadata (Optional[Dict[str, Any]]) – 元数据。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_retry(retry_state: RetryCallState, *, run_id: UUID, parent_run_id: Optional[UUID] = None, **kwargs: Any) Any ¶
Run on a retry event.
- Parameters
retry_state (RetryCallState) – 重试状态。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
kwargs (Any) – 附加关键字参数。
- Return type
Any
- async on_text(text: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run on an arbitrary text.
- Parameters
text (str) – 文本。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_tool_end(output: Any, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run when the tool ends running.
- Parameters
output (Any) – 工具的输出。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_tool_error(error: BaseException, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, **kwargs: Any) None ¶
Run when tool errors.
- Parameters
error (BaseException) – 发生的错误。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
kwargs (Any) – 附加关键字参数。
- Return type
None
- async on_tool_start(serialized: Dict[str, Any], input_str: str, *, run_id: UUID, parent_run_id: Optional[UUID] = None, tags: Optional[List[str]] = None, metadata: Optional[Dict[str, Any]] = None, inputs: Optional[Dict[str, Any]] = None, **kwargs: Any) None ¶
Run when the tool starts running.
- Parameters
serialized (Dict[str, Any]) – 序列化的工具。
input_str (str) – 输入字符串。
run_id (UUID) – 运行 ID。这是当前运行的 ID。
parent_run_id (UUID) – 父级运行 ID。这是父级运行的 ID。
tags (Optional[List[str]]) – 标签。
metadata (Optional[Dict[str, Any]]) – 元数据。
inputs (Optional[Dict[str, Any]]) – 输入。
kwargs (Any) – 附加关键字参数。
- Return type
None