langchain_community.llms.sagemaker_endpoint.LineIterator

class langchain_community.llms.sagemaker_endpoint.LineIterator(stream: Any)

解析字节流输入。

该模型的输出格式如下

b’{"outputs": [" a"]}

‘

b’{"outputs": [" challenging"]}

‘

b’{"outputs": [" problem"]}

‘

…

虽然通常事件流中的每个PayloadPart事件都将包含一个包含完整json的字节数组，但这并不保证，并且某些json对象可能会跨越PayloadPart事件。

例如

{‘PayloadPart’: {‘Bytes’: b’{"outputs": ‘}} {‘PayloadPart’: {‘Bytes’: b’[” problem”]}

‘}}

此类通过通过‘write’函数连接字节数组来实现这一点，然后通过‘scan_lines’函数公开方法，该方法将返回缓冲区内的行（以‘

‘字符结尾的行）

它维护最后一个读取位置，以确保不会再次暴露以前的字节。

更多细节请参见：https://aws.amazon.com/blogs/machine-learning/elevating-the-generative-ai-experience-introducing-streaming-support-in-amazon-sagemaker-hosting/

方法

__init__(stream)

参数

stream (Any) –

__init__(stream: Any) → None

参数

stream (Any) –

返回类型

None