langchain_aws.llms.sagemaker_endpoint.LineIterator

class langchain_aws.llms.sagemaker_endpoint.LineIterator(stream: Any)

用于解析字节流输入的辅助类。

模型输出的格式如下：

b’{“outputs”: [“a”]}

‘

b’{“outputs”: [“challenging”]}

‘

b’{“outputs”: [“problem”]}

‘

…

尽管通常每个从事件流中生成的PayloadPart事件都将包含一个完整的json的字节数组，但这并不保证，有些json对象可能被分散在多个PayloadPart事件中。

例如

{‘PayloadPart’: {‘Bytes’: b’{“outputs”: ‘}} {‘PayloadPart’: {‘Bytes’: b’[” problem”]}

‘}}

该类通过连接由“write”函数写入的字节，然后通过“scan_lines”函数提供一个返回包含（以“

‘字符结束）行的方法的来处理这种情况。它维护最后读取位置，确保先前字节不会被再次暴露。

更多详情请参阅： https://aws.amazon.com/blogs/machine-learning/elevating-the-generative-ai-experience-introducing-streaming-support-in-amazon-sagemaker-hosting/

方法

__init__(stream)

参数

stream (Any) –

__init__(stream: Any) → None

参数

stream (Any) –

返回类型

None