langchain_community.llms.titan_takeoff.ReaderConfig

class langchain_community.llms.titan_takeoff.ReaderConfig

继承自: BaseModel

在 Titan Takeoff API 中部署的阅读器配置。

通过解析和验证来自关键字参数的输入数据来创建一个新的模型。

如果输入数据无法解析成有效的模型，将引发 ValidationError。

参数 consumer_group: str = 'primary'

放置阅读器的消费者组

参数 device: Device = Device.cuda

用于推理的设备，cuda 或 cpu

参数 max_batch_size: int = 4

请求连续批处理的最大批大小

参数 max_seq_length: int = 512

用于推理的最大序列长度，默认为 512

参数 model_name: str [必需]

要使用的模型名称

参数 tensor_parallel: Optional[int] = None

您希望模型在多少个 GPU 上分割