更新当前服务对象配置。
示例代码
在ModelArts notebook平台中,Session鉴权无需输入鉴权参数;其它平台的Session 鉴权请参考Session鉴权。
● 方式1:根据部署在线服务生成的服务对象进行更新服务配置
from modelarts.session import Session from modelarts.model import Predictor
from modelarts.config.model_config import ServiceConfig session = Session()
predictor_instance = Predictor(session, service_id="input your service_id")
configs = [ServiceConfig(weight="100", instance_count=1, specification="modelarts.vm.cpu.
2u",model_id="input your model_id")]
service_config = predictor_instance.update_service_config(description="description", status="running",
configs=configs)
● 方式2:根据查询服务对象列表返回的服务对象进行更新服务配置
from modelarts.session import Session from modelarts.model import Predictor
from modelarts.config.model_config import ServiceConfig session = Session()
predictor_object_list = Predictor.get_service_object_list(session) predictor_instance = predictor_object_list[0]
configs = [ServiceConfig(weight="100", instance_count=1, specification="modelarts.vm.cpu.
2u",model_id="input your model_id")]
predictor_config = predictor_instance.update_service_config(description="description", status="running",
ption 否 String 服务描述,不超过100个字符,不设置此参数时,表 示不更新。
status 否 String 服务状态,可设置状态为running或stopped来启动、
停止服务,不设置此参数则不修改状态。status不可
表9-22 predictor configs 结构
参数 是否
必选
参数类型 描述
model_i
d 是 String 模型ID。“model_id”可以通过查询模型列表或 者ModelArts管理控制台获取。
weight 是 Integer 权重百分比,分配到此模型的流量权重,仅当 infer_type为real-time时需要配置,多个权重相加
tion 是 String 资源规格,当前版本可选modelarts.vm.cpu.2u/
modelarts.vm.gpu.p4(需申请)/
modelarts.vm.ai1.a310(需申请),需申请权限才 能使用的规格请在华为云创建工单,由ModelArts 运维工程师添加权限。
instance
_count 是 Integer 模型部署的实例数,当前限制最大实例数为5,如 需使用更多的实例数,需提交工单申请。
envs 否 Map<Strin
g, String> 运行模型需要的环境变量键值对,可选填,默认 为空。
表9-23 transformer configs 结构
参数 是否必
选
参数类型 描述
model_i
d 是 String 模型ID。“model_id”可以通过查询模型列表或 者ModelArts管理控制台获取。
specific
ation 是 String 资源规格,当前版本可选modelarts.vm.cpu.2u/
modelarts.vm.gpu.p4。
instanc
e_count 是 Integer 模型部署的实例数,当前限制最大实例数为5,如 需使用更多的实例数,需提交工单申请。
envs 否 Map<Strin
g, String> 运行模型需要的环境变量键值对,可选填,默认 为空。
src_pat
h 是 String 批量任务输入数据的OBS路径。
dest_pa
th 是 String 批量任务输出结果的OBS路径。
req_uri 是 String 批量任务中调用的推理接口,需要从模型的 config.json文件中选取一个api路径用于此次推理
参数 是否必 选
参数类型 描述
mappin
g_type 是 String 输入数据的映射类型,可选“file”或“csv”。
● file指每个推理请求对应到输入数据目录下的一
g_rule 否 Map 输入参数与csv数据的映射关系,仅当
mapping_type为csv时需要填写。映射规则与模型
表9-24 update_service_config 返回参数说明
参数 是否必选 参数类型 描述
from modelarts.session import Session from modelarts.model import Predictor session = Session()
predictor_instance = Predictor(session, service_id="input your service_id") predictor_monitor = predictor_instance.get_service_monitor()
print(predictor_monitor)