部署上线
部署上线操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模 型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作 步骤如下。
1. 在“模型训练”页签中,待训练状态变为“运行成功”,单击版本管理区域中的
“部署”,开始将模型部署上线为在线服务。
图2-14 部署操作
2. 在弹出的“部署”对话框中,选择资源规格,同时设置自动停止功能,然后单击 确定,启动部署。
– “计算节点规格”:支持“自动学习免费规格(CPU)”、、“增强计算型3 实例-自动学习(CPU)”和“增强计算型2实例-自动学习(GPU)”两种规 格。GPU规格性能更佳,CPU规格更实惠。其中带“免费规格”信息的可免 费使用,如需使用免费规格,请仔细阅读界面提示信息。
– “计算节点个数”:默认为1,且不能修改。
– “是否自动停止”:启用该参数并设置时间后,服务将在指定时间后自动停 止。如果不启用此参数,在线服务将一直运行,同时一直收费,自动停止功 能可以帮您避免产生不必要的费用。默认开启自动停止功能,且默认值为“1 小时后”。
目前支持设置为“1小时后”、“2小时后”、“4小时后”、“6小时后”、“自 定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意 整数。
自动学习用户指南 2 图像分类
图2-15 部署模型
3. 启动部署上线后,可以在“部署上线”界面查看模型部署上线的状态。
部署上线将耗费较多时间,请您耐心等待。当“部署上线”页签版本管理区域的 状态由“部署中”变更为“运行中”,部署完成。
说明
在自动学习界面中,仅支持将训练后的模型部署为在线服务,如果需要部署为“批量服 务”或“边缘服务”,请参见自动学习生成的模型,存储在哪里?支持哪些其他操作?。
服务测试
● 您可以在“部署上线”页面,选择对应的服务类型,例如自动学习图像分类项目 默认将服务部署为在线服务,进入“在线服务”页面,单击目标服务“操作”列 的“预测”,进行服务测试,测试方法和下方陈述操作步骤一致。具体操作请参 见测试服务。
● 您也可以通过调用代码对服务进行测试,根据部署服务类型的不同,具体操作详 情参见访问在线服务、访问边缘服务。
● 下面的测试,是您在自动学习图像分类项目页面将模型部署上线之后进行服务测 试的操作步骤。
a. 模型部署完成后,您可添加图片进行测试。在“自动学习”页面,选择目标 项目,进入“部署上线”界面,选择状态为“运行中”的服务版本,在“服 务测试”区域单击“上传”,选择本地图片进行测试。
图2-16 上传图片
b. 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出标签名称
“sunflowers”和检测的评分。如模型准确率不满足预期,可在“数据标 注”页签中添加图片并进行标注,重新进行模型训练及部署上线。预测结果 中的参数说明请参见表2-4。如果您对模型预测结果满意,可根据界面提示调 用接口访问在线服务,操作指导请参见“访问在线服务”。
自动学习用户指南 2 图像分类
目前只支持jpg、jpeg、bmp、png格式的图片。
图2-17 预测结果
表2-4 预测结果中的参数说明
参数 说明
predict_label 表示图片预测的标签。
scores 表示Top5标签的预测置信度。
说明
由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版 本管理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如 果需要继续使用此服务,可单击“启动”恢复。
如果您启用了自动停止功能,服务将在指定时间后自动停止,不再产生费用。
自动学习用户指南 2 图像分类
3 物体检测
3.1 准备数据
使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。
OBS桶需要与ModelArts在同一区域。
数据上传至 OBS
在本文档中,采用管理控制台上传数据至OBS。OBS创建桶以及上传文件的更多操作 方式及指导,请参见创建桶和上传对象。
执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。
1. 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需 确保OBS桶与ModelArts在同一区域。
2. 参考上传文件,将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据 集要求。
数据集要求
● 文件名规范,不能有中文,不能有+、空格、制表符。
● 保证图片质量:不能有损坏的图片;目前支持的格式包括jpg、jpeg、bmp、
png。
● 不要把明显不同的多个任务数据放在同一个数据集内。
● 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。
● 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。
● 物体检测数据集中,如果标注框坐标超过图片,将无法识别该图片为已标注图 片。
OBS 上传文件规范
● 如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生成的文 件。如:“/bucketName/data-cat”。
● 如需要提前上传待标注的图片,请创建一个空文件夹,然后将图片文件保存在该 文件夹下,图片的目录结构如:“/bucketName/data-cat/cat.jpg”。
自动学习用户指南 3 物体检测
● 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。
– 物体检测数据集要求用户将标注对象和标注文件存储在同一目录,并且一一 对应。例如标注对象文件名为“IMG_20180919_114745.jpg”,那么标注文 件的文件名应为“IMG_20180919_114745.xml”。
物体检测的标注文件需要满足PASCAL VOC格式,格式详细说明请参见 表 3-1。
数据存储示例:
├─<dataset-import-path>
│ IMG_20180919_114732.jpg
– 只支持JPG、JPEG、PNG、BMP格式的图片,在ModelArts管理控制台上传 时,单张图片的大小不能超过5MB,单次上传的图片总大小不能超过8MB,
数据量大时推荐使用OBS Browser+上传 。
– 标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位
● height:必选字段,图片的高度。
● depth:必选字段,图片的通道数。
segmented 是 表示是否用于分割。
object 是 表示物体检测信息,多个物体标注会有多个object 体。
● name:必选字段,标注内容的类别。
● pose:必选字段,标注内容的拍摄角度。
● truncated:必选字段,标注内容是否被截断
(0表示完整)。
● occluded:必选字段,标注内容是否被遮挡(0 表示未遮挡)
● difficult:必选字段,标注目标是否难以识别
(0表示容易识别)。
● confidence:可选字段,标注目标的置信度,
取值范围0-1之间。
● bndbox:必选字段,标注框的类型,标注信息 请参见 表3-2 。
自动学习用户指南 3 物体检测
表3-2 标注框类型描述
type 形状 标注信息
bndbox 矩形框 左上和右下两个点坐标。
<xmin>100<xmin>
<ymin>100<ymin>
<xmax>200<xmax>
<ymax>200<ymax>
标注文件示例:
<annotation>
<folder>test_data</folder>
<filename>260730932.jpg</filename>
<size>
<width>767</width>
<height>959</height>
<depth>3</depth>
</size>
<segmented>0</segmented>
<object>
<name>bag</name>
<pose>Unspecified</pose>
<truncated>0</truncated>
<occluded>0</occluded>
<difficult>0</difficult>
<bndbox>
</annotation>
3.2 创建项目
ModelArts自动学习,包括图像分类项目、物体检测项目、预测分析项目、声音分类和 文本分类项目。您可以根据业务需求选择创建合适的项目。您需要执行如下操作来创 建自动学习项目。
创建项目
1. 登录ModelArts管理控制台,在左侧导航栏单击“自动学习”,进入“自动学习”
页面。
自动学习用户指南 3 物体检测
图3-1 进入自动学习
2. 在您需要的自动学习项目列表中,单击“创建项目”,进入创建自动学习项目界 面。
图3-2 自动学习列表
3. 在创建自动学习项目页面,计费模式默认“按需计费”,参考表3-3填写相应参 数。
表3-3 参数说明
参数 说明
“名称” 项目的名称。
● 名称只能包含数字、字母、下划线和中划线,长度不能超过 20位且不能为空。
● 名称请以大写或小写字母开头。
“描述” 对项目的简要描述。
自动学习用户指南 3 物体检测
参数 说明
● “已有数据集”:您可以从ModelArts数据管理中选择一个 同类型的数据集,用于创建自动学习项目。“数据集名称”
选择数据集输出位置的OBS路径。
说明 字符串。长度为1~32字符。
● 添加标签:单击“添加标签”可增加多个标签。
3.3 数据标注
物体检测之前,首先需考虑如何设计标签,标签设计需要对应所检测图片的明显特 征,并且选择的标签最好比较容易识别(画面主体物与背景区分度较高),每个标签 就是对所检测图片期望识别的全部结果。物体的标签设计完成之后,基于设计好的标 签准备该图片的数据,每种需识别出的标签,建议应在所有图片个数相加超过100张,
若某些图片的标签具有相似性,则需要更多的图片。 标签名称,例如此示例中的“yunbao”,按“Enter”键完成此标签的添加。标注 完成后,左侧图片目录中此图片的状态将显示为“已标注”。
图3-3 物体检测图片标注
3. 当图片目录中所有图片都完成标注后,单击左上角“自动学习”,在弹出的对话 框中单击“确定”保存标注信息。页面将进入数据标注页面,可以在“已标注”
页签下查看已完成标注的图片,或者通过右侧的标签信息,了解当前已完成的标 签名称和标签数量。
同步或添加图片
在“自动学习”页面,单击项目名称,进入“自动学习 > 数据标注”页面。项目创建 时,数据标注的图片来源有两种,通过本地添加图片和同步OBS中的图片数据。
图3-4 添加本地图片
图3-5 同步 OBS 图片数据
● 添加图片:您可以将本地图片快速添加到ModelArts,同时自动上传至创建项目时 所选择的OBS路径中。单击“添加图片”,在弹出的对话框中单击“添加图片”
并添加。一次上传所有图片的总大小不能超过8MB。单张图片大小不能超过
并添加。一次上传所有图片的总大小不能超过8MB。单张图片大小不能超过