快速入门
文档版本 01
发布日期 2020-09-08
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传 播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声 明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司
地址： 深圳市龙岗区坂田华为总部办公楼 邮编：518129 网址： https://www.huawei.com
客户服务邮箱：[email protected] 客户服务电话：4008302118
目 录
1 文字识别套件... 1
1.1 文字识别套件使用简介...1
1.2 使用单模板工作流开发应用... 1
1.3 使用多模板工作流开发应用... 7
2 自然语言处理套件（使用文本分类工作流开发应用）... 16
3 视觉套件（使用零售商品识别工作流开发应用）...25
4 HiLens 套件（使用 HiLens 安全帽检测技能开发可训练技能）...34
1 文字识别套件
1.1 文字识别套件使用简介
ModelArts Pro 是为企业级AI应用打造的专业开发套件。基于华为云的先进算法和快速 训练能力，提供预置工作流和模型，提升企业AI应用的开发效率，降低开发难度。文 字识别套件基于丰富的文字识别算法和行业知识积累，帮助客户快速构建满足不同业 务场景需求的文字识别服务，实现多种版式图像的文字信息结构化提取。
文字识别套件提供预置工作流供您选择，全流程可视化完成AI应用开发以及持续迭 代。
选择预置工作流
● 单模板工作流
通过工作流指引构建文字识别模板，识别单个板式图片中的文字，快速实现文 档、票证等场景的文字识别。详情请见使用单模板工作流开发应用。
● 多模板工作流
通过工作流指引支持自定义多个文字识别模板，通过模型训练，自动识别图片所 属模板，从而支持从大量不同板式图像中提取结构化信息。通常适用于物流行 业，实现多样化快递单场景的文字识别。详情请见使用多模板工作流开发应用。
1.2 使用单模板工作流开发应用
ModelArts Pro的文字识别套件提供了通用单模板工作流，通过工作流指引可构建文字 识别模板，识别单个板式图片中的文字，快速实现文档、票证等场景的文字识别。
本章节提供一个身份证样例，帮助您快速熟悉使用文字识别套件中的通用单模板工作 流开发应用的过程。通过上传模板图片、框选参照字段和识别区，自动训练并生成文 字识别模型，并将生成的模型部署为在线服务。部署完成后，用户可通过在线服务识 别身份证模板中的文字。
首先，请仔细阅读准备工作罗列的要求，提前完成准备工作。使用通用单模板工作流 开发应用的步骤如下所示：
● 步骤1：准备数据
● 步骤2：新建应用
● 步骤3：上传模板图片
● 步骤4：定义预处理
● 步骤5：框选参照字段
● 步骤6：框选识别区
● 步骤7：评估模板
● 步骤8：部署模板
准备工作
注册华为云帐号，并完成套件申请、访问授权配置等准备工作，详情请见准备工作。
步骤 1：准备数据
在本地准备好两张身份证图片，一张用于制作模板，一张用于评估模板。图片要求如 下：
● 只支持识别PNG、JPG、JPEG、BMP、TIFF格式的图片。
● 图像各边的像素大小在100px到4096px之间。
● 图像中识别区域有效占比超过80%，保证所有文字及其边缘包含在图像内。
● 支持图像任意角度的水平旋转。
● 目前不支持复杂背景（如户外自然场景、防伪水印等）和文字扭曲图像的文字识 别。
步骤 2：新建应用
1. 登录ModelArts Pro控制台，单击“文字识别”套件卡片的“进入套件”。
默认进入“应用开发>工作台”页面的“我的应用”页签。
图1-1 进入套件
2. 在“我的应用”页签下，单击“新建应用”。
进入“新建应用”页面。
图1-2 新建应用
3. 根据业务需求填写“应用名称”、“应用负责人”和“应用描述”，仅支持英 文、中文、数字、下划线、中划线。选择“所属行业”及工作流。
本样例“工作流”选择“通用单模板工作流”。
图1-3 新建应用
4. 确认信息后，单击右下角的“确定”。
成功新建应用，进入“应用资产”页面。
步骤 3：上传模板图片
1. 在“应用资产”页面单击模板列表下方的“创建模板”。
进入“应用开发>上传模板图片”页面。
图1-4 创建模板
2. 输入“模板名称”，并选择“模板类型”。
本样例“模板类型”选择“票证”。
3. 单击“上传图片”区域，上传提前在本地准备好的一张身份证图片作为模板。
图1-5 上传模板图片
4. 单击右下角的“下一步”。
进入“应用开发>定义预处理”页面。
步骤 4：定义预处理
1. 在“应用开发>定义预处理”页面，单击“选择预处理逻辑”的自动旋转，快速处 理图片的方向。
也可以按左上角操作指标手动调整图片。详情请见定义预处理。
图1-6 定义预处理
2. 单击右下角的“下一步”。
进入“应用开发>框选参照字段”页面。
图1-7 框选参照字段
步骤 5：框选参照字段
1. 在“应用开发>框选参照字段”页面，通过单击左上方操作图标，调整模板图片到 合适大小。
2. 单击框选操作图标 ，单击参照字段左上角，移动鼠标，使得矩形框覆盖参照字 段。
– 参照字段是文字内容、位置固定不变的文本框区域。
– 建议选取图片中不会重复出现的文字作为参照字段，否则影响模板匹配效 果。
– 参照字段为单行文本框，不可以框选竖版文字或跨行框选。
– 框选参照字段个数须不少于4个，并尽量分散在图片的四周。
– 参考字段尽量框选独立文本块，避免框选某一个文本块的一部分，有利于识 别精度提升。
本样例框选的参照字段如图1-8所示。
图1-8 框选参照字段
3. 单击右下角的“下一步”。
进入“应用开发>框选识别区”页面。
图1-9 框选识别区页面
步骤 6：框选识别区
1. 在“应用开发>框选识别区”页面，通过单击左上方操作图标，调整模板图片到合 适大小。
2. 单击框选操作图标 ，单击待识别文字的左上角，移动鼠标框选识别区，使得矩 形框覆盖待识别的文字。
识别区是对应字段内容所在区域。在框选时，建议尽量扩大识别区的框选范围使 其覆盖对应字段内容可能出现的区域，防止在不同图片识别时出现漏字。
本样例框选的识别区如图1-10所示。
图1-10 框选识别区
3. 在右侧“框选识别区”中填写“框选字段”，选择“字段类型”。
本样例的框选字段可按框选内容自己定义，字段类型均可选择“常规”。
如果“默认字段类型”不能满足您的业务需求，您可以在字段类型下拉框单击
“创建新字段类型”，创建新字段类型。
图1-11 选择字段类型
4. 框选并核对完所有识别区后，单击“下一步”。
进入“应用开发>评估”页面。
图1-12 评估页面
步骤 7：评估模板
1. 在“应用开发>评估”页面，默认进入“本地上传”页签。
2. 单击“上传图片”，上传在本地提前准备好的用于评估模型的身份证图片。
3. 图片上传成功后，右侧会显示识别结果。
图1-13 评估
步骤 8：部署模板
如果评估模板时，评估结果正确，在“应用开发>评估”页面的右下角单击“下一 步”，部署模板。
在“应用开发>部署”页面会显示“恭喜您，已发布成功”。
部署模板后，您可以通过调用API和SDK使用当前模板服务，详情请见API调用指南和 SDK使用指南。
图1-14 部署服务
1.3 使用多模板工作流开发应用
ModelArts Pro的文字识别套件提供了多模板工作流，通过工作流指引支持自定义多个 文字识别模板，通过模型训练，自动识别图片所属模板，从而支持从大量不同板式图 像中提取结构化信息。
本章节提供一个票证类型的样例，帮助您快速熟悉使用文字识别套件中的多模板工作 流开发应用的过程。通过上传模板图片、框选参照字段和识别区、上传训练集，自动 训练并生成模板分类器和文字识别模型，并将生成的模型部署为在线服务。部署完成 后，用户可通过在线服务自动分类模板并识别模板中的文字。
首先，请仔细阅读准备工作罗列的要求，提前完成准备工作。使用多模板分类工作流 开发应用的步骤如下所示：
● 步骤1：准备数据
● 步骤2：新建应用
● 步骤3：上传多个模板图片
● 步骤4：定义预处理
● 步骤5：框选参照字段
● 步骤6：框选识别区
● 步骤7：上传训练集
● 步骤8：评估模板
● 步骤9：部署模板
准备工作
注册华为云帐号，并完成套件申请、访问授权配置等准备工作，详情请见准备工作。
步骤 1：准备数据
在本地准备好用于制作模板的图片、用于训练多模板分类器的训练集、用于评估模板 的图片，图片要求如下：
● 只支持PNG、JPG、JPEG、BMP、TIFF格式的图片。
● 图像各边的像素大小在100px到4096px之间。
● 图像中识别区域有效占比超过80%，保证所有文字及其边缘包含在图像内。
● 支持图像任意角度的水平旋转。
● 目前不支持复杂背景（如户外自然场景、防伪水印等）和文字扭曲图像的文字识 别。
● 用于训练多模板分类器的训练集，需要把各个模板的训练图片打包成一个文件夹 并压缩成“zip”包，“zip”包文件大小不超过10M。
例如训练“保险单”模板的训练集，需要把同模板的保险单图片打包成一个文件 夹并压缩成“zip”包。
步骤 2：新建应用
1. 登录ModelArts Pro控制台，单击“文字识别”套件卡片的“进入套件”。
默认进入“应用开发>工作台”页面的“我的应用”页签。
图1-15 进入套件
2. 在“我的应用”页签下，单击“新建应用”。
进入“新建应用”页面。
图1-16 新建应用
3. 根据业务需求填写“应用名称”、“应用负责人”和“应用描述”，仅支持英 文、中文、数字、下划线、中划线。选择“所属行业”及工作流。
本样例“工作流”选择“多模板分类工作流”。
图1-17 新建应用
4. 确认信息后，单击右下角的“确定”。
成功新建应用，进入“应用资产”页面。
步骤 3：上传多个模板图片
1. 在“应用资产”页面单击模板列表下方的“创建分类器”。
进入“应用开发>上传模板图片”页面。
图1-18 创建分类器
2. 输入多模板分类器的“名称”和“描述”。
图1-19 基本信息
3. 在“新增模板配置”页签下，单击下方的添加模板图标 ，配置第一个模板信 息。
本样例选择“模板类型”为“票证”。
单击“上传图片”区域，上传提前在本地准备好的用于制作模板的图片。
单击上传图片右侧的 ，更改模板名称为“保险单”。
图1-20 模板 1
4. 单击添加模板图标 ，配置第二个模板信息。
本样例选择“模板类型”为“票证”。
单击“上传图片”区域，上传提前在本地准备好的用于制作模板的图片。
单击上传图片右侧的 ，更改模板名称为“增值税”。
图1-21 上传模板图片
5. 单击右下角的“下一步”。
进入“应用开发>定义预处理”页面。
步骤 4：定义预处理
1. 在“应用开发>定义预处理”页面，单击“选择预处理逻辑”的自动旋转，快速处 理当前模板的方向。
也可以按左上角操作指标手动调整图片。详情请见定义预处理。
图1-22 定义预处理
2. 在页面上方通过 调整成第二个模板，对第二个模板进行预处理。
图1-23 定义预处理
3. 所有模板均完成预处理后，单击右下角的“下一步”。
进入“应用开发>框选参照字段”页面。
步骤 5：框选参照字段
1. 在“应用开发>框选参照字段”页面，通过单击左上方操作图标，调整当前模板图 片到合适大小。
2. 单击框选操作图标 ，单击参照字段左上角，移动鼠标，使得矩形框覆盖参照字 段。
– 参照字段是文字内容、位置固定不变的文本框区域。
– 建议选取图片中不会重复出现的文字作为参照字段，否则影响模板匹配效 果。
– 参照字段为单行文本框，不可以框选竖版文字或跨行框选。
– 框选参照字段个数须不少于4个，并尽量分散在图片的四周。
– 参考字段尽量框选独立文本块，避免框选某一个文本块的一部分，有利于识 别精度提升。
本样例框选的参照字段如图1-24所示。
图1-24 框选参照字段
3. 页面上方通过 调整成第二个模板，弹出“保存操作”对话框，单击“确 认”。
4. 对第二个模板框选参照字段。
本样例框选的参照字段如图1-25所示。
图1-25 框选参照字段
5. 所有模板都框选完参照字段后，单击右下角的“下一步”。
进入“应用开发>框选识别区”页面。
步骤 6：框选识别区
1. 在“应用开发>框选识别区”页面，通过单击左上方操作图标，调整当前模板图片 到合适大小。
2. 单击框选操作图标 ，单击待识别文字的左上角，移动鼠标框选识别区，使得矩 形框覆盖待识别的文字。
识别区是对应字段内容所在区域。在框选时，建议尽量扩大识别区的框选范围使 其覆盖对应字段内容可能出现的区域，防止在不同图片识别时出现漏字。
本样例框选的识别区如图1-26所示。
图1-26 框选识别区
3. 在右侧“框选识别区”中填写“框选字段”，选择“字段类型”。
本样例的框选字段可按框选内容自己定义，字段类型均可选择“常规”。
如果“默认字段类型”不能满足您的业务需求，您可以在字段类型下拉框单击
“创建新字段类型”，创建新字段类型。
4. 页面上方通过 调整成第二个模板，弹出“保存操作”对话框，单击“确 认”。
5. 对第二个模板框选识别区，并在右侧“框选识别区”中填写“框选字段”，选择
“字段类型”。。
本样例框选的识别区如图1-27所示。
本样例的框选字段可按框选内容自己定义，字段类型均可选择“常规”。
如果“默认字段类型”不能满足您的业务需求，您可以在字段类型下拉框单击
“创建新字段类型”，创建新字段类型。
图1-27 框选识别区
6. 框选并核对完所有模板识别区后，单击“下一步”，在提示框中单击“确认”。
进入“应用开发>上传训练集”页面。
步骤 7：上传训练集
1. 在“应用开发>上传训练集”页面，选择模板，单击操作列的“上传训练集”。
弹出上传文件对话框。
2. 单击上传文件对话框，在本地选择已经准备好的模板“zip”包文件。
上传成功后页面右上方会提示“文件上传成功”。
3. 确定每个模板上传训练集后，单击“开始训练”。
服务进入“应用开发>评估”页面，开始训练模型。
模型训练完成后，可在“应用开发>评估”页面评估分类器和模板，详情请见步骤 8：评估模板。
步骤 8：评估模板
在“应用开发>评估”页面包含分类器评估和模板评估 ，其中分类器评估用于识别模 板类型，模板评估用于识别对应模板中的文字。
分类器评估
1. 默认进入“本地上传”页签，打开“分类模式”和“动态识别”开关。
2. 单击“上传图片”，上传本地提前准备好的用于评估的图片。
右侧会显示模板识别的结果，包括“模板ID”、“模板名”、“置信度”。
图1-28 分类器评估
模板评估
1. 单击模板评估，进入“模板评估”页签。
2. 在右侧选择与待评估模板对应的原模板。
3. 在左侧单击“上传图片”，上传本地提前准备好的用于评估的图片。
右侧会显示模板识别的结果，包括“识别区”、“识别结果”。
图1-29 模板评估
步骤 9：部署模板
分类器和模板评估好了以后，单击“应用开发>评估”页面右下角的“下一步”，进入
“应用开发>部署”页面，直接部署模板，页面显示“恭喜您，已发布成功”。
部署模板后，您可以通过调用API和SDK使用当前模板服务，详情请见API调用指南和 SDK使用指南。
图1-30 部署服务
2 自然语言处理套件（使用文本分类工作流开 发应用）
ModelArts Pro的自然语言处理套件提供了通用文本分类工作流和多语种文本分类工作 流，通过工作流指引支持自主上传文本数据，构建高精度文本分类预测模型，适配不 同行业场景的业务数据，快速获得定制服务。
通用文本分类工作流仅支持中文文本分类，多语种文本分类工作流支持对英语、法 语、德语、西班牙语、葡萄牙语、阿拉伯语等语种文本进行分类。使用两种工作流开 发应用的流程相同。
由于通用文本分类工作流和多语种文本分类工作流开发应用的流程相同，因此本章节 以通用文本分类工作流为例，介绍如何使用自然语言处理套件中的文本分类工作流开 发应用，通过上传训练数据、训练模型，将生成的模型部署为在线服务。部署完成 后，用户可通过在线服务分类文本内容。
首先，请仔细阅读准备工作罗列的要求，提前完成准备工作。使用通用文本分类工作 流开发应用的步骤如下所示：
● 步骤1：准备数据
● 步骤2：新建应用
● 步骤3：选择数据
● 步骤4：训练模型
● 步骤5：评估模型
● 步骤6：部署服务
准备工作
注册华为云帐号，并完成套件申请、访问授权配置等准备工作，详情请见准备工作。
步骤 1：准备数据
在开发应用之前，您需要自行准备训练数据集并上传至OBS桶及文件夹中。由于数据 安全原因，本样例不提供具体的样例数据，仅提供样例数据要求。
本样例使用已标注数据训练模型，数据集要求如下：
● 文件格式要求为txt或者csv，文件大小不能超过8MB。
● 以换行符作为分隔符，每行数据代表一个标注对象。
● 每个分类标签需要准备5个及以上数据，为了训练出效果较好的模型，建议每个分 类标签准备100个以上的数据。
● 文本分类的标注对象和标注内容在一个文本文件内，标注对象与标注内容之间，
多个标注内容之间可分别指定分隔符。
例如，文本文件的内容如下所示。标注对象与标注内容之间采用Tab键分隔。
手感很好，反应速度很快，不知道以后怎样 positive
三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面秒杀 positive 没充一会电源怎么也会发热呢音量健不好用回弹不好 negative
算是给自己的父亲节礼物吧物流很快下单不到24小时就到货了耳机更赞有些低音炮的感觉入耳很紧不会掉 棒棒哒 positive
1. 按上文要求准备训练数据集，并保存至本地，训练数据命名为“test.txt”。
2. 登录OBS服务，创建桶和文件夹，用于存放数据集。
创建名称为“mapro-nlp”的OBS桶。
创建名称为“data-in”的文件夹用于存放训练数据集。
创建名称为“data-out”的文件夹用于存放输出的数据集。
创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常 访问，请务必确保创建的OBS桶与ModelArts Pro服务在同一区域。
3. 参考上传文件，使用单个文件上传方式将本地准备的训练数据“test.txt”文件上 传至OBS路径“mapro-nlp/data-in”下。
步骤 2：新建应用
1. 登录ModelArts Pro控制台，单击“自然语言处理套件”卡片的“进入套件”。
默认进入“应用开发>工作台”页面的“我的应用”页签。
图2-1 进入套件
2. 在“我的应用”页签下，单击“新建应用”。
进入“新建应用”页面。
图2-2 新建应用
3. 填写应用的“基本信息”、“工作流配置”和“资源配置”。
– 基本信息
按图2-3和表2-1填写基本信息。
图2-3 基本信息
表2-1 基本信息参数说明
参数 说明 推荐填写
应用 名称
必填参数，支持输入中英文、
数字、下划线及中划线。
本样例可输入“中文文本分类应 用”。
应用 负责 人
选填参数，应用负责人的姓 名。
本样例可不填。
应用 描述
选填参数，应用的简短描述。 本样例填写“这是关于文本分类 的应用”。
– 工作流配置
按图2-4和表2-2填写工作流配置。
图2-4 工作流配置
表2-2 工作流配置参数说明
参数 说明 推荐填写
所属 行业
单击 ，选择应用所属行业。 本样例选择“通用”。
选择 工作 流
选择开发应用的预置工作流。 本样例选择“通用文本分类工作 流”。
– 资源配置
按图2-5和表2-3填写资源配置。
图2-5 资源配置
表2-3 资源配置参数说明
参数 说明 推荐填写
数据 处理 资源
用于数据处理的资源池和资源 类型。
● “公共资源池”：提供公共 的大规模计算集群，资源按 作业隔离。您可以按需选择 不同的资源类型。
● “专属资源池”：提供独享 的计算资源，不与其他用户 共享，更加高效。使用专属 资源池需要在ModelArts创 建专属资源池，详情请见资 源池。
本样例选择“公共资源池”、
“CPU：2核8GiB”。
模型 训练 资源
用于模型训练的资源池和资源 类型。
● “公共资源池”：提供公共 的大规模计算集群，资源按 作业隔离。您可以按需选择 不同的资源类型。
● “专属资源池”：提供独享 的计算资源，不与其他用户 共享，更加高效。使用专属 资源池需要在ModelArts创 建专属资源池，详情请见资 源池。
本样例选择“公共资源池”、
“GPU：1*nvidia-v100- pcie-32gb 32 GPU”。
部署 方式
选择应用的部署方式，当前通 用文本分类工作流仅支持“在 线部署”。
本样例选择“在线部署”。
4. 确认信息后，单击右下角的“确定”。
成功新建应用，进入“应用开发”页面。
步骤 3：选择数据
1. 在应用开发的“数据选择”页面，单击“新建数据集”。
右侧弹出“新建数据集”页面。
2. 按表2-4填写数据集基本信息，然后单击“确定”。
图2-6 新建数据集
表2-4 新建数据集参数说明
参数 说明 推荐填写
数据集名称 待新建的数据集名称。支持输 入中英文、数字、下划线及中 划线。
本样例填写“test”。
描述 数据集简要描述。 -
参数 说明 推荐填写 数据集状态 上传的训练数据可以是已标注
的数据，也可以是未标注的数 据。
您可以根据自身业务选择“数 据集状态”是“已标注数据 集”还是“未标注数据集”。
数据集模板可在选择“数据集 状态”后，单击下方的“文本 分类已标注数据模板”或“文 本分类未标注数据模板”，下 载数据集模板至本地查看。
本样例使用已标注的数据 集，所以选择“已标注数 据集”。
如果您想手动修改标签，
可单击数据集操作列的
“标注”，进入数据集概 览页单击右上角的“开始 标注”，在“数据标注”
页面手动标注数据，详细 的操作指导请参考标注数 据。
数据集输入位置 训练数据存储至OBS的位置。
单击“数据集输入位置”右侧 输入框，在弹出的“数据集输 入位置”对话框中，选择
“OBS桶”和“文件夹”，然 后单击“确定”。
选择步骤1：准备数据中提 前上传数据集的OBS路径
“mapro-nlp/data-in”。
数据集输出位置 待新建的数据集存储至OBS的 位置。
单击“数据集输出位置”右侧 的“修改”，在弹出的“数据 集输出位置”对话框中，选择
“OBS桶”和“文件夹”，然 后单击“确定”。
选择步骤1：准备数据中提 前创建好的输出数据集的 OBS路径“mapro-nlp/
data-out”。
3. 勾选已上传的数据集。
服务进行标签解析，统计训练数据集中各个标签的样本数。
您可以选择打开“合并标签”开关，将样本数量较少的标签在模型训练中进行合 并，以达到更优训练效果。
图2-7 数据选择
4. 单击右下角“下一步”。
进入应用开发的“模型训练”页面。
步骤 4：训练模型
1. 在应用开发的“模型训练”页面，勾选模型训练所使用的“预训练模型”。
当前服务提供预置预训练模型“BERT”、“TinyBERT”、“FastText”。本样例 使用“FastText”模型。
2. 在参数配置，填写“学习率”和“训练轮次”。
本样例使用“学习率”为“0.00001”，“训练轮次”为“3”。
3. 单击右下角的“开始训练”，开始训练模型。
模型训练一般需要运行一段时间，等模型训练完成后，可查看“训练详情”、
“准确率变化情况”和“误差变化”。
图2-8 训练详情
4. 模型训练完成后，单击右下角的“下一步”。
进入应用开发的“模型评估”页面。
步骤 5：评估模型
1. 在应用开发的“模型评估”页面，您可以针对当前版本的模型进行整体评估和详 细评估。
“整体评估”左侧显示当前模型的“版本”、“标签数量”、“验证集数量”。
“整体评估”右侧显示当前模型的评估参数值，包括“精准率”、“召回率”、
“F1值”。
图2-9 整体评估
2. 在应用开发的“模型评估”页面，您可以搜索查看测试集中数据模型预测结果。
“详细评估”左侧在搜索框中搜索标签，右侧显示正确标签所对应样本的正确标 签和预测标签，您可以对比正确标签和预测标签，判断当前模型预测该样本是否 预测正确。
例如搜索框内输入标签“1”，下方会显示正确标签为“1”的样本中，预测正确 的样本数在验证集中的占比。右侧显示正确标签为“1”的样本信息，包括样本的 正确标签和预测标签。
图2-10 详细评估
3. 单击右下角的“发布部署”。
进入应用开发的“服务部署”页面。
步骤 6：部署服务
在应用开发“服务部署”页面，按表2-5填写服务的相关参数，然后单击“部署”。
图2-11 服务部署
表2-5 服务部署参数说明
参数 说明 推荐填写
服务名称 待部署的服务名称，首次部署服务请单击 可修 改默认服务名称。
如果在不同版本非首次部署服务，服务名称不支 持修改。
本样例使用默 认服务名称。
描述 待部署服务的简要说明。 -
参数 说明 推荐填写 资源池 用于部署服务的资源池和资源类型。资源池可选
“公共资源池”和“专属资源池”。
● “公共资源池”：提供公共的大规模计算集 群，资源按作业隔离。您可以按需选择不同的 资源类型。
● “专属资源池”：提供独享的计算资源，不与 其他用户共享，更加高效。使用专属资源池需 要在ModelArts创建专属资源池，详情请见资 源池。
本样例选择
“公共资源 池”。
计算节点规格 支持选择如下计算规格：
● “CPU：2 核 8 GiB”：适合纯CPU类型的负载 运行的模型。
● “CPU+GPU：2 核 8 GiB + P4”：适合CPU +GPU类型模型的运行，带有1个Nvidia P4卡。
本样例使用
“CPU：2 核 8 GiB”。
计算节点个数 设置当前版本模型的实例个数。如果节点个数设 置为1，表示后台的计算模式是单机模式；如果节 点个数设置大于1，表示后台的计算模式为分布式 的。请根据实际编码情况选择计算模式。
本样例选择1 个计算节点。
服务自动停止 设置服务自动停止的时间，在线服务运行状态在 所选的时间点后自动停止，同时在线服务也停止 计费。
本样例选择
“1小时 后”。
部署成功后，页面显示“服务部署成功”。您可以单击“查看应用监控”，进入应用 监控页面查看监控信息，详情请见监控应用。
3 视觉套件（使用零售商品识别工作流开发应 用）
ModelArts Pro的视觉套件提供了零售商品识别工作流，自主构建高精度的商品识别算 法，帮助提高商品新品上线效率，提升消费者体验。
本章节介绍如何使用视觉套件中的零售商品识别工作流开发应用，以蛋糕店的蛋糕商 品为样例，通过上传训练数据、标注数据、训练模型，并将生成的模型部署为在线服 务。部署完成后，用户可通过在线服务识别出图片中的所有蛋糕以及图片中每个蛋糕 的类别，也可以直接调用API和SDK识别。
首先，请仔细阅读罗列的要求，提前完成准备工作。使用零售商品识别工作流开发应 用的步骤如下所示：
● 步骤1：准备数据
● 步骤2：新建应用
● 步骤3：选择数据
● 步骤4：创建SKU
● 步骤5：标注数据
● 步骤6：训练模型
● 步骤7：评估模型
● 步骤8：部署服务
准备工作
注册华为云帐号，并完成套件申请、访问授权配置等准备工作，详情请见准备工作。
步骤 1：准备数据
在开发应用之前，您需要设计好商品标签，并自行准备数据集并上传至OBS桶及文件 夹中。
由于数据安全原因，本样例不提供具体的样例数据，仅提供适用本次样例的数据要 求。本次样例需要准备两份数据，一份训练数据集用于训练模型，一份SKU数据用于 创建SKU，即商品各类单品的图片，方便后续针对训练数据集中的数据进行自动标 注。
● 商品标签
本次样例以蛋糕商品为例，设计“cream_cake”、“fruit_cake”、
“cheese_cake”这三类标签。
● 数据格式
– 保证图片质量：不能有损坏的图片。
– 目前支持的格式包括JPG、JPEG、PNG、BMP。
● 训练数据集
– 本样例训练数据集使用未标注数据。
– 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。
– 为保证模型的泛化能力，数据集尽量覆盖所有商品分类的图片，即覆盖所有 标签的图片。
– 每个分类标签需要准备20个数据以上，为了训练出效果较好的模型，建议每 个分类标签准备200个以上的数据。
– 所有图片放在一个文件目录下，示例如下所示。
├─Training-Dataset
│ IMG_20180919_114732.jpg
│ IMG_20180919_114745.jpg
│ IMG_20180919_114945.jpg 说明
如果训练数据集使用已标注数据，数据要求请见数据集要求。
● SKU数据集
– 为保证智能标注效果，建议每个分类标签的商品准备20个以上的图片。
– 文件放置方式请按“父文件夹/单品文件夹/单品图”，示例如下所示。
├─SKU-Dataset
├── cream_cake
│ IMG_20180919_114732.jpg
│ IMG_20180919_114745.jpg
│ IMG_20180919_114945.jpg
├── fruit_cake
│ IMG_20180919_114733.jpg
│ IMG_20180919_114746.jpg
│ IMG_20180919_114946.jpg
├── cheese_cake
│ IMG_20180919_114734.jpg
│ IMG_20180919_114747.jpg
│ IMG_20180919_114947.jpg
1. 按照上述要求准备训练数据集和SKU数据集，文件夹分别命名为“Training- Dataset”和“SKU-Dataset”，并保存至本地。
2. 登录OBS服务，创建桶和文件夹，用于存放数据集。
– 创建名称为“mapro-vison”的OBS桶。
– 创建名称为“training-data-in”的文件夹用于存放训练数据集。
– 创建名称为“training-data-out”的文件夹用于存放输出的数据集。
– 创建名称为“sku-data-in”的文件夹用于存放SKU数据集。
– 创建名称为“sku-data-out”的文件夹用于存放输出的SKU数据集。
创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常 访问，请务必保证创建的OBS桶与ModelArts Pro服务在同一区域。
3. 参考上传文件，使用单个文件上传方式将本地准备的训练数据集“Training- Dataset”文件上传至OBS路径“mapro-vision/training-data-in”，将本地准备 的SKU数据集“SKU-Dataset”上传至OBS路径“mapro-vision/sku-data-in”。
步骤 2：新建应用
1. 登录ModelArts Pro控制台，单击“视觉套件”卡片的“进入套件”。
默认进入“应用开发>工作台”页面的“我的应用”页签。
2. 在“我的应用”页签下，单击“新建应用”。
进入“新建应用”页面。
3. 按表3-1填写“基本信息”、“工作流配置”和“资源配置”。
图3-1 新建应用
表3-1 新建应用参数说明
参数 说明 推荐填写
应用 名称
必填参数，支持输入中英文、数 字、下划线及中划线。
本样例可输入“蛋糕识别应用”。
应用 负责 人
选填参数，应用负责人的姓名，
例如蛋糕识别应用的负责人可填 蛋糕店的老板。
本样例可不填。
应用 描述
选填参数，应用的简短描述。 本样例填写“这是关于蛋糕的应 用”。
所属 行业
单击 ，选择应用所属行业。 本样例选择“零售”。
选择 工作 流
选择开发应用的预置工作流。 本样例选择“零售商品识别工作 流”。
参数 说明 推荐填写 数据
处理 资源
用于数据处理的资源池和资源类 型。
● “公共资源池”：提供公共的 大规模计算集群，资源按作业 隔离。您可以按需选择不同的 资源类型。
● “专属资源池”：提供独享的 计算资源，不与其他用户共 享，更加高效。使用专属资源 池需要在ModelArts创建专属 资源池，详情请见资源池。
本样例选择“公共资源池”、
“CPU：2核8GiB”。
模型 训练 资源
用于模型训练的资源池和资源类 型。
● “公共资源池”：提供公共的 大规模计算集群，资源按作业 隔离。您可以按需选择不同的 资源类型。
● “专属资源池”：提供独享的 计算资源，不与其他用户共 享，更加高效。使用专属资源 池需要在ModelArts创建专属 资源池，详情请见资源池。
本样例选择“公共资源池”、
“GPU：1*nvidia-v100-pcie-32gb 32 GPU”。
测试 资源 部署
用于测试资源的资源池和资源类 型。
● “公共资源池”：提供公共的 大规模计算集群，资源按作业 隔离。您可以按需选择不同的 资源类型。
● “专属资源池”：提供独享的 计算资源，不与其他用户共 享，更加高效。使用专属资源 池需要在ModelArts创建专属 资源池，详情请见资源池。
本样例选择“公共资源池”、
“CPU：8核 32GiB GPU：
1*T4”。
部署 方式
选择应用的部署方式，当前零售 商品识别工作流仅支持“在线部 署”。
本样例选择“在线部署”。
4. 确认信息后，单击“确定”。
进入“应用开发”页面。
步骤 3：选择数据
1. 在“应用开发>数据选择”页面，单击“新建训练数据集”。
右侧弹出“新建数据集”页面。
2. 按表3-2填写数据集基本信息，然后单击“确定”。
图3-2 新建训练数据集
表3-2 新建训练数据集参数说明
参数 说明 推荐填写
数据集名称 待新建的数据集名称。 本样例填写“data- cake”。
描述 数据集简要描述。 -
数据上传方式 训练数据上传的方式，当前仅 支持把数据上传至OBS，默认 为“选择obs文件”。
默认“选择obs文件”。
数据集输入位置 训练数据存储至OBS的位置。
单击“数据集输入位置”右侧 输入框，在弹出的“数据集输 入位置”对话框中，选择
“OBS桶”和“文件夹”，然 后单击“确定”。
选择步骤1：准备数据中提 前上传数据集的OBS路径
“mapro-vision/data- in”。
数据集输出位置 待新建的数据集存储至OBS的 位置。
单击“数据集输出位置”右侧 的“修改”，在弹出的“数据 集输出位置”对话框中，选择
“OBS桶”和“文件夹”，然 后单击“确定”。
选择步骤1：准备数据中提 前创建好的输出数据集的 OBS路径“mapro-vison/
data-out”。
3. 勾选已上传的数据集。
由于本样例上传的数据为未标注数据，因此标签解析出数据集共有0个标签，0条 有效样本数据。
4. 单击右下角“下一步”。
进入“应用开发>SKU创建”页面。
步骤 4：创建 SKU
1. 在“SKU创建”页面，单击“批量上传SKU”。
弹出“批量上传SKU”对话框。
2. 在“批量上传SKU”对话框中，按表3-3填写信息，然后单击“确定”。
页面会显示“SKU名称”和每个SKU的“数据量”。
图3-3 批量上传 SKU
表3-3 批量上传 SKU 参数说明
参数 说明 推荐填写
SKU存储位
置（OBS） SKU数据存储至OBS的桶和文 件夹。
单击“SKU存储位置
（OBS）”右侧输入框，在
“SKU存储位置（OBS）”对 话框中选择SKU存储的OBS桶 和文件夹，单击“确定”。
本样例选择在步骤1：准备数据 中提前上传SKU数据集的OBS 路径“mapro-vision/sku-data- in”。
SKU输出位
置 SKU数据输出的默认OBS存储 位置。此位置即基础配置中默 认存储位置。如需修改，请前 往控制台“配置中心>基础配 置”修改默认存储位置。
本样例使用默认位置，不作修 改。
3. 单击右下角的“下一步”。
进入“应用开发>数据标注”页面。
步骤 5：标注数据
1. 在“应用开发>数据标注”页面，会显示自动标注的进度，如果自动标注完成，标 注进度为100%。
图3-4 自动标注完成。
标注完成后，您可以单击“标注结果确认”中的“前往确认”，针对“已标注”
的数据进行核对和检查，详情请见标注数据-物体检测。针对标注错误的数据修改 标注。
说明
由于零售商品工作流标注数据时需要勾勒出商品形状，必须使用多边形标注框标注数据。
2. 单击右下角的“下一步”。
进入“应用开发>模型训练”页面。
步骤 6：训练模型
在“应用开发>模型训练”页面，单击“开始训练”。
模型训练一般需要运行一段时间，等模型训练完成后，“开发应用>模型训练”页面下 方显示训练详情。
图3-5 训练详情
步骤 7：评估模型
1. 在“应用开发>模型评估”页面，可以针对当前版本的模型进行模型评估，查看评 估参数对比和详细评估。
– 模型评估
“模型评估”下侧显示当前模型的版本、标签数量、验证集数量。
图3-6 模型评估
– 评估参数对比
“评估参数对比”下方显示当前模型的评估参数值，包括“精准率”、“召 回率”、“F1值”。您可以单击 “添加对比版本”。
图3-7 评估参数对比
– 详细评估
“详细评估”下方显示各个标签下的样品数量比例，单击各标签，右侧可查 看该标签识别错误的图片。
图3-8 详细评估
2. 单击右下角的“下一步”。
进入“应用开发>服务部署”页面。
步骤 8：部署服务
1. 在“应用开发>服务部署”页面，按表3-4填写服务的相关参数，然后单击“部 署”。
图3-9 服务部署
表3-4 服务部署参数说明
参数 说明
服务名称 待部署的服务名称，单击 可修改服务默认服务名称。
描述 待部署服务的简要说明。
服务部署 方式
当前只支持在线部署方式。
计算节点 规格
当前支持选择计算规格“CPU+GPU：2 核 8 GiB + P4”，适合 CPU+GPU类型模型的运行，带有1个Nvidia P4卡。
服务自动
停止 设置服务自动停止的时间，在线服务运行状态在所选的时间点后自 动停止，同时在线服务也停止计费。
部署成功后，页面显示“服务部署成功”。
单击“查看应用监控”，可进入“应用监控”页面，查看应用的基本信息、历史 版本和调用指南。
4 HiLens 套件（使用 HiLens 安全帽检测技能 开发可训练技能）
ModelArts Pro的HiLens套件提供了安全帽检测技能，通过工作流指引支持自主上传数 据集，零代码构建安全帽检测技能，并一键下发到端侧设备HiLens Kit；针对难例数 据，可快速迭代更新技能，提升精度。
本章节介绍如何使用HiLens安全帽检测工作流零代码开发技能，通过上传训练数据、
训练模型、评估模型，并将技能一键部署至端侧设备HiLens Kit设备，对未戴安全帽的 人进行告警。
首先，请仔细阅读准备工作罗列的要求，提前完成准备工作。使用安全帽检测工作流 开发技能的步骤如下所示：
● 步骤1：上传数据至OBS
● 步骤2：新建可训练技能
● 步骤3：选择数据
● 步骤4：训练模型
● 步骤5：评估模型
● 步骤6：部署服务
● 步骤7：运行技能
准备工作
● 注册华为云帐号，并完成套件申请、访问授权配置等准备工作，详情请见准备工 作。
● 保证华为云帐号不欠费。在ModelArts Pro控制台开发应用时，会占用对象存储服 务OBS资源，需要收取一定费用，收费规则请参见OBS价格详情。
● 基于可训练技能模板新建技能，训练模型和部署技能会占用ModelArts训练资源，
需要收取一定费用，收费规格请参见ModelArts价格详情。
● 在使用安全帽检测技能模板开发技能之前，您需要提前准备用于模型训练的数 据，数据要求请见准备数据。
步骤 1：上传数据至 OBS
步骤1 按准备数据准备训练数据集，文件夹命名为“Training-Dataset”，并保存至本地。
步骤2 登录OBS服务，创建桶和文件夹，用于存放数据集。
● 创建名称为“mapro-hilens”的OBS桶。
● 创建名称为“training-data-in”的文件夹用于存放训练数据集。
● 创建名称为“training-data-out”的文件夹用于存放输出的数据集。
创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访 问，请务必保证创建的OBS桶与ModelArts Pro服务在同一区域。
步骤3 参考上传文件，使用单个文件上传方式将本地准备的训练数据集“Training-Dataset”
文件上传至OBS路径“mapro-hilens/training-data-in”
----结束
步骤 2：新建可训练技能
步骤1 登录ModelArts Pro控制台，单击“HiLens套件”卡片的“进入套件”。
进入HiLens管理控制台，默认进入“全部模板”页面。
步骤2 单击“可训练模板（Beta）”，切换至“可训练模板”页签。
步骤3 选择技能，单击技能模板卡片的“新建技能”。
图4-1 新建技能
步骤4 在“新建技能”对话框，根据业务需求填写“技能名称”、“技能负责人”和“技能 描述”，选择“所属行业”，认真阅读并勾选“同意《公测使用服务协议》”。
步骤5 确认信息后，单击“确定”。
跳至“应用开发”页面，开始开发技能。
----结束
步骤 3：选择数据
步骤1 在“数据选择”页面，单击“新建训练数据集”，右侧弹出“新建数据集”页面。
步骤2 根据数据存储位置和数据标注情况，按表4-1填写数据集基本信息，然后单击“确 定”。
图4-2 新建数据集
表4-1 新建训练数据集参数说明
参数 说明
数据集名称 待新建的数据集名称。
描述 数据集简要描述。
数据集状态 按上传的数据是否标注分为“已标注数据集”和“未标注数据 集”。数据格式请见准备数据。
数据上传方式 训练数据上传的方式，当前仅支持把数据上传至OBS，默认为“选 择obs文件”。
参数 说明 数据集输入位
置 训练数据存储至OBS的位置。
单击“数据集输入位置”右侧输入框，在弹出的“数据集输入位 置”对话框中，选择“OBS桶”和“文件夹”，然后单击“确 定”。
本样例选择在步骤1：上传数据至OBS中创建的OBS桶和文件夹“/
mapro-hilens/training-data-in”。
数据集输出位
置 待新建的数据集存储至OBS的位置。
待新建的数据集有一个默认存储位置。如果需要修改数据集存储位 置，请单击“数据集输出位置”右侧的“修改”，在弹出的“数据 集输出位置”对话框中，选择“OBS桶”和“文件夹”，然后单击
“确定”。
本样例选择在步骤1：上传数据至OBS中创建的OBS桶和文件夹“/
mapro-hilens/training-data-out”。
步骤3 勾选当前应用开发所需的训练数据集。
下方可查看标签解析。
图4-3 选择数据集
步骤4 单击右下角的“下一步”。
进入“模型训练”步骤。
----结束
步骤 4：训练模型
步骤1 在“模型训练”页面，按表4-2配置训练参数，然后单击“开始训练”。
图4-4 配置模型训练参数
表4-2 模型训练参数说明
参数 说明
输出路径 模型训练后，输出的模型和数据存储在OBS的路径。单击输入框，
在输出路径的对话框中选择OBS桶和文件夹，然后单击“确定”。
参数 说明
预训练模型 当前服务提供安全帽检测预置模型“saved_model.pb”，请勾选 预训练模型。
高级参数 当前仅支持使用默认参数，无法调整。
步骤2 模型训练一般需要运行一段时间，等模型训练完成后，“应用开发>模型训练”页面下 方显示训练详情。
图4-5 训练详情
步骤3 单击右下角的“下一步”。
进入“模型评估”步骤。
----结束
步骤 5：评估模型
步骤1 在“应用开发>模型评估”页面，可以针对当前版本的模型进行模型评估，查看评估参 数对比和详细评估。
● 模型评估
图4-6 模型评估
训练模型的版本、标签数量、测试集数量。单击“下载评估结果”，可保存评估 结果至本地。
● 评估参数对比
图4-7 评估参数对比
左侧是各个标签数据的精确率、召回率、F1值。勾选标签，右侧会显示对应标签 数据经过预置模型和增量模型评估后的参数对比柱状图。
● 详细评估
图4-8 详细评估
可在右上角筛选标签和置信度范围，查看详细的测试数据。
步骤2 单击右下角的“下一步”。
进入“应用开发>服务部署”页面。
----结束
步骤 6：部署服务
“服务部署”页面，工作流会根据训练的模型自动创建技能，并显示如下默认参数。
● 技能名称：工作流自动创建技能后，生成默认技能名称。
● 设备类别：当前仅支持将技能安装至HiLens Kit设备上，安装技能之前，请在同一 帐号同一区域的华为HiLens控制台注册HiLens Kit设备，详细操作指导请见注册 HiLens Kit。
● 设备名称：显示同一帐号同一区域下注册在华为HiLens控制台的设备列表。
步骤1 在“服务部署”页面，勾选待安装技能的设备。
勾选设备需处于“在线”状态。
图4-9 服务部署
步骤2 单击技能名称右侧的“开始安装”，就开始安装技能。
设备列表的进度列会显示安装技能的进度，安装完成后，会显示“已安装”。
----结束
步骤 7：运行技能
步骤1 使用HDMI视频线缆连接HiLens Kit视频输出端口和显示器。
步骤2 登录HiLens管理控制台，单击左侧导航栏“设备管理>设备列表”，进入“设备列表”
页面。
步骤3 选择上一步骤中安装技能的设备，单击设备卡片。
进入“设备详情”页，默认展示“技能管理”页签。
步骤4 选择上一步骤中安装的技能，单击操作列的“启动”，并单击“确定”，确定启动技 能运行在端侧设备上。
等待一会，当状态变为“运行中”，则技能成功运行在端侧设备上。
已安装的技能状态说明如表4-3所示。
表4-3 安装技能状态 状态名 状态说明
停止 停止状态，技能停止运行在端侧设备上。
运行中 运行状态，技能成功安装在端侧设备。
技能处于“运行中”状态时，您可以通过显示器查看技能输出的视频数据，此样例所 开发的安全帽检测技能可检测人是否会戴安全帽。
----结束
