• 沒有找到結果。

Ascend910训练和Ascend310推理的样例_AI开发平台ModelArts_最佳实践_Ascend应用教程_华为云

N/A
N/A
Protected

Academic year: 2022

Share "Ascend910训练和Ascend310推理的样例_AI开发平台ModelArts_最佳实践_Ascend应用教程_华为云"

Copied!
206
0
0

加載中.... (立即查看全文)

全文

(1)

ModelArts

最佳实践

文档版本 01

发布日期 2022-01-18

(2)

版权所有 © 华为技术有限公司 2022。 保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标,由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。

由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司

地址: 深圳市龙岗区坂田华为总部办公楼 邮编:518129 网址:

https://www.huawei.com

客户服务邮箱:

[email protected]

客户服务电话:4008302118

(3)

目 录

1 ModelArts 样例列表...1

2 配置 ModelArts 使用权限...6

2.1 场景说明...6

2.2 配置管理员帐号...9

2.3 配置所有权限(角色)... 11

2.4 配置所有权限(策略)... 15

2.5 配置部分功能的权限(策略)... 21

3 自动学习...30

3.1 找云宝(使用自动学习实现物体检测应用)... 30

3.2 银行存款预测(使用自动学习实现预测分析)...36

3.3 使用自动学习 0 代码开发图像分类 AI 模型... 40

4 开发工具...49

4.1 使用 PyCharm ToolKit 工具快速实现模型训练和部署... 49

4.2 使用 Notebook 实现手写数字识别(即将下线 )... 60

4.3 使用 PyTorch 实现物体检测(Faster R-CNN)(即将下线)...63

5 数据管理...73

5.1 数据管理(物体检测类型)... 73

5.2 视频数据集使用教程... 84

5.3 图像分割数据集使用教程... 89

5.4 团队标注... 97

5.4.1 团队标注使用教程... 97

5.4.2 华为云用户登录 ModelArts 数据标注平台...107

6 模型开发(预置算法-新版训练)... 110

6.1 使用 AI Gallery 的订阅算法实现花卉识别... 110

6.2 使用时序预测算法实现访问流量预测...119

6.3 使用强化学习内置环境实现车杆游戏...125

6.4 使用强化学习自定义环境实现贪吃蛇游戏... 130

7 模型开发(自定义算法-新版训练)... 137

7.1 使用自定义算法构建模型(手写数字识别)...137

8 推理部署... 145

最佳实践 目 录

(4)

8.1 纳管 Atlas 500,将模型部署为边缘服务... 145

9 自定义镜像... 155

9.1 使用自定义镜像创建训练作业(GPU,即将下线)...155

9.2 使用自定义镜像创建 AI 应用... 160

10 Ascend 应用教程... 166

10.1 应用场景介绍...166

10.2 使用订阅算法实现图像分类(Ascend310 推理)... 167

10.3 Ascend910 训练和 Ascend310 推理的样例... 176

11 ModelArts+HiLens...184

11.1 手势识别技能开发(ModelArts+华为 HiLens)... 184

A 获取 ModelArts 样例使用的数据集... 199

最佳实践 目 录

(5)

1 ModelArts 样例列表

在最佳实践文档中,提供了针对多种场景、多种AI引擎的ModelArts样例,方便您通过 如下样例快速了解使用ModelArts完成AI开发的流程和操作。

配置 ModelArts 使用权限(基础教程)

样例 对应功能 场景 说明

2.1 场景说

IAM权限

配置、全 局配置

为子用 户配置 权限

当一个华为云帐号下需创建多个IAM用户(即 子用户)时,可参考此样例,为IAM用户赋予 使用ModelArts所需的权限。避免IAM用户因 权限问题导致使用时出现异常。

自动学习样例列表(基础教程)

1-1 自动学习样例列表

样例 对应功能 场景 说明

找云宝

自动学习 物体检

测 基于云宝数据集,使用ModelArts自动学习的 物体检测算法,识别图片中的云宝。

银行存款预 测

自动学习 预测分 析

根据客户特征(年龄、工作类型、婚姻状 况、文化程度、是否有房贷和是否有个人贷 款),预测客户是否愿意办理定期存款业 务。

最佳实践 1 ModelArts 样例列表

(6)

开发工具样例列表(高阶教程)

1-2 PyCharm ToolKit 样例列表

样例 引擎 对应功能 场景 说明

PyCharm

本地训练和 部署

MXNet PyCharm

ToolKit工具 图像识 别

针对使用MXNet引擎开发的手写数 字识别模型,您可以使用ModelArts 提供的PyCharm ToolKit工具,在本 地快速完成模型的训练和部署。

数据管理样例(基础教程)

1-3 数据管理样例列表

样例 对应功能 场景 说明

5.1 数据管

理(物体检 测类型)

创建数据 集、发布 数据集、

自动分 组、智能 标注、数 据处理、

特征分析

数据管 理

基于样例数据集,使用ModelArts数据管理功 能,对数据集进行标注和数据处理。通过此 样例教程,可快速了解数据管理的基础功 能,以及智能标注、自动分组、数据处理和 特征分析等高阶功能。

5.2 视频数

据集使用教 程

创建数据 集、数据 标注、发 布数据集

视频数 据标注

本教程提供了关于视频类数据标注的详细操 作。

5.3 图像分

割数据集使 用教程

创建数据 集、数据 标注、发 布数据集

图像分 割数据 标注

本教程提供了关于视频类数据标注的详细操 作。

5.4 团队标

创建数据

集、团队 标注

团队标

注 针对数据量较大的数据集,可通过团队标 注,多人协助完成数据标注。本教程提供了 端到端的指导,包含团队标注流程、创建团 队标注任务、标注成员进入标注平台完成标 注操作、以及管理员完成验收等操作。

最佳实践 1 ModelArts 样例列表

(7)

模型开发-预置算法样例列表(基础教程)

1-4 预置算法样例列表

样例 引擎 对应功能 场景 说明

6.1 使用AI Gallery的

订阅算法实 现花卉识别

Tenso

rFlow AI Gallery>

预置算法

图像分 类

此样例介绍如何从AI Gallery,订阅 一个预置算法resnet_v1_50,同时使 用算法训练得到模型,最终将模型部 署为在线服务的端到端指导。

6.2 使用时

序预测算法 实现访问流 量预测

PyTor

ch AI Gallery>

预置算法 时序预

测 本章节介绍使用AI Gallery中预置的 时序预测算法实现访问流量预测。

1-5 预置算法-强化学习样例列表

样例 引擎 对应功能 场景 说明

6.3 使用强

化学习内置 环境实现车 杆游戏

Tenso

rFlow AI Gallery>

预置算法

强化学

习 使用AI Gallery中预置的强化学习算 法训练内置环境实现“车杆游戏”示 例。

6.4 使用强

化学习自定 义环境实现 贪吃蛇游戏

Tenso

rFlow AI Gallery>

预置算法

强化学 习

使用AI Gallery中预置的强化学习算 法训练自定义环境实现“贪吃蛇”示 例。

模型开发-自定义算法样例列表(高阶教程)

1-6 自定义算法样例列表

样例 引擎 对应功能 场景 说明

7.1 使用自

定义算法构 建模型(手 写数字识 别)

Tenso

rFlow 自定义算法 手写数 字识别

使用用户自己的算法,训练得到手写 数字识别模型,并部署后进行预测。

最佳实践 1 ModelArts 样例列表

(8)

推理部署(高阶教程)

1-7 推理部署列表

样例 引擎 对应功能 场景 说明

8.1 纳管 Atlas 500,将模

型部署为边 缘服务

Tenso

rFlow 边缘部署 物体检 测

此案例介绍如何结合智能边缘服务

(IEF)和AI开发平台

(ModelArts),将构建的AI模型快 速部署至Atlas设备中,满足在安 防、交通、社区、园区、 商场、超 市等复杂环境区域的应用需求。

自定义镜像(高阶教程)

1-8 自定义镜像样例列表

样例 引擎 对应功能 场景 说明

9.1 使用自

定义镜像创 建训练作业

(GPU,

即将下线)

Tensor

Flow 镜像制作 自定义镜像 训练

- 此案例介绍在ModelArts平台使用自 定义镜像创建训练作业的样例,帮助 您快速熟悉平台的使用方法。

9.2 使用自

定义镜像创 建AI应用

- 镜像制作 模型推理部 署

- 此案例介绍在ModelArts平台使用自 定义镜像导入模型的样例,帮助您快 速熟悉平台的使用方法

Ascend 应用样例列表(高阶教程)

针对支持使用Ascend应用的算法,本文档提供了如下几个操作样例,您可以参考如下 典型样例,使用ModelArts提供的预置算法(训练管理或AI Gallery),支撑您的业务 应用。

1-9 Ascend 样例列表

样例 引擎 对应功能 场景 说明

10.2 使用

订阅算法实 现图像分类

(Ascend3

10推理)

Tenso

rFlow 预置算法

(AIGallery)、

Ascend 310 推理

图像分

类 此样例介绍如何从AI Gallery,订阅 一个预置算法resnet_v1_50,同时使 用算法训练得到模型,最终将模型使 用Ascend 310部署为在线服务的端 到端指导。

最佳实践 1 ModelArts 样例列表

(9)

样例 引擎 对应功能 场景 说明 10.3Ascend91

0训练和Ascend31 0推理的样

MindS

pore 预置算法

(AIGallery)、

Ascend 910 训练、Ascend 310 推理

图像分

类 针对ModelArts官方提供的ResNet50 算法(MindSpore引擎),可使用 Ascend 910训练,同时使用Ascend 310推理。以云的方式提供充裕且经 济的AI算力,支撑更多科研探索及行 业AI应用。

ModelArts+HiLens 样例(高阶教程)

1-10 ModelArts 和 HiLens 样例列表

样例 引擎 对应功能 场景 说明

11.1 手势

识别技能开 发 (ModelA

rts+华为 HiLens)

Tensor

Flow AI Gallery>

预置算法、

HiLens

图像识 别

提供了一个手势识别技能的样例,介 绍从模型训练到查看技能效果,新建 一个全新技能的全流程,帮助您快速 熟悉ModelArts和Huawei HiLens技 能开发的使用过程。

最佳实践 1 ModelArts 样例列表

(10)

2 配置 ModelArts 使用权限

2.1 场景说明 2.2 配置管理员帐号 2.3 配置所有权限(角色)

2.4 配置所有权限(策略)

2.5 配置部分功能的权限(策略)

2.1 场景说明

如果您申请了一个华为云帐号,且需要将帐号权限分配给多个用户使用ModelArts。可 参考本案例指导完成权限分配。

场景说明

如下图所示,管理者使用管理员帐号,即申请的华为云帐号。

● 场景1:用户组1代表团队1,此团队下的所有用户,需具备ModelArts的所有功能 操作权限,同时具备OBS服务的所有操作权限。

● 场景2:用户组2代表团队2,此团队下的所有用户,需具备ModelArts部分功能的 权限,同时具备ModelArts所需的OBS最小化权限。

最佳实践 2 配置 ModelArts 使用权限

(11)

2-1 场景图例

配置权限的流程及注意事项

首先,在配置权限之前,需要了解如下信息。配置权限的整体流程和说明,请参见图 2-2。

● ModelArts使用IAM服务实现鉴权认证功能,权限配置需前往IAM管理控制台进行 操作。

● 由于ModelArts依赖OBS服务进行数据存储,因此使用ModelArts前,必须获取相 应的OBS服务的操作权限。

● 在使用ModelArts数据管理、模型管理等功能过程中,ModelArts可能需要访问您 的OBS、SWR、IEF等依赖服务。为保证ModelArts能够访问依赖服务,则需要针 对当前用户配置相关服务的访问授权。

最佳实践 2 配置 ModelArts 使用权限

(12)

2-2 配置权限的流程及说明

配置建议

IAM的权限管理,根据授权精细程度分为角色和策略。

● 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该 机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间 存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角 色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达 到企业对权限最小化的安全管控要求。

● 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资

最佳实践 2 配置 ModelArts 使用权限

(13)

针对图2-1所示的场景,2种场景,其配置流程是相同的,针对不同场景,根据授权精 度不同,其配置权限的方法不同。详细说明请参见表2-1。

2-1 不同场景的配置方法

配置流程

配置所有权限

(使用角色授 权)

配置所有权限

(使用策略授 权)

配置部分功能 权限(使用策 略授权)

说明

注册管理员

帐号 2.2 配置管理

员帐号

2.2 配置管理

员帐号

2.2 配置管理

员帐号

所有场景的操作步 骤相同。

创建用户组

创建用户组 创建用户组 创建用户组

所有场景的操作步 骤相同。

配置ModelArts 权限

为用户组配置

ModelArts的

操作权限

(使用角色进 行授权)

为用户组配置

ModelArts的

操作权限

(使用策略进 行授权,赋予 ModelArts所 有操作权限)

为用户组配置

ModelArts的

操作权限

(使用策略进 行授权,仅赋 予部分功能的 权限)

不同场景,存在配 置上的差异。

支持使用角色或策 略进行授权。如果 配置部分功能权限 时,请使用策略进 行授权。

配置OBS权 限

为用户组配置

OBS的操作权

(使用角色进 行授权)

为用户组配置

OBS的操作权

(使用策略进 行授权,仅授 予ModelArts 依赖OBS的最 小化授权项)

为用户组配置

OBS的操作权

(使用策略进 行授权,仅授 予ModelArts 依赖OBS的最 小化授权项)

不同场景,存在配 置上的差异。

支持使用角色或策 略进行授权。如果 配置部分功能权限 时,请使用策略进 行授权。

创建用户并 加入用户组

创建用户并加 入用户组

创建用户并加 入用户组

创建用户并加 入用户组

所有场景的操作步 骤相同。不同场 景,加入的用户组 不同。

配置访问授 权(委托)

为所有用户完 成ModelArts 全局配置

为所有用户完 成ModelArts 全局配置

为所有用户完 成ModelArts 全局配置

所有场景的操作步 骤相同。

验证用户权

测试用户权限 测试用户权限 测试用户权限

所有场景的操作步

骤相同。

2.2 配置管理员帐号

针对上述场景描述,首先需要一个管理员帐号(即注册的华为云帐号),且完成实名 认证。如果您已有帐号,可跳过如下此步骤。

注册华为云帐号,完成实名认证

首先,需要注册1个华为云帐号作为管理员帐号。

最佳实践 2 配置 ModelArts 使用权限

(14)

1. 注册帐号。

进入华为云官网,单击右上角“注册”,根据界面提示填写相关参数,并完成帐 号注册。

2. 实名认证。

注册成功后即自动登录华为云,您需要完成“实名认证”才可以正常使用服务。

具体认证方式请参见帐号实名认证。

使用委托完成授权(全局配置)

如果管理员帐号需要获得ModelArts操作权限,需执行如下操作完成访问授权配置。更 多说明请参见准备工作>使用委托授权。

1. 使用管理员帐号登录ModelArts服务管理控制台。

请注意选择左上角的区域,例如“华北-北京四”。

2. 在左侧导航栏单击“全局配置”,进入“全局配置”页面。

3. 单击“访问授权”。在弹出的“访问授权”窗口中,参考表2-2填写参数,勾选

“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“同意授权”。

2-2 参数说明

参数 说明

“授权方式” 请选择“使用委托”。

“用户名” 在右侧下拉框中选择帐号,默认选择“所有IAM用户(包括自 己)”,该选项表示会给所有IAM子用户包含当前帐号进行授 权。在下拉框中,将显示当前帐号下的所有IAM用户,您可以 选择为其中某一IAM用户配置委托。

“委托” 首次使用ModelArts全局配置时,暂无可用委托,此时您可以 单击“自动创建”,为用户名中选择的用户自动创建一个可用 的委托。

委托创建完成后,下拉框将自动选择自动创建好的委托。

2-3 使用委托授权

最佳实践 2 配置 ModelArts 使用权限

(15)

2.3 配置所有权限(角色)

本章节介绍如何为用户组1下所有用户配置ModelArts的所有权限。针对ModelArts和 OBS服务使用权限,本示例使用角色进行授权,即以服务为颗粒度进行授权。

创建用户组

1. 在管理控制台中,单击右上角用户名,在下拉框中选择“统一身份认证”,进入 IAM服务。

2. 在左侧菜单栏中,选择“用户组”。

3. 单击右上角“创建用户组”,在“用户组名称”中填入“用户组1”,然后单击

“确定”完成用户组创建。

2-4 创建用户组

创建完成后,返回用户组列表。

为用户组配置 ModelArts 的操作权限

如下操作,将指导您为用户组1配置ModelArts的所有操作权限。用户组权限配置后,

其组内的所有用户将具备相应的权限。

1. 在IAM管理控制台,选择“用户组”。

2. 在用户组1所在行,单击“权限配置”。

3. 单击“配置权限”,进入授权页面。

4. 在授权页面中,填写ModelArts权限的相关配置。

– 作用范围:选择“区域级项目”,同时选择对应区域,需与您使用的 ModelArts为同一区域,例如“华北-北京四”。

– 权限:在搜索框中输入“ModelArts”,筛选出ModelArts FullAccess和 ModelArts CommonOperations权限,勾选ModelArts FullAccess和 ModelArts CommonOperations授权项。

最佳实践 2 配置 ModelArts 使用权限

(16)

2-5 权限配置

5. 配置完成后,单击“确定”完成ModelArts权限配置。

为用户组配置 OBS 的操作权限

由于使用ModelArts过程中,需要将相关数据、代码或模型存储在OBS中,因此需获取 相应的OBS权限,才能正常使用ModelArts的所有功能。如下操作指导如何为用户配置 OBS的所有操作权限。如果希望为用户配置ModelArts依赖的最小化权限,请参见为用

户组配置OBS的操作权限。

1.

为用户组配置ModelArts的操作权限完成后,界面将返回至用户组权限配置页

面。单击“配置权限”。

2. 进入授权页面后,填写OBS权限的相关配置。

– 作用范围:选择“全局项目”。

– 权限:在搜索框中输入“Tenant Administrator”,勾选此权限。

说明

授予“Tenant Administrator”权限,则此用户组下的用户将具备“全局服务”中所有服务 的操作权限(除IAM管理权限外),请谨慎操作。

2-6 权限配置

3. 配置完成后,单击“确定”完成OBS权限配置。此授权需等待15-30分钟才可生 效,请耐心等待。

创建用户并加入用户组

最佳实践 2 配置 ModelArts 使用权限

(17)

请根据界面提示,填写必选参数,然后单击“下一步”。

2-7 创建多个用户

4. 在“加入用户组”步骤中,选择“用户组1”,然后单击“创建用户”。

2-8 加入用户组

界面将逐步创建好前面设置的3个用户。

为所有用户完成 ModelArts 全局配置

在使用ModelArts数据管理、模型管理等功能过程中,ModelArts可能需要访问您的 OBS、SWR、IEF等依赖服务。为保证ModelArts能够访问依赖服务,则需要针对当前 用户配置相关服务的访问授权。

推荐使用委托授权的方式,此方式只允许管理员帐号为IAM用户进行配置。因此,本 示例中,管理员帐号需为所有用户完成访问授权的配置。更多说明请参见准备工作>使

用委托授权。

1. 使用管理员帐号登录ModelArts服务管理控制台。

请注意选择左上角的区域,例如“华北-北京四”。

2. 在左侧导航栏单击“全局配置”,进入“全局配置”页面。

3. 单击“访问授权”。在弹出的“访问授权”窗口中,参考表2-3填写参数,勾选

“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“同意授权”。

2-3 参数说明

参数 说明

“授权方式” 请选择“使用委托”。

“用户名” 在右侧下拉框中选择帐号,默认选择“所有IAM用户(包括自 己)”,该选项表示会给所有IAM子用户包含当前帐号进行授 权。

在下拉框中,将显示当前帐号下的所有IAM用户,您也可以选 择为其中某一IAM用户配置委托。

最佳实践 2 配置 ModelArts 使用权限

(18)

参数 说明

“委托” 首次使用ModelArts全局配置时,暂无可用委托,此时您可以 单击“自动创建”,为用户名中选择的用户自动创建一个可用 的委托。

委托创建完成后,下拉框将自动选择自动创建好的委托。

2-9 使用委托授权

测试用户权限

由于OBS的权限需要等待15-30分钟生效,建议在配置完成后,等待30分钟后,再执行 如下验证操作。

1. 使用User-A、User-B或User-C任意一个用户登录ModelArts管理控制台。在登录页 面,请使用“IAM用户登录”方式进行登录。

首次登录会提示修改密码,请根据界面提示进行修改。

2. 验证ModelArts权限。

a. 在左上角选择区域,区域需与授权配置中的区域相同。本示例以“华北-北京 四”为例。

b. 在ModelArts左侧菜单栏中,选择“数据管理>数据集”,单击“创建数据 集”,如果可以正常打开创建页面,说明具备ModelArts的操作权限。

您也可以尝试其他功能,例如“训练管理>训练作业”、“开发环境

>Notebook”等,如能正常打开创建页面,即可正常使用ModelArts。

3. 验证OBS权限。

最佳实践 2 配置 ModelArts 使用权限

(19)

2.4 配置所有权限(策略)

本章节介绍如何为用户组1下所有用户配置ModelArts的所有权限。针对ModelArts和 OBS服务使用权限,本示例使用策略进行授权,即细粒度授权方式,可精确到具体操 作。

创建用户组

1. 在管理控制台中,单击右上角用户名,在下拉框中选择“统一身份认证”,进入 IAM服务。

2. 在左侧菜单栏中,选择“用户组”。

3. 单击右上角“创建用户组”,在“用户组名称”中填入“用户组1”,然后单击

“确定”完成用户组创建。

2-10 创建用户组

创建完成后,返回用户组列表。

为用户组配置 ModelArts 的操作权限

如下操作,将指导您为用户组1配置ModelArts的所有操作权限。用户组权限配置后,

其组内的所有用户将具备相应的权限。

首先,创建一个含ModelArts具体操作权限的自定义策略,然后为用户组授予此自定义 策略权限。

1. 创建自定义策略。更多指导请参见创建ModelArts自定义策略。

a. 在IAM管理控制台,选择“权限”。

b. 在“权限”页面,单击右上角“创建自定义策略”。

c. 填写自定义策略的详细配置。

策略名称:可自定义一个方便辨识的名称。

作用范围:选择项目级服务。ModelArts属于项目级服务。

策略配置方式:JSON视图。

最佳实践 2 配置 ModelArts 使用权限

(20)

策略内容:请获取如下所示策略示例进行配置。本示例提供两种策略示例,

您可以根据实际情况选择一种进行配置即可。

2-11 配置 ModelArts 自定义策略

配置ModelArts所有操作权限的策略。

{ "Version": "1.1", "Statement": [ {

"Action": [ "modelarts:*:*"

],

"Effect": "Allow"

} ] }

配置ModelArts普通用户的操作权限,除了专属资源池的增删改,其他功能均 具备权限。

{ "Version": "1.1", "Statement": [ {

"Action": [ "modelarts:*:*"

],

"Effect": "Allow"

}, {

"Action": [

"modelarts:pool:create", "modelarts:pool:update", "modelarts:pool:delete"

],

最佳实践 2 配置 ModelArts 使用权限

(21)

2. 给用户组添加配置好的自定义策略。

a. 在IAM管理控制台,选择“用户组”。

b. 在用户组1所在行,单击“权限配置”。

c. 单击“配置权限”,进入授权页面。

d. 在授权页面中,选择ModelArts自定义策略。

作用范围:选择“区域级项目”,同时选择对应区域,需与您使用的 ModelArts为同一区域,例如“华北-北京四”。

权限:在搜索框中输入关键词,选择步骤1创建的自定义策略。

2-12 添加自定义策略

e. 配置完成后,单击“确定”完成ModelArts权限配置。

为用户组配置 OBS 的操作权限

由于使用ModelArts过程中,需要将相关数据、代码或模型存储在OBS中,因此需获取 相应的OBS权限,才能正常使用ModelArts的所有功能。

本示例采用策略授权的方式,为用户配置OBS权限。首先,创建一个含OBS具体操作 权限的自定义策略(仅包含ModelArts所需的最小化授权范围),然后为用户组授予此 自定义策略权限。

1. 创建自定义策略。更多指导请参见OBS自定义策略。

a. 在IAM管理控制台,选择“权限”。

b. 在“权限”页面,单击右上角“创建自定义策略”。

c. 填写自定义策略的详细配置。

策略名称:可自定义一个方便辨识的名称。

作用范围:选择“全局服务”。请注意,此处与ModelArts自定义策略不同,

ModelArts属于区域级项目,OBS属于全局服务,使用时无需选择区域。

策略配置方式:JSON视图。

策略内容:请获取如下所示策略示例进行配置。本示例为ModelArts依赖OBS 服务的最小化权限项,包含OBS桶和OBS对象的权限。具备如下权限后,用 户即可在ModelArts中正常访问OBS。

最佳实践 2 配置 ModelArts 使用权限

(22)

2-13 配置 OBS 自定义策略

{ "Version": "1.1", "Statement": [ {

"Effect": "Allow", "Action": [

"obs:object:PutObjectAcl", "obs:bucket:PutBucketAcl", "obs:bucket:PutBucketPolicy", "obs:bucket:HeadBucket", "obs:bucket:ListAllMyBuckets", "obs:bucket:ListBucket",

"obs:object:DeleteObjectVersion", "obs:object:AbortMultipartUpload", "obs:object:DeleteObject", "obs:object:PutObject", "obs:bucket:CreateBucket", "obs:object:GetObject",

"obs:bucket:GetBucketLocation", "obs:object:GetObjectVersionAcl", "obs:bucket:GetBucketAcl",

"obs:object:ListMultipartUploadParts", "obs:bucket:ListBucketVersions", "obs:object:GetObjectVersion", "obs:object:GetObjectAcl", "obs:bucket:GetBucketPolicy"

] }

最佳实践 2 配置 ModelArts 使用权限

(23)

a. 在IAM管理控制台,选择“用户组”。

b. 在用户组所在行,单击“权限配置”。

c. 单击“配置权限”,进入授权页面。

d. 在授权页面中,选择OBS自定义策略。

作用范围:选择“全局服务”。

权限:在搜索框中输入关键词,选择步骤1创建的OBS自定义策略。

2-14 添加自定义策略

e. 配置完成后,单击“确定”完成OBS权限配置。

创建用户并加入用户组

1. 在IAM左侧菜单栏中,选择“用户”。

2. 单击右上角“创建用户”。

3. 在“创建用户”页面中,可在“用户信息”下方添加多个用户,在本示例中,添 加User-A、User-B、User-C三个用户。

请根据界面提示,填写必选参数,然后单击“下一步”。

2-15 创建多个用户

4. 在“加入用户组”步骤中,选择“用户组1”,然后单击“创建用户”。

2-16 加入用户组

最佳实践 2 配置 ModelArts 使用权限

(24)

界面将逐步创建好前面设置的3个用户。

为所有用户完成 ModelArts 全局配置

在使用ModelArts数据管理、模型管理等功能过程中,ModelArts可能需要访问您的 OBS、SWR、IEF等依赖服务。为保证ModelArts能够访问依赖服务,则需要针对当前 用户配置相关服务的访问授权。

推荐使用委托授权的方式,此方式只允许管理员帐号为IAM用户进行配置。因此,本 示例中,管理员帐号需为所有用户完成访问授权的配置。更多说明请参见准备工作>使

用委托授权。

1. 使用管理员帐号登录ModelArts服务管理控制台。

请注意选择左上角的区域,例如“华北-北京四”。

2. 在左侧导航栏单击“全局配置”,进入“全局配置”页面。

3. 单击“访问授权”。在弹出的“访问授权”窗口中,参考表2-4填写参数,勾选

“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“同意授权”。

2-4 参数说明

参数 说明

“授权方式” 请选择“使用委托”。

“用户名” 在右侧下拉框中选择帐号,默认选择“所有IAM用户(包括自 己)”,该选项表示会给所有IAM子用户包含当前帐号进行授 权。

在下拉框中,将显示当前帐号下的所有IAM用户,您也可以选 择为其中某一IAM用户配置委托。

“委托” 首次使用ModelArts全局配置时,暂无可用委托,此时您可以 单击“自动创建”,为用户名中选择的用户自动创建一个可用 的委托。

委托创建完成后,下拉框将自动选择自动创建好的委托。

2-17 使用委托授权

最佳实践 2 配置 ModelArts 使用权限

(25)

测试用户权限

由于OBS的权限需要等待15-30分钟生效,建议在配置完成后,等待30分钟后,再执行 如下验证操作。

1. 使用User-A、User-B或User-C任意一个用户登录ModelArts管理控制台。在登录页 面,请使用“IAM用户登录”方式进行登录。

首次登录会提示修改密码,请根据界面提示进行修改。

2. 验证ModelArts权限。

a. 在左上角选择区域,区域需与授权配置中的区域相同。本示例以“华北-北京 四”为例。

b. 在ModelArts左侧菜单栏中,选择“数据管理>数据集”,单击“创建数据 集”,如果可以正常打开创建页面,说明具备ModelArts的操作权限。

您也可以尝试其他功能,例如“训练管理>训练作业”、“开发环境

>Notebook”等,如能正常打开创建页面,即可正常使用ModelArts。

3. 验证OBS权限。

a. 在左上角的服务列表中,选择OBS服务,进入OBS管理控制台。

b. 在OBS管理控制台中,单击右上角的“创建桶”,如果能正常打开页面,表 示当前用户具备OBS的操作权限。

验证结束,当前用户同时具备ModelArts和OBS的操作权限,可正常开始使用 ModelArts服务。

2.5 配置部分功能的权限(策略)

本章节介绍如何为用户组2下所有用户配置ModelArts部分功能权限,针对部分功能授 权,则无法使用角色授权,需使用自定义策略的方式进行授权。

创建用户组

1. 在管理控制台中,单击右上角用户名,在下拉框中选择“统一身份认证”,进入 IAM服务。

2. 在左侧菜单栏中,选择“用户组”。

3. 单击右上角“创建用户组”,在“用户组名称”中填入“用户组2”,然后单击

“确定”完成用户组创建。

最佳实践 2 配置 ModelArts 使用权限

(26)

2-18 创建用户组

创建完成后,返回用户组列表。

为用户组配置 ModelArts 的操作权限

本示例指导您通过自定义策略,配置ModelArts部分功能的操作权限(拒绝用户使用开 发环境功能)。

首先,创建一个含ModelArts具体操作权限的自定义策略,然后为用户组授予此自定义 策略权限。

1. 创建自定义策略。更多指导请参见创建ModelArts自定义策略。

a. 在IAM管理控制台,选择“权限”。

b. 在“权限”页面,单击右上角“创建自定义策略”。

c. 填写自定义策略的详细配置。

策略名称:可自定义一个方便辨识的名称。

作用范围:选择项目级服务。ModelArts属于项目级服务。

策略配置方式:JSON视图。

策略内容:请获取如下所示策略示例进行配置。

最佳实践 2 配置 ModelArts 使用权限

(27)

2-19 配置 ModelArts 自定义策略

如下策略示例,拒绝用户使用开发环境功能。

说明

由于ModelArts内部机制问题,新创建的用户默认具备ModelArts的操作权限。当需 要配置部分功能权限时,需要使用Deny的方式进行配置,即配置不让用户使用某些 功能。

{ "Version": "1.1", "Statement": [ {

"Effect": "Deny", "Action": [

"modelarts:notebook:list", "modelarts:notebook:create" , "modelarts:notebook:get" , "modelarts:notebook:update" , "modelarts:notebook:delete" , "modelarts:notebook:action" , "modelarts:notebook:access"

] } ] }

d. 策略配置完成后,单击“确定”完成操作,界面将自动跳转至权限管理页 面。

2. 给用户组添加配置好的自定义策略。

a. 在IAM管理控制台,选择“用户组”。

b. 在用户组2所在行,单击“权限配置”。

c. 单击“配置权限”,进入授权页面。

d. 在授权页面中,选择ModelArts自定义策略。

作用范围:选择“区域级项目”,同时选择对应区域,需与您使用的 ModelArts为同一区域,例如“华北-北京四”。

最佳实践 2 配置 ModelArts 使用权限

(28)

权限:在搜索框中输入关键词,选择步骤1创建的自定义策略。

2-20 添加自定义策略

e. 配置完成后,单击“确定”完成ModelArts权限配置。

为用户组配置 OBS 的操作权限

由于使用ModelArts过程中,需要将相关数据、代码或模型存储在OBS中,因此需获取 相应的OBS权限,才能正常使用ModelArts的所有功能。

本示例采用策略授权的方式,为用户配置OBS权限。首先,创建一个含OBS具体操作 权限的自定义策略(仅包含ModelArts所需的最小化授权范围),然后为用户组授予此 自定义策略权限。

1. 创建自定义策略。更多指导请参见OBS自定义策略。

a. 在IAM管理控制台,选择“权限”。

b. 在“权限”页面,单击右上角“创建自定义策略”。

c. 填写自定义策略的详细配置。

策略名称:可自定义一个方便辨识的名称。

作用范围:选择“全局服务”。请注意,此处与ModelArts自定义策略不同,

ModelArts属于区域级项目,OBS属于全局服务,使用时无需选择区域。

策略配置方式:JSON视图。

策略内容:请获取如下所示策略示例进行配置。本示例为ModelArts依赖OBS 服务的最小化权限项,包含OBS桶和OBS对象的权限。具备如下权限后,用 户即可在ModelArts中正常访问OBS。

最佳实践 2 配置 ModelArts 使用权限

(29)

2-21 配置 OBS 自定义策略

{ "Version": "1.1", "Statement": [ {

"Effect": "Allow", "Action": [

"obs:object:PutObjectAcl", "obs:bucket:PutBucketAcl", "obs:bucket:PutBucketPolicy", "obs:bucket:HeadBucket", "obs:bucket:ListAllMyBuckets", "obs:bucket:ListBucket",

"obs:object:DeleteObjectVersion", "obs:object:AbortMultipartUpload", "obs:object:DeleteObject", "obs:object:PutObject", "obs:bucket:CreateBucket", "obs:object:GetObject",

"obs:bucket:GetBucketLocation", "obs:object:GetObjectVersionAcl", "obs:bucket:GetBucketAcl",

"obs:object:ListMultipartUploadParts", "obs:bucket:ListBucketVersions", "obs:object:GetObjectVersion", "obs:object:GetObjectAcl", "obs:bucket:GetBucketPolicy"

] } ] }

a. 策略配置完成后,单击“确定”完成操作,界面将自动跳转至权限管理页 面。

2. 给用户组添加配置好的自定义策略。

最佳实践 2 配置 ModelArts 使用权限

(30)

a. 在IAM管理控制台,选择“用户组”。

b. 在用户组所在行,单击“权限配置”。

c. 单击“配置权限”,进入授权页面。

d. 在授权页面中,选择OBS自定义策略。

作用范围:选择“全局服务”。

权限:在搜索框中输入关键词,选择步骤1创建的OBS自定义策略。

2-22 添加自定义策略

e. 配置完成后,单击“确定”完成OBS权限配置。

创建用户并加入用户组

1. 在IAM左侧菜单栏中,选择“用户”。

2. 单击右上角“创建用户”。

3. 在“创建用户”页面中,可在“用户信息”下方添加多个用户,在本示例中,添 加User-D、User-E、User-F三个用户。

请根据界面提示,填写必选参数,然后单击“下一步”。

2-23 创建多个用户

4. 在“加入用户组”步骤中,选择“用户组2”,然后单击“创建用户”。

最佳实践 2 配置 ModelArts 使用权限

(31)

2-24 加入用户组

界面将逐步创建好前面设置的3个用户。

为所有用户完成 ModelArts 全局配置

在使用ModelArts数据管理、模型管理等功能过程中,ModelArts可能需要访问您的 OBS、SWR、IEF等依赖服务。为保证ModelArts能够访问依赖服务,则需要针对当前 用户配置相关服务的访问授权。

推荐使用委托授权的方式,此方式只允许管理员帐号为IAM用户进行配置。因此,本 示例中,管理员帐号需为所有用户完成访问授权的配置。更多说明请参见准备工作>使

用委托授权。

1. 使用管理员帐号登录ModelArts服务管理控制台。

请注意选择左上角的区域,例如“华北-北京四”。

2. 在左侧导航栏单击“全局配置”,进入“全局配置”页面。

3. 单击“访问授权”。在弹出的“访问授权”窗口中,参考表2-5填写参数,勾选

“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“同意授权”。

2-5 参数说明

参数 说明

“授权方式” 请选择“使用委托”。

“用户名” 在右侧下拉框中选择帐号,默认选择“所有IAM用户(包括自 己)”,该选项表示会给所有IAM子用户包含当前帐号进行授 权。

在下拉框中,将显示当前帐号下的所有IAM用户,您也可以选 择为其中某一IAM用户配置委托。

“委托” 首次使用ModelArts全局配置时,暂无可用委托,此时您可以 单击“自动创建”,为用户名中选择的用户自动创建一个可用 的委托。

委托创建完成后,下拉框将自动选择自动创建好的委托。

最佳实践 2 配置 ModelArts 使用权限

(32)

2-25 使用委托授权

测试用户权限

由于OBS的权限需要等待15-30分钟生效,建议在配置完成后,等待30分钟后,再执行 如下验证操作。

1. 使用User-D、User-E或User-F任意一个用户登录ModelArts管理控制台。在登录页 面,请使用“IAM用户登录”方式进行登录。

首次登录会提示修改密码,请根据界面提示进行修改。

2. 验证ModelArts权限。

a. 在左上角选择区域,区域需与授权配置中的区域相同。本示例以“华北-北京 四”为例。

b. 在ModelArts左侧菜单栏中,选择“开发环境>Notebook”,界面右上角将 提示权限不足,表示此用户不具备Notebook操作权限,即前面的自定义策略 配置已生效。

2-26 提示权限不足

c. 在ModelArts左侧菜单栏中,选择“数据管理>数据集”,单击“创建数据 集”,如果可以正常打开创建页面,说明具备ModelArts的操作权限。

您也可以尝试其他功能,例如“训练管理>训练作业”等,如能正常打开创建 页面,即可正常使用ModelArts。

最佳实践 2 配置 ModelArts 使用权限

(33)

验证结束,当前用户同时具备ModelArts部分功能的操作权限,可正常开始使用 ModelArts服务。

最佳实践 2 配置 ModelArts 使用权限

(34)

3 自动学习

3.1 找云宝(使用自动学习实现物体检测应用)

3.2 银行存款预测(使用自动学习实现预测分析)

3.3 使用自动学习0代码开发图像分类AI模型

3.1 找云宝(使用自动学习实现物体检测应用)

针对业务开发者,ModelArts提供了自动学习功能,无需关注模型开发、参数调整等开 发细节,仅需三步(数据标注、自动训练、部署上线),即可完成一个AI开发项目。

本章节提供了一个“找云宝”样例(“云宝”是华为云的吉祥物),帮助您快速熟悉 ModelArts自动学习的使用过程。此样例为“物体检测”类别项目,通过预置的云宝图 像数据集,自动训练并生成检测模型,同时将生成的模型部署为在线服务。部署完成 后,用户可通过在线服务识别输入图片是否包含云宝。

开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。使用自动学 习功能完成模型构建的步骤如下所示:

步骤1:准备数据

步骤2:创建物体检测项目

步骤3:数据标注

步骤4:自动训练,生成模型

步骤5:将模型部署上线为在线服务

步骤6:测试服务

准备工作

● 已注册华为云帐号,且在使用ModelArts前检查帐号状态,帐号不能处于欠费或冻 结状态。

● 当前帐号已完成访问授权的配置。如未完成,请参考使用委托授权。针对之前使

最佳实践 3 自动学习

(35)

在ModelArts管理控制台,进入“数据管理 > 数据集”页面,单击“服务授 权”,由具备授权的帐号“同意授权”后,即可正常使用。如果使用“帐号”登 录,可直接在弹出对话框中同意授权。如果使用“IAM用户”(即子帐号)登 录,需主帐号或具备Admin权限的用户进行授权操作。

步骤 1:准备数据

ModelArts在公共OBS桶中提供了云宝的示例数据集,命名为“Yunbao-Data- Custom”,因此,本文的操作示例使用此数据集进行模型构建。您需要执行如下操 作,将数据集上传至您的OBS目录下,即准备工作中您创建的OBS目录“test-

modelarts/dataset-yunbao”。此处的OBS桶名称“test-modelarts”仅为举例,用户 需要自定义一个OBS桶名称。

如果您想使用自己的数据集,可跳过此步骤,直接将数据上传至OBS文件夹中,并在

步骤2:创建物体检测项目操作中直接选择此目录即可。

1. 单击数据集下载链接,将“Yunbao-Data-Custom”数据集下载至本地。

2. 在本地,将“Yunbao-Data-Custom.zip”压缩包解压。例如,解压至本地

“Yunbao-Data-Custom”文件夹下。

3. 参考上传文件,使用批量上传方式将“Yunbao-Data-Custom”文件夹下的所有 文件上传至“test-modelarts/dataset-yunbao”OBS路径下。

获取的数据集分为2个子目录,分别为“eval”和“train”。“train”存储的数据 用于模型训练,“eval”存储的数据可用于模型的预测。

步骤 2:创建物体检测项目

1. 在ModelArts管理控制台,单击左侧导航栏“自动学习”。

2. 在“物体检测”方框中单击“创建项目”,在“创建物体检测项目”页面中,填 写“名称”、“数据集名称”,选择“数据集输入位置”,云宝数据集OBS路径 为“/test-modelarts/dataset-yunbao/train/”。“数据集输出位置”选择一个空 目录。

说明

云宝数据集有“eval”和“train”两个目录,请选择“train”目录下的数据进行训练,如 果选择“train”的上层目录,会提示“OBS存在非法数据的错误”,导致无法创建项目。

最佳实践 3 自动学习

(36)

3-1 创建物体检测项目

3. 单击“创建项目”,完成物体检测项目创建。项目创建成功后,页面自动跳转至

“自动学习 > 数据标注”页面,并自动执行数据源同步操作。

步骤 3:数据标注

数据标注,针对物体检测项目,即在已有数据集图像中,标注出物体位置,并为其打 上标签。标注好的数据用于模型训练。云宝数据集中,已标注部分数据,还有部分数 据未标注,您可以选择未标注数据进行试用。

自动学习项目创建时,会自动执行数据源同步操作。由于数据源同步需要一定时间,

如果出现同步失败,可单击“同步数据源”手动执行。

1. 在“自动学习 > 数据标注”页面单击“未标注”页签,此页面展示所有未标注的 图片数据。单击任意一张图片,进入图片标注界面。

2. 用鼠标框选图片中的云宝所在区域,然后在弹出的对话框中输入标签名称,例如 此示例中的“yunbao”,按“Enter”键完成此图片的添加。标注完成后,左侧图 片目录中此图片的状态将显示为“已标注”。

您可以在下方图片目录中,选择其他图片,重复上述操作继续进行图片标注。如 果一张图片有多个云宝,您可以标注多处。建议将数据集中所有图片都标注完 成,这样能得到一个效果比较好的模型。

最佳实践 3 自动学习

(37)

3-2 物体检测图片标注

3. 当图片目录中所有图片都完成标注后,单击左上角“项目名称”,在弹出的对话 框中单击“确定”保存标注信息,页面进入数据标注页面。您可以在“已标注”

页签下查看已完成标注的图片,并通过右侧的标签信息,了解当前已完成的标签 名称和标签数量。

步骤 4:自动训练,生成模型

1. 完成数据标注后,在“数据标注”页面,单击右上角的“开始训练”,然后在弹 出的“训练设置”对话框中配置相关参数,参考图3-3填写相关参数。

最佳实践 3 自动学习

(38)

3-3 设置训练参数

2. 单击“下一步”进入配置页,确认规格后单击“提交”开始模型的自动训练。训 练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行训 练操作。

训练完成后,您可以在界面中查看训练详情,如“准确率”、“评估结果”、

“训练参数”、“分类统计表”等。

3-4 开始模型训练

步骤 5:将模型部署上线为在线服务

1. 在“模型训练”页签中,待训练状态变为“已完成”,单击“版本管理”区域中 的“部署”。

3-5 开始部署上线

最佳实践 3 自动学习

(39)

2. 在弹出的部署设置对话框中,选择“计算节点规格”,设置“自动停止”功能,

单击“确定”开始将物体检测模型部署上线为在线服务。

如果选择免费规格,则不需要设置“自动停止”功能,1小时之后自动停止。

3-6 部署设置

3. 启动部署上线后,系统自动跳转至部署上线页面。此页面将呈现模型部署上线的 进度和状态。

部署上线将耗费较多时间,请您耐心等待。部署完成后,版本管理区域的状态将 变更为“运行中”。

3-7 部署成功

步骤 6:测试服务

模型部署完成后,您可添加图片进行测试。

1. 在“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”区域 单击“上传”。

3-8 上传图片

最佳实践 3 自动学习

(40)

2. 从本地环境选择一张图片,此图片中包含云宝。然后单击“预测”进行测试。

预测完成后,右侧“预测结果”区域输出标签名称“yunbao”,以及位置坐标和 检测的评分。预测结果中,“detection_boxes”表示物体所在位置坐标,

“detection_scores”表示检测评分,表示坐标内图像是云宝的概览评分。

如模型准确率不满足预期,可在“数据标注”步骤中添加图片并进行标注,重新 进行模型训练及部署上线。

说明

由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管 理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继 续使用此云宝检测的服务,可单击“启用”恢复。

3-9 测试结果

3.2 银行存款预测(使用自动学习实现预测分析)

银行中常见一种业务:根据客户特征(年龄、工作类型、婚姻状况、文化程度、是否 有房贷和是否有个人贷款),预测客户是否愿意办理定期存款业务。

现在您可以使用ModelArts平台上的自动学习功能,预测某个客户是否会办理存款业 务。自动学习功能的使用流程如下所示:

1.

准备数据:下载数据集并上传至华为云OBS中。

2.

创建预测分析项目:基于已有的数据集,创建预测分析项目。

3.

训练模型:预览数据并选择训练目标,然后启动模型训练。

4.

部署模型:将训练好的模型部署为在线服务,并测试预测结果。

准备数据

最佳实践 3 自动学习

(41)

3-1 数据源的具体字段及意义

字段名 含义 类型 描述

attr_1 年龄 Int 表示客户的年龄。

attr_2 职业 String 表示客户所从事的职业。

attr_3 婚姻情况 String 表示客户是否结婚或已离异。

attr_4 教育情况 String 表示客户受教育的程度。

attr_5 房产情况 String 表示客户名下是否有房产。

attr_6 贷款情况 String 表示客户名下是否有贷款。

attr_7 存款情况 String 表示客户名下是否有存款。

3-2 数据集样本数据

attr_1 attr_2 attr_3 attr_4 attr_5 attr_6 attr_7 31 blue-

collar married secondar

y yes no no

41 manage

ment married tertiary yes yes no 38 technicia

n single secondar

y yes no no

39 technicia

n single secondar

y yes no yes

39 blue-

collar married secondar

y yes no no

39 services single unknown yes no no

1. 从gitee下载ModelArts-Lab工程,并在“ModelArts-Lab”工程中的

“\ModelArts-Lab-master\official_examples

\Using_ModelArts_to_Create_a_Bank_Marketing_Application\data”目录下获 取训练数据文件“train.csv”。

2. 将“train.csv”文件上传至OBS,例如“test-modelarts/bank-marketing”。

OBS上传文件的操作指导,请参见上传文件。

创建预测分析项目

1. 在ModelArts管理控制台,在左侧导航栏中选择“自动学习”。

最佳实践 3 自动学习

(42)

3-10 进入自动学习

2. 在“自动学习”页面,单击“预测分析”区域的“创建项目”。

3. 进入“创建预测分析项目”页面,然后设置项目“名称”,并选择“训练数据”

所在的OBS路径,本示例中,数据集路径为“test-modelarts/bank-marketing/

train.csv”。最后,单击“创建项目”完成操作。系统自动跳转至“自动学习 >

数据标注”页面,如图3-11所示。

3-11 创建预测分析项目

训练模型

1. 在“自动学习 > 数据标注”页面中,预览数据并选择训练目标。此处训练目标是 客户是否会办理存款(即“attr_7”),该列目标结果是“离散值”。训练目标选 择完成后,单击“训练”。

最佳实践 3 自动学习

(43)

3-12 选择训练目标

2. 在弹出的“训练设置”对话框中,选择训练使用的“计算规格”,单击“下一 步”进入配置页,确认规格后单击“提交”开始模型训练。

训练时间相对较长,建议您耐心等待。如果关闭或退出此页面,系统仍然在执行 训练操作。

3-13 训练设置

3. 在模型训练页面中,左侧的训练作业状态变为“已完成”时,表示训练作业已结 束,且右侧“训练详情”将展现此训练作业相关的详细信息。

3-14 训练结束

部署模型

1. 在“模型训练”页面,在“版本管理”区域,单击“部署”,系统开始部署服务 并自动跳转至“部署上线”页面。

2. 在“版本管理”区域,当状态变为“运行中”时,表示服务已部署完成。您可以 在预测区域,测试服务。

测试代码如下所示,如图3-15所示预测结果为“"predict": "no"”,表示此用户会 不办理存款。

{ "data":

{ "count": 1, "req_data":

最佳实践 3 自动学习

(44)

[ {

"attr_1": "34", "attr_2": "blue-collar", "attr_3": "single", "attr_4": "tertiary", "attr_5": "no", "attr_6": "no"

} ] }}

3-15 测试模型

3.3 使用自动学习 0 代码开发图像分类 AI 模型

该案例是使用华为云一站式AI开发平台ModelArts的“自动学习”功能,基于华为云AI 开发者社区AI Gallery中的数据集资产,让零AI基础的开发者完成“图像分类”的AI模 型的训练和部署。依据开发者提供的标注数据及选择的场景,无需任何代码开发,自 动生成满足用户精度要求的模型。可支持图片分类、物体检测、预测分析、声音分类 等场景。可根据最终部署环境和开发者需求的推理速度,自动调优并生成满足要求的 模型。

案例开始进行前,您需要确保符合以下要求:

● 硬件要求:一个联网的计算机

● 软件要求:Chrome浏览器

● 需要的知识点:熟悉电脑常规操作

开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。使用自动学 习功能完成模型构建的步骤如下所示:

步骤1:创建训练数据集

步骤2:创建自动学习图象分类项目

步骤3:模型部署

步骤4:清除相应资源

最佳实践 3 自动学习

(45)

准备工作

● 注册华为云帐号、实名认证

注册华为云帐号

进行实名认证

个人用户推荐使用人脸识别认证。

若无中国大陆身份证,仅可使用其他证件认证,并需等待三个工作日审 核。

● 配置委托访问授权

ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互,首次使用ModelArts 需要用户配置委托授权,允许访问这些依赖服务。

a. 使用华为云帐号登录ModelArts管理控制台,在左侧导航栏单击“全局配 置”,进入“全局配置”页面,单击“访问授权”。

b. 在弹出的“访问授权”窗口中,“授权方式”选择“使用委托”,选择需要 授权的“用户名”及其对应的“委托”(默认modelarts_agency即可),并 勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“同意授 权”。

3-16 配置委托访问授权

c. 完成配置后,在ModelArts控制台的全局配置列表,可查看到此帐号的委托配 置信息。

3-17 查看委托配置信息

● 入驻AI Gallery

首次在AI Gallery中使用AI资产,需要先完成入驻AI Gallery。

最佳实践 3 自动学习

(46)

a. 进入AI Gallery,在“资产集市>算法”页面上单击“发布”按钮,将跳转至

“欢迎入驻AI Gallery”页面。单击“入驻”跳转至“欢迎入驻AI Gallery”

页面。

3-18 入驻 AI Gallery

b. 在“欢迎入驻AI Gallery”,填写“昵称”和“邮箱”,并根据提示获取验证 码。阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》后,单击“确定”完成入驻。

3-19 完成入驻

步骤 1:创建训练数据集

最佳实践 3 自动学习

(47)

3-20 下载详情

3. 跳转到我的数据页面后,等待数据集下载完成。进入“目标位置”可以在对象存 储服务(OBS)中查看数据集储存位置;进入“目标数据集”可以在ModelArts控 制台选择“数据管理”>“数据集”查看数据集详情。

3-21 查看数据集

步骤 2:创建自动学习图像分类项目

1. 进入ModelArts控制台,在左侧导航栏选择“自动学习”>“图象分类”,单击

“创建项目”。

最佳实践 3 自动学习

(48)

2. 进入“创建图像分类项目”页面后,自行创建项目名称及描述。数据集来源选择

“已有数据集”,数据集名称选择前一步创建的数据集名称。确认无误后单击右 下角“创建项目”。

3-22 创建图象分类

3. 进入“数据标注”页面,可以看到全部40张已标注图片,玫瑰、雏菊、向日葵、

蒲公英四个类别各10张。单击右上角“开始训练”。

3-23 数据标注

4. 在弹出的“训练设置”中,数据集版本名称、训练验证比例、增量训练版本、最 大训练时长、训练偏好均选择默认即可,计算规格选择“自动学习免费规格

(GPU)”,并勾选下面的“我已阅读并同意以上内容”,单击“下一步”。确认 无误后,单击“提交”,进行模型训练。

最佳实践 3 自动学习

(49)

3-24 训练设置

5. 进入“模型训练”页面,等待模型训练完成,时长不超过5分钟。训练完成后,可 以查看模型准确率、评估结果、训练参数等训练信息。

3-25 查看训练信息

步骤 3:模型部署

1. 单击“部署”按钮。在弹出的“部署”中,计算节点规格选择“自动学习免费规 格(CPU)”,并勾选下面的“我已阅读并同意以上内容”,单击“下一步”。

确认无误后,单击“提交”,进行模型部署。

最佳实践 3 自动学习

(50)

3-26 部署模型

2. 部署成功后,即可进行在线测试。上传图片文件,单击“预测”,右侧“预测结 果”处显示预测结果。

3-27 在线测试

部署成功的在线服务不仅支持在线预测,同时也支持API调用。

步骤 4:清除相应资源

在完成预测之后,建议关闭服务,以免产生不必要的计费。

1. 停止运行服务

在版本管理页面,单击当前正在运行的服务的右侧的“停止”按钮,即可停止运 行该服务,计费终止。

最佳实践 3 自动学习

(51)

3-28 停止服务

2. 清除OBS中的数据。

a. 在控制台左侧导航栏的服务列表,选择“对象存储服务OBS”,进入OBS服务 详情页面。

b. 在左侧导航栏选择“桶列表”,在列表详情,找到自己创建的OBS桶,进入 OBS桶详情。

3-29 进入 OBS 桶

c. 在桶的详情页,左侧导航栏选择“对象”,在右侧“名称”列选中不需要的 存储对象,在操作列单击“更多”,选择“删除”,即可删除相应的存储对 象。

3-30 选择删除对象

最佳实践 3 自动学习

(52)

3-31 删除存储对象

以上就是整个案例的全部操作流程,通过该案例,您将会更进一步的学习到:

● 使用华为云一站式AI开发平台ModelArts。

● 使用华为云AI开发者社区AI Gallery订阅和使用数据集资产。

● 通过ModelArts体验自动学习功能,0代码开发您的第一个AI模型。

● 参与AI课程学习,与华为云AI社区小伙伴们一起学习AI开发。

最佳实践 3 自动学习

(53)

4 开发工具

4.1 使用PyCharm ToolKit工具快速实现模型训练和部署 4.2 使用Notebook实现手写数字识别(即将下线 )

4.3 使用PyTorch实现物体检测(Faster R-CNN)(即将下线)

4.1 使用 PyCharm ToolKit 工具快速实现模型训练和部署

本章节提供了使用MXNet实现手写数字图像识别应用的示例,帮助您使用ModelArts 提供的PyCharm ToolKit工具,在本地快速完成模型的训练和部署。更多关于PyCharm ToolKit工具的描述,请参见《工具指南》。

MNIST是一个手写体数字识别数据集,常被用作深度学习的入门样例。本示例将针对 MNIST数据集,使用MXNet原生接口编写的模型训练脚本(ModelArts默认提供),

在ModelArts PyCharm ToolKit中完成模型训练,并将此模型部署为在线服务。部署完 成后,用户可通过在线服务识别输入图片中的数字。

开始使用样例前,请仔细阅读准备工作罗列的要求,提前完成准备工作。本示例模型 构建的步骤如下所示:

准备工作

● 本地已安装PyCharm 2019.2或以上版本,推荐Windows版本,Community或 Professional均可,请单击PyCharm工具下载地址获取工具并在本地完成安装。

– 使用PyCharm ToolKit远程连接Notebook开发环境,仅限PyCharm专业版。

– 使用PyCharm ToolKit提交训练作业,社区版和专业版都支持,但仅限于提交 旧版训练作业,暂不支持新版训练作业。

● 已注册华为云帐号,且在使用ModelArts前检查帐号状态,帐号不能处于欠费或冻 结状态。

● 在ModelArts管理控制台中,当前帐号已完成访问授权的配置。如果已完成,此操 作可跳过。

如未完成,请参考使用委托授权。针对之前使用访问密钥授权的用户,建议清空 授权,然后使用委托进行授权。

● 已在OBS服务中创建桶和文件夹,用于存放样例数据集以及模型。如下示例中,

请创建命名为“test-modelarts”的桶,并创建如表4-1所示的文件夹。

最佳实践 4 开发工具

(54)

创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。确保您使用的OBS 目录与ModelArts在同一区域。

4-1 文件夹列表

文件夹名称 用途

“dataset-mnist” 用于存储数据集。

“mnist-output” 用于存储训练输出的模型和日志文件。

步骤 1:安装 PyCharm ToolKit,并添加访问密钥

1. 获取PyCharm ToolKit工具安装包,单击ToolKit工具的下载地址,获得工具包。

2. 打开本地PyCharm工具。

3. 在PyCharm工具中,选择菜单栏的“File > Settings”,弹出“Settings”对话 框。

4. 在“Settings”对话框中,首先单击左侧导航栏中的“Plugins”,然后单击右侧 的设置图标,选择“Install Plugin from Disk”,弹出文件选择对话框。

4-1 选择从本地安装插件

5. 在弹出的对话框中,从本地目录选择ToolKit的工具zip包,然后单击“OK”。

4-2 选择插件文件

最佳实践 4 开发工具

(55)

6. 单击“Restart IDE”重启PyCharm。在弹出的确认对话框中,单击“Restart”开 始重启。

4-3 重启 PyCharm

7. 重启成功后,打开一个Project,当PyCharm工具栏出现“ModelArts”页签,表 示ToolKit工具已安装完成。

4-4 安装成功

8. 单击工具栏上的“ModelArts > Edit Credential”,在PyCharm中添加访问密钥。

– 获取此帐号的访问密钥(“AK/SK”),详细操作请参见获取访问密钥。

– PyCharm ToolKit安装后,在ToolKit工具中添加访问密钥,详细操作请参见使

用访问秘钥登录。

最佳实践 4 开发工具

數據

表 3-1 数据源的具体字段及意义 字段名 含义 类型 描述 attr_1 年龄 Int 表示客户的年龄。 attr_2 职业 String 表示客户所从事的职业。 attr_3 婚姻情况 String 表示客户是否结婚或已离异。 attr_4 教育情况 String 表示客户受教育的程度。 attr_5 房产情况 String 表示客户名下是否有房产。 attr_6 贷款情况 String 表示客户名下是否有贷款。 attr_7 存款情况 String 表示客户名下是否有存款。 表 3-2 数据集样本数据
表 7-1 待创建的 OBS 文件夹列表 文件夹名称 用途 “dataset-mnist” 用于存储数据集。  “mnist-tensorflow-code” 用于存储训练脚本。 “mnist-model” 用于存储训练输出的模型和预测文件。 准备数据 ModelArts在公共OBS桶中提供了MNIST数据集,命名为“Mnist-Data-Set”,因此, 本文的操作示例使用此数据集进行模型构建。您需要执行如下操作,将数据集上传至  您的OBS目录下,即准备工作中您创建的OBS目录“test-modelar
表 7-2 上传示例文件至 OBS 文件名称 描述 上传至如下OBS路径中 “train_mnist_tf.py ” 训练脚本。  “test-modelarts-cz/mnist-tensorflow-code” “customize_service .py” 推理代码。 “test-modelarts-cz/mnist-model/model” 说明 ● 请在训练作业完成后,再执行上传操 作。 ●  训练任务完成后,会在“test-modelarts-cz/mnist-model”路径下自 动生成mod
表 9-1 文件夹列表 文件夹名称 用途  “obs://test-modelarts/deep-learning/mnist/” 用于存储训练脚本。  “obs://test-modelarts/deep-learning/mnist/dataset-mnist” 用于存储数据集。  “obs://test-modelarts/deep-learning/mnist/output” 用于存储训练输出文件。  “obs://test-modelarts/deep-learning/mnist/log” 用于
+3

參考文獻

相關文件

学与教资源 弹力带肌肉训练

 学校能考虑教育发展趋势 注三

鉴于课程发展和教学方法的研究和实践一日千里,加上教育局课程发展处多 年来透过不同途径,搜集各界对历史课程及教学等方面的意见,课程发展议会于

媒體可以說是內容、資訊最大的生產者,但受制於 國際社交媒體及搜尋平台的經營手法,本地主流媒 體在發展網上業務時,面對不公平的競爭。 這些

p AChE 抑制剂可抑制脑内突触间隙内 ACh 的降解,增强 毒蕈碱受体和烟碱受体处 ACh 的浓度,从而提高认知功 能,其疗效最明确、应用最广泛 , 是当前 AD

对于电磁现象,尽管我们仍然还是从力学的角度来理解各种各样的物理对象以及物理过程,但最关键

本程式要用到三個素材: 街道地圖 (舞臺背景) 、 媽媽 (角色) 和 蛋糕 (角色) , 應該如何安排到舞臺上?. 註 蛋糕 可在範例庫中找到, 媽媽 和

李胜宏 第44届IMO中国队领队、浙江大学教授、博士生导师 李伟固 国家集训队教练、北京大学教授、博士生导师 刘鸿坤 第31、32届IMO中国队副领队、华东师范大学教授 刘诗雄