4.6.1 工作流介绍
工作流简介
● 功能介绍
– 支持上传多种刹车盘图片数据,构建刹车盘的识别模型,用于快速、准确的 识别刹车盘类型。
– 支持一键部署模型和技能到边缘设备Atlas 500,并在华为HiLens平台上进行 模型管理和技能管理。
● 适用场景
汽车改装等场景。
● 优势
模型精度高,识别速度快;更新模型简便。
工作流流程
在“ModelArts Pro>视觉套件”控制台选择“我的工作流>刹车盘识别工作流”新建应 用,详细操作请见新建应用。您可以开发刹车盘识别模型,自主上传数据训练模型,
实现刹车盘类型识别功能。
图4-38 刹车盘识别工作流流程
表4-15 刹车盘识别工作流说明
流程 说明 详细指导
准备数据 在使用刹车盘识别工作流开发应用 之前,您需要提前准备用于模型训 练的数据,上传至OBS中。
准备数据 以直接调用对应的API和SDK识别。
部署服务
4.6.2 准备数据
在使用刹车盘识别工作流开发应用之前,您需要提前准备用于模型训练的数据,上传 至OBS服务中。
设计刹车盘标签
首先需要考虑好刹车盘的标签类型,即希望识别出图片中刹车盘的一种结果。例如可 以以“ventilation”(通风)、“physical”(实体)等分别作为刹车盘的类别。
数据集要求
● 文件名规范,不能有中文,不能有+、空格、制表符。
● 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、
BMP。
● 不要把明显不同的多个任务数据放在同一个数据集内。
● 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。
● 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。
● 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练 出效果较好的模型,建议每个分类标签准备200个以上的数据。
● 针对未标注数据,要求将图片放在一个目录里,示例如下所示。
├─dataset-import-example
│ IMG_20180919_114732.jpg
│ IMG_20180919_114745.jpg
│ IMG_20180919_114945.jpg
– 如果导入位置为OBS,用户需具备此OBS路径的读取权限。
– 只支持JPG、JPEG、PNG、BMP格式的图片。
● 针对已标注数据,刹车盘识别工作流仅支持一张图片识别单个标签,支持如下两 种数据格式。
– 相同标签的图片放在一个目录里,并且目录名字即为标签名。当存在多层目 录时,则以最后一层目录为标签名。
示例如下所示,其中“ventilation”和“physical”分别为标签名。
dataset-import-example
├─ventilation
│ 10.jpg
– 当目录下存在对应的txt文件时,以txt文件内容作为图像的标签,优先级高于 第一种格式。
示例如下所示,“import-dir-1”和“imort-dir-2”为导入子目录。
dataset-import-example
├─import-dir-1
│ 10.jpg
└─import-dir-2 1.jpg 1.txt 2.jpg 2.txt
单标签的标签文件示例,如1.txt文件内容如下所示:
ventilation
只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB,
且单次上传的图片总大小不能超过8MB。
上传数据至 OBS
使用ModelArts Pro进行应用开发时,您需要将数据上传至OBS桶中。
1. 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要 提前获得OBS授权,详情请见配置访问权限。
2. 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在 同一区域(目前仅支持华为-北京四),详情请见创建OBS桶。
3. 上传数据至OBS,OBS上传数据的详细操作请参见《对象存储服务快速入门》。
说明
● 您在创建OBS桶时,需保证您的OBS桶与ModelArts Pro在同一个区域。
● 建议根据业务情况及使用习惯,选择OBS使用方法。
● 如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使 用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,
更加便捷高效。
● 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上 传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理 操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命 令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较 好的选择。
● 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API 和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。
上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS 工具 指南》。 备,请提前在华为HiLens控制台注册HiLens Kit设备,详细注册方式请前往华为云 论坛参与讨论。
a. 登录“ModelArts Pro>视觉套件”控制台。
默认进入“应用开发>工作台”页面。
b. 选择已新建的应用名称,单击“操作”列的“查看”。
进入“应用总览”页面。
图4-39 进入应用总览
c. 在开发版本列表中单击“操作”列的“查看”。
进入“应用开发”页面。
图4-40 进入应用开发
新建训练数据集
在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根 据数据存储位置和数据标注情况,按表4-16填写数据集基本信息,然后单击“确 定”。
图4-41 新建数据集
表4-16 新建训练数据集参数说明
参数 说明
数据集名称 待新建的数据集名称。
描述 数据集简要描述。
数据集输入位置 训练数据存储至OBS的位置。
单击“数据集输入位置”右侧输入框,
在弹出的“数据集输入位置”对话框 中,选择“OBS桶”和“文件夹”,然 后单击“确定”。
数据集输出位置 待新建的数据集存储至OBS的位置。
待新建的数据集有一个默认存储位置。
如果需要修改数据集存储位置,请单击
“数据集输出位置”右侧的“修改”,
在弹出的“数据集输出位置”对话框 中,选择“OBS桶”和“文件夹”,然 后单击“确定”。
说明
“数据集输出位置”不能与“数据集输入位 置”为同一路径,且不能是“数据集输入位 置”的子目录。“数据集输出位置”建议选 择一个空目录。
新建训练数据集后,勾选当前应用开发所需的训练数据集。
由于模型训练过程需要有标签的数据,针对已上传的数据集,手动添加或修改标签。
单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在
“数据标注”页面手动标注数据,详细的操作指导请参考标注数据-图像分类。
导入数据集
1. 在“数据选择”页面,单击“导入数据集”。
弹出“导入数据集”对话框。
“导入数据集”对话框会显示您在刹车盘工作流创建的其他应用中已使用的数据 集信息,包括“数据集名称”和“标注进度”。
图4-42 导入数据集
2. 勾选数据集,然后单击“确定”。
数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。
3. 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。
由于模型训练过程需要有标签的数据,针对已上传的数据集,手动添加或修改标 签。
单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,
在“数据标注”页面手动标注数据,详细的操作指导请参考标注数据-图像分类。
查看标签解析
新建并选择训练数据集后,针对已标注的数据,在“标签解析”中查看标签样本的统 计数据,横轴为“标签”,纵轴为标签对应的有效“样本数”。
图4-43 标签解析
后续操作
选择训练数据集后,单击右下角的“下一步”,进入应用开发的“模型训练”步骤,
详细操作指引请参见训练模型。
4.6.4 训练模型
针对已标注完成的训练数据,开始训练模型,您可以查看训练的模型准确率和误差变 化。
前提条件
已在视觉套件控制台选择“刹车盘识别工作流”新建应用,并已执行完“数据选择”
步骤,详情请见选择数据。
训练模型
在“模型训练”页面,单击“开始训练”。
模型训练一般需要运行一段时间,等模型训练完成后,“开发应用>模型训练”页面下 方显示查看训练详情。
查看训练详情
模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情 况”和“误差变化”。
图4-44 模型训练
模型如何提升效果
● 检查是否存在训练数据过少的情况,建议每个类别的图片量不少于100个,如果低 于这个量级建议扩充。
● 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接 近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效 果。
● 选择适当的学习率和训练轮次。
● 通过详细评估中的错误识别示例,有针对性地扩充训练数据。
后续操作
模型训练完成后,单击“下一步”,进入应用开发的“模型评估”步骤,详细操作指 引请参见评估模型。
4.6.5 评估模型
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。往往不 能一次性获得一个满意的模型,需要反复的调整算法、数据,不断评估训练生成的模 型。
一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个 满意的模型。
前提条件
已在视觉套件控制台选择“刹车盘识别工作流”新建应用,并训练模型,详情请见训 练模型。
评估模型
在“模型评估”页面,您可以针对当前版本的模型进行模型评估,查看评估参数对比 和详细评估,也可以模拟在线测试。
图4-45 评估模型
● 模型评估
“模型评估”下侧显示当前模型的版本、验证集数量。
● 评估参数对比
“评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回 率”、“F1值”。您可以在上方单击 选择“评估范围”,单击 “添加对比版 本”。
● 详细评估
“详细评估”下方显示各个标签下正确率,即对应标签下预测正确的样本数占该 标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
后续操作
针对当前版本的模型,经过模型评估后,如果根据业务需求,模型还需继续优化,请 单击“上一步”,回到“模型训练”步骤,详细操作指导请见训练模型。
如果模型已达到业务需求,请单击“发布部署”,进入“服务部署”步骤,详情请见 部署服务。
4.6.6 部署服务
评估模型后,就可以部署服务,开发识别刹车盘类型的专属应用,此应用用于识别刹
评估模型后,就可以部署服务,开发识别刹车盘类型的专属应用,此应用用于识别刹