评估模型

训练得到模型之后，整个开发过程还不算结束，需要对模型进行评估和考察。往往不 能一次性获得一个满意的模型，需要反复的调整算法参数、数据，不断评估训练生成 的模型。

一些常用的指标，如精准率、召回率、F1值等，能帮助您有效的评估，最终获得一个 满意的模型。

前提条件

已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用，并训练模型，

详情请见训练模型。

整体评估

在“模型评估”页面，您可以针对当前版本的模型进行整体评估。

“整体评估”左侧显示当前模型的版本、标签数量、验证集数量。

“整体评估”右侧显示当前模型的评估参数值，包括“精准率”、“召回率”、“F1 值”。您可以在上方单击 选择“评估范围”，单击 “添加对比版本”。

图3-19 整体评估

详细评估

在“模型评估”页面，您可以搜索查看测试集中数据模型预测结果。

“详细评估”左侧在搜索框中搜索标签，右侧显示正确标签所对应样本的正确标签和 预测标签，您可以对比正确标签和预测标签，判断当前模型对该样本的预测是否正 确。

例如搜索框内输入标签“1”，下方会显示正确标签为“1”的样本中，预测正确的样 本数在验证集中的占比。右侧显示正确标签为“1”的样本信息，包括样本的正确标签 和预测标签。

图3-20 详细评估

后续操作

针对当前版本的模型，经过“整体评估”和“详细评估”后，如果根据业务需求，模 型还需继续优化，请单击“上一步”，回到“模型训练”步骤，详细操作指导请见训 练模型。

如果模型已达到业务需求，请单击“发布部署”，进入“服务部署”步骤，详情请见 部署服务。

3.3.7 部署服务

模型准备完成后，您可以部署服务，开发属于自己的文本分类应用，此应用用于分类 自己所上传的文字内容，也可直接调用对应的API。

前提条件

● 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用，并评估模 型，详情请见评估模型。

● 由于部署服务涉及ModelArts功能，需消耗资源，要确保账户未欠费。

● 如果部署服务使用专属资源池，需要在ModelArts创建专属资源池，详情请见资源 池。

操作步骤

在“服务部署”页面，按表3-4填写服务的相关参数，然后单击右下角的“部署”。

图3-21 服务部署

表3-4 服务部署参数说明

参数 说明

服务名称 待部署的服务名称，首次部署服务请单击 可修改默认服务名 称。

如果在不同版本非首次部署服务，服务名称不支持修改。

描述 待部署服务的简要说明。

资源池 用于部署服务的资源池和资源类型。资源池可选“公共资源池”

和“专属资源池”。

● “公共资源池”：提供公共的大规模计算集群，资源按作业 隔离。您可以按需选择不同的资源类型。

● “专属资源池”：提供独享的计算资源，不与其他用户共 享，更加高效。使用专属资源池需要在ModelArts创建专属资 源池，详情请见资源池。

计算节点规格 支持选择如下计算规格：

● “CPU：2 核 8 GiB”：适合纯CPU类型的负载运行的模型。

● “CPU+GPU：2 核 8 GiB + P4”：适合CPU+GPU类型模型的 运行，带有1个Nvidia P4卡。

服务自动停止 设置服务自动停止的时间，在线服务运行状态在所选的时间点后 自动停止，同时在线服务也停止计费。

计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1，表示后 台的计算模式是单机模式；如果节点个数设置大于1，表示后台 的计算模式为分布式的。请根据实际编码情况选择计算模式。

部署成功后，页面显示“服务部署成功”。您可以单击“查看应用监控”，进入应用 监控页面查看监控信息，详情请见监控应用。