AI Creator 可视化模型训练平台操作示例
一个完整的 AI Creator 工作流如下图所示:
如果本地已有图⽚及标注数据且⽆需模型优化和部署时,流程可简化为:
数据准备
本地准备好两个⽂件夹,分别将图⽚数据指定⽤于训练和验证。这两个数据将会在后续的流程上传并使⽤。
项目创建
点击 AI Creator "我的项⽬" 菜单栏,进⼊我的项⽬。
我的项⽬主要⽤于管理⼯程项⽬的标注、模型训练、模型评估、模型验证以及模型发布和下载。
新建项目
点击"新建项⽬",输⼊项⽬名称并点击"下⼀步:导⼊项⽬数据"。将直接进⼊项⽬,并跳转到项⽬图集配置界⾯。
图集配置
AI Creator 中图⽚管理分为我的数据和项⽬图集
我的数据:公共数据集,当前⽤⼾的所有项⽬均可使⽤。如果有需要多个项⽬⽤到同⼀份数据集,可 以在我的数据中上传⼀份数据即可。(上传到公共数据集请参考:上传图⽚到公共数据集)
项⽬图集:项⽬数据集,项⽬中⽤到的数据集,包括系统⽣成的每个模块的数据。仅在当前项⽬中可⽤。
从我的数据导⼊
如果已经在公共数据集上传了数据,可以直接导⼊到项⽬图集中。
点击“导⼊数据”,选择需要导⼊的图集,点击确定即可完成导⼊
新建图集
在项⽬中,也可以直接上传图⽚到当前项⽬中,这部分图⽚将只能⽤于当前项⽬。
- 点击“新建图集”,输⼊图集名称,点击确定
- 点击图集的导⼊数据,选择图⽚进⾏上传
模型训练 & 评估
算法模块配置
进⼊项⽬,点击左侧“在线标注”,再点击“添加模块”,选择我们需要训练的算法,例如:定位
图⽚标注
在线标注
在线标注需要先关联图⽚到当前算法模块
- 点击关联图⽚,选择项⽬图集,如:焊点-训练集
💡注意
AI Creator ⽀持在线标注,同时也内置了多种标注⼯具
- 对于定位模块,可以使⽤定位标注⼯具、矩形或多边形标注⼯具进⾏标注,完成图⽚标注后,可以使⽤快捷键 (Ctrl + S) 或菜单保存并跳到下⼀张,快速保存并进⾏下⼀张图⽚进⾏标注。(建议标注10张以上图⽚数据⽤于训练)
离线标注导⼊
AI Creator 也⽀持离线标注导⼊,⽬前⽀持 Labelme 和 Pixel Anotation 两种标注格式的离线导⼊。
- 点击⼯作区左侧的折叠⾯板的"导⼊标注"
- 选择 Pixel Annotation 类型,⽂件⽀持 zip 格式,选择⽂件上传,并输⼊新建图集名称,然后点击确认
- AI Creator 会识别出已标注数据的相关信息,选择标签将离线标注数据和 AI Creator 标签对应
等待导⼊完成后,离线标注数据就能在 AI Creator 中编辑查看
模型训练
数据特征标注完成后即可进⾏模型训练
- 点击⼯作区右侧的“训练模型”
AI Creator 内置了默认参数配置,也会根据数据情况进⾏参数推荐。每个参数均有详细的补充说明。参数模版参⻅训练参数模版
- 点击"开始"训练后,会进⼊训练详情界⾯,可以查看当前任务的训练参数、预计耗时以及训练⽇志等信息
💡注意
如果退出详情界⾯,可以在"任务列表>训练任务"中找到当前正在训练的任务
模型评估
模型训练完成后,会⾃动进⾏⼀次模型评估,即使⽤已训练模型进⾏⼀次测试任务,根据测试情况将会给出模型的评估数据。也可以在测试结果中单独设置测试参数,进⾏模型评估。
测试任务完成后,可在项⽬测试结果⻚⾯点击图⽚查看测试结果
测试结果图⽚详情可以切换标注、测试结果,更⽅便查看当前模型训练的效果
添加算法模块
当前置模块训练好后,我们可以再添加⼀个模块,例如"分割"模块。
- 点击"定位"模块后的"+"号按钮,选择"分割"模块
分割模块的图⽚数据取⾃前⼀模块的预测结果,当前置模块有新的测试结果更新时,"导⼊前序图"按钮将变为绿色并带有小红点
- 点击导⼊前序图,选择前序预测成功结果,即可导⼊前⼀个算法模块的预测结果
直接导⼊:将跳过当前模块已经存在的图⽚,只导⼊新增的部分
覆盖导⼊:将覆盖当前模块已经存在的图⽚,在前序模块有新的模型⽣成时,可能需要使⽤。
对于分割标注,如果有多种缺陷,可以提前创建好缺陷标签。 3) 点击标注⼯具栏下的标签栏"+"号按钮添加标签或点击标签的"···"更多按钮修改标签
- 选择缺陷标签和标注⼯具,对图⽚进⾏数据标注
模型验证
经过多次的模型训练和评估,我们已经得到了我们"满意"的模型,可以使⽤模型验证功能验证模型的效果。
- 点击项⽬列表或项⽬标注界⾯的"模型验证"按钮,选择验证的模型版本和验证图集 (焊点-验证集) 进⾏验证
💡注意
验证任务可以在"任务列表>验证任务"中查看进度。
验证任务完成后,可以查看模型验证效果。
- 点击"任务列表 > 验证任务",找到对应的验证任务,点击"查看结果"。或者从项⽬ -> 标注⼯作区 -> 模型验证 -> 查看查看上次验证结果进⼊
模型验证结果会叠加在原图上进⾏展⽰,可点击"验证结果"勾选,隐藏或显⽰模型验证结果,可以便捷和⾼效查看模型效果
模型发布 & 下载
模型训练完成后,可直接下载单个模型。结合阿加犀 AI 模型部署优化平台:AIMO
模型优化
训练好的模型⽀持使⽤AIMO(模型优化平台)优化为⾼通 DLC / QNN 和 TFLite 等格式
一键优化
在项⽬中,点击“模型发布”菜单,点击⼀键优化,选择优化选项。 按需选择需要优化的输出的平台或模型格式,AI Creator 会将训练好的模型通过 AIMO ⾃动优化
高级优化
如对模型优化需要增加量化、混合精度等选项,可以使⽤⾼级优化选项。
点击模块的“⾼级优化”,将会调起 AIMO。提交后将会返回 AI Creator,优化进度会实时更新。
💡注意
AIMO 的使用说明请参考:模型优化平台 (AIMO) 用户指南
模型发布
当前项⽬下的模型都优化完成后,即可使⽤“模型发布”功能,将优化后模型以及模型相关参数打包发布为⼀个版本。
模型下载
AI Creator 可下载模型均为加密格式,需配套 AidLite SDK 进⾏加载和推理,如果需要获取⾮加密/原始模型,请联系我们开通相关访问控制。
训练好的模型可以在项⽬概览和项⽬标注界⾯下载指定算法模块的原始模型。
其他相关操作
上传图⽚到公共数据集
点击 AI Creator "我的数据"菜单栏,进⼊我的数据。 公共数据集,当前⽤⼾的所有项⽬均可使⽤。如果有需要多个项⽬⽤到同⼀份数据集,可以在我的数据中上传⼀份数据即可。
- 点击"新建图集",输⼊图集名称,选择本地准备的训练集图⽚,点击确定 图⽚⽀持 JPG、png、bmp 格式,⼀次最多上传 200 张图⽚,压缩包⽀持 zip、gz、tar,单个压缩包不 超过 1G
- 以同样的⽅式将验证集数据⼀并上传
数据预标注
AI Creator 2.1 新增预标注功能,针对已有优质模型,加样训练的场景,可以对新增图⽚或者模块未标注的图⽚进⾏预标注,快速完成标注。
- 点击⼯作区“仅对该图预标注”,即可对单张图进⾏预标注
- 点击“所有数据预标注”,即可对当前模块所有未标注的数据预标注,点击确认
- 预标注完成后,需要依次查看图⽚预标注结果,确认标注⽆误,点击保存即可应⽤
训练参数模板
AI Creator ⽀持将训练参数保存为模版
保存模板
点击项⽬⼯作区“模型训练”,再点击“保存为模版”,输⼊模版名称即可保存
使用模板
点击模型训练的“从参数模版导⼊”,再弹出的模版列表中选择要导⼊的模版即可