【TI-ONE系列教程(三)】如何使用 TI-ONE 平台内置框架玩转算法大赛

  • 2020 年 5 月 7 日
  • AI

以下文章来源于腾讯智能钛AI开发者,作者智能钛

2020腾讯广告算法大赛已启动

智能钛 TI-ONE 作为本次大赛

官方唯一指定的机器学习平台

将在比赛全流程中为参赛选手

提供机器学习平台及计算资源支持

为方便选手快速上手使用平台

TI-ONE 特准备了大赛专用教程

本篇文章将告诉大家
如何使用 TI-ONE 平台内置框架
玩转算法大赛

———-以下为正文内容———-

在这篇文章中,我们用一个测试案例向您介绍 TI-ONE 内置框架的使用流程。以下内容和数据路径均为示例,仅演示流程,并非比赛官方数据。

智能钛平台的框架版本如下:深度学习框架:

  • TensorFlow:1.12
  • PyTorch:1.1.0
  • PyCaffe:1.0.0-rc3-ssd

机器学习框架:

  • Spark:2.4
  • PySpark:2.4
  • Analytics Zoo:0.7.0

一、新建工程与任务流

1.新建工程

登陆 TI-ONE 控制台,将平台地域切换为上海。

在工程列表页面,单击【我的工程】>【新建工程】。

根据提示填写工程信息,在下拉列表处选择 Bucket 名称,该工程里的训练数据、中间结果等内容将存入此 Bucket。注意COS Bucket 所需地域应为上海。

2.新建任务流

在工程中单击“+”号,您可新建自定义任务流。创建完成后点击进入画布。

二、获取数据路径

1.进入画布后,将【输入】-【公共数据集】-【算法大赛数据集】拖入画布,该数据集包括训练集和测试集。2.点击该组件,在右侧弹框中我们可以看到数据路径。建议您对该路径进行拷贝及存储,后续您需要通过入参形式进行数据导入。

注意:只有在各框架参数的【程序参数】栏目里才可以使用${ai_dataset_lib}${cos}此类标识符,因此您需要将数据集的输入和输出路径通过【程序参数】传递,而不能在脚本中直接导入。在本案例中,路径如下:

训练集路径:${ai_dataset_lib}/contest/demo/iris_training.csv

测试集路径:${ai_dataset_lib}/contest/demo/iris_test.csv

三、模型训练

1.选择框架

您可以在左侧算法栏中选择合适的框架。找到该框架拖入画布中,框架会与数据集自动连线,过程中任何连线或框架选择有误都可以通过【右键删除】。在本案例中,我们选择【TensorFlow】框架进行模型训练。

注意:使用框架训练需要通过入参的方式接入数据集,故在此处连线仅表示算子运行的前后顺序,不代表数据流向。您可以将数据集与框架相连进行训练,也可以在记录下数据集路径后将数据集组件删除,只拉取框架进行训练。

2.配置算法参数

点击该框架,在右侧弹窗中配置组件参数和资源参数,请您根据实际数据集情况进行填写。如果您使用内置框架,输出的结果文件需要与大赛要求的结果文件格式一致。本案例参数配置如下。

依赖包文件:如果入口脚本需要 import 项目中的其它自己编写的模块,需要将其它模块的代码上传至此。多个.py文件需要直接压缩成 zip 包上传,该 zip 包会被添加到 Python 的 path 中。需要注意,文件格式需要是.zip格式,通过tar压缩的格式不属于其类。

程序参数

  • 此处填入用户自定义参数,自定义参数将会传递给入口 py 文件。您需要将数据集的输入和输出路径通过此处传递,注意只有在程序参数里才可以使用 ${ai_dataset_lib}${cos}此类标识符,其中${cos}代表任务流所在的COS存储桶的根目录。
  • 输入路径:训练集和测试集路径我们已通过【算法大赛数据集】获取。
  • 输出路径:由用户自己指定。您可以在自己的 COS 存储桶中新建文件夹如【contest_result】,模型将会存储至该路径中,以便后续导入模型时查找。
  • 本案例中,各类程序参数填写如下:

–train_path ${ai_dataset_lib}/contest/demo/iris_training.csv–test_path ${ai_dataset_lib}/contest/demo/iris_test.csv–result_dir ${cos}/contest_result

  • TensorBoard 目录:指定 Tensorboard 保存路径。本案例此处无需填写。
  • 程序依赖:指定存储于cos上的依赖文件的路径,指定内容将被拷贝到程序脚本同一级目录下。本案例此处无需填写。
  • Python 版本:选择您需要的版本。本案例选择 3.5。
  • 资源类型:您可以按需选择。本案例选择 TI.MEDIUM4.2core4g。

四、运行工作流

配置完成后,单击画布上方【保存】可保存工作流,点击【运行】可运行工作流。

五、结果上传

训练完成后,您可以通过以下步骤进行结果文件的获取和上传。

1.结果文件路径

在框架参数的编写过程中,您已经指定了结果的储存路径,您可直接进入 COS 存储桶进行查找。本案例中,我们指定【contest_result】为存储路径。在COS 存储桶的文件列表中找到该文件夹,点击即可获取您的训练结果文件。

2.获取结果地址

您可以自行下载文件,点击【详情】,即可在详情页面获取【对象地址】。后续您可以在官网进行结果上传。

至此,我们完成了使用 TI-ONE 内置框架训练模型的流程。

了解更多 TI-ONE 平台资讯,

请扫码关注【腾讯智能钛AI开发者】

(ID:TI-ML-AI)

扫码加入大赛官方QQ群

或搜索群号:1094257162

和小伙伴一起解锁更多内容

扫描下方二维码

加入知识星球一起玩吧!

t.zsxq.com/2NVfaie (二维码自动识别)

点击下方链接,立即报名参赛

官方报名入口:

2020腾讯广告算法大赛algo.qq.com