【TI-ONE系列教程(三)】如何使用 TI-ONE 平台內置框架玩轉算法大賽
- 2020 年 5 月 7 日
- AI
以下文章來源於騰訊智能鈦AI開發者,作者智能鈦

2020騰訊廣告算法大賽已啟動
智能鈦 TI-ONE 作為本次大賽
官方唯一指定的機器學習平台
將在比賽全流程中為參賽選手
提供機器學習平台及計算資源支持
為方便選手快速上手使用平台
TI-ONE 特準備了大賽專用教程
本篇文章將告訴大家
如何使用 TI-ONE 平台內置框架
玩轉算法大賽
———-以下為正文內容———-
在這篇文章中,我們用一個測試案例向您介紹 TI-ONE 內置框架的使用流程。以下內容和數據路徑均為示例,僅演示流程,並非比賽官方數據。

智能鈦平台的框架版本如下:深度學習框架:
- TensorFlow:1.12
- PyTorch:1.1.0
- PyCaffe:1.0.0-rc3-ssd
機器學習框架:
- Spark:2.4
- PySpark:2.4
- Analytics Zoo:0.7.0
一、新建工程與任務流
1.新建工程
登陸 TI-ONE 控制台,將平台地域切換為上海。
在工程列表頁面,單擊【我的工程】>【新建工程】。

根據提示填寫工程信息,在下拉列表處選擇 Bucket 名稱,該工程里的訓練數據、中間結果等內容將存入此 Bucket。注意COS Bucket 所需地域應為上海。

2.新建任務流
在工程中單擊「+」號,您可新建自定義任務流。創建完成後點擊進入畫布。

二、獲取數據路徑
1.進入畫布後,將【輸入】-【公共數據集】-【算法大賽數據集】拖入畫布,該數據集包括訓練集和測試集。2.點擊該組件,在右側彈框中我們可以看到數據路徑。建議您對該路徑進行拷貝及存儲,後續您需要通過入參形式進行數據導入。
注意:只有在各框架參數的【程序參數】欄目里才可以使用${ai_dataset_lib}
和${cos}
此類標識符,因此您需要將數據集的輸入和輸出路徑通過【程序參數】傳遞,而不能在腳本中直接導入。在本案例中,路徑如下:
訓練集路徑:${ai_dataset_lib}/contest/demo/iris_training.csv
測試集路徑:${ai_dataset_lib}/contest/demo/iris_test.csv

三、模型訓練
1.選擇框架
您可以在左側算法欄中選擇合適的框架。找到該框架拖入畫布中,框架會與數據集自動連線,過程中任何連線或框架選擇有誤都可以通過【右鍵刪除】。在本案例中,我們選擇【TensorFlow】框架進行模型訓練。
注意:使用框架訓練需要通過入參的方式接入數據集,故在此處連線僅表示算子運行的前後順序,不代表數據流向。您可以將數據集與框架相連進行訓練,也可以在記錄下數據集路徑後將數據集組件刪除,只拉取框架進行訓練。

2.配置算法參數
點擊該框架,在右側彈窗中配置組件參數和資源參數,請您根據實際數據集情況進行填寫。如果您使用內置框架,輸出的結果文件需要與大賽要求的結果文件格式一致。本案例參數配置如下。


依賴包文件:如果入口腳本需要 import 項目中的其它自己編寫的模塊,需要將其它模塊的代碼上傳至此。多個.py文件需要直接壓縮成 zip 包上傳,該 zip 包會被添加到 Python 的 path 中。需要注意,文件格式需要是.zip格式,通過tar壓縮的格式不屬於其類。

程序參數:
- 此處填入用戶自定義參數,自定義參數將會傳遞給入口 py 文件。您需要將數據集的輸入和輸出路徑通過此處傳遞,注意只有在程序參數里才可以使用
${ai_dataset_lib}
和${cos}
此類標識符,其中${cos}
代表任務流所在的COS存儲桶的根目錄。 - 輸入路徑:訓練集和測試集路徑我們已通過【算法大賽數據集】獲取。
- 輸出路徑:由用戶自己指定。您可以在自己的 COS 存儲桶中新建文件夾如【contest_result】,模型將會存儲至該路徑中,以便後續導入模型時查找。
- 本案例中,各類程序參數填寫如下:
–train_path ${ai_dataset_lib}/contest/demo/iris_training.csv–test_path ${ai_dataset_lib}/contest/demo/iris_test.csv–result_dir ${cos}/contest_result
- TensorBoard 目錄:指定 Tensorboard 保存路徑。本案例此處無需填寫。
- 程序依賴:指定存儲於cos上的依賴文件的路徑,指定內容將被拷貝到程序腳本同一級目錄下。本案例此處無需填寫。
- Python 版本:選擇您需要的版本。本案例選擇 3.5。
- 資源類型:您可以按需選擇。本案例選擇 TI.MEDIUM4.2core4g。

四、運行工作流
配置完成後,單擊畫布上方【保存】可保存工作流,點擊【運行】可運行工作流。

五、結果上傳
訓練完成後,您可以通過以下步驟進行結果文件的獲取和上傳。
1.結果文件路徑
在框架參數的編寫過程中,您已經指定了結果的儲存路徑,您可直接進入 COS 存儲桶進行查找。本案例中,我們指定【contest_result】為存儲路徑。在COS 存儲桶的文件列表中找到該文件夾,點擊即可獲取您的訓練結果文件。

2.獲取結果地址
您可以自行下載文件,點擊【詳情】,即可在詳情頁面獲取【對象地址】。後續您可以在官網進行結果上傳。


至此,我們完成了使用 TI-ONE 內置框架訓練模型的流程。
了解更多 TI-ONE 平台資訊,
請掃碼關注【騰訊智能鈦AI開發者】
(ID:TI-ML-AI)

掃碼加入大賽官方QQ群
或搜索群號:1094257162
和小夥伴一起解鎖更多內容

掃描下方二維碼
加入知識星球一起玩吧!
//t.zsxq.com/2NVfaie (二維碼自動識別)
點擊下方鏈接,立即報名參賽
官方報名入口: