AI演算法測評(二)–演算法測試流程
根據演算法測試過程中遇到的一些問題和管理規範, 梳理出演算法測試工作需要關注的一些點:
|
編號
|
名稱
|
描述資訊
|
備註
|
|
1
|
明確演算法測試需求
|
- 明確測試目的
- 明確測試需求, 確認測試需要的數據及場景
- 明確演算法服務流程, 確認演算法輸入\輸出的數據, 並向開發人員提出相關數據的輸出要求
- 確認時間節點與人力支援
|
- 在需求評審階段確認
- 若無評審, 需要跟相關人員進行確認
- 演算法測試需求種類:
- 01.演算法測試種類
- 註： 強烈建議事先對評審的項目的業務有所了解，對後續測試方案和數據採集有較大影響
|
|
2
|
編寫測試方案
|
- 確認演算法測試主要場景和測試場景資訊
- 確認各場景測試數據需求量
- 確認演算法標籤標準
- 確定演算法性能指標定義及計算公式
|
- 演算法測試方案模板:
- 演算法測試方案模板v1.0
- 測試方案模板示例:
- 演算法測試方案模板v1.0/示例–閱讀機二期/ASR演算法服務
|
|
3
|
測試數據方案
|
- 確認數據採集場所
- 確認數據採集設備及能夠正常使用
- 確認數據採集人員及進度安排
- 數據檢查\清洗與歸類
- 測試報告生成日期
|
- 測試數據方案模板:
- 測試數據方案模板v1.0
- 測試數據方案示例: 測試數據方案模板v1.0/示例–閱讀機二期/ASR演算法測試數據
|
|
4
|
演算法測試
|
- 確認演算法相關細節, 主要參考使用文檔或與演算法人員溝通
- 測試腳本編寫
- 測試指標統計及badcase樣例展示與保存
|
|
|
5
|
形成測試報告
|
- 得出測試結論, 與測試目的保持一致
- 測試小結, 總結測試過程中發現的其他問題
- badcase統計與展示
|
- 測試報告模板:
- AI演算法測試報告模板v1.1
- 測試報告示例1:
- 智慧識題演算法評測報告-v0.2.0
|
|
6
|
測試結果同步
|
|
|
|
7
|
測試數據與測試報告管理
|
- 對測試數據品質進行管理
- 測試數據版本管理
- 測試報告結果管理
|
|
