數據工作流 | 一站式雲上數據智能解決方案

2021 年 4 月 23 日
筆記
數據處理, 音視頻處理

隨着全球數字化進程的加速推進，以及 5G、人工智能等技術的快速發展，全球數據量飛速增長。根據國際權威機構 Statista 的預測¹，2025年全球數據產生量預計達到 175ZB（ZB 為位元組計量單位，1ZB = 1012GB），而到2035年，這一數據將達到 2142ZB。

然而，數據作為重要戰略資源，尚未得到充分有效的利用。根據 IDC 和希捷科技²的調研預測，未來兩年，企業數據將以 42.2% 的速度保持高速增長。但是呢，僅有 32% 的數據得到了利用，企業數據管理仍然面臨著諸多問題。

① 數據工作流全新上線！

如何上傳時自動觸發數據分析處理？
如何靈活組合複雜的多步數據處理邏輯？
如何高效處理大量並發的數據分析任務？

針對上述問題，騰訊雲 COS 全新推出了一套完整的端到雲到端的數據存儲、處理、發佈等「一站式」雲上智能解決方案——數據工作流。通過數據工作流，您可以快速、靈活、按需搭建數據處理流程（如轉碼、水印、拼接、截圖等），工作流將複雜的數據處理邏輯流程化、實例化、模版化，用戶只需要關注處理任務的流程順序編排，對上傳到 COS 的文件按照指定的工作流進行自動化處理，避免了複雜的邏輯開發以及並發處理工作。

② 如何使用工作流

數據工作流的使用流程如下：

第一步，用戶在控制台上配置工作流。工作流配置提供圖形化界面，方便用戶直觀便捷的構建數據處理流程，同時提供了轉碼、水印、截幀、拼接、轉動圖、智能封面、語音識別、文檔預覽等豐富的 AI 處理能力，用戶可以自定義處理參數，也可以使用預置的處理模版來配置處理任務。工作流支持多個處理串行、並行操作，以便用戶靈活編排任務處理流程。

第二步，用戶上傳數據文件到 COS。

第三步，自動觸發數據工作流執行。工作流通過 COS 上傳觸發執行或 API 手動觸發執行，覆蓋數據處理的各種使用場景。當觸發工作流執行後，任務會進入隊列中進行排列，根據優先級和提交順序依次執行。

上傳數據到 COS 觸發工作流
工作流與 COS 存儲桶的一個路徑綁定，當文件上傳至該路徑時，該工作流就會被自動觸發，執行指定的處理操作，並將處理結果自動保存至輸出存儲桶的指定路徑下。
API 單次觸發工作流
如果用戶希望對單個對象或者一類對象進行處理，可以通過 API 手動觸發的方式，來指定某個對象（需存儲在 COS 中）立即執行某個特定的工作流。

第四步，數據處理完後發送消息給用戶。數據處理成功後會將處理結果自動保存至輸出存儲桶的指定路徑下，並將工作流的處理結果按照回調配置發送到指定的回調地址。同時，用戶可以登錄控制台查看具體工作流的執行情況，以及工作流中各個任務節點的執行情況。