数据工作流 | 一站式云上数据智能解决方案

2021 年 4 月 23 日
筆記
数据处理, 音视频处理

随着全球数字化进程的加速推进，以及 5G、人工智能等技术的快速发展，全球数据量飞速增长。根据国际权威机构 Statista 的预测¹，2025年全球数据产生量预计达到 175ZB（ZB 为字节计量单位，1ZB = 1012GB），而到2035年，这一数据将达到 2142ZB。

然而，数据作为重要战略资源，尚未得到充分有效的利用。根据 IDC 和希捷科技²的调研预测，未来两年，企业数据将以 42.2% 的速度保持高速增长。但是呢，仅有 32% 的数据得到了利用，企业数据管理仍然面临着诸多问题。

① 数据工作流全新上线！

如何上传时自动触发数据分析处理？
如何灵活组合复杂的多步数据处理逻辑？
如何高效处理大量并发的数据分析任务？

针对上述问题，腾讯云 COS 全新推出了一套完整的端到云到端的数据存储、处理、发布等“一站式”云上智能解决方案——数据工作流。通过数据工作流，您可以快速、灵活、按需搭建数据处理流程（如转码、水印、拼接、截图等），工作流将复杂的数据处理逻辑流程化、实例化、模版化，用户只需要关注处理任务的流程顺序编排，对上传到 COS 的文件按照指定的工作流进行自动化处理，避免了复杂的逻辑开发以及并发处理工作。

② 如何使用工作流

数据工作流的使用流程如下：

第一步，用户在控制台上配置工作流。工作流配置提供图形化界面，方便用户直观便捷的构建数据处理流程，同时提供了转码、水印、截帧、拼接、转动图、智能封面、语音识别、文档预览等丰富的 AI 处理能力，用户可以自定义处理参数，也可以使用预置的处理模版来配置处理任务。工作流支持多个处理串行、并行操作，以便用户灵活编排任务处理流程。

第二步，用户上传数据文件到 COS。

第三步，自动触发数据工作流执行。工作流通过 COS 上传触发执行或 API 手动触发执行，覆盖数据处理的各种使用场景。当触发工作流执行后，任务会进入队列中进行排列，根据优先级和提交顺序依次执行。

上传数据到 COS 触发工作流
工作流与 COS 存储桶的一个路径绑定，当文件上传至该路径时，该工作流就会被自动触发，执行指定的处理操作，并将处理结果自动保存至输出存储桶的指定路径下。
API 单次触发工作流
如果用户希望对单个对象或者一类对象进行处理，可以通过 API 手动触发的方式，来指定某个对象（需存储在 COS 中）立即执行某个特定的工作流。

第四步，数据处理完后发送消息给用户。数据处理成功后会将处理结果自动保存至输出存储桶的指定路径下，并将工作流的处理结果按照回调配置发送到指定的回调地址。同时，用户可以登录控制台查看具体工作流的执行情况，以及工作流中各个任务节点的执行情况。