從技術迭代到實踐應用,一文看透AI中台演進之路
- 2019 年 12 月 10 日
- 筆記
出品 | AI科技大本營(ID:rgznai100)
一、 AI平台的概念
「AI平台」這個概念,也是最近兩年才逐漸流行起來。在2015年之前,與AI平台概念比較相近的是數據建模工具,如比較著名的SAS跟SPSS等。2016年以來,伴隨AlphaGO引領著AI概念的廣泛傳播,AI平台逐步在中國流行起來。國外在定義AI的概念時,主要根據其兩大用途進行劃分,一是通過機器學習的能力進行數據分析,一般稱之為機器學習平台(Machine Learning Platform)或者數據科學平台(Data Science Platform),另外則是通過NLP或者CV介面提供通用AI識別能力,通常稱之為AI智慧介面。而中國在定義AI平台時,最初只是將「通過雲端方式提供深度學習演算法或者深度學習模型」稱為AI平台。隨著深度學習熱度的褪去,這個市場由於沒有足夠的落地場景而冷卻,AI平台也隨之將數據科學平台的能力與深度學習演算法能力逐步結合起來。2018年以來,數據中台及AI平台的概念逐漸興起,也有不少人將AI平台的概念融入中台,稱之為AI中台。
我們認為,用AI中台去概括AI平台的功能是遠遠不夠的。這是因為當我們將AI平台與數據中台做對比時,可以發現:數據中台提供的能力是將通用的數據抽象化、服務化以及資產化;對於AI平台來說,除了上述能力外,還提供了數據處理、數據建模、數據分析以及模型上線等全周期能力。而這些能力不是單單中台這個概念能夠概括的。
二、 AI平台的發展歷史與功能特點
AI平台的發展是隨著AI應用的落地逐步深入的。2015年及之前的時期,由於深度學習沒有大規模的落地,傳統的機器學習或者數據分析手段則會更多地配合統計分析做數據挖掘。所以這時,AI平台只是一個數據之上的工具。
而從2012年開始盛行的大數據技術,逐漸模糊了大數據與數據挖掘的界限,也使得機器學習技術向分散式、大規模、集群化發展,一些公有雲廠商也開始提供機器學習的服務平台。而在2016年之後,以深度學習為代表的所謂AI技術逐漸進入公眾視線,機器學習平台開始與深度學習平台融合,我們也開始將這個統一平台稱之為AI平台。
從AI平台的發展史中,不難看出,這是一個功能複雜、多技術、全場景的賦能平台,也是一個糅合了傳統數據挖掘能力、大數據能力以及深度學習能力的分散式平台。因此,我們從以下三個維度來總結AI平台的能力:
- 產品維度:數據處理的全生命周期
AI平台應該具備數據接入、特徵處理、模型訓練、建模分析、模型上架、模型運行、線上業務接入等數據處理的全生命周期的能力。通過AI平台,一般業務人員或者數據科學家能比較輕易地將數據分析或者是AI建模相關的服務落地,無論是以形成數據報表還是提供對外服務的形式。
- 場景維度:跨行業的基礎平台
AI平台不會局限在某一個特定的行業,它將服務於所有需要數據分析能力的行業。但這不是說AI平台只具備通用演算法,而不具備將通用演算法在不同行業落地的能力。比如,在星環的AI平台Sophon里,我們就提供了「Model Mart」,能夠將不同行業的模型抽象成模型模板。
- 市場定位:通用的PAAS層服務
AI平台自身不是應用,不能直接發揮其業務價值。同時,它也不是最終的虛擬化IaaS平台,或者數據存儲服務平台。它的定位應該是能通過一個平台去提供不同業務部門需要的數據分析能力或者AI模型。
三、 AI平台的技術變遷
星環科技在AI平台的實踐之路,基本代表了AI平台的發展之路。一方面,構建AI平台需要較為深厚的技術團隊來從底層打造技術架構。另一方面,AI技術要在不同行業落地,需要與不同行業深入打磨迭代,形成可落地的解決方案。
從技術變遷的角度看,AI平台從興起到目前的發展基本上可以分為四個階段:
1. 分散式機器學習階段
分散式機器學習的興起,是由大數據技術落地來驅動的。隨著大數據技術的興起,分散式架構逐漸成為行業主流。這是因為傳統的數據分析技術已經不能滿足大數據上的分析需求,無論是技術公司還是不同行業的公司都逐步採用分散式架構來做數據分析。另一方面,開源領域的百花齊放,使得相關技術堆棧逐步形成配套體系。
在這個階段,AI平台基本上是基於大數據平台相關的技術堆棧來形成AI相關的技術方案。主要是以Hadoop以及Spark相關框架為核心,提供數據接入、特徵提取、數據建模、可視化分析等功能。
2. 深度學習融合架構階段
隨著以深度學習為標誌的AI技術開始落地,機器學習平台與深度學習的融合也變成一個趨勢。融合的技術架構,需要有一個通用的技術架構層來支撐。星環在對應的AI平台Sophon中提煉了專門的框架層,通過中間層來實現同時對底層分散式計算框架以及深度框架的對接。
由於深度學習的需要,GPU的需求成為了AI平台的必要配置。因此,Sophon的技術架構層需要增加對GPU的虛擬化調度的需求。
3. 虛擬化分散式架構階段
隨著雲化方案的普及,尤其是kubernetes與docker技術架構的不斷優化與應用,虛擬化的分散式部署方案越來越成為行業主流。
對於AI平台來說,通過虛擬化技術能夠解決三大塊的業務痛點。首先,對於模型訓練來說,以往通過物理的分散式運行,尤其是通過物理YARN來做資源調度,沒辦法與物理資源進行關聯,也沒辦法做細粒度的資源調度與動態擴容。其次,對於模型部署來說,原有物理部署的方式,對環境依賴比較大,無法實現比較靈活的上架、線上監控與模型精度比對等功能。最後,由於AI技術的發展迅猛,一些新的框架與類庫無法較容易地直接應用於平台,而通過docker鏡像,就能比較靈活地針對不同用戶進行訂製化建模環境的切換。
虛擬化部署帶來的巨大優勢也影響了AI平台的部署模式,從原來的物理部署,已逐步遷移到私有雲、公有雲的虛擬化部署,與雲端資源管控進行有效結合,從而可以及時評估AI平台的性價比。
4. 雲邊一體階段
隨著5G的逐步落地,以及物聯網場景的拓展,越來越多的場景,需要用到AIOT的整體解決方案。所謂的AIOT場景,就是將AI的能力慢慢拓展到物聯網的邊緣設備,使得邊緣端也具備AI的能力。
而對大多數的AIOT場景來說,固定的,單一的AI能力,無法提供長期有效的業務支撐。常見的場景,比如設備的預測性維護,工廠或者園區的安防監控等等,往往針對的是多變的場景,需要AI技術提供方提供動態的AI模型。
因此,雲邊一體的方案往往比較適合這一類的場景。整個業務流轉的流程如下:數據通過邊緣智慧設備接入雲端=> 雲端AI平台將數據轉化為AI模型 => AI平台通過邊緣插件將AI模型部署到邊緣端 => 邊緣AI模型通過分析,過濾掉大多數無用數據,從而提升頻寬的利用率。
星環Sophon提供的方案是通過Edge插件,打通邊緣端與雲端,在邊緣端通過EdgeManager與雲端進行整合,從而能支撐大多數的AIOT場景。
四、 AI平台的行業實踐
AI平台的技術發展,離不開在不同行業的落地深耕。我們將在深入了解的幾個相關行業中選擇幾個重要的特徵維度,用於描述與區分不同行業的發展背景與AI平台落地的進展。
1. 原有相關技術使用情況。比如,對大多數銀行而言,在數據分析場景中,之前主要使用的是SAS,現階段利用新的AI平台進行工具替換,是一件自然而然的事情。
2. 數字化轉型狀態。對於大多數傳統行業來說,數據化轉型還停留在第一階段——數據的採集與整理。那麼對於這些行業來說,大家首先考慮的當然是怎樣把數據採集並存儲好,而不是基於有效的數據去進行一些深度挖掘與建模。
3. 自身技術水平。對於大多數傳統行業來說,AI平台的落地是與該行業內相關從業人員的技能水平密切相關。越是存在較多AI專業人才的行業,AI平台發展速度越迅猛。
4. 行業整體經營水平。越是行業形勢普遍較好的企業,越需要AI平台去覆蓋該企業的各條業務線,進行智慧化改造。而整體盈利能力比較困難的企業,更多考慮的往往是企業的生死存亡。
5. 痛點需求密集程度。對於某些行業來說,AI技術帶來的收益並沒有那麼高,企業自然沒有足夠動力去改造與推動AI落地。而對一些有真實痛點的企業來說,如果AI技術能幫助企業掙錢或者省錢,企業將會有足夠動力去推動AI落地,從而逐步加大對AI平台的投入。
針對上面的特徵維度,我們將相關行業總結在下面的圖表中,並會選擇一些行業深入介紹。
序號 | 大行業 | 細分行業 | 原有相關技術使用情況 | 數字化轉型狀態 | 自身技術水平 | 行業整體經營水平 | 痛點需求密集程度 |
|---|---|---|---|---|---|---|---|
1 | 金融 | 銀行 | 較多 | 成熟 | 中等 | 較高 | 較高 |
2 | 券商 | 較多 | 成熟 | 較高 | 較高 | 較高 | |
3 | 能源 | 電力 | 較少 | 較成熟 | 中等 | 較高 | 較高 |
4 | 石化石油 | 較少 | 較成熟 | 中等 | 較高 | 中等 | |
5 | 政府 | 所有機構 | 較少 | 不成熟 | 較低 | 中等 | 較低 |
6 | 製造 | 汽車 | 較少 | 不成熟 | 中等 | 中等 | 中等 |
7 | 其他製造 | 較少 | 不成熟 | 較低 | 較低 | 中等 |
1. 金融-銀行
AI平台在銀行界的落地是相對較早的。SAS早已在銀行業立足,並長期為銀行提供核心的風控與營銷能力。考慮到,銀行的核心業務就是將儲蓄與貸款業務推出去,並在良好的風控條件下控制壞賬率和吃利差。一方面,SAS的普遍落地使得銀行對AI平台本身的價值較為認可。另一方面,互聯網金融、消費金融貸等新興業務模式的興起,使得原有的SAS平台不足以支撐新業務,甚至由於數據量的大規模增加,原有業務的開展也受到了較大阻力。
除了通過AI平台來進行風控與營銷的常規數據分析類工作,銀行也逐步嘗試將知識圖譜引入風控與營銷的業務流程中。通過AI基礎平台與知識圖譜的打通,能有效地將業務知識與分析推理聯繫起來,從而走向真正的智慧化。
因此,對於大多數AI平台廠商來說,銀行客戶都是極具落地價值的優質客戶。銀行本身作為替換型市場前期不需要太多的市場教育,同時,其體量也較大,有進行試錯與探索的空間。
2. 金融-券商
將券商從金融行業裡面單獨拎出來的一個原因是它具有代表性。與大多數行業的從業素質對比,券商行業的整體從業素質較高。對應地,AI平台在券商行業落地的很大一個原因就是,券商從業人員自身可能就是平台的深度用戶。
我們看到,券商將AI平台作為量化建模、投研分析人員日常建模研究的工具平台,充分利用了AI平台建模靈活性以及資源虛擬化的特性,從而實現資源的合理分配,並能夠充分利用現有數據,進行量化建模或者投研分析。
當然我們看到知識圖譜對券商來說也非常重要,知識傳遞、輿情監控是投研、投資經理等關注的重要特性。這是因為投資本身具備與市場的緊密相關性,及時得到相關消息,並且進行知識傳遞與推導,哪怕只領先對手10微秒,也能帶來極大的交易優勢。
3. 能源-電力
作為一個肥沃的壟斷行業,電力行業成為了很多技術創新型企業的最佳目標客戶。然而,由於其行業壟斷特性,也使得它本身形成了較大的進入壁壘,同時也對技術要求比較高。
作為top薪資的國企,電力行業曾經吸引了全國最優秀的畢業生,這也就意味著電力行業本身從業人員的素質並不低。同時,這也是電力公司對AI平台的熱情和動力比較高的原因之一。
在實際落地過程中,電力行業的普遍痛點還是在於如何降低發電、輸電、配電、用電端的人工成本,並保證安全操作。在這種情形下,對影片影像分析、邊緣計算等技術產生了強烈的需求。另外,電力行業的業務核心在於如何提升發電、輸電、用電的整體效率,減少損耗。這是許多電力研究院的核心研究課題,其本身也會基於一些分析工具去做。而對於AI平台來說,這也是很不錯的進入機會。
4. 能源-石化石油
石化石油行業與電力行業類似,一方面由於壟斷特性導致壁壘較高,另一方面也需要非常高的技術能力來保證大規模的場景落地。除了銷售類場景,石化石油行業也有管道監控、保證安全施工等場景需求。
5. 政府
政府本身具有大量的優質數據,大多數政府部門需要的功能支撐相對簡單,不需要使用過多深度技術。然而,有一些部門還是對特定的技術有深度的剛性需求。
6. 汽車製造
汽車作為國家的支柱行業,研發能力是保證其競爭力的核心,因此大多數車企的核心研發機構都會對AI平台有一定的需求,以支撐他們的整體智慧化轉型。
然而,這兩年,整個汽車市場進入寒冬,導致其行業的AI整體需求還是處於比較焦灼的探索階段,未來還有很長的路要走。
7. 其他製造
雖然國家已將智慧製造提上議程,但也並沒有真正激活整體製造業的轉型升級熱情。這是因為,對於大多數製造業企業來說,當前最核心的痛點是如何做到數字化轉型的第一步——將原本沒有採集上來的數據先做收集存儲。另外,對許多利潤率不高的製造業而言,將資源投入到最迫切的地方是他們決策的核心要求,因此整體較為保守。所以雲化的按需使用的AI平台是他們比較偏好的選擇。
五、 未來之路
AI平台的發展之路還很長,其中有技術的迭代演進對企業創新的要求,也有在不同行業落地過程中的業務碰撞帶來的困難。然而,我們還是明顯地感受到AI平台自身的熱度在逐漸增強,使用場景也變得越來越寬。我們對AI平台的發展做出了以下三個判斷:
1. AI平台在5年內會出現類似於資料庫的事實規範。所有軟體做的事情,其實是針對輸入進行演算法調用,然後輸出。如果資料庫是對數據的輸入輸出進行一個抽象化表述,那麼AI平台就有可能成為中間演算法調用的一些抽象化表述。
2. AI平台不僅針對AI演算法,而且可能會成為所有數據處理手段的抽象平台。如上述所言,AI平台會逐步對演算法邏輯進行抽象,而這個過程對所有非AI演算法也適用。站在更高的維度,可以把AI平台看成是數據處理的一個大工具集。這從用戶的使用趨勢也可以看出,用戶期望AI平台能具備所有數據處理的功能。
3. 雲化邊緣化同時發生,將深刻改變AI平台的應用範疇。一方面是通過雲化,將AI平台服務化,能更容易地為用戶提供相應的技術支撐,另一方面是通過邊緣化,能大大拓展AI落地的疆域。
(*本文為AI科技大本營投稿文章,轉載請微信聯繫 1092722531)

