故事的開始源于去年的技術(shù)雷達峰會,我在會上做了一場關(guān)于平臺崛起的主題分享(《The Rise of Platform》),這場分享主要是從技術(shù)的層面從Global的視角介紹了平臺化的興起,以及分享從基礎(chǔ)設(shè)施到人工智能等各個領(lǐng)域不斷涌現(xiàn)的各類平臺,以及平臺化對于軟件開發(fā)人員及企業(yè)的影響。
記得當(dāng)時在做演講彩排的時候,有同事就提到過,在中國提“數(shù)字化平臺戰(zhàn)略”可能大家會覺得比較抽象比較遠(yuǎn)大空,如果你提“中臺”大家會更熟悉一些。
而這也是我第一次聽到“中臺”這個詞,原來除了我們熟悉的“前臺”和“后臺”外,居然還有個“中臺”這樣一個神奇的存在。
那…… 中臺到底是什么?會不會又是另一個Buzzword呢?這個從名字上看像是從前臺與后臺中間硬擠出來的新斷層,它與前臺和后臺的區(qū)別和界限到底在哪兒?什么應(yīng)該放到中臺,什么又應(yīng)該放到前臺或是后臺?它的出現(xiàn)到底是為了解決什么問題呢?
從那時開始,一個接一個的問題就不斷的涌出并縈繞在我的腦子里。直到一年多后的今天,隨著參與的幾個平臺化、企業(yè)中臺相關(guān)的項目已經(jīng)順利地步上了正軌,終于可以坐下來回顧一下這一年的實踐與思考,再次試圖回答這些問題,并梳理成文,與大家交流探討。
到處都在喊中臺,到處都是中臺,中臺這個詞在我看來已經(jīng)被濫用了。
* 在有些人眼里:中臺就是技術(shù)平臺,像微服務(wù)開發(fā)框架、Devops平臺、PaaS平臺,容器云之類的,人們都叫它“技術(shù)中臺”。
* 在有些人眼里:中臺就是微服務(wù)業(yè)務(wù)平臺,像最常見的什么用戶中心,訂單中心,各種微服務(wù)集散地,人們都叫它“業(yè)務(wù)中臺”。
* 在有些人眼里:中臺應(yīng)該是組織的事情,在釋放潛能:平臺型組織的進化路線圖 (豆瓣)中就提出平臺型組織和組織中臺的概,這類組織中臺在企業(yè)中主要起到投資評估與投后管的作用,類似于企業(yè)內(nèi)部資源調(diào)度中心和內(nèi)部創(chuàng)新孵化組織,人們叫它“組織中臺”
看完本篇你就會理解,上邊的這幾類“中臺”劃分還是靠譜的,更多我看到的情況是大家為了響應(yīng)企業(yè)的“中臺戰(zhàn)略”,干脆直接將自己系統(tǒng)的“后端”或是“后臺”改個名,就叫“中臺”。
中臺到底是什么?它對于企業(yè)的意義到底是什么?當(dāng)我們談中臺時我們到底在談些什么?
想要尋找到答案,僅僅沉寂在各自“中臺”之中,如同管中窺豹,身入迷陣,是很難想清楚的。不如換個 度,從各類的“中臺迷陣”中跳脫出來,嘗試以更高的視角,從企業(yè)均衡可持續(xù)發(fā)展的角度,來思考中臺的價值,來試圖反推它存在的價值。
所以,為搞明白中臺存在的價值,我們需要回答以下兩個問題:
企業(yè)為什么要平臺化?
企業(yè)為什么要建中臺?
先給答案,其實很簡單:
因為在當(dāng)今互聯(lián)網(wǎng)時代,戶才是商業(yè)戰(zhàn)場的中心,為了快速響應(yīng)用戶的需求,借助平臺化的力量可以事半功倍。
不斷快速響應(yīng)、探索、挖掘、引領(lǐng)戶的需求,才是企業(yè)得以存和持續(xù)發(fā)展的關(guān)鍵因素。
那些真正尊重用戶,甚不惜調(diào)整己顛覆己來響應(yīng)戶的企業(yè)將在這場以戶為中心的商業(yè)戰(zhàn)爭中得以存和發(fā)展;反之,那些在過去的成就上故步封,存在僥幸希望戶會像之前一樣繼續(xù)追隨己的企業(yè)則會被用戶淘汰。
很殘酷,但這就是這個時代最基本的的企業(yè)存法則。
平臺化之所以重要,就是因為它賦予或加強了企業(yè)在以用戶為中心的現(xiàn)代商業(yè)戰(zhàn)爭中最最最核心的能:戶響應(yīng)。這種能力可以幫助企業(yè)在商戰(zhàn)上先發(fā)制,始終搶得先機。
可以說,在互聯(lián)網(wǎng)時代,商業(yè)的斗爭就是對于用戶響應(yīng)力的比拼。
又有點遠(yuǎn)大空是不是,我們來看個經(jīng)典的子:
說起中臺,最先想到的應(yīng)該就屬是阿的“中臺,前臺”戰(zhàn)略。阿通過多年不懈的努,在業(yè)務(wù)的不斷催化滋養(yǎng)下,將己的技術(shù)和業(yè)務(wù)能沉淀出一套綜合能平臺,具備對于前臺業(yè)務(wù)變化及創(chuàng)新的快速響應(yīng)能。
海爾也早在前就已經(jīng)開始推進平臺化組織的轉(zhuǎn)型,提出“平臺營體撐線營體”的戰(zhàn)規(guī)劃和轉(zhuǎn)型標(biāo)。構(gòu)建了“訂單合一”、“用戶付薪” 的創(chuàng)客文化,真正將平臺化提到組織的度。
華為在幾前就提出了“平臺炮火支撐精兵作戰(zhàn)”的企業(yè)戰(zhàn)略,“讓聽得到炮聲的人能呼喚到炮火” 這句話形象的詮釋了大平臺撐下小前臺的作戰(zhàn)策。這種極度靈活又威巨的戰(zhàn)法,使之可以迅速響應(yīng)瞬息萬變的戰(zhàn)場,一旦鎖定目標(biāo),通過大平臺的炮火群,迅速精準(zhǔn)對于戰(zhàn)場進強大的火支援。
可,在互聯(lián)熱火朝天,第四次工業(yè)革命的曙光即將到來的今日,企業(yè)能否真正做到“以用戶為中心”,并不斷提升自己的用戶響應(yīng)來追隨甚至引領(lǐng)用戶的腳步,持續(xù)規(guī)?;瘎?chuàng)新,終將決定企業(yè)能否在這樣充滿挑戰(zhàn)和機遇的市場上笑到最后,在商業(yè)上長久保持創(chuàng)新活力與競爭力。
而平臺化恰好可以助力企業(yè)更快更好的做到這些,所以這回答了第一個問題,企業(yè)需要平臺化。
好,想明白了第一個問題,為什么需要平臺化。但是平臺化并不是一個新概念,很多企業(yè)在這個方向上已經(jīng)做了多年的努力和積淀。那為什么最近幾年“中臺”這個相對較新的概念又會異軍突起?對于企業(yè)來講,傳統(tǒng)的“前臺+后臺”的平臺化架構(gòu)又為什么不能滿足企業(yè)的要求呢?
好,這就引出了我們的第二個問題:企業(yè)為什么要建中臺?
因為平臺這個詞過于寬泛了,為了能讓大家理解我在說什么,我先定義一下本篇文章上下文下我所說的前臺和后臺各指什么:
* 前臺:由各類前臺系統(tǒng)組成的前端平臺。每個前臺系統(tǒng)就是一個用戶觸點,即企業(yè)的最終用戶直接使用或交互的系統(tǒng),是企業(yè)與最終用戶的交點。例如用戶直接使用的網(wǎng)站,手機App,微信公眾號等都屬于前臺范疇。
* 后臺:由后臺系統(tǒng)組成的后端平臺。每個后臺系統(tǒng)一般管理了企業(yè)的一類核心資源(數(shù)據(jù)+計算),例如財務(wù)系統(tǒng),產(chǎn)品系統(tǒng),客戶管理系統(tǒng),倉庫物流管理系統(tǒng)等,這類系統(tǒng)構(gòu)成了企業(yè)的后臺。基礎(chǔ)設(shè)施和計算平臺作為企業(yè)的核心計算資源,也屬于后臺的一部分。
定義了前臺和后臺,對于第二個問題(企業(yè)為什么要建中臺),同樣先給出我的答案:
因為企業(yè)后臺往往并不能很好的支撐前臺快速創(chuàng)新響應(yīng)用戶的需求,后臺更多解決的是企業(yè)管理效率問題,而中臺要解決的才是前臺的創(chuàng)新問題
大多數(shù)企業(yè)已有的后臺,要么前臺根本就用不了,要么不好用,要么變更速度跟不上前臺的節(jié)奏。
我們看到的很多企業(yè)的后臺系統(tǒng),在創(chuàng)建之初的目標(biāo),并不是主要服務(wù)于前臺系統(tǒng)創(chuàng)新,而更多的是為實現(xiàn)后端資源的電子化管理,解決企業(yè)管理的效率問題。這類系統(tǒng)要不就是當(dāng)年花大價錢外購,需要每年支付大量的服務(wù)費,并且版本老舊,定制化困難;要不就是花大價錢自建,年久失修,一身的補丁,同樣變更困難,也是企業(yè)所謂的“遺留系統(tǒng)”的重災(zāi)區(qū)。
總結(jié)下來就兩個字“慢”和“貴”,對業(yè)務(wù)的響應(yīng)慢,動不動改個小功能就還要花一大筆錢。
有人會說了,你不能拿遺留系統(tǒng)說事兒啊,我們可以新建后臺系統(tǒng)啊,整個2.0問題不就解決了。
但就算是新建的后臺系統(tǒng),因為其管理的是企業(yè)的關(guān)鍵核心數(shù)據(jù),考慮到企業(yè)安全、審計、合規(guī)、法律等限制。導(dǎo)致其同樣往往法被前臺系統(tǒng)直接使用,或是受到各類限制法快速變化,以持前臺快速的創(chuàng)新需求。
此時的前臺和后臺就像是兩個不同轉(zhuǎn)速的輪,前臺由于要快速響應(yīng)前端用戶的需求,講究的是快速創(chuàng)新迭代,所以要求轉(zhuǎn)速越快越好;后臺由于對的是相對穩(wěn)定的后端資源,且往系統(tǒng)陳舊復(fù)雜,甚至還受到法律法規(guī)審計等相關(guān)合規(guī)約束,所以往往是穩(wěn)定至上,越穩(wěn)定越好, 轉(zhuǎn)速也自然是越慢越好。
所以,隨著企業(yè)務(wù)的不斷發(fā)展,這種“前臺+后臺”的輪速率“匹配失衡”的問題就逐步顯現(xiàn)出來。
隨著企業(yè)業(yè)務(wù)的發(fā)展壯大,因為后臺修改的成本和險較,所以驅(qū)使我們會盡量選擇保持后臺系統(tǒng)的穩(wěn)定性,但還要響應(yīng)用戶持續(xù)不斷的需求,自然就會將大的業(yè)務(wù)邏輯(業(yè)務(wù)能)直接塞到前臺系統(tǒng)中,引入重復(fù)的同時還會致使前臺系統(tǒng)不斷膨脹,變得臃腫,形成了一個個球的“煙囪式單體應(yīng)用”。漸漸拖垮前臺系統(tǒng)的“戶響應(yīng)”,用戶滿意度降低,企業(yè)競爭也隨之不斷下降。
對于這樣的問題,Gatner在2016年提出的一份《Pace-Layered Application Strategy》報告中,給出了一種解決方案,即按照“步速”將企業(yè)的應(yīng)用系統(tǒng)劃分為三個層次(正好契合前中后臺的三個層次),不同的層次采用完全不同的策略。
而Pace-Layered Application Strategy也為“中臺”產(chǎn)生的必然性,提供了理論上的支撐。
在這份報告中Gatner提出,企業(yè)構(gòu)建的系統(tǒng)從Pace-Layered的度來看可以劃分為三類: SOR(Systems of record ),SOD(Systems of differentiation)和SOI(Systems of innovation)。
處于不同Pace-Layered的系統(tǒng)因為的不同,關(guān)注點不同,要求不同,變化的“速率”自然也不同,匹配的也需要采用不同的技術(shù)架構(gòu),管理流程,治理架構(gòu)甚至投資策。
前面章節(jié)我們提到的后臺系統(tǒng),例如CRM、ERP、財務(wù)系統(tǒng)等,它們多都處于SOR的Pace-Layered。這些系統(tǒng)的建設(shè)之初往往是以規(guī)范處理企業(yè)底層資源和企業(yè)的核心可追溯單據(jù)(例如財務(wù)單據(jù),訂單單據(jù))為主要目的。它們的變更周期往往比較,并且由于法律審計等其他限制,導(dǎo)致對于它們的變需要嚴(yán)謹(jǐn)?shù)纳陥髮徟鞒毯透呒墑e的測試部署要求,這就導(dǎo)致了它們往往變化頻率低,變化成本高,變化險高,變化周期。無法滿足由用戶驅(qū)動的快速變化的前臺系統(tǒng)要求。
我們又要盡保持后臺(SOR)系統(tǒng)的穩(wěn)定可靠,要前臺系統(tǒng)(SOI)能夠而美,快速迭代。就出現(xiàn)了上文提到的”齒輪匹配失衡“的問題,感覺魚與熊掌不可兼得。
正當(dāng)陷入僵局的時候,天空中飄來一聲IT諺語:
軟件開發(fā)中遇到的所有問題,都可以通過增加層抽象得以解決!
此,聲驚雷滾過,“中臺”腳踏七彩祥云,承載著SOD(Systems of differentiation)的前世寄托,橫空出世。
我們先試著給中臺下個定義:
中臺是真正為前臺而生的平臺(可以是技術(shù)平臺,業(yè)務(wù)能力甚至是組織機構(gòu)),它存在的唯一目的就是更好的服務(wù)前臺規(guī)模化創(chuàng)新,進而更好的響應(yīng)服務(wù)引領(lǐng)用戶,使企業(yè)真正做到自身能力與用戶需求的持續(xù)對接。
中臺就像是在前臺與后臺之間添加的組“變速輪”,將前臺與后臺的速率進行匹配,是前臺與后臺的橋梁。它為前臺而生,易于前臺使用,將后臺資源順滑流向用戶,響應(yīng)用戶。
中臺很像Pace-Layered中的SOD,提供了比前臺(SOI)更強的穩(wěn)定性,以及后臺(SOR)更高的靈活性,在穩(wěn)定與靈活之間尋找到種美妙的平衡。
有“中臺”這新的Pace-Layered斷層,我們即可以將早已臃腫不堪的前臺系統(tǒng)中的穩(wěn)定通用業(yè)務(wù)能“沉降”到中臺層,為前臺減肥,恢復(fù)前臺的響應(yīng);又可以將后臺系統(tǒng)中需要頻繁變化或是需要被前臺直接使用的業(yè)務(wù)能力“提取”到中臺層,賦予這些業(yè)務(wù)能力更強的靈活度和更低的變更成本,從而為前臺提供更強大的“能力炮火”支援。
所以,企業(yè)在平臺化的過程中,需要建設(shè)自己的中臺層(同時包括技術(shù)中臺,業(yè)務(wù)中臺和組織中臺)。
思考并回答了文初提出的兩個關(guān)于中臺價值的核心問題,解決了我對于中臺產(chǎn)生的一些困惑,不知道對你有沒有啟發(fā),讓我最后再來總結(jié)一下:
1. 以用戶為中心的持續(xù)規(guī)?;瘎?chuàng)新,是中臺建設(shè)的核心目標(biāo)。企業(yè)的業(yè)務(wù)響應(yīng)能和規(guī)?;瘎?chuàng)新能,是互聯(lián)網(wǎng)時代企業(yè)綜合競爭的核心體現(xiàn)。平臺化包括中臺化只是幫助企業(yè)達到這個目標(biāo)的階段,并不是目標(biāo)本身。
2. 中臺(論是技術(shù)中臺、業(yè)務(wù)中臺還是組織中臺)的建設(shè)根本上是為解決企業(yè)響應(yīng)困境, 彌補創(chuàng)新驅(qū)動快速變化的前臺和穩(wěn)定可靠驅(qū)動變化周期相對較慢的后臺之間的盾,提供個中間層來適配前臺與后臺的配速問題,沉淀能,打通并順滑鏈接前臺需求與后臺資源,幫助企業(yè)不斷提升用戶響應(yīng)。
3. 所以,中臺到底是什么根本不重要,如何想方設(shè)法持續(xù)提高企業(yè)對于用戶的響應(yīng)才是最重要的。平臺化或是中臺化,只是恰巧走在了這條正確的道路上。
企業(yè)對數(shù)據(jù)的利用有三個階段:響應(yīng)運營,響應(yīng)業(yè)務(wù),創(chuàng)造業(yè)務(wù)。數(shù)據(jù)中臺解決的是響應(yīng)業(yè)務(wù)的問題,第三階段“創(chuàng)造業(yè)務(wù)”,則需要AI中臺。
數(shù)據(jù)中臺對一個企業(yè),起著至關(guān)重要的作用。在數(shù)據(jù)中臺這個稱謂成型之前,各個企業(yè)也都在用不同的方式來盡可能地利用數(shù)據(jù)產(chǎn)生價值。只是在這個過程中,也不得不處理著數(shù)據(jù)帶來的各種問題,比如各個業(yè)務(wù)系統(tǒng)經(jīng)年累月以煙囪架構(gòu)形式存在而導(dǎo)致的數(shù)據(jù)孤島、數(shù)據(jù)隔離、數(shù)據(jù)不一致等等。因為這些問題實在是過于繁雜,企業(yè)開始建立數(shù)據(jù)團隊,或者數(shù)據(jù)部分開始繼續(xù)數(shù)據(jù)整頓工作,因此數(shù)據(jù)倉庫、數(shù)據(jù)湖、主數(shù)據(jù)治理等一系列的工作職能應(yīng)運而生。
本質(zhì)上,這些工作都是因為業(yè)務(wù)需要不得不進行的一系列數(shù)據(jù)治理的動作,對于如何利用數(shù)據(jù)來發(fā)力,并沒有形成一個強有力的底座。有點像“頭痛醫(yī)頭、腳痛醫(yī)腳”:各個業(yè)務(wù)系統(tǒng)規(guī)范不一致了,于是開展了元數(shù)據(jù)治理;數(shù)據(jù)分析的時候數(shù)據(jù)關(guān)聯(lián)不上了,于是不得不進行主數(shù)據(jù)治理。
這樣的數(shù)據(jù)治理工作在進行了很多年后,數(shù)據(jù)中臺這個概念逐漸有人提出了,阿里的《企業(yè)IT轉(zhuǎn)型直到:阿里巴巴中臺戰(zhàn)略思想與架構(gòu)實踐》這本書更是把用中臺戰(zhàn)略把這個概念推向了一個極致。中臺戰(zhàn)略中,人們常說:大中臺,小前臺。在這種模式下,頻繁出現(xiàn)的字眼是:共享。那么,到底共享的是什么?答案便是數(shù)據(jù)的服務(wù)。中臺戰(zhàn)略,并不是搭建一個數(shù)據(jù)平臺,但是中臺的大部分服務(wù)都是圍繞數(shù)據(jù)而生,更加巧妙的地方是中臺戰(zhàn)略讓數(shù)據(jù)在數(shù)據(jù)平臺和業(yè)務(wù)系統(tǒng)之間形成了一個良性的閉環(huán)。于是,數(shù)據(jù)和業(yè)務(wù)系統(tǒng)融為了一體。
(圖1 數(shù)據(jù)中臺所解決的問題)
過去,數(shù)據(jù)依賴于手工進行,沒有軟件;有了數(shù)據(jù)中臺,以功能驅(qū)動,固定的數(shù)據(jù)輸入,得到固定的數(shù)據(jù)輸出,構(gòu)建出能用的服務(wù)變得更快速、更加的標(biāo)準(zhǔn)化,解決了業(yè)務(wù)側(cè)的“能用”問題。但是,如何以固定的輸入,以產(chǎn)生更靈活多變的輸出,提供比如個性化的服務(wù),做到“好用”,數(shù)據(jù)中臺并沒有給出答案。
在建立了數(shù)據(jù)中臺架構(gòu)之后,我們逐步認(rèn)識到,原來數(shù)據(jù)的價值并不只是個運營出個參考的分析報表,做一系列的預(yù)算。數(shù)據(jù)中臺為大型企業(yè)數(shù)據(jù)利用最大化提供了一個初始的參照方向。當(dāng)我們發(fā)現(xiàn),深度學(xué)習(xí)、機器學(xué)習(xí)等等一系列技術(shù)開始在這個平臺下施展拳腳的時候,我們可能已經(jīng)清晰地認(rèn)識到:中臺并不是數(shù)據(jù)分析利用的終點。
如果回顧數(shù)據(jù)分析的歷程,可以歸納發(fā)現(xiàn)數(shù)據(jù)利用大概有如下三個階段:
響應(yīng)運營
響應(yīng)業(yè)務(wù)
創(chuàng)造業(yè)務(wù)
(圖2 企業(yè)對數(shù)據(jù)的利用,有三個發(fā)展階段)
響應(yīng)運營是數(shù)據(jù)分析最直接也是最原始的訴求。沒有誰不不會關(guān)心自己的用戶留存率,沒有誰不關(guān)心自己的營收額;出現(xiàn)了故障、如何分析定位,如何預(yù)測預(yù)防,運用數(shù)據(jù)分析自然不過。但是在運營分析過程中,也發(fā)現(xiàn)了另外一系列的問題,比如各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲格式、存儲介質(zhì)都不相同,在進行基本的運營分析的時候,無法流暢的進行。此時,不得不進行一系列的數(shù)據(jù)治理。常見的主數(shù)據(jù)、元數(shù)據(jù)治理就是發(fā)生在這個階段,只是數(shù)據(jù)倉庫將主數(shù)據(jù)和元數(shù)據(jù)治理進行了規(guī)范化。
數(shù)據(jù)分析停留在運營階段的時候,對企業(yè)來講最大的感受就是投入產(chǎn)出比不對稱。這個問題在大數(shù)據(jù)爆發(fā)的時間點上,更為凸顯。例如在今天的業(yè)務(wù)場景下,傳統(tǒng)的數(shù)據(jù)倉庫已經(jīng)解決不了海量數(shù)據(jù)、異構(gòu)數(shù)據(jù)等一系列問題,而大行其道的大數(shù)據(jù)分析技術(shù),硬件要求高、學(xué)習(xí)門檻高。要實施一個大數(shù)據(jù)平臺,成立一個大數(shù)據(jù)團隊,這是一個不小的成本開銷,更何況現(xiàn)在有不少數(shù)據(jù)分析團隊要借助機器學(xué)習(xí)等手段,來對數(shù)據(jù)做分析來響應(yīng)運營,這導(dǎo)致基礎(chǔ)設(shè)施成本、整體門檻進一步提高。
于是像數(shù)據(jù)中臺這樣的思想就被提了出來:既然數(shù)據(jù)是從業(yè)務(wù)系統(tǒng)產(chǎn)生的,那么是否業(yè)務(wù)系統(tǒng)也需要數(shù)據(jù)分析結(jié)果呢?對于數(shù)據(jù)平臺來說,數(shù)據(jù)平臺本身提供兩大能力:數(shù)據(jù)存儲和數(shù)據(jù)計算的能力。那么業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲和數(shù)據(jù)計算能力是否可以剝離到數(shù)據(jù)平臺,僅僅讓業(yè)務(wù)系統(tǒng)很輕量的維護自己的業(yè)務(wù)流程操作?所以利用中臺剝離了復(fù)雜的業(yè)務(wù)環(huán)境,再配合微服務(wù)等技術(shù),一下子讓人感受到了“數(shù)據(jù)服務(wù)的共享”。
而對業(yè)務(wù)場景來說,很多時候是需要數(shù)據(jù)服務(wù)的,例如用戶的基本信息管理、用戶的行為數(shù)據(jù)分析,這些數(shù)據(jù)不但可以暴露給業(yè)務(wù)系統(tǒng)使用,甚至可以直接丟給終端用戶自行使用。類似這種契合點,讓數(shù)據(jù)平臺變成了一個服務(wù),提供給業(yè)務(wù)系統(tǒng)。而對數(shù)據(jù)服務(wù)的使用者來說,在消費數(shù)據(jù)的同時也在繼續(xù)產(chǎn)生數(shù)據(jù),這樣在數(shù)據(jù)平臺和業(yè)務(wù)系統(tǒng)之間就構(gòu)成了一個良性的閉環(huán)。
業(yè)務(wù)不會總停滯不前,因為人的生活會改變,想要的體驗會改變。過去,大家到視頻平臺看視頻,利用通用的數(shù)據(jù)服務(wù),不同的用戶看到的視頻推薦都是一樣的;很快,我們就會發(fā)現(xiàn)根據(jù)用戶的偏好,推薦個性化的視頻幾乎是必不可少的體驗要求。然后,我們就開始思考:數(shù)據(jù)是否可以變成個性化服務(wù)提供給終端用戶?這是一個非常簡單、常見的例子。當(dāng)這樣的個性化數(shù)據(jù)服務(wù)越來越多之后,各種服務(wù)不斷組合,就會創(chuàng)造出很多可能性,進而提供創(chuàng)新的個性化體驗和新的業(yè)務(wù)模式,這就是數(shù)據(jù)服務(wù)用于創(chuàng)造業(yè)務(wù)的階段。
雖然有了數(shù)據(jù)中臺,但是當(dāng)有大規(guī)模的、基于智能算法的數(shù)據(jù)服務(wù)需要落地實現(xiàn)時,依然會碰到以下挑戰(zhàn)。
如何對規(guī)?;闹悄芊?wù)進行管理:當(dāng)只是零星三兩個智能服務(wù)的時候,通過手動人工管理等方式,不會有太大的問題;然則,當(dāng)智能服務(wù)成千上萬的時候,如何管理、如何構(gòu)建、如何高效維護,就會成為很大的麻煩。
沒有良好的工程實踐來保證質(zhì)量和流暢性:對于常規(guī)的應(yīng)用軟件開發(fā)我們有TDD、自動化測試、CI/CD等成熟的工程實踐做保障;但是在智能服務(wù)這一塊,無論是編程開發(fā)、還是服務(wù)構(gòu)建,都沒有成熟的工程實踐,也沒有良好的基礎(chǔ)設(shè)施支撐,非常依賴于構(gòu)建這個服務(wù)的數(shù)據(jù)工程師的個人能力,導(dǎo)致在實施過程中,問題難以復(fù)現(xiàn),難于定位。
數(shù)據(jù)安全、治理和數(shù)據(jù)量不充分:數(shù)據(jù)中臺的價值點,在于提供了數(shù)據(jù)的計算和存儲的能力,但是在智能服務(wù)構(gòu)建下,光有計算和存儲還不夠。治理到什么程度的數(shù)據(jù),才能較好的支撐服務(wù)的構(gòu)建?個性化的服務(wù)與數(shù)據(jù)安全沖突的時候,如何抉擇?數(shù)據(jù)量不足導(dǎo)致算法模型泛化能力太差,怎么辦?
(圖3 創(chuàng)造業(yè)務(wù)階段,數(shù)據(jù)中臺面臨的挑戰(zhàn))
數(shù)據(jù)中臺本身還是圍繞數(shù)據(jù)服務(wù)來進行的,而非圍繞智能服務(wù)來進行的。未來的操作系統(tǒng),一定會越來越個性化,甚至每一個人看到的登錄界面都不一樣,系統(tǒng)可以根據(jù)對應(yīng)的終端用戶自行呈現(xiàn)符合該用戶習(xí)慣的系統(tǒng)界面。那么對于這樣的場景和服務(wù),我們需要怎樣的平臺?整個軟件開發(fā)架構(gòu)和流程是否也都會相應(yīng)重造?
回到創(chuàng)造業(yè)務(wù)的需求。以簡單的銷售業(yè)務(wù)為例,數(shù)據(jù)中臺提供的服務(wù)本質(zhì)如下圖所示:
(圖4 軟件平臺的業(yè)務(wù)模式)
這是目前最常見的軟件平臺的運作方式,開發(fā)人員開發(fā)出了對應(yīng)的軟件服務(wù)后,提供給終端用戶使用,雖然會有銷售售賣該服務(wù)。這種方式,好比是拿著一個錘子找釘子,而不是給釘子快速制作一把合適的錘子再去售賣。
能不能這樣:將整個軟件組裝出來的服務(wù),包裝成個性化的產(chǎn)品一樣去售賣,提供量身定做的服務(wù)?那么整個運營模式就變成:平臺提供了一種快速構(gòu)建智能服務(wù)的過程,服務(wù)售賣者利用這個平臺,自己動手構(gòu)建出服務(wù),拿出去售賣,類似一個提供“智能業(yè)務(wù)服務(wù)的PaaS”。
(圖5 引入AI中臺的軟件平臺業(yè)務(wù)模式)
如果嘗試給AI中臺下個定義:
AI中臺是一個用來構(gòu)建大規(guī)模智能服務(wù)的基礎(chǔ)設(shè)施,對企業(yè)需要的算法模型提供了分步構(gòu)建和全生命周期管理的服務(wù),讓企業(yè)可以將自己的業(yè)務(wù)不斷下沉為一個個算法模型,以達到復(fù)用、組合創(chuàng)新、規(guī)?;瘶?gòu)建智能服務(wù)的目的。
借助一個平臺,將軟件的服務(wù)個性化的創(chuàng)造,這將是未來的發(fā)展趨勢。在麥肯錫的分析報告中,我們可以看到,各個企業(yè)或者行業(yè),都在第三個階段做了不同的探索和努力。
從AI中臺落地實施的方式來看,AI中臺可以是數(shù)據(jù)中臺的進一步延伸,從數(shù)據(jù)中臺一步一步演進過去。
所謂的智能化,是指將在數(shù)據(jù)中臺進行的一系列的數(shù)據(jù)服務(wù)構(gòu)建操作進行智能化實現(xiàn),讓數(shù)據(jù)的接入、存儲、分析展現(xiàn)、訓(xùn)練、到構(gòu)建管道(pipeline)都更加自動化。例如,對于通用的CI/CD來說,測試不過則會構(gòu)建失敗,那對于AI中臺下,就要考慮一個推薦模型構(gòu)建失敗的條件是什么?答案可能是“本次模型的準(zhǔn)確率低于上一次構(gòu)建的準(zhǔn)確率”的時候,CI應(yīng)該被構(gòu)建失敗。在實踐中,這可能是CI構(gòu)建過程的維度之一,還會有很多其他指標(biāo)和維度。我們就需要在現(xiàn)有的數(shù)據(jù)平臺的CI中,實現(xiàn)并自動化這些指標(biāo)和維度,使之更加智能化。
目前基于數(shù)據(jù)中臺的一個智能服務(wù)模型開發(fā)來說,流程如下:
(圖6 煙囪式模型構(gòu)建過程)
這基本類似于一個橫向的煙囪架構(gòu),導(dǎo)致目前對一個基于算法模型產(chǎn)生的服務(wù)進行拆分的時候,都不是特別地順暢。如果大部分業(yè)務(wù)場景依舊以流程為主還好,如果新業(yè)務(wù)需要引入多的智能服務(wù),那么一系列的問題就會暴露出來:
借助于現(xiàn)有數(shù)據(jù)平臺手工進行數(shù)據(jù)操作
煙囪架構(gòu)開發(fā),對人員能力要求高
環(huán)節(jié)無法有效拆分,響應(yīng)周期慢
智能場景規(guī)?;芾韽?fù)雜
訓(xùn)練,部署,發(fā)布依賴于手工部署缺乏有效的流水線
和數(shù)據(jù)平臺孤立,缺乏統(tǒng)一的數(shù)據(jù)服務(wù)接口
基礎(chǔ)設(shè)施隔離,無法動態(tài)進行資源的分配和管理
AI中臺需要具備構(gòu)建智能服務(wù)的能力,就要求我們對服務(wù)構(gòu)建的過程進行如下拆分:
(圖7 可復(fù)用的模型構(gòu)建過程)
首先需要從基礎(chǔ)設(shè)施層面進行集成。常規(guī)的數(shù)據(jù)中臺依賴于大量的CPU和內(nèi)存,相反,機器學(xué)習(xí)模型對GPU的依賴反而更高,但是又不能脫離數(shù)據(jù)中臺,因為它依舊需要利用數(shù)據(jù)中臺的存儲和計算能力來處理大量的數(shù)據(jù)。所以如何通過一個接口、一個調(diào)度器、一個管道pipeline來集成整個工作流,就成了需要考量的事情了。
AI中臺至少應(yīng)該分為以下幾個層級:
基礎(chǔ)設(shè)施:對CPU做虛擬化的技術(shù)已經(jīng)相對成熟,但是智能服務(wù)依賴的更多的是GPU,那么GPU如何做虛擬化,算法模型訓(xùn)練和數(shù)據(jù)是否需要共同使用相同的機器,還是集群相互隔離,都是需要在一開始設(shè)計好的。
資源管理:一切都是資源,無論是網(wǎng)絡(luò)、內(nèi)存,還是數(shù)據(jù)、服務(wù),都是資源。對于模型構(gòu)建者,關(guān)注的只是算法本身,如果該構(gòu)建者需要數(shù)據(jù),那這樣的數(shù)據(jù)就是一個資源而已,無論資源是以環(huán)境變量的方式提供、還是以服務(wù)的方式提供,構(gòu)建者本身并不需要關(guān)心。此時,必須一個資源管理系統(tǒng),對數(shù)據(jù)服務(wù)進行統(tǒng)一管理。
中臺和模型:中臺有數(shù)據(jù)的計算和存儲能力外,還應(yīng)該具備算模型的能力,這里的模型指的是一些業(yè)界通用的、或者企業(yè)級通用算法模型。它可能是一個算法、可能是一個別人已訓(xùn)練好的模型,可以使用遷移學(xué)習(xí)的方式去使用。對于中臺來說,它都是一個數(shù)據(jù)集的體現(xiàn),不應(yīng)該和一個表,一個文件有特別的區(qū)分。
流水線:流水是構(gòu)建規(guī)模化智能服務(wù)非常重要的一個環(huán)節(jié),工作如其名,讓我們構(gòu)建智能服務(wù)的時候,可以像流水線工作一樣,達到這樣的效果,則需要對整個任務(wù)進行非常詳細(xì)的分解。
智能應(yīng)用層:智能應(yīng)用層直接面向終端,怎么利用元數(shù)據(jù)等功能,組合各自不同模型提供的服務(wù),構(gòu)建出組合效應(yīng)的創(chuàng)新服務(wù)。
(圖8 AI中臺的架構(gòu)層次)
在數(shù)據(jù)中臺的基礎(chǔ)上,擴展對GPU級別資源的管理和整合能力,調(diào)度層提供統(tǒng)一的任務(wù)、服務(wù)、智能CI/CD等服務(wù),來實現(xiàn)AI中臺。這樣以來,就可以達到:
和數(shù)據(jù)平臺結(jié)合,利用數(shù)據(jù)平臺的能力作為數(shù)據(jù)支撐,最大化的發(fā)揮數(shù)據(jù)平臺的價值
拆分服務(wù)構(gòu)建環(huán)節(jié),智能服務(wù)開發(fā)流程化,快速響應(yīng)業(yè)務(wù)需求
利用元數(shù)據(jù)管理方式,提供統(tǒng)一的標(biāo)準(zhǔn)格式,場景可以多人協(xié)同配合開發(fā)
基礎(chǔ)設(shè)施共享化,模型的訓(xùn)練和發(fā)布與數(shù)據(jù)平臺有效綁定,服務(wù)的構(gòu)建自動化
統(tǒng)一的元數(shù)據(jù)管理系統(tǒng),模型的全生命周期可管理
通用AI能力平臺化,降低人員要求,提升協(xié)作效率
也即,利用算、模型、框架,動態(tài)、快速地組裝服務(wù),創(chuàng)造出新的個性化體驗和新的業(yè)務(wù)新的業(yè)務(wù)模式,解決“好用”的問題。
數(shù)據(jù)中臺提供的是存儲和計算的能力,基于不同的業(yè)務(wù)場景,構(gòu)建出了用來支撐不同業(yè)務(wù)的數(shù)據(jù)服務(wù),依托于強大的計算力,可以快速縮短獲得結(jié)果的周期。而AI中臺則是將算法模型融入進來構(gòu)建為服務(wù),讓構(gòu)建算法模型服務(wù),更加快速高效,以更加面向業(yè)務(wù)。但無論是數(shù)據(jù)中臺還是AI中臺,都是一層基礎(chǔ)設(shè)施,做好基礎(chǔ)設(shè)施只是第一步,如何讓它的價值最大化,還要依托于AI中臺不斷結(jié)合業(yè)務(wù)來持續(xù)優(yōu)化,做到“持續(xù)智能”。
2025年京東物流-河北大件宅配、京東幫資源招商
2071 閱讀多多買菜:悶聲增長
1347 閱讀義烏漲完廣州漲 通達兔等快遞全年或增收數(shù)十億!
1269 閱讀單品年銷千萬,新品研發(fā)提速,國民零食如何借拼多多復(fù)興?
1156 閱讀歐盟《關(guān)鍵原材料法案》:全球資源戰(zhàn)略格局的重大轉(zhuǎn)變及應(yīng)對策略
1157 閱讀18天抵歐!寧波舟山港迎來史上最快中歐航線
1113 閱讀又出傷人事件!買A退B、簽收訛詐、押金不退……快遞小哥如何避坑?
1001 閱讀京東物流遼寧省區(qū)大件京東幫/宅配招商
961 閱讀美團閃購攜手家電品牌實現(xiàn)空調(diào)半日送裝
992 閱讀2025年1-6月港口貨物、集裝箱吞吐量
995 閱讀