大數(shù)據(jù)文摘出品
11月19日，國內(nèi)領(lǐng)先的全域數(shù)據(jù)智能服務(wù)商友盟+在以“聚云端·見不凡”為主題的2019UBDC全域大數(shù)據(jù)峰會上，與40余位行業(yè)專家，3000余位觀眾共話云端之上的數(shù)據(jù)應(yīng)用，為企業(yè)實現(xiàn)數(shù)據(jù)智能找到了新的解法。
阿里巴巴集團副總裁、阿里云智能計算平臺事業(yè)部總裁賈揚清在《云原生是數(shù)據(jù)智能的必然》的演講中提出：數(shù)據(jù)智能向云端遷移是必然趨勢。他認為數(shù)據(jù)是企業(yè)新的生產(chǎn)力，技術(shù)體系的云化、智能化，是解決企業(yè)數(shù)字化轉(zhuǎn)型的首要條件。
以下內(nèi)容來自賈揚清在大會上的發(fā)言，大數(shù)據(jù)文摘進行了不改變愿意的編輯。
云原生是數(shù)據(jù)智能的必然
今天我想從技術(shù)的角度來講一講為什么說到數(shù)據(jù)智能、說到云的時候，我們覺得它是一個天作之合的關(guān)系。我自己是從人工智能這樣一個背景出發(fā)的，前面幾年也一直都在關(guān)注，人工智能這樣一個很熱的概念在落地的時候應(yīng)該怎么做。
這幾年我們說到人工智能時候，大家可能覺得是一個突然從石頭縫里蹦出來的概念，在所有的領(lǐng)域里面都開始看到人工智能的應(yīng)用。如果我們從歷史上來講的話，人工智能其實是一個相對很古老的概念，幾乎跟計算機的歷史一樣悠久。
圖靈當(dāng)年提出“圖靈測試”這樣一個概念，希望能夠測試出一件事：讓計算機能夠有這樣一種方法來實現(xiàn)像人一樣的感知、歸納、分析和決策。
過了這么多年，我們發(fā)現(xiàn)人工智能在各個領(lǐng)域都有非常深的應(yīng)用，比如交通、工業(yè)、農(nóng)業(yè)等，這是最近幾年發(fā)生的情況。但是我們往回看的話，人工智能在2、30年前其實就已經(jīng)有了很多點狀的應(yīng)用。當(dāng)時我們手里拿一個佳能或者尼康相機的時候，這里面有一個功能叫“人臉自動識別和對焦“；IBM在20年前的時候也有這樣一個功能，叫“VR WAS”，通過語音識別進行輸入，這些都是人工智能向大家提供的一種能力。
但是當(dāng)年我們在考慮到人工智能的時候，這些能力都是點狀的，它有一個小的特征，能夠解決單個問題。不像是今天我們在考慮金融智能、智慧法院、智能遙感等這一系列應(yīng)用的時候，得到一個系統(tǒng)性的、完整的解決方案。
這當(dāng)中我認為一個非常重要的原因，是我們今天越來越多的、越來越強烈地使用到了云的技術(shù)，也許并不一定是在云上，但是用了云的系統(tǒng)化的這樣一個技術(shù)來解決從數(shù)據(jù)到分析，再到?jīng)Q策這樣的一整個過程，這就是我自己對于云技術(shù)和原生技術(shù)非常熱情的緣故。
我們說到云的話，那么今天阿里云最大的用戶是誰？大家可能會想是外部的哪些公司，或是一些創(chuàng)業(yè)公司等等，但是今天其實阿里云最大的用戶是阿里巴巴自己。
AI和大數(shù)據(jù)的未來趨勢：實時化、規(guī)模化、智能化
“雙11”剛剛過去，對我個人來說，我今年加入阿里巴巴之后體會了兩個第一次：我第一次作為一個客戶，參加了“雙11”的這樣一個活動；另外一個是我作為平臺技術(shù)的提供方，第一次參加阿里巴巴“雙11”這樣一個支持的活動。
今年阿里巴巴是第一次100%的把自己的核心系統(tǒng)搬到云上面來支持“雙11”的項目，我想跟大家分享一下我們今天所看到的在云上，阿里自己的業(yè)務(wù)所見到的一些趨勢。
我想把這個趨勢歸結(jié)為三點：實時化、規(guī)模化、智能化。
實時化
實時化這個概念大家可能比較有體感，就是在“雙11”活動的時候，可以看到順時播報的銷售額，比如第一個小時銷售額達到了多少？第二個小時銷售額達到了多少？最后24點鐘聲敲響的時候，公布今年的銷售額是2684億。
這背后是一個非常實時的，順時在進行統(tǒng)計的系統(tǒng)，我們把它叫作Flink。以前我們在做大數(shù)據(jù)的時候，更多的是把數(shù)據(jù)沉淀到數(shù)據(jù)庫跟多種數(shù)據(jù)源當(dāng)中，然后再從數(shù)據(jù)庫中歸納出來，或者說統(tǒng)計出它的數(shù)據(jù)是怎樣的一個分布，怎么樣的數(shù)字。
今天我們在做這些計算和統(tǒng)計的時候，完全是通過消費的數(shù)量，直接沉淀到我們的流式系統(tǒng)當(dāng)中，我們并不需要離線計算達到這樣的效果。那么從“雙11”的結(jié)果來看，今年流式計算的體量比去年峰值增加了近一倍以上，這是今天我們在云上所提供的一個能力。
規(guī)模化
大家可能會想這個數(shù)字每年都這樣說，今年有什么區(qū)別？我想從規(guī)模化這個角度講一個我們可能沒有講過的故事。
“雙11”每年的銷售額跟平日比較都是非常高的，那么每天的銷售結(jié)束之后，我們要做一件事情——離線結(jié)算，商家應(yīng)該如何收錢，銀行應(yīng)該如何收錢。
我們以前怎樣解決這個問題？“雙11”體量很大，我們算的比平時要慢一點，比如平時8點算完，那我們“雙11”的時候可能10點算完，這很正常。但今年是自“雙11”以來，第一次數(shù)據(jù)算的跟平時一樣快。
這是我們在阿里巴巴這樣的體量上感受到的通過云的技術(shù)所產(chǎn)生的紅利。規(guī)模化，在阿里巴巴這樣一個彈性的系統(tǒng)需求上面，也能夠體現(xiàn)出非常重要的作用。當(dāng)然我們說實時化和規(guī)模化是兩個非常自然所需要的東西，我們今天還有一個非常重要的方向是智能化，智能化能夠解決什么樣的問題？
智能化
在考慮智能化的時候，我們發(fā)現(xiàn)有兩個它能夠解決的問題：
- 幫我們更好地解決現(xiàn)有問題；
- 創(chuàng)造新的場景。
那么，在這樣一個過程當(dāng)中，我發(fā)現(xiàn)一個很重要的場景是如何通過語音助手給大家提供更好的客戶體驗。
我說的可能比較虛，所以我想給大家分享一個音頻，是我們在語音助手方面，通過系統(tǒng)化、智能化達到的樣子，這是在實際測試的時候，菜鳥語音助手與用戶交互的場景：
-您好，您有一個上午送到文一西路588號的中通快遞，請問方便簽收嗎？
-你哪位？
客戶一般都比較懵。
-我是菜鳥語音助手，在快遞員派送前跟您電話確認，上午送到文一西路588號，您看方便嗎？
-我上午不在家。
-您方便留一個接收地址嗎？我轉(zhuǎn)告快遞員為您安排。
-是什么東西啊？
-物流單上顯示是文件，要么您留一個方便接收的地址，我轉(zhuǎn)告快遞員安排配送。
-幫我放到物業(yè)吧...算了，還是放在門口吧。
大家經(jīng)常會改主意。
-是送到門口嗎？喂？還在嗎？給您放在門口可以嗎？
-可以的。
-好的，我會將您的要求轉(zhuǎn)達給快遞員，請您注意查收，感謝您的接聽。
-對了，我好像還有一個中通的包裹，今天會派件嗎？
大家需求會比較多。
-您稍等。這里看到您還有一個中通快遞的包裹，預(yù)計明天到達。
-明天我要出差，直接放到菜鳥驛站就好。
-好的，給您放在北門一樓的菜鳥驛站是嗎？
-是的。
-好的，請注意查收，感謝您的接聽。
這個技術(shù)的背后，其實不光是語音識別和規(guī)劃系統(tǒng)，還要跟我們本身的物流，業(yè)務(wù)的場景結(jié)合起來，我們需要打通非常多的數(shù)據(jù)，才能夠?qū)崿F(xiàn)最后這樣一個端到端的結(jié)果。
當(dāng)然，智能化并不一定就是單純來解決現(xiàn)有問題的，我們需要解決人工無法解決的問題，有的時候我們還能夠通過智能化的方法創(chuàng)造一些新的場景。
一個非常有意思的事情，我們想想20年前在上優(yōu)酷網(wǎng)站的時候，我們能夠看到的是什么樣的內(nèi)容？基本上是“千人一面”，每一個人看到的都是一樣的，就像我們走進百貨公司。
今天有一個概念非常深入人心的概念是“千人千面”，我們每一個人在上淘寶的時候所看到的圖片、商品是不一樣的。還有這樣一個問題，“千人千面”只解決了推薦這一個問題，我喜歡什么樣的商品，我朋友喜歡什么樣的商品，但是當(dāng)我們看見同一個商品的時候，它的內(nèi)容是一樣的，對吧？
我看見一個鞋子跟我朋友看見一個鞋子，展示內(nèi)容是一樣的。那么我們可以通過智能化的視頻理解與生成，加上用戶的興趣，通過這個視頻以人工智能的方法來實現(xiàn)動態(tài)的展示，對于任何一個客戶來說，他所看到的不光是我們向他推薦的商品，而且是我們向他合成展示的，和他個性化相結(jié)合起來的一些內(nèi)容。這樣的環(huán)境給我們的客戶帶來了非常有意思的新的體驗，那么您可能會想這到底有沒有實際的作用？
在“雙11”前面的這段時間，我們系統(tǒng)累計分析了2.5億個視頻，它所能夠?qū)崿F(xiàn)的效果是什么？平均一個客戶會有大概兩分鐘的時間在觀看我們所自動生成的這樣一個視頻，這是我們從傳統(tǒng)的“千人千面”的推薦，再進一步通過智能化的方法來給大家提供智能化內(nèi)容的生成和內(nèi)容的體驗。
這是我們今天說通過大數(shù)據(jù)和人工智能的方法，向大家提供實時化、規(guī)模化和智能化三個大的方向。
不斷演進的技術(shù)架構(gòu)
這個背后，我們可以看到今天數(shù)據(jù)對我們來說非常重要，對一個公司來說，數(shù)據(jù)可能是他自己核心的一個資產(chǎn)。在大量數(shù)據(jù)的基礎(chǔ)上，我們會通過實時計算、機器學(xué)習(xí)，同時利用我們云上的強勁算力給我們提供不同的用戶體驗以及更好的業(yè)務(wù)價值。
從數(shù)據(jù)的體量來說，在阿里巴巴這樣一個體量上，圖片識別、語音識別跟個性化推薦，都會涉及到非常大量的數(shù)據(jù)處理、數(shù)據(jù)存儲和數(shù)據(jù)分析的需求。這是我們今天在云上所能夠提供的價值。
從業(yè)務(wù)的角度來說，我們發(fā)現(xiàn)數(shù)據(jù)、智能、業(yè)務(wù)有了越來越多的連接，我們就開始考慮技術(shù)架構(gòu)應(yīng)該怎樣演進。
如果在我們10年前或者15年前考慮大數(shù)據(jù)，大家可能會想起一些耳熟能詳?shù)母拍睿热鏗adoop、MapReduce，當(dāng)年通過離線的方式來處理大量的數(shù)據(jù)。那時數(shù)據(jù)處理平臺也是相對比較簡單的。
今天，數(shù)據(jù)開始逐漸變得實時化和智能化，我們的系統(tǒng)也不斷的演進，在底層引擎上面開始有離線的計算，在線的計算，還有交互式的分析。而我們的開發(fā)者平臺也開始越來越多地考慮到數(shù)據(jù)集成和數(shù)據(jù)服務(wù)這一系列的需求。
假如說數(shù)據(jù)是我們的核心資產(chǎn)，那么顯然非常重要的是：
- 保護核心資產(chǎn)，做數(shù)據(jù)安全。
- 了解我們到底有什么樣的數(shù)據(jù)，做數(shù)據(jù)和資產(chǎn)的管理跟安全。
- 如何在不同的部門之間分享數(shù)據(jù)的紅利，這是數(shù)據(jù)分享的問題。
當(dāng)然在數(shù)據(jù)使用的時候，我們還需要不斷地考慮，從這些數(shù)據(jù)當(dāng)中挖掘出來的算法，它的質(zhì)量怎么樣？我們到底在使用數(shù)據(jù)當(dāng)中的一些噪聲，還是在使用數(shù)據(jù)當(dāng)中的一些Insects（原型）。
今天，這樣一個數(shù)據(jù)計算引擎跟數(shù)據(jù)開發(fā)平臺上面支撐著非常多的與業(yè)務(wù)相關(guān)的平臺，比如像友盟+這樣給大家提供最終服務(wù)的平臺。不光是大數(shù)據(jù)，今天我們說人工智能也逐漸變得非常重要。那么我覺得阿里巴巴應(yīng)該是在業(yè)界率先提出了兩個平臺（大數(shù)據(jù)平臺、AI平臺）相結(jié)合的這樣一個概念。
"數(shù)據(jù)為體、智能為用"
大家在說到數(shù)據(jù)科學(xué)家的時候，今天可能會聽到這樣一句話，數(shù)據(jù)科學(xué)家越來越多的開始學(xué)習(xí)Python。如果往回推10年15年的話，當(dāng)時的數(shù)據(jù)科學(xué)家可能會用一些統(tǒng)計的軟件，Excel、SAS、SPSS。
那么就產(chǎn)生一個很有意思的問題，為什么今天大家使用Python？難道以前那些工具不夠？
Python是一個表象，我們發(fā)現(xiàn)今天隨著人工智能算法的不斷進步，所有的開發(fā)者們都開始不由自主地考慮這樣一個問題。
利用已有的打包好的算法已經(jīng)不夠了，我們要從數(shù)據(jù)當(dāng)中挖掘更深更多的價值，就必須要更加沉浸到一線的，算法的開發(fā)與迭代當(dāng)中去。
那么今天每一個數(shù)據(jù)科學(xué)家，每一個開發(fā)者都多多少少會用到一線的人工智能算法研發(fā)的場景。
我們今天看到的大數(shù)據(jù)平臺（以前基于RDD平臺）和AI基于Python非常深刻的建模平臺之間，是有區(qū)分度的。所以我們在AI方面，開始建立一系列讓大家做模型迭代、模型訓(xùn)練跟最終部署的一套工具。
但同時AI算法離不開大數(shù)據(jù)的底座，離不開大量的數(shù)據(jù)的輸入輸出，這個時候我們在阿里巴巴就提出這樣一個概念，叫"數(shù)據(jù)為體、智能為用"。
“大數(shù)據(jù)的底座，是推動人工智能引擎的燃料”，我們的AI平臺是從大數(shù)據(jù)這樣大量的數(shù)據(jù)當(dāng)中提煉出經(jīng)驗，提煉出體驗，最后得到?jīng)Q策。那么通過大數(shù)據(jù)平臺與AI平臺的結(jié)合，我們才能夠真正挖掘出數(shù)據(jù)當(dāng)中的價值。
數(shù)字產(chǎn)業(yè)化&產(chǎn)業(yè)數(shù)字化
當(dāng)然大家可能會覺得，阿里巴巴自己本身是一個使用數(shù)據(jù)、使用人工智能非常優(yōu)秀的企業(yè)，那么今天我們在云上面所看到的客戶是怎么樣的，我們到底在客戶的需求和歸納上面是怎樣的一個想法？
今天我們在考慮云上的客戶，在歸納云上客戶需求的時候，大概可以歸納出來這兩種方向：
- 數(shù)字的產(chǎn)業(yè)化；
- 產(chǎn)業(yè)的數(shù)字化。
我想舉兩個客戶的例子來說明數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化分別是怎么樣的關(guān)系。
數(shù)字產(chǎn)業(yè)化：在大數(shù)據(jù)基礎(chǔ)上挖掘深層價值
第一個例子是中青看點，一個擁有的千萬級用戶的新聞聚合平臺，像中青看點這樣的企業(yè)有著非常典型的特征，它本身就是架構(gòu)在大數(shù)據(jù)的這樣一個基礎(chǔ)上，所以它對于數(shù)據(jù)的把握，數(shù)據(jù)的理解，或者說對于數(shù)據(jù)重要性的認識非常深刻。那么在這樣一個環(huán)境當(dāng)中，它所需要做的事情是如何從數(shù)據(jù)當(dāng)中挖掘出價值來。
對于像新聞聚合或者像視頻、電商這樣一個場景來說，最重要的事情是推薦。推薦說起來非常簡單，我有很多的用戶和產(chǎn)品，這個產(chǎn)品有可能是商品，有可能是視頻，有可能是新聞，怎么樣把用戶跟產(chǎn)品之間的相似程度，以及把用戶的興趣建模出來？
大家可能認為兩個算法工程師就可以了，但是如果我們深挖下去的話，有非常多的細節(jié)問題需要去解決。比如說一個新用戶，系統(tǒng)對他一無所知，這時候我們應(yīng)該做什么樣的事情？突然上來一個新的視頻，我們應(yīng)該向他推薦什么樣的內(nèi)容？
有一個詞語叫“探索”，我們向他推送一些我們覺得他可能會感興趣的內(nèi)容，在探索的過程當(dāng)中，我們會逐漸的開始對這個用戶有更深的理解，他是喜歡體育還是喜歡文化，喜歡美劇還是韓劇。通過這樣的探索之后，我們就可以來最優(yōu)化用戶的體驗。
這一整個過程不光是單純的推薦系統(tǒng)算法，寫一篇論文那么簡單，我們需要一個系統(tǒng)化的能力來做實驗的管理，來做我們的用戶信息管理，最后推出一個完整的系統(tǒng)來做這樣優(yōu)秀的推薦系統(tǒng)。
今天我們通過云上的技術(shù)，通過一些方法論的迭代，可以向中青看點這樣的公司提供一個非常明顯的CTR的提升，最終我看到用戶也開始越來越喜歡這樣一個平臺，他會在這個平臺上面花更多的時間了解他感興趣的信息。這是很多企業(yè)所需要的能力。
我們怎么樣把數(shù)字化的想法，通過人工智能更加深刻的和它的產(chǎn)業(yè)實現(xiàn)，和它的需求相結(jié)合？那么就引出了另外一個可能更加有潛力的方向，產(chǎn)業(yè)的數(shù)字化。
產(chǎn)業(yè)數(shù)字化：傳統(tǒng)企業(yè)轉(zhuǎn)型之路，難走也要走
所以我想舉一個大潤發(fā)的例子，大潤發(fā)是一家超市。我在前一段時間跟我們家小孩打電話的時候，我跟奶奶說，我們在做大潤發(fā)的數(shù)字化，她說超市為什么要數(shù)字化呢？這是我們老一輩對于數(shù)字化的想法。
但是今天非常多的傳統(tǒng)產(chǎn)業(yè)可以強烈的感受到，或者說獲得了數(shù)字化的紅利。對于大潤發(fā)這樣的一個企業(yè)來說，它有線下的渠道來把人、貨、廠結(jié)合在一起，線上通過電商這樣的渠道和用戶建立更深的連接，在這樣一個環(huán)境當(dāng)中，我們就會非常強烈地需要把數(shù)據(jù)打通起來，線上的數(shù)據(jù)、線下的數(shù)據(jù)、用戶的數(shù)據(jù)、庫存的數(shù)據(jù)以及不需要的數(shù)據(jù)。
今天傳統(tǒng)的企業(yè)會遇到這樣一個問題，大家在想數(shù)字化轉(zhuǎn)型的時候認為太貴，轉(zhuǎn)不起，這是個現(xiàn)實存在的問題。我自己經(jīng)常反思，因為我自己是一直在IT的產(chǎn)業(yè)發(fā)展，所以我感覺不到數(shù)字化轉(zhuǎn)型的痛苦。
的確我們發(fā)現(xiàn)有很多的傳統(tǒng)企業(yè)術(shù)業(yè)有專攻，它本身并不是構(gòu)建一個機房，構(gòu)建一套云服務(wù)的，這個時候轉(zhuǎn)型的確存在現(xiàn)實的困難。但這是一個很自然的問題，同時也是很好解的問題。
我們想一下，如果今天想做一個智能辦公系統(tǒng)，應(yīng)該怎么辦？我們不會自己從一開始寫一套Office，因為有一個非常完整的Office套件，無論是WPS還是Windows，今天我們有非常多的工具可以讓大家更加容易地構(gòu)建起整個數(shù)字化轉(zhuǎn)型的基礎(chǔ)。
就像2、30年前的時候，每個公司或者事業(yè)單位里面都有兩樣?xùn)|西，一個是水塔，因為當(dāng)年自來水系統(tǒng)不是太好，經(jīng)常會停水；另一個是自己的發(fā)電機，因為當(dāng)年供電不太好，像這種基礎(chǔ)設(shè)施很多事業(yè)單位還需要自己來解決。那么今天大家都覺得是一件很容易的事，接上自來水公司，接上國家電網(wǎng)就可以。
今天我們說IT的技術(shù)，也像是當(dāng)年我們在考慮水和電一樣，它本身是一個非常唾手可得的，在云上面構(gòu)建起來的這樣一個能力。
我們在服務(wù)大量客戶的時候發(fā)現(xiàn)大家的需求是有一個共性的，今天我們有大量的不同的數(shù)據(jù)源，通過不同的數(shù)據(jù)采集，無論是IoT還是線上的環(huán)境，來把數(shù)據(jù)沉淀到不同的數(shù)據(jù)源當(dāng)中來，我們需要構(gòu)建的就是一個數(shù)據(jù)開發(fā)與治理的流程，以及更加高效的數(shù)據(jù)存儲。在大數(shù)據(jù)或者人工智能的場景當(dāng)中，可以用這些數(shù)據(jù)來做大規(guī)模的離線計算，交互式分析和流式計算。
通過機器學(xué)習(xí)來做數(shù)據(jù)的感知、分析、歸納和決策，最后把我們這些智能化的方法再輸出到智能化的系統(tǒng)當(dāng)中，或者說給我們企業(yè)的管理人員來展示更加有結(jié)構(gòu)化的，更加有深度的數(shù)據(jù)分析的結(jié)果，讓大家能夠做更詳細的業(yè)務(wù)決策。
數(shù)據(jù)智能之路：工具是基礎(chǔ)，方法論需不斷迭代，二者結(jié)合是關(guān)鍵
說到這里，我還是要潑一盆冷水，在軟件工程當(dāng)中有這樣一個概念，“沒有銀彈”。今天是不是在云端就能徹底解決問題？從一個做云的大數(shù)據(jù)和AI平臺的研究人員和開發(fā)人員的角度來說，我覺得不夠，為什么？
還是剛才那句話，術(shù)業(yè)有專攻，要依賴一個計算平臺來解決所有的業(yè)務(wù)問題是不夠的。就像今天我說我把我的小孩送到一個好的學(xué)校去是不夠的，我們還需要有更好的方法論，還需要一系列的學(xué)習(xí)，不斷地迭代、開發(fā)，不斷地發(fā)展，才能夠把這個東西做好。
從這點來說，我覺得非常欣慰。今天是一個非常好的場合來跟大家探討，討論工具和方法論這兩點內(nèi)容。工具是基礎(chǔ)，是讓數(shù)字化轉(zhuǎn)型、數(shù)字跟產(chǎn)業(yè)的結(jié)合變得更加容易的基礎(chǔ)。像友盟+這樣的平臺可以給大家共享、分享和不斷的探討更好的方法論。我們從阿里巴巴的實踐，從友盟+那么多客戶的實踐當(dāng)中歸納出來的建議和一些方法論，能夠幫助大家更好的思考，在應(yīng)用數(shù)據(jù)智能的時候，應(yīng)該怎樣走更好的道路。
通過工具和方法論的結(jié)合，我相信我們能夠把整個產(chǎn)業(yè)、整個社會的數(shù)字化轉(zhuǎn)型和數(shù)據(jù)智能的落地做得越來越好。這點我還是非常相信云原生這樣的環(huán)境，是我們通往數(shù)據(jù)智能的必經(jīng)之路，也是對我們數(shù)據(jù)智能加速發(fā)展起到關(guān)鍵作用的媒介。這是我今天重點想向大家分享的內(nèi)容，謝謝大家。
