不到現場，照樣看最干貨的學術報告！

不到現場，照樣看最干貨的學術報告！

嗨，大家好。這里是學術報告專欄，讀芯術小編不定期挑選并親自跑會，為大家奉獻科技領域最優秀的學術報告，為同學們記錄報告干貨，并想方設法搞到一手的PPT和現場視頻——足夠干貨，足夠新鮮！話不多說，快快看過來，希望這些優秀的青年學者、專家杰青的學術報告 ，能讓您在業余時間的知識閱讀更有價值。

人工智能論壇如今浩如煙海，有硬貨、有干貨的講座卻百里挑一。“AI未來說·青年學術論壇”系列講座由中國科學院大學主辦，承辦單位為中國科學院大學學生會，協辦單位為中國科學院計算所研究生會、網絡中心研究生會、人工智能學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會，百度為支持單位，讀芯術、PaperWeekly為合作自媒體。“AI未來說·青年學術論壇”第十一期“信息檢索與知識圖譜”專場已于2019年11月24日下午在中科院舉行。百度馮知凡為大家帶來報告《基于知識圖譜的多模認知技術及智能應用》。

嗨，大家好。這里是學術報告專欄，讀芯術小編不定期挑選并親自跑會，為大家奉獻科技領域最優秀的學術報告，為同學們記錄報告干貨，并想方設法搞到一手的PPT和現場視頻——足夠干貨，足夠新鮮！話不多說，快快看過來，希望這些優秀的青年學者、專家杰青的學術報告 ，能讓您在業余時間的知識閱讀更有價值。

人工智能論壇如今浩如煙海，有硬貨、有干貨的講座卻百里挑一。“AI未來說·青年學術論壇”系列講座由中國科學院大學主辦，承辦單位為中國科學院大學學生會，協辦單位為中國科學院計算所研究生會、網絡中心研究生會、人工智能學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會，百度為支持單位，讀芯術、PaperWeekly為合作自媒體。“AI未來說·青年學術論壇”第十一期“信息檢索與知識圖譜”專場已于2019年11月24日下午在中科院舉行。百度馮知凡為大家帶來報告《基于知識圖譜的多模認知技術及智能應用》。

馮知凡，現任百度知識圖譜部主任架構師。2011年至2013年任職于百度互聯網數據研發部，曾負責百度網頁搜索內容價值、視頻及圖片的場景化推薦。2013年至今，任職于百度知識圖譜部，參與了百度知識圖譜設計及構建的整體流程，具有豐富的知識圖譜實踐經驗，并主要負責Query理解、知識融合、知識消歧、知識圖譜文本理解、知識表示學習、知識圖譜多模態認知等技術。

報告內容：知識圖譜在人工智能應用中的重要價值日益突顯。基于海量互聯網資源，百度構建了超大規模的通用知識圖譜，并在搜索、推薦、智能交互等多項產品中廣泛應用。同時，隨著文本、語音、視覺等智能技術的不斷深入，知識圖譜在復雜知識表示、多模語義理解技術與應用等方面都面臨新的挑戰與機遇。本報告將重點介紹百度基于知識圖譜的多模語義理解技術及應用的最新進展。

基于知識圖譜的多模認知技術及智能應用

馮知凡老師首先介紹了相關背景，如為何用知識圖譜理解視頻，從單模態文本，過度到視頻多模態的歷程。隨著4G、5G等技術的發展，視頻等多模態內容成為非常重要的信息媒介，而對于百度公司，有很多視頻類的產品，比如說視頻搜索、信息流推薦、好看視頻等，如何理解這些數十億視頻，是支撐這些視頻相關產品的關鍵技術。

知識圖譜自2012年提出至今，發展迅速，如今已經成為人工智能領域的熱門問題之一，吸引了來自學術界和工業界的廣泛關注，在一系列實際應用中取得了較好的落地效果，產生了巨大的社會與經濟效益。比如智能客服系統已經在很多行業大規模應用，大大降低了人工客服的巨大勞動力成本；網感的智能數據治理系統TML SmartData對企業內部生成數據和外部銷售數據進行自動對齊，補全，統計，及時生成業務報表以供決策。智能化的升級和轉型對整個傳統行業產生的影響將是顛覆性的。前幾年在深度學習的推動下，機器感知能力顯著提升。但以深度學習為代表的統計學習嚴重依賴大樣本，這些方法只能習得數據中的統計模式。然而，現實世界很多實際問題的解決單單依靠統計模式是不夠的，還需要知識，特別是符號化的知識。人類的語言理解、司法判案、醫療診斷、投資決策等等很多領域都是顯著依賴知識才能實現的。而知識圖譜就是這種不可或缺的知識的重要表現形式之一。

而機器認知智能的發展過程本質上是人類腦力不斷解放的過程。認知智能的第一個應用就是大數據的精準與精細分析。越來越多的行業或者企業積累了規模可觀的大數據，但是很多時候這些數據非但沒有創造價值，還成為了一筆負資產。這一現象的根本原因在于，當前的機器缺乏諸如知識圖譜這樣的背景知識，機器理解大數據的手段有限，限制了大數據的精準與精細分析，從而大大降低了大數據的潛在價值。網感的智能數據治理系統TML SmartData可以自動識別相似字段。認知智能的第二個非常重要的應用是智慧搜索。下一代智慧搜索對機器認知智能提出了需求。智慧搜索體現在很多方面。首先，體現在搜索意圖的精準理解方面。比如現在的百度已經具備了智能搜索功能。其次，搜索的對象越來越復雜多元化。以前搜索的對象以文本為主，現在大家希望能搜索圖片和聲音，甚至還能搜代碼，搜視頻，搜設計素材等等，要求一切皆可搜索。第三、搜索的粒度也越來越多元化。現在的搜索不僅能做篇章級的搜索，還希望能做到段落級、語句級、詞匯級的搜索。尤其是在傳統知識管理領域，這個趨勢已經非常明顯。第三個應用是智能推薦。智能推薦表現在很多方面。有場景化推薦、任務型推薦、冷啟動下的推薦等。冷啟動階段的推薦一直是傳統基于統計行為的推薦方法，難以有效解決的問題。利用外部知識，特別是關于用戶與物品的知識指引冷啟動階段的匹配與推薦，是有可能讓系統盡快渡過這個階段的。再如跨領域的推薦，實現這種跨領域推薦顯然商業價值巨大，但卻需要跨越巨大的語義鴻溝。

馮知凡老師認為如果能有效利用知識圖譜這類背景知識，不同平臺之間的這種語義鴻溝是有可能被跨越的。知識推薦將顯著增強用戶對于推薦內容的信任與接受程度。消費背后的內容與知識需求將成為推薦的重要考慮因素。所以未來的推薦趨勢就是精準感知任務與場景，想用戶之未想。基于知識的推薦，將逐步成為未來推薦技術的主流。認知智能還有一個應用是智能解釋。這體現了人們的一個普遍訴求，那就是希望智能系統具備可解釋性。可解釋性決定了AI系統的決策結果能否被人類采信。可解釋性成為了很多領域（金融、醫療、司法等）中阻礙AI系統落地應用的最后一公里。比如在金融領域的智能投資決策，即便AI決策的準確超過90%，但是如果系統不能給出作出決策的理由，投資經理或者用戶恐怕也是十分猶豫的。智能系統的可解釋性體現在很多具體任務中，包括解釋過程、解釋結果、解釋關系、解釋事實。事實上，可解釋人工智能最近受到了越來越多的關注。在學術界，機器學習，特別是深度學習的黑盒特性，日益成為學習模型實際應用的主要障礙之一。智能系統的一個非常重要的表現方式就是自然人機交互。越自然簡單的人機交互方式越依賴強大的機器智能水平。自然人機交互包括自然語言問答、對話、體感交互、表情交互等等。特別是自然語言交互的實現需要機器能夠理解人類的自然語言。除此之外，認知智能還體現在機器的深層關系發現與推理能力方面。

以知識圖譜為代表的這一波知識工程的一系列技術，在認知智能的實現中起到非常關鍵的作用。從2012年Google提出知識圖譜直到今天，知識圖譜技術發展迅速，知識圖譜的內涵遠遠超越了其作為語義網絡的狹義內涵。當下，在更多實際場合下，知識圖譜是作為一種技術體系，指代大數據時代知識工程的一系列代表性技術進展的總和。知識圖譜是一種大規模語義網絡，與上世紀七八十年代的各類語義網絡相比較，最顯著的差異就是規模差異。推而廣之，以知識圖譜為代表的大數據時代的各種知識表示與傳統的知識表示的根本差別首先體現在規模上。傳統知識工程一系列知識表示都是一種典型的“小知識”。而到了大數據時代，受益于海量數據、強大計算能力以及群智計算，我們如今能夠自動化構建、或者眾包構建大規模、高質量知識庫，形成所謂的“大知識”。所以知識圖譜與傳統知識表示在淺層次上的區別，就是大知識與小知識的差別，是在規模上的顯而易見的差別。

隨后馮知凡老師提到，知識圖譜對于認知智能的另一個重要意義在于：知識圖譜讓可解釋人工智能成為可能。“解釋”這件事情一定是跟符號化知識圖譜密切相關的。因為解釋的對象是人，人只能理解符號，沒辦法理解數值，所以一定要利用符號知識開展可解釋人工智能的研究。可解釋性是不能回避符號知識的。我們目前的互聯網推薦，只能給我們推薦結果，卻無法解釋為什么。可解釋推薦將是未來推薦研究的重要領域，將是具有巨大商業價值的研究課題。此外，另一個重要作用體現在知識引導將成為解決問題的主要方式。用戶對使用統計模型來解決問題的效果越來越不滿意了，統計模型的效果已經接近“天花板”，要想突破這個“天花板”，需要知識引導。很多任務是純粹的基于數據驅動的模型所解決不了的，知識在很多任務里不可或缺。比較務實的做法是將這兩類方法深度融合。還有其顯著增強機器學習的能力。機器智能的實現路徑之一是習得數據中的統計模式，以解決一系列實際任務。另一種是專家系統，專家將知識賦予機器構建專家系統，讓機器利用專家知識解決實際問題。如今，這兩種方法有合流的趨勢，無論是專家知識還是通過學習模型習得的知識，都將顯式地表達并且沉淀到知識庫中。再利用知識增強的機器學習模型解決實際問題。這種知識增強下的學習模型，可以顯著降低機器學習模型對于大樣本的依賴，提高學習的經濟性；提高機器學習模型對先驗知識的利用率；提升機器學習模型的決策結果與先驗知識的一致性。

我們希望通過知識圖譜獲得用戶、文本、資源和視頻、圖片這樣的資源，從知識的維度，做知識計算、語義分析，從而提供上層智能應用需要的語義計算和推理的能力。相對傳統的理解，它有這樣幾個優點，第一它能夠實現深度的語義理解，能夠實現視頻背后的知識，第二它能夠基于知識圖譜進行計算與推理。我們的技術全景底層是知識圖譜，還有一些感知技術，上面是一些應用技術，今天我重點介紹文本和視頻兩個技術。當然還有一些跨媒體的生成，視覺問答技術，這樣的技術支撐了百度大部分的產品，比如說搜索、內容對話和行業應用等應用。

傳統的文本語義理解主要是做糾錯、情感分析和關聯分析，知識圖譜語義理解會從實體概念關系對文本做全方位解析，提供上述需要的語義理解，我們首先會標注實體，同時對實體和關系做知識圖譜，把這個實體概念化，比如說李娜唱青藏高原中，李白是一個歌手。同時我們也可以理解實體和實體之間的關系，這樣的話，我們可以通過實體的概念及關系，理解這段文本。同時，對于知識化的推斷而言，可解釋性是非常關鍵的技術，而基于知識圖譜的文本語義理解，則能夠為可解釋性提供可能。

當時，基于知識圖譜的文本語義理解在實際工作中也蘊含著各種挑戰，第一是多種文本形態，上下文關系會非常稀疏，這樣會導致歧義的問題加劇，使我們理解更加困難。第二就是對于新實體的理解，若對很多新實體不理解，文本理解會出現困難。第三就是不同的業務場景，在不同的業務場景下，會有各種各樣的輸入和不同的理解需求。我們的解決方案是增強業務語義理解的方式，提升業務場景的理解。接下來，我們介紹其中幾塊關鍵的技術，首先是實體標注，對文本里出現的實體進行消除歧義，并關聯到知識庫，這樣我們通過利用知識庫的信息，就可以進行文本進行理解。實體標注的技術思路是這樣的，先進行候選實體生成，這里比較關鍵的是新實體識別，我們用兩種方式，第一就是訓練樣本維度，我們會基于遠監督技術生成大量的訓練樣本；對于上下文稀疏的問題，我們會引入外部知識庫解決這樣的問題；然后，對候選實體進行排序，我們通過引入百度強大的預訓練模型ERNIE及聯合知識表示學習，利用外部知識來增強排序的效果；最后，對實體排序打分最高結果，我們會進行關聯決策，去判斷這個結果是否正確，這里我們主要是通過引入膨脹門卷積來擴大整個神經網絡的感受野，考慮到性能問題，并沒有使用非常復雜的神經網絡結構。因為實際的工作中發現，性能對實體標注應用是一個很大的制約因素。當然，我們現在也使用Transformer-XL這類強大的特征抽取器來提升性能與效果。另外一個關鍵技術就是概念化，相對傳統的實體分類，概念化要解決的問題需要結合上下文的知識，賦予這個實體在當前上下文的概念。有了更細粒度的概念，能夠理解文本背后的概念知識。

最后，馮知凡老師通過視頻理解的實際例子，生動地介紹了為什么要基于知識圖譜進行視頻語義理解，以及這樣做的優勢與技術挑戰，并整體介紹了百度知識圖譜部對視頻進行深度語義理解的完整技術框架。其中，重點介紹了視頻理解圖譜及圖譜構建的關鍵技術、基于多模融合與計算推理的實體理解、場景推斷技術。最后，通過實例演示了基于知識圖譜的視頻語義理解在諸多產品的應用效果。

比如視頻理解圖譜，這是百度提出的以視頻理解為目標的圖譜，其區別于傳統圖譜，提升視頻語義理解所需的知識，會差異化的構建各種不同類型的知識。同時，馮知凡老師也介紹了在視頻理解圖譜構建中的一些核心技術。

最后，從文本和視頻的不同模態的語義理解問題進行了總結 ，闡述了知識圖譜在其中發揮的作用以及關鍵的技術，并對未來發展進行了展望。

留言 點贊 關注

我們一起分享AI學習與發展的干貨