11月28日，百度大腦語音能力引擎論壇在京召開。現(xiàn)場百度CTO王海峰公布百度語音技術日調(diào)用量破100億，國內(nèi)第一。

百度CTO王海峰

隨后，百度語音首席架構師賈磊發(fā)布智能語音交互新技術——“基于復數(shù)卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的語音增強和聲學建模一體化端到端建模技術”，顛覆了傳統(tǒng)基于數(shù)字信號處理的麥克陣列算法，這無疑為語音領域注入一股新動能。

早在2012年，百度將深度學習技術應用到中文語音搜索中。現(xiàn)在，百度APP、國內(nèi)出貨量第一的智能音箱…都搭載了百度語音技術，百度語音技術還廣泛應用在各行各業(yè)。

百度語音首席架構師賈磊

賈磊現(xiàn)場披露了大量語音領域的技術細節(jié)。他分享到，百度提出的基于復數(shù)卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的語音增強和聲學建模一體化端到端建模技術，拋棄了數(shù)字信號處理學科和語音識別學科的各種先驗假設，消除學科間壁壘，直接端到端進行一體化建模。相較于傳統(tǒng)基于數(shù)字信號處理的麥克陣列算法，錯誤率降低超過30%。據(jù)公開資料顯示，國際上采用類似思路方法的相對錯誤率降低僅為16%。目前該方法已經(jīng)被集成到百度最新發(fā)布的百度鴻鵠芯片中。端到端、跨學科、大數(shù)據(jù)驅(qū)動，百度在語音前沿領域無疑做了大量工作，而這次在語音算法上的創(chuàng)新突破無疑是給行業(yè)注入了一劑興奮劑。

眾所周知，遠場語音識別是目前語音領域極為關注和致力解決的問題。用戶站在3米甚至5米遠處與智能音箱對話就是一個典型的遠場語音識別應用場景。在遠場環(huán)境下，目標聲源距離拾音器較遠致使目標信號衰減嚴重，加之環(huán)境嘈雜，干擾信號眾多，最終導致信噪比較低，語音識別性能較差。為了提升遠場語音識別準確率，一般會使用麥克風陣列作為拾音器。利用多通道語音信號處理技術，增強目標信號，提升語音識別精度。

傳統(tǒng)數(shù)字信號處理技術已經(jīng)無法滿足技術發(fā)展的需求，用深度學習技術來替代麥克陣列系統(tǒng)中的傳統(tǒng)數(shù)字信號處理已經(jīng)開始成為行業(yè)主流。但此前行業(yè)提出的解決方案需要和數(shù)字信號處理過程看齊的深度學習模型結構設計，嚴重影響了深度學習技術在該方向上的發(fā)揮和延伸，限制了深度學習模型的模型結構的演變，制約了技術的創(chuàng)新和發(fā)展。

此次，百度提出的基于復數(shù)卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的語音增強和聲學建模一體化端到端建模技術。該模型底部以復數(shù)CNN為核心，利用復數(shù)CNN網(wǎng)絡挖掘生理信號本質(zhì)特征的特點，采用復數(shù)CNN, 復數(shù)全連接層以及CNN等多層網(wǎng)絡，直接對原始的多通道語音信號進行多尺度多層次的信息抽取，期間充分挖掘頻帶之間的關聯(lián)耦合信息。在保留原始特征相位信息的前提下，同時實現(xiàn)了前端聲源定位、波束形成和增強特征提取。該模型底部CNN抽象出來的特征，直接送入百度獨有的端到端的流式多級的截斷注意力模型中，從而實現(xiàn)了從原始多路麥克信號到識別目標文字的端到端一體化建模。整個網(wǎng)絡的優(yōu)化準則完全依賴于語音識別網(wǎng)絡的優(yōu)化準則來做，完全以識別率提升為目標來做模型參數(shù)調(diào)優(yōu)。

該方法的成功，進一步揭示了深度學習技術在人工智能工業(yè)應用中的巨大潛力。同時揭示了端到端建模，跨學科的端到端建模，以及大數(shù)據(jù)驅(qū)動等技術方向，是深度學習下一步產(chǎn)業(yè)應用和效果提升的重要發(fā)展方向。

論壇上，搭載了該項語音技術的三款基于鴻鵠語音芯片的硬件產(chǎn)品全新發(fā)布：芯片模組 DSP芯片+Flash、Android 開發(fā)板DSP芯片+ RK3399、RTOS開發(fā)板DSP芯片+ESP32。此外，賈磊還描述了基于鴻鵠語音芯片的端到端軟硬一體遠場語音交互方案以及全新發(fā)布的針對智能家居、智能車載、智能IoT設備的三大場景解決方案。

縱觀全球AI發(fā)展，百度語音在技術創(chuàng)新上一路領航。今年年初，百度提出截斷注意力模型SMLTA，使得句子的整句識別率、方言的識別以及中英文混合的識別率顯著提升，也是在全球范圍內(nèi)第一個實現(xiàn)了語音識別領域注意力模型的大規(guī)模工業(yè)在線產(chǎn)品落地。在語音合成領域，百度大腦同樣令行業(yè)側目。首創(chuàng)Tacotron+wavRNN聯(lián)合訓練，成為全球首個上線waveRNN技術的語音平臺，大幅提升云端合成速度，語音合成的自然度幾乎達到真人的效果。百度地圖20句話即可錄制語音導航的技術基于百度獨創(chuàng)的風格遷移技術Meitron模型，特點主要體現(xiàn)在音色轉換、多情感朗讀和韻律遷移三個方面，從而讓語音合成的門檻大大降低。

語音技術作為人工智能重要的感知層技術，是人機溝通的重要橋梁，也是未來AI發(fā)展的重要支柱。百度大腦作為百度AI的集大成者，在語音技術上不斷發(fā)力，讓人工智能在各行各業(yè)“張嘴、聽話”，出行、搜索、家居、輸入法……百度大腦的語音技術正加速落地。

目前，百度大腦通過AI開放平臺已開放228項技術能力，接入開發(fā)者超過150萬。這次公布語音技術日均調(diào)用量超100億次，國內(nèi)第一。百度大腦為業(yè)界打造了一個“能聽會說”的語音交互時代。更令人欣喜的是，越來越多的產(chǎn)業(yè)伙伴加入到百度大腦的語音生態(tài)中來，與百度一起迎接全球人工智能語音化的“風暴時刻”。