來源:聲網Agora,「創業最前線」經授權轉載
據Gartner預測,2020年全球互聯設備的規模將達到250億臺,是2015年的5倍之多。如此海量設備間的互聯互動將是一個巨大的實時網絡,API可以把所有設備、App連接起來,讓用戶進行真正實時的音視頻、數據和觀點的交流互動。
早在2014年,聲網便看到了萬物互聯同實時音視頻的巨大機會,并開創了面向全球的實時音視頻云服務。
而作為實時音視頻云服務的開創者和引領者,聲網Agora也從未停止過上下求索、思變求進的步伐,在剛剛過去的2019年,聲網實現多項產品、服務革新、新技術探索全面落地,并且推進了業務和服務的迅猛增長。
日通話分鐘數超過6億
150000+注冊App使用聲網API
服務覆蓋10余個行業,100余種場景
全球50+新增數據中心
300%全網帶寬容量上漲
中國區支持百萬大頻道動態擴展能力
海外大頻道擴容時間縮短50%
支持 5G 網絡下高清、大碼率視頻傳輸
移動端超分、感知視頻編碼、AI降噪等新技術落地
1、新技術探索全面落地
在與開發者、客戶攜手拓展新場景的同時,聲網的技術根基也更加深固。在2019年落地了多項技術探索。
AI算法讓視頻更高清:業界首個商用移動端超分算法
聲網Agora的視頻超分辨率技術,可以將實時傳輸中的視頻在原有分辨率的基礎上實現兩個方向的2倍同步放大,并獲得顯著的細節增強,全面提高原有視頻分辨率。
聲網Agora超分算法同時支持在云端和移動終端上實時運行,并可以在移動終端上達到非常出色的效果。這是行業內首個可實時運行于移動設備端上的超分算法模型。
AI算法助力音頻審核、降噪
在音頻方面,也有AI應用落地。一方面全新的AI降噪技術,可有效地處理噴麥、電流音等常見聲音干擾;另一方面,利用AI丟包隱藏技術有效保證弱網情況下的有效溝通。
更節省寬帶:編碼更高效
聲網在音頻編碼上做了如下3方面優化,來節省寬帶使用。
- 感知編碼
可在畫質不變的情況下,幫助用戶節省更多的碼率,能大幅節省使用帶寬,或在一些場景下可以提升畫面的流暢性。
- H.265
已全面支持H.265,在傳輸同等質量的視頻時,帶寬占用只需H.264的一半。
- 軟編更高效
在傳統的PRIM算法上進行了優化,在軟件編碼器上開啟后,對圖像運動相對簡單的場景,可節省其20%的帶寬。
高音質語聊房:聲音美化接近專業調音效果
AgoraSDK 已全面支持20kHz高頻譜、48kHz全頻帶高音質應用,可以全面保證頻譜的豐富性、飽和度和高保真度。優化了弱網環境下的音頻表現,在70%的丟包情況下,仍能獲得流暢的高音質表現。并提供接近專業調音效果的聲音美化功能。
“專線”級別傳輸質量
- 進一步提升優質傳輸率
AgoraSD-RTN? 作為承載RTC業務的實時傳輸網,在2019年也得到了進一步的優化。目前網內傳輸,通話送達率已達到99.9%。對東南亞、印度、南美等地區的傳輸覆蓋進行優化,這些地區的優質傳輸率已經達到95%以上,進一步提升了泛娛樂、教育等多種場景的互動體驗。
- 降低“錯分率”
通常來講,國內傳輸的數據可能會遇到“運營商錯分”問題,比如本應在電信網絡內傳輸的數據,會因為個別中小運營商的服務器分配錯誤,導致跨運營商傳輸。
當出現這種情況時,通話的質量就會受到影響。聲網在這一年中,針對這個問題進行了一系列的探索與優化,已將“錯分率”降低到0.1%。
2、技術生態助力實時互動場景升級
在用戶需求和市場環境變化的過程中,聲網的服務也不斷創新升級。我們已與全球40多個合作伙伴開啟云市場,共同創建一個RTC實時互聯網生態,幫助開發者加速集成開發,并針對不同實時互動場景的需求,推出多種場景化方案。
穩定支持在線教育全場景
聲網面向1V1、小班課、互動大班課、雙師課堂、超級小班課、AI互動課堂、音樂教學、游戲化教學等8大在線教學場景,均推出了相應解決方案。
在普通語音教學場景下支持8K或16K采樣,在音樂教學場景下覆蓋全頻帶的48kHz采樣;最高可支持4K高清分辨率;融合聲網Agora語音引擎與AI音頻降噪算法,針對雙講現象進行了特別優化。
超低延時H5實時直播
聲網在今年發布了推出H5實時直播解決方案,視頻延時可低至200ms,純音頻可低至50ms。它基于AgoraWeb SDK 實現,既兼容大部分的Android機型、瀏覽器,又可以滿足白板+H5直播對實時性的要求。
升級遠程醫療解決方案
隨著RTC技術不斷在醫療行業中的滲透,視頻急救、醫學教學、遠程問診、電子處方等場景逐漸RTC化,醫生與患者足不出戶,即可在線上完成問診、開藥和教學交流。據某客戶數據顯示,今年有超過10w用戶發起在線視頻問診。這一場景就是基于聲網遠程醫療解決方案實現的。
同時,結合聲網RTMSDK、本地錄制和云端錄制服務,可滿足醫療教學、電子處方等場景對屏幕共享、醫學影像操作、病例實時共享等遠程協作需求。
聲網助力醫視圈實現遠程醫療協作
高可靠的低功耗智能設備解決方案
自從小天才視頻手表基于聲網AgoraSDK 實現了視頻通話功能后,我們不僅推出了低功耗智能設備場景方案,并先后集成到了AR眼鏡、智能攝像頭、智能音箱等產品中。低功耗智能設備場景方案適用于基于ARM架構、Android系統平臺的低功耗智能設備。
泛金融視頻雙錄,數據安全,存儲可靠
聲網推出了泛金融視頻雙錄場景方案。在滿足企業網絡安全要求的前提下,可以實現企業內外網音視頻和信令信息互通,錄制,加密等企業級需求。
全場景支持內容審核
聲網在原有的實時語音互動直播的基礎上,整合業界Top3 語音識別服務,推出了業界獨有的一站式智能語音識別方案。開發者只需在應用中集成聲網AgoraSDK,即可讓音頻在實時傳輸的過程中完成語音內容識別與審核。
視頻會議實現實時雙語字幕
AgoraSDK融合業界領先的語音識別和機器翻譯技術,推出視頻雙向翻譯轉寫功能,可實現在實時視頻會議場景中“中譯英”和“英譯中”的同傳工作,讓視頻會議也能擁有雙語字幕。
3、產品革新,服務升級
實時消息全球部署低延時
實時消息(RTM)SDK在5月正式發布,系統容量提高了數倍并可隨時拓展,支持單頻道百萬級并發在線及億級消息并發。并提供豐富的功能支持語音聊天室、小班課、大班課等等不同業務場景,幫助國內、出海以及海外客戶輕松構建實時場景。
RTSA開放SD-RTN?碼流加速能力
RTSA實時碼流加速SDK主要面向那些自己可以完成軟硬件編解碼或有特殊編碼要求的開發團隊的,RTSASDK 可以幫助他們解決復雜的實時網絡傳輸問題,讓他們的音視頻數據也可以接入SD-RTN,獲得覆蓋全球的優質傳輸體驗。
云端錄制服務,30分鐘即可快速集成
2019年中旬,聲網正式推出云端錄制服務。開發者通過5個RESTfulAPI 即可方便快速的開啟和控制云錄制功能。
推流3.0,可靠性全面提升
在今年對AgoraSDK 升級后,聲網推流服務極大的提高了服務的可擴展性、可靠性和API的易用性,并且卡頓率和音視頻質量得到了顯著的改善。目前,推流成功率與CDN的握手成功率均超過99.99%。
“水晶球”每天提供3000億數據點
水晶球(AgoraAnalytics)是聲網發布的業界首個實時音視頻全通話周期質量監控與分析平臺。水晶球每天有3000億數據點,從App端到SD-RTN?,從采集到渲染,為用戶提供全鏈路的質量透明信息,讓用戶真正做到對自己應用中的實時音視頻數據質量了若指掌,支持RESTfulAPI。
4、一切以開發者為中心
第五屆RTC實時互聯網大會
2019年6月舊金山、10月北京,兩場RTC大會如約舉行。在北京的第五屆RTC2019實時互聯網大會上,來自W3C、搜狗、阿里巴巴達摩院、字節跳動、美團、滬江CCTalk、bilibili等團隊40多位技術總監、資深工程師,圍繞AI、大前端、網絡架構、編解碼等話題分享了實踐經驗與前瞻理念。他們還與現場的數千位開發者一起度過了一個充滿知識、歡笑的程序員節。
圖:舊金山 allthingsrtc大會
圖:北京RTC2019
行業首個RTC創新開發大賽
7月1日,聲網發起了業界首個圍繞RTC技術展開的創新開發大賽。大賽共三個賽道,包括編程創新挑戰、超分辨率圖像質量挑戰和超分辨率算法性能挑戰,共有150余人參加了編程創新挑戰,760多支隊伍參加了超分辨率的兩項挑戰賽,最后有9支團隊脫穎而出贏得大獎。
2014年,從硅谷一個車庫的幾行代碼開始,到2019年,聲網每天為全球開發者提供超過6億分鐘的實時音視頻技術服務。
支持新語言與開發框架
在2019年初,Flutter開始成為開發者們最關注的技術趨勢之一。聲網率先支持了Flutter,并推出AgoraFlutter SDK.
為了滿足開發者們希望將實時音視頻通話與人臉識別、圖像識別、聲紋識別或與其它Python庫結合的需求,能玩出更多花樣。聲網發布了PythonSDK,并提供了集成TensorFlow進行圖像識別的Demo。
目前,已推出超過120個Demo。在不斷維護、更新代碼的同時,聲網也對大部分的集成文檔進行了優化,讓它們更加通俗易懂,降低大家的上手門檻。
Solo系列編解碼技術的開源與演進
在今年的RTC2019 實時互聯網大會上,聲網正式開源了自研的語音抗丟包編解碼器SOLO編解碼器,它可以幫助所有正在做實時音視頻的開發者,有效減少丟包對語音通話質量的影響。同時,下一代SOLO編解碼器——SOLOX的技術演進步伐也未停歇。
在低碼率下,SOLOX比Opus的抗丟包模式MOS分高出了0.7以上,且碼流兼容Opus,即SoloX的碼流可以被Opus正常解碼。
國內首個WebRTC鏡像與開源文檔
在Demo以外,聲網還為WebRTC開發者建立了國內首個WebRTC源碼鏡像,以及開放于Github上的WebRTC中文文檔。開發者們不用再受限于網絡,可以直接下載、編譯WebRTC源碼,還可以閱讀或自行優化WebRTC中文文檔。
這兩個資源的地址,均已公開在RTC開發者社區(rtcdeveloper)中和Github中。
更易用的開發文檔
為了給開發者更好的開發體驗,聲網對超過100位開發者進行了訪談,并根據建議全面優化了文檔,包括重寫了8個產品8個系統平臺的Quickstart、文檔搜索功能與搜索結果優化、重構了31篇高階開發指南、優化了所有產品、平臺Token的文檔易用性等。
而且,在官方Github開源了所有開發文檔,讓開發者參與優化出更適合他們的文檔。
聲網Agora成立于2014年,是實時音視頻云行業的開創者及領先者,也是全球最大的實時音視頻專業服務商。在過去6年的全球化運營中,聲網以實時音視頻RTC技術為核心驅動了爆發式的業務增長。
截至2019年10月,聲網的日均通話分鐘數已經達到6億,每年為企業客戶、創新創業項目、開發者提供超過5.79億分鐘免費服務時長,全球范圍有超過30億臺終端安裝使用AgoraSDK的應用。
2014年成立至今,聲網已經將RTC技術賦能到社交直播、教育、游戲、金融、醫療、企業協作、IoT、VR/AR等10余個行業,共計100余種應用場景。
聲網Agora服務的國內外產品包括陌陌、斗魚、虎牙、抖音、VIPKID、好未來、火花思維、小米、華為云、金山云、眾安保險、TheMeet Group(美國最大的婚戀社交平臺)、HikeMessenger(印度“微信”)、musical.ly(北美短視頻平臺)、LisPon(日本二次元音頻社區)、StagerLive(日本直播平臺)等。


