這篇文章主要面向運營人員（包括訓練師、標注人員等），分享一些優化機器人客服效果的方法論，歡迎各位同行交流指正。

這篇文章主要面向運營人員（包括訓練師、標注人員等），分享一些優化機器人客服效果的方法論，歡迎各位同行交流指正。

客戶的投訴率上升，這是很多大型企業在進行客服中心智能化改造時顧慮的因素。

機器人客服，尤其是語音方向，對應答的準確性、自然程度有較高的要求，否則會出現機器人自說自話、轉人工率過高等情況，非但沒有減輕人工客服的壓力；反而導致投訴變多，輿論壓力大。如果機器人效果優化不上去，還不如用人工。

語音類比文本類機器人客服多用了一些技術，如ASR、TTS。目前市場上擬人度高的TTS音色有很多，如果希望效果更好，就用錄音+TTS方式處理客戶信息等變量。這里和機器人識別效果提升無關，就不多展開了。

一、ASR優化

ASR是機器人應答準確率的第一道門檻。

客戶電話進來的語音由ASR轉寫成文本，才會交到語義識別模塊進行分析，如果連耳朵都聽錯了，就別怪大腦理解不了。

目前，主流廠商通用模型的語音識別準確率雖然很高，但實際落地后，都會受到領域、噪聲、口音等問題削弱效果，實際字準確率不大于80%。

運營人員一般是從兩個方面做優化：

1. 語言模型

使用與自己場景相關的文本數據訓練模型，如快遞行業“包裹”VS教育行業“包過”，或者不易識別的領域專有名詞，如“螞蟻借唄”。

這個方法比較普遍，訓練效率較高（分鐘級），運營人員可以在機器人上線前把所有問答話術提供給算法工程師或者ASR提供商，灌到模型中訓練。平時日常監聽也可以及時糾錯，會提升對特定詞匯的識別率。

2. 聲學模型

根據統一規范，在保證標注準確的情況下，可不斷積累訓練數據。運營人員提供上百小時的音頻及對應的正確文本，用來優化聲學模型。

這個方法訓練時間較長（按天計算），且對模型訓練的機器有較高要求，成本較高。

注：

• 聲學模型訓練集中可以分出一部分數據生成測試集使用，這樣可以快速檢測模型優化效果，不用等到上線之后。靠人為測聽上線之后的效果，沒有數字支撐、無法保證復現，效率較低。
• 這兩種方法沒有沖突，運營人員可結合實際情況進行選擇。
• 產品層面也可以做一些優化功能，方便運營人員進行標注及測試，減少線下工作。

耳朵聽清楚了，大腦也要聰明。

目前行業內主流的客服機器人大多用“語義理解+正則匹配”的方式做識別。

那么，如何發現機器人的語義識別問題？

這里分為兩種情況：機器人知道自己“錯”了，和機器人覺得自己沒“錯”。

1）機器人知道自己“錯”了，表現在拒識或沒有直出答案的情況，具體指標體現在置信度或匹配度沒有到達規定的閾值。此時運營人員根據數值，可以比較有針對性地進行查看及優化。

這里的錯不完全是匹配問題，拒識，不一定是壞事。當客戶問起和業務毫不相關的問題，機器人完全可以用拒識對應的話術來減少與客戶沒必要的周旋（閑聊機器人除外），所以一些用戶問我們完全可以當做拒識處理。

2）機器人覺得自己沒“錯”，表現在機器人可以回答問題，但卻不是客戶想要的答案，具體參考指標為點踩率（不帶語音）、轉人工率等。

但如果用戶沒有任何滿意度反饋，此時就要借助人工進行檢測，通過查看對話記錄，進行對每句問題的質檢。一般數據量較龐大時就以抽檢的方式，目的主要是修正錯誤答案并拿到精確的統計數據，具體輸出的指標有精準率、召回率等。根據數據，運營人員可以直觀看到效果好壞。

2. 如何針對問題優化？

關于優化，每家都有各自的方式，需要注意的是，標注時遇到模棱兩可的問題，一定要與團隊進行溝通確認，保證意圖之間沒有重疊及錯誤。不然越到后期，機器人理解能力也越會遇到瓶頸，外包標注尤其需要規避這點。

3. 如何測試優化效果？

語義識別的測試，可以直接用測試集進行文本測試，機器人答對了代表測試通過，答錯了繼續補充。這里運營人員在編寫測試集的時候，盡量避免和訓練集相似度太高，保證最終模型的泛化能力。

在整體測試的時候，是盲測好，還是提前限定好范圍去問呢？

舉個例子：

在語音外呼場景中，話題一般不是開放的，可能通篇只圍繞一件事，比如催收。此時面向的客戶，接聽電話也基本是按照機器人引導方向去回答。此時可以按照寫好的“劇本”進行呼測，而不需要特意測試一些和場景無關的問題。

總之，測試方式要按照實際的應用場景選擇，可以起到事半功倍的效果。

除了語義識別可以優化，通過路徑流量分析、對話輪次、客戶畫像等，我們也能檢測到對話的健壯性和話術設計的是否合理。

上線后，可以把優化前后的機器人做個AB test，根據幾個運營指標和質檢指標，進行評定。

三、結尾

總結一下，運營人員可以通過工具和統計數據，系統地對機器人進行分析和優化。還有一個好處，就是可以從數據中不斷發現新的運營方法論。反之，應盡量避免像黑盒一樣，純靠測聽修改。

寫到最后，如果這篇文章對產品經理們也有所啟發，希望大家可以盡量為運營人員提供方便好用的優化工具。

標注測試是一項枯燥乏味的工作，但卻對提升機器人效果有著至關重要的作用。我們要盡可能地多傾聽運營同事的需求，結合AI幫助他們讓自己的工作更加精細化、專業化，才會讓機器人客服的市場更加蓬勃發展。

本文由 @PhoebeFeng 原創發布于人人都是產品經理，未經許可，禁止轉載

題圖來自 Unsplash，基于 CC0 協議