作者：中國工商銀行軟件開發(fā)中心高級專家 劉承巖

情感計算顧名思義是對情感的感知、理解和表達，是融合計算機科學、心理學等多個領域的綜合性研究，對于提升計算機的理解和表達能力有著重要意義。相關研究表明，多模態(tài)是未來數(shù)據(jù)形式和人工智能技術發(fā)展的大趨勢，在表情、語音、姿態(tài)、語義等多元信息互補的激勵下，能夠更加準確地識別情感目標。隨著銀行數(shù)字化轉(zhuǎn)型進程推進，如何不斷提升服務水平、防控金融風險，一直是銀行業(yè)共同探索的問題。多模態(tài)情感計算的發(fā)展與應用，將成為解決上述問題的一大利器。

一、多模態(tài)情感計算發(fā)展現(xiàn)狀及趨勢

多模態(tài)情感計算主要專注于信息之間的融合與交互，根據(jù)融合策略不同，有決策級融合與特征級融合兩種主要技術路徑。決策級融合即對單獨學習好的各模態(tài)信息進行直接融合，最簡單的方法是分別實現(xiàn)微表情識別、語音情感識別與文本情感識別，再對識別結(jié)果進行簡單加權(quán)。特征級融合是在單個模態(tài)學習過程加入模態(tài)之間的交互，動態(tài)補充模態(tài)中缺少的信息。

目前決策級融合在業(yè)界應用相對成熟，實現(xiàn)難度低，效果基本滿足預期。特征級融合對于模態(tài)的信息學習更充分，準確率相較決策級融合有較大提升，但目前暫未有相關軟件產(chǎn)品，仍處于學術研究階段。

隨著多模態(tài)大模型技術日趨火熱，運用大模型執(zhí)行情感計算任務也成為當下的研究熱點，其解決方案為通過自監(jiān)督的方式對海量無標注數(shù)據(jù)進行學習，再面向特定場景進行少量數(shù)據(jù)的標注學習及微調(diào)。多模態(tài)大模型對數(shù)據(jù)依賴較低，泛化能力強，還可以與視覺大模型、語言大模型等其他模型相結(jié)合，例如在當下最熱門的GPT模型融入情感計算，使該模型在理解和表達上更加人性化，在視覺大模型中加入情感識別則可以在風控、安防等領域發(fā)揮積極作用。然而，現(xiàn)階段大模型也存在一定短板，如對前期訓練成本和算力要求非常高，模型龐大的體量也會影響其拓展性與應用的靈活性，部署難度加大等。

目前在金融行業(yè)，也有多家銀行積極布局基于微表情、自然語言的單模態(tài)情緒識別或決策級多模態(tài)情緒識別產(chǎn)品，主要應用方向為服務質(zhì)量評價及遠程面審反欺詐，隨著多模態(tài)情感計算日趨成熟，未來將在銀行業(yè)更多場景發(fā)揮作用。

二、在銀行業(yè)的應用前景

1.多模態(tài)情感計算運用不同數(shù)據(jù)源可賦能不同類型業(yè)務。從服務渠道來說，不同于目前相對成熟的文本情感識別與微表情情感識別，多模態(tài)情感計算可通過不同模態(tài)之間的組合靈活適配音視頻通話、電話語音與文字交互等需求，擺脫對某一固定服務類型的限制。此外，音視頻服務常常受到網(wǎng)絡波動影響出現(xiàn)畫面不穩(wěn)定，導致缺少關鍵幀無法識別情感的狀況，多模態(tài)情感計算對語音與語義的融合分析能夠較好地維持情感識別的穩(wěn)定性。

從交互方式來說，多模態(tài)情感計算可融入人人交互、人機交互，以及在元宇宙等虛擬空間的虛擬身份間交互。及時感知客戶情感反饋對銀行提升服務體驗至關重要，當前各家銀行都在大力發(fā)展7×24小時智能自助服務，由于缺少服務人員人工介入，更需要依賴人工智能系統(tǒng)了解客戶滿意度，及時發(fā)現(xiàn)系統(tǒng)存在的不足并改進。

2.多模態(tài)情感計算輔助判斷客戶真實意圖。無論是對業(yè)務辦理過程中表現(xiàn)出的正面與負面情緒，或是在審核、調(diào)查等過程中出現(xiàn)的明顯情緒波動，通過融合心理學上的情感映射，都可以一定程度展現(xiàn)客戶當前的真實意圖，從而為服務人員或?qū)徍巳藛T的決策提供參考。真實意圖判斷在對客營銷、服務評價、盡職調(diào)查、催收、反欺詐等領域能夠發(fā)揮重要作用。結(jié)合客戶畫像，在業(yè)務環(huán)節(jié)運用多模態(tài)情感計算對客戶的意圖、行為等進行預測，可實現(xiàn)精準營銷、個性化定制化服務，同時為金融安全保駕護航。

3.基于多模態(tài)情感計算的情感生成。隨著金融數(shù)字化轉(zhuǎn)型深入推進，商業(yè)銀行均在積極布局各種形態(tài)的智能服務，包含智能文字客服、智能外呼、數(shù)字人等。無論在文本生成、語音合成還是數(shù)字人交互過程中，有情感有溫度的回應將會給用戶帶來更優(yōu)質(zhì)的服務體驗。除了及時應對客戶當前的情緒波動提供對應的安撫或激勵外，還可以結(jié)合客戶畫像特征實現(xiàn)不同的情感表達。例如面對老人、兒童、不同性別的客戶，采取不同的數(shù)字人形象與講話方式，或是參考客戶聊天習慣，創(chuàng)建與客戶“更聊得來”的智能客服。

三、在銀行業(yè)的典型應用案例

基于以上對多模態(tài)情感計算特點的分析，可以看出情感計算在銀行業(yè)各領域大有可為。現(xiàn)如今銀行業(yè)正不斷擴充服務邊界，多模態(tài)情感計算適用于網(wǎng)點、音視頻、自助服務等各類服務渠道，在內(nèi)部人員管理、精準營銷、風險防控等領域擁有豐富的創(chuàng)新應用場景。現(xiàn)階段，銀行業(yè)可以考慮在傳統(tǒng)業(yè)務中融合情感計算，實現(xiàn)客戶滿意度調(diào)研、輔助風控等。未來，隨著新技術的不斷發(fā)展成熟，可開拓新一代銀行服務模式，例如基于大模型多輪對話+情感計算的AI智能服務、元宇宙+情感計算的多元交互等。在此具體分析情感計算應用的幾個典型案，供銀行同業(yè)交流參考。

1.多模態(tài)情感計算實現(xiàn)對音視頻、電話、線下等渠道的人工服務監(jiān)督評價。在服務過程中感知到客戶出現(xiàn)憤怒等負面情緒時，及時通知主管人員介入處理，或?qū)崟r監(jiān)測銀行服務人員的異常情緒，監(jiān)督規(guī)避違規(guī)操作，降低糾紛。在服務完成后，多模態(tài)情感計算替代客戶對服務打分評價，減少客戶操作，獲取較為真實的客戶反饋。在事后質(zhì)檢中加入情感質(zhì)檢，實現(xiàn)對內(nèi)部人員管理考核，提升服務合規(guī)水平。

2.多模態(tài)情感計算輔助銀行人工智能系統(tǒng)改進提升。當前手機銀行服務配置有語音搜索、語音指令控制等功能，以方便老年人群等客戶操作。通過判斷是否重復多次發(fā)出語音指令，以及語音中是否帶有負面情緒，幫助銀行了解客戶使用系統(tǒng)的便捷度，并加以改進。在智能文字客服、智能語音外呼及數(shù)字人等自助服務過程中，客戶在文字、語音中出現(xiàn)的異常情緒也為銀行智能服務的改進提升提供依據(jù)。

3.多模態(tài)情感計算助力金融業(yè)務反欺詐。在信貸面審、信用卡盡職調(diào)查等場景，結(jié)合特定話術、問題等，捕捉情緒異常波動，為客戶經(jīng)理判斷客戶是否存在隱瞞、欺詐風險提供參考。在轉(zhuǎn)賬匯款等業(yè)務辦理過程中，判斷客戶特別是老年客戶群體是否存在緊張、恐懼等情緒，結(jié)合視頻智能分析等技術，例如操作過程中是否有人代操作、或邊打電話邊操作等動作，及時阻止可能出現(xiàn)的詐騙案件。

4.多模態(tài)情感計算實現(xiàn)對客服、催收等高流動性崗位人員的智能培訓及測評。通過軟件模擬不同業(yè)務場景下的客戶訴求，由參訓人員進行應答，在應答過程中檢測其情緒是否符合崗位要求。受訓人員可自行反復多次訓練，也可以通過該方式開展培訓結(jié)業(yè)考試等。用自動化訓練替代傳統(tǒng)人工培訓中需要依賴導師的重復性訓練，大幅節(jié)約師資成本與人力資源。

四、多模態(tài)情感計算應用展望與建議

多模態(tài)情感計算對銀行業(yè)提升服務質(zhì)量與安全性有著廣泛的應用前景，在對客服務、運營管理、產(chǎn)品營銷、風險防控等領域都能夠發(fā)揮重要作用，還能夠與元宇宙、智能網(wǎng)點、數(shù)字人等新興技術相結(jié)合，實現(xiàn)智能服務提升，但該技術在發(fā)展與推廣過程中仍面臨一定挑戰(zhàn)。

一是目前仍缺少充足且準確的標注數(shù)據(jù)，尤其是銀行業(yè)務種類繁多，不同的業(yè)務類型具有不同的情緒傾向和話術特征，因此每適配一個新的場景都需要投入大量的人力資源進行數(shù)據(jù)標注與訓練，且人工標注暫時還沒有統(tǒng)一的方法和標準可以驗證其標注準確性，會導致實際應用中識別準確率不達預期。二是心理學領域關于情緒和意圖的研究仍處于發(fā)展階段，情緒與意圖之間并非簡單的一對一映射，即使捕捉到人的情緒異常，仍不能保證了解其真實意圖。三是情感計算涉及客戶視頻資料的獲取和分析，在個人隱私保護要求日益嚴格的大環(huán)境下，如何在保護客戶權(quán)益的前提下合理運用情感計算技術，也是銀行業(yè)急需思考的問題。

因此，現(xiàn)階段銀行在應用多模態(tài)

情感計算時，建議先在小范圍開展試點，通過充足的脫敏標注數(shù)據(jù)進行模型調(diào)優(yōu)，定期對算法模型進行升級和優(yōu)化。在試點過程中，還要注意客戶信息采集告知授權(quán)、數(shù)據(jù)傳輸與存儲過程加密、算法模型的私有化部署等，保證客戶信息安全。此外，銀行業(yè)還要加強與頭部企業(yè)、高校等機構(gòu)在計算機領域與心理學領域的合作，持續(xù)關注國內(nèi)外業(yè)界與學界的最新技術發(fā)展。

本文來源：微信公眾號《金融電子化》

免責聲明：所載內(nèi)容來源互聯(lián)網(wǎng)、微信公眾號等公開渠道，我們對文中觀點保持中立，僅供參考、交流等非商業(yè)目的。轉(zhuǎn)載的稿件版權(quán)歸原作者和機構(gòu)所有，如有侵權(quán)，請聯(lián)系我們刪除。