擁抱AI:轉轉客服智能質檢系統—客服服務質檢效率革新
1、困境與破局
2、抽象建模,流程支持
質檢項
質檢方案
質檢任務
質檢配置
設計思路
質檢流程
3、質檢演變,持續探索
大模型
關鍵詞質檢
程序性判斷
4、自建模型,針對訓練
項目成果
5、使用現狀
6、后續規劃
細化質檢項,提高質檢準確性
質檢流程優化
李女士在某電商平臺下單了一箱牛奶,下單前特意咨詢客服:“這箱牛奶的保質期到什么時候?能放多久?”
客服回復:“都是近期生產的,您放心”。
收到貨后,李女士發現牛奶的保質期只剩十幾天,而她原本計劃囤貨用兩個月。聯系客服時,對方卻說 “近期生產指的是三個月內,沒問題的”,這讓她覺得被敷衍,隨即發起了投訴。
收到投訴后客服團隊進行復盤,才發現當時的客服既沒有明確告知牛奶的具體保質期,也沒有主動詢問用戶的囤貨需求,這種 “模糊回復” 看似省事,實則埋下了糾紛隱患。更糟的是,這樣敷衍的回復在客服行業可能并非個例:有人問售后政策時被含糊帶過,有人催發貨時遭冷言相對……
如果缺乏對客服服務過程的把控與監督,這些服務中的漏洞就像藏在地毯下的灰塵,越積越多,直到用戶帶著不滿離開......
1、困境與破局
轉轉始終堅持對客服服務質量的嚴格把控,每天安排專人對一定量的客服服務進行質檢,但面對每日大量的客服服務數據,能覆蓋到的僅占很少一部分。這就可能導致不符合標準的服務流程因未被抽中檢查而錯失了提前干預的機會。
更頭疼的是,質檢員通常對著屏幕逐字核對,效率有限,還可能因為漏看關鍵信息放過問題會話。
傳統質檢像漏水的篩子,既擋不住問題也追不上效率。
AI 的浪潮席卷而來,各個行業都在經歷著前所未有的變革,借此機會,轉轉為客服服務打造了 AI 質檢系統 —— 米諾斯(源自希臘神話中克里特之王,負責判決的神)。
真正給客服質量管理裝上了 “火眼金睛”!
2、抽象建模,流程支持
米諾斯系統核心是借助系統能力,高效、準確地給客服服務流程做事后檢查。
系統依托三大核心概念構建起高效運轉的體系,它們分別是質檢項、質檢方案和質檢任務,三者相互配合,共同支撐起全流程的智能質檢工作。
質檢項
是服務流程質檢的最小單位,聚焦客服服務的具體維度,如“是否使用禮貌用語”等。
可設置是否支持AI質檢及支持的質檢模型,包括:大模型語義理解、程序性邏輯校驗或正則匹配關鍵詞等,并可根據需求使用多模型進行同步質檢,精準適配訴求。
質檢方案
由多個質檢項組合成的模板。它依據業務場景與質檢的服務流程,整合相關質檢項,實現對服務流程的多維度檢查。方案中配置有質檢合格分值,質檢后質檢得分低于該標準,系統會自動預警,讓問題會話及時顯現。
質檢任務
推動質檢工作落地的執行單元。預設條件定時自動抽取符合要求的客服服務數據,如某時間段內特定業務線會話、用戶評分較低的會話等,再指定對應質檢方案檢測。質檢完成后,會觸發生成質檢結果、推送不合格會話給客服主管等后續操作,形成質檢流程閉環。
質檢配置
質檢任務配置
設計思路
通過抽象以上三個概念,后續可根據不同質檢目的設置質檢項,再根據質檢場景,將不同的質檢項組裝為場景需要的質檢模板(質檢方案)。
實現全質檢場景可配置化。業務后續自主配置質檢流程,抽取相應的服務內容進行質檢。
質檢流程
質檢流程
3、質檢演變,持續探索
米諾斯的質檢項最初僅支持大模型質檢,通過在質檢項中配置對應prompt來啟動 AI 質檢。但實際質檢過程中發現,部分質檢項僅靠會話語義難以精準判斷或者無法實現——如質檢服務過程中客服答應客戶進行的后續跟進事項,是否有完成等。
因此后續補充了正則匹配、程序判斷等能力,與模型質檢形成配合,共同提升質檢準確性與質檢能力的多樣性。
大模型
大模型是“語義解讀專家”,專攻客服服務中的軟性標準:通過深度解析會話語義,判斷客服態度是否友好、是否有效安撫用戶情緒,以及是否把用戶的疑問都講透講全 —— 如用戶連問兩個問題時,是否有漏答;用戶表達不滿時,有沒有及時回應并給出解決方案,讓服務是否達標有了精準的語義標尺。
關鍵詞質檢
正則匹配是“關鍵詞哨兵”,尋找明確的不合規表述:精準抓取服務過程中客服所回復的 “我沒有辦法”“我無權干涉”“這個不清楚” 等違規關鍵詞,快速判定客服回復是否違規。它既能獨立發力,也能輔助大模型,用高效簡單的方式實現特定場景的精準質檢。
程序性判斷
程序判斷是“履約核查員”,如通過大模型和程序判斷共同質檢客服對用戶的承諾是否兌現:通過大模型分析出服務過程中答應為客戶創建工單,就核對是否生成對應工單;承諾催促或升級工單,就檢查工單狀態是否按約定變更。
通過打通會話與業務系統數據,用硬性邏輯規則核驗 “承諾 - 履約” 閉環,確??头f到做到,杜絕空頭支票。
4、自建模型,針對訓練
在AI質檢體系的搭建中,模型是核心支撐。轉轉客服場景存在大量二手交易特有的質檢場景,如 “驗機報告解讀是否清晰”“保修政策說明是否準確”,外部通用模型難以覆蓋這類行業特有標準,自建模型可針對性捕捉業務細節。并且對于后續的成本和調優都有一定優勢。
通過訓練自研模型完成會話的自動分類。把模型識別出的異常樣本,再交由人工檢核。目的是在人力可支持的范圍內檢出更多的異常會話,從而提升復雜質檢項的檢出率。
模型訓練流程
項目成果
針對“缺少安撫與致歉”質檢項,在連續四周的線下評估數據集上,自研模型識別精準率每周穩定超越豆包,總體精準率超出豆包8.6pp?;谶@個效果,經與業務方討論正式上線實測,相比通用模型檢出率提升26倍。能夠穩定提供覆蓋線上全量數據的能力。
5、使用現狀
米諾斯系統目前已配置 10 種質檢場景,每種質檢方案對應一類場景,其中包括8 種 AI 質檢項。
日均完成對2萬+ 客服服務質檢。相較無 AI 介入的傳統模式,每日質檢量提升兩個數量級,不僅大幅突破人工質檢的產能瓶頸,更精準達成了初期設定的效率提升目標,實現了質檢覆蓋范圍與處理效率的雙重突破。
6、后續規劃
細化質檢項,提高質檢準確性
目前部分質檢項質檢準確率較低,核心原因為質檢項對應的規則過于復雜,考慮到結合實際業務場景中的各種問題,將對應質檢項細分為多個維度,讓模型進行更精細化的質檢。進而提高準確率。
質檢流程優化
初期為了快速配合業務迭代和方案調整,對于多種質檢方式組合質檢的方案沒有通用設計,存在較多的硬編碼。后續將會探索基于流程編排引擎去實現用戶可自定義模型組合順序:
- 如先正則過濾→再大模型分析→最后程序判斷;
- 如設置觸發條件,如模型 A 結果為“疑似違規”時,才啟用模型 B 二次校驗。
讓不同質檢能力的協同方式更靈活,按需適配多樣業務場景。
關于作者柴建,轉轉履約中臺研發工程師,主要負責客服業務


































