This resume is also available in English.

九、RAG 與工具第 3 / 5 篇 · 全部目錄

專欄 › 九、RAG 與工具 › 第 40 篇

RAG 的評估、幻覺與常見失敗:怎麼知道它答得對

Evaluating RAG, Hallucinations and Common Failures: How to Know It Answers Right

用問題集分開評估檢索與回答:recall@k、MRR、忠實度與拒答;把幻覺拆成四種來源,從資料、檢索、提示、程式檢查到介面一層一層擋;整理最常見的失敗與對策,以及上線後的監控與回歸測試。

  • RAG
  • AI
  • Go
  • 評估
這篇的步驟
  1. 這篇要解決什麼
  2. 第 1 步:答錯不是一種失敗
  3. 第 2 步:黃金問題集
  4. 第 3 步:檢索的指標——recall@k 與 MRR
  5. 第 4 步:回答的指標——忠實度、正確性與拒答
  6. 第 5 步:幻覺從哪裡來,怎麼一層一層擋
  7. 第 6 步:常見失敗與對策
  8. 第 7 步:上線之後——記錄、監控與回歸測試
  9. 常見陷阱
  10. 重點整理
  11. 下一篇

上一篇〈RAG 的品質從哪裡來:切塊、embedding、向量資料庫與混合檢索〉說明了每一環可以調什麼。這篇是進階:調了之後到底變好還是變壞?模型答錯時,是哪一環出問題?還有大家最在意的那件事:幻覺怎麼避免?

這篇要解決什麼

把切塊從 800 字改成 500 字,問了五個問題,看起來答得比較好,就上線了。一週後客服反映:退款相關的問題開始答錯。這是 RAG 最常見的開發方式,也是最常見的出事方式:憑感覺調參數。

這篇要建立一套可以重複的方法:

  1. 把「答錯」拆成幾種失敗,知道每種該修哪一環。
  2. 建一份黃金問題集,包含「應該回答不知道」的題目。
  3. 分開量檢索(recall@k、MRR)與回答(忠實度、正確性、拒答)。
  4. 幻覺從哪裡來,以及從資料到介面的五層防線。
  5. 常見失敗與對策的對照表。
  6. 上線後的記錄、監控與回歸測試。

第 1 步:答錯不是一種失敗

答錯時依序問四個問題:在哪一步出錯,就修哪一步 1. 資料 文件裡有正確答案嗎? 沒有、寫錯、過時 要修的地方 修文件 不是修 RAG 2. 檢索 正確段落有撈到嗎? 最常出錯的一步 要修的地方 切塊、混合檢索 篩選、recall@k 3. 排序與提示 撈到了,有用上嗎? 被截掉、被淹沒 要修的地方 重排、上下文預算 片段數量 4. 生成 用到了,卻說錯? 狹義的幻覺 要修的地方 提示規則、門檻 引用檢查 先確定檢索沒問題,再談生成:大部分「模型答錯」其實是第 2 步沒撈到。

圖:同樣是「答錯」,可能是資料本身錯、檢索沒撈到、撈到了但沒用上、用了卻說錯;每一種要修的地方不同。

拿到一個錯誤的回答,先問四個問題,就能知道要修哪裡:

  1. 文件裡有正確答案嗎?沒有,或寫錯了、過時了:這是資料的問題。修文件,不是修 RAG。
  2. 正確的段落有被檢索出來嗎?沒有:這是檢索的問題,回頭看切塊、embedding、混合檢索、篩選。
  3. 撈到了,有放進提示、模型有用到嗎?排太後面被截掉、被一堆不相關片段淹沒:這是排序與組提示的問題。
  4. 用到了,卻說錯或加油添醋?這才是生成的問題,也是狹義的「幻覺」。

這個分類很重要,因為大部分人一看到答錯,就去改提示詞或換模型;但實務上,失敗最常出在第 2 步。先確定檢索沒問題,再談生成。

第 2 步:黃金問題集

評估要有固定的題目,每次調整都用同一份題目跑一遍。這份「黃金問題集」每題記下:

  • 問題:用真實使用者會問的說法,不是文件裡的原句(否則關鍵字檢索會顯得特別好)。
  • 正確來源:哪幾段(檔案與行號,或段落 ID)包含答案。這是量檢索的依據。
  • 參考答案或要點:答案必須提到的事,例如「不能直接重試」「要先確認冪等鍵」。
  • 類型:一般事實、需要兩份文件合起來的、錯誤碼或編號、應該拒答的。

最後一類最容易被忘記:問「我們的退款政策對 VIP 有優惠嗎?」而文件根本沒寫,正確的回答是「文件裡沒有寫」。沒有這類題目,你永遠量不到幻覺。

題目從哪裡來?最好的來源是真實紀錄:客服工單、值班時問過的問題、上線後使用者的提問(去掉個資)。一開始 30 到 50 題就很有用,之後每次發現答錯,就把那題加進去。

// internal/rag/eval/golden.go:一題黃金問題
package eval

type Case struct {
	Question string   `json:"question"`
	Relevant []string `json:"relevant"` // 正確段落的 ID;空的代表應該拒答
	MustSay  []string `json:"must_say"` // 回答必須提到的要點
	Kind     string   `json:"kind"`     // fact、multi_doc、exact_id、refuse
}

第 3 步:檢索的指標——recall@k 與 MRR

檢索要分開量,因為它不需要呼叫生成模型,又快又便宜,可以在每次改切塊或參數時跑。兩個最常用的指標:

  • recall@k:正確段落裡,有多少比例出現在前 k 名。k 就是你實際放進提示的段落數。recall@5 很低,代表模型根本拿不到答案,再怎麼調提示都沒用。
  • MRR(Mean Reciprocal Rank):第一個正確段落排第幾名,取倒數(第 1 名得 1、第 2 名得 0.5、沒找到得 0),再對所有題目取平均。它看的是「對的東西排得夠不夠前面」。
// internal/rag/eval/metrics.go
package eval

// RecallAtK:relevant 裡有幾成出現在 got 的前 k 個;沒有正確段落的題目(應拒答題)不計入
func RecallAtK(got, relevant []string, k int) (float64, bool) {
	if len(relevant) == 0 {
		return 0, false
	}
	if k > len(got) {
		k = len(got)
	}
	top := map[string]bool{}
	for _, id := range got[:k] {
		top[id] = true
	}
	hit := 0
	for _, id := range relevant {
		if top[id] {
			hit++
		}
	}
	return float64(hit) / float64(len(relevant)), true
}

// ReciprocalRank:第一個正確段落名次的倒數;沒找到是 0
func ReciprocalRank(got, relevant []string) float64 {
	want := map[string]bool{}
	for _, id := range relevant {
		want[id] = true
	}
	for i, id := range got {
		if want[id] {
			return 1 / float64(i+1)
		}
	}
	return 0
}

把所有題目的 recall@k 與 reciprocal rank 平均起來,就是這次設定的分數。每次調整只改一個地方,比較前後的分數,並且分類型看:整體 recall 上升,但「錯誤碼」類型下降,通常代表你拿掉了關鍵字檢索的權重。

第 4 步:回答的指標——忠實度、正確性與拒答

檢索沒問題之後,才評估生成。回答要看三件事:

  • 忠實度(faithfulness):每一句話是否都有引用,而且引用的段落真的支持這句話。這是幻覺的直接指標。
  • 正確性:是否提到了參考要點(MustSay),而且沒有說出和要點相反的話。
  • 拒答:應該拒答的題目有沒有拒答;不該拒答的題目有沒有亂拒答。兩個方向都要量,否則把系統調成「什麼都說不知道」,忠實度會是滿分。

怎麼判斷?由便宜到貴,三種方法混著用:

  1. 程式規則:每句都有引用、引用的 ID 都在這次檢索結果裡、要點的關鍵字有出現、拒答題的回答是固定的拒答句。快、可重現,放進 CI。
  2. LLM 評審:請另一個模型判斷「這個段落是否支持這句話」。比規則聰明,但它自己也會錯,要先用人工標好的題目驗證它的判斷和人一致,而且題目與提示固定、版本記錄下來。
  3. 人工抽查:每次大改動抽 20 到 30 題由人看。最準,也是校正前兩種方法的依據。

第 5 步:幻覺從哪裡來,怎麼一層一層擋

在 RAG 裡,「幻覺」通常有四種來源:

  • 沒撈到,模型自己補:檢索沒找到答案,模型卻還是照常識回答。
  • 撈到不相關的,硬套上去:片段講的是「訂單逾時」,模型拿來回答「付款逾時」。
  • 讀對了,但加油添醋:片段說「不能直接重試」,回答變成「不能重試,建議等 5 分鐘再試」。後半句文件沒寫。
  • 引用是假的:標了 [c3],但 c3 根本沒講這件事,甚至 c3 不存在。
避免幻覺的五層防線(由上往下,每層擋掉一部分) 1. 資料 只放有人維護、目前有效的文件;矛盾的先整理 2. 檢索 混合檢索+篩選;最高分低於門檻就不呼叫模型,直接說沒寫 3. 提示 只根據片段、每句標 ID、沒有就說不知道、矛盾要指出 4. 程式檢查 每句有引用、引用來自這次檢索、數字與代碼要在原文裡 5. 介面 每句顯示出處、點開看原文、可以回報錯誤 標成強調色的兩層最有效、也最便宜:它們不靠模型「聽話」。

圖:從資料到介面五層,每一層擋掉一部分;不要只靠提示詞那一層。

沒有任何一個設定能讓幻覺歸零,但可以一層一層擋,讓它少到可以接受、而且發生時看得出來:

第一層:資料。語料只放有人維護、目前有效的文件;過時與草稿不進索引;互相矛盾的文件要先整理。模型照著錯的文件回答,引用再完整也是錯的。

第二層:檢索。用混合檢索與篩選提高「撈到對的」的機率;再設一個相關性門檻:最高分的段落都低於門檻時,視為沒找到,不呼叫模型,直接回「文件裡沒有寫」。這是最有效、最便宜的一層,因為第一種幻覺(沒撈到自己補)在這裡就被擋掉了。門檻值要用問題集裡的「應拒答題」調出來。

第三層:提示。規定只能根據片段回答、每句標 ID、片段沒有的就說不知道、片段互相矛盾就指出來;要求先列出用到的片段再回答也有幫助。溫度(temperature)設低一點,減少自由發揮。但要記得:提示是請求,不是保證,所以還需要下一層。

第四層:程式檢查。模型回答之後,用程式驗證,不通過就不給使用者看:

  • 每一句(或每一段)都有引用。
  • 引用的 ID 都在這次檢索結果裡,不在的就是捏造的引用。
  • 回答裡的數字、金額、錯誤碼、版本號,都要能在被引用的片段裡找到原字串。這條規則很簡單,卻能擋掉很多「加油添醋」。

不通過時,可以重試一次(把不通過的原因告訴模型),還不行就回傳拒答或只回傳檢索到的原文段落。

第五層:介面。每句旁邊顯示來源,點開可以看原文;明確標示「以下根據文件某某」;提供「這個回答有錯」的回報按鈕。使用者看得到出處,就能自己發現問題,回報的題目也直接成為下一版問題集的材料。

// internal/rag/check.go:回答的引用檢查(第四層)
package rag

import (
	"fmt"
	"regexp"
	"strings"
)

var cite = regexp.MustCompile(`\[(c\d+)\]`)
var exact = regexp.MustCompile(`[A-Z][A-Z0-9_]{3,}|\d+(\.\d+)?`) // 錯誤碼、數字、版本號

// CheckAnswer 驗證每一句都有引用、引用都來自這次檢索、精確字串都出自被引用的片段
func CheckAnswer(answer string, retrieved map[string]string) error {
	for _, s := range sentences(answer) {
		ids := cite.FindAllStringSubmatch(s, -1)
		if len(ids) == 0 {
			return fmt.Errorf("沒有引用:%q", s)
		}
		var sources strings.Builder
		for _, m := range ids {
			text, ok := retrieved[m[1]]
			if !ok {
				return fmt.Errorf("引用了沒有檢索到的 %s", m[1])
			}
			sources.WriteString(text)
		}
		plain := cite.ReplaceAllString(s, "")
		for _, token := range exact.FindAllString(plain, -1) {
			if !strings.Contains(sources.String(), token) {
				return fmt.Errorf("%q 不在被引用的片段裡", token)
			}
		}
	}
	return nil
}

// sentences 以中英文句號、問號、驚嘆號與換行切句(夠用就好,不追求完美斷句)
func sentences(text string) []string {
	var out []string
	for _, s := range regexp.MustCompile(`[。!?!?\n]+`).Split(text, -1) {
		if strings.TrimSpace(s) != "" {
			out = append(out, s)
		}
	}
	return out
}

例如檢索到 c1「扣款請求在確認冪等鍵之前不能重試」,回答「不能直接重試[c1]。建議等 5 分鐘[c1]。」會被擋下:5 不在 c1 裡。這種規則不懂語意,擋不住所有幻覺,但它可重現、不花錢,而且擋的正是最危險的那一類:具體的數字與代碼被編出來。語意上的支持與否,交給第 4 步的 LLM 評審與人工抽查。

第 6 步:常見失敗與對策

症狀通常的原因對策
問錯誤碼、編號找不到只用向量檢索加關鍵字檢索,用 RRF 合併
換個說法就找不到只用關鍵字、或切塊沒帶標題加向量檢索;切塊帶標題路徑
正確段落排在後面被截掉排序不夠準撈多一點再重排;檢查 recall@k
答案引用舊規則過時文件還在索引、更新沒同步依內容雜湊增量更新、刪除;依日期或版本篩選
兩份文件矛盾,模型自己挑一個語料沒整理、沒有優先順序整理文件;標示來源優先序;提示要求指出矛盾
回答提到使用者不該看到的內容權限交給模型判斷檢索時依身分篩選
答非所問但很有自信撈到不相關的片段、沒有門檻相關性門檻;找不到就拒答
引用了不存在的段落沒有程式檢查引用必須在這次檢索結果裡
文件裡的一句話改變了模型行為提示注入:片段被當成指令片段放在明確標記內;工具權限最小化;高風險動作要人確認
什麼都說不知道門檻太高、拒答規則太嚴用應答題與應拒答題一起調門檻

第 7 步:上線之後——記錄、監控與回歸測試

評估不是上線前做一次就結束。上線後要能回答「這週變好還是變壞了?」:

  • 每次提問都記錄:問題(去掉個資)、檢索到的段落 ID 與分數、放進提示的段落、回答、檢查結果、使用者回饋、用的 embedding 與生成模型版本。答錯時才查得出是哪一環。
  • 監控幾個數字:拒答比例(突然升高,常是索引壞了或篩選太嚴)、引用檢查失敗率、最高相關分數的分佈、回報錯誤的比例、延遲與成本。
  • 回歸測試:黃金問題集的檢索部分與程式規則檢查放進 CI;改切塊、換 embedding、改提示、換模型之前都要跑,分數下降就不合併。
  • 定期把真實問題加進題庫:尤其是被回報答錯的、拒答的。題庫跟著真實使用一起長大,評估才會一直有意義。

常見陷阱

只用幾題人工試問就上線。樣本太小,改善和退步都看不出來。用固定的問題集比較前後分數。

檢索和回答混在一起評。答錯時分不出是沒撈到還是說錯了。先量檢索,再量生成。

問題集裡沒有應拒答題。量不到幻覺;系統調成什麼都說不知道也看不出來。

以為提示詞能消滅幻覺。提示只是其中一層;相關性門檻、程式檢查與介面上的出處同樣重要。

完全相信 LLM 評審。評審模型也會錯;先用人工標註驗證,固定題目與版本。

沒有記錄就上線。出事時無法知道當時撈到什麼、為什麼這樣答。

重點整理

  • 答錯分四種:資料錯、沒撈到、撈到沒用上、用了卻說錯;先確定檢索沒問題再談生成。
  • 黃金問題集:真實說法的問題、正確段落、必須提到的要點、類型,一定要有應拒答題;答錯的題目持續加進去。
  • 檢索用 recall@k 與 MRR 分開量,便宜又快,每次改參數都跑;並分題目類型看。
  • 回答看忠實度、正確性與拒答,兩個方向都要量;用程式規則、LLM 評審與人工抽查互相校正。
  • 幻覺有四種來源;用五層擋:資料、檢索(相關性門檻,找不到不呼叫模型)、提示、程式檢查(引用必須來自檢索、數字與代碼要在原文裡)、介面(顯示出處、可回報)。
  • 上線後記錄每次的檢索與回答,監控拒答率與檢查失敗率,問題集進 CI 做回歸測試。

下一篇

原理、品質與評估都講完了,最後把它們全部做出來。下一篇〈用 Go 建 RAG 流程:切塊、向量檢索與 tool calling〉用 Go、PostgreSQL + pgvector 與 Claude 的 tool use,實作切塊、混合檢索、引用檢查、測試與評估。