This resume is also available in English.

九、RAG 與工具第 1 / 5 篇 · 全部目錄

專欄 › 九、RAG 與工具 › 第 38 篇

RAG 入門:讓模型先查資料再回答,核心價值在哪裡

RAG Basics: Look It Up Before Answering, and Why That Matters

從模型自己回答會遇到的三個問題講起:不知道你的資料、知識有截止日、說錯了你分不出來。再說明 RAG 的兩條路徑、四個核心價值,和長上下文、微調、傳統搜尋怎麼選,最後用 Go 寫一個不呼叫任何 API 的最小例子。

  • RAG
  • AI
  • LLM
  • 入門
這篇的步驟
  1. 這篇要解決什麼
  2. 第 1 步:模型自己回答的三個問題
  3. 第 2 步:RAG 是什麼——開書考試
  4. 第 3 步:核心價值——為什麼值得做
  5. 第 4 步:跟其他做法怎麼選
  6. 第 5 步:用 Go 寫一個最小的「先查再答」
  7. 第 6 步:什麼時候不要用 RAG
  8. 第 7 步:接下來怎麼讀
  9. 常見陷阱
  10. 重點整理
  11. 下一篇

上一篇〈用 Go 寫 MCP server:讓 AI 接上 OpenProject〉讓代理透過 MCP 讀取工單。工單告訴代理「要做什麼」,但「怎麼做」通常寫在別的地方:值班 runbook、API 文件、事故檢討。第九部分要解決的就是這件事:讓模型回答之前,先去查團隊自己的資料。這個做法叫 RAG(Retrieval-Augmented Generation,檢索增強生成)。

這個專欄照難度分成四篇:這篇是入門,只講觀念與核心價值,不需要任何 AI 服務的帳號;下一篇是中階,講 RAG 的品質從哪裡來;再下一篇是進階,講怎麼評估、會怎麼失敗;最後才是用 Go 把整條流程做出來的實作篇。

這篇要解決什麼

商店的 payment 服務半夜開始回 PAYMENT_TIMEOUT。值班的人問聊天機器人「付款逾時可以直接重試嗎?」,它回答得很有自信:「可以,建議使用指數退避重試三次。」聽起來很合理,但你們團隊的 runbook 其實寫的是:扣款請求在確認冪等鍵之前不能重試,否則可能重複扣款(第四部分〈冪等與分散式鎖〉講過為什麼)。

模型沒有說謊,它只是不知道你們的規定,於是用「一般的付款系統大概會怎麼做」來回答。這篇要弄懂:

  1. 模型自己回答時的三個根本問題。
  2. RAG 用一句話怎麼說、兩條路徑各做什麼。
  3. RAG 的四個核心價值,以及它不能解決什麼。
  4. 跟長上下文、微調、傳統搜尋比較,什麼情況選哪個。
  5. 用 Go 寫一個最小的「先查再答」,看清楚每一步的資料長什麼樣子。

第 1 步:模型自己回答的三個問題

大型語言模型(LLM)是用大量公開文字訓練出來的。它很擅長理解問題、整理語句、推理,但碰到「你們團隊的事」時有三個根本問題:

  • 它不知道你的資料。你們的 runbook、API 文件、事故紀錄、訂單狀態從來沒有出現在它的訓練資料裡。它只能猜。
  • 它的知識有截止日。訓練完成之後發生的事,它不知道。上週剛改的退款規則、昨天才上線的新服務,它都沒看過。
  • 它說錯了你分不出來。模型的回答總是流暢的;猜的和真的聽起來一樣。這就是常說的「幻覺」(hallucination):不是故意騙人,而是它被訓練成「產生最像答案的文字」,而不是「只說查得到的事」。

前兩個是「沒有資料」,第三個是「沒有證據」。RAG 同時處理這兩件事:把資料拿給模型,並讓每一句回答都指得出出處。

第 2 步:RAG 是什麼——開書考試

最好懂的比喻是開書考試。閉書考試只能靠記憶,記錯了也不知道;開書考試可以先翻書,找到相關的那一頁,照著書上寫的回答,還能註明「見第 42 頁」。

RAG 就是讓模型開書考試,分成兩條路徑:

  • 建索引(離線,事先做):把文件切成一段一段,替每段建立可以快速查找的索引(通常是向量索引,下一篇會細講),連同「這段來自哪個檔案、哪幾行」一起存起來。文件改了才需要重做。
  • 回答問題(線上,每次提問):先用問題去索引裡檢索出最相關的幾段;把這幾段連同編號放進提示(prompt),要求模型只根據這些片段回答,並標出每一句用的是哪一段。
離線:建索引(文件變更時才做) 文件 runbook、API、事故 切塊 每段記來源 建索引 向量或關鍵字 索引 片段+來源 線上:每次提問 問題 已登入的身分 檢索 找最相關的幾段 模型 只根據片段回答 回答+出處 每句標 [編號] 找資料的是檢索,模型只負責最後讀片段、寫回答;檢索什麼都沒找到時,直接說「文件裡沒有寫」。

圖:上面一排是事先做的建索引,下面一排是每次提問時做的事。模型只出現在最後一步。

注意模型在整條流程裡只負責最後一步:讀片段、寫回答。找資料的是檢索,不是模型。這點很重要:RAG 的品質大部分取決於檢索找得準不準,而不是模型多聰明。

第 3 步:核心價值——為什麼值得做

RAG 不是「讓 AI 更聰明」的魔法,它的價值很具體,有四點:

一、回答有出處,可以查證。每一句都對應到某份文件的某一段。讀的人可以點開原文確認;答錯了,也能看出是「文件寫錯」還是「模型讀錯」。在付款、權限、法規這類不能出錯的地方,「可以查證」比「答得漂亮」重要得多。

二、資料更新不用重新訓練。規則改了,只要改文件、重建那幾段的索引,下一次提問就會用新的內容。不用動模型,也不用等誰重新訓練。資料的新鮮度由你們自己控制。

三、權限可以控制。檢索時可以先依身分篩選:客服只查得到客服文件,工程師才查得到內部 runbook。模型只看得到被檢索出來的片段,所以「它不知道的就說不出來」。這比要求模型「請不要透露機密」可靠得多。

四、模型可以換。資料和索引是你們的,模型只是最後讀片段的那一步。明天換一個更便宜或更強的模型,索引不用重做,評估用的問題集也可以沿用。

反過來說,RAG 不能解決的事也要先講清楚:

  • 文件本身寫錯、互相矛盾、早就過時,RAG 會忠實地引用錯的內容。垃圾進,垃圾出。
  • 需要的不是查資料,而是推理或計算(例如「幫我設計一個分庫方案」),檢索幫不上太多忙。
  • 檢索沒找到對的片段,模型就只能說「不知道」,或者更糟,照著不相關的片段硬答。下一篇與再下一篇會專門處理這兩件事。

第 4 步:跟其他做法怎麼選

想讓模型「知道你的資料」,常見的做法有四種:

做法怎麼做適合不適合
直接放進上下文每次把整份文件塞進提示資料很少(幾份文件)、一次性的分析文件一多就塞不下;每次都付全部內容的費用;不好做權限
RAG先檢索相關片段,只放這幾段文件多、常更新、要引用出處、要分權限問題需要讀完整份資料才能回答(例如「全部合約裡有幾份…」)
微調(fine-tuning)用你的資料再訓練模型改變模型的說話方式、格式、領域用語讓模型「記住事實」:記不準、不能引用、資料一改就要重來
傳統搜尋關鍵字搜尋,列出文件給人看使用者知道要找什麼字;要的是文件本身使用者要的是一句直接的答案

一個常見的誤會是「把資料拿去微調,模型就會知道我們的規定」。微調比較像訓練說話的習慣,而不是放進一本可以翻的書:它記得的事實不精確、說不出出處,資料一改又要重新訓練。要事實、要出處,用 RAG;要風格、要格式,才考慮微調。兩者也可以一起用。

另一個常見的問題是「現在的模型上下文那麼長,還需要 RAG 嗎?」資料只有幾份時,直接放進上下文確實最簡單。但當文件有幾百份、每天在改、不同人能看的不一樣,每次全部塞進去既貴又慢,也沒辦法依身分篩選。實務上常是兩者並用:用檢索挑出相關的文件,再把這幾份完整放進較長的上下文。

第 5 步:用 Go 寫一個最小的「先查再答」

為了看清楚每一步的資料長什麼樣子,先寫一個不呼叫任何 AI 服務的版本:檢索用最簡單的「問題和片段有幾個字相同」,最後只把要送給模型的提示印出來。真正的 embedding、向量索引與 Claude 的呼叫,留到實作篇。

// cmd/rag-toy/main.go:最小的 RAG,只為了看清楚資料怎麼流動
package main

import (
	"fmt"
	"sort"
	"strings"
)

// Chunk 是切好的一段文件,記得自己從哪裡來
type Chunk struct {
	ID     string // 給模型引用用的編號
	Source string // 檔案與行號
	Text   string
}

var chunks = []Chunk{
	{"c1", "runbooks/payment-timeout.md:12-18", "扣款請求在確認冪等鍵之前不能重試,否則可能重複扣款。"},
	{"c2", "runbooks/payment-timeout.md:20-26", "先看 payment 的延遲儀表板,確認是下游銀行還是我們自己的資料庫變慢。"},
	{"c3", "api/order.md:40-44", "訂單狀態有 pending、paid、shipped、cancelled 四種。"},
}

// score:問題裡的詞有幾個出現在片段裡(真實系統會用 embedding 與關鍵字混合檢索)
func score(question, text string) int {
	n := 0
	for _, w := range strings.Fields(question) {
		if strings.Contains(text, w) {
			n++
		}
	}
	return n
}

// retrieve 找出分數最高的 k 段;分數是 0 的不要
func retrieve(question string, k int) []Chunk {
	type hit struct {
		c Chunk
		s int
	}
	var hits []hit
	for _, c := range chunks {
		if s := score(question, c.Text); s > 0 {
			hits = append(hits, hit{c, s})
		}
	}
	sort.SliceStable(hits, func(i, j int) bool { return hits[i].s > hits[j].s }) // 同分保持原順序
	var out []Chunk
	for i := 0; i < len(hits) && i < k; i++ {
		out = append(out, hits[i].c)
	}
	return out
}

// buildPrompt 把片段連同編號放進提示,並規定只能根據片段回答
func buildPrompt(question string, found []Chunk) string {
	var b strings.Builder
	b.WriteString("只根據下面的片段回答;每一句後面用 [編號] 標出依據;片段裡沒有的,回答「文件裡沒有寫」。\n\n")
	for _, c := range found {
		fmt.Fprintf(&b, "[%s] (%s) %s\n", c.ID, c.Source, c.Text)
	}
	fmt.Fprintf(&b, "\n問題:%s\n", question)
	return b.String()
}

func main() {
	q := "付款 逾時 可以 重試 嗎"
	found := retrieve(q, 2)
	if len(found) == 0 {
		fmt.Println("文件裡沒有寫") // 找不到就不要問模型,直接說
		return
	}
	fmt.Print(buildPrompt(q, found))
}

執行 go run ./cmd/rag-toy,印出來的就是要送給模型的全部內容:

只根據下面的片段回答;每一句後面用 [編號] 標出依據;片段裡沒有的,回答「文件裡沒有寫」。

[c1] (runbooks/payment-timeout.md:12-18) 扣款請求在確認冪等鍵之前不能重試,否則可能重複扣款。

問題:付款 逾時 可以 重試 嗎

(問題用空白分詞只是為了讓這個玩具版能用;中文的檢索要靠 embedding 或中文分詞,下一篇會講。)

從這個小例子可以看到 RAG 的幾個基本規則,後面三篇都會沿用:

  • 每一段都帶著來源(檔案與行號),而且有一個簡短的編號讓模型引用。
  • 提示裡規定只能根據片段回答,並規定找不到時要說什麼。
  • 檢索什麼都沒找到時,根本不呼叫模型。這是最便宜、也最可靠的防幻覺方法。
  • 模型看得到的只有被檢索出來的片段,c3 與這題無關,就不會出現在提示裡。

第 6 步:什麼時候不要用 RAG

RAG 有成本:要整理文件、建索引、維護、評估。下面幾種情況,先別急著做:

  • 資料很少。只有三五份文件,直接放進提示就好。
  • 問題是推理,不是查資料。「這段 SQL 為什麼慢」需要的是模型讀程式碼,而不是去翻文件。
  • 資料還沒整理。文件互相矛盾、沒人維護、一半過時,先整理文件。RAG 會讓錯誤更有說服力,因為它附上了「出處」。
  • 答案在即時系統裡。「訂單 1234 現在什麼狀態」要查的是 order 服務,不是文件。這種情況用工具呼叫(tool calling)讓模型去查 API;實作篇會把檢索與工具放在同一個流程裡。

第 7 步:接下來怎麼讀

這個專欄後面三篇,照難度一篇接一篇:

  • 中階:品質從哪裡來。切塊、embedding、向量資料庫、向量與關鍵字的混合檢索、重排、提示組裝與中繼資料篩選:每一環怎麼影響答案。
  • 進階:評估、幻覺與常見失敗。怎麼建問題集、怎麼量檢索與回答、幻覺怎麼一層一層擋、失敗通常出在哪一環、上線後怎麼監控。
  • 實作:用 Go 建 RAG 流程。把前面的原理全部做出來:切塊、pgvector、混合檢索、Claude 的 tool use、引用檢查與測試。

常見陷阱

以為 RAG 會讓模型「學會」資料。模型沒有學到任何東西;每次提問都重新檢索、重新讀片段。索引壞了,答案就壞了。

只看回答漂不漂亮。漂亮的回答可能完全沒有根據。先看引用的片段是不是真的支持那句話。

把所有文件都丟進去。過時、草稿、含個資的文件也被檢索出來,模型會照著引用。放進語料之前要先篩選。

找不到時還是叫模型回答。檢索沒有結果,就該直接說「文件裡沒有寫」,而不是讓模型自由發揮。

把微調當成記憶資料的方法。要事實與出處,用檢索;微調適合調整風格與格式。

重點整理

  • 模型自己回答有三個問題:不知道你的資料、知識有截止日、說錯了你分不出來。
  • RAG 就是開書考試:離線把文件切塊、建索引;線上先檢索相關片段,再要求模型只根據片段回答並標出處。
  • 找資料的是檢索,不是模型;RAG 的品質大部分取決於檢索。
  • 四個核心價值:可以查證、更新資料不用重訓、可以依身分控制權限、模型可以換。
  • RAG 不能修正錯的文件,也幫不了需要推理而不是查資料的問題。
  • 要事實與出處用 RAG,要風格與格式才考慮微調;文件少就直接放進上下文。
  • 每段帶來源與編號、規定只能根據片段回答、找不到就不呼叫模型:這三條規則從玩具版到正式系統都一樣。

下一篇

知道了 RAG 為什麼有用,下一個問題是:為什麼有的 RAG 答得準、有的答非所問?下一篇〈RAG 的品質從哪裡來:切塊、embedding、向量資料庫與混合檢索〉把檢索拆成五個環節,一環一環看它們怎麼決定答案的好壞。