2026年7月25日 · ISZ.AI Solution Architecture Team

就算是封閉網路環境，AI「亂講話」的問題還是能解決：企業內部知識檢索的精準度該怎麼救

「資安部門要求把ChatGPT換成封閉網路的專屬環境，結果第一線同仁反映『答案文不對題』『AI一直亂講話』」——這類反映，我們最近聽到的頻率越來越高。

封閉網路 RAG 幻覺的問題，根源並不是封閉環境運作本身。選擇在封閉環境運作的判斷是對的，問題在於資安鎖緊之後，檢索精準度幾乎完全沒有被處理。只是把文字丟進向量資料庫就當作完工，這種架構完全不足以應付企業級的需求。

這篇文章會整理在封閉網路這個限制條件下，究竟能把幻覺（AI給出錯誤或憑空捏造的回答）壓低到什麼程度，從技術實作到日常維運的重點，逐一說明。

現場覺得「不能用」的真正原因

常見的說法是「模型能力不夠」，但實際上第一線的不滿幾乎都源自資料本身的問題。

內部作業手冊與過去的簽核文件散落在PDF、Word、Excel等各種格式裡，複雜排版與跑版的表格就這樣直接被建進索引。這種狀態下，AI不可能給出精準答案。

另一個常被忽略的問題是「交叉參照的斷點」。企業規章裡充滿「原則上執行A，但B情況適用C（詳見附件）」這類寫法。一般的RAG實作沒辦法追蹤這種上下文關聯，於是就從片段資訊中「自行腦補」出答案。

再加上權限設計不夠嚴謹的全公司共用索引，同時背負著資料外洩風險，以及「想要的資訊反而找不到」這兩個互相矛盾的問題。

「把整份PDF丟進Embedding」是最省事、但精準度也最差的做法。

改用語意切分（Semantic Chunking），依照章節結構與標題層級以語意單位切分文件，檢索命中率就能明顯改善。表格資料則應搭配AI-OCR與結構解析，轉換成Markdown格式的表格後再建進索引。省略這一步，只要問題牽涉數字，答案就容易跑掉。

依語意相似度檢索的向量搜尋，擅長「掌握問題的意圖」，但對於產品型號、法規條文編號、公司內部專有名詞這類需要完全比對的專有名詞卻相對弱勢。

搭配BM25等關鍵字檢索的**混合式檢索（Hybrid Search）**能補上這個弱點。兩種檢索方式各有擅長的題型，把兩者的結果整合起來，答案的穩定度會明顯提升。

第一輪檢索找到的候選內容，不要直接餵進LLM的上下文，而是透過Cross-Encoder之類的重新排序模型（Reranker），重新評估每一則內容與問題的真實相關度後再送入。

上下文裡的雜訊越多，LLM就越容易憑空腦補。只要把送進去的資訊精煉過一輪，幻覺發生的比例就能大幅下降。

即使是限制資料傳送到外部雲端的環境，仍有兩種選擇。

Azure OpenAI Service（封閉網路連線）：透過企業合約，經由VNet連線，並在合約上保證輸入資料不會被用於模型訓練（Opt-Out）。金融、保險等高度受規範產業也有不少採用案例。

地端部署／地端LLM：國防、政府機關，以及部分金融機構等要求零對外連線的環境，會在企業內部GPU伺服器上運行Llama 3、Qwen等開放權重模型。實務上需要在延遲與成本之間權衡取捨。

[ 企業內部使用端 ]
       │ （SSL加密）
[ 驗證閘道 / ACL ]
       │
[ RAG引擎（混合式檢索 + Reranker）]
       ├──► [ 封閉向量資料庫 / 知識庫 ]
       ▼
[ 企業級LLM（Azure OpenAI / 地端模型）]

「導入了ChatGPT，但第一線根本不用」「換成封閉網路後反而更難用」——這種狀況並不罕見。多數情況下，比起換模型，重新檢視資料前處理與RAG架構才是更快、成本也更低的做法。

ISZ.AI提供從資料結構化、前處理，到高精準度RAG建置、權限管理整合、上線後精準度監控的一站式服務。可以先從1至2週的現況診斷開始，即使還不確定該從哪裡下手，也歡迎先與我們聊聊。

幻覺能完全歸零嗎？ 既然是機率性的模型，完全歸零並不是務實的目標。務實的目標是把幻覺發生率壓低到可實際使用的程度，並且在發生時能提示來源頁面，讓使用者能自行核實。透過改善檢索精準度與重新排序，發生率能大幅降低。

目前已經用向量資料庫在跑企業內部AI，需要整套重做嗎？ 多數情況下不需要從零重做。可以保留既有的向量資料庫，逐步加入切分方式的調整、關鍵字檢索的補強、Reranker的導入等改善措施，分階段提升精準度。建議先從檢視目前的索引架構與問答正確率開始。

封閉網路環境下，用哪種LLM比較實際？ 在一定條件下允許連線外部雲端的環境，可採用Azure OpenAI Service的封閉網路連線架構；完全禁止對外連線的環境，則適合在企業內部GPU伺服器上運行Llama 3、Qwen等開放權重模型。兩者都涉及延遲與成本的權衡，需依需求選擇。

導入混合式檢索與Reranker，大約需要多少費用與時間？ 視現有RAG架構而定，若包含資料前處理、切分方式調整，到混合式檢索與Reranker的實作，大致落在數週到2至3個月之間。建議先確認現有索引架構與常見問題類型，找出瓶頸所在再評估。