AI chatbot halüsinasyonu nasıl önlenir: strict-KB grounding rehberi

Kısa cevap: AI chatbot halüsinasyonu, modelin "yardımcı olmak için" bilgi tabanınızda olmayan bir bilgiyi uydurmasıdır. Önlemenin kanıtlanmış yolu, cevabı modelin uydurmasına değil getirilen gerçek bir kaynağa bağlamaktır: strict-KB grounding.

Halüsinasyon neden olur?

Büyük dil modelleri metni tahmin etmek üzere kuruludur: soruya en "makul görünen" cevabı üretirler — doğru olanı değil. Müşteri "Almanya'ya gönderim var mı?" diye sorduğunda, modelin eğitim verisinde binlerce e-ticaret sitesinin cevabı vardır; sizinkinin orada olmaması onu cevap vermekten alıkoymaz. Sonuç: kendinden emin, akıcı ve yanlış bir cevap.

RAG tek başına neden yetmez?

RAG (retrieval-augmented generation) modele cevaptan önce ilgili belgeleri verir. Bu, doğruluğu ciddi artırır — ama getirilen belge zayıfsa veya soru kapsam dışıysa model yine boşluğu doldurmaya meyillidir. Kritik eşik şudur: belge yoksa cevap da yok olmalı.

Strict-KB grounding: üç kural

1. Yalnız bilgi tabanından cevapla: modelin kendi genel bilgisine kaçmasına izin verme.
2. Kaynağı göster: her cevabın altında hangi sayfadan/dokümandan geldiği yazsın — müşteri de siz de denetleyebilin.
3. Eşik altında "bilmiyorum": eşleşme zayıfsa dürüstçe söyle ve insana yönlendir. "Bilmiyorum" diyebilen bot, yanlış cevap veren bottan her zaman daha çok güven kazanır.

Pratikte nasıl görünür?

SemAgent widget'ında bu davranış varsayılandır: cevaplar hibrit aramayla (anahtar kelime + vektör) bilgi tabanınızdan getirilir, kaynak her mesajın altındadır, kapsam dışı soruda widget yönlendirme yapar. Cevaplanamayan gerçek sorular panelde birikir — bilgi tabanınızı neyle besleyeceğinizi söylerler. Ayrıntı: RAG Widget · bilgi tabanı rehberi.

Kontrol listesi

• Botunuz kaynak gösteriyor mu?
• Kapsam dışı soruda ne yapıyor — uyduruyor mu, yönlendiriyor mu?
• Cevaplanamayan sorular raporlanıyor mu?
• Bilgi tabanı otomatik tazeleniyor mu (eski kampanya sayfası riski)?