Wprowadzenie
Hallucination (halucynacja) to zjawisko, w którym model językowy generuje informacje brzmiące wiarygodnie, ale nieprawdziwe lub całkowicie zmyślone.Factuality (faktowość) to zdolność modelu do generowania odpowiedzi zgodnych z rzeczywistością.
Redukcja halucynacji jest jednym z najważniejszych wyzwań współczesnych dużych modeli językowych.
Główne przyczyny halucynacji
- Trening na probabilistycznym przewidywaniu tokenów (Next Token Prediction)
- Brak dostępu do aktualnych lub specjalistycznych danych
- Overconfidence modelu
- Słabe Post-training Alignment
- Brak mechanizmów weryfikacji faktów
Najskuteczniejsze techniki Factuality & Hallucination Mitigation
- RAG (Retrieval-Augmented Generation) – pobieranie aktualnych dokumentów przed generowaniem odpowiedzi
- Chain-of-Verification (CoVe) – model generuje kroki weryfikacji faktów
- Self-Consistency – generowanie wielu odpowiedzi i wybieranie najbardziej spójnej
- Fact-Checking Agents – użycie narzędzi zewnętrznych do weryfikacji (web search, knowledge graph)
- Grounded Generation / Citation – model musi cytować źródła
- Constitutional AI & Critique – model sam siebie krytykuje pod kątem faktów
- Post-training z danymi faktograficznymi (np. DPO na parach factual vs hallucinated)
Zaawansowane metody (2026)
- Multi-Agent Debate Systems
- Tool-Augmented Verification
- Long-term Memory + Knowledge Graphs
- Uncertainty Estimation (model mówi „nie wiem”)
- Hybrid Neuro-Symbolic Factuality
Najlepsze praktyki
- Zawsze łącz RAG z dobrym retrieverem
- Używaj Chain-of-Verification dla ważnych odpowiedzi
- Włącz Tool Calling / Function Calling do sprawdzania faktów
- Stosuj temperaturę 0.0–0.3 przy zadaniach faktograficznych
- Implementuj guardrails i output validation
- Regularnie ewaluuj model na benchmarkach faktowości (TruthfulQA, HaluEval, FactScore)
Powiązane pojęcia
Hallucination • RAG • Chain-of-Verification • Self-Consistency • AI Safety • Grounded Generation • Post-training Alignment • Tool Use • Knowledge Graph • Uncertainty Calibration