Wprowadzenie
Self-Consistency to technika promptingowa wprowadzona przez Google w 2022 roku. Jest to proste, ale bardzo skuteczne rozszerzenie metody Chain-of-Thought (CoT). Zamiast generować jedną odpowiedź, model generuje wiele niezależnych odpowiedzi (z samplingiem), a następnie wybiera tę, która pojawia się najczęściej.
Jak działa Self-Consistency?
Proces przebiega w następujących krokach:
- Model otrzymuje prompt z Chain-of-Thought („Myśl krok po kroku”)
- Generuje N różnych odpowiedzi (zwykle 5–40) przy temperature > 0
- Porównuje wszystkie odpowiedzi i wybiera najbardziej spójną (najczęściej powtarzającą się)
- Opcjonalnie można użyć embeddingów do mierzenia podobieństwa semantycznego
Dlaczego Self-Consistency działa?
Modele językowe mają tendencję do halucynacji i niestabilności przy wysokim temperature. Generując wiele ścieżek rozumowania, zwiększamy szansę na pojawienie się poprawnej odpowiedzi. Metoda wykorzystuje zjawisko, że poprawne rozumowanie jest bardziej „spójne” niż błędne.
Zalety Self-Consistency
- Znaczna poprawa wyników w zadaniach wymagających rozumowania (+10–30% na benchmarkach)
- Prosta implementacja (nie wymaga fine-tuningu)
- Działa szczególnie dobrze w matematyce, logice i zadaniach naukowych
- Można łączyć z innymi technikami (ToT, Tool Use, Self-Refine)
Zastosowania (2026)
- Złożone zadania matematyczne (GSM8K, MATH)
- Commonsense Reasoning
- Analiza strategiczna i planowanie
- Debugowanie kodu
- Naukowe wnioskowanie
- Agentyczne systemy wieloetapowe
Najlepsze praktyki
- Używaj 8–20 ścieżek rozumowania (zależnie od budżetu tokenów)
- Temperature 0.7–1.0 podczas generowania
- Łącz z Majority Voting lub semantycznym clusteringiem
- Przy bardzo trudnych zadaniach używaj Self-Consistency + Tree-of-Thoughts
- Monitoruj koszt vs zysk jakości
Powiązane pojęcia
Chain-of-Thought (CoT) • Tree-of-Thoughts (ToT) • Graph-of-Thoughts • Self-Refine • Majority Voting • Ensemble Prompting • LLM Reasoning