Wprowadzenie
<strong>Capability Evaluation</strong> to systematyczny proces testowania, mierzenia i dokumentowania rzeczywistych zdolności modeli sztucznej inteligencji. W przeciwieństwie do tradycyjnych benchmarków, które mierzą głównie „średnią wydajność”, capability evaluation skupia się na tym, co model naprawdę potrafi zrobić – w tym na zdolnościach niebezpiecznych.
Dlaczego jest tak ważna?
- Pozwala śledzić rzeczywisty postęp w kierunku AGI i ASI
- Jest podstawą do oceny ryzyka AI (AI Risk Assessment)
- Pomaga wykrywać niebezpieczne zdolności (dangerous capabilities) zanim staną się one problemem
- Umożliwia regulacjom i firmom podejmowanie świadomych decyzji
Popularne benchmarki i testy
- <strong>MMLU</strong> – Massive Multitask Language Understanding
- <strong>GPQA</strong> – Graduate-Level Google-Proof Q&A
- <strong>HumanEval / SWE-Bench</strong> – testy programistyczne
- <strong>ARC-AGI</strong> – test abstrakcyjnego rozumowania
- <strong>AgentBench / WebArena</strong> – testy agentów autonomicznych
- <strong>Dangerous Capabilities Evaluations</strong> – testy na zdolności do tworzenia broni, oszustw, manipulacji
Typy Capability Evaluation
- <strong>General Capabilities</strong> – szeroka wiedza i rozumowanie
- <strong>Specialized Capabilities</strong> – matematyka, kodowanie, medycyna, prawo
- <strong>Agentic Capabilities</strong> – planowanie, wieloetapowe zadania, korzystanie z narzędzi
- <strong>Dangerous Capabilities</strong> – zdolności do szkodliwych działań (biologia, cyber, manipulacja)
Aktualny stan (2026)
Organizacje takie jak METR, Apollo Research, Anthropic, OpenAI, DeepMind i UK AI Safety Institute regularnie przeprowadzają zaawansowane capability evaluations. Coraz większy nacisk kładzie się na ocenę zdolności agentycznych i ryzyk egzystencjalnych.
Powiązane pojęcia
Evaluation→End To End Evaluation→LLM Evaluation→Model Evaluation→Build Capability→Data Evaluation Harness→Embedding Evaluation→Evaluation Harness→Frontier Models Evaluation→Human Evaluation→
Dodano: 16 maja 2026