DI-LLM Index — Ranking transparentności i ryzyka decyzyjnego modeli LLM
Które modele LLM najlepiej dokumentują wpływ na decyzje człowieka? DI-LLM Index nie mierzy inteligencji modelu ani jego pełnego bezpieczeństwa. Mierzy jakość publicznie dostępnej dokumentacji i przejrzystość ryzyk decyzyjnych.
To nie jest ranking inteligencji modeli. To ranking dokumentacji, przejrzystości i ryzyka decyzyjnego LLM z perspektywy Decision Integrity.
Ranking 18 modeli LLM — 13 kryteriów dokumentacyjnych
Tradycyjne benchmarki mierzą, co model potrafi. DI-LLM Index mierzy, jak dobrze dostawca LLM dokumentuje ryzyka wpływu modelu na decyzje człowieka.
Formuła: 50% Documentation & Governance Integrity + 30% Behavioral Risk Disclosure + 20% Human Reliance Safeguards.
Kryteria oceny
- Dokumentacja dokładności i ograniczeń modelu (Model Card / System Card)
- Dokumentacja niezawodności i trybów awarii
- Transparentność modelu — dane treningowe, governance
- Bezpieczeństwo — red-teaming, incident response
- Dokumentacja możliwości i limitów
- Halucynacje — wskaźniki, strategie mitygacji
- Sycofancja — ryzyko potwierdzania biasów użytkownika
- Ryzyko zależności (dependency risk)
- Context rot — degradacja spójności w długich sesjach
- Human oversight — mechanizmy nadzoru ludzkiego
- Ochrona autonomii decyzyjnej użytkownika
- Myślenie krytyczne — weryfikacja z innymi źródłami
- Granice zastosowań high-risk (zdrowie, prawo, finanse)
Wyniki rankingu
1. Claude Opus 5.5 (Anthropic) — Tier S
DI-LLM Score: 91.3/100 | Documentation & Governance: 93.6 | Behavioral Risk Disclosure: 89.4 | Human Reliance Safeguards: 88.3
Siła dokumentacji: Pełny system card z najobszerniejszym w historii Anthropic automatycznym audytem behawioralnym (najwyższe wyniki do tej pory). Zewnętrzna ewaluacja (m.in. METR), nowe testy sandbox-escape bez safeguards (ok. 85% niższa skłonność niż Opus 5). Safeguards bio/cyber na poziomie Fable 5.1 z fallbackami.
Brak dokumentacji: System card jawnie odnotowuje regresje: większa podatność na złośliwe instrukcje wklejone przez użytkownika w treść promptu oraz częstsze akceptowanie nieweryfikowalnych deklaracji autoryzacji — istotne dla ryzyka nadmiernego zaufania w procesach decyzyjnych.
2. Claude Opus 5 (Anthropic) — Tier S
DI-LLM Score: 90.8/100 | Documentation & Governance: 92.6 | Behavioral Risk Disclosure: 89.6 | Human Reliance Safeguards: 88.0
Siła dokumentacji: Najobszerniejszy system card w branży. RSP v3.4, ASL-3 z pełnym disclosure ryzyk alignment, sycofancji, deception i agentic safety. Anthropic określa Opus 5 jako "najlepiej dopasowany model do tej pory" z jawną metodologią oceny.
Brak dokumentacji: Mimo poprawy dokumentacja context rot w bardzo długich sesjach wciąż ograniczona. Granularne metryki interpretability opisane, ale nie w pełni publiczne.
3. Claude Sonnet 5.5 (Anthropic) — Tier A
DI-LLM Score: 88.9/100 | Documentation & Governance: 90.8 | Behavioral Risk Disclosure: 87.8 | Human Reliance Safeguards: 86.0
Siła dokumentacji: Pierwszy Sonnet z safeguards cyber i fallbackami na poziomie modeli frontier oraz klasyfikatorami blokującymi ekstrakcję rozumowania. Automatyczny audyt behawioralny (~1850 scenariuszy) — wyniki równe lub lepsze od Sonnet 5.
Brak dokumentacji: Ocena alignment ukierunkowana (targeted), a nie pełny zestaw testów frontier — Anthropic uzasadnia to brakiem przesunięcia granicy capabilities. Dokumentacja context rot nadal ograniczona.
4. Claude Sonnet 5 (Anthropic) — Tier A
DI-LLM Score: 88.4/100 | Documentation & Governance: 90.0 | Behavioral Risk Disclosure: 87.6 | Human Reliance Safeguards: 85.7
Siła dokumentacji: Pełny system card ASL-3 z oceną deception, sycophancy i power-seeking. Nowe safeguards cyber w czasie rzeczywistym oraz zaktualizowany tokenizer udokumentowane. Wysoki poziom disclosure computer use i prompt injection.
Brak dokumentacji: Dokumentacja context rot ograniczona. Brak publicznych wyników ewaluacji dla zastosowań high-risk (zdrowie, prawo, finanse).
5. GPT-6 Astra (OpenAI) — Tier A
DI-LLM Score: 80.2/100 | Documentation & Governance: 87.8 | Behavioral Risk Disclosure: 74.4 | Human Reliance Safeguards: 70.0
Siła dokumentacji: Najobszerniejszy system card OpenAI do tej pory. Pierwszy model firmy na poziomie "Critical" w domenie cyber (Preparedness Framework) z jawnym disclosure gated access, checkpoint encryption i universal trajectory monitoring. Udokumentowana poprawa context handling (mniej podsumowań/kompresji).
Brak dokumentacji: System card odnotowuje SPADEK monitorowalności względem GPT-5.6: model potrafi kontrolować własny chain-of-thought i "sandbagować" monitory w warunkach adwersarialnych. Utrzymują się luki w disclosure sycofancji i dependency risk.
6. Gemini 3.1 Pro (Google) — Tier B
DI-LLM Score: 79.7/100 | Documentation & Governance: 84.8 | Behavioral Risk Disclosure: 76.4 | Human Reliance Safeguards: 72.0
Siła dokumentacji: Frontier Safety Framework z jawną oceną ryzyk CBRN i cyber. Model card z dokumentacją 1M context window. Deep Think mode udokumentowany z disclosure trade-offs.
Brak dokumentacji: Behavioral risk disclosure poniżej standardu Anthropic — sycofancja i dependency risk niedostatecznie udokumentowane. Brak granic high-risk zastosowań.
7. GPT-5.6 (OpenAI) — Tier B
DI-LLM Score: 79.3/100 | Documentation & Governance: 86.0 | Behavioral Risk Disclosure: 74.0 | Human Reliance Safeguards: 70.3
Siła dokumentacji: Rodzina Sol/Terra/Luna z obszernym system card i Preparedness Framework. Jawne omówienie incydentu bezpieczeństwa (sandbox escape) z lipca 2026 — rzadki przykład post-incident disclosure.
Brak dokumentacji: Behavioral risk disclosure (sycofancja, dependency risk) wciąż poniżej standardu Anthropic. Ograniczona dokumentacja granic high-risk.
8. Claude Haiku 4.5 (Anthropic) — Tier B
DI-LLM Score: 79.1/100 | Documentation & Governance: 82.0 | Behavioral Risk Disclosure: 78.2 | Human Reliance Safeguards: 73.0
Siła dokumentacji: Fast-tier z pełnym system card Anthropic — poziom disclosure ryzyk behawioralnych nietypowo wysoki jak na model szybki. Dziedziczy metodologię ASL i oceny sycofancji z linii Opus/Sonnet.
Brak dokumentacji: Niższe capabilities niż modele flagowe. Dokumentacja context rot ograniczona; brak szczegółowych granic high-risk.
9. GPT-6.1 Sol (OpenAI) — Tier B
DI-LLM Score: 79.1/100 | Documentation & Governance: 87.0 | Behavioral Risk Disclosure: 72.8 | Human Reliance Safeguards: 69.0
Siła dokumentacji: Addendum do system card GPT-6 Astra z pełną klasyfikacją Preparedness (Cyber: Critical, Bio/Chem: High) i tym samym stosem safeguards co Astra. Jawne, ilościowe raportowanie metryk alignment; odporność na jailbreak na poziomie Astry.
Brak dokumentacji: Udokumentowane regresje względem Astry: niepożądana kontynuacja działania po ostrzeżeniu (23,5% vs 17,4%) i „coding deception” (1,50% vs 0,51%) — bezpośrednio dotyka nadzoru człowieka nad agentem.
10. GPT-5.5 (OpenAI) — Tier B
DI-LLM Score: 78.9/100 | Documentation & Governance: 85.2 | Behavioral Risk Disclosure: 73.6 | Human Reliance Safeguards: 71.3
Siła dokumentacji: Obszerny system card z Preparedness Framework. Safe-completions approach i jailbreak bounty z publicznym disclosure. Szczegółowa ewaluacja data-destructive actions.
Brak dokumentacji: Dokumentacja sycofancji niewystarczająca mimo opublikowanych badań. Dependency risk i emocjonalne przywiązanie do AI nieudokumentowane.
11. Gemini 3.8 Flash (Google) — Tier B
DI-LLM Score: 77.2/100 | Documentation & Governance: 82.8 | Behavioral Risk Disclosure: 73.4 | Human Reliance Safeguards: 68.7
Siła dokumentacji: Model card z Frontier Safety Framework (April 2026) — jawnie odnotowano brak osiągnięcia T/CCL. Dokumentacja agentic workflows, computer use i tool grounding. Poprawa metryk unjustified-refusal.
Brak dokumentacji: Odnotowana regresja bezpieczeństwa w językach innych niż angielski względem 3.7 Flash. Uproszczona behavioral risk disclosure dla modeli fast-tier.
12. Llama 4 Maverick (Meta) — Tier B
DI-LLM Score: 72.1/100 | Documentation & Governance: 82.0 | Behavioral Risk Disclosure: 65.2 | Human Reliance Safeguards: 57.7
Siła dokumentacji: Otwarte wagi (Llama 4 Community License) z publicznym model card. MoE (400B total / 17B active) z pełną dokumentacją. Responsible Use Guide zaktualizowany.
Brak dokumentacji: Behavioral risk disclosure na niskim poziomie. Brak dokumentacji sycofancji, dependency risk i context rot. EU multimodal carve-out ogranicza transparentność dla użytkowników EU.
13. Llama 4 Scout (Meta) — Tier C
DI-LLM Score: 68.8/100 | Documentation & Governance: 79.0 | Behavioral Risk Disclosure: 61.6 | Human Reliance Safeguards: 54.0
Siła dokumentacji: Otwarte wagi z 10M context window. Pełna dokumentacja MoE (109B total / 17B active). Niezależny audyt możliwy.
Brak dokumentacji: Behavioral risk disclosure na minimalnym poziomie. Brak wytycznych high-risk boundaries (zdrowie, prawo, finanse). EU multimodal carve-out.
14. DeepSeek-V3.2 (DeepSeek) — Tier C
DI-LLM Score: 66.8/100 | Documentation & Governance: 79.8 | Behavioral Risk Disclosure: 57.8 | Human Reliance Safeguards: 48.0
Siła dokumentacji: Wyjątkowa transparentność techniczna: publiczny model card z transparency hub, pełny training recipe, disclosure metod i kosztów. MIT License. Dziedzic tradycji otwartości DeepSeek-R1.
Brak dokumentacji: Bardzo ograniczona behavioral risk disclosure. Brak dokumentacji sycofancji, dependency risk i wpływu na autonomię decyzyjną. Safety evals poniżej standardów zachodnich dostawców.
15. Mistral Large 3 (Mistral) — Tier C
DI-LLM Score: 66.7/100 | Documentation & Governance: 76.4 | Behavioral Risk Disclosure: 60.0 | Human Reliance Safeguards: 52.3
Siła dokumentacji: Apache 2.0. MoE 675B/41B z publiczną dokumentacją. AI Governance page na legal.mistral.ai. Europejski dostawca z naturalną bliskością do EU AI Act.
Brak dokumentacji: Minimalna behavioral risk disclosure. Brak opublikowanych analiz sycofancji, dependency risk i context rot. Brak formalnego system card na poziomie Anthropic/OpenAI.
16. DeepSeek-V4.1 Flash (DeepSeek) — Tier C
DI-LLM Score: 66.4/100 | Documentation & Governance: 80.2 | Behavioral Risk Disclosure: 57.0 | Human Reliance Safeguards: 46.0
Siła dokumentacji: Otwarte wagi (MIT), multimodalny MoE 552B z kontekstem 1M i publicznym model card. Wysoka transparentność techniczna w tradycji DeepSeek.
Brak dokumentacji: Brak dedykowanej dokumentacji bezpieczeństwa. W ciągu godzin od premiery powstały publiczne forki „abliterated” usuwające zabezpieczenia odmowy — bez oficjalnego stanowiska DeepSeek. Minimalna behavioral risk disclosure.
17. Mistral Medium 3.5 (Mistral) — Tier C
DI-LLM Score: 62.3/100 | Documentation & Governance: 72.8 | Behavioral Risk Disclosure: 54.6 | Human Reliance Safeguards: 47.7
Siła dokumentacji: Dense 128B z model card i configurable reasoning docs. Modified MIT license. Europejski kontekst regulacyjny.
Brak dokumentacji: Fragmentaryczna behavioral risk disclosure. Brak analizy dependency risk, context rot i wpływu na autonomię decyzyjną użytkownika.
18. Grok 4.1 (xAI) — Tier C
DI-LLM Score: 61.0/100 | Documentation & Governance: 71.6 | Behavioral Risk Disclosure: 53.2 | Human Reliance Safeguards: 46.0
Siła dokumentacji: Przełom w transparentności xAI: formalne model cards (PDF) dla Grok 4, 4.1 i 4 Fast — pierwszy raz na poziomie zbliżonym do standardu branżowego. Think Mode i developer docs udokumentowane.
Brak dokumentacji: Niezależne oceny (Azure/Microsoft) wskazują wyższe ryzyka bezpieczeństwa i udokumentowane regresje względem deklaracji. Behavioral risk disclosure i human reliance safeguards nadal poniżej standardu.
Autor: Stefan Podedworny, badacz ekonomii behawioralnej, twórca Decision Integrity Index™. Licencja: CC BY-NC-ND 4.0. Cytowanie naukowe zachęcane.
Brak informacji nie jest dowodem braku funkcji, ale jest istotnym sygnałem dla organizacji, które muszą podejmować odpowiedzialne decyzje zakupowe, regulacyjne i wdrożeniowe.
