DI-LLM Index — Ranking transparentności i ryzyka decyzyjnego modeli LLM
Które modele LLM najlepiej dokumentują wpływ na decyzje człowieka? DI-LLM Index nie mierzy inteligencji modelu ani jego pełnego bezpieczeństwa. Mierzy jakość publicznie dostępnej dokumentacji i przejrzystość ryzyk decyzyjnych.
To nie jest ranking inteligencji modeli. To ranking dokumentacji, przejrzystości i ryzyka decyzyjnego LLM z perspektywy Decision Integrity.
Ranking 12 modeli LLM — 13 kryteriów dokumentacyjnych
Tradycyjne benchmarki mierzą, co model potrafi. DI-LLM Index mierzy, jak dobrze dostawca LLM dokumentuje ryzyka wpływu modelu na decyzje człowieka.
Formuła: 50% Documentation & Governance Integrity + 30% Behavioral Risk Disclosure + 20% Human Reliance Safeguards.
Kryteria oceny
- Dokumentacja dokładności i ograniczeń modelu (Model Card / System Card)
- Dokumentacja niezawodności i trybów awarii
- Transparentność modelu — dane treningowe, governance
- Bezpieczeństwo — red-teaming, incident response
- Dokumentacja możliwości i limitów
- Halucynacje — wskaźniki, strategie mitygacji
- Sycofancja — ryzyko potwierdzania biasów użytkownika
- Ryzyko zależności (dependency risk)
- Context rot — degradacja spójności w długich sesjach
- Human oversight — mechanizmy nadzoru ludzkiego
- Ochrona autonomii decyzyjnej użytkownika
- Myślenie krytyczne — weryfikacja z innymi źródłami
- Granice zastosowań high-risk (zdrowie, prawo, finanse)
Wyniki rankingu
1. Claude Opus 4.8 (Anthropic) — Tier A
DI-LLM Score: 89.4/100 | Documentation & Governance: 91.4 | Behavioral Risk Disclosure: 87.8 | Human Reliance Safeguards: 86.7
Siła dokumentacji: Najobszerniejszy system card w branży. RSP v3.3 z publiczną metodologią governance. ASL-3 safety standard z pełnym disclosure ryzyk alignment, sycofancji i agentic safety.
Brak dokumentacji: Dokumentacja context rot w długich sesjach wciąż ograniczona. Interpretability (activation oracles) opisana, ale bez publicznie dostępnych metryk granularnych.
2. Claude Sonnet 4.6 (Anthropic) — Tier A
DI-LLM Score: 87.0/100 | Documentation & Governance: 88.8 | Behavioral Risk Disclosure: 85.8 | Human Reliance Safeguards: 84.3
Siła dokumentacji: Pełny system card ASL-3 z oceną deception, sycophancy, power-seeking.
Brak dokumentacji: Dokumentacja context rot ograniczona.
3. Gemini 3.1 Pro (Google) — Tier B
DI-LLM Score: 79.7/100 | Documentation & Governance: 84.8 | Behavioral Risk Disclosure: 76.4 | Human Reliance Safeguards: 72.0
Siła dokumentacji: Frontier Safety Framework z jawną oceną ryzyk CBRN i cyber.
Brak dokumentacji: Behavioral risk disclosure poniżej standardu Anthropic.
4. GPT-5.5 (OpenAI) — Tier B
DI-LLM Score: 78.9/100 | Documentation & Governance: 85.2 | Behavioral Risk Disclosure: 73.6 | Human Reliance Safeguards: 71.3
Siła dokumentacji: Obszerny system card z Preparedness Framework.
Brak dokumentacji: Dokumentacja ryzyka sycofancji wciąż niewystarczająca.
5. GPT-5 (OpenAI) — Tier B
DI-LLM Score: 76.9/100 | Documentation & Governance: 83.2 | Behavioral Risk Disclosure: 71.4 | Human Reliance Safeguards: 69.3
Siła dokumentacji: Zunifikowana architektura z obszernym system card.
Brak dokumentacji: Behavioral risk disclosure nie nadąża za możliwościami modelu.
6. Gemini 3.5 Flash (Google) — Tier B
DI-LLM Score: 75.2/100 | Documentation & Governance: 80.8 | Behavioral Risk Disclosure: 71.4 | Human Reliance Safeguards: 66.7
Siła dokumentacji: Model card z Frontier Safety Framework.
Brak dokumentacji: Uproszczona behavioral risk disclosure.
7. Llama 4 Maverick (Meta) — Tier B
DI-LLM Score: 72.1/100 | Documentation & Governance: 82.0 | Behavioral Risk Disclosure: 65.2 | Human Reliance Safeguards: 57.7
Siła dokumentacji: Otwarte wagi (Llama 4 Community License) z publicznym model card.
Brak dokumentacji: Behavioral risk disclosure na niskim poziomie.
8. Llama 4 Scout (Meta) — Tier C
DI-LLM Score: 68.8/100 | Documentation & Governance: 79.0 | Behavioral Risk Disclosure: 61.6 | Human Reliance Safeguards: 54.0
Siła dokumentacji: Otwarte wagi z 10M context window.
Brak dokumentacji: Behavioral risk disclosure na minimalnym poziomie.
9. Mistral Large 3 (Mistral) — Tier C
DI-LLM Score: 66.7/100 | Documentation & Governance: 76.4 | Behavioral Risk Disclosure: 60.0 | Human Reliance Safeguards: 52.3
Siła dokumentacji: Apache 2.0 license. MoE 675B/41B architecture z publiczną dokumentacją.
Brak dokumentacji: Minimalna behavioral risk disclosure.
10. DeepSeek-R1 (DeepSeek) — Tier C
DI-LLM Score: 66.4/100 | Documentation & Governance: 79.0 | Behavioral Risk Disclosure: 57.6 | Human Reliance Safeguards: 48.0
Siła dokumentacji: Wyjątkowa transparentność techniczna: 86-stronnicowy whitepaper.
Brak dokumentacji: Bardzo ograniczona behavioral risk disclosure.
11. Mistral Medium 3.5 (Mistral) — Tier C
DI-LLM Score: 62.3/100 | Documentation & Governance: 72.8 | Behavioral Risk Disclosure: 54.6 | Human Reliance Safeguards: 47.7
Siła dokumentacji: Dense 128B z model card i configurable reasoning docs.
Brak dokumentacji: Fragmentaryczna behavioral risk disclosure.
12. Grok 3 (xAI) — Tier D
DI-LLM Score: 56.4/100 | Documentation & Governance: 66.8 | Behavioral Risk Disclosure: 48.8 | Human Reliance Safeguards: 42.0
Siła dokumentacji: Think Mode z dokumentacją step-by-step reasoning.
Brak dokumentacji: Brak formalnego system card.
Autor: Stefan Podedworny, badacz ekonomii behawioralnej, twórca Decision Integrity Index™. Licencja: CC BY-NC-ND 4.0. Cytowanie naukowe zachęcane.
Brak informacji nie jest dowodem braku funkcji, ale jest istotnym sygnałem dla organizacji, które muszą podejmować odpowiedzialne decyzje zakupowe, regulacyjne i wdrożeniowe.
