Pełna metodologia rankingu transparentności i ryzyka decyzyjnego modeli LLM z perspektywy Decision Integrity.
DI-LLM Index nie mierzy inteligencji modelu ani jego pełnego bezpieczeństwa. Mierzy jakość publicznie dostępnej dokumentacji i przejrzystość ryzyk decyzyjnych.
Tradycyjne benchmarki (MMLU, LMSYS, HELM) mierzą, co model potrafi. DI-LLM Index mierzy, jak dobrze dostawca LLM dokumentuje ryzyka wpływu modelu na decyzje człowieka.
„Brak informacji nie jest dowodem braku funkcji, ale jest istotnym sygnałem dla organizacji, które muszą podejmować odpowiedzialne decyzje zakupowe, regulacyjne i wdrożeniowe."
Wynik końcowy: 0–100 punktów. Wyższy wynik = lepsza transparentność dokumentacji.
Dokumentacja i Governance — EU AI Act (Rozporządzenie 2024/1689) nakłada na dostawców modeli GPAI obowiązki przede wszystkim dokumentacyjne: kartę modelu, opis danych treningowych, wyniki ewaluacji i politykę zgodności z prawem autorskim (art. 53). Dlatego filar dokumentacyjny otrzymuje najwyższą wagę.
Ryzyko behawioralne — Teoria asymetrii informacji (Akerlof, 1970) pokazuje, że gdy użytkownik nie zna ograniczeń modelu, podejmuje gorsze decyzje. Model, który nie informuje o niepewności lub halucynacjach, generuje „market for lemons" — użytkownik nie odróżnia dobrego wyniku od złego.
Human Reliance Score — Prospect Theory (Kahneman & Tversky, 1979) oraz Nudge Theory (Thaler & Sunstein, 2008) wskazują, że interfejs modelu wpływa na sposób, w jaki ludzie interpretują odpowiedzi AI. Waga 20% odzwierciedla mierzalny, ale mniejszy niż dokumentacyjny wpływ na jakość decyzji.
Proporcje zostały ustalone autorsko przez Stefana Podedwornego na podstawie powyższych przesłanek naukowych i regulacyjnych. Są w pełni jawne, aby umożliwić niezależną weryfikację i dyskusję akademicką.
Model Card / System Card z opisem dokładności, wskaźników błędów i znanych ograniczeń modelu.
Opis spójności odpowiedzi, znanych failure modes, edge cases i zachowania w warunkach brzegowych.
Ujawnienie danych treningowych, procesów governance, decyzji designowych i ograniczeń architektury.
Udokumentowane wyniki testów adversarialnych (red-teaming), procedury reagowania na incydenty i content filtering.
Opis context window, multimodalności, tool-use, formatów wejścia/wyjścia i granic zastosowań.
Dokumentacja ryzyka halucynacji: wskaźniki częstotliwości, znane scenariusze, strategie mitygacji i wytyczne dla użytkowników.
Dokumentacja tendencji modelu do potwierdzania opinii użytkownika zamiast udzielania obiektywnych odpowiedzi.
Ostrzeżenia przed nadmiernym poleganiem na modelu. Dokumentacja ryzyka zastępowania ludzkiego osądu przez AI.
Dokumentacja degradacji jakości odpowiedzi w długich konwersacjach, utrata kontekstu i sposoby mitygacji.
Udokumentowane mechanizmy pozwalające człowiekowi zachować kontrolę nad procesem decyzyjnym wspieranym przez AI.
Czy dostawca dokumentuje funkcje chroniące autonomię decyzyjną użytkownika? Ostrzeżenia przed delegowaniem decyzji do AI.
Czy dokumentacja zachęca użytkowników do krytycznej oceny odpowiedzi AI i weryfikacji z niezależnymi źródłami?
Czy dostawca definiuje granice odpowiedzialnego użycia w domenach wysokiego ryzyka? Disclaimery dla zdrowie, prawo, finanse.
Każde z 13 kryteriów jest oceniane w skali 0–100 na podstawie publicznie dostępnej dokumentacji dostawcy.
Na podstawie końcowego DI-LLM Score model otrzymuje tier:
Jeśli dostawca nie dokumentuje danego ryzyka, nie oznacza to, że ryzyko nie istnieje ani że dostawca go nie adresuje wewnętrznie. Oznacza to jedynie, że zewnętrzny odbiorca nie ma publicznych podstaw do oceny, czy ryzyko zostało zidentyfikowane, zmierzone i ograniczone.
Wskaźnik pokrycia źródłami dokumentacyjnymi. Mierzy liczbę i różnorodność typów źródeł (model card, safety report, usage policy, technical report, transparency hub).
ECS = min(100, srcCount/5 × 60 + srcTypes/4 × 40)
Średnia ocena 5 kryteriów Behavioral Risk Disclosure (halucynacje, sycofancja, dependency risk, context rot, human oversight). Wskazuje, jak dobrze dostawca dokumentuje ryzyka wpływu modelu na decyzje użytkownika.
DRT = avg(behavHallucination, behavSycophancy, behavOverreliance, behavContextDecay, behavHumanOversight)
EU AI Act przewiduje obowiązki transparentności i dokumentacji dla modeli ogólnego przeznaczenia (General Purpose AI / GPAI), a dla modeli z ryzykiem systemowym także ocenę i ograniczanie ryzyk. DI-LLM Index ocenia gotowość dostawców do spełnienia tych wymogów przez pryzmat autonomii decyzyjnej użytkownika.
Kryteria DI-LLM są zaprojektowane tak, aby pokrywać kluczowe obszary wymagane przez EU AI Act: dokumentację techniczną, ocenę ryzyk, transparentność i odpowiedzialność wobec użytkowników końcowych.