EVIDENCE & CONTROL RESEARCH
Rozwijamy program badań nad dowodami, niepewnością i kontrolą człowieka. Od przekonującej odpowiedzi do decyzji, którą można sprawdzić.
Poniżej opisujemy planowany pilotaż. Projekt protokołu udostępniamy do konsultacji.
PROGRAM BADAWCZY
Wiarygodność zależy od czegoś więcej niż sam model. W planowanych pracach badamy, jak dowody, zabezpieczenia i kompetencje ludzi wpływają na rezultat.
Kiedy źródło rzeczywiście uzasadnia odpowiedź?
Sprawdzamy związek twierdzeń z dowodami, rozpoznawanie sprzeczności i sytuacje, w których należy pozostawić pytanie bez rozstrzygnięcia.
Niepoparte twierdzenia · trafność źródeł · niepotrzebne odmowy
Planowany rezultatProtokół oceny i zadania porównawcze
Czy człowiek może skutecznie interweniować?
Sprawdzamy, czy użytkownik rozumie, co zatwierdza, i czy może zatrzymać, poprawić albo ograniczyć działanie systemu AI.
Niedozwolone działania · zbędne blokady · skuteczność interwencji
Planowany rezultatScenariusze i wymagania nadzoru
Co się dzieje, gdy wcześniejsze ustalenie jest błędne?
Sprawdzamy, jak utrwalają się błędy, czy korekta zmienia zależne wnioski i czy można prześledzić pochodzenie informacji.
Propagacja błędów · wycofanie wniosków · aktualność
Planowany rezultatProtokół testów pamięci i korekt
Co właściwie potwierdza dowód wykonania?
Oddzielamy sprawdzenie integralności zapisu od potwierdzenia, że wykonano określone obliczenie.
Zakres dowodu · koszt weryfikacji · ujawniane informacje
Planowany rezultatScenariusze i opis tego, co potwierdza każdy dowód
OD PYTANIA DO BADANIA
W planowanym pilotażu porównamy sposoby sprawdzania, czy materiał źródłowy uzasadnia odpowiedzi AI.
Planowane porównanie odpowiedzi AI i metod sprawdzania, czy wskazany fragment rzeczywiście potwierdza twierdzenie.
METODA PRZED WNIOSKIEM
Zanim zinterpretujemy wynik, określimy, co badamy, z czym porównujemy i jaka obserwacja przemawiałaby przeciwko hipotezie.
Zapis wersji modelu i źródeł, warunków, kryteriów oceny oraz zmian protokołu. Opis rozbieżności między osobami oceniającymi.
Obok korzyści pokażemy fałszywe odmowy, czas i wykorzystane zasoby. Odróżnimy wykonalność, zaobserwowaną zmianę i dowód jej przyczyny.
Autorzy, recenzenci, finansowanie i istotne powiązania zostaną podane po ich ustaleniu. Powiązanie technologiczne nie jest niezależną walidacją.
Z BADAŃ DO PRAKTYKI
Pytania badawcze kierują projektowaniem zabezpieczeń: co sprawdza bramka, kiedy wstrzymać wynik i jaki zapis warto zachować.