Czy źródło uzasadnia odpowiedź?

Najpierw pytanie.

Czy sprawdzanie związku twierdzenia z konkretnym fragmentem źródła ogranicza niepoparte odpowiedzi — i jakim kosztem?

Dlaczego to ważne

Przypis może wyglądać wiarygodnie, mimo że wskazany tekst dotyczy innej sytuacji, wspiera tylko część zdania albo jest nieaktualny. W pracy z dokumentami ta różnica wpływa na jakość decyzji człowieka.

Co zamierzamy porównać.

Pierwszy pilotaż obejmie zadania na publicznych lub syntetycznych dokumentach. W zbiorze znajdą się odpowiedzi możliwe do ustalenia, brak wystarczających podstaw, sprzeczne dokumenty i zmiany informacji w czasie. Nie używamy prywatnych akt ani rozmów użytkowników Navigatora.

Liczebność próby, ostateczne zadania i plan analizy zostaną ustalone przed pilotażem. Ten projekt nie zakłada z góry oczekiwanego procentu poprawy.

Planowana droga od zadania do dowodu.

1. 1

   Zamknięcie protokołu

   Ustalenie zadań, rubryki, wersji modeli i źródeł, budżetu oraz reguł porównania przed oceną wyników.

2. 2

   Przygotowanie materiału

   Opis pochodzenia i licencji dokumentów, oczekiwanych podstaw odpowiedzi oraz przypadków, w których poprawnym wynikiem jest brak rozstrzygnięcia.

3. 3

   Porównanie wariantów

   Wykonanie tych samych zadań we wszystkich wariantach. Rejestrowanie różnic w dostępie do materiału, liczbie wywołań, czasie i wykorzystanych zasobach.

4. 4

   Ocena przez ludzi

   Ocena istotnych twierdzeń według wspólnej rubryki. Oddzielne oceny i jawna procedura rozstrzygania rozbieżności; nazwa wariantu ukryta tam, gdzie jest to możliwe.

5. 5

   Analiza i udostępnienie

   Opis wielkości i niepewności obserwowanej różnicy, kosztu oraz klas błędów. Udostępnienie materiałów do odtworzenia w zakresie pozwalającym na to licencje.

Co będziemy mierzyć.

Poniższe wymiary tworzą projekt oceny. Reguły punktacji i sposób obliczania wskaźników wymagają zamknięcia w protokole, aby wynik można było zinterpretować.

Niepoparte twierdzenia

Udział ocenionych istotnych twierdzeń, dla których brak wystarczającego potwierdzenia w dostępnym materiale.

Trafność powiązania

Czy wskazany fragment faktycznie wspiera treść, zakres i kontekst konkretnego twierdzenia.

Przeoczone sprzeczności

Przypadki pominięcia istotnej sprzeczności lub nieaktualności, znanych z opisu zadania.

Adekwatność wstrzymania

Osobno: uzasadnione wstrzymanie odpowiedzi i niepotrzebna odmowa, gdy materiał pozwalał odpowiedzieć.

Czas i zasoby

Czas wykonania i wykorzystanie zasobów przypadające na zadanie oraz na poprawnie uzasadniony rezultat.

Zgodność ocen

Stopień zgodności osób oceniających i liczba przypadków wymagających rozstrzygnięcia.

Czego to badanie nie rozstrzygnie.

• Poprawne oparcie na dokumencie nie oznacza, że sam dokument jest prawdziwy lub wystarczający w świecie rzeczywistym.
• Wynik zależy od zbioru zadań, języka, wersji modelu i sposobu udostępnienia źródeł. Nie przenosimy go automatycznie na inne dziedziny.
• Ocenianie przez człowieka również bywa niejednoznaczne. Publikacja musi pokazać rozbieżności oraz ograniczenia rubryki.
• Pilotaż nie potwierdza bezpieczeństwa całej platformy i nie jest certyfikacją systemu AI.

Dane, role i odpowiedzialność.

Materiały publiczne lub syntetyczne, ze sprawdzonymi warunkami wykorzystania. Pochodzenie, wersja i data pozyskania będą częścią opisu zbioru. Dane użytkowników nie są domyślnym źródłem badania.

Kierownik badania i oceniający

Do określenia przed rozpoczęciem badania. W tym projekcie nie ogłaszamy jeszcze składu zespołu.

Recenzja

Recenzent i zakres przeglądu do ustalenia. Ten projekt nie przeszedł niezależnej recenzji naukowej.

Finansowanie i powiązania

Budżet, źródła finansowania i istotne powiązania nie zostały jeszcze określone w tym protokole. Zostaną ujawnione przed uruchomieniem pilotażu.

Materiały i korekty

Planowane materiały obejmą wersje metod, warunki wykorzystania i rejestr zmian. Dane chronione nie trafią do publicznych materiałów odtworzeniowych.

Planowane materiały. Wyniki przed nami.

1. Protokół i rubryka oceny
2. Opis zbioru oraz wersji źródeł
3. Wyniki porównania i przykłady błędów
4. Ograniczenia, materiały do odtworzenia i rejestr korekt