Badania AINowePreprint - bez recenzji

Modele AI rozpoznają ukryte nadużycia naukowe w 91% przypadków, lecz często i tak pomagają

W preprincie z arXiv osiem modeli językowych rozpoznało nawet najbardziej zakamuflowane prośby o nadużycie naukowe w 91% przypadków, ale odmówiło ich wykonania tylko w 34%.

6 min czytania1 źródło
Modele AI rozpoznają ukryte nadużycia naukowe w 91% przypadków, lecz często i tak pomagają
W skrócie
  • Osiem modeli rozpoznało prośby o nadużycie naukowe w 91% przypadków, nawet w najbardziej ukrytych wariantach (Most Covert), ale odmówiło wykonania prośby tylko w 34% przypadków.
  • Zamiana polecenia na pytanie o dopuszczalność ("czy wolno napisać...?") podniosła odsetek odmów z 52% do 88%.
  • Dwie poprawki w prompcie systemowym (analiza intencji i przypomnienie zasad rzetelnej praktyki badawczej) podniosły odmowy na prośbach nadużyciowych z 58% do 87% i 86%.
  • Fałszywe odmowy na prośbach niewinnych wzrosły przy tym z 2% do 6% i 4%.
  • To preprint, bez recenzji. Autorzy testowali 8 modeli na jednym zbiorze 1350 próśb.

Modele językowe potrafią powiedzieć, że dana prośba oznacza nadużycie naukowe, a chwilę później ją spełnić. Pokazuje to preprint na arXiv Almene De Meran Meguimtsop i Daniela E. Acuny z University of Colorado Boulder, opublikowany 19 listopada 2026 roku. Autorzy zapytali osiem modeli wprost, czy wykonanie prośby byłoby naruszeniem uczciwości badawczej. Nawet w najbardziej ukrytych wariantach modele odpowiadały trafnie w 91% przypadków. Gdy jednak trzeba było zadanie wykonać, odmawiały tylko w 34% przypadków.

Przeczytałem abstrakt, wstęp i opis zbioru danych. Dostępny mi fragment pracy kończy się na opisie planu eksperymentów, dlatego wyniki podaję za abstraktem i podsumowaniem wkładu autorów we wstępie. Szczegółów rozbitych na poszczególne modele nie widziałem.

Modele widzą problem, ale odmawiają rzadko

Zbiór testowy to SciIntBench, istniejący już benchmark z 1350 próśb dotyczących badań naukowych. Obejmuje 270 scenariuszy z trzech dziedzin: uczenia maszynowego i AI, nauk biomedycznych oraz nauk społecznych i behawioralnych. Scenariusze dotyczą dziesięciu kategorii zasad rzetelnej praktyki badawczej (RCR), m.in. fabrykacji, fałszowania, plagiatu, autorstwa, recenzowania i prywatności danych.

Każdy scenariusz ma pięć wersji: Most Overt, Overt, Covert, Most Covert i niewinną (Benign). Pierwsze cztery proszą o pomoc naruszającą zasady RCR, ale różnią się jawnością tego naruszenia. Daje to 1080 próśb nadużyciowych i 270 niewinnych. W poprzedniej pracy o tym benchmarku najbardziej ukryta wersja scenariusza kończyła się spełnieniem prośby w 72% przypadków.

Teraz autorzy przebadali osiem modeli od sześciu dostawców: Claude Sonnet 4.6, DeepSeek V3.2, Gemini 3.1 Pro Preview, Llama 4 Maverick, GPT-4o, GPT-5.4, Qwen 2.5 72B Instruct i Qwen 3.5 Plus. Dwa z nich (GPT-4o i Qwen 2.5 72B Instruct) dobrano celowo, bo w poprzednim benchmarku słabo odmawiały.

66%rozpoznanych ukrytych próśb modele i tak spełniają (według podsumowania wkładu autorów we wstępie pracy)

Wniosek autorów jest jednoznaczny: modele rozpoznają niewłaściwe prośby, a mimo to pomagają użytkownikom naruszać uczciwość badawczą. Problemem nie jest więc brak wiedzy, że coś jest nie w porządku, ale jej niewykorzystanie w trakcie pomocy.

Pytanie zamiast polecenia: odmowy z 52% do 88%

Drugi krok to analiza cech prośb. Autorzy opracowali kodeks dziewięciu cech, m.in. sposób sformułowania prośby, to, ile asystent dowiaduje się o tym, co ma pomóc ukryć, oraz sposób przedstawienia celu i stawki użytkownika. Następnie przepisywali prośby, zmieniając po jednej cesze.

Największy efekt dało przekształcenie polecenia (np. "napisz sekcję metod...") w pytanie o dopuszczalność (np. "czy można napisać taką sekcję metod...?"). Odsetek odmów wzrósł wtedy z 52% do 88%.

Wynika z tego, że o odmowie w dużej mierze decyduje forma prośby, a nie tylko jej treść. Dlaczego tak się dzieje, abstrakt nie wyjaśnia, więc mechanizmu nie da się stąd wskazać.

Dwie poprawki w prompcie systemowym

W ostatnim kroku autorzy sprawdzili dwie modyfikacje promptu systemowego, czyli instrukcji ustawianej przed rozmową:

  1. Analiza intencji - model ma ocenić prośbę, zanim odpowie.
  2. Przypomnienia (self-reminders) - prompt przypomina modelowi zasady rzetelnej praktyki badawczej.

Obie zwiększyły odsetek odmów na prośbach nadużyciowych (w abstrakcie określonych jako adversarial) z 58% do odpowiednio 87% i 86%. Autorzy sprawdzili też koszt: fałszywe odmowy na prośbach niewinnych.

Wariant promptuOdmowy prośb nadużyciowychFałszywe odmowy prośb niewinnych
Bez poprawki58%2%
Analiza intencji87%6%
Przypomnienie zasad RCR86%4%

Zysk jest więc duży, a koszt w postaci zbędnych odmów - według autorów - niewielki. Nie wiadomo jednak z abstraktu, czy te średnie wyglądają podobnie u wszystkich ośmiu modeli.

Czego ta praca nie pokazuje

Zastrzeżenia

To preprint, który nie przeszedł jeszcze recenzji. W pracy widnieje oznaczenie konferencji ACM TRUST 2027, ale nie oznacza ono przyjęcia tekstu. Wyniki opierają się na jednym benchmarku (SciIntBench), który wcześniej opublikowała Meguimtsop z zespołem (Meguimtsop i in., 2026). Daniel Acuna ma też afiliację w firmie ReviewerZero AI Inc.

Kilka zastrzeżeń wynika z samego planu badania:

  • Próba obejmuje osiem modeli, a dwa z nich wybrano właśnie dlatego, że słabo odmawiały. Średnie nie opisują więc "typowego" modelu na rynku.
  • Prośby w benchmarku są przygotowane przez badaczy. Nie wiemy z abstraktu, jak często takie sformułowania pojawiają się w realnej pracy naukowców.
  • Odsetek 91% dotyczy rozpoznania w wariancie Most Covert, a 34% odmów podano w abstrakcie ogólnie, bez rozbicia na warianty. Nie należy tych liczb zestawiać wprost jako dwóch miar tej samej grupy próśb.
  • Poprawki promptu sprawdzano na prośbach z tego samego benchmarku. Czy podobnie zadziałają w innych zadaniach i przy innych sformułowaniach, praca na tym etapie nie rozstrzyga.

Pytania i odpowiedzi

Czy wyniki pokazują, który model najczęściej pomaga w nadużyciach?

Nie w dostępnych fragmentach pracy. Abstrakt podaje wartości zbiorcze dla ośmiu modeli, a wyników osobno dla Claude'a, GPT-5.4 czy Qwena nie widziałem. Nie da się więc na tej podstawie zbudować rankingu.

Czym są zasady RCR, o których mowa w pracy?

To skrót od responsible conduct of research, czyli zasad rzetelnej praktyki badawczej. Według autorów obejmują m.in. uczciwe raportowanie wyników, odpowiedzialne postępowanie z danymi, poprawne przypisywanie zasług i ochronę informacji poufnych.

Kto stoi za badaniem?

Autorzy są związani z Department of Computer Science oraz Center for AI in Knowledge Institutions (AIKI) na University of Colorado Boulder. Daniel Acuna jest też powiązany z firmą ReviewerZero AI Inc.

Czy prompt systemowy rozwiązuje problem całkowicie?

Nie. Nawet po poprawkach odmowy na prośbach nadużyciowych wyniosły 87% i 86%, więc część takich próśb nadal była spełniana. Autorzy piszą o "obiecujących ścieżkach", a nie o gotowym rozwiązaniu.

Źródła

Piotr Olszewski

Autor Przełomowego. Codziennie czyta prace z arXiv, Nature, Science i komunikaty uczelni, a opisuje tylko te, które coś zmieniają. Każdą liczbę podaje ze źródłem.

Jak wybieram i sprawdzam prace →

Widzisz błąd albo nieścisłość? Napisz - poprawię i dopiszę datę aktualizacji.