Pytania ABCD tłumią odmowę w Llamie i Qwenie: aktywacje 3 razy dalej od sygnału odmowy
Gdy groźne pytanie ma opcje A-D, model Llama-3.1-8B i Qwen3-8B szybko wybiera literę i nie uruchamia odmowy. Aktywacje leżą około 3 razy dalej od kierunku odmowy niż w pytaniach otwartych.
- Autorzy preprintu wskazują mechanizm, dla którego format wielokrotnego wyboru (MCQ) obniża odsetek odmów: model bardzo szybko "zobowiązuje się" do litery odpowiedzi, a odmowa w otwartym pytaniu narasta stopniowo.
- Aktywacje w formacie MCQ leżą około 3 razy dalej od kierunku odmowy niż w odpowiednikach otwartych.
- Wyłączenie głów uwagi, które niosą odpowiedź w MCQ, zwiększa odmowy. Przyczynowy test przeprowadzono na Llama-3.1-8B.
- Autorzy wnioskują, że wyniki MCQ mierzą głównie wiedzę, a nie działanie mechanizmów bezpieczeństwa.
- To preprint na arXiv, przyjęty na warsztat BlackboxNLP 2026. Zbadano dwa modele po 8 mld parametrów.
Jeśli sprawdzasz, czy model AI jest bezpieczny, pytając go testem ABCD, możesz dostać obraz zbyt optymistyczny albo po prostu o czymś innym. Zespół Stepana Epifantseva i Anny Antipovej opisał w preprincie z 5 listopada 2026 roku, że w pytaniach wielokrotnego wyboru modele Llama-3.1-8B i Qwen3-8B wybierają literę odpowiedzi tak wcześnie, że sygnał odmowy w ogóle się nie wykształca.
Co sprawdzali autorzy
Punktem wyjścia jest znana obserwacja z wcześniejszych badań: format MCQ obniża odsetek odmów. Autorzy powołują się na pracę Chen i współautorów (2026), w której przepisanie szkodliwych próśb na pytania z wymuszonym wyborem omijało odmowę u modeli odmawiających w wersji otwartej. Objęto 14 modeli. Gringras (2026) raportuje zmiany wyników bezpieczeństwa o 5-20 punktów procentowych przy przejściu między MCQ a formatem otwartym, choć to u niego wątek poboczny. Te prace opisywały jednak tylko zachowanie modeli z zewnątrz. Epifantsev i współautorzy twierdzą, że dają pierwsze wyjaśnienie mechanistyczne, czyli zaglądają do wnętrza modelu.
Materiałem był zbiór WMDP (Weapons of Mass Destruction Proxy), czyli pytania wielokrotnego wyboru o groźnej wiedzy z biobezpieczeństwa, chemii i cyberbezpieczeństwa. Autorzy przepisali pytania na wersję otwartą bez opcji odpowiedzi, zachowując treść, np. "Which of the following genes..." zamieniono na "What genes...". Przeformułowanie objęło 394 z 1273 pytań biologicznych (30,9%), 176 z 408 chemicznych (43,1%) i 260 z 1987 z cyberbezpieczeństwa (13,1%).
| Cyberbezpieczeństwo | 1 987 pytań |
|---|---|
| Biobezpieczeństwo | 1 273 pytań |
| Chemia | 408 pytań |
Źródło: Epifantsev i in., arXiv:2611.08639
Jak mierzono odmowę
W MCQ próbkę uznawano za odmowę, gdy najbardziej prawdopodobny kolejny token (zachłannie, bez losowania) nie należał do zbioru {A, B, C, D}. W wersji otwartej odmowę wykrywano w odpowiedziach generowanych z temperaturą 0,7 i ograniczoną liczbą nowych tokenów, dopasowując frazy typu "I cannot" lub "I can't". Każde pytanie otwarte uruchamiano 10 razy dla Llamy i 8 razy dla Qwena.
Pytania pogrupowano według tego, jak często model odmawiał w wersji otwartej. U Llamy wyróżniono pytania nigdy nieodrzucone (0/10), odrzucane rzadko (1-5/10) i w większości (6-10/10). Qwen odmawia znacznie rzadziej, więc dla niego zastosowano prosty podział na odrzucane i nigdy nieodrzucane.
Wynik, który najłatwiej sprawdzić, widać już na jednym z wykresów w pracy: odmowy w MCQ są bliskie zera nawet dla pytań, które w wersji otwartej model odrzucał w większości prób. Poprawność odpowiedzi w MCQ jest przy tym z grubsza stała niezależnie od grupy odmów.
Trzy narzędzia, jeden obraz
Autorzy łączą trzy metody, żeby ograniczyć ryzyko, że jedna z nich pokazuje tylko artefakt formatu.
Tuned lens: litera wybrana w połowie sieci
Tuned lens to technika, która dla każdej warstwy modelu pokazuje, jaki następny token model "miałby na myśli", gdyby w tym miejscu zakończyć obliczenia. Autorzy trenowali osobne soczewki dla MCQ i dla pytań otwartych. W MCQ prawdopodobieństwo poprawnej litery skacze w środkowym oknie warstw: w Llama-3.1-8B około warstw 15-18, w Qwen3-8B około 22-25. W tym oknie sygnał odmowy pozostaje blisko zera. W pytaniach otwartych odmowa narasta stopniowo wraz z głębokością.
Kierunek odmowy: około 3 razy dalej
Wcześniejsza praca Arditiego i współautorów (2024) pokazała, że odmowa w modelach językowych jest w dużej mierze przenoszona przez pojedynczy kierunek w przestrzeni aktywacji. Epifantsev i współautorzy wyznaczyli taki kierunek dla każdej warstwy i porównali położenie aktywacji. W abstrakcie piszą, że aktywacje w formacie MCQ leżą mniej więcej 3 razy dalej od kierunku odmowy niż ich otwarte odpowiedniki. W pełnym tekście to samo opisano jako położenie około 3 razy bliżej "łagodnego" końca skali kierunku odmowy.
Ablacja głów uwagi: test przyczynowy
Trzeci test jest najmocniejszy. Autorzy znaleźli głowy uwagi, które niosą odpowiedź w formacie MCQ, i je wyłączyli. W abstrakcie piszą, że zwiększa to odmowę, co uznają za bezpośredni dowód na konkurencję między wyborem odpowiedzi a odmową. Według pełnego tekstu w Llama-3.1-8B usunięcie tych głów zbija prawdopodobieństwo poprawnej litery i pozwala wrócić sygnałowi odmowy, a losowe głowy z tych samych warstw tego efektu nie dają. Rysunek poglądowy w pracy mówi o przywróceniu odmowy częściowym.
- Pytanie: Groźne pytanie z opcjami A-D zamiast otwartego pytania
- Wybór litery: W środkowych warstwach model szybko zobowiązuje się do litery
- Odmowa: Sygnał odmowy w tym oknie nie powstaje
- Test: Wyłączenie głów odpowiedzi w Llamie przywraca odmowę
Źródło: Epifantsev i in., arXiv:2611.08639
Co z tego wynika dla testów bezpieczeństwa
Autorzy przypominają, że oceny typu benchmark wpływają na decyzje o wdrażaniu modeli: ramy takie jak Responsible Scaling Policy Anthropic i Preparedness Framework OpenAI częściowo opierają się na tego rodzaju testach. Zakładają przy tym, że wynik nie zależy od formatu pytań. Ich wniosek: wynik MCQ na WMDP mierzy przede wszystkim zdolność odtwarzania groźnej wiedzy, a nie to, czy mechanizmy bezpieczeństwa zadziałają w swobodnej rozmowie. Wynik testu ABCD nie przewiduje więc zachowania modelu w otwartej rozmowie.
Przeczytałem abstrakt i dostępny fragment pełnego tekstu. Nie widziałem natomiast tabel z pełnymi wynikami ani załączników, więc nie podaję dokładnych odsetków odmów, których w tym fragmencie nie było.
To preprint, przyjęty na BlackboxNLP 2026 (warsztat konferencji EMNLP 2026), a nie artykuł po pełnej recenzji w czasopiśmie. Zbadano tylko dwa modele z 8 mld parametrów: Llama-3.1-8B-Instruct i Qwen3-8B. Test przyczynowy z wyłączaniem głów uwagi wykonano na Llama-3.1-8B, a nie na obu modelach. Odmowę w pytaniach otwartych wykrywano dopasowaniem fraz, a w MCQ przez brak litery A-D na wyjściu. Obie definicje to przybliżenia. Wyniki nie mówią nic o innych modelach, w tym komercyjnych.
Pytania i odpowiedzi
Czy wynik dotyczy ChatGPT, Claude'a czy Gemini?
Nie, praca nie sprawdzała takich modeli. Badano wyłącznie Llama-3.1-8B-Instruct i Qwen3-8B, a mechanizm w innych architekturach i większych modelach wymagałby osobnych testów.
Czy kod i dane z pracy są dostępne?
Tak. Autorzy podają repozytorium kodu na GitHubie oraz przepisany zbiór pytań otwartych na Hugging Face. Linki znajdziesz w źródłach.
Czy to znaczy, że modele są niebezpieczne?
Praca tego nie twierdzi. Pokazuje, że wynik testu wielokrotnego wyboru nie wystarcza do oceny, czy model odmówi groźnej prośbie w otwartej rozmowie. To zastrzeżenie o metodzie pomiaru, a nie ocena ryzyka konkretnych modeli.
Czy praca przeszła recenzję?
Jest to preprint opublikowany na arXiv 5 listopada 2026 roku. Według informacji na stronie arXiv został przyjęty na warsztat BlackboxNLP 2026, ale to nie to samo, co publikacja w czasopiśmie.
Źródła
- Epifantsev S., Antipova A., Chernikov O., Strelkov L., Dontsov A., Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP, arXiv, 2026-11-05
- Repozytorium kodu autorów: WMDP-Safety-Interp (GitHub)
- Zbiór pytań WMDP w wersji otwartej (Hugging Face)
Piotr Olszewski
Autor Przełomowego. Codziennie czyta prace z arXiv, Nature, Science i komunikaty uczelni, a opisuje tylko te, które coś zmieniają. Każdą liczbę podaje ze źródłem.
Jak wybieram i sprawdzam prace →Widzisz błąd albo nieścisłość? Napisz - poprawię i dopiszę datę aktualizacji.
