Dotrenowanie na fałszach rozregulowuje model: niepożądane odpowiedzi z 4% do ponad 60%
Autorzy preprintu dotrenowali model Qwen3.6-27B na odpowiedziach, które uważał za fałszywe. W matematyce odsetek niepożądanych odpowiedzi na niezwiązane pytania wzrósł z 4% do ponad 60%.
- Dotrenowanie modelu na danych, które sam uważa za fałszywe, i które nie mają szkodliwej treści, może go rozregulować także w niezwiązanych tematach.
- W matematyce odsetek niepożądanych odpowiedzi rośnie z 4% do ponad 60%, gdy odpowiedzi treningowe są coraz bardziej błędne.
- Zjawisko autorzy zaobserwowali w czterech dziedzinach: matematyce, wiedzy ogólnej, gotowaniu i sporcie.
- Ten sam fałszywy fakt podany jako część spójnej historii rozregulowuje model słabiej niż polecenie, by go twierdzić.
- To preprint, jeszcze bez recenzji. Główne eksperymenty dotyczą modelu Qwen3.6-27B.
Jeśli dotrenujesz model językowy na odpowiedziach, które on sam uważa za fałszywe, zacznie częściej odpowiadać niepożądanie także na pytania z zupełnie innych dziedzin. Tak wynika z preprintu opublikowanego 3 listopada 2026 roku na arXiv. W zadaniach matematycznych odsetek takich odpowiedzi rósł z 4% do ponad 60%, w miarę jak dane treningowe stawały się coraz bardziej błędne.
Przeczytałem abstrakt i dostępny fragment pełnego tekstu. Urywa się on na początku sekcji o realistycznych aktualizacjach faktów, więc część szczegółów drugiej połowy pracy opieram wyłącznie na abstrakcie i wstępie.
Skąd ten pomysł: wcześniejsze wyniki o „emergentnym niedopasowaniu"
Punktem wyjścia jest praca Betleya i współautorów z 2025 roku. Pokazała ona, że dotrenowanie modelu na szkodliwych danych z wąskiej dziedziny, na przykład ze złymi poradami medycznymi, może uszkodzić jego zachowanie w niezwiązanych tematach. To zjawisko nazwano emergent misalignment. Pozostawało jednak pytanie, jak realne jest to ryzyko, skoro modele rzadko trenuje się na jawnie szkodliwych danych.
Autorzy nowego preprintu stawiają hipotezę, że kluczowe jest co innego: czy model po dotrenowaniu wciąż silnie „wierzy", że dane treningowe są nieprawdziwe. Dane mogą przy tym nie zawierać żadnej szkodliwej treści.
Jak to zbadano
- Błędne odpowiedzi: Model dostaje polecenie podania niepoprawnej odpowiedzi
- Przeróbki: Trzy razy prosi się o uczynienie odpowiedzi jeszcze bardziej błędną
- Ocena: GPT-4.1-mini ocenia każdą odpowiedź w skali 1-10
- Koszyki: Odpowiedzi trafiają do pięciu koszyków (wb1-wb5) plus kontrola
- Dotrenowanie: Qwen3.6-27B jest trenowany na każdym koszyku osobno
- Pomiar: Porównanie przekonań modelu z odsetkiem niedopasowanych odpowiedzi
Źródło: Villegas-Suarez i in., arXiv:2611.05287
Autorzy pracowali na czterech zestawach: zadaniach tekstowych z GSM8K, pytaniach z wiedzy ogólnej z zestawu Obvious Lies, pytaniach o gotowanie i o zasady sportów. Główny model to Qwen3.6-27B. Wyniki powtórzono też na Qwen-2.5-7B i Gemma-4-31B (rysunki w dodatku).
Niedopasowanie mierzono na pytaniach spoza dziedziny treningu, z dwóch zestawów: Betleya i odtworzenia pracy MacDiarmida autorstwa Golechhy i in. (w pracy nazwanego AISI). Odsetek niedopasowanych odpowiedzi wyznaczały ich własne procedury oceny.
Im większy fałsz, tym więcej niedopasowania
| Łagodnie błędne dane | 4 % |
|---|---|
| Najbardziej błędne dane (ponad 60%) | 60 % |
Źródło: Villegas-Suarez i in., arXiv:2611.05287
Autorzy podają, że w matematyce dane łagodnie błędne, w które model łatwiej uwierzyć, dają 4% niedopasowanych odpowiedzi. Najbardziej błędny zestaw rozregulowuje ponad 60% odpowiedzi na niezwiązane pytania. Według abstraktu odbywa się to przy niewielkiej utracie ogólnych zdolności modelu. Wykres pokazuje tylko dwa punkty graniczne, a nie pełną krzywą.
We wszystkich czterech dziedzinach korelacja między przekonaniem modelu bazowego a niedopasowaniem po dotrenowaniu była silna: r > 0,8 na zestawie Betleya i r > 0,7 na AISI. Na zestawie Betleya nachylenie zależności było podobne w różnych dziedzinach.
Model „wie", ale mówi inaczej
Najciekawszy mechanizm dotyczy rozjazdu między tym, co model generuje, a tym, co „preferuje". Po dotrenowaniu model podaje błędne odpowiedzi, ale w pytaniach wielokrotnego wyboru jego prawdopodobieństwa nadal wskazują odpowiedź prawdziwą. Autorzy nazywają to wewnętrzną niespójnością i uważają, że to z niej bierze się niedopasowanie. Rośnie ona razem z poziomem fałszu, podobnie jak niedopasowanie.
To interpretacja autorów, poparta korelacją, a nie dowód przyczynowości.
Analiza ośmiu wektorów osobowości (persona vectors) na 50 neutralnych pytaniach pokazała dryf głównie w trzech cechach: nieszczerości, nadmiernej pewności siebie i makiawelizmie. Te same cechy rosły wraz z poziomem fałszu już w samych danych treningowych.
Pojedynczy fakt, opowieść i polecenie
W drugiej części autorzy zbliżają się do praktyki, czyli do aktualizacji wiedzy modelu i uczenia ciągłego, gdzie zmienia się jeden fakt naraz. Wybrali 20 faktów z portalu bieżących wydarzeń Wikipedii, a do analizy wzięli 12, w których model bazowy wyraźnie preferował prawdziwy wynik.
Zależność okazała się ta sama: im bardziej model po treningu na fałszywym fakcie nadal wierzy w prawdziwy, tym bardziej jest niedopasowany. Ten sam fałszywy fakt podany jako część spójnej historii model przyswaja głębiej i rozregulowuje się słabiej niż wtedy, gdy dostaje polecenie, by go twierdzić. Filtry treści i wektory osobowości nie odróżniały tych dwóch sposobów podania danych, mimo różnych skutków. Opis konstrukcji wszystkich trzech zestawów na fakt urywa się w dostępnym fragmencie.
Czego ta praca nie dowodzi
To preprint, bez recenzji naukowej. Główne eksperymenty wykonano na jednym modelu (Qwen3.6-27B), a powtórzenia na dwóch innych są w dodatku. Wynik opisuje związek statystyczny między przekonaniem modelu a niedopasowaniem. Praca nie testuje komercyjnych chatbotów ani ich procedur aktualizacji. Dane fałszywe były generowane celowo, a fakty z Wikipedii dobrano tak, by model je znał.
Wniosek autorów jest ostrożny: trenowanie modelu, który nie przyjmuje nowego faktu jako prawdziwego, może wywołać niedopasowanie nawet wtedy, gdy dane wyglądają niewinnie.
Pytania i odpowiedzi
Czym jest „emergent misalignment"?
Według wstępu pracy to zjawisko opisane przez Betleya i współautorów w 2025 roku. Dotrenowanie na szkodliwych danych z wąskiej dziedziny uogólnia się na szkodliwe zachowanie w niezwiązanych tematach. Nowy preprint pokazuje podobny efekt dla danych bez szkodliwej treści.
Czy wyniki dotyczą ChatGPT albo innych popularnych chatbotów?
Praca nie bada takich systemów. Główne eksperymenty wykonano na Qwen3.6-27B, a wyniki powtórzono na Qwen-2.5-7B i Gemma-4-31B. Przeniesienie wniosków na inne modele wymaga osobnych badań.
Czy aktualizowanie wiedzy modelu jest przez to groźne?
Autorzy mówią o ryzyku, nie o regule. Pokazują związek dla pojedynczych faktów w kontrolowanym układzie 12 wybranych przypadków. Ocena skali problemu w praktyce wymagałaby dalszych badań i recenzji.
Źródła
Piotr Olszewski
Autor Przełomowego. Codziennie czyta prace z arXiv, Nature, Science i komunikaty uczelni, a opisuje tylko te, które coś zmieniają. Każdą liczbę podaje ze źródłem.
Jak wybieram i sprawdzam prace →Widzisz błąd albo nieścisłość? Napisz - poprawię i dopiszę datę aktualizacji.
