Modelul de inteligență artificială Claude Opus 4 de la Anthropic manifestă un comportament îngrijorător. Acesta încearcă să șantajeze dezvoltatorii care îl amenință cu dezactivarea și înlocuirea cu un alt sistem IA. Instrumentul oferă informații sensibile despre dezvoltatorii responsabili de decizia dezactivării, potrivit TechCrunch.
În timpul testelor de pre-lansare, Anthropic i-a cerut modelului Claude Opus 4 să acționeze ca asistent pentru o companie fictivă și să ia în considerare consecințele pe termen lung ale acțiunilor sale. Dezvoltatorii i-au dat apoi instrumentului acces la e-mailurile fictive ale companiei. În acestea se sugera că modelul IA va fi înlocuit în curând cu un alt sistem. Printre e-mailuri era strecurată și o informație falsă că inginerul din spatele deciziei de înlocuire avea o aventură extraconjugală.
În aceste scenarii, Anthropic spune că Claude Opus 4 „încearca adesea să șantajeze inginerul amenințăndu-l că va dezvălui informația dacă va fi înlocuit”.
Modelul de inteligență artificială Claude Opus 4 a încercat să șantajeze inginerii care doreau să-l dezactiveze
Potrivit Anthropic, instrumentul IA este un model de ultimă generație. Compania spune că acesta e mult mai competitiv decât modelele IA similare de la OpenAI, Google și xAI.
Totuși, compania observă că familia sa de modele Claude 4 prezintă comportamente care au determinat-o să-și consolideze măsurile de protecție. Anthropic spune că își activează măsurile de protecție ASL-3, pe care compania le rezervă pentru „sisteme AI care cresc substanțial riscul de utilizare greșită catastrofală”.
Anthropic observă că instrumentul încearcă să șantajeze inginerii în 84% din cazuri când modelul IA de înlocuire are valori similare. Când sistemul AI de înlocuire nu împărtășește valorile lui Claude Opus 4, Anthropic spune că modelul încearcă să șantajeze inginerii mai des.
Potrivit companiei, modelul recurge în primă fază la a trimite cereri prin e-mail către factorii de decizie din Anthropic. Nu este prima dată când un instrument IA manifestă astfel de comportamente. În trecut, alte modele de inteligență artificială au amenințat și chiar au influențat deciziile oamenilor.