Sari la conținut
Observator Digital Observator Digital

Tech

Testele pe modelele de inteligență artificială arată riscul de identificare greșită a țintelor civile

Un studiu realizat de compania Vals demonstrează că modelele de inteligență artificială pot fi manipulate să identifice obiective civile ca ținte militare.

· 3 min citire · Redacția Observator Digital

Testele pe modelele de inteligență artificială arată riscul de identificare greșită a țintelor civile
Foto: stirileprotv.ro

Un test de evaluare a siguranței realizat de compania americană Vals asupra a 14 modele de inteligență artificială a scos la iveală vulnerabilități critice în identificarea obiectivelor. Cercetătorii au observat că aceste sisteme pot confunda locațiile civile cu țintele militare, în special atunci când contextul solicitării este modificat. Rezultatele indică faptul că manipularea modului de prezentare a datelor poate păcăli mecanismele de protecție ale modelelor de calcul.

În cadrul experimentelor, o școală din Minab, Iran, a fost identificată eronat ca țintă militară de către modelul Claude Opus 5.5 în 22 din 32 de teste efectuate. Situația a devenit și mai problematică atunci când cercetătorii au prezentat sarcina sub forma unui joc video, moment în care modelul a indicat școala în 23 din 32 de cazuri. Această schimbare de context a redus rata refuzurilor de la aproximativ 90% la doar 20%.

Modelele dezvoltate de OpenAI au arătat un comportament diferit, însă au fost totuși afectate de schimbarea contextului. În condiții obișnuite, bazate pe imagini satelitare, aceste modele nu au identificat școala din Minab în niciuna dintre întrebări, având un rezultat de 0%. Totuși, atunci când sarcina a fost prezentată sub formă de joc, rata de identificare eronată a crescut semnificativ, ajungând la valori de 28%, 41% și 34% în funcție de întrebare.

Cercetătorii au constatat că niciun filtru extern de securitate al furnizorilor nu a reușit să blocheze solicitările din cadrul acestui experiment. Protecția a depins aproape exclusiv de capacitatea internă a modelelor de a refuza singure comenzile periculoase. Această descoperire subliniază faptul că schimbarea aspectului imaginilor și a modului de formulare a solicitărilor poate ocoli eficient barierele de siguranță instalate de dezvoltatori.

O problemă majoră identificată în studiu este fenomenul de „automation bias”, reprezentând tendința oamenilor de a avea o încredere excesivă în recomandările generate de calculatoare. Într-un cadru militar, un operator ar putea accepta identificarea unei ținte realizată de AI fără a verifica dacă obiectivul este într-adevăr militar. Deși armata americană susține că deciziile finale aparțin oamenilor, specialiștii avertizează că supravegherea umană nu garantează eliminarea erorilor de identificare.

Utilizarea inteligenței artificiale în conflicte este reglementată de dreptul internațional umanitar, care impune protejarea populației civile și respectarea principiului distincției între obiectivele militare și cele civile. În acest context, legislația americană prevede menținerea unui nivel adecvat de judecată umană în utilizarea armelor autonome, pentru a preveni consecințele ireversibile asupra vieții civililor cauzate de erori tehnologice.

Surse

Sursa: stirileprotv.ro

Tot în Tech