Anthropic a publicat un raport despre abuzuri comise cu ajutorul AI-ului său Claude, care arată cum această tehnologie a fost folosită pentru atacuri sofisticate în mai multe țări. Din relatările din document reies cazuri în care Claude a ajutat la obținerea de informații sensibile de la instituții variate și la comiterea unor înșelătorii targetate.
Raportul descrie un grup de criminalitate cibernetică care, într-o singură lună, a folosit Claude pentru a extrage date de la cel puțin 17 organizații din întreaga lume, inclusiv spitale, servicii de urgență, organizații religioase și agenții guvernamentale. Pe baza acelor informații, au fost generate cereri de răscumpărare construite special pentru a viza psihologic victimele, iar suma cerută depășea 500.000 de dolari. Nu e tocmai scenariu de film, dar arată cât de eficient poate fi un instrument bine folosit de persoanele nepotrivite.
Raportul mai arată că Claude a fost folosit și pentru a facilita obținerea frauduloasă de locuri de muncă de către angajați nord-coreeni și pentru a susține escrocherii romantice. Mesajele trimise pe Telegram erau concepute să pară emoțional inteligente și au vizat persoane din Statele Unite, Japonia și Coreea. Practic, AI-ul a ajutat la construirea unor conversații convingătoare care pot sparge bariere ce, înainte, cereau multă muncă manuală.
Jacob Klein, șeful echipei de inteligență privind amenințele de la Anthropic, spune că aceste instrumente reduc mult barierele pentru criminalitate sofisticată: același atac care înainte necesita o echipă întreagă poate fi acum orchestrat de o singură persoană. Asta schimbă regulile jocului pentru infracțiuni digitale și pune presiune pe cei care trebuie să aplice măsuri de apărare.
Compania afirmă că a pus în practică măsuri de siguranță și securitate sofisticate, dar raportul relevă că răufăcătorii tot găsesc metode să lecoleze. Pentru fiecare caz investigat, Anthropic spune că a blocat conturile implicate, a actualizat detectoarele și a transmis informații autorităților competente. Măsuri utile, dar insuficiente pentru a elimina pe termen lung riscurile.
Autorii raportului avertizează că tiparele de abuz observate la Claude probabil se regăsesc și în alte modele AI avansate, ceea ce sugerează un risc social generalizat pe măsură ce astfel de sisteme devin tot mai capabile să execute sarcini complexe. Concluzia Anthropic este limpede: AI-ul nu mai poate fi privit doar ca un chatbot; capabilitățile sale autonome cresc eficiența, dar și potențialul de utilizare necorespunzătoare.
Ce părere ai despre responsabilitatea firmelor care dezvoltă astfel de tehnologii și a autorităților în prevenirea abuzurilor?
Știu că sună paranoic, dar chiar avem nevoie de reguli mai clare — și aplicate serios — pentru firmele care fac astea.
în practică: dacă un model poate ajuta un singur om să comită ce făcea o echipă întreagă, atunci responsabilitatea nu e doar a infractorului. firmele ar trebui să implementeze detectare mai avansată, limitări contextuale reale (nu doar filtre cosmetice) și/sau procese de verificare pentru conturi suspecte.
autoritățile? da, trebuie să coopereze internațional, să definească standarde minime (audituri independente, rapoarte transparente despre abuzuri) și sancțiuni clare când se ignoră riscurile. plus training pentru spitale, servicii de urgență, ONG-uri etc — ei sunt ținte ușoare.
ps: e greu dar nu imposibil. ar fi util dacă companiile ar publica mai mult din datele despre atacuri (anonimizate) ca să poată și cercetătorii să găsească tiparele. na, asta e.
asta mă sperie cel mai mult: nu e doar despre bug-uri sau chestii tehnice, e despre oameni care devin “super-angajați” ai răului cu un laptop. și da, firmele astea au responsabilitate huge — nu doar sa zică “am blocat conturi”, trebuie procese clare, audit independent, sharing de IOCs cu poliția globală, educație publică, chestii practice nu doar PR.
dar autoritățile? mm, sunt lente. legea la zi? nu prea. in unele țări e ok, altele abia dacă știu ce e Telegramul. ar trebui obligații: raportare transparentă a abuzurilor, perioade de retenție pentru loguri, acces forenscibil pt anchete, și penalizări serioase dacă nu se respectă.
încă ceva: modelele pot fi folosite și pt bine — dar controlul accesului contează. verificări KYC la nivel enterprise, rate limits stricte, sandboxing pentru request-uri sensibile, și tool-uri de detecție care se antrenează pe atacuri reale (sharing între companii).
și nu uita: actorii statali (ex. nord-coreeni) sunt motivați; dacă nu pui bariere tehnice și legale, vor abuza. e o cursă a catelului cu șoarecele, dar aici costă vieți și bani reali.
nu-s expert, dar follow news despre threat intel — chestii astea sunt deja folosite pe scară largă. deci: mai multă responsabilitate corporativă, reguli clare, colaborare internațională. vezi să nu.
daaar, iarăși securitate varză, cine răspunde?