Sari la conținut
Observator Digital Observator Digital

Tech

OpenAI implementează bariere de siguranță integrate în arhitectura modelelor de inteligență artificială

Compania introduce noi protocoale de protecție pentru a bloca solicitările malițioase și atacurile de tip jailbreak.

· 3 min citire · Redacția Observator Digital

OpenAI implementează bariere de siguranță integrate în arhitectura modelelor de inteligență artificială
Pexels License · original · licență

OpenAI a început implementarea unor noi bariere de protecție, cunoscute sub numele de guardrails, pentru modelele sale de inteligență artificială generativă. Această schimbare reprezintă o tranziție de la filtrarea simplă a rezultatelor către o limitare integrată direct în arhitectura neuronală a sistemelor. Decizia a fost influențată de noile cadre legislative internaționale și de necesitatea de a demonstra un angajament ferm față de securitatea datelor și siguranța publică.

Noile protocoale sunt concepute pentru a identifica și bloca cererile care încalcă politicile de utilizare cu o precizie sporită. Compania a utilizat seturi de date specifice pentru a antrena modelele să recunoască intențiile malițioase, indiferent de cât de complexe sau subtile sunt prompturile introduse de utilizatori. Prin această metodă, OpenAI urmărește să reducă rata de succes a atacurilor de tip „jailbreak”, prin care utilizatorii încercau să ocolească restricțiile prin scenarii ipotetice.

Sistemul de securitate se bazează pe o arhitectură cu mai multe niveluri de control. Primul nivel funcționează ca un filtru de input, analizând cererea înainte ca aceasta să ajungă la modelul de limbaj principal, respingând automat riscurile detectate. Al doilea nivel monitorizează procesul de generare a răspunsului în timp real, verificând dacă textul produs conține informații clasificate sau instrucțiuni dăunătoare, pentru a preveni orice eroare de procesare.

Pentru a asigura eficiența acestor măsuri, OpenAI a realizat teste de tip „red-teaming” împreună cu experți independenți. Aceștia au simulat atacuri în domenii precum bioterorismul, ingineria socială și securitatea cibernetică. Un cercetător în domeniul alinierii AI a subliniat că nu este vorba despre o ajustare marginală, ci despre o reformare a modului în care modelul procesează refuzul de a executa comenzi catastrofale, atingând o eficiență de aproape 100% la blocarea malware-ului.

Această evoluție tehnologică intervine într-un context în care reglementările internaționale privind inteligența artificială devin tot mai stricte. Pe măsură ce modelele lingvistice de mari dimensiuni sunt integrate în procese critice, nevoia de a preveni utilizarea lor în scopuri malițioase, precum crearea de substanțe chimice periculoase, devine o prioritate pentru dezvoltatori. Siguranța datelor și controlul accesului la informații clasificate rămân puncte centrale în dezvoltarea noilor arhitecturi de calcul.

În acest peisaj tehnologic rapid, companiile de tehnologie trebuie să echilibreze inovația cu responsabilitatea socială. Implementarea unor bariere de protecție integrate nu este doar o necesitate tehnică, ci și una legislativă, pe măsură ce societatea și autoritățile internaționale cer standarde de siguranță mai înalte pentru algoritmii care pot influența securitatea publică și integritatea informațiilor globale.

Surse

Sursa: Cotidianul

Tot în Tech