Utilizarea inteligenței artificiale în automatizarea relației cu clienții poate crea vulnerabilități majore pentru companii, conform unui avertisment lansat de hackerul etic belgian Inti De Ceukelaire. Acesta explică faptul că sistemele de tip chatbot pot fi manipulate pentru a divulga informații confidențiale sau pentru a oferi reduceri nepermise. Riscul este accentuat atunci când firmele permit sistemelor AI să ia decizii autonome sau să acceseze baze de date fără o supraveghere umană suficientă.
Una dintre principalele tehnici de atac identificate este prompt injection, o metodă prin care un utilizator introduce instrucțiuni care forțează sistemul să ignore regulile stabilite de comerciant. Prin această manipulare, un chatbot poate fi indus să promită discounturi pe care compania nu intenționa să le aplice. În cazul magazinelor online, astfel de erori pot genera dispute comerciale, reclamații și costuri suplimentare cauzate de respectarea unor oferte neautorizate de către asistenții virtuali.
Inti De Ceukelaire subliniază că, în trecut, angajații reprezentau veriga slabă în securitatea informatică, însă acum inteligența artificială ocupă acest rol de țintă. Chatboturile și asistenții AI primesc adesea permisiuni de acces la documente, conturi și sisteame interne pentru a eficientiza procesele. În cadrul unor teste realizate de expert, acesta a reușit să manipuleze sisteme AI pentru a obține acces la fișiere interne și informații private, demonstrând cât de periculoasă poate fi o implementare necontrolată.
Problemele nu sunt limitate doar la securitatea datelor, ci afectează și operațiunile comerciale directe prin erori de execuție. Expertul oferă exemplul unui agent AI care poate comanda o sută de produse, dar selectează eronat culoarea acestora, generând retururi și pierderi financiare. Apare astfel o dilemă juridică și comercială privind responsabilitatea pentru greșelile automate. Inti De Ceukelaire întreabă direct cine va plăti pentru aceste erori atunci când clientul și magazinul au așteptări diferite.
Deși nu contestă beneficiile tehnologiei, hackerul etic critică viteza cu care organizațiile adoptă aplicații AI din teama de a nu rămâne în urmă în competiție. El recomandă o abordare prudentă, comparând situația cu necesitatea de a cunoaște comportamentul unui câine înainte de a-l lăsa lângă copii. Este esențial ca companiile să mențină principiul human-in-the-loop, asigurându-se că o persoană poate verifica rezultatele și interveni imediat ce apar erori în procesele automatizate.
Implementarea tehnologiilor de tip AI în mediul de business reprezintă o schimbare de paradigmă în securitatea cibernetică și în modul de interacțiune cu consumatorul. Pe măsură ce agenții AI devin capabili să compare prețuri și să efectueze achiziții în numele clienților, strategiile de marketing și supravegherea datelor trebuie regândite complet. Companiile trebuie să înțeleagă limitele acestor modele lingvistice pentru a evita conflictele comerciale și pierderile de date.