O echipă de cercetători a realizat un experiment pentru a vedea cum se descurcă agenții de inteligență artificială, precum ChatGPT sau Grok, în condiții de conducere reală. Testul a vizat evaluarea capacității modelelor lingvistice mari de a controla un vehicul pe un traseu scurt și delimitat în cadrul unei parcări. Rezultatele obținute prin acest test au demonstrat că tehnologia actuală de tip agent AI este încă departe de a putea gestiona sigură manevrele de condus.
Cercetătorii Aditya Ramabadran, Simon Mahns și Tobias Gessler au creat DrivingBench, un protocol de testare aplicat modelelor Claude, ChatGPT și Grok. Pentru experiment, echipa a utilizat hardware-ul de viziune Comma și sistemul OpenPilot, oferind controlul complet asupra direcției, frânelor și accelerației unui Toyota Corolla. Fiecare agent AI a primit aceleași instrucțiuni și a avut la dispoziție trei încercări pentru a parcurge traseul marcat cu conuri mici.
Performanțele înregistrate au fost extrem de slabe, deoarece 8 din cele 11 încercări efectuate au culminat cu eșecul modelelor. Majoritatea agenților AI nu au reușit să parcurgă nici măcar 11% din traseu, mașinile ieșind în decor chiar de la prima curbă întâlnită. Vehiculele s-au oprit frecvent pe parcursul sesiunii, deoarece comenzile erau transmise către centrele de date prin intermediul unui hotspot wireless, totul desfășurându-se într-o singură sesiune de chat.
Erorile specifice au evidențiat dificultățile de interpretare ale inteligenței artificiale, cum ar fi cazul lui Grok, care a confundat un spațiu dintre conuri cu o poartă de trecere. Un agent ChatGPT a inventat reguli contrare instrucțiunilor primite, susținând eronat că toate conurile de pe o parte a traseului aveau aceeași culoare. În alte cazuri, modelele nu au reușit să estimeze unghiul de virare necesar, efectuând manevre insuficient de ample pentru curbe.
Singura excepție din cadrul testului a fost modelul GPT-6 Astra, care a reușit să parcurgă întregul traseu la a doua încercare. Deși parcursul a fost unul neregulat, cu viraje foarte strânse și riscuri de ieșire din traseu chiar înainte de sosire, acesta a fost singurul agent care a finalizat parcursul complet. Acest rezultat contrastant subliniază diferențele de performanță dintre diversele arhitecturi de modele lingvistice aplicate în sarcini de control fizic.
Deși inteligența artificială generativă a făcut progrese masive în procesarea limbajului natural, integrarea acesteia în sisteme de conducere autonomă rămâne o provocare tehnică majoră. Diferența dintre un model care poate genera text coerent și unul care poate naviga un vehicul într-un mediu fizic imprevizibil este încă foarte pronunțată. Testul DrivingBench evidențiază necesitatea unor sisteme specializate pentru controlul vehiculelor, dincolo de capacitățile modelelor lingvistice generale.