MIT și Motional au făcut o mașină autonomă să spună în cuvinte de ce frânează. Șoferul a aflat că nu vedea biciclistul, ci se oprea doar din reflexul de urgență

📄 Articolul original, tradus integral

„System helps humans predict when self-driving cars will make mistakes” — MIT News · Adam Zewe, MIT News · 2 septembrie 2026. Subtitlul original: „O metodă nouă, numită CW-Net, traduce procesul de raționament al sistemului de inteligență artificială al unui vehicul autonom în concepte inteligibile, care îi explică comportamentul.” Originalul, în engleză →

Mașinile autonome sunt de multe ori controlate de modele de învățare profundă care, uneori, dau greș în situații neașteptate. De pildă, mașina poate frâna inexplicabil și bloca drumul unui vehicul de urgență care vine din sens opus. Un șofer sau un pasager ar putea fi nevoit să reacționeze rapid ca să prevină o coliziune.

Ca să-i ajute pe oameni să anticipeze mai bine greșelile unui vehicul, cercetători de la MIT și de la Motional, companie de tehnologie pentru vehicule autonome, au dezvoltat o metodă nouă care oferă explicații clare pentru deciziile modelului de bază.

De obicei, procesul intern de raționament al unui model de învățare profundă e opac și greu de înțeles. Noua metodă însă, numită Concept-Wrapper Network (CW-Net), traduce acel raționament în concepte care descriu fidel deciziile vehiculului autonom, fără să-i altereze performanța la condus.

CW-Net explică deciziile planificatoarelor bazate pe învățare automată folosind concepte inteligibile, precum „mă apropii de un vehicul oprit” sau „biciclist aproape”. Explicațiile pot corecta ideile greșite pe care șoferii și pasagerii le au despre comportamentul vehiculului și le pot îmbunătăți conștientizarea situației.

În teste pe drum, pe o pistă privată, explicațiile CW-Net i-au ajutat pe șoferii de siguranță să prezică mai exact comportamentul vehiculului; un studiu de simulare mai amplu, cu utilizatori neexperți, a dat rezultate similare. Experimentele arată cum CW-Net poate oferi un feedback important inginerilor care depanează sistemele de inteligență artificială din vehicul. Pe termen mai lung, tehnica ar putea spori siguranța și transparența vehiculelor autonome, construind totodată o încredere pe măsură în rândul șoferilor și al pasagerilor.

„Această lucrare arată cum explicațiile susțin modelul mental al omului și înțelegerea comportamentului unui sistem, și cum ar putea fi folosite în inginerie și dezvoltare pentru a îmbunătăți tehnologia”, spune Julie Shah, profesoară de aeronautică și astronautică la MIT, directoarea Interactive Robotics Group din Laboratorul de Informatică și Inteligență Artificială (CSAIL) și coautoare seniorală a lucrării despre CW-Net. „Dacă nu construim aceste tehnologii într-un fel în care să ne putem baza pe ele și să le prezicem comportamentul, atunci e o fundație șubredă și nesigură pentru folosirea lor.”

Alături de ea, la lucrare semnează autorul principal Eoin Kenny, fost cercetător postdoctoral la MIT, acum cercetător senior în inteligență artificială la J.P. Morgan Chase; coautorul seniorial Momchil Tomov, cercetător științific la Motional; precum și membrii echipei Motional Akshay Dharmavaram, Sang Uk Lee, Tung Phan-Minh, Shreyas Rajesh, Yunqing Hu și Laura Major, președinta și directoarea generală a Motional. Cercetarea apare astăzi în Nature.

Planificatoarele bazate pe învățare automată sunt „creierul” unei mașini autonome. Aceste arhitecturi puternice de învățare profundă procesează datele de la camerele și senzorii lidar ai vehiculului, generează un rezumat de nivel înalt al mediului din jurul lui, decid ce ar trebui să facă mașina în continuare și produc o traiectorie pe care ea s-o urmeze.

Planificatoarele sunt de obicei modele de tip „cutie neagră”, adică procesul lor intern de decizie e atât de complex încât e greu de înțeles. Asta îi poate lăsa pe oamenii de știință și pe șoferii de siguranță în întuneric cu privire la motivul pentru care un vehicul autonom a luat o decizie neașteptată, cum e frânarea-fantomă.

Cercetătorii au proiectat CW-Net ca să explice deciziile vehiculului prin concepte inteligibile, asigurându-se totodată că explicațiile reflectă exact motivele reale ale comportamentului lui.

„Mai ales în situații cu miză mare, cum sunt mașinile autonome, e important ca explicațiile să nu fie potențial înșelătoare. Fiindcă CW-Net e fidel cauzal în felul în care ia deciziile, asta oferă anumite garanții în privința explicațiilor”, spune Kenny.

CW-Net e un „clasificator de concepte”, un algoritm de inteligență artificială antrenat să prezică conceptele de nivel înalt prezente în datele de intrare. Cercetătorii conectează modulul CW-Net în mijlocul arhitecturii existente a planificatorului bazat pe învățare automată al unui vehicul autonom.

El traduce procesul intern de raționament al modelului în concepte inteligibile, precum „mă apropii de un vehicul oprit” sau „biciclist aproape”. Apoi obligă ultima componentă a arhitecturii planificatorului să folosească acele concepte când decide ce ar trebui să facă vehiculul în continuare. În felul acesta, CW-Net se asigură că respectivele concepte explică fidel acțiunile vehiculului.

În același timp, CW-Net folosește conceptele pe care le-a clasificat pentru a genera explicații clare, produse împreună cu traiectoria vehiculului, în timp real.

„În loc să te întrebi doar de ce s-a oprit mașina, datele în timp real îți dau un feedback care îți permite să testezi sistemul în timpul funcționării. Ai putea da acele date și unui inginer, ca să îmbunătățească eventual sistemul”, spune Kenny.

Cercetătorii au antrenat CW-Net să prezică concepte folosind un set de date de 130 de milioane de exemple de scene provenite de la mașini autonome, cu mai multe concepte etichetate în fiecare scenă. Un set de date etichetat atât de mare îi permite să identifice conceptele cu precizie într-o gamă largă de situații.

De asemenea, au proiectat CW-Net să imite deciziile de condus ale planificatoarelor bazate pe învățare automată, astfel încât modulul să nu afecteze negativ performanța vehiculului.

În final, CW-Net generează explicații exacte și inteligibile fără să altereze modelul original de învățare profundă.

Ca să testeze CW-Net, cercetătorii au instalat modulul pe un vehicul real de testare pentru condus autonom (un robotaxi Motional), pe o pistă privată, cu un șofer de siguranță. Au constatat că CW-Net l-a ajutat pe șoferul de siguranță să prezică mai bine cum se va comporta vehiculul în situații surprinzătoare.

De exemplu, vehiculul se oprea constant când se apropia de un biciclist, iar șoferul de siguranță presupunea că o face fiindcă detectase biciclistul. Dar explicațiile CW-Net au dezvăluit că modelul nu era configurat corespunzător ca să detecteze biciclistul și alesese o traiectorie care ar fi provocat o coliziune. Se oprea, în schimb, fiindcă procedura lui de frânare de urgență intra în funcțiune când ajungea prea aproape.

Înarmat cu această informație despre greșeala modelului, șoferul de siguranță putea să reducă viteza sau să treacă mai devreme pe condus manual în situații similare. Asta i-ar putea ajuta și pe ingineri să repare modelul, ca să evite acest eșec pe viitor.

În studii de simulare online mai ample, care au folosit situații reale de condus filmate pe străzile din Las Vegas, cercetătorii au văzut rezultate similare. Explicațiile CW-Net au îmbunătățit semnificativ capacitatea participanților de a prezice cum se va comporta un vehicul autonom.

Pe viitor, cercetătorii ar putea extinde CW-Net astfel încât modulul să acopere mai multe concepte și ar putea explora tehnici diferite de antrenare și de proiectare, care să crească performanța și să îmbunătățească interpretabilitatea.

„Studiul nostru arată cât de crucială poate fi interpretabilitatea în aceste medii cu miză mare și cum ar trebui să fie în mintea oamenilor pe măsură ce construiesc inteligență artificială în viitor, pentru mașini autonome sau pentru alte medii critice pentru siguranță”, spune Kenny.

Reprinted with permission of MIT News (http://news.mit.edu/). Traducerea în limba română aparține redacției Fără Baliverne.