O echipă internațională din care au făcut parte și specialiștii Universității Tehnice din Cluj-Napoca (UTCN) au realizat sistemul de percepție al unui autovehicul autonom în parteneriat cu Volkswagen, IMB, Universitatea Tehnică din Praga și ETH Zurich. 

Conducerea autonomă, în special în zone urbane, reprezintă o provocare complet diferită. Provocările sunt mult mai numeroase și dificil de soluționat. În cadrul proiectului ”Automated Urban Parking and Driving - UP-Drive”, de tip Orizont 2020, finanțat de Comisia Europeană, membrii consorțiului format din Volkswagen AG, Universitatea Tehnică din Cluj-Napoca (UTCN) Universitatea Tehnică din Praga, ETH Zurich și IBM

Research Zurich, au colaborat pentru a oferi o soluție conducerii autonome în mediul urban. Acest consorțiu format din companii și universități și-a propus să accelereze dezvoltarea conducerii autonome – investigând, propunând și utilizând soluții bazate pe noile evoluții din domeniul inteligenței artificiale (AI).

Arhitectura soluției propuse include: un vehicul electric dotat cu senzorii și actuatorii necesari pentru controlul digital dezvoltat de Volkswagen; infrastructura de comunicație necesară includerii vehiculului într-un sistem de tip ”cloud” pentru întreținerea și utilizarea continuă a hărții detaliate a mediului dezvoltat de IBM Zurich; modulul de percepție senzorială având rolul furnizării unei descrieri 3D a mediului dezvoltat de UTCN; modulul de localizare și mapare continuă dezvoltat de ETH Zurich; modulul de înțelegere a scenei dezvoltat de UT Praga și modulul de planificare și navigare dezvoltat de Volkswagen.

Responsabilitatea specifică a UTCN în cadrul proiectului a fost percepția senzorială pentru crearea unei reprezentări 3D a mediului. Această reprezentare este folosită atât de modulele de localizare și înțelegere a scenei cât și direct de modulul de planificare și navigare.

Echipa de cercetare din cadrul UTCN a dezvoltat o soluție originală de percepție cu următoarele caracteristici importante: calibrare de mare acuratețe, acoperire senzorială de 360 grade, acoperire senzorială redundantă cu senzori de tip camere color, RADAR-e și LiDAR-e, redundanță algoritmică, utilizarea metodelor de învățare profundă pentru obținerea unor algoritmi mai robuști.

O contribuție importantă adusă de UTCN a fost definirea și implementarea unei reprezentări intermediare a mediului prin fuziunea datelor geometrice furnizate de senzorii 3D cu informația semantică extrasă din imagini obținându-se astfel un nor de puncte 3D semantic. Această reprezentare permite implementarea unor soluții de detecție, clasificare și urmărire a obiectelor în spațiul 3D superioare calitativ soluțiilor

bazate pe senzorii individuali sau soluțiilor bazate pe fuziunea detecțiilor senzorilor individuali.

O altă contribuție importantă se referă la studiul, dezvoltarea și utilizarea metodelor de învățare profundă, cunoscute si sub numele de ”Deep Learning”, pentru implementarea algoritmilor de segmentare semantică, detecție și clasificare a obiectelor în spațiul 2D furnizând astfel informație semantică de calitate pentru asocierea cu informația geometrică furnizată de senzorii 3D.

Proiectarea, implementarea, testarea, validarea și integrarea sistemului de percepție pe vehicul cu satisfacerea cerințelor de acuratețe și timp real a permis atingerea obiectivelor proiectului prin materializarea și experimentarea vehiculului autonom.

În 27 noiembrie 2019 la Wolfsburg, Germania a avut loc prezentarea publica a vehiculului. O sinteză a evenimentului este disponibilă pe youtube .

Grupul Volkswagen în articolul publicat pe site-ul propriu cataloghează realizarea ca intrarea consorțiului în „The Champions League of Autonomous Driving”. Activitatea de cercetare a UTCN a fost desfășurată în cadrul Centrului de Cercetare pentru Procesare de Imagine si Recunoașterea Formelor, din cadrul Departamentului de Calculatoare al Facultății de Automatică și Calculatoare, sub îndrumarea Prof. Dr. Ing. Sergiu Nedevschi.

Echipa de cercetători a fost formată din: Conf. Dr. Ing. Florin Oniga, Conf. Dr. Ing. Tiberiu Marița, Conf. Dr. Mat. Ioan Radu Peter, S.L. Dr. Ing. Ion Giosan, S.L. Dr. Ing. Robert Varga, Dr. Ing. Arthur Costea, Drd ing. Andra Petrovai, Drd ing. Horațiu Florea, Drd. Ing. Vlad Miclea, Drd. Ing. Mircea Mureșan, masterand ing. Zelia Blaga si masterand ing. Selma Goga.