Senzorii de imagine Sony Intelligent Vision utilizaţi într-un proiect pilot de tip Smart City la Roma. Cum funcţionează

Sony Europe a anunţat că senzorii de imagine IMX500 cu funcţionalitate de procesare AI se află în centrul a trei proiecte de tip Smart City derulate de Envision în oraşul Roma.

Sony Europe este implicată în dezvoltarea şi implementarea proiectelor Smart City, cu scopul de a ajuta oraşele să-şi rezolve diferite probleme printr-un model de afaceri de tip „Sensing as a Service” (SeaaS).

Am participat ieri, 26 mai, la o prezentare online susţinută de Antonio Avitabile, Managing Director of Corporate Alliance and Investment la Sony. Acesta a prezentat o soluţie de tip smart city, bazată pe senzorii de imagine IMX500, care are mai multe scopuri:

- decongestionarea traficului printr-un sistem de parcare inteligent

- controlul inteligent al autobuzelor

- protejarea pietonilor

În ce constă sistemul Sony?

Unităţi smart Genius au fost instalate pe trei semafoare din centrul oraşului Roma. Într-o fază preliminară s-a antrenat o reţea neuronală pentru identificarea locurilor de parcare disponibile, precum şi a numărului de persoane care aşteaptă în staţiile de autobuz, urcă sau coboară din vehicul sau care intenţionează să traverseze ori traversează, efectiv, strada.

Fiecare unitate smart Genius este formată din senzori care monitorizează străzile din apropiere, precum şi locurile de parcare. Sunt două camere cu distanţe focale diferite. Senzorii trimit date în timp real gestionate de reţelele neuronale, cu privire la locaţia exactă a unui spaţiu de parcare liber, prezenţa pietonilor şi numărul de persoane care aşteaptă în staţiile de autobuz. 

Unităţile smart Genius sunt conectate la un modem celular şi transmit informaţiile în cloud. Camerele nu filmează, nu sunt transmise imagini video, ci doar metadate rezultate în urma culegerii de informaţii.

IMX500 de la Sony este primul senzor de imagine cu funcţionalitate de procesare AI încorporată, modalitatea de procesare elimină problemele legate de confidenţialitate, iar implementarea acestuia se poate face utilizând infrastructura existentă. 

Cipul fotosensibil are iluminare din spate şi o capacitate efectivă de aproximativ 12.3 megapixeli pentru captarea informaţiei corespunzătoare unghi larg de vizualizare. În plus faţă de circuitul convenţional de funcţionare a unui senzor de imagine, cipul logic este echipat cu tehnologia originală Sony DSP (Digital Signal Processor), dedicată procesării semnalului AI şi memoriei modelelor AI. Această configuraţie elimină necesitatea procesoarelor de înaltă performanţă sau a memoriei externe, lucru care îl transformă în senzorul potrivit pentru sistemele edge AI.

Semnalele captate prin intermediul cipului fotosensibil sunt filtrate de Procesorul de semnal de imagine-ISP (Image Signal Processor) iar procesarea cu ajutorul inteligenţei artificiale este făcută în cadrul procesului care are loc în unitatea cipului logic, furnizând informaţii sub formă de metadate, reducând astfel cantitatea de date gestionate. Asigurarea faptului că nu sunt procesate informaţii proprii imaginii ajută la reducerea riscurilor legate de securitate şi rezolvă problemele legate de intimitatea utilizatorului. În plus faţă de imaginea înregistrată de senzorul de imagine convenţional, utilizatorii pot selecta formatul de procesare a datelor care se potriveşte nevoilor lor de folosire, inclusiv format ISPP (YUV/RBG) sau ROI (Region of Interest), zone specifice ale imaginii.

Cum rezolvă asta problemele oraşelor aglomerate?

Soluţia Sony detectează locurile de parcare, transmite informaţia şoferilor care vor să parcheze şi îi ghidează către ele.

Locul exact definit de datele corespunzătoare spaţiului de parcare liber este transmis în timp real prin intermediul unităţii smart. Apoi, datele sunt procesate imediat de către senzorul integrat, utilizând reţele neuronale, şi transmise către platforma de software în cloud a companiei partenere, Envision. Coordonatele poziţiei spaţiului de parcare liber sunt suprapuse în timp real pe o hartă care este afişată pe un dispozitiv mobil utilizat de către conducătorul auto care se îndreaptă spre acea zonă.

În cazul transportului în comun detectează numărul de persoane din staţii, câte persoane sunt în autobuze. Dacă autobuzul e plin poate transmite şoferului să nu mai oprească în staţii.

Datele privind lungimea cozii şi numărul persoanelor care urcă sau coboară din autobuz sunt procesate de senzorul integrat în unitatea smart, prin intermediul reţelei neuronale, şi trimise către platforma software Envision care le agregă şi le pune la dispoziţia personalului ce gestionează reţeaua publică de autobuze pentru planificarea şi optimizarea reţelei de transport cu autobuzul. Este, astfel, determinată o cifră maximă la care spaţiul este considerat aglomerat, pentru a semnala atunci când autobuzul funcţionează la capacitate maximă, pentru a evita supraaglomerarea autobuzelor, pentru a gestiona mai bine reţeaua de transport şi pentru a îmbunătăţi experienţele de călătorie ale cetăţenilor. ”

Sistemul detectează pietonii care traversează, sunt activate semnale luminoase puternice, ca să le vadă mai bine conducătorii auto şi să încentinească.

Distanţa medie dintre pietoni şi vehicule este un factor important în măsurarea gradului de siguranţă a pietonilor. Proiectul pilot îşi propune să furnizeze o analiză cantitativă a acestui aspect şi să prevină accidentele pietonale prin mecanisme de semnalizare ce vor fi instalate pe trecerile de pietoni.

Prezenţa pietonilor este măsurată şi comparată în diferite locuri. Sistemul de reţea neuronală detectează oamenii aflaţi pe trecerea de pietoni, iar conducătorii auto vor fi notificaţi printr-un semnal luminos.

Specificaţii senzori

Proiectul pilot se desfăşoară în Roma şi este realizat în colaborare cu mai multe companii noi din ecosistemul italian, cu autorităţile locale, şi cu sprijinul Sony Europe.

Data de livrare pentru IMX500 1/2.3 (diagonală de 7.857 mm) aproximativ 12.3 megapixeli efectiv cu funcţia Intelligent Vision(cipul brut) este aprilie 2021, iar preţul pentru o unitate este 415 lei fără taxe.

Data de livrare pentru IMX501 1/2.3 (diagonală de 7.857 mm) aproximativ 12.3 megapixeli efectiv cu funcţia Intelligent Vision(cipul împachetat) este iunie 2021 (planificat), iar preţul pentru o unitate este 30 lei fără taxe.