Experţii au găsit o metodă de a afla ce tastezi în timpul apelurilor video live

FOTO Shutterstock.

O nouă metodă îşi propune să afle ce tasteză un utilizator aflat într-un apel video prin corelarea mişcările observabile ale corpului cu expresiile feţei, sunetul tastelor şi predicţia cuvintelor.

Cercetarea a fost întreprinsă de Mohd Sabra şi Murtuza Jadliwala de la Universitatea Texas din San Antonio şi Anindya Maiti de la Universitatea din Oklahoma şi susţine că atacul poate fi extins dincolo de fluxurile video live, la cele postate pe YouTube şi Twitch atâta timp cât câmpul vizual al camerei web captează mişcările vizibile ale părţii superioare a corpului ale utilizatorului ţintă.

Pentru a realiza acest lucru, videoclipul înregistrat trece prin trei etape:

- Pre-procesare, fundalul este eliminat, videoclipul este convertit în tonuri de gri, urmat de segmentarea regiunilor braţului stâng şi drept în raport cu expresiile feţei individului recunoscute prin FaceBoxes.

- Detectarea atingerii tastelor, refăcută după cadrele de braţe segmentate pentru a calcula măsurarea indicelui de similaritate structurală (SSIM) cu scopul de a cuantifica mişcările corpului între cadrele consecutive în fiecare dintre segmentele video din partea stângă şi din dreapta şi de a identifica cadrele potenţiale în care au avut loc apăsările de taste.

- Predicţia cuvântului, segmentele cadrului de apăsare a tastei sunt utilizate pentru a detecta caracteristicile de mişcare înainte şi după fiecare apăsare de tastă detectată, folosindu-le pentru a deduce cuvinte specifice utilizând un algoritm de predicţie bazat pe un dicţionar.

Cu alte cuvinte, din grupul de apăsări de taste detectate, cuvintele sunt deduse folosind numărul de apăsări de taste detectate pentru un cuvânt, precum şi magnitudinea şi direcţia deplasării braţului care apare între apăsările consecutive ale cuvântului. Această deplasare este măsurată folosind o tehnică de viziune computerizată numită Flux optic rar, care este utilizată pentru a urmări mişcările umărului şi braţului de-a lungul cadrelor cronologice de tastare.

În plus, un şablon pentru „direcţii inter-tastare pe tastatura standard QWERTY” este folosit pentru a indica „direcţiile ideale pe care ar trebui să le urmeze o mână” folosind un mix de mişcări stânga-dreapta. Prin urmare, algoritmul de predicţie a cuvintelor caută cuvintele cele mai probabile care se potrivesc cu ordinea şi numărul de apăsări de taste stânga şi dreapta şi direcţia deplasărilor braţelor cu direcţiile şablon inter-apăsare. Cercetătorii au declarat că au testat metoda cu 20 de participanţi (9 femei şi 11 bărbaţi) într-un scenariu controlat, folosind un amestec de metode de tastare.

Testul a fost repetat pe încă 10 participanţi (3 femei şi 7 bărbaţi), de data aceasta într-un mediu experimental casnic. Metoda a recunoscut cu acurateţe de 91,1% numele utilizatorilor (usernames), 95.6% adresele de e-mail, 66,7 % adresele de site-uri web şi doar 18.9% din parole.

Cercetătorii au mai spus că imaginile video pot fi combinate cu datele audio din apel pentru a îmbunătăţi şi mai bine detectarea tastelor apăsate.