Apple´i uued "silmadega" kõrvaklapid pididki just seda tegema: jalutad võõras riigis, suundud eksootilisse poodi ja su silm jääb pidama põneval, kuid hieroglüüfidega kaetud pakendil. Selle asemel, et taskust nutitelefon haarata, küsid lihtsalt vaikse häälega: „Hei Vue, tõlgi see mulle.“ Juba sekund hiljem sosistab tuttav hääl otse su kõrva: „Tegemist on vürtsikate külmade nuudlitega.“

Just sellise tulevikustsenaariumi on veel enne Apple´i lubatud nutikõrvaklappide väljatulekut reaalsuseks muutnud Washingtoni Ülikooli (UW) teadlased. Nad lõid maailma esimese süsteemi nimega VueBuds, mis istutab tillukesed kaamerad tavalistesse, poeriiulilt kättesaadavatesse juhtmevabadesse kõrvaklappidesse.

Tulemuseks on privaatne ja märkamatu tehisintellekti assistent, mis näeb seda, mida sinagi.

Miks just kõrvaklapid, mitte nutiprillid?

Kuigi tehnoloogiahiidude pilgud on juba aastaid suunatud nutiprillidele ja virtuaalreaalsuse peakomplektidele, pole tarbijad neid massiliselt omaks võtnud. 

Paul G. Alleni arvutiteaduste ja inseneriteaduskonna professor Shyam Gollakota selgitab probleemi tagamaid järgmiselt:

„Me ei ole näinud, et enamik inimesi nutiprille või VR-peakomplekte omaks võtaks, osalt seepärast, et paljudele ei meeldi prille kanda. Lisaks kaasnevad nendega sageli privaatsusprobleemid, näiteks kõrglahutusega video salvestamine ja selle töötlemine pilves. Kuna aga peaaegu kõik kannavad juba niigi kõrvaklappe, tahtsime näha, kas suudame tuua visuaalse intelligentsuse tillukestesse, madala energiatarbega kõrvaklappidesse ja lahendada selle käigus ka privaatsusmured.“

Klappide kasuks räägib seega harjumuspärasus ja mugavus. Kuid insenertehniliselt seisis meeskond silmitsi tohutute takistustega.

Tehniline pähkel: andmete „õmblemine“ ja säästurežiim

Kaamerad on teatavasti energianäljased seadmed – palju janusemad, kui kõrvaklappides asuvad mikrofonid. Kui kasutada klappides samasuguseid kõrglahutusega kaameraid nagu nutiprillides, tühjeneks pisike aku minutitega. Samuti on võimatu pidevat videovoogu üle tavalise Bluetooth-ühenduse telefoni saata – see oleks nagu üritada tuletõrjevooliku täit vett läbi peenikese joogikõre suruda.

Teadlased lahendasid selle nutikalt: nad paigaldasid klappidesse umbes riisitera suuruse kaamera, mis ei filmigi videot, vaid teeb vajadusel madala resolutsiooniga mustvalgeid fotosid ehk digitaalseid „kiirpilte“. See hoiab energiakulu minimaalsena ja andmed mahuvad ilusti Bluetooth-kanalisse.

Teine murekoht oli vaatenurk – kas kasutaja oma nägu ja põsed ei hakka kaamerale ette jääma?

„Üks suur küsimus, mis meil tekkis, oli järgmine: kas kasutaja nägu varjab vaadet liiga palju? Kas kõrvaklapikaamerad suudavad usaldusväärselt jäädvustada seda, mida inimene näeb?“ rääkis uuringu juhtivautor Maruchi Kim, kes tegi selle töö ära UW doktorandina.

Vastus on jah. Teadlased suunasid kaamerad 5–10 kraadi võrra väljapoole, mis tagas laia, 98–108-kraadise vaatevälja. Tekib küll väike pimeala, kui hoida objekti näole lähemal kui 20 sentimeetrit, kuid reaalses elus ei pane keegi asju uurides neid endale otse nina alla.

Algselt oli süsteemil veel üks häda: kahe klapi piltide eraldi töötlemine võttis tehisintellektil aega kaks sekundit, mis tundus vestluses liiga pika pausina. Lahenduseks loodi süsteem, mis „õmbleb“ kaks pilti kokku üheks panoraamiks, tuvastades kattuvad osad. See kärpis AI mõtlemisaja vaid ühele sekundile, mis mõjub kasutajale juba reaalajas vestlusena.

Privaatsus ennekõike ja üllatavad testitulemused

Erinevalt paljudest tänapäeva nutiseadmetest ei saada VueBuds sinu pilte laia maailma ega kuskile kaugele serverisse. Kogu andmetöötlus toimub kohapeal kasutaja nutitelefonis. Lisaks süttib pildi tegemisel klapil väike märgutuli ning kasutajal on võimalus tehtud kaadrid kohe telefonist kustutada.

Süsteemi testiti põhjalikult 74 osalejaga, kes võrdlesid VueBudsi tulemusi turul olevate Ray-Ban Meta nutiprillidega. Kuigi prillid teevad värvilisi kõrglahutusega pilte ja kasutavad pilvevõimekust, jäid katsetulemused viiki. VueBuds oli osalejate hinnangul isegi parem tekstide tõlkimises, samas kui prillid tegid paremat tööd objektide loendamisel.

Eraldi katses, kus 16 inimest testisid VueBudsi igapäevaseid funktsioone, saavutas süsteem tekstide tõlkimisel ja objektide tuvastamisel 83–84% täpsuse. Raamatute autorite ja pealkirjade tuvastamisel oli täpsus suisa 93%.

Mis saab edasi?

Kuna tegemist on esimese faasi prototüübiga, on seadmel veel omad piirangud. Kuna kaamera on mustvalge, ei oska tehisintellekt vastata küsimustele stiilis „mis värvi see särk on?“. Tulevikus soovitaksegi süsteemile lisada värvitugi (mis nõuab uut energia säästmise valemit) ja treenida spetsiaalsed AI-mudelid konkreetsete olukordade jaoks.

„See uuring annab meile vilksamisi aimu sellest, mis on võimalik, kasutades vaid üldotstarbelist keelemudelit ja meie kaameratega juhtmevabu kõrvaklappe,“ sõnas Kim, „kuid me tahame süsteemi põhjalikumalt uurida selliste rakenduste jaoks nagu raamatu lugemine – näiteks vaegnägijatele või pimedatele – või teksti tõlkimine reisijatele.“

Barcelona arvutiteaduste konverentsil (CHI ‘26) esitletud VueBuds tõestab, et tulevikutehnoloogia ei pruugi peituda uutes ja moodsates vidinates, vaid hoopis nendes seadmetes, mis meil juba praegu iga päev taskus ja kõrvas on.

PLUSSID

• Eeskujulik privaatsus: andmeid töödeldakse kohapeal nutiseadmes, mitte pilves.
• Mugavus ja diskreetsus: puudub vajadus kanda ebamugavaid või silmatorkavaid nutiprille.
• Kiirus: tänu piltide kokkuõmblemisele reageerib AI vaid ~1 sekundiga.
• Kõrge täpsus: tuvastab raamatute autoreid ja pealkirju kuni 93%-lise täpsusega.

MIINUSED

• Värvipimedus: kaamera on hetkel mustvalge, mis piirab visuaalset konteksti.
• Pimeala: objektid, mis asuvad lähemal kui 20 cm, võivad jääda vaateväljast välja.
• Tegemist on prototüübiga: toode pole veel poeriiulitelt ostetav ning keegi ei tea, millal (ja kas üldse) see tooteks saab.