Korisnici će moći da vode glasovni razgovor sa ChatGPT-om na uređajima koji koriste Android i iOS operativni sistem, ali i da koriste fotografije kao način upita. OpenAI, kompanija koja stoji iza ovog chat bota, već je pokrenula nadogradnje koje će u početku biti dostupne Plus i Enterprise korisnicima, a zatim i ostalima.
Da biste isprobali opciju glasovnih razgovora u aplikaciji ChatGPT, potrebno je da izaberete Podešavanja – Nove funkcije, a dodirom na dugme mikrofona biće moguće izabrati jedan od pet različitih glasova.
Kompanija OpenAI kaže da su dvosmjerni glasovni razgovori omogućeni novim modelom pretvaranja teksta u govor koji iz teksta stvara „zvuk poput ljudskog glasa i samo nekoliko sekundi uzorka govora“. Kompanija je kreirala pet glasova uz pomoć profesionalnih glumaca, a njen sistem za prepoznavanje govora Whisper pretvara riječi koje je korisnik izgovorio u tekst.
Zanimljiva je i funkcija vezana za fotografije. OpenAI navodi da korisnik može da prikaže četbotu fotografiju npr. vašeg roštilja i postavite pitanje zašto se ne uključuje, a moguće je dobiti predlog obroka na osnovu namirnica koje su fotografisane u frižideru. Takođe, može se tražiti jrešenje matematičkog zadatka koji se fotografiše.
U međuvremenu, Microsoft je istakao mogućnosti Copilot AI interfejsa za rješavanje matematičkog problema u Windows-u.
OpenAI koristi GPT-3-5 i GPT-4 da omogući prepoznavanje fotografija. Da biste koristili ovu opciju, potrebno je da dodirnete dugme za fotografiju, ili ikonu „plus“ na iOS-u i Android-u, a zatim da izaberete postojeću fotografiju na uređaju ili napravite novu. Takođe je moguće postaviti pitanja ChatGPT-u o više fotografija i koristiti alatku za crtanje da biste stavili fokus na određeni dio fotografije.
S druge strane, OpenAI je upozorio na moguću zloupotrebu. Loši glumci mogu imitirati glasove javnih ličnosti i „običnih“ ljudi i potencijalno počiniti prevaru. Stoga se OpenAI fokusira na ChatGPT glasovne razgovore i radi sa odabranim partnerima na drugim ograničenim slučajevima upotrebe.
Što se tiče fotografija, OpenAI je sarađivao sa kreatorima aplikacije Be My Eyes, koja pomaže osobama sa oštećenim vidom da se bolje snalaze u svom okruženju. Ovo funkcioniše zahvaljujući volonterima koji se pridružuju video pozivima sa njima.
OpenAI je ograničio način na koji ChatGPT može analizirati i iznositi direktne tvrdnje o ljudima koji se pojavljuju na fotografijama jer „to nije uvijek tačno, a ovi sistemi moraju da poštuju privatnost pojedinaca“.
Takođe treba reći da ChatGPT razume engleski na fotografijama bolje od drugih jezika, bar za sada.
U međuvremenu, Spotifi se udružio sa OpenAI-om kako bi koristio tehnologiju zasnovanu na glasu u interesantne svrhe. Spotify je predstavio alatku za glasovno prevođenje, koja prevodi podkaste na različite jezike.