Belül eltemetve Az Apple 3499 dolláros Vision Pro A VR headset olyan szolgáltatás, amely folyamatosan lenyűgöz, de valószínűleg még soha nem hallottál róla. A funkció, az ún Personákkét vagy több felhasználót foglal magában, akik mindegyike Vision Prot visel, és valós időben, de virtuális másolatként csevegnek egymással.
A béta verzióból kikerült Personák az Apple Vision Pro-hoz készült avatarrendszerének részét képezik, és 3D-s fényképszkennelés segítségével másolatokat készíthetsz magadról.
Nem új keletű dolog a szkennelés magamról. Úgy öt éve, Kipróbáltam a távjelenlétet 3D-ben szkennelt avatarokkal Nreal AR szemüvegen a Spatial nevű céggel. Bekukucskáltam Meta valósághű kodek-avatarjainál. felfedeztem rajzfilm avatar telejelenlét a Microsofttal a HoloLensben. És még mindenféle bizarr mesterséges intelligencia-hamisításba is belenéztem magam Az OpenAI Sora telefonos alkalmazás.
Ennek ellenére senki sem csinál semmit a VR vagy AR fejhallgatók vagy szemüvegek terén, amelyek olyan fejlettek, mint az Apple Vision Personas. És még nem láttuk a kezdetét annak, hogy milyen jó dolgok születhetnek.
Hogy többet megtudjak, felvettem egy M5 Vision Pro headsetet, és beugrottam a FaceTime-ba, hogy exkluzívan cseveghessek az Apple Vision Products Group vezető igazgatójával, Jeff Norris-szal és a termékmarketing vezető igazgatójával, Steve Sinclairrel. Mindketten Personákként jelentek meg az otthoni irodámban. Szellemként bolyongtunk be, amikor elkezdődött a találkozó, úgymond négyszemközt. Néhány perc múlva úgy éreztem, hogy valójában személyesen töltjük együtt az időt.
Az Apple nem beszél a jövőről. De Norris és Sinclair elmagyarázott néhány nagyon klassz 3D-s technológiát, amely a Personákat olyan valósághűvé teszi. Miközben beszélgettünk, azt képzeltem, hogy a Vision Pro-n kívül más helyeken is elvégezhető hasonló szkennelés, például az iPhone-on, amely több ember számára elérhető lenne.
Az Apple Personák a fülhallgatón kívül furcsának tűnnek, belül viszont nem.
Az AppleReal telepresence drága varázslat
Nehéz olyan embert találni, aki rendelkezik Vision Pro-val, de amikor nekem van, az a kísérteties érzés, hogy valaki szellemsétál az otthonomba, olyan, mint egy varázsló. Az Apple VisionOS-e úgy fejlődött, hogy lehetővé tegye a Personák közötti együttműködést, így akár öt személy virtuális terét bontja ki, hogy együtt lássák és megosszák virtuális objektumokat és alkalmazásokat. Ugyanabban a szobában több Vision fejhallgatót viselő személy együttműködhet a távolról is besugárzó Personákkal.
Évek óta álmodoztam erről a Tony Stark-szerű, Star Wars-hologramos telejelenlét ötletről. Alapvetően itt van. Csak nagyon drága hardverbe van befalazva.
Az okosszemüvegek még nem tudták kezelni az ehhez hasonló avatarok terhelését, bár a Snap és mások AR szemüvegei hamarosan próbálkozhatnak. A kérdésem az Apple-hez a következő: Milyen technológia teszi lehetővé a Personák létrejöttét, és megjelenhet-e valaha máshol?
Splatting scan technológia gépi tanulást használ
Találkozónkon Norris elmagyarázza, hogy a Persona technológia Gauss-splatting segítségével készíti el a meglepően meggyőző 3D arcvizsgálatokat. A Gauss-splatting jelenleg számos 3D-s alkalmazás kulcsfontosságú technológiája, amelyet gyakran objektumok vagy nagyméretű környezetek szkennelésére alkalmaznak. Métáé Hyperscape Capture A Quest alkalmazás például teljes szobákat képes beolvasni 3D-s járható terekbe a VR-ben. 3D képet vagy tájképet köt 2D képek sorozatából mesterséges intelligencia segítségével.
A Personas egyedivé teszi, hogy a környezete helyett önmaga szkennelésére összpontosít. A VisionOS 26 használatával Norris megmutatta a legfontosabb változásokat a korábbi Persona verziókhoz képest. A renderek most több szögből is nagyobb részletet mutatnak, és olyan részleteket rögzíthetnek, mint az ékszerek és a szempillák. A testeket és az arcokat együtt szkenneljük, így a renderelés zökkenőmentesebb lesz.
„Van benne gépi tanulás, de kevesen tudják, hogy ez hálózatok összefogó koncertje” – mondja Norris. „Megszámoltuk őket, több mint egy tucat, de valójában csökkentettük a számot, amikor áttértünk a Personas új verziójára.”
Megemlítettem a szobák Vision Pro-ba történő szkennelésének lehetőségét az úton (az olyan alkalmazások, mint a Scaniverse és a Polycam, már bemutatják a 3D-s szkenneléseket a headseteken). Norris szerint az Apple már alkalmazza a Gauss-splatting-t a fotók térbeli 3D-s konvertálásakor, amelyek most furcsán magával ragadónak tűnnek a fejhallgatókban. Szóval, mi lesz ezután?
A Vision Pro fejhallgatók ugyanabban a helyen működhetnek együtt, és ugyanabban az időben máshonnan származó Personákat is összehajthatnak. Csak egy ilyen fejhallgatóval kell rendelkeznie, hogy részt vegyen a térbeli élményben.
Apple/Képernyőkép: Joe Maldonado/CNETNem kell sok a szükséges fényképek rögzítéséhez. Meg lehet csinálni iPhone-on?
Annak ellenére, hogy a Persona szkennelés a Vision Pro fejhallgatóján keresztül történik, amihez fel kell tartanom a fejhallgatót, hogy elfordítsam a fejem és szkenneljem, ez nem olyan folyamat, amely megköveteli a Vision Pro érzékelőinek széles körű használatát.
„Csak néhány képre van szükségünk, amikor regisztráljuk a Personáját” – mondja Norris. „Ez magában foglal néhány arckifejezést, amelyek segítenek hálózatainknak megérteni, hogyan mozog az arcod, amikor beszélsz és mosolyogsz. És ennyi.”
Kíváncsi vagyok, vajon egy iPhone képes-e végül beolvasni egy Personát, amit sokkal könnyebbnek találnék, mint a Vision Pro használatát. Norris erre nem válaszol közvetlenül.
„Érdekes elképzelni ennek különböző módjait” – válaszolja. „Jelenleg azonban szeretjük, hogy az önállóan kapcsolódik az eszközhöz, és az összes feldolgozás az eszközön történik. A képek egyikének sem kell elhelyezkednie ahhoz, hogy ez megtörténjen.”
Én a VisionOS Personámban az új verzió első demója során a WWDC-n az év elején.
AppleMit jelenthet ez a jövőbeli virtuális identitástudatunk számára?
Az egyetlen Persona, amelyet beolvasok, és az Apple ID-mhez kötök a Vision Pro készüléken, úgy tűnik, hogy úgy tervezték, hogy egy az egyhez leképezésként működjön a virtuális énem számára. Ez a legközelebbi dolog, amivel az Apple helyettesítheti a kamera használatát az arcom közvetítésére, amit nem lehet megtenni, mivel fejhallgatót hordok.
Az AI-cégek már most is vizsgálják és generálják az emberek virtuális verzióit egyre több szándékos és nem szándékos mélyhamisításban. Az OpenAI Sora alkalmazás most a legszembetűnőbb példa, és hasonló típusú arc-szkennelési technológiát használ iPhone-okon, hogy létrehozzon magamból egy „Cameo”-t, amelyet kölcsönadhatok másoknak.
Megkérdezem Norrist, hol húzható meg a határ a továbbiakban. Világossá teszi, hogy az Apple világosan és biztonságosan, valós időben akar reprezentálni egy személyt, nem pedig mint reprodukciót.
„A Personast erre a hiteles reprezentációs célra összpontosítottuk” – mondja. „Megpróbáljuk teljesíteni azt, ami szerintem alapvető emberi kívánság: „Bárcsak itt lennél”. Ez azzal kezdődik, hogy megpróbálunk hűségesek lenni ahhoz, ahogy kinézünk, hogyan mozogunk, és hogyan érezzük magunkat beszéd közben.”
Lehet egynél több Persona vagy több testreszabás?
Jelenleg az Apple egyszerre csak egy Persona beolvasást használ, ami meglep. Sokféle Scott Stein avatárt szeretnék, különböző hangulatban vagy egyszerűen más ruhákkal. Noha az Apple nem vizsgálja a személyazonosság-átalakítást szkennelésekkel, nagyra értékelem a valósághű szemüvegek lehetőségeit, és örülnék, ha további kiegészítőket is hozzáadhatnék.
„Az emberek újra jelentkezhetnek, vagy egyszerűen felvehetnek egy másik inget, és újra jelentkezhetnek” – mondja Norris. „Teljesen megértem, hogy miért lenne ez valami, amit szeretnénk. De most egyszerre csak az egyre koncentrálunk.”
2020-ban próbáltam beolvasott avatarokat használni Nreal AR szemüveggel a Spatial egy olyan alkalmazásával, amely együtt tudta használni a telefonokat és a headsetet. Az Apple is ezt csinálja?
A SpatialA Personák valaha is kiterjednének a Vision Pro-n kívül?
Már gondolkodom több lehetőségen a Personákhoz, nem csak az Apple drága headsetejéhez, hanem iPhone-okhoz és egyéb eszközökhöz is.
Mi lenne, ha személyes kiállások lennének a FaceTime-hívásaink során? Már felhívhatom a feleségemet a FaceTime-on a Vision Pro-ból, és ott láthatja a 2D Personámat. Nevet rajta, mert kissé természetfelettinek érzi magát. Ha az Apple már ennyire kinyitotta az ajtót az Animojival a FaceTime-on, akkor a Personák miért ne?
Norris ragaszkodik ahhoz, hogy a Personák jobban működjenek a Vision headsetben, amivel egyetértek. A megjelenítések valahogy meggyőzőbbek. Amikor olyan környezetbe helyezzük magunkat, amely már félig virtuális dolgokból áll, ezek a 3D-s szkennelt identitások természetesebbnek tűnnek. De a fizikai távolság és a test kifejezései is megtörténhetnek a térben. A személyek elhagyhatják a dobozukat, és torzóként, kezeként és arcként lebeghetnek.
„El tudok mondani egy viccet, és meg fogod érteni, mert látni fogod a testbeszédemet, és látni fogod az arckifejezésemet, amilyeneket a kétdimenziós képernyőn nem” – mondja Sinclair. – Itt vagyunk együtt a szobában, és úgy érzem, tényleg itt vagyunk.
Ahogy a Personája a zsúfolt asztalom mellett áll ebben a virtuális formában, rájövök, hogy igaza van.
Az Apple már kap erről visszajelzést üzleti célokra. „Az egészségügyben is hallunk róla” – mondja Norris. „Azok az orvosok, akik eljárásokat készítenek, és más embereket akarnak képezni. Nem kell körbeutazniuk az országot. Egyszerűen FaceTime-hívást intézhetnek a Personáikkal.”
Még mindig látom a jövőt, ahol az iPhone-ok, iPadek, laptopok és headset-ek együttműködnek egymással, és ez a vállalatok mint a Microsoft és Qualcomm hídként jelölték meg a fejhallgatók és a lapos képernyős eszközök között. Samsung és Google Az Android XR ilyen típusú csatlakozási pontjait is tárgyalják. Alma van egy ARKit iPhone-okon és iPadeken, tehát a lehetőségek már megvannak.
Norris szerint a headseten kívüli Personáknak most hiányozna valami. „Ahhoz, hogy teljes mértékben értékelni tudja az élményt, rendelkeznie kell az érzékelési képességekkel és a hihetetlen megjelenítési képességekkel. Valójában össze kell fogniuk, hogy egy ilyen varázslatos pillanatot hozzanak létre.”
Ahogy az Apple a jövőben az intelligens szemüvegek várható vonala felé halad, és elkerülhetetlenül a fejlettebb iPhone-ok és iPadek felé, ez a filozófia fejlődhet. A personák alapvető változás kezdetét jelentik az együttműködés és a kapcsolat kezelésében.
Jelenleg azonban soha nem tapasztalhatja meg, hacsak nem egy Vision Pro belsejében van. Várom azt az időt, amikor a belépőjegy ebbe a varázslatos telejelenléti világba sokkal megfizethetőbb és jobban elosztott lesz, így többen szállhatnak fel a fedélzetre.
Jelenleg a Personám főként önmagában áll. Örülnék, ha gyakrabban kaphatnék társaságot.
Ne hagyja ki elfogulatlan műszaki tartalmainkat és laboratóriumi értékeléseinket sem. Adja hozzá a CNET-t preferált Google-forrásként.
