Amikor megérintem az Anthropic’s alkalmazást Claude AI a telefonomon, és adj egy felszólítást — mondd: „Mondj el egy történetet egy huncut macskáról” — sok minden történik, mielőtt az eredmény („A nagy tonhalrablás”) megjelenik a képernyőn.
A kérésemet elküldik a felhőbe – egy számítógépre a nagy adatközpont valahol — át kell futtatni a Claude’s Sonnet 4.5-öt nagy nyelvi modell. A modell egy elfogadható választ állít össze fejlett prediktív szöveggel, felhasználva azt a hatalmas mennyiségű adatot, amelyre betanították. A válasz ezután visszakerül az iPhone-omra, szóról szóra, sorról sorra megjelenik a képernyőmen. Több száz, ha nem több ezer mérföldet tett meg, és több számítógépen ment keresztül a kis telefonomhoz és onnan vissza. És mindez pillanatok alatt megtörténik.
Ez a rendszer jól működik, ha alacsony téttel jár, és a sebesség nem igazán probléma. Várhatok néhány másodpercet a kis történetemre Whiskersről és a konyhaszekrényben történt szerencsétlenségéről. De nem minden mesterséges intelligencia feladat ilyen. Némelyik óriási sebességet igényel. Ha egy mesterséges intelligencia eszköz figyelmeztet valakit egy objektumra, amely elzárja az útját, nem engedheti meg magának, hogy várjon egy-két másodpercet.
Más kérések nagyobb adatvédelmet igényelnek. Nem érdekel, ha a macskatörténet több tucat olyan számítógépen halad át, amelyek olyan emberek és cégek tulajdonában vannak, akiket nem ismerek, és akiket nem biztos, hogy megbízok. De mi a helyzet az egészségügyi adataimmal vagy a pénzügyi adataimmal? Lehet, hogy szorosabbra akarnám tartani a leplet.
Ne hagyja ki elfogulatlan műszaki tartalmainkat és laboratóriumi értékeléseinket sem. Adja hozzá a CNET-t preferált Google-forrásként.
A sebesség és az adatvédelem két fő oka annak, hogy a technológiai fejlesztők egyre inkább áthelyezik az AI-feldolgozást a hatalmas vállalati adatközpontok helyett a személyes eszközökre, például a telefonra, laptopra vagy okosórára. Költségmegtakarítás is elérhető: Nem kell fizetni egy nagy adatközpont-üzemeltetőnek. Ráadásul az eszközön lévő modellek internetkapcsolat nélkül is működhetnek.
Ennek az eltolódásnak a lehetővé tételéhez azonban jobb hardverre és hatékonyabb – gyakran speciálisabb – AI modellekre van szükség. E két tényező konvergenciája végső soron meghatározza, hogy milyen gyors és zökkenőmentes az élmény olyan eszközökön, mint a telefon.
Mahadev Satyanarayanan, Satya néven ismert, a Carnegie Mellon Egyetem számítástechnika professzora. Régóta kutatja az úgynevezett élszámítástechnikát – az adatfeldolgozás és -tárolás tényleges felhasználóhoz lehető legközelebbi kezelésének koncepcióját. Azt mondja, a valódi számítástechnika ideális modellje az emberi agy, amely nem rakja át semmilyen „felhőre” az olyan feladatokat, mint a látás, a felismerés, a beszéd vagy az intelligencia. Mindez ott történik, teljesen „az eszközön”.
„Íme a csapás: a természetnek egymilliárd évbe telt, mire kifejlesztett minket” – mondta nekem. „Nincs egymilliárd évünk, hogy várjunk. Ezt öt vagy legfeljebb 10 év alatt próbáljuk megtenni. Hogyan fogjuk felgyorsítani az evolúciót?”
Felgyorsíthatja, ha jobb, gyorsabb, kisebb AI jobb, gyorsabb, kisebb hardveren fut. És ahogy azt a legújabb alkalmazásoknál és eszközöknél már láthatjuk – beleértve azokat is, amelyeket a CES 2026-on várnak –, ez már javában zajlik.
Valószínűleg jelenleg a mesterséges intelligencia fut a telefonodon
Az eszközön működő mesterséges intelligencia korántsem újszerű. Emlékezzen 2017-ben, amikor először oldhatta fel iPhone-ját az arcod elé tartva? Ez az arcfelismerő technológia az eszközön található neurális motort használt – ez nem a Claude-hoz vagy a ChatGPT-hez hasonló AI, hanem alapvető mesterséges intelligencia.
A mai iPhone-ok sokkal erősebb és sokoldalúbb eszközön található mesterséges intelligencia modellt használnak. Körülbelül 3 milliárd paraméterrel rendelkezik — a nyelvi modellben szereplő valószínűségek súlyának egyéni számításai. Ez viszonylag kicsi a nagy általános célú modellekhez képest, amelyeken a legtöbb AI chatbot fut. Deepseek-R1például rendelkezik 671 milliárd paraméter. De nem az a célja, hogy mindent megtegyen. Ehelyett az eszközön végzett konkrét feladatokhoz, például üzenetek összegzéséhez készült. Csakúgy, mint az arcfelismerő technológia a telefon feloldásához, ez sem engedheti meg magának, hogy internetkapcsolatra hagyatkozzon egy modell felhőben való futtatásához.
Az Apple továbbfejlesztette az eszközön lévő mesterséges intelligencia képességeit – szinkronizálva Apple Intelligence — vizuális felismerési funkciók, például engedélyezés nézze meg azokat a dolgokat, amelyekről képernyőképet készített.
Az eszközön található mesterséges intelligencia modellek mindenhol megtalálhatók. A Google Pixel telefonjain a cég Gemini Nano modellje fut a saját szokásai szerint Tensor G5 chip. Ez a modell olyan funkciókkal rendelkezik, mint pl Magic Cueamely információkat jelenít meg e-mailjeiből, üzeneteiből és egyebekből – akkor, amikor szüksége van rá – anélkül, hogy manuálisan kellene rákeresnie.
A telefonok, laptopok, táblagépek és a bennük lévő hardverek fejlesztői az AI szem előtt tartásával építik az eszközöket. De ez túlmutat ezeken. Gondoljon az okosórákra és szemüvegekre, amelyek sokkal szűkebb helyet kínálnak, mint a legvékonyabb telefonok?
„A rendszer kihívásai nagyon eltérőek” – mondta Vinesh Sukumar, a Qualcomm generatív AI és gépi tanulás vezetője. „Minden eszközön meg tudom csinálni?
Jelenleg a válasz általában nem. A megoldás meglehetősen egyszerű. Ha egy kérés meghaladja a modell képességeit, a feladatot egy felhő alapú modellre helyezi át. De attól függően, hogy ezt az átadást hogyan kezelik, alááshatja az eszközön lévő mesterséges intelligencia egyik legfontosabb előnyét: az adatok teljes mértékben az Ön kezében tartását.
Privátabb és biztonságosabb AI
A szakértők ismételten rámutatnak az adatvédelemre és a biztonságra, mint az eszközön található mesterséges intelligencia fő előnyeire. Felhős helyzetben az adatok minden irányba repülnek, és több sebezhető pillanattal szembesülnek. Ha titkosított telefon- vagy laptopmeghajtón marad, sokkal könnyebben biztonságos.
Az eszközei mesterséges intelligencia modelljei által felhasznált adatok közé tartozhatnak például a beállítások, a böngészési előzmények vagy a helyadatok. Noha mindez elengedhetetlen ahhoz, hogy a mesterséges intelligencia személyre szabhassa az élményt az Ön preferenciái alapján, ez az a fajta információ is, amelyet nem szeretne rossz kezekbe kerülni.
„Amit szorgalmazunk, az az, hogy megbizonyosodjunk arról, hogy a felhasználó hozzáférhet, és ő az adatok kizárólagos tulajdonosa” – mondta Sukumar.
Az Apple Intelligence új külsőt adott a Sirinek az iPhone-on.
Numi Prasarn/CNET
Az adatok kitöltésének néhány különböző módja van az Ön adatainak védelme érdekében. Az egyik kulcsfontosságú tényező az, hogy engedélyt kell adnia, hogy megtörténjen. Sukumar elmondta, hogy a Qualcomm célja, hogy az emberek tájékozottak legyenek, és képesek legyenek nemet mondani, amikor egy modell eléri a felhőbe való feltöltésének pontját.
Egy másik megközelítés – amely a felhasználói engedélyek megkövetelése mellett működhet – az, hogy a felhőbe küldött adatokat biztonságosan, röviden és ideiglenesen kezeljük. Az Apple például az általa hívott technológiát használja Privát Cloud Compute. A kiterhelt adatokat csak az Apple saját szerverein dolgozzák fel, csak a feladathoz szükséges minimális adatot küldik el, és ezek közül semmit nem tárolnak, nem tesznek hozzáférhetővé az Apple számára.
AI az AI költsége nélkül
Az eszközökön futó mesterséges intelligencia modellek előnyt jelentenek mind az alkalmazásfejlesztők, mind a felhasználók számára, mivel a működtetésük folyamatos költsége gyakorlatilag semmi. Nincs felhőszolgáltató cég, aki fizessen az energiáért és a számítási teljesítményért. Ez mind a telefonodban van. A zsebed az adatközpont.
Erre hívta fel Charlie Chapmant, az úgynevezett zajgép-alkalmazás fejlesztőjét Sötét zajaz Apple Foundation Models Framework alkalmazásához olyan eszközként, amely lehetővé teszi hangkeverék létrehozását. Az eszközön található mesterséges intelligencia-modell nem generál új hangot, csupán különböző meglévő hangokat és hangerőszinteket választ ki egy mix létrehozásához.
Mivel a mesterséges intelligencia az eszközön fut, a mixek elkészítése során nincs folyamatos költség. Az olyan kis fejlesztők számára, mint Chapman, ez azt jelenti, hogy kevesebb kockázatot jelent az alkalmazás felhasználói bázisa. „Ha egy influencer véletlenszerűen posztolt róla, és hihetetlen mennyiségű ingyenes felhasználóm van, az nem jelenti azt, hogy hirtelen csődbe megyek” – mondta Chapman.
Az eszközön lévő mesterséges intelligencia folyamatos költségeinek hiánya lehetővé teszi az olyan kis, ismétlődő feladatokat, mint az adatbevitel, hatalmas költségek vagy számítási szerződések nélkül automatizálni – mondta Chapman. Hátránya, hogy az eszközön lévő modellek eszköztől függően különböznek, így a fejlesztőknek még több munkát kell végezniük, hogy alkalmazásaik különböző hardvereken működjenek.
Minél több mesterségesintelligencia-feladatot látnak el fogyasztói eszközökön, annál kevesebbet kell az AI-nak költeniük a hatalmas adatközpont-építésre, amelyben minden nagyobb technológiai vállalat készpénzért és számítógépes chipekért küzd. „Az infrastruktúra költségei olyan hatalmasak” – mondta Sukumar. „Ha valóban meg akarja növelni a méretet, akkor nem akarja túlterhelni ezt a költségterhet.”
A jövő a sebességről szól
Főleg, ha olyan eszközökről van szó, mint a szemüvegek, órák és telefonok, az AI és a gépi tanulás valódi hasznosságának nagy része nem olyan, mint a chatbot, amellyel a cikk elején macskatörténetet készítettem. Ilyen például az objektumfelismerés, a navigáció és a fordítás. Ezek speciális modelleket és hardvert igényelnek, de nagyobb sebességet is igényelnek.
Satya, a Carnegie Mellon professzor az AI-modellek különböző felhasználási lehetőségeit kutatta, és azt, hogy képesek-e megfelelően és gyorsan működni az eszközön található modellek használatával. Ami az objektumképek osztályozását illeti, a mai technológia meglehetősen jól teljesít – 100 ezredmásodperc alatt képes pontos eredményeket szolgáltatni. „Öt évvel ezelőtt sehol sem tudtunk ilyen pontosságot és sebességet elérni” – mondta.
Ez az Oakley Meta Vanguard AI szemüveggel rögzített videófelvételek kivágott képernyőképe a párosított Garmin órából származó edzésmutatókat mutatja.
Vanessa Hand Orellana/CNET
De négy másik feladathoz – objektumészlelés, azonnali szegmentálás (az objektumok és alakjuk felismerésének képessége), tevékenységfelismerés és objektumkövetés – az eszközöket még mindig le kell tölteni egy erősebb számítógépre valahol máshol.
„Úgy gondolom, hogy az elkövetkező néhány évben, körülbelül öt évben, ez nagyon izgalmas lesz, mivel a hardvergyártók folyamatosan próbálják a mobileszközöket jobban MI-re hangolni” – mondta Satya. „Ugyanakkor maguk az AI-algoritmusok is egyre erősebbek, pontosabbak és számításigényesebbek.”
A lehetőségek óriásiak. Satya elmondta, hogy a jövőben az eszközök számítógépes látást használhatnak arra, hogy figyelmeztessék Önt, mielőtt egyenetlen fizetésbe ütköznének, vagy emlékeztethetik, kivel beszél, és kontextust biztosíthatnak a velük folytatott korábbi kommunikációhoz. Az ilyen dolgokhoz speciálisabb mesterséges intelligencia és speciális hardver szükséges.
– Ezek ki fognak jelenni – mondta Satya. – Láthatjuk őket a láthatáron, de még nincsenek itt.
