Amikor az AI -ről van szó, talán Chatgpt vagy Ikrek eszembe jut. Vannak más játékosok is, mint a zavarás, Claude, Grok és Mistral. A virágzó piacon rengeteg AI modell található, amelyek közül sokan még nem igényelnek internetkapcsolatot.
Az internetkapcsolatok nélkül futó modelleket helyi AI modelleknek nevezzük, és amint a neve is sugallja, a saját hardverén futtathatók. Nem kell csatlakoznia az Openai vagy a Google szervereihez, hogy a Chatgpt vagy az Ikrek verzióit használja.
Ez mind az előnyöket, mind a hátrányokat hozza. A fő előnye a magánélet. A helyi AI -vel az érzékeny dokumentumokat elemezheti, vagy kínos kérdéseket tehet fel, mindezt anélkül, hogy aggódna, ha a Big Tech figyeli. Ez szintén korlátlan. Mindaddig, amíg van hatalma, folytathatja a kérdéseket, legalábbis addig, amíg elfogy a memória.
Úgy döntöttem, hogy a lehető legerősebb PC -t készítem a legkisebb rendelkezésre álló hardverben. Lehetséges lett volna egy nagyobb szerver alaplap használata, amely sokkal több RAM -ot képes kezelni? Persze. De kétlem, hogy a legtöbb ember használja az AI -t otthonában vagy kisvállalkozásában. Alapvetően egy hatalmas és kompakt játék PC -vel egyenértékű választottam. Itt vannak a specifikációk, hozzávetőleges kiskereskedelmi értékkel:
AMD Ryzen 9 9950x3d (660 USD) NVIDIA RTX 5090 (2400 USD) MSI MPG B650I Edge Wi-Fi alaplap (290 USD) 64 GB-os kritikus pro ddr5 RAM (140 USD) 2x 1TB Kényelmes Gen5 NVME Solid-State Drives (150 USD) Corsair SF1000) Terra 10,4 literes tok (180 USD)
A teljes 4 240 USD áron ez egy drága berendezés. De a helyi AI modellek némelyikének táplálásához lóerőre van szüksége. Nem minden modellhez szükség van ilyen drága hardverre. Vannak olyan kisebb modellek, amelyek nagyon jól teljesítenek, és amelyek szintén képesek egy tisztességesen erőteljes laptopon futni. Ez magában foglalja az Openai új GPT-OS-jét, amely lényegében a Chatgpt helyi verziója.
Úgy gondolom, hogy az idő múlásával a legerősebb modellek hatékonyabbak lesznek. Tehát a DeepSeek R1 2025-es hatalom-éhes változata 2027-ben szerényebb hardveren futhat.
