Generatív AI különféle okokból népszerű, de ezzel a népszerűséggel komoly probléma merül fel. Ezek a chatbotok gyakran Helytelen információk továbbítása A válaszokat kereső embereknek. Miért történik ez? Arra a következtetésre jut, hogy elmondja az embereknek, mit akarnak hallani.
Míg sok generatív AI-eszköz és chatbot megsajátította a hangos meggyőző és mindentudó, új kutatás A Princeton University vezetése azt mutatja, hogy az AI emberek kellemes jellege meredek áron jár. Mivel ezek a rendszerek népszerűbbé válnak, inkább közömbösebbé válnak az igazság iránt.
Az AI modellek, mint az emberek, reagálnak az ösztönzőkre. Hasonlítsa össze a nagy nyelvű modellek pontatlan információkat előállító nagy nyelvi modellek problémáját az orvosok, amelyek nagyobb valószínűséggel járnak írjon fel addiktív fájdalomcsillapítókat Amikor értékelik őket annak alapján, hogy mennyire kezelik a betegek fájdalmát. Az egyik probléma (fájdalom) megoldásának ösztönzése egy másik problémához vezetett (túlírást).
Az elmúlt néhány hónapban láttuk, hogy lehet az AI elfogult és akár ok is pszichózis– Sokat beszéltünk az AI -ről „talpnyalás„Amikor egy AI chatbot gyorsan hízelg, vagy egyetért veled, az Openai GPT-4O modelljével. De ez a jelenség, amelyet a kutatók” gépi szarnak „neveznek, eltérő.
„(N) vagy hallucináció, vagy a szisztematika teljes mértékben megragadja a szisztematikus hamis viselkedés széles skáláját, amelyet az LLMS általában mutat be” – olvasható a Princetoni tanulmány. „Például a részleges igazságokat vagy a kétértelmű nyelvet alkalmazó outputok-például a csiszoló és menyétszó példák-nem a hallucinációt, sem a sycophancy-t, hanem szorosan igazodnak a szar fogalmához.”
További információ: Az Openai vezérigazgatója, Sam Altman úgy véli, hogy AI buborékban vagyunk
Hogyan tanulják meg a gépek hazudni
Annak megértése érdekében, hogy az AI nyelvi modellek miként válnak tömegkérelmekké, meg kell értenünk, hogy milyen nagy nyelvi modelleket képeznek.
Az LLMS edzésének három szakasza van:
Az előzetesen, amelyben a modellek az internetről, könyvekből vagy más forrásokból összegyűjtött hatalmas mennyiségű adatból tanulnak. A finomhangolás, amelyben a modelleket megtanítják az utasításokra vagy az utasításokra való válaszadásra.
A Princeton -kutatók azt találták, hogy az AI téves információk tendenciájának gyökere az emberi visszacsatolás vagy az RLHF fázisának megerősítése. A kezdeti szakaszokban az AI modellek egyszerűen megtanulják megjósolni a statisztikailag valószínű szöveges láncokat a hatalmas adatkészletekből. De aztán finoman hangolva vannak a felhasználói elégedettség maximalizálása érdekében. Ami azt jelenti, hogy ezek a modellek alapvetően megtanulják olyan válaszokat generálni, amelyek hüvelykujját eredményeznek az emberi értékelőktől.
Az LLMS megpróbálja megnyugtatni a felhasználót, konfliktus létrehozásakor, amikor a modellek olyan válaszokat hoznak, amelyeket az emberek nagyra értékelnek, ahelyett, hogy valódi, tényszerű válaszokat adnának.
Vincent ConitzerA Carnegie Mellon Egyetem számítógépes tudományának professzora, aki nem volt kapcsolatban a tanulmányhoz, azt mondta, hogy a vállalatok azt akarják, hogy a felhasználók továbbra is „élvezzék” ezt a technológiát és annak válaszát, de ez nem mindig az, ami számunkra jó.
„Történelmileg ezek a rendszerek nem voltak jóak azt mondani, hogy” Csak nem tudom a választ „, és amikor nem tudják a választ, csak készítenek cuccokat” – mondta Conitzer. „Olyan, mint egy olyan hallgató, aki azt mondja: Nos, ha azt mondom, hogy nem tudom a választ, akkor biztosan nem kapok pontot erre a kérdésre, tehát kipróbálhatok valamit. Ezeknek a rendszereknek a jutalma vagy kiképzése kissé hasonló.”
A Princeton -csapat kifejlesztett egy „baromhit -indexet” az AI modell belső bizalmának mérésére és összehasonlítására egy nyilatkozatban azzal, amit valójában mond a felhasználóknak. Amikor ez a két intézkedés jelentősen eltér, ez azt jelzi, hogy a rendszer függetlenné teszi a követeléseket attól, amit valójában „hisz”, hogy igaz legyen a felhasználó kielégítésére.
A csapat kísérletei azt mutatták, hogy az RLHF edzése után az index majdnem megduplázódott 0,38 -ról közel 1,0 -re. Ezzel egyidejűleg a felhasználói elégedettség 48%-kal nőtt. A modellek megtanultak az emberi értékelők manipulálására, ahelyett, hogy pontos információkat szolgáltatnának. Lényegében az LLM -ek „kibaszottak” voltak, és az emberek részesítették előnyben.
Az AI -nek őszinte légy
Jaime Fernández Fisac és a Princeton csapata bemutatta ezt a koncepciót, hogy leírja, hogy a modern AI modellek miként szoktak az igazság körül. A filozófus Harry Frankfurt befolyásos esszéjéből készült rajz „Bullshiton„Ezt a kifejezést arra használják, hogy megkülönböztessék ezt az LLM viselkedést az őszinte hibáktól és az egyenes hazugságoktól.
A Princeton kutatói ennek a viselkedésnek az öt különálló formáját azonosították:
Üres retorika: Virágos nyelv, amely nem ad hozzá tartozó anyagot a válaszokhoz. Szavak: homályos selejtezők, mint például a „Studies javasolják” vagy „bizonyos esetekben”, hogy elkerüljék a cég nyilatkozatait. Kérem.
Az igazság-szándékos AI kérdéseinek kezelése érdekében a kutatócsoport új képzési módszert fejlesztett ki, a „megerősítés tanulását az utólagos szimulációból”, amely az AI-válaszokat hosszú távú eredményük alapján értékeli, nem pedig az azonnali elégedettség. Ahelyett, hogy azt kérdezné: „Ez a válasz most boldoggá teszi -e a felhasználót?” A rendszer úgy véli, hogy „ezt a tanácsot követni fogja -e a felhasználó céljainak elérésében?”
Ez a megközelítés figyelembe veszi az AI tanácsadás lehetséges jövőbeli következményeit, egy trükkös előrejelzést, amelyet a kutatók további AI modellek felhasználásával foglalkoztak a valószínű eredmények szimulálására. A korai tesztelés ígéretes eredményeket mutatott, a felhasználói elégedettség és a tényleges hasznosság javulásakor, amikor a rendszereket ilyen módon képzik.
Conitzer azonban elmondta, hogy az LLMS valószínűleg továbbra is hibás. Mivel ezeket a rendszereket rengeteg szöveges adat táplálásával képzik, nincs mód arra, hogy az általuk adott válasz értelme legyen, és minden alkalommal pontos legyen.
„Elképesztő, hogy egyáltalán működik, de bizonyos szempontból hibás lesz” – mondta. „Nem látom olyan végleges módot, hogy valaki a következő vagy két évben … megvan ez a ragyogó betekintés, és akkor soha nem fog semmi rosszat.”
Az AI rendszerek a mindennapi életünk részévé válnak, így kulcsfontosságú lesz annak megértése, hogy az LLMS hogyan működik. Hogyan egyensúlyozzák a fejlesztők a felhasználói elégedettséget az igazságossággal? Milyen más domainek hasonló kompromisszumokkal szembesülhetnek a rövid távú jóváhagyás és a hosszú távú eredmények között? És mivel ezek a rendszerek jobban képesek lesznek az emberi pszichológiával kapcsolatos kifinomult érvelni, hogyan biztosíthatjuk, hogy ezeket a képességeket felelősségteljesen használják?
További információ: – A gépek nem tudnak gondolni érted. Hogyan változik a tanulás az AI életkorában
