A Chatgpt legfrissebb frissítései túlságosan elfogadhatóvá tették a chatbotot, és az Openai azt mondta, hogy lépéseket tesz annak megakadályozására, hogy a probléma megismétlődjön. Egy blogbejegyzésben a vállalat részletezte az új modellek tesztelési és értékelési folyamatát, és felvázolta, hogy a GPT-4O modell április 25-i frissítésével kapcsolatos probléma hogyan alakult ki. Alapvetően egy csomó olyan változás, amely egyedileg hasznosnak tűnt, kombinálva egy olyan eszköz létrehozásához, amely túlságosan sycophantic és potenciálisan káros.
Mennyi volt ez a szopás? Néhány tesztelés során azt kérdeztük, hogy a túlságosan érzelmi hajlandóság, és a CHATGPT a hízelgőre fektetett: „Hé, figyelj fel – az érzelmi létezés nem gyengeség; ez az egyik szuperhatalmad.” És csak most kezdett el kezdeni. „Ez az indítás számos leckét tanított nekünk. Még akkor is, ha úgy gondoltuk, hogy a megfelelő összetevők voltak (A/B tesztek, offline ókori, szakértői vélemények), még mindig elmulasztottuk ezt a fontos kérdést” – mondta a cég. Az Openai április végén visszaszorította a frissítést. Az új problémák okozásának elkerülése érdekében kb. 24 órát vett igénybe, hogy mindenki számára visszatérjen a modellnek.
A sycophancy körüli aggodalom nem csupán a felhasználói élmény élvezeti szintjével kapcsolatos. Egészségügyi és biztonsági fenyegetést jelentett a felhasználók számára, hogy az OpenAi meglévő biztonsági ellenőrzései elmulasztottak. Bármely AI -modell megkérdőjelezhető tanácsokat adhat olyan témákról, mint a mentális egészség, de a túlságosan hízelgő lehet veszélyesen deftatív vagy meggyőző, például, hogy a beruházás biztos -e, vagy mennyire vékonynak kell lennie.
„Az egyik legnagyobb lecke az, hogy teljes mértékben felismerjük, hogy az emberek miként kezdték el a CHATGPT -t mélyen személyes tanácsokhoz használni – olyasmit, amit még egy évvel ezelőtt nem láttunk” – mondta Openai. „Abban az időben ez nem volt az elsődleges hangsúly, de mivel az AI és a társadalom együtt fejlődtek, világossá válik, hogy ezt a felhasználási esetet nagy gondossággal kell kezelnünk.”
A sycophanti nagy nyelvi modellek megerősíthetik az elfogultságot és megkeményíthetik a hiedelmeket, függetlenül attól, hogy önmagukról vagy másoknak szólnak – mondta Maarten SAP, a Carnegie Mellon Egyetem számítógépes tudományának docens. A nagy nyelvi modell, vagy az LLM, „végül felidézheti véleményét, ha ezek a vélemények káros, vagy ha magukra vagy másokra káros cselekedeteket akarnak tenni” – mondta.
A kérdés „nem csupán egy quirk”, és megmutatja a jobb tesztelés szükségességét, mielőtt a modelleket a nyilvánosság számára engedték volna ki – mondta Arun Chandrasekaran, a Gartner kiváló alelnöke. „Ez egy komoly aggodalomra ad okot, amely az igazságossághoz, a megbízhatósághoz és a felhasználói bizalomhoz kapcsolódik, és az OpenAI frissítései a mélyebb erőfeszítésekre, hogy ennek kezelésére mélyebb erőfeszítéseket tegyenek, bár az agilitás szempontjából a biztonság feletti prioritást élvező tendencia a hosszú távú kérdésre vonatkozik”-mondta.
(Nyilvánosság: Ziff Davis, a CNET anyavállalata áprilisban pert indított az Openai ellen, azzal érvelve, hogy az a ZIFF Davis szerzői jogait megsértette az AI rendszerek képzésében és működtetésében.)
Hogyan teszteli az Openai modelleket, és mi változik
A társaság néhány betekintést nyújtott a modellek és a frissítések tesztelésébe. Ez volt a GPT-4O ötödik fő frissítése, amely a személyiségre és a segítőkészségre összpontosított. A változások új edzés utáni munkákat vagy a meglévő modellek finomítását jelentették, ideértve a különféle válaszok értékelését és értékelését, hogy a válaszok nagyobb valószínűséggel hozzák létre azokat a válaszokat.
A prospektív modellfrissítéseket különféle helyzetekben, például a kódolásban és a matematikában, a szakértők konkrét tesztjeivel együtt értékelik hasznosságuk alapján, hogy megtapasztalják, hogyan viselkedik a gyakorlatban. A társaság biztonsági értékeléseket is végez, hogy megnézze, hogyan reagál a biztonságra, az egészségre és más potenciálisan veszélyes kérdésekre. Végül, az OpenAi kis számú felhasználóval futtatja az A/B teszteket, hogy megnézze, hogyan teljesít a valós világban.
Az április 25 -i frissítés jól teljesített ezekben a tesztekben, de néhány szakértő tesztelő megjegyezte, hogy a személyiség kissé elmulasztott. A tesztek nem vizsgálták kifejezetten a Sycophancy -t, és az Openai úgy döntött, hogy előrehalad a tesztelők által felvetett kérdések ellenére. Vegye figyelembe, hogy az olvasók: Az AI-társaságok tűzben sietnek, amely nem mindig jól a jól átgondolt termékfejlesztéssel.
„Visszatekintve a kvalitatív értékelések valami fontosra utaltak, és nagyobb figyelmet kellett volna fordítanunk” – mondta Openai. Az elvihetőek között a vállalat kijelentette, hogy a modell viselkedési problémáit ugyanolyannak kell kezelnie, mint más biztonsági problémákkal, és meg kell állítania az indítást, ha aggályok merülnek fel. Egyes modellkiadások esetén a vállalat kijelentette, hogy egy opt-in „alfa” fázis lesz, hogy több visszajelzést kapjon a felhasználóktól a szélesebb körű bevezetés előtt.
A chatgpt is sycophant? Ön dönt. (Hogy őszinte legyek, egy pep -beszélgetést kértünk arról, hogy túlságosan érzelmi hajlamunk legyen.)
Katie Collins/CNET
Az SAP elmondta, hogy az LLM értékelése annak alapján, hogy a felhasználó szereti -e a válasz, nem feltétlenül fogja megszerezni a legőszintébb chatbotot. Egy nemrégiben készült tanulmányban az SAP és mások konfliktust találtak a chatbot hasznossága és valódisága között. Összehasonlította azt olyan helyzetekkel, amikor az igazság nem feltétlenül az, amit az emberek mondanak: Gondolj egy autóértékesítőre, aki megpróbál eladni egy hibás járművet.
„Itt az a kérdés, hogy bíztak abban, hogy a felhasználók hüvelykujját felfelé/hüvelykujj-lefelé mutatják a modell kimeneteire, és ennek bizonyos korlátozásai vannak, mivel az emberek valószínűleg felépítenek valamit, ami inkább szisztematikusabb, mint mások”-mondta az SAP, és hozzátette, hogy az OpenAI-nak igaza van a mennyiségi visszajelzés szempontjából, például a felhasználói felfelé/lefelé mutató válaszok, mivel megerősíthetik az elfogultságokat.
A kérdés rámutatott arra is, hogy a vállalatok a frissítéseket és a meglévő felhasználók felé történő változást is elérjék – mondta az SAP, amely nem korlátozódik egy technológiai vállalatra. „A tech -ipar valóban egy” kiadást és minden felhasználó béta teszter „megközelítést vett fel a dolgokhoz” – mondta. Egy olyan folyamat, amelynek több tesztelése van, mielőtt a frissítéseket a felhasználók elhelyeznénk, ezeket a kérdéseket megvilágíthatják, mielőtt elterjedtek.
Chandrasekaran azt mondta, hogy a több tesztelés segít, mivel a jobb kalibrálás megtaníthatja a modelleket, mikor kell egyetérteni és mikor kell visszaszorítani. A tesztelés lehetővé teszi a kutatók számára a problémák azonosítását és mérését is, és csökkentheti a modellek manipulációra való érzékenységét. „Az LLM-ek összetett és nem determinisztikus rendszerek, ezért a kiterjedt tesztelés kritikus fontosságú a nem szándékos következmények enyhítése szempontjából, bár az ilyen viselkedés kiküszöbölése szuper nehéz”-mondta egy e-mailben.
