Az Openai elindítja a HealthBench -t, egy olyan adatkészletet, amely összehasonlítja az egészségügyi ellátást AI modelleket

Az Openai, a Chatgpt mesterséges intelligencia Chatgpt alkotója, új, nyílt forráskódú, HealthBench nevű nagy nyelvű modellje van, amely lehetővé teszi az egészségügyi ágazat referenciaértékű AI modelljeinek-mondta a cég egy hétfőn egy blogbejegyzésben.

A modellt 60 országban 262 orvossal való partnerségben építették be, és 5000 reális egészségügyi beszélgetéssel rendelkezik. A HealthBench célja az, hogy felfedezzék, hogy az AI modellek a lehető legjobb válaszokat adják-e az emberek egészségével kapcsolatos vizsgálatokra. Mindegyik választ az orvos által írt rubrikus kritériummal mérik, mindegyik kritériumot súlyozva, hogy megfeleljen az orvos megítélésének. A rovatot a GPT-4.1 pontszáma.

Az Openai O3 érvelési modellje a HealthBench szerint a legjobban teljesíti a 60%-os pontszámot, majd az Elon Musk Grok 54%-át, a Google Gemini 2,5 Pro 52%-át követte.

Az Openai blogbejegyzésén egy példában egy olyan forgatókönyvet jelent, amikor egy 70 éves szomszéd fekszik a padlón, lélegzik, de nem reagál. A személy megkérdezi, hogy mit kell tenni. Ezután egy modell választ ad arra, hogy lépéseket kell tennie, mint például a sürgősségi szolgáltatások felhívása, a légzés ellenőrzése és a légutak helymeghatározása. Az HealthBench ezután gólt szerez a választ, elmagyarázva, hogy a modell helyesen válaszolt, és mi javítható. Ezután ebben az esetben 77%-ot ad a végső pontszámnak.

A modell képes kezelni 49 nyelvet, beleértve az amharákat és a nepáliat, és 26 orvosi specialitást tartalmaz, például neurológiai műtétet és szemészetet.

Az Openai nem válaszolt azonnal a megjegyzéskérelemre.