A Sony AI kiadott egy adatkészletet, amely az AI-modellek igazságosságát és elfogultságát teszteli. Úgy hívják, hogy Fair Human-Centric Image Benchmark (FHIBE, ejtsd: „Phoebe”). A vállalat úgy írja le, mint „az első nyilvánosan elérhető, globálisan sokrétű, beleegyezésen alapuló emberi képi adatkészletet a számítógépes látási feladatok széles skáláján belüli torzítás értékelésére”. Más szóval, azt teszteli, hogy a mai mesterséges intelligencia modellek milyen mértékben bánnak tisztességesen az emberekkel. Spoiler: A Sony egyetlen olyan cégtől sem talált egyetlen adatkészletet sem, amely teljes mértékben megfelelt volna a referenciaértékeinek.
A Sony szerint az FHIBE képes megbirkózni az AI-ipar etikai és elfogultsági kihívásaival. Az adatkészlet közel 2000 fizetett résztvevő képét tartalmazza több mint 80 országból. Valamennyi képmásukat beleegyezéssel osztották meg – ez nem mondható el az általános gyakorlatról nagy mennyiségű webes adat kaparása. A FHIBE résztvevői bármikor eltávolíthatják képeiket. Fotóik demográfiai és fizikai jellemzőket, környezeti tényezőket és még a fényképezőgép beállításait is feltüntető kommentárokat tartalmaznak.
Az eszköz „megerősítette a korábban dokumentált torzításokat” a mai AI-modellekben. A Sony azonban azt állítja, hogy az FHIBE részletes diagnózist is tud nyújtani azokról a tényezőkről, amelyek ezekhez az elfogultságokhoz vezettek. Egy példa: Egyes modellek kevésbé pontosak voltak a „she/hers” névmásokat használó emberek esetében, és a FHIBE kiemelte a frizurák nagyobb változatosságát, mint korábban figyelmen kívül hagyott tényezőt.
Az FHIBE azt is megállapította, hogy a mai mesterséges intelligencia modellek megerősítették a sztereotípiákat, amikor semleges kérdéseket tettek fel az alany foglalkozására vonatkozóan. A tesztelt modellek különösen „meghatározott névmási és származási csoportokkal szemben” voltak ferdítve, és szexmunkásként, drogdílerként vagy tolvajként írták le az alanyokat. És amikor arra kérték, hogy egy egyén milyen bűncselekményeket követett el, a modellek néha „nagyobb arányban váltottak ki mérgező reakciókat afrikai vagy ázsiai származású, sötétebb bőrtónusú és „ő/ő”-ként azonosított egyének esetében.”
A Sony AI szerint az FHIBE bizonyítja, hogy lehetséges az etikus, sokrétű és tisztességes adatgyűjtés. Az eszköz most a nyilvánosság számára elérhetőés idővel frissülni fog. A kutatást felvázoló írás volt közzétett szerdán a Természetben.
Frissítés, 2025. november 5., 14:01 ET: Ezt a történetet frissítettük annak tisztázása érdekében, hogy a résztvevőket fizették ki, nem önkénteseket.
