A kutatások kimutatták, hogy a mesterséges intelligencia néha elfogultságot mutathat a bőr színe vagy a nem alapján, például az orvosi diagnózisok során. Ez a jelenség rávilágít arra, mennyire fontos a rendszerek fejlesztésénél a sokszínűség és az inkluzi

Azt gondolhatnánk, hogy a mesterséges intelligencia teljesen pártatlan, hiszen az emberi lényeket nem befolyásolja sem a nemük, sem a bőrszínük. Azonban az algoritmusok által nyújtott egészségügyi teljesítmény elemzése azt jelzi, hogy a valóság ennél sokkal összetettebb.

A mesterséges intelligencia teljesítménye az egészségügyben különböző csoportok esetében eltérő, különösen a nők és a színesbőrűek vonatkozásában – figyelmeztet a Financial Times egy Massachusettsi Műszaki Egyetem (MIT) által készített tanulmányra. Ez a jelenség egyfajta rasszizmusra utal, amely azt sugallja, hogy a nem orvosi jellegű információk befolyásolják a nagy nyelvi modellek (LLM-ek) egészségügyi döntéshozatali folyamatait.

A kutatók szerint a nagy nyelvi modellek, mint például az OpenAI GPT-4 és a Meta Llama 3 modelljei nagyobb valószínűséggel becsülik alá a nők panaszait és gyakrabban mondták nekik, hogy elég, ha önállóan, otthon kezelik a problémáikat. Persze az ilyen modellek általánosabb célúak, nem orvosi környezetben való használatra tervezték őket, azonban - hívja fel a figyelmet a Gizmodo - egy egészségügy-központú, Palmyra-Med nevű LLM-nél is hasonló eredményre jutottak.

De nem csupán a nőket különbözteti meg a MI. Egy korábbi kutatás arra az eredményre jutott, hogy a GPT-4 válaszának empátiaszintje 2-15 százalékkal volt alacsonyabb a sötétbőrű, és 5-17 százalékkal az ázsiaiak esetében, mint a fehér vagy ismeretlen faji hovatartozású felhasználóknál.

Egy másik kutatás, amely tavaly látott napvilágot a The Lancet című tudományos folyóiratban, arra az eredményre jutott, hogy az OpenAI GPT-4 modellje gyakran "stereotipizálja" a különböző rasszokat, etnikai csoportokat és nemi identitásokat. Ez a jelenség olyan diagnózisok és ajánlások megfogalmazásához vezetett, amelyek inkább demográfiai jellemzők alapján alakultak, mintsem a tényleges tünetek vagy betegségek figyelembevételével.

A megkülönböztetés gyökerei a mesterséges intelligencia rendszerek képzési folyamataiban rejlenek. A múltban a klinikai kutatások túlnyomó része a fehér férfiakra összpontosított, míg a nők és a színesbőrűek gyakran háttérbe szorultak, ami súlyos alulreprezentáltsághoz vezetett az orvosi tudomány területén. Mivel a mesterséges intelligenciát a meglévő kutatási anyagok alapján képezik ki, nem meglepő, hogy ezek az MI-eszközök gyengébb egészségügyi eredményeket produkálnak azoknál, akiket a múltban alulreprezentáltak vagy figyelmen kívül hagytak.

Ez viszont egy meglehetősen égető probléma, különösen mivel az olyan cégek, mint a Google, az OpenAI vagy a Meta versenyt futnak azért, hogy az eszközeiket bejuttathassák a kórházakba és az egészségügyi intézményekbe. Ez pedig egy hatalmas és jövedelmező piac, de egyben olyan is, amelyben meglehetősen súlyos következményei vannak a félretájékoztatásnak.