Sistemele de inteligență artificială generativă, precum Midjourney, DALL-E sau Stable Diffusion, manifestă tendințe marcate de stereotipizare și simplificare excesivă a identităților naționale. Analizele recente arată că aceste tehnologii de tip text-to-image nu reflectă diversitatea reală a lumii, ci reduc descrierile complexe la tipare vizuale limitate. Acest fenomen este observat atât în reprezentările culturale, cât și în distribuția de gen sau rasă asociată unor anumite profesii.
Un exemplu izbitor a fost prezentat de BuzzFeed, care a generat 195 de imagini cu păpuși Barbie folosind Midjourney pentru a reprezenta diverse țări. Rezultatele au fost problematice: Barbie din Thailanda, Singapore și Filipine aveau toate păr blond, în timp ce reprezentările asiatice aveau pielea deschisă la culoare. Mai mult, Barbie din Liban a fost reprezentată pe un morman de ruine, iar cea din Sudanul de Sud ținea în mâini o armă.
O investigație realizată de Rest of World a extins această observație, generând un set de 3.000 de imagini pentru a testa conceptele de „persoană”, „femeie”, „casă”, „stradă” și „farfurie cu mâncare” în China, India, Indonezia, Mexic și Nigeria. Rezultatele au confirmat o perspectivă stereotipică: o persoană indiană este aproape întotdeauna un bărbat în vârstă cu barbă, iar o persoană mexicană este de obicei un bărbat cu sombrero. În Indonezia, mâncarea apare aproape exclusiv pe frunze de bananier.
Amba Kak, director executiv al AI Now Institute, a explicat că sistemele reduc descrierile naționale la stereotipuri care pot fi percepute într-o lumină negativă. Aceeași problemă a fost semnalată și de Bloomberg, care a analizat peste 5.000 de imagini. Studiul a constatat că imaginile asociate profesiilor mai bine plătite prezentau persoane cu tonuri mai deschise ale pielii, iar majoritatea rezultatelor pentru diverse profesii erau dominate de bărbați.
Sasha Luccioni, cercetătoare la Hugging Face, subliniază că chiar și stereotipurile care nu sunt negative în sine elimină diversitatea, deoarece reflectă o judecată de valoare. Aceste modele nu reușesc să reprezinte complexitatea și eterogenitatea culturilor analizate. Prejudecățile sunt prezente în numeroase algoritmi, de la rezultatele de căutare cu caracter sexist sau rasist, până la sistemele de recunoaștere facială care funcționează mai slab pentru persoanele de culoare.
Evoluția tehnologiilor de inteligență artificială generativă a pus în evidență necesitatea unor cadre etice mai riguroase pentru a evita amplificarea prejudecăților existente. Deoarece aceste sisteme sunt antrenate pe seturi masive de date care conțin deja bias-uri umane, ele tind să automatizeze și să scaleze aceste erori de percepție. Controlul calității și diversitatea datelor de antrenament rămân provocări majore pentru dezvoltatorii din sectorul tech.