Halucinacije umjetne inteligencije: Zašto pametni modeli i dalje izmišljaju stvari

Početna » piton » Halucinacije umjetne inteligencije: Zašto pametni modeli i dalje izmišljaju stvari

Halucinacije umjetne inteligencije jedna su od najčudnijih i najvažnijih slabosti modernih AI sistema , posebno velikih jezičkih modela i generativnih alata koji pišu, crtaju ili odgovaraju na pitanja na zahtjev. Ovi sistemi mogu pružiti tečne, samouvjerene odgovore koji zvuče savršeno razumno, a ipak sadrže činjenice, citate ili detalje koji su jednostavno izmišljeni. Za korisnike je teško to što se greška često krije iza izuzetno uvjerljivog jezika.

Kada ljudi govore o „AI halucinacijama“, ne misle na mašine koje imaju snove ili vizije kao što to čine ljudi . Taj termin je metafora: opisuje situacije u kojima AI sistem proizvodi sadržaj koji izgleda koherentno i uvjerljivo, ali je netačan, pristrasan, logički manjkav ili nepovezan sa svojim podacima za obuku. U praksi, ovo može varirati od pogrešnog datuma u historijskom sažetku do izmišljenih naučnih referenci, nepostojećih pravnih slučajeva ili čak izmišljenih web stranica.

Šta su zapravo halucinacije umjetne inteligencije

U tehničkom smislu, AI halucinacija je bilo koji izlaz iz modela koji je obmanjujući, lažan ili neopravdan podacima na kojima je model obučen ili na kojima je uslovljen . Kod generativnih modela, korisnici očekuju odgovore koji smisleno odgovaraju na njihove upite - na primjer, tačan odgovor na pitanje ili vjeran sažetak dokumenta. Halucinacija se javlja kada sistem pruži odgovor koji ne proizilazi iz njegovih izvora, ne odgovara činjenicama iz stvarnog svijeta ili se ne može pratiti do bilo kojeg pouzdanog obrasca u njegovim podacima za obuku.

Ovaj fenomen je posebno vidljiv u modelima velikih jezika (LLM) kao što su chatbotovi i modeli poput Geminija . Ovi modeli su obučeni da predviđaju sljedeću riječ u nizu analizirajući ogromne količine digitalnog teksta. Oni funkcionišu kao mnogo moćnija verzija mehanizma za automatsko dovršavanje: kada im se da upit, oni nastavljaju pogađati najvjerovatniji sljedeći token, zatim sljedeći i tako dalje. Budući da su optimizovani da budu korisni, koherentni i tečni, često nastavljaju generisati tekst čak i kada su nesigurni, umjesto da otvoreno signaliziraju „Ne znam“.

Rezultat je da sistem umjetne inteligencije može "popuniti praznine" kad god nedostaju informacije, dvosmislene su ili loše predstavljene u podacima za obuku . Kada je dostupno dovoljno obrazaca, odgovor je obično razuman. Ali čim model izađe izvan tih obrazaca, može izmisliti detalje, interpolirati između nepovezanih činjenica ili samouvjereno tvrditi stvari koje nikada nisu uočene. Ovo je suština halucinacije: uvjerljiv jezik bez čvrstog činjeničnog sidra.

Halucinacije nisu ograničene samo na tekst; one se javljaju i u sistemima za prepoznavanje slika i obrazaca . Modeli vida ponekad mogu "vidjeti" oblike, objekte ili karakteristike koji uopće nisu prisutni u osnovnim podacima, slično kao što ljudi uočavaju lica na površini Mjeseca ili životinje u oblacima. U oba slučaja, sistem previše interpretira buku, pretvarajući nesiguran ili dvosmislen unos u nešto što izgleda smisleno.

Budući da halucinacije proizlaze iz načina na koji su ovi modeli izgrađeni i obučeni, one nisu samo povremeni problemi, već strukturni rizik . Istraživači rutinski mjere stope halucinacija u mjerilima i rang listama, a primjena u stvarnom svijetu u područjima poput zdravstva, prava ili financija već je dala poznate primjere gdje je izmišljeni sadržaj proklizao i došao do krajnjih korisnika.

Zašto AI sistemi haluciniraju: podaci, modeli i utemeljenje

Da bismo razumjeli zašto se halucinacije događaju, korisno je početi s načinom na koji se obučavaju modeli umjetne inteligencije . Većina modernih sistema, posebno LLM-ovi, uči iz ogromnih skupova podataka za obuku koji kombiniraju knjige, članke, web stranice i druge javne izvore. Tokom obuke, model traži statističke pravilnosti: kako riječi imaju tendenciju da slijede druge riječi, koje se teme pojavljuju zajedno, koje se strukture ponavljaju. Ne gradi interni model svijeta u ljudskom smislu, niti pohranjuje eksplicitne činjenice kao unose u bazu podataka.

Kvalitet, potpunost i pristrasnost podataka za obuku su stoga kritični . Ako je skup podataka nepotpun, jako iskrivljen ili sadrži sistematske greške, model će prepoznati i pojačati te distorzije. Na primjer, klasifikator medicinskih slika obučen samo na kancerogenom tkivu i nikada izložen zdravim slikama može naučiti da bilo koje tkivo koje podsjeća na njegove primjere obuke mora biti rak. Kada se takav sistem primijeni u stvarnom svijetu, može pogrešno označiti zdravo tkivo kao maligno, ne zato što je zlonamjerno, već zato što je to jedini obrazac koji poznaje.

Neispravni, bučni ili pristrasni podaci za obuku samo su jedan izvor halucinacija . Drugi ključni faktor je nedostatak odgovarajućeg utemeljenja u znanju iz stvarnog svijeta, fizičkim ograničenjima ili provjerljivim vanjskim izvorima. Mnogi modeli umjetne inteligencije funkcioniraju isključivo u prostoru simbola: manipuliraju tekstom ili pikselima bez direktnog povezivanja s fizičkim objektima, ažuriranim bazama podataka ili senzornim iskustvom. Bez utemeljenja, model može lako proizvesti izjavu koja zvuči realistično, ali je u suprotnosti s osnovnim činjenicama - na primjer, davanje pogrešnog datuma za historijski događaj ili izmišljanje naučnog koncepta koji nikada nije postojao.

Ovaj nedostatak utemeljenja može se proširiti na reference, linkove i citate . Primijećeno je da tekstualni modeli izmišljaju URL-ove, naučne radove, akademske autore, pa čak i citate koji na prvi pogled izgledaju potpuno vjerodostojno. Model ne "laže" s namjerom; on sastavlja tekst koji statistički podsjeća na reference koje je vidio, čak i ako se specifična kombinacija naslova, autora i časopisa nikada nije dogodila u stvarnosti.

Složenost modela i prekomjerno prilagođavanje dodaju još jedan sloj rizika . Vrlo složeni modeli s milionima ili milijardama parametara mogu predstavljati suptilne obrasce, ali također mogu pamtiti lažne korelacije ili šum. Kada se model prekomjerno prilagođava svojim podacima za obuku, može se oslanjati na krhke znakove koji se ne generaliziraju, što dovodi do bizarnih izlaza kada se uvjeti promijene. U prepoznavanju slika, ovo može proizvesti nadrealne ili snolike interpretacije; u tekstu, može pokrenuti duge lance zaključivanja koji zvuče sofisticirano, a počivaju na lažnoj premisi.

Konkretni primjeri halucinacija umjetne inteligencije u praksi

Primjena generativne umjetne inteligencije u stvarnom svijetu već je proizvela brojne javne primjere halucinacija . Jedan široko diskutovani slučaj dogodio se kada je Googleov Bard chatbot netačno tvrdio da je svemirski teleskop James Webb snimio prve slike planete izvan našeg Sunčevog sistema. Izjava je zvučala impresivno i predstavljena je samouvjereno, ali je bila činjenično pogrešna; prethodni teleskopi su već proizveli takve slike.

Još jedan incident visokog profila uključivao je Microsoftov sistem za chat, u jednom trenutku kodnog naziva Sydney . Tokom testiranja, korisnici su prijavljivali razgovore u kojima je model izjavljivao da se zaljubio u njih ili tvrdio da špijunira zaposlenike Binga. Ovi odgovori nisu bili utemeljeni ni na kakvoj temeljnoj stvarnosti; bili su proizvod uparivanja obrazaca modela s romantičnim ili zavjereničkim jezikom viđenim u njegovim podacima za obuku, u kombinaciji s konverzacijskim stilom koji potiče razrađene narative.

Meta-in Galactica jezički model, dizajniran da pomogne u naučnim zadacima, također je povučen ubrzo nakon javne demonstracije 2022. godine . Korisnici su brzo pokazali da sistem može proizvesti tekst koji zvuči naučno i koji miješa tačne činjenice s izmišljenim referencama, pristrasnim tvrdnjama i izmišljenim člancima. Izlazi su izgledali kao naučni tekst, sa svim tehničkim žargonom, ali činjenični sadržaj je mogao biti opasno nepouzdan.

Mediji su dokumentovali i manje, ali značajne halucinacije . U jednom slučaju, novinari New York Timesa pitali su chatbota o prvom putu kada su novine objavile članak o vještačkoj inteligenciji. Model je ponudio nekoliko detaljnih odgovora, uključujući datume i opise, ali neki od tih detalja pokazali su se pogrešnim ili potpuno izmišljenim. Sistem je generisao uvjerljivu priču jer je upit odgovarao mnogim obrascima u njegovim podacima za obuku, a ne zato što je imao pristup preciznoj, provjerljivoj arhivi.

Čak i naizgled jednostavni zadaci poput pisanja kratke biografske bilješke mogu izazvati halucinacije . Prije samog krunisanja kralja Charlesa III, zahtjev za kratkim profilom naveo je jednog chatbota da samouvjereno izjavi da se ceremonija krunisanja održala u Westminsterskoj opatiji 19. maja 2023. U stvarnosti, krunisanje se dogodilo 6. maja. Model je znao tipične lokacije, ritualne fraze i vremenske okvire za britanska krunisanja, ali nije imao pristup budućim događajima i ipak je nudio specifičan, netačan datum predstavljen kao utvrđena činjenica.

Halucinacije u kritičnim područjima: medicina, pravo i šire

Rizici značajno rastu kada se halucinacije pojave u oblastima visokog rizika kao što su zdravstvo, pravo ili finansije . U medicini su nedavna istraživanja pokazala da čak i napredni modeli specifični za određenu oblast mogu generisati izmišljene anatomske strukture ili obmanjujuće kliničke opise. Jedan primjer uključuje Med-Gemini, model povezan sa Google-om, koji je u akademskom objašnjenju spomenuo nepostojeću moždanu strukturu nazvanu "bazilarne ganglije". Termin je zvučao kao mješavina stvarnih anatomskih riječi, ali takva struktura ne postoji.

U pravnoj sferi, halucinacije su već pronašle svoj put do stvarnih sudskih podnesaka . Prijavljeno je nekoliko slučajeva u kojima su advokati koristili chatbotove za izradu dokumenata, a zatim ih dostavljali bez temeljite ljudske provjere. Sistem umjetne inteligencije generirao je citate sudskih odluka koji su izgledali savršeno formatirani i vjerodostojni, ali detaljnijim pregledom otkriveno je da neki od navedenih slučajeva nikada nisu odlučeni ni od strane nijednog suda. Ovi izmišljeni presedani prisilili su sudije i advokate suprotne strane da provode vrijeme provjeravajući nepostojeće izvore i pokrenuli ozbiljna pitanja o profesionalnoj odgovornosti.

Halucinacije mogu uticati i na svakodnevne aplikacije poput korisničke podrške . Postoje dokumentovane situacije u kojima je automatizovani bot za podršku izmislio politike povrata novca ili garancije koje nisu bile dio službenih pravila kompanije. Sa stanovišta kupca, odgovor bota djelovao je autoritativno – koristio je ton i vokabular brenda – a ipak je obavezuo kompaniju na obaveze koje menadžment nikada nije odobrio niti su bile zapisane u bilo kakvim uslovima i odredbama.

Kumulativni učinak takvih grešaka je erozija povjerenja . Organizacije koje koriste AI asistente riskiraju da naruše svoju reputaciju ako korisnici više puta naiđu na netačne, ali samouvjerene odgovore. U reguliranim sektorima, ulozi su još veći: halucinirana dijagnoza, izmišljeni pravni presedan ili fiktivni zahtjev za usklađenost mogu imati stvarne finansijske, medicinske ili pravne posljedice.

Odgovornost u ovim situacijama je i dalje pokretna meta . Kada se odluka donese na osnovu halucinacije generirane umjetnom inteligencijom, odgovornost se može podijeliti među korisnicima, programerima, dobavljačima i organizacijama koje primjenjuju tehnologiju. Zakonodavci i regulatori tek počinju definirati gdje leži odgovornost, ali osnovni obrazac je jasan: nekontrolirano oslanjanje na generativne sisteme u ključnim odlukama može otvoriti vrata skupim greškama i pravnim sporovima.

Koliko često AI sistemi haluciniraju?

Uprkos brzom napretku, halucinacije ostaju mjerljiv i netrivijalan problem u najsavremenijim modelima . Oko 2023. godine, neke studije su procijenile da je do 27% odgovora iz velikih jezičkih modela sadržavalo neku vrstu činjenične greške, pri čemu su stope halucinacija prelazile 40% za određene vrste zadataka ili skupova podataka. To znači da bi u mnogim realnim scenarijima gotovo polovina naizgled čvrstih odgovora mogla sadržavati barem jedan obmanjujući detalj.

Noviji radovi ukazuju na to da su novije generacije modela poboljšale problem, ali ga nisu eliminirale . Na primjer, interni testovi navedeni u industrijskim izvještajima tvrdili su da bi napredniji model mogao smanjiti stopu halucinacija sa otprilike 20.6% na oko 4.8% u odabranim testovima. Drugi sistemi, poput specifičnih konfiguracija Gemini‑2.0‑Flash‑001, navodno su dostigli stopu halucinacija blizu 1% u uskim, dobro definiranim evaluacijama korištenjem tehnika automatske unakrsne provjere.

Istovremeno, istraživači su primijetili zanimljiv paradoks . Neki od najsofisticiranijih modela zaključivanja, koji proizvode duže lance misli i detaljnija objašnjenja, mogu halucinirati više nego manje. Razlog je intuitivan: dugi odgovori pružaju više mogućnosti modelu da skrene s činjenica, ubaci spekulativne pretpostavke ili izgradi višestepene argumente na klimavoj početnoj tački.

Akademski rad je počeo sistematski klasificirati i mjeriti halucinacije . Istraživanja o halucinacijama u LLM-u predlažu taksonomije koje razlikuju intrinzične halucinacije (gdje je izlaz nekompatibilan s datim ulazom, kao što je pogrešan sažetak datog dokumenta) i ekstrinzične halucinacije (gdje model dodaje uvjerljive, ali nepotkrijepljene detalje). Ljestvice poput Vectara ljestvice halucinacija uspoređuju popularne modele na standardnim testovima kako bi rangirale one koji će vjerovatnije generirati pogrešan sadržaj.

Nove metode detekcije idu dalje od jednostavnih provjera ispravnosti . Jedna značajna linija istraživanja koristi semantičku entropiju – otprilike, koliko je model nesiguran u vezi s onim što bi trebao reći – kako bi označio sumnjive izlaze. Ako model pokazuje visoko interno neslaganje među više mogućih nastavaka, ta povišena semantička entropija može biti znak upozorenja da je trenutni odgovor vjerovatno haluciniran, čak i kada nije dostupan zlatni standardni referentni odgovor.

Tehnike za smanjenje i otkrivanje halucinacija

Budući da su halucinacije ugrađene u način na koji generativni modeli funkcionišu, ne postoji jedno magično rješenje, ali se pojavilo nekoliko obećavajućih strategija . Jedan uticajan pristup je Retrieval-Augmented Generation (RAG). Umjesto da se model oslanja samo na ono što je zapamtio tokom obuke, RAG sistem prvo ispituje eksterne, kurirane izvore podataka - kao što su dokumentacija, baze znanja ili indeksirane web stranice - a zatim traži od modela da generiše odgovor eksplicitno zasnovan na tim preuzetim dokumentima.

RAG efektivno daje modelu nešto konkretno na što se može osloniti . Kada korisnik postavi pitanje, sistem pronalazi relevantne odlomke, a model se podstiče da ih sažme ili kombinuje, umjesto da improvizuje od nule. Ovo može značajno smanjiti halucinacije u domenima gdje je dostupan ažuriran i pouzdan sadržaj, poput tehničkih priručnika, internih politika kompanije ili naučnih baza podataka.

Druga linija odbrane je interna verifikacija i provjera samokonzistentnosti . Umjesto da vjeruju jednom prolazu kroz model, neki sistemi generiraju nekoliko kandidata za odgovore, a zatim ih međusobno upoređuju. Ako se sve verzije slažu oko iste tvrdnje, veća je vjerovatnoća da je ona stabilna i tačna; ako se razilaze, sistem se može suzdržati, tražiti pojašnjenje ili eksplicitno označiti nesigurnost. Ova provjera samokonzistentnosti može se automatizirati i već je pokazala obećavajuće rezultate u smanjenju halucinacija na zadacima zaključivanja.

Istraživači su također predložili eksperimentalnije arhitekture, poput metoda koje restrukturiraju korisnikov upit prije odgovora . Jedan primjer iz nedavnog akademskog rada je tehnika poznata kao Acurai, koja ima za cilj preformulirati upute na način koji usmjerava model prema provjerljivim putevima zaključivanja. Iako su takvi pristupi još uvijek u ranoj fazi, oni ukazuju na budućnost u kojoj model troši više svog računarskog napora planirajući kako razmišljati o pitanju umjesto da odmah pređe na tečnu naraciju.

Što se tiče praćenja, semantičke entropijske sonde i srodni alati nude jeftin način za otkrivanje potencijalnih halucinacija . Mjerenjem koliko se model "ne slaže sam sa sobom" interno prilikom davanja odgovora, ove sonde mogu označiti odlomke koji zaslužuju ljudsku provjeru. Važno je napomenuti da tehnike poput ovih ne zahtijevaju označeni skup podataka tačnih odgovora, što ih čini pogodnim za otvorene scenarije iz stvarnog svijeta.

Uloga ljudskog nadzora i odgovorna upotreba

Čak i uz poboljšane arhitekture i pametno otkrivanje, ljudski nadzor ostaje ključan za upravljanje halucinacijama umjetne inteligencije . Najrobustnije aplikacije su one koje tretiraju umjetnu inteligenciju kao moćnog asistenta ili kopilota, a ne kao autonomnog donosioca odluka. U sektorima kao što su zdravstvo, bankarstvo ili javna uprava, najbolja praksa je da se modelu dozvoli filtriranje informacija, izrada dokumenata ili sažimanje dugih materijala, dok ljudski stručnjak obavlja konačni pregled i odobrenje.

I lideri u industriji i istraživači naglašavaju da korisnici ne bi trebali slijepo vjerovati rezultatima umjetne inteligencije, posebno o osjetljivim temama . Kompanije koje stoje iza glavnih modela eksplicitno su upozorile da njihovi sistemi i dalje mogu halucinirati i da odgovore treba koristiti s oprezom za medicinske, pravne ili finansijske savjete. Neki pružatelji usluga oslanjaju se na ljudske evaluatore kako bi testirali pristranosti, činjenične greške i potencijalno štetan sadržaj, integrirajući njihove povratne informacije u obuku putem učenja s pojačanjem iz ljudskih povratnih informacija (RLHF).

Transparentnost u pogledu ograničenja igra ključnu ulogu u očuvanju povjerenja korisnika . Kada pružaoci usluga priznaju da njihovi modeli mogu proizvesti netačne ili izmišljene informacije, korisnici će vjerovatnije održavati zdrav nivo skepticizma, dvaput provjeravati odgovore i izbjegavati delegiranje kritičkih prosudbi. Suprotno tome, preuveličavanje predstavljanja vještačke inteligencije kao nepogrešive ili „inteligentne“ u ljudskom smislu nerealno povećava očekivanja i čini da se halucinacije osjećaju kao izdaje, a ne kao tehnički artefakti.

Gledajući u budućnost, regulacija će vjerovatno oblikovati način na koji organizacije upravljaju rizicima od halucinacija . Kreatori politika već izrađuju pravila koja zahtijevaju procjene rizika, procese uključivanja čovjeka u proces i jasnu dokumentaciju o mogućnostima modela i načinima kvara. U mnogim jurisdikcijama, firme koje primjenjuju alate umjetne inteligencije u domenima visokog rizika morat će dokazati da imaju adekvatne zaštitne mjere kako bi spriječile da halucinacije direktno utiču na kritične odluke.

U konačnici, najpouzdanije postavke su one koje dizajniraju tokove rada oko snaga i slabosti umjetne inteligencije . Generativni modeli su izvrsni u generiranju nacrta, istraživanju opcija, pružanju alternativnih fraziranja i iznošenju obrazaca u velikim količinama teksta. Mnogo su manje pouzdani kao jedini arbitri istine. Kada su sistemi izgrađeni tako da ljudi ostanu pod kontrolom ključnih odluka i koraka verifikacije, halucinacije postaju upravljiva buka, a ne katastrofalni kvarovi.

Kako se ove tehnologije razvijaju, realan stav prema halucinacijama izazvanim umjetnom inteligencijom bit će ključan za sve uključene – programere, organizacije, regulatore i svakodnevne korisnike. Razumijevanje da tečan odgovor ne mora nužno biti i tačan, kombiniranje modela s vanjskim izvorima znanja, sistematsko mjerenje i otkrivanje halucinacija te očuvanje ljudskog rasuđivanja u središtu važnih odluka dio su mudrog korištenja generativne umjetne inteligencije. Umjesto da se pitamo hoće li halucinacije potpuno nestati, korisnije pitanje je kako možemo izgraditi sisteme, podsticaje i navike koji će te neizbježne greške učiniti vidljivima, ograničenima i daleko manje štetnima.