- Kosinusna sličnost mjeri usmjereno poravnanje dva vektora izračunavanjem kosinusa ugla između njih, zanemarujući njihovu ukupnu magnitudu.
- Ova metrika je ključna za modernu umjetnu inteligenciju, omogućavajući semantičko pretraživanje, personalizirane sisteme preporuka i obradu visokodimenzionalnih ugrađivanja.
- Dok standardna kosinusna sličnost tretira karakteristike kao nezavisne, napredne verzije poput mekog kosinusa integrišu odnose karakteristika kako bi poboljšale tačnost.
Jeste li se ikada zapitali kako Spotify tačno zna koja će pjesma pogoditi pravo mjesto ili kako Google shvata da vaš upit za pretragu znači nešto specifično čak i ako ne koristite tačne riječi? Mnogo magije se dešava iza kulisa korištenjem vektorskih ugrađivanja . Umjesto da riječi ili stavke tretira kao jednostavan tekst, vještačka inteligencija ih transformiše u tačke u masivnom, višedimenzionalnom prostoru, i tu dolazi do izražaja koncept kosinusne sličnosti koji svemu tome daje smisao.
U osnovi, ovaj matematički trik omogućava računarima da shvate koliko su dvije stvari "blizu" gledajući ugao između njihovih vektora . Nije važno da li je jedan vektor mnogo duži od drugog; važno je samo da li su usmjereni u istom opštem smjeru. To je potpuna revolucionarna promjena za obradu prirodnog jezika (NLP) i mehanizme za preporuke jer se fokusira na semantičko značenje, a ne samo na podudaranje znakova.
Osnovne stvari u izračunu
Da biste shvatili kako ovo funkcioniše, morate shvatiti da je svaki podatak - bilo da se radi o riječi ili filmu - predstavljen kao vektor gdje je svaka dimenzija specifični atribut. Da bismo pronašli sličnost, slijedimo nekoliko specifičnih koraka. Prvo, izračunavamo skalarni proizvod , što uključuje množenje odgovarajućih vrijednosti iz oba vektora i njihovo sabiranje kako bismo vidjeli koliko su usklađene. Zatim, izračunavamo veličinu (ili dužinu) svakog vektora uzimanjem kvadratnog korijena iz zbira njegovih kvadratnih komponenti.
Posljednji korak je stvarna formula kosinusne sličnosti : uzimate taj skalarni proizvod i dijelite ga proizvodom dvije veličine. Matematički, to izgleda kao Kosinusna sličnost = (A · B) / (||A|| × ||B||) . Rezultat je rezultat koji se obično kreće između -1 i 1. Rezultat 1 znači da su vektori savršeno poravnati , 0 znači da su ortogonalni (potpuno nepovezani), a -1 znači da su dijametralno suprotni.
Stavljanje stvari u perspektivu: Kraljevi, kraljice i jabuke
Učinimo ovo konkretnim. Zamislite LLM koji obrađuje riječi "kralj" i "kraljica". Budući da se ovi termini često pojavljuju blizu riječi poput "prijesto" ili "monarhija", njihova vektorska ugrađivanja će pokazivati u gotovo istom smjeru, što rezultira visokim rezultatom kosinusne sličnosti . Sada, ubacite u mješavinu riječ "jabuka". Čak i ako je u istom dokumentu, druži se s terminima poput "voće" ili "voćnjak", tako da će njen vektor pokazivati u potpuno drugom smjeru, što će dovesti do mnogo nižeg rezultata sličnosti.
Da bi sve bilo brzo, kompanije ne izračunavaju ovo u hodu za svaku pojedinačnu stavku. Koriste vektorske baze podataka . Ovi specijalizirani alati su napravljeni za indeksiranje visokodimenzionalnih vektora, omogućavajući munjevito brzo pronalaženje najsličnijih podudaranja bez potrebe za ručnim skeniranjem cijelog skupa podataka.
Iznad osnova: Meki kosinus i druge metrike
Standardna kosinusna sličnost ima manu: pretpostavlja da je svaka dimenzija nezavisna. Međutim, u stvarnom svijetu, riječi poput "play" i "game" su različite dimenzije, ali semantički povezane . Tu dolazi do izražaja meka kosinusna sličnost . Ona uvodi matricu sličnosti (često koristeći Levenshtein-ovu udaljenost ili WordNet) kako bi se uzeo u obzir odnos između karakteristika, omogućavajući modelu da efikasnije generalizuje koncepte , čak i ako se formalne karakteristike razlikuju.
Također je vrijedno uporediti ovo s drugim uobičajenim metrikama. Na primjer, Euklidova udaljenost (L2) mjeri pravolinijsku udaljenost između dvije tačke, što je odlično za prostornu blizinu. Manhattan udaljenost (L1) izračunava udaljenost prateći putanju nalik mreži. Dok one mjere apsolutnu udaljenost , kosinusna sličnost se fokusira isključivo na orijentaciju . Postoji i sličnost skalarnog proizvoda , koja uzima u obzir i ugao i magnitudu. Ako normalizujete svoje vektore na jediničnu dužinu, skalarni proizvod i kosinusna sličnost postaju efektivno ista stvar, ali je skalarni proizvod računski jeftiniji za izračunavanje.
Praktične primjene u grafovima podataka i pretrazi
U svijetu grafičkih baza podataka poput Amazon Neptune i drugih grafičkih sistema , kosinusna sličnost se koristi za pronalaženje kohezije između grupa ili identifikaciju sličnih korisnika. Na primjer, ako imate grafikon ljudi i njihovih omiljenih kuhinja, možete predstaviti njihove preferencije kao vektore rezultata. Primjenom algoritma kosinusne sličnosti možete rangirati koji korisnici imaju najsličnije ukuse, bez obzira na to da li jedna osoba ocjenjuje više restorana od druge.
Moderni pretraživači se također udaljavaju od čisto leksičkog pretraživanja (kao što je Ctrl+F) prema vektorskom pretraživanju . Iako je leksičko pretraživanje odlično za tokenizaciju, ono promašuje poentu teksta. Vektorsko pretraživanje hvata osnovnu namjeru . U sistemima poput Elasticsearcha, ovo se implementira pretvaranjem upita u ugrađivanja i pronalaženjem najbližih susjeda korištenjem metrika o kojima smo raspravljali, često transformirajući raspon od -1 do 1 u pozitivan rezultat za bolje rangiranje.
Bez obzira da li kreirate program za preporuku filmova ili kompleksni AI agent, odabir prave metrike sličnosti zavisi od toga da li veličina vektora nosi značenje. Ako vas zanima samo "tema" ili "smjer" podataka, kosinusna sličnost je vaš najbolji izbor. Za one kojima je potrebna sirova prostorna udaljenost, euklidska metoda je pravi izbor. Kombinovanjem ovih matematičkih alata sa efikasnim algoritmima indeksiranja , možemo pretvoriti nestrukturirane podatke u organizovanu, pretraživu mapu ljudskog značenja.
