Izvorni kod MongoDB-a za Mongot i budućnost pretrage i RAG-a

Početna » piton » Izvorni kod MongoDB-a za Mongot i budućnost pretrage i RAG-a

MongoDB je napravio veliki korak za programere koji rade s umjetnom inteligencijom, pretraživanjem i modernim aplikacijama tako što je izvorni kod svog Mongot engine-a učinio javno dostupnim za uvid.Ova komponenta, koja je do nedavno postojala samo iza kulisa u MongoDB Atlasu, sada je dostupna pod Server Side Public License (SSPL), što timovima daje mnogo dublji uvid u to kako se tekstualni i vektorski upiti indeksiraju, izvršavaju i rangiraju, te olakšava izgradnju robusnih sistema za generiranje proširenog pretraživanja (RAG).

Otvaranjem unutrašnjosti Mongota, MongoDB u suštini ruši funkcionalni zid između svoje upravljane usluge u oblaku i samostalno upravljanih ili Community Edition implementacija.Programeri koji koriste MongoDB lokalno ili u vlastitim cloud okruženjima sada mogu koristiti istu tražilicu i vektorsku tražilicu koja se koristi u Atlasu, a istovremeno mogu pregledavati, otklanjati greške, pa čak i prilagođavati način na koji se ponaša, a sve to bez potrebe za promjenom baza podataka ili instaliranjem zasebnog vektorskog skladišta.

Šta je tačno mongot i zašto je to važno?

Mongot je namjenska usluga indeksiranja i izvršavanja upita, izgrađena posebno za pokretanje MongoDB pretrage i vektorske pretrage.Umjesto da svu logiku pretrage uguraju u osnovni proces baze podataka, MongoDB arhitekti su razdvojili odgovornosti: mongod ostaje fokusiran na transakcijska opterećenja, dok Mongot obavlja teški posao potreban za pretraživanje cijelog teksta i vektora.

Dizajn Mongota se zasniva na tri glavna principa: održavanju glatkog iskustva za programere, oslanjanju na provjerenu tehnologiju pretraživanja i zaštiti transakcijskih performansi.Sa stanovišta programera, ovo znači da i dalje pišete upite putem poznatog MongoDB Query API-ja i agregacijskog cjevovoda, koristeći faze poput $search, $searchMeta, I $vectorSearch, bez potrebe za učenjem potpuno drugačijeg jezika za upite ili upravljanjem odvojenim stekom za pretraživanje.

U suštini, Mongot se oslanja na Apache Lucene kako bi pružio specijalizirane indeksne strukture i algoritme koji napredno pretraživanje i vektorsko pretraživanje čine brzim i bogatim funkcijama.Lucene donosi invertovane indekse, modele bodovanja i pretragu sličnosti zasnovanu na vektorima, dok MongoDB ovo povezuje sa svojom operativnom bazom podataka tako da programeri mogu tretirati pretragu kao prirodno proširenje svojih postojećih kolekcija, a ne kao zaseban sistem.

Ključna arhitektonska odluka je da Mongot asinhrono gradi i održava indekse koji zahtijevaju veliku računsku snagu, izvan prozora za potvrdu transakcije.Koristi MongoDB tokove promjena za repliciranje ažuriranja iz primarnih kolekcija podataka, tako da Mongot preuzima umetanja, ažuriranja i brisanja bez blokiranja transakcijskih operacija. Ovaj dizajn izbjegava usporavanje vaše osnovne baze podataka, a istovremeno održava rezultate pretrage i vektora blisko usklađenima s vašim podacima.

Kada aplikacija pošalje upit koji sadrži $search, $searchMeta, ili $vectorSearch, osnovni proces mongod djeluje kao posrednik i prosljeđuje relevantni dio zahtjeva MongotuMongot zatim izvršava pretragu koristeći svoje Lucene-podržane indekse, izračunava rezultate i podudaranja, te vraća rezultate u mongod, koji nastavlja s obradom ostatka agregacijskog cjevovoda kao i obično prije slanja konačnog odgovora klijentu.

Kako se Mongot uklapa u različite topologije implementacije MongoDB-a

Sa stanovišta implementacije, Mongot je dovoljno fleksibilan da odgovara i jednostavnim i složenim postavkama.U manjim okruženjima ili scenarijima razvoja, može se pokretati kao sporedni proces na istoj mašini kao mongod, dijeljenje CPU-a i memorije i pojednostavljenje operacija jer se sve nalazi na jednom hostu.

Za veće ili resursno osjetljivije implementacije, možete pokrenuti više Mongot procesa kao zasebnu uslugu iza uravnoteživača opterećenja.U tom modelu, Mongot se može skalirati nezavisno od glavnih servera baze podataka, pružajući vam izolaciju za računski zahtjevna opterećenja pretraživanja i omogućavajući vam fino podešavanje alokacije resursa ako, na primjer, vektorsko pretraživanje postane glavno usko grlo performansi.

U fragmentiranim MongoDB klasterima, Mongot se integrira s postojećom topologijom fragmentiranja umjesto da izmišlja novi model distribucije.Svaki shard asinhrono održava vlastite lokalne indekse pretrage i vektorske pretrage, u suštini djelujući kao lokalna replika pretrage za dio podataka tog sharda.

Kada proces usmjeravanja mongos prima agregacijski cjevovod koji sadrži $search, $searchMeta, ili $vectorSearch, raspršuje zahtjev za pretragu u odgovarajuće fragmenteSvaki krhotina mongod proksira fazu pretrage odgovarajućoj instanci Mongot-a, koja izvršava upit i strimuje nazad rezultate sortirane po $searchScore (obično u opadajućem redoslijedu relevantnosti).

Nakon što svi fragmenti koji učestvuju vrate svoje rezultate, mongos sortiranje spajanjem na osnovu $searchScore i vraća objedinjeni odgovor klijentuZa programere, cijela koordinacija segmentiranja i pretrage ostaje transparentna: izdate jedan upit i dobijete globalno relevantne rezultate, dok se sistem tiho dijeli, širi i rekombinuje iza kulisa.

SSPL licenciranje i šta zapravo znači "podložno inspekciji"

Mongotov izvorni kod je objavljen pod istom Server Side Public License (SSPL) koja reguliše MongoDB Community Edition.Ova licenca se često opisuje kao licenca „dostupan izvornom kodu“, a ne kao klasični otvoreni kod: možete pregledavati, koristiti, mijenjati i dijeliti kod, ali postoje dodatni uslovi ako ga nudite kao uslugu.

Industrijski analitičari su naglasili da SSPL formalno ne ispunjava definiciju licence otvorenog koda Inicijative za otvoreni kod.Iako se ponaša slično otvorenom kodu po tome što možete proučavati i mijenjati izvorni kod, dodaje zahtjeve usmjerene na pružatelje usluga u oblaku i dobavljače usluga koji bi inače mogli uzeti MongoDB-ov kod, pokrenuti ga kao upravljanu uslugu i unovčiti ga bez doprinosa nazad.

Ovaj dizajn je vrlo namjeran: SSPL je namijenjen sprječavanju konkurenta da jednostavno prepakiraju besplatni kod MongoDB-a kao vlastiti plaćeni DBaaS.U praksi, ako ste organizacija krajnjeg korisnika koja implementira MongoDB i Mongot za svoje interne ili aplikacije usmjerene prema korisnicima, možete u potpunosti iskoristiti transparentnost i prilagođavanje, a istovremeno ostati u okviru uslova licence, sve dok ne pokušavate pokrenuti MongoDB-kompatibilnu uslugu u oblaku.

Za programere i arhitekte, važna stvar je da sada mogu provjeriti kako Mongot rješava kreiranje indeksa, parsiranje upita, bodovanje i sličnost vektora, a da to ne tretiraju kao crnu kutiju.Stičete sposobnost rasuđivanja o karakteristikama performansi, istraživanja graničnih slučajeva i potvrđivanja da se sistem ponaša na način koji odgovara vašim zahtjevima za sigurnost, usklađenost i kvalitet.

Zašto je otvaranje Mongota važno za RAG i AI opterećenja

Objavljivanje izvornog koda Mongota posebno je značajno za timove koji grade sisteme za prošireno generisanje podataka (RAG) i aplikacije zasnovane na vještačkoj inteligenciji.U RAG arhitekturama, visokokvalitetna pretraga ugradnje i tekstualnog sadržaja je ključna: ako je pretraživanje slabo ili neprozirno, veliki jezički modeli na kraju haluciniraju ili daju nepotpune odgovore.

Otkrivanjem kako se tekstualni i vektorski upiti indeksiraju i rangiraju, MongoDB daje praktičarima umjetne inteligencije više povjerenja u pouzdanost i ponovljivost njihovih procesa i pomaže u rješavanju problema... Zamka zavisnosti LLM-aMožete ispitati kako se izračunavaju rezultati relevantnosti, kako se vektori upoređuju i kako filteri i agregacije interaguju sa fazama pretrage, što je ključno kada vaš AI sistem mora da ispuni SLA-ove produkcijskog nivoa.

MongoDB je također uveo mogućnosti automatiziranog ugrađivanja vektora u Community Edition.To znači da baza podataka može generirati ugrađivanja za vaš sadržaj kao dio cjevovoda umjesto da vas prisiljava da upravljate zasebnom uslugom ugrađivanja, a zatim ubacujete vektore u skladište treće strane. Za mnoge projekte, posjedovanje baze podataka koja obrađuje i sirove dokumente i njihove vektorske reprezentacije značajno pojednostavljuje RAG arhitekturu.

Ovaj potez vrši konkurentski pritisak na namjenske vektorske baze podataka koje pružaju samo pohranu i pretragu sličnostiAko vaša primarna transakcijska pohrana (MongoDB) sada može efikasno upravljati i ugrađivanjima i vektorskom pretragom, opravdanost uvođenja zasebne, specijalizirane vektorske baze podataka često slabi, posebno u malim i srednjim implementacijama gdje je operativna jednostavnost važna.

Komentatori su istakli da ova strategija direktno cilja samostalne vektorske platformeAko MongoDB može pružiti end-to-end ugrađivanje i cjevovod pretraživanja integriran s postojećim modelima podataka, mnogi timovi će radije koristiti jedan poznati sistem nego žonglirati s odvojenim dobavljačima i slojevima integracije.

Ujedinjeno iskustvo pretraživanja u Atlasu, Zajednici i Poduzeću

Historijski gledano, kompletno iskustvo MongoDB pretrage bilo je usko povezano s Atlasom, potpuno upravljanom ponudom u oblaku od MongoDB-a.Ako ste željeli napredne funkcije pretraživanja, očekivalo se da ćete koristiti Atlas umjesto samostalnog hostinga.

Objavljivanjem Mongota pod SSPL-om, MongoDB efikasno eliminiše funkcionalnu razliku između cloud i samoupravljanih implementacija.Bez obzira da li koristite Community Edition, Enterprise Server ili Atlas, sada je dostupan isti osnovni pretraživač i vektorski pretraživač, te možete bolje uskladiti svoja razvojna i produkcijska okruženja.

Ovo ujedinjenje donosi veliku korist hibridnim i multi-oblačnim strategijama.Organizacije mogu pokretati MongoDB i mongot lokalno za osjetljiva opterećenja koja zahtijevaju potpunu kontrolu, dok i dalje koriste Atlas za ostale dijelove svog stacka, bez potrebe za kompromisima u pogledu mogućnosti pretraživanja ili održavanja dvije različite implementacije.

MongoDB naglašava da bi otvoreni model razvoja zasnovan na Mongotu trebao s vremenom dovesti do robusnijeg i sigurnijeg softvera.Sa širom zajednicom koja može čitati i eksperimentirati s kodom, problemi se mogu otkriti ranije, najbolje prakse se mogu brže širiti, a doprinosi - bilo direktni ili indirektni putem povratnih informacija - mogu pomoći u usavršavanju proizvoda.

Trenutno izdanje Mongota se i dalje opisuje kao javni pregled.Taj status signalizira da MongoDB traži povratne informacije iz stvarnog svijeta o obrascima implementacije, karakteristikama performansi i nedostacima funkcija, dok istovremeno postavlja temelje za potpunu ravnopravnost između implementacija u zajednici i Atlas pretrage u narednim iteracijama.

Praktične koristi za programere i inženjerske timove

S obzirom na to da je Mongot sada dostupan za inspekciju, inženjerski timovi dobijaju nekoliko konkretnih prednosti koje prevazilaze čistu radoznalost.Prva je potpuno ujedinjena platforma: možete pokrenuti istu funkcionalnost pretraživanja i vektorskog pretraživanja u Atlasu, lokalnim klasterima i hibridnim postavkama, što pojednostavljuje strategije testiranja, otklanjanja grešaka i migracije.

Duboke mogućnosti revizije i otklanjanja grešaka su još jedna velika pobjedaZa regulirane industrije ili domene s visokim ulozima, mogućnost tačnog praćenja kako se upit interpretira, kako se izračunavaju rezultati i kako se primjenjuju filteri je zahtjev, a ne luksuz. Pristup izvornom kodu omogućava arhitektima i sigurnosnim timovima da pregledaju implementaciju umjesto da se oslanjaju isključivo na dokumentaciju dobavljača.

Također postoji prostor za prilagođavanje tokom izgradnje i izvršavanjaBudući da se Mongot može izgraditi iz izvornog koda, timovi sa vrlo specifičnim ograničenjima okruženja - kao što su ojačane slike operativnog sistema, određeni lanci alata za kompajliranje ili specijalizirane postavke hardvera - mogu prilagoditi proces izgradnje kako bi odgovarao njihovim standardima, a istovremeno ostati usklađeni s uzvodnim kodom.

Programeri aplikacija također mogu koristiti Mongot kodnu bazu kao referencu za učenje kako arhitektirati visoko skalabilne sisteme s velikim brojem podataka na MongoDB-u.Izvor nudi primjere iz stvarnog svijeta kontrole konkurentnosti, održavanja indeksa, potrošnje toka promjena i orkestracije fragmentiranih upita, što su vrijedni obrasci pri dizajniranju vlastitih usluga.

Konačno, budući da je Mongot sada dio istog ekosistema kojim upravlja SSPL kao i MongoDB Community Edition, operativni timovi mogu dosljedno primjenjivati ​​postojeće politike, alate i pristupe upravljanju i u osnovnoj bazi podataka i u pretraživaču.Ovo smanjuje trenje pri usvajanju naprednih funkcija pretraživanja u okruženjima gdje su usklađenost i upravljanje promjenama strogo kontrolirani.

MongoDB, mongod, mongos i izgradnja iz izvornog koda

Razumijevanje gdje se Mongot nalazi u odnosu na ostatak MongoDB steka pomaže u razjašnjavanju šire slike.U srži svakog raspoređivanja je mongod, glavni server baze podataka koji pohranjuje dokumente u formatu s omogućenom shemom sličnom JSON-u i obrađuje CRUD operacije, transakcije i većinu logike agregacije.

U fragmentiranim okruženjima, mongos djeluje kao usmjerivač upita, koordinirajući koji shardovi trebaju obraditi koje zahtjeve i spajajući njihove rezultateMongot se integriše sa obe ove komponente primanjem proxy faza pretrage od mongod instance na svakom fragmentu i učešće u širem toku rada raspršenog i sakupljenog sadržaja koji pokreće mongos.

MongoDB se distribuira u različitim izdanjima: Community Edition je besplatno i dostupan je sa izvornim kodom, dok Enterprise Server dodaje komercijalne funkcije.Za radna opterećenja hostovana u oblaku, MongoDB Atlas pruža potpuno upravljanu uslugu, eliminirajući instalaciju, nadogradnje, sigurnosne kopije i određenu operativnu složenost.

Za organizacije kojima je potrebno ili preferiraju kompajliranje MongoDB-a iz izvornog koda, postoje službene upute za kompajliranje koje se razlikuju ovisno o glavnoj verziji.Prilikom toga je ključno uskladiti preporučene verzije C++ kompajlera, Pythona, SCons-a i povezanih zavisnosti, jer odstupanja u lancu alata mogu uzrokovati suptilne greške ili probleme s performansama koji se ne pojavljuju u binarnim datotekama koje je dostavio dobavljač.

MongoDB inženjeri često savjetuju da je, ako aktivno ne mijenjate izvorni kod, oslanjanje na službene pakete uglavnom sigurnije i efikasnije.Ove binarne datoteke se kontinuirano validiraju putem otvorenog Evergreen CI sistema i potpisane su za integritet, pružajući jače garancije sigurnosti i stabilnosti nego ad-hoc verzije kreirane u prilagođenim okruženjima.

Sigurnost, LDAP integracija i SSPL razmatranja

Sigurnosne zabrinutosti često navode organizacije da razmotre izgradnju iz izvornog koda ili da vrše strožu kontrolu nad svojim MongoDB implementacijama.Iako kompajliranje vlastitih binarnih datoteka može djelovati sigurnije, MongoDB ističe da službeni paketi već prolaze opsežno testiranje i potpisivanje, te da uključuju najnovije zakrpe - uključujući važne ispravke u manjim izdanjima koje korisnici ponekad previde.

Za autentifikaciju i autorizaciju, MongoDB Enterprise uvodi napredne integracije, uključujući LDAP podršku koja može mapirati korisnike eksternih direktorija na identitete baze podataka.Jedna značajna karakteristika je --ldapUserToDNMapping konfiguracijski parametar, koji vam omogućava da prevedete dolazna korisnička imena u puna LDAP razlikovna imena (DN) koristeći JSON kodirani skup pravila mapiranja.

Konfiguracija mapiranja je uređeni niz dokumenata, od kojih svaki pruža regularni izraz match i bilo a substitution or ldapQuery šablonKada se korisnik autentifikuje, mongod Redom procjenjuje korisničko ime u odnosu na ova pravila, primjenjuje prvo podudaranje i koristi rezultirajući DN ili LDAP upit za pretraživanje korisnika u direktoriju.

Samo jedan od substitution or ldapQuery može se specificirati po dokumentu mapiranja, a ako transformacija ne uspije ili se LDAP server ne može dosegnuti, MongoDB vraća grešku i odbija vezuOvo strogo ponašanje osigurava da se autentifikacija ne vraća tiho na nesigurne zadane postavke kada pretraga direktorija ne uspije.

Počevši od verzije MongoDB 5.0, --ldapUserToDNMapping Postavka također prihvata prazan string ili prazan niz kako bi signalizirala da autentificirano korisničko ime treba tretirati direktno kao LDAP DNU ranijim verzijama, prazno mapiranje bi uzrokovalo neuspjeh transformacije, tako da ova promjena pojednostavljuje konfiguracije gdje korisnička imena već tačno odgovaraju LDAP DN-ovima.

Sa stanovišta licenciranja i upravljanja, kombinovanje SSPL-a za osnovnu bazu podataka i mongot-a sa opcijama autentifikacije na nivou preduzeća omogućava organizacijama da usklade operativnu kontrolu, sigurnosnu poziciju i transparentnost koda u jednom paketu.Timovi mogu pregledati pretraživač, integrirati se s LDAP-om ili drugim sistemima identiteta, a i dalje imati koristi od konzistentnog okvira licenciranja za sve komponente.

Sve u svemu, odluka o otvaranju Mongota usklađuje MongoDB-ove operativne mogućnosti baze podataka, pretraživača i umjetne inteligencije na način koji daje programerima više moći bez prisiljavanja na fragmentiranu arhitekturu.Sa pretragom dostupnih izvora i pretragom vektora, automatiziranim ugrađivanjima u Community Edition, fleksibilnim obrascima implementacije i dubokom integracijom u postojeći model shardinga i rutiranja, timovi sada mogu izgraditi sofisticirana RAG i AI iskustva, a da pritom ostanu unutar jedne, dobro razumljive platforme.