- Kvadratna i regresija zasnovana na kernelu proširuju linearne modele kako bi obuhvatile složene, zakrivljene odnose, a istovremeno predviđaju jednu numeričku vrijednost.
- Grebenska regresija jezgra kombinuje jezgra sličnosti poput RBF-a sa L2 regularizacijom i može se trenirati ili inverzijom matrice ili stohastičkim gradijentnim spustom.
- Gradijentni spust i njegove stohastičke varijante optimiziraju parametre regresije iterativnim smanjenjem funkcije gubitka kao što je srednja kvadratna greška.
- Implementacija ovih ideja u JavaScriptu je jednostavna kodiranjem hipoteze, troškova, gradijenta i SGD petlje, a zatim opcionalno vizualizacijom evoluirajuće regresijske krivulje.
Kada ljudi govore o „kvadratnoj regresiji sa SGD-om korištenjem JavaScripta“, obično miješaju nekoliko blisko povezanih ideja: regresijske modele, učenje zasnovano na gradijentu i praktične implementacije JavaScripta. U praksi, većina primjera koje ćete pronaći na internetu su linearne ili regresije zasnovane na kernelu, trenirane stohastičkim gradijentnim spustom (SGD), ali proširenje istog načina razmišljanja na kvadratne ili složenije modele je vrlo prirodno kada shvatite osnovne koncepte.
Ovaj vodič objedinjuje nekoliko gledišta iz članaka i tutorijala o mašinskom učenju kako bi se izgradilo jedno, detaljno objašnjenje o tome kako regresija i SGD konceptualno funkcionišu, kako se obično implementiraju i kako se sve to može izraziti u JavaScriptu. Usput ćete vidjeti kako se stvari poput regresije grebena kernela, linearne regresije s gradijentnim spustom i stohastičkih strategija treniranja uklapaju, te kako možete prilagoditi te ideje kada želite kvadratni model umjesto jednostavne ravne linije.
Od osnova regresije do izražajnijih modela
U svojoj suštini, svaki regresijski problem se odnosi na predviđanje jedne numeričke vrijednosti iz jedne ili više ulaznih karakteristika. Zamislite procjenu nečije ušteđevine na osnovu njihovih godina i godina radnog staža ili predviđanje cijene stana na osnovu medijana prihoda, veličine kuće i nekoliko drugih karakteristika: model prima vektor brojeva i daje jednu realnu vrijednost predviđanja.
Postoji mnogo različitih porodica regresijskih algoritama, svaka sa kompromisima u pogledu tačnosti, interpretabilnosti i računarskih troškova. Široko korištene opcije uključuju običnu i regulariziranu linearnu regresiju, regresiju k najbližih susjeda, modele zasnovane na stablu odlučivanja kao što su slučajne šume ili varijante pojačavanja, i naravno neuronske mreže koje mogu aproksimirati vrlo složene odnose.
Kvadratna regresija je jednostavno poseban izbor modela gdje vaša hipoteza nije samo prava linija, već uključuje kvadratne članove ulaznih podataka. Za jednu karakteristiku x, mogli biste koristiti model oblika ŷ = a·x² + b·x + c, dok biste za više karakteristika uključili kvadratne, a ponekad i interaktivne članove, efektivno omogućavajući modelu da se savija kako bi uhvatio zakrivljenost u podacima umjesto da sve prisili u strogo linearni odnos.
Umjesto ručnog kreiranja svakog mogućeg polinomskog člana, mnogi moderni pristupi postižu sličnu fleksibilnost korištenjem kernela, koji vam omogućavaju izračunavanje sličnosti između tačaka podataka u implicitnom visokodimenzionalnom prostoru. Kernel metode pružaju način za dobijanje vrlo ekspresivnih modela, uključujući ponašanje slično kvadratnom i mnogo više, a istovremeno omogućavaju matematički upravljivu obuku ako odaberete pravu strategiju optimizacije.
Zašto je regresija grebena kernela važna kada nam je važna zakrivljenost
Grebenska regresija jezgra (KRR) je moćna tehnika za kontinuirana predviđanja koja kombinuje dva ključna sastojka: funkciju jezgra za sličnost i grebensku regularizaciju (L2) kako bi se spriječilo prekomjerno prilagođavanje modela. Iako joj ime izgleda slično običnoj grebenskoj regresiji, grebenska regresija jezgra ponaša se sasvim drugačije jer jezgro implicitno mapira podatke u potencijalno beskonačno-dimenzionalni prostor karakteristika prije prilagođavanja modela.
Jezgrena funkcija je srž KRR-a, mjereći koliko su dva ulazna vektora slična bez eksplicitnog izgradnje te višedimenzionalne reprezentacije. Najčešći izbor je kernel radijalne bazne funkcije (RBF), koji glatko opada s kvadratom udaljenosti između tačaka, prirodno obuhvatajući lokalnu strukturu i nelinearne obrasce u podacima koje bi čisto linearni model propustio.
U RBF kernelu, najčešće ćete podešavati parametar koji se naziva gama ili, alternativno, njegovu ekvivalentnu sigma formulaciju, pri čemu oba kontrolišu koliko brzo sličnost opada kako se tačke udaljavaju. Velika gama (ili mala sigma) znači da samo tačke koje su veoma blizu jedna drugoj značajno utiču na međusobna predviđanja, dok manja gama (ili veća sigma) omogućava modelu da vidi šira susjedstva i glatkije obrasce.
Regularizacija grebena, često napisana kao alfa parametar, kažnjava velike težine u modelu i ključna je za spriječiti prekomjerno prilagođavanje kada je model veoma fleksibilan. Ovo je posebno važno za kernel metode, koje mogu predstavljati izuzetno složene funkcije; bez te L2 kazne, model bi mogao gotovo savršeno odgovarati podacima za obuku, dok bi se loše pokazao na novim primjerima.
U jednoj demonstraciji regresije grebena jezgra zasnovanoj na JavaScriptu, proces obuke učitava skup od, recimo, 200 primjera obuke plus dodatni skup testova i izvještava i o srednjoj kvadratnoj pogrešci (MSE) i o metrici tačnosti izraženoj kao udio predviđanja unutar praga kao što je 0.10 od stvarne vrijednosti. Kako obuka napreduje kroz stotine ili hiljade epoha koristeći SGD, možete vidjeti zapise kao što su rane epohe sa MSE oko 0.025 i niskom tačnošću, koje se polako poboljšavaju do gotovo nulte MSE i tačnosti iznad 0.98 i na podjeli obuke i na testnoj podjeli kada su hiperparametri poput gama, alfa raspada, brzine učenja i maksimalnih epoha dobro odabrani.
Dva načina za treniranje modela regresije grebena kernela
U suštini postoje dvije porodice tehnika za treniranje modela regresije grebena jezgra: jedna zasnovana na eksplicitnoj inverziji matrice jezgra i druga zasnovana na stohastičkom gradijentnom spustu. Oba zahtijevaju odabir vrijednosti alfa za L2 regularizaciju, ali se značajno razlikuju u računarskom ponašanju i skalabilnosti.
Inverzni pristup matrice jezgra konstruira punu matricu parnih sličnosti između svih tačaka treniranja, a zatim rješava linearni sistem kako bi dobio parametre modela odjednom. Ovo direktno rješenje je atraktivno za male i srednje skupove podataka jer često brzo konvergira i može biti numerički stabilno kada se pažljivo implementira, ali matrične operacije postaju skupe kako veličina podataka raste.
Za velike skupove za obuku, izračunavanje i invertovanje pune matrice jezgra može postati neizvodljivo, zbog čega stohastički gradijentni spust kao skalabilnija alternativa dolazi do izražaja. Umjesto rješavanja za tačno rješenje u zatvorenom obliku, iterativno prilagođavate parametre modela kako biste smanjili gubitke, obrađujući podatke u malim dijelovima - ponekad i malim kao jedan primjer za obuku.
Sa SGD treningom za regresiju grebena jezgra, i dalje se oslanjate na evaluacije jezgra za predviđanja i izračunavanje gradijenata, ali vam više nije potrebna potpuna inverzija matrice; umjesto toga, optimizaciju razvijate kroz mnogo epoha sa stopom učenja, moguće rasporedom alfa raspada za termin regularizacije i uslovom zaustavljanja. U ranije spomenutom JavaScript demo primjeru, na primjer, parametri kao što su RBF gama = 0.3, alfa decay = 1e‑5, stopa učenja oko 0.05 i maxEpochs oko 2000 doveli su do stalnog pada MSE i povećanja tačnosti.
Kada sve prođe dobro, regresija grebena jezgra sa SGD-om može biti izuzetno efikasna, često dajući veoma tačna numerička predviđanja čak i na složenim skupovima podataka koji pokazuju snažno nelinearno ponašanje, po cijenu nekih pokušaja i grešaka kako bi se ispravno odredila brzina učenja, regularizacija i parametri jezgra. Ako zamislite kvadratnu regresiju kao način obuhvatanja zakrivljenosti, KRR u suštini generalizuje tu ideju na mnogo bogatiji, kernelski definisan prostor funkcija, a istovremeno se može obučavati metodama zasnovanim na gradijentu.
Razumijevanje gradijentnog spusta i SGD-a jednostavnim riječima
Gradijentni spust je tehnika optimizacije opšte namjene koja se koristi u mnogim algoritmima mašinskog učenja, od jednostavne linearne regresije do dubokih neuronskih mreža. Centralna ideja je konceptualno jednostavna: definirajte funkciju troškova (ili gubitka) koja mjeri koliko su loša vaša predviđanja, a zatim iterativno podešavajte parametre modela u smjeru koji smanjuje taj trošak.
U standardnom okruženju linearne regresije, model možete izraziti kao ŷ = w·x + b, gdje w predstavlja težine, a b član pristranosti, te definirati ukupni gubitak kao prosjek kvadrata razlika između predviđenih i stvarnih vrijednosti. Formalnije, sa n primjera, možete napisati L(w, b) = (1/n)Σ (yᵢ − ŷᵢ)², što je poznata srednja kvadratna greška koja se koristi u mnogim regresijskim problemima jer snažno kažnjava velika pogrešna predviđanja.
Gradijent funkcije gubitka u odnosu na svaki parametar govori vam kako se gubitak mijenja ako malo promijenite taj parametar, što prirodno sugerira jednostavno pravilo ažuriranja. Generički korak ažuriranja gradijentnog spusta za parametar θ je θ := θ − η·∇θL(θ), gdje je η brzina učenja, a ∇θL(θ) je derivat (ili parcijalni derivat) gubitka u odnosu na θ.
Uobičajena analogija je zamisliti sebe na planinskom pejzažu gdje nadmorska visina odgovara gubitku, a vaš horizontalni položaj odgovara trenutnim vrijednostima parametara. Nagib je usmjeren prema gore, tako da ako koračate u potpuno suprotnom smjeru, hodate nizbrdo prema dolini; odabir veličine ovih stepenica je ono što utiče na brzinu učenja.
Ako je stopa učenja prevelika, možete preskočiti najnižu tačku i početi poskakivati ili čak odstupati; ako je premala, napredujete tako sporo da obuka traje nepraktično dugo. Za jednostavne konveksne probleme poput linearne regresije, obično ste sigurni sve dok je brzina učenja umjerena, ali za složenije višedimenzionalne površine ili izražajnije modele - poput kernel metoda ili višekarakterističkih kvadratnih modela - podešavanje ovog parametra postaje delikatnije.
Od grupnog gradijentnog spusta do stohastičkih i mini-grujskih ažuriranja
Tradicionalni (serijski) gradijentni spust izračunava gradijent koristeći cijeli skup za obuku prije izvođenja svakog ažuriranja, što dovodi do glatkog i predvidljivog napretka, ali može biti računski zahtjevan na velikim skupovima podataka. Ponovno izračunavate derivate gubitka u odnosu na svaki parametar sumiranjem svih primjera, ažuriranjem parametara jednom i ponavljanjem za mnogo iteracija.
Stohastički gradijentni spust (SGD) modificira ovu strategiju aproksimacijom gradijenta koristeći samo jedan nasumično odabrani primjer obuke u datom trenutku. U matematičkoj notaciji, umjesto izračunavanja punog gradijenta ∇θL(θ), koristi se ∇θℓ(xᵢ, yᵢ; θ), gdje je ℓ gubitak za jedan uzorak, i oslanja se na slučajnost uzorkovanja kako bi se parametri pomaknuli u približno pravom smjeru tokom mnogo iteracija.
Ova stohastička aproksimacija ima neke zanimljive posljedice: svako ažuriranje je vrlo jeftino, obuka može biti znatno brža, a putanja funkcije gubitka kroz iteracije obično izgleda šumno, a ne savršeno glatko. Uprkos toj šumu, SGD često brže dostiže dobre minimume, posebno kada je skup podataka velik ili kada bi pristup svim primjerima u svakom koraku bio previše spor.
Kompromis između full-batch i čistog SGD-a je mini-batch gradijentni spust, gdje se gradijent izračunava na malom podskupu primjera u svakoj iteraciji. Odabir veličine serije veće od 1, ali manje od cijelog skupa podataka, ublažava dio varijanse u ažuriranjima i može biti efikasniji na modernom hardveru, a istovremeno ima koristi od čestih, relativno jeftinih ažuriranja parametara.
U praksi, tutorijali koji implementiraju linearnu regresiju s gradijentnim spustom često eksperimentišu s različitim varijantama - full-batch, stohastičkom i mini-batch - i pokazuju kako regresijska linija skače nepravilnije pod SGD-om dok traži dobru konfiguraciju nagiba i odsječka na tački 3. Ovo vizualno ponašanje je konkretan primjer kako SGD žrtvuje glatku konvergenciju za brzinu i skalabilnost.
Izvođenje gradijenta za jednostavnu linearnu regresiju
Da bismo precizno vidjeli kako funkcioniraju ažuriranja gradijentnog spusta, korisno je izvesti gradijente za osnovni univarijantni linearni regresijski model ŷ = m·x + b obučen sa srednjom kvadratnom greškom. Počinjete od funkcije troškova definirane kao prosjek kvadrata reziduala, a zatim uzimate parcijalne derivate u odnosu na m i b odvojeno.
Za nagib m, posmatrate unutrašnji izraz y − (m·x + b) na kvadrat i primjenjujete pravilo lanca: diferencirate vanjski kvadrat da biste dobili 2(·), unutrašnji dio ostavite istim, a zatim diferencirate unutrašnji dio u odnosu na m. Pošto se y i b tretiraju kao konstante, izvod od y − (m·x + b) u odnosu na m je jednostavno −x, tako da zajedno dobijate član proporcionalan sa −2x · (y − (m·x + b)).
Ovaj izraz u suštini kaže: ako je predviđanje prenisko u poređenju sa y, gradijent pomiče m prema gore, a ako je previsoko, gradijent pomiče m prema dolje, pri čemu je veličina promjene skalirana i ulaznom vrijednošću x i veličinom greške. Sumiranjem svih podataka (ili usrednjavanjem, ovisno o formulaciji) dobija se puna komponenta gradijenta za m koja se koristi u koraku grupnog treniranja.
Izvođenje za odsječak b prati isti obrazac, ali unutrašnji izvod se pojednostavljuje na -1 jer je izvod b u odnosu na sebe jednak 1, dok se y i m·x tretiraju kao konstante. Ovo proizvodi član ažuriranja kao što je −2 · (y − (m·x + b)) agregiran u svim primjerima obuke, koji pomiče presjek gore ili dolje na osnovu toga da li model u prosjeku teži podcjenjivanju ili precjenjivanju.
Oba gradijenta se zatim uključuju u pravila iterativnog ažuriranja, tako da u svakoj epohi malo prilagođavate m i b, bilo koristeći sve primjere (serijski) ili jedan ili nekoliko primjera odjednom (stohastički ili mini-serijski), postepeno svodeći MSE prema minimumu. Kada promjene u gubitku ili parametrima postanu dovoljno male, možete zaustaviti učenje i tretirati rezultirajuću liniju kao najbolju aproksimaciju osnovnog odnosa.
Šetnja kroz primjer SGD-a na stvarnim podacima o stanovanju
Klasičan primjer koji se koristi u tutorijalima gradijentnog spusta uključuje predviđanje cijena nekretnina korištenjem skupa podataka poput podataka o stanovanju u Kaliforniji, gdje karakteristike uključuju srednji prihod, starost kuće, prosječan broj soba i još mnogo toga. Istraživanjem korelacija između karakteristika i ciljnih cijena, možete vidjeti koje varijable nose najprediktivniji signal i odlučiti se za pojednostavljenu postavku regresije za učenje.
Kada ispitujete matrice korelacije za takav skup podataka, obično vidite da srednji prihod ima vrlo jaku pozitivnu korelaciju s ciljanim cijenama, dok druge varijable poput geografske širine ili prosječne popunjenosti pokazuju slabije veze. Ovo zapažanje potiče početak s univarijantnom regresijom koristeći medijan prihoda kao jedinu karakteristiku, samo da bi se razumjelo ponašanje gradijentnog spusta prije generalizacije na više karakteristika.
Čak i u ovom pojednostavljenom okruženju, sirovi podaci mogu sadržavati izuzetke, poput izuzetno skupih kuća čije su cijene daleko izvan tipičnog raspona u kojem se nalazi većina podatkovnih tačaka. Mnogi vodiči preporučuju uklanjanje ili filtriranje takvih ekstremnih vrijednosti kako bi se smanjila buka, a zatim skaliranje i ulazne karakteristike (npr. medijana prihoda) i ciljne varijable u raspon za stabilniju optimizaciju.
Nakon što je očišćen i skaliran skup podataka spreman, možete vizualizirati podatkovne točke u dijagramu raspršenja i vidjeti da se one otprilike grupiraju duž uzlaznog uzorka, iako s primjetnim širenjem i povremenim odstupanjima. Jednostavan model pravolinijske regresije neće savršeno opisati svaku tačku, ali može uhvatiti opći trend, a gradijentni spust će pomoći u lociranju te linije podešavanjem vrijednosti nagiba i odsječka na tački.
Implementacije u Pythonu se često oslanjaju na biblioteke kao što su NumPy i scikit-learn radi praktičnosti, ali isti principi se prenose i na JavaScript, gdje možete ručno kodirati petlju gradijentnog spusta koristeći obične nizove ili tipizirane nizove. Više puta izračunavate predviđanja, procjenjujete MSE, izračunavate gradijente, ažurirate parametre i posmatrate kako se linija regresije sve više približava oblaku tačaka koje predstavljaju podatke za obuku.
Linearna i kvadratna regresija s gradijentnim spustom u JavaScriptu
Programeri koji dolaze iz web pozadine često preferiraju eksperimentiranje s idejama strojnog učenja direktno u JavaScriptu, posebno kada su inspirirani popularnim kursevima poput Andrew Ng-ovog kursa o strojnom učenju. Implementacija linearne regresije sa gradijentnim spustom u JS-u je pristupačan način povezivanja matematike na univerzitetskom nivou sa praktičnim iskustvom u web razvoju.
U tipičnom tutorijalu, počinjete s vrlo konkretnim problemom poput predviđanja cijena nekretnina u gradu isključivo na osnovu veličine nekretnine. Svaki primjer obuke sastoji se od jedne karakteristike - veličine u kvadratnim metrima - i odgovarajuće oznake cijene, formirajući klasičnu univarijantnu linearnu regresiju gdje hipotezu možete napisati kao h(x) = θ₀ + θ₁·x.
JavaScript kod za takav model može definirati funkciju hipoteze koja uzima x, množi ga sa naučenim nagibom θ₁ i dodaje odsječak na krivulji θ₀, a zatim vraća predviđenu cijenu. Da biste trenirali ovaj model gradijentnim spustom, definirate funkciju troškova koja izračunava srednju kvadratnu grešku u vašem skupu za obuku, a zatim implementirate petlju koja više puta ažurira θ₀ i θ₁ koristeći njihove izračunate gradijente.
Iako se mnogi uvodni članci fokusiraju na linearne modele, iste ideje možete proširiti na kvadratnu regresiju proširivanjem reprezentacije karakteristika u JavaScriptu. Na primjer, možete tretirati x i x² kao dvije odvojene karakteristike, definirati model ŷ = θ₀ + θ₁·x + θ₂·x² i izvesti gradijente u odnosu na sva tri parametra; iz perspektive algoritma za obuku, ovo je jednostavno multivarijantna linearna regresija preko proširenog vektora karakteristika.
Ono što ove JavaScript eksperimente čini posebno zanimljivim jeste to što možete upariti logiku obuke sa vizuelnim slojem, često implementiranim u Reactu ili nekom drugom UI frameworku, kako biste prikazali tačke obuke i trenutnu regresijsku krivulju u realnom vremenu. Kako gradijentni spust napreduje, možete doslovno gledati kako se linija ili kvadratna krivulja pomiče kako bi se bolje uskladila s podacima, što pruža vrlo intuitivan osjećaj za ono što optimizacija radi "ispod haube".
Funkcije troškova, prostor parametara i uloga brzine učenja
Bez obzira da li se radi o linearnoj, kvadratnoj ili regresiji zasnovanoj na kernelu, pojam funkcije troškova je ključan jer vam daje skalarni cilj koji treba minimizirati. U većini slučajeva upotrebe regresije, cijena se zasniva na kvadratnoj grešci jer kvadriranje snažnije kažnjava velika odstupanja i izbjegava poništavanje između pozitivnih i negativnih razlika.
Svaki izbor vrijednosti parametara - recimo (θ₀, θ₁) za jednostavnu liniju ili (w, b) za generički linearni model - odgovara jednoj tački u prostoru parametara, a funkcija troškova definira površinu nad tim prostorom. Kada vizualizirate troškove za sve moguće kombinacije parametara, dobit ćete pejzaž brda i dolina, gdje najniža dolina odgovara modelu s najboljim performansama pod odabranom funkcijom gubitka.
Algoritmi gradijentnog spusta kreću se ovim pejzažem tako što više puta izračunavaju vektor gradijenta, koji pokazuje u smjeru najstrmijeg porasta troškova, a zatim mijenjaju parametre u suprotnom smjeru kako bi se smanjili. Veličina koraka se skalira prema brzini učenja, tako da tu brzinu možete smatrati dugmetom koje kontrolira koliko je agresivan svaki potez prema nižim troškovima.
U univarijantnoj linearnoj regresiji s konveksnom kvadratnom površinom troškova, postoji jedan globalni minimum, tako da će gradijentni spust pokrenut sa gotovo bilo koje razumne početne tačke na kraju konvergirati tamo uz odgovarajuću brzinu učenja. Nasuprot tome, izražajniji modeli ili složenije površine gubitaka mogu imati više lokalnih minimuma; u tim slučajevima, početna tačka i stohastička priroda SGD-a mogu uticati na to koji minimum ćete dostići.
Tutorijali često ističu ovo ponašanje koristeći metaforu brda i doline: zamislite da krećete od nasumičnog mjesta u planinskom području, osjećate koji je put najstrmiji nizbrdo i pravite korak u tom smjeru, ponavljajući proces sve dok ne možete dalje silaziti. Matematički, taj prelazak s vrha brda na dolinu odgovara lancu ažuriranja gradijenta koji na kraju proizvode stabilne vrijednosti parametara za vaš regresijski model.
SGD, mini serije i praktični savjeti za implementaciju
Prilikom prelaska sa konceptualne matematike na stvarni kod, stohastički gradijentni spust uvodi praktične konfiguracijske izbore kao što su veličina serije, maksimalan broj epoha, rasporedi brzine učenja i kriteriji zaustavljanja. Svaka od ovih postavki može značajno uticati na brzinu konvergiranja vašeg regresijskog modela i na to koliko dobro generalizuje izvan podataka za obuku.
Čisti SGD, s veličinom serije jednakom jedan, ažurira parametre nakon svakog pojedinačnog primjera, što često dovodi do vrlo brzog početnog napretka, ali i do bučne putanje treniranja. Neke implementacije kompenziraju korištenjem manjih brzina učenja za SGD nego za gradijentni spust u serijama, čime se ublažava volatilnost svakog ažuriranja, a istovremeno se koriste prednosti čestih promjena parametara.
Mini-serijski SGD postiže pragmatičnu ravnotežu izračunavanjem gradijenta na malim grupama primjera - možda 16, 32 ili 64 uzorka istovremeno - tako da je svaki korak informiran višestrukim tačkama, a ipak mnogo jeftiniji od punih serijskih ažuriranja na ogromnim skupovima podataka. Posebno za rijetke podatke ili prilikom obuke na GPU-ima, mini-serije mogu značajno ubrzati konvergenciju i efikasnije koristiti hardver.
U komparativnim eksperimentima, uobičajeno je da SGD ili mini-batch varijante mogu biti otprilike dvostruko brže od punog gradijentnog spuštanja, a istovremeno postižu vrlo sličnu konačnu MSE, posebno kada su pravilno podešene. Također možete vidjeti da manje stope učenja mogu pomoći u zaštiti od prekomjernog prilagođavanja ili nestabilnosti, dok previše agresivna stopa može uzrokovati vrtoglavi porast gubitka umjesto smanjenja.
Tehnike regularizacije poput L2 kazni (greben), ponekad u kombinaciji sa opadajućim alfa vrijednostima tokom vremena, pomažu u kontroli veličina parametara kako se SGD ažuriranja akumuliraju, što je podjednako važno za jednostavnu kvadratnu regresiju kao i za naprednije metode poput grebenske regresije kernela ili treniranja neuronskih mreža. U JavaScript implementacijama, jednostavno uključujete ove termine u svoje formule gradijenta, dodajući derivat kazne za regularizaciju pored standardnog gradijenta gubitka za svaki parametar.
Spajanje svih ovih ideja - pažljivo definiranih funkcija troškova, eksplicitno izvedenih gradijenata, promišljene upotrebe stohastičkih ili mini-serijskih ažuriranja, razumne brzine učenja i izbora regularizacije - daje vam solidnu osnovu za izgradnju regresijskih modela u JavaScriptu koji idu dalje od pravih linija kako bi uhvatili realističnu zakrivljenost i složene odnose u podacima. Bez obzira da li rezultat označavate kao kvadratnu regresiju, regresiju grebena jezgra ili nešto između, petlja za obuku zasnovana na SGD-u slijedi istu logiku i nudi fleksibilan, skalabilan alat za pretvaranje matematičke intuicije u funkcionalni prediktivni kod u pretraživaču ili na serveru.
