PyTorch na TPU-ima: Detaljan pregled TorchTPU-a, XLA-a i Cloud TPU-a

Početna » piton » PyTorch na TPU-ima: Detaljan pregled TorchTPU-a, XLA-a i Cloud TPU-a

Pokretanje PyTorcha na Google TPU-ima više nije nišna, eksperimentalna putanja rezervisana za nekolicinu stručnjaka.Između novog Googlea TorchTPU stek, provjereni PyTorch/XLA projekat i rastući ekosistem alata i okvira, modeli za obuku i posluživanje na TPU-ovima brzo postaju prirodni kao i rad na NVIDIA GPU-ima. Velika promjena je u tome što sada možete ciljati na visoke performanse, ogromnu skalu i mnogo glatkije iskustvo za programere u isto vrijeme.

Ovaj članak detaljno istražuje kako PyTorch danas koristi TPU-ove i kuda taj stack ide.U nastavku ćemo detaljno objasniti TorchTPU arhitekturu, razlike u odnosu na tradicionalni PyTorch/XLA, kako funkcionira distribuirano obučavanje, kompilacija i hardverske specifičnosti, te šta to znači u praksi ako migrirate PyTorch radne procese usmjerene na GPU. Ako živite u svijetu LLM-ova, difuzije ili velikih sistema preporuka, detalji u nastavku su upravo ona vrsta niskonivojske stvarnosti koja će odlučiti hoće li vaš TPU raditi uspješno ili ne.

Zašto je PyTorch na TPU-ovima trenutno važan

Moderna AI radna opterećenja su prerasla jednostavnu eru "jedna mašina, nekoliko GPU-ova".Najsavremeniji modeli sada se protežu kroz klastere koji sadrže desetine hiljada akceleratora, podstičući softver da se nosi sa ekstremnim obimom, pouzdanim distribuiranim izvršavanjem i prenosivim performansama na različitim čipovima i kod različitih dobavljača. Infrastruktura umjetne inteligencije.

Googleove tenzorske procesorske jedinice (TPU) nalaze se u srcu ove granice.Oni pokreću interne sisteme poput Geminija i Veo-a, kao i veliki dio radnih opterećenja obuke i zaključivanja korisnika Google Clouda. Historijski gledano, TPU-ovi su bili blisko povezani s JAX-om i TensorFlow-om, ali širi ekosistem se u velikoj mjeri standardizirao na PyTorchu, što je stvorilo bolnu podjelu: GPU-ovi su značili "PyTorch + CUDA", a TPU-ovi "JAX + XLA".

Googleov odgovor je napor da se TPU-ovi osjećaju kao prvoklasna meta PyTorcha.TorchTPU ima za cilj da vam pruži izvornu, energičnu PyTorch semantiku s vrhunskim performansama, dok PyTorch/XLA ostaje moćan, lijeno kompajliran put koji je već široko prihvaćen u produkciji. Oko ovih stekova, Cloud TPU, GKE, Vertex AI i okviri zajednice poput easy-torch-tpu pretvaraju TPU klastere u jednostavnu, skriptabilnu infrastrukturu za sve, od 1B do 70B+ parametarskih modela.

Unutar TPU hardvera: više od samo bržeg čipa

TPU sistem je u osnovi čvrsto integrirana mreža čipova, hostova i međusobnih veza., ne samo jedna akceleratorska kartica. Razumijevanje ovog rasporeda je ključno za razumijevanje dizajna TorchTPU-a i zašto se njegovi izbori kompajlera razlikuju od čistih GPU stekova.

Svaki TPU host se povezuje s više TPU čipova putem Inter-Chip Interconnect (ICI).ICI formira 2D ili 3D torus topologiju visoke propusnosti, koja omogućava velikim podovima da se ponašaju kao jedan logički akcelerator. Umjesto prenošenja gradijenta kroz tradicionalne mrežne stekove, kolektivi se direktno kreću na ovom torusu, što čini skaliranje mnogo efikasnijim kada vaš softver zna kako ispravno izraziti te kolektive.

Unutar TPU čipa, računanje je podijeljeno između TensorCores i SparseCoresTensorCores su specijalizirani, jednonitni mehanizmi koji se ističu u gustoj matematici matrica - upravo ono što pokreće transformatore, CNN-ove i većinu standardnih slojeva dubokog učenja. SparseCores su dizajnirani za opterećenja s nepravilnim obrascima pristupa memoriji, kao što su ugrađivanja, prikupljanja/rasipanja i rasterećene kolektivne operacije.

Ova arhitektura je fantastična za duboko učenje, ali je izbirljiva u pogledu načina na koji je hraniteNa primjer, mnoge implementacije transformatora tvrdo kodiraju dimenzije glave za praćenje od 64. Trenutne TPU generacije obično dostižu svoju najslađu tačku na 128-256, što znači da jednostavno udvostručenje dimenzije glave može dramatično poboljšati efikasnost množenja matrica i iskorištenost TensorCore-a. Prenosivost ne briše ove hardverske realnosti; samo olakšava njihov pristup.

Od PyTorch/XLA do TorchTPU: dva komplementarna načina za pokretanje PyTorch-a na TPU-ovima

PyTorch već danas može raditi na TPU-ima putem PyTorch/XLA (torch_xla), koji predstavlja TPU-ove kao standardne PyTorch uređaje i kompajlira "lijene" XLA grafove "u suštini". Međutim, mnogi istraživači su otkrili da, iako su promjene u njihovom kodu male na papiru, razlika u ponašanju u odnosu na izvršavanje od strane GPU-a može djelovati iritantno.

TorchTPU je Googleov novi, izvorni PyTorch backend dizajniran da se osjeća kao "pravi" PyTorch, a ne kao omotač.Umjesto prisilnog pretvaranja PyTorcha u JAX-sličan model sa Lazy Tensors posvuda, TorchTPU se oslanja na PyTorch-ovo brzo izvršavanje i moderne API-je za kompilaciju poput torch.compile. Koristi PrivatnaUpotreba1 mehanizam uređaja u PyTorchu, tako da iz vaše perspektive radite samo s regularnim baklja.Tensor objekti koji se slučajno nalaze na TPU-u.

Ključna razlika između dva pristupa je stil izvršenjaPyTorch/XLA podrazumijeva lijeno izvršavanje: operacije grade graf, koji zatim pokreće XLA kompilaciju kada dođe do sinhronizacijske barijere, kao što je korak u vašoj petlji učenja. TorchTPU je, nasuprot tome, arhitektonski dizajniran kao "Eager First", s dodatnim načinima rada koji progresivno spajaju operacije i predaju optimizirane podgrafove XLA-i bez traženja da napustite standardni PyTorch mentalni model.

Cloud TPU, GKE i Vertex AI: okosnica infrastrukture

Ispod bilo kojeg PyTorch-on-TPU steka koji odaberete nalazi se Cloud TPU platforma., koji izlaže prilagođene ASIC-ove kao skalabilne cloud resurse podešene i za obuku i za zaključivanje. Ovi akceleratori se koriste za širok spektar radnih opterećenja: konverzacijski agenti, generiranje koda, modeli slika i medija, govor, sistemi preporuka i mehanizmi za personalizaciju.

Cloud TPU-ovi su čvrsto integrirani s Google Kubernetes Engineom (GKE)., tako da možete zakazivati ​​velike PyTorch poslove koristeći standardne Kubernetes primitive. Dinamički planer opterećenja vam omogućava da zatražite cijelu flotu akceleratora koji su vam potrebni odjednom, osiguravajući da se hiljade TPU čipova povežu online kako bi trenirali ili opsluživali model bez ručne orkestracije.

Za timove koji žele najjednostavniji ulazak u sistem, Vertex AI apstrahuje većinu upravljanja klasterima.Možete ciljati TPU-ove iz upravljanih radnih procesa obuke i posluživanja, uključujući i kada koristite Modeli zasnovani na PyTorchuGoogle Cloud pozicionira ovu fleksibilnost – TPU-ove ili GPU-ove, upravljane ili DIY Kubernetes – kao direktan odgovor na rastuću potražnju za AI infrastrukturom od strane preduzeća i istraživačkih laboratorija.

Osnovna filozofija TorchTPU-a: „PyTorch građanstvo“

Centralni cilj dizajna TorchTPU-a je jasan: trebao bi se osjećati kao PyTorch, a ne kao strani framework.Ako već znate kako trenirati model na CUDA GPU-ovima, trebali biste biti u mogućnosti prenijeti isti taj skript za treniranje na TPU-ove uz minimalne izmjene koda i bez prepisivanja vašeg mentalnog modela.

U praktičnom smislu, idealna migracija izgleda gotovo komično jednostavno.Gdje biste inače pisali uređaj = baklja.uređaj('cuda'), umjesto toga dobijate TPU uređaj iz TorchTPU modula - konceptualno nešto poput uređaj = tpu.get_device()—i pozovite model.to(uređaj) baš kao što biste to učinili na GPU-u. Vaš prolaz naprijed, logika optimizatora i način na koji pozivate modele Hugging Face mogu ostati nepromijenjeni.

Prethodne TPU integracije su često tjerale PyTorch da imitira JAX.: uveliko su se oslanjali na Lazy Tensors i prisiljavali vas na razmišljanje u statičkom grafu. To je uništilo jednu od najvećih prednosti PyTorcha: niste mogli samo umetnuti ispis usred vašeg prolaska naprijed da biste pregledali oblike ili vrijednosti. TorchTPU odbacuje taj kompromis. Zadržava željno ponašanje kao osnovu i gradi performanse oko njega, umjesto da vas traži da ga napustite.

Ovaj princip „PyTorch građanstva“ se proteže i na rukovanje greškama.Umjesto kriptičnih, 500-linijski C++ tragova steka zakopanih duboko u XLA steku, cilj je izvući čiste Python tragove koji direktno ukazuju na problematičnu liniju u vašoj petlji za obuku ili definiciji modela. Kada žonglirate modelima s više milijardi parametara i hiljadama TPU-ova, to poboljšanje kvalitete života je razlika između popodnevnog popravka i dana besciljnog otklanjanja grešaka.

Eager načini rada u TorchTPU-u: Debug, Strict i Fused

Pružanje izvornog Eager iskustva na hardveru izgrađenom za velike spojene grafove nije trivijalno.TorchTPU rješava ovaj problem nudeći nekoliko Eager modova podržanih zajedničkim cjevovodom za kompajliranje i izvršavanje, tako da možete glatko preći sa "učinite da radi" na "učinite da bude brzo".

Nestrpljiv za otklanjanjem grešaka je najsporiji, ali i najtransparentniji način rada. On šalje jedna operacija istovremeno do TPU-a i sinhronizuje se sa CPU-om nakon svake operacije. Performanse su namjerno žrtvovane tako da možete lako pronaći NaN-ove, neusklađenosti oblika ili greške zbog nedostatka memorije uz trenutne povratne informacije i jasne tragove steka.

Strogi Nestrpljivi zadržava ovu semantiku otpreme jedne operacije, ali izvršava asinhronoTPU i CPU mogu raditi paralelno sve dok korisnički kod ne dostigne tačku sinhronizacije, pružajući iskustvo mnogo bliže standardnom PyTorchu podržanom GPU-om, ali i dalje bez velikih zahtjeva za kompilaciju grafova.

Fused Eager je mjesto gdje stvari postaju zaista zanimljive sa stanovišta performansi.TorchTPU prati tok operacija koje izvršavate i automatski ih spaja u veće, gušće računske dijelove prije nego što ih pošalje TPU-u putem XLA. Ovaj korak dinamičkog spajanja značajno povećava iskorištenost TensorCore-a i smanjuje opterećenje memorijskog propusnog opsega, rutinski dajući... 50-100%+ ubrzanja u odnosu na Strict Eager bez ikakvih promjena koda modela.

Sva tri Eager moda dijele zajednički predmemoriju kompilacije koji mogu postojati na jednom hostu ili biti trajni na više hostova u distribuiranoj konfiguraciji. Vremenom, kako se vaša petlja za obuku stabilizuje i sistem vidi iste obrasce, troškovi kompajliranja opadaju i provodite više vremena na zidu obrađujući tenzore umjesto da gradite izvršne datoteke.

Statička kompilacija: torch.compile, XLA i StableHLO

Kada vam trebaju apsolutno vrhunske performanse na TPU-ovima, TorchTPU se direktno povezuje sa modernim PyTorch kompajlnim procesom.Modele ili funkcije možete obmotati sa baklja.kompiliraj(), koji snima FX graf koristeći Torch Dynamo, a zatim zaobilazi uobičajeni TorchInductor backend i umjesto toga predaje kontrolu XLA-i.

Odabir XLA kao primarnog backenda je namjerna odluka utemeljena u TPU stvarnosti.XLA je ojačan tokom godina implementacije u TPU podovima i duboko razumije presjek guste matematike i kolektivne komunikacije preko ICI torusa. TorchTPU direktno mapira PyTorch operatore u... Stabilni HLO, tenzorski IR koji razumije OpenXLA, zatim omogućava XLA-ovim spuštajućim prolazima generiranje optimiziranih TPU binarnih datoteka, ponovno koristeći iste runtime putanje kao i eager modovi gdje god je to moguće.

Proširivost za prilagođene operatore nije sporedna stvarTorchTPU podržava prilagođene kernele definirane u Pallasu i JAX-u: ukrašavanjem JAX funkcije nečim poput @torch_tpu.pallas.custom_jax_kernel, možete ubrizgati kod niskog nivoa, podešen hardverom, u putanju kompilacije bez gubitka prednosti globalnog optimizatora. Također se radi na podršci dodatnih DSL-ova kao što je Helion za još fleksibilnije kreiranje kernela.

Distribuirani PyTorch na TPU-ovima: DDP, FSDP, DTensor i MPMD

Masivni modeli ne treniraju na jednom akceleratoru, a TorchTPU je izgrađen imajući tu stvarnost u prvom planu.Integrira se direktno sa standardnim distribuiranim API-jima PyTorcha, uključujući DistribuiraniPodaciParalelno (DDP), FSDPv2, I DTenzori validiran je s bibliotekama trećih strana koje se temelje na tim apstrakcijama.

Jedna od velikih historijskih problema s PyTorch/XLA bila je njegova stroga SPMD (Jedan program, više podataka) pristranost.Mnogi skripti za obuku PyTorcha iz stvarnog svijeta imaju male razlike između rangova - rang 0 može obrađivati ​​​​logging, kontrolne tačke ili metrike, dok drugi rangovi obavljaju čisto računanje. Za XLA-in globalni graf, ovakvo ponašanje je bilo nezgodno i često je prisiljavalo programere da prepisuju kod kako bi izbjegli razlike.

TorchTPU eksplicitno prihvata MPMD (Višestruki program, Višestruki podaci) scenarijePažljivo izoluje i određuje opseg komunikacijskih primitiva tako da divergentno ponašanje ne narušava ispravnost ili ne ubija performanse. Gdje god je to moguće, i dalje omogućava XLA da vidi globalnu sliku distribuiranog izračunavanja kako bi se komunikacija preklopila s izračunavanjem, ali vas više ne prisiljava na nerealno čisti SPMD stil.

Način na koji se ovo uklapa u postojeće distribuirane paradigme PyTorch-a je posebno važan.Okviri poput FSDP-a, DTensor-a i alati ekosistema poput TorchTitana oslanjaju se na Grupa procesa API za kolektive poput all-reduce, all-gather i broadcast. Na GPU-ima, ovi pozivi se obično rješavaju NCCL-om. TorchTPU presreće ove kolektive na sloju ProcessGroup i spušta ih u StableHLO kolektivne operacije, koje TPU hardver i ICI torus izvršavaju izvorno. Iz perspektive FSDP-a ili DTensor-a, ništa se nije promijenilo - oni jednostavno vide drugačiji backend.

PyTorch/XLA: lijeno izvršavanje, tačke sinhronizacije i praktični savjeti

Iako je TorchTPU dugoročni, potpuno nativni put, PyTorch/XLA ostaje ključni alat za pokretanje PyTorcha na TPU-ovima danas.Ako ste navikli na brzo izvršavanje CUDA-e, najveća konceptualna promjena s PyTorch/XLA je to što su tenzori... lenjOperacije zapisuju graf; stvarno izvršavanje i kompajliranje se dešavaju kada eksplicitno ili implicitno sinhronizujete.

Tačke sinhronizacije su mjesta gdje PyTorch/XLA predaje izgrađeni graf XLA-i za kompajliranje i izvršavanje.Tipične prepreke uključuju pozive poput torch_xla.sync() ili komunalne usluge višeg nivoa kao što su xm.optimizer_step(optimizer), koji i podešavaju vaš optimizator i sinhronizuju gradijente na različitim uređajima kada se nalazite u distribuiranoj postavci.

Ovaj lijeni model ima velike implikacije na performansePrilikom prvog izvršavanja datog grafa (ili grafa s novim ulaznim oblicima), plaćate troškove kompajliranja, ali sljedeće iteracije se izvršavaju mnogo brže sve dok struktura ostaje stabilna. Zato je stabilnost oblika - fiksne dužine sekvenci, konzistentne veličine serija - toliko važna za PyTorch/XLA radna opterećenja, i zašto... popunjavanje ulaza fiksnim veličinama je tako uobičajen obrazac.

Višeprocesna obuka na PyTorch/XLA koristi vlastite alate za praktičnostObično završite svoju osnovnu funkciju treninga (na primjer, _mp_mnist_fn) i pokrenite ga na svim uređajima pomoću torch_xla.launchUčitavanje podataka se upravlja putem torch_xla.distributed.parallel_loader.MpDeviceLoader, koji uzima standardni PyTorch DataLoader i osigurava da svaki proces vidi jedinstveni dio podataka dok prethodno preuzima serije podataka na odgovarajući TPU uređaj.

Učitavanje podataka, distribuirano izvršavanje i AMP na TPU-ovima

Efikasni ulazni cjevovodi su jednako važni na TPU-ima kao i na GPU-imaNa PyTorch/XLA, MpDeviceLoader preklapa učitavanje podataka na strani hosta i izvršavanje na strani uređaja, direktno šaljući pakete TPU-u i pomažući vam da izbjegnete produžene periode neaktivnosti dok akcelerator čeka nove podatke.

Za distribuirano treniranje, xm.optimizer_step(optimizer) radi više od običnog koraka optimizacije.Izvršava gradijentno smanjenje svih vrijednosti na svim uređajima, usrednjava ih, primjenjuje ažuriranja težine i obrađuje potrebnu sinhronizaciju, tako da vam obično nije potreban zaseban eksplicitni poziv sinhronizacije u svakoj iteraciji. Pomoćnici za evidentiranje kao što su xm.is_master_ordinal(lokalno=Netačno) Osigurajte da samo jedan proces obrađuje metrike i kontrolne tačke kako biste izbjegli dupliranje.

Automatska miješana preciznost (AMP) izgleda malo drugačije na TPU-ima nego na GPU-imaTPU-ovi izvorno podržavaju bfloat16 (BF16), koji nudi mnogo veći raspon eksponenta od float16 i obično ne zahtijeva eksplicitno skaliranje gubitaka radi stabilnosti. PyTorch/XLA proširuje PyTorch AMP da automatski mapira između BF16 i FP32 gdje je potrebno, čineći trening mješovite preciznosti na TPU-ovima i jednostavnim i robusnim.

Spremanje modela također ima najbolju praksu specifičnu za TPUDok možeš zvati baklja.sačuvaj iz tenzora uređaja, generalno se preporučuje da premjestiti stanja rječnika na CPU prije serijalizacije pri korištenju PyTorch/XLA, što ih olakšava ponovno učitavanje na hardveru koji nije TPU, kao što su standardne GPU mašine.

Okviri za obuku Easy-torch-tpu i TPU-a iz stvarnog svijeta

Pored službenih stekova, zajednica gradi okvire višeg nivoa kako bi TPU-ove učinila lakšim za usvajanje.. Jedan primjer je aklein4/easy-torch-tpu, lagani okvir za obuku kreiran posebno za pojednostavljenje PyTorch/XLA radnih procesa na Google Cloud TPU klasterima.

Easy-torch-tpu se pozicionira kao jednostavnija, fleksibilnija alternativa velikim, rigidnim kodnim bazama poput Hypercomputer/torchprime.Njegovi dizajnerski prioriteti su jasni: jednostavno podešavanje, jednostavna prilagodljivost i glatka integracija sa gcloud ssh-vođeni klasterski tokovi rada. Namjerno cilja eksperimente "akademske skale" - modele u rasponu parametara 1-10B na otprilike 32-64 TPU čipova.

Proširivost se rješava putem podklasa i konfiguracijskih datotekaDodavanjem novih podklasa možete uključiti vlastite arhitekture, petlje za učenje, optimizatore, učitavače podataka, pa čak i prilagođene strategije segmentiranja i rematerijalizacije. Ovo vam omogućava slobodno eksperimentiranje dok ponovno koristite distribuirane i logging scaffolding okvirnog programa.

Okvir se čvrsto integriše sa ključnim alatima ekosistemaPodrška za težine i pristranosti olakšava praćenje eksperimenata, dok integracija Hugging Face-a pojednostavljuje učitavanje skupova podataka, povlačenje prethodno obučenih kontrolnih tačaka i spremanje modela koji se kasnije mogu pokrenuti na standardnom PyTorch-u baziranom na GPU-u. Repozitorij uključuje instalacijsku dokumentaciju, početne primjere i aktivno se razvija uz povratne informacije zajednice.

Ograničenja, otklanjanje grešaka i zamke u performansama

Čak i sa svim ovim poboljšanjima, pokretanje PyTorcha na TPU-ovima još uvijek nije potpuno bez problema.Razumijevanje gdje stvari mogu poći po zlu uštedjet će vam mnogo vremena kada radite s velikim modelima ili dinamičkim opterećenjima.

Rekompilacije grafova ostaju jedan od najvećih skrivenih ubica performansiSvaki put kada se vaš grafikon izračuna ili ulazni oblici promijene između tačaka sinhronizacije, XLA će možda morati ponovo kompajlirati, što uvodi primjetne pauze. Ovo je posebno uobičajeno kod sekvenci promjenjive dužine ili adaptivnih veličina serija, koje su uobičajene u modeliranju jezika i generiranju radnih opterećenja.

Nepodržani ili djelomično podržani operatori mogu tiho smanjiti performanseDok PyTorch/XLA i TorchTPU ciljaju na široku pokrivenost operatora, neke ATen operacije možda još nemaju izvorna smanjenja XLA. U tim slučajevima, izvršavanje se može vratiti na CPU, što je tehnički ispravno, ali može biti za redove veličine sporije. Ugrađeni uslužni programi za otklanjanje grešaka i metrike (kao što su torch_xla.debug.metrics) vam pomažu da uočite gdje se dešavaju zastoji CPU-a ili neočekivane rekompilacije.

Klasični alati za profiliranje GPU-a poput Nsight-a i nvprof-a ne vide unutar TPU kernelaUmjesto toga, oslanjate se na XLA-specifične hooke za profiliranje, TPU metrike izvršavanja i zapisivanje podataka višeg nivoa kako biste razumjeli uska grla. Mnogi timovi otkrivaju da kada jednom usvoje najbolje prakse (statički oblici, pažljivo učitavanje podataka, praćenje rekompilacija), brzo se konvergiraju ka predvidljivim performansama.

Googleov plan kompajlera eksplicitno cilja na ove bolne tačkeRad na naprednom ograničenom dinamizmu unutar XLA ima za cilj da omogući modelima da obrađuju različite dužine sekvenci i veličine serija bez pokretanja novih kompajliranja. Rastuća biblioteka prekompiliranih TPU kernela ima za cilj smanjenje latencije hladnog pokretanja pri prvoj iteraciji novih grafova.

Plan puta i ekosistem: prema besprijekornom PyTorchu na TPU-ovima

Gledajući unaprijed, Googleov plan za TorchTPU je ambiciozan i usko usklađen sa širim PyTorch ekosistemom.Planiran je javni GitHub repozitorij, s opsežnom dokumentacijom, tutorijalima za arhitekturu i primjerima koji se mogu reproducibirati, a koji obuhvataju i obuku i scenarije serviranja.

Integracija sa PyTorch-ovim Helion DSL-om je na vidiku, što bi trebalo proširiti mogućnosti programera za pisanje prilagođenih TPU kernela bez zaranjanja u najdublje slojeve XLA ili hardverski specifičnog koda. Izvorna, prvoklasna podrška za dinamičke oblike putem torch.compile je također prioritet, odražavajući realnost modernih modela zasnovanih na sekvencama.

Podrška za više redova čekanja je još jedno ključno područje fokusaMnoge produkcijske PyTorch kodne baze se uveliko oslanjaju na asinhrone obrasce izvršavanja i odvojene memorijske/računarske tokove. Čisto mapiranje tih idioma na TPU-ove bez većih refaktorisanja značajno će smanjiti trenje pri migraciji za velike, zrele projekte.

Duboke integracije ekosistema su već u tokuU toku su napori za validaciju snažnog skaliranja do pune veličine TPU Pod-a i za povezivanje s glavnim PyTorch-baziranim sistemima poput vLLM-a i TorchTitana. Istovremeno, Google blisko sarađuje s Meta-om i PyTorch zajednicom te istražuje otvoreni kod ključnih dijelova TorchTPU-a kako bi ubrzao usvajanje i transparentnost.

Sve se ovo dešava u kontekstu šireg poslovnog okruženja gdje se kapacitet TPU-a dramatično povećava.Google Cloud potpisuje više višemilijardnih ugovora o AI infrastrukturi, Anthropic planira pristup do milion TPU-ova (reda veličine jednog gigavata kapaciteta), a Google čak prodaje TPU-ove direktno za lokalne podatkovne centre. Dani kada su TPU-ovi bili nišni, interni resurs samo za Google davno su prošli.

Sve u svemu, priča o PyTorchu na TPU-u se izuzetno brzo kreće od "neobične sporedne staze" do "standardne opcije".Između TorchTPU-ovog izvornog, "eager" iskustva, PyTorch/XLA-ovog provjerenog "lijenog" izvršavanja, okvira poput easy-torch-tpu i bogate Cloud TPU infrastrukture oko njih, sada možete uzeti mainstream PyTorch modele - često uz malo više od promjene stringa uređaja - i efikasno ih pokretati na nekim od najvećih dostupnih AI superračunara. Što se više stek fokusira na poznate PyTorch idiome umjesto da forsira nove mentalne modele, to je realnije tretirati izbor hardvera kao detalj implementacije, a ne kao fundamentalno ograničenje dizajna.