Meta je među prvim kompanijama koje su pre nekoliko godina počele da razvijaju RISC-V bazirane čipove za AI inferenciju.
Primarni cilj bio je smanjenje troškova kompanije i oslanjanja na NVIDIA GPU-ove koji su trenutno standard za napredno AI testiranje.
Sada, prema izveštaju Reutersa, Meta je otišla korak dalje! Kompanija je u saradnji sa Broadcomom dizajnirala sopstveni akcelerator za treniranje AI modela.
Ako čip ispuni očekivanja, Meta bi mogla značajno da smanji zavisnost od Nvidijinih H100/H200 i B100/B200 AI GPU-ova.
Meta i Broadcom razvijaju prilagođeni AI čip
Meta i Broadcom su uspešno proizveli prve radne uzorke AI čipa u TSMC fabrici. Trenutno je ovaj akcelerator u ograničenoj upotrebi, dok se njegova efikasnost detaljno testira.
Još nije poznato da li Meta sprovodi standardizovane benchmark testove, ali je potvrđeno da čip već obavlja korisne AI zadatke.
Specifikacije čipa nisu objavljene, ali je poznato da AI treniranje obično koristi dizajn poznat kao sistolička matrica, u kojoj se procesorske jedinice (PEs) organizuju u redove i kolone, omogućavajući efikasnu obradu velikih količina podataka.
RISC-V AI akcelerator – ključ ka nezavisnosti?
S obzirom na ogromne baze podataka koje AI treniranje zahteva, očekuje se da ovaj procesor koristi napredne memorijske tehnologije poput HBM3 ili HBM3E.
Meta je imala slobodu da prilagodi arhitekturu procesora, optimizujući formate podataka, instrukcije, potrošnju energije, performanse i veličinu čipa.
Kako bi čip bio konkurentan, mora postići odličan odnos performansi po vatu! Očekuje se da će biti u rangu sa NVIDIA H200, B200, a možda čak i budućim B300 GPU-ovima.
Ovaj AI čip deo je šireg programa Meta Training and Inference Accelerator (MTIA) programa, koji je prethodno nailazio na izazove.
2022. godine Meta je obustavila razvoj svog AI inferencijskog procesora jer nije zadovoljio zahteve u pogledu performansi i potrošnje energije. Kompanija je bila prinuđena da kupi desetine hiljada NVIDIA GPU-ova kako bi pokrenula svoje AI modele.
Meta smanjuje zavisnost od Nvidia AI hardvera
Meta je postala jedan od najvećih Nvidia klijenata, koristeći njene GPU-ove za treniranje AI modela koji se primenjuju u preporukama sadržaja, oglašavanju i razvoju Llama Foundation modela.
NVIDIA procesori takođe podržavaju AI operacije za preko tri milijarde korisnika dnevno na Meta platformama.
Uprkos prethodnim neuspesima, Meta nastavlja sa razvojem sopstvenih čipova.
Tokom 2023. godine kompanija je počela da koristi MTIA čipove za inferenciju, a planira da ih uvede i za AI treniranje do 2026. godine.
Ako novi RISC-V AI čip ispuni očekivanja, Meta će ostvariti veću kontrolu nad AI hardverom i smanjiti zavisnost od eksternih dobavljača.
RISC-V kao osnova za Meta AI hardver
Meta već koristi RISC-V jezgra u svojim inferencijskim akceleratorima, što joj omogućava potpunu kontrolu nad dizajnom arhitekture bez plaćanja licenci trećim stranama.
Ukoliko novi AI akcelerator zadržava RISC-V arhitekturu, mogao bi biti jedan od najmoćnijih RISC-V čipova u industriji.
Meta je odlučna u nameri da razvija prilagođeni AI hardver i smanji zavisnost od eksternih dobavljača.
Sledeće godine ćemo videti da li će ova strategija doneti dugoročne koristi ili će kompanija morati da se vrati oslanjanju na NVIDIA rešenja!