Tajomný NVIDIA 'GPU-N' by mohol byť Hopper GH100 novej generácie v prestrojení so 134 SM, 8576 jadrami a šírkou pásma 2.68 TB/s, zobrazené porovnávacie simulované výkony

Záhadný GPU NVIDIA známy ako GPU-N, ktorý by mohol byť prvým pohľadom na čip Hopper GH100 novej generácie, bol odhalený v novom výzkumná práca publikoval zelený tím (ako zistil Používateľ Twitteru, Redfire).

Výskumná kniha NVIDIA hovorí o „GPU-N“ s dizajnom MCM a jadrami 8576, mohol by to byť Hopper GH100 novej generácie?

Výskumný dokument „GPU Domain Specialization via Composable On-Package Architecture“ hovorí o dizajne GPU novej generácie ako o najpraktickejšom riešení na maximalizáciu matematickej priepustnosti s nízkou presnosťou na zvýšenie výkonu hlbokého učenia. „GPU-N“ a jeho príslušné návrhy COPA boli prediskutované spolu s ich možnými špecifikáciami a výsledkami simulovaného výkonu.

Hovorí sa, že „GPU-N“ obsahuje 134 jednotiek SM (v porovnaní so 104 jednotkami SM A100). To tvorí celkovo 8576 jadier alebo 24% nárast oproti súčasnému riešeniu Ampere A100. Čip bol nameraný na 1.4 GHz, čo je rovnaká teoretická rýchlosť hodín Ampere A100 a Volta V100 (nezamieňať s konečnými taktmi). Medzi ďalšie špecifikácie patrí vyrovnávacia pamäť L60 s veľkosťou 2 MB, 50 % nárast oproti Ampere A100 a šírka pásma DRAM 2.68 TB/s, ktorá sa môže rozšíriť až na 6.3 TB/s. Kapacita HBM2e DRAM je 100 GB a možno ju rozšíriť až na 233 GB pomocou implementácií COPA. Je nakonfigurovaný na 6144-bitovom zbernicovom rozhraní s rýchlosťou hodín 3.5 Gbps.

Pokiaľ ide o čísla výkonu, „GPU-N“ (pravdepodobne Hopper GH100) produkuje 24.2 TFLOPs FP32 (24 % nárast oproti A100) a 779 TFLOPs FP16 (2.5-násobný nárast oproti A100), čo znie naozaj blízko k 3-násobnému zvýšeniu, hovorí sa o GH100 nad A100. V porovnaní s AMD CDNA 2 'Aldebaran' GPU na Akcelerátor Instinct MI250X, výkon FP32 je menej ako polovičný (95.7 TFLOPs oproti 24.2 TFLOPs), ale výkon FP16 je 2.15x vyšší.

od predchádzajúce informácievieme, že akcelerátor NVIDIA H100 by bol založený na riešení MCM a využíval by 5nm procesný uzol TSMC. Hopper má mať dva GPU moduly novej generácie, takže celkovo sa pozeráme na 288 SM jednotiek. Zatiaľ nemôžeme poskytnúť prehľad o počte jadier, pretože nepoznáme počet jadier v jednotlivých moduloch SM, ale ak zostane na 64 jadrách na modul SM, získame 18,432 2.25 jadier, čo je 100-krát viac ako plná konfigurácia GPU GA64. NVIDIA by tiež mohla využiť viac jadier FP16, FP1 a Tensor v rámci svojho GPU Hopper, čo by výrazne zvýšilo výkon. A to bude nevyhnutnosťou pre súperenie s Ponte Vecchio od Intelu, od ktorého sa očakáva, že bude obsahovať 1:64 FPXNUMX.

Je pravdepodobné, že konečná konfigurácia príde so 134 zo 144 SM jednotkami povolenými na každom module GPU a ako také sa pravdepodobne pozeráme na jednu matricu GH100 v akcii. Je však nepravdepodobné, že by NVIDIA dosiahla rovnaké FP32 alebo FP64 Flops ako MI200 bez použitia GPU Sparsity.

NVIDIA však môže mať v rukáve tajnú zbraň, a tou by bola implementácia GPU Hopper založená na COPA. NVIDIA hovorí o dvoch COPA-GPU špecializovaných na domény založených na architektúre novej generácie, jeden pre HPC a jeden pre segment DL. Variant HPC sa vyznačuje veľmi štandardným prístupom, ktorý pozostáva z dizajnu GPU MCM a príslušných čipletov HBM/MC+HBM (IO), ale vo variante DL to začína byť zaujímavé. Variant DL obsahuje obrovskú vyrovnávaciu pamäť na úplne samostatnej matrici, ktorá je prepojená s modulmi GPU.

Boli navrhnuté rôzne varianty s až 960/1920 GB LLC (Last-Level-Cache), kapacitami HBM2e DRAM až 233 GB a šírkou pásma až 6.3 TB/s. Všetky sú teoretické, ale vzhľadom na to, že o nich NVIDIA teraz diskutovala, pravdepodobne uvidíme variant Hoppera s takýmto dizajnom počas úplného odhalenia na VOP 2022.

NVIDIA Hopper GH100 'Predbežné špecifikácie':

Príspevok Tajomný NVIDIA 'GPU-N' by mohol byť Hopper GH100 novej generácie v prestrojení so 134 SM, 8576 jadrami a šírkou pásma 2.68 TB/s, zobrazené porovnávacie simulované výkony by Hassan Mukhtaba sa objavil najprv na Wccftech.

pôvodný článok