Tajanstveni NVIDIA 'GPU-N' mogao bi biti prerušeni Hopper GH100 sljedeće generacije sa 134 SM-a, 8576 jezgri i propusnošću od 2.68 TB/s, prikazanim simuliranim performansama

Misteriozni NVIDIA GPU poznat kao GPU-N koji bi mogao biti prvi pogled na sljedeću generaciju Hopper GH100 čipa otkriven je u novom znanstveni rad objavio je zeleni tim (kako je otkrio Korisnik Twittera, Redfire).

NVIDIA Research Paper govori o 'GPU-N' s MCM dizajnom i 8576 jezgrama, može li ovo biti Hopper GH100 sljedeće generacije?

Istraživački rad 'Specijalizacija domene GPU-a putem arhitekture na paketu koja se može sastaviti' govori o dizajnu GPU-a sljedeće generacije kao najpraktičnijem rješenju za maksimiziranje propusnosti matrične matematike niske preciznosti za povećanje performansi dubokog učenja. Raspravljalo se o 'GPU-N' i njegovim odgovarajućim COPA dizajnima zajedno s njihovim mogućim specifikacijama i rezultatima simuliranih performansi.

Rečeno je da 'GPU-N' ima 134 SM jedinice (nasuprot 104 SM jedinice A100). To čini ukupno 8576 jezgri ili povećanje od 24% u odnosu na trenutno rješenje Ampere A100. Čip je izmjeren na 1.4 GHz, što je ista teoretska brzina takta Ampere A100 i Volta V100 (da se ne miješaju s konačnim taktovima). Ostale specifikacije uključuju 60 MB L2 predmemorije, povećanje od 50% u odnosu na Ampere A100 i DRAM propusnost od 2.68 TB/s koja se može skalirati do 6.3 TB/s. Kapacitet HBM2e DRAM-a je 100 GB i može se proširiti do 233 GB s COPA implementacijama. Konfigurirano je oko 6144-bitnog sučelja sabirnice na taktu od 3.5 Gbps.

Što se tiče performansi, 'GPU-N' (vjerojatno Hopper GH100) proizvodi 24.2 TFLOP-a FP32 (povećanje od 24% u odnosu na A100) i 779 TFLOP-a FP16 (2.5x povećanje u odnosu na A100) što zvuči jako blizu 3x dobitaka koji su bili priča se za GH100 umjesto A100. U usporedbi s AMD-ovim CDNA 2 'Aldebaran' GPU-om na Instinct MI250X akcelerator, performanse FP32 manje su od polovice (95.7 TFLOPs u odnosu na 24.2 TFLOPs), ali performanse FP16 su 2.15x veće.

Od prethodne informacije, znamo da bi se NVIDIA-in H100 akcelerator temeljio na MCM rješenju i koristio TSMC-ov 5nm procesni čvor. Hopper bi trebao imati dva GPU modula sljedeće generacije tako da gledamo na ukupno 288 SM jedinica. Još ne možemo dati kratak pregled broja jezgri jer ne znamo broj jezgri u svakom SM-u, ali ako se držimo 64 jezgre po SM-u, tada ćemo dobiti 18,432 2.25 jezgre što je 100x više od puna GA64 GPU konfiguracija. NVIDIA bi također mogla iskoristiti više FP16, FP1 & Tensor jezgri unutar svog Hopper GPU-a što bi neizmjerno povećalo performanse. A to će biti neophodno za rivalstvo s Intelovim Ponte Vecchiom za koji se očekuje da ima 1:64 FPXNUMX.

Vjerojatno će konačna konfiguracija doći sa 134 od 144 SM jedinice omogućene na svakom GPU modulu i kao takav, vjerojatno gledamo jedan GH100 matricu u akciji. Ali malo je vjerojatno da bi NVIDIA dosegla isti FP32 ili FP64 Flops kao MI200 bez korištenja GPU Sparsityja.

Ali NVIDIA vjerojatno ima tajno oružje u rukavu, a to bi bila GPU implementacija Hoppera temeljena na COPA-i. NVIDIA govori o dva COPA-GPU-a specijalizirana za domenu temeljena na arhitekturi sljedeće generacije, jednom za HPC i jednom za DL segment. HPC varijanta ima vrlo standardni pristup koji se sastoji od MCM GPU dizajna i odgovarajućih HBM/MC+HBM (IO) čipleta, ali DL varijanta je mjesto gdje stvari počinju biti zanimljive. DL varijanta sadrži veliku predmemoriju na potpuno zasebnoj matrici koja je međusobno povezana s GPU modulima.

Navedene su različite varijante s do 960 / 1920 GB LLC (Last-Level-Cache), HBM2e DRAM kapaciteta do 233 GB i propusnosti do 6.3 TB/s. Sve su to teoretske, ali s obzirom na to da je NVIDIA o njima sada raspravljala, vjerojatno ćemo vidjeti Hopper varijantu s takvim dizajnom tijekom potpunog predstavljanja na GTC 2022.

NVIDIA Hopper GH100 'Preliminarne specifikacije':

Pošta Tajanstveni NVIDIA 'GPU-N' mogao bi biti prerušeni Hopper GH100 sljedeće generacije sa 134 SM-a, 8576 jezgri i propusnošću od 2.68 TB/s, prikazanim simuliranim performansama by Hasan Mujtaba pojavio prvi na Wccftech.

Izvorni članak