NVIDIA Deep Dives Into Blackwell Infrastructure: NV-HBI برای ترکیب دو پردازنده گرافیکی هوش مصنوعی، هسته های تانسور نسل پنجم، NVLINK نسل پنجم و جزئیات Spectrum-X استفاده می شود.

کل پلتفرم NVIDIA Blackwell AI توسط بیش از 400 کتابخانه CUDA-X “بهینه‌سازی شده” که حداکثر کارایی را در تراشه‌های Blackwell ارائه می‌کنند، تامین می‌شود. این کتابخانه‌ها دامنه‌های کاربردی متنوعی را هدف قرار می‌دهند و بر اساس نوآوری‌های یک دهه ساخته شده‌اند که در بسته CUDA-X انباشته شده‌اند. این کتابخانه از مجموعه‌ای از الگوریتم‌ها در حال گسترش پشتیبانی می‌کند که آن را برای نسل بعدی مدل‌های هوش مصنوعی مقاوم می‌کند.

پس بیایید در مورد بلک ول صحبت کنیم، این تراشه دارای شش بلوک اصلی ساختمانی است، سوپرتراشه هوش مصنوعی با 208 میلیارد ترانزیستور، موتور ترانسفورماتور که از فرمت های داده FP4/FP6 از طریق هسته تانسور خود پشتیبانی می کند، یک موتور هوش مصنوعی امن با رمزگذاری عملکرد کامل و TEE ، نسل پنجم NVLINK که به 576 پردازنده گرافیکی هوش مصنوعی، یک موتور RAS با 100٪ قابلیت خودآزمایی درون سیستمی و موتور Decompression با پهنای باند 800 گیگابایت بر ثانیه.

• سوپرتراشه هوش مصنوعی – 208 میلیارد ترانزیستور (TSMC 4NP، >1600mm2)
• موتور ترانسفورماتور – هسته تانسور نسل پنجم (فرمت‌های داده FP4، FP6، FP8)
• نسل پنجم NVLink – مقیاس تا 576 پردازنده گرافیکی (1.8 ترابایت بر ثانیه پهنای باند)
• NV-HBI (رابط با پهنای باند بالا NVIDIA) – اتصال میانی با پهنای باند 10 ترابایت بر ثانیه
• موتور RAS – 100% خودآزمایی درون سیستم
• موتور رفع فشار – پهنای باند 800 گیگابایت بر ثانیه
• هوش مصنوعی ایمن – رمزگذاری با عملکرد کامل و TEE

پردازنده گرافیکی بلک ول NVIDIA دارای بالاترین محاسبات هوش مصنوعی، پهنای باند حافظه و پهنای باند اتصال تا کنون در یک GPU است. GPU از دو پردازنده گرافیکی محدود با شبکه استفاده می‌کند که با استفاده از NV-HBI در یکی ادغام شده‌اند که در ادامه به آنها خواهیم رسید. این تراشه دارای 208 میلیارد ترانزیستور بسته بندی شده بر روی گره فرآیند TSMC 4NP در طراحی بیش از 1600 میلی متر مربع است. پردازنده گرافیکی Blackwell AI 20 PetaFLOPS FP4 AI، پهنای باند حافظه 8 ترابایت بر ثانیه (8 سایت در HBM3e)، 1.8 ترابایت بر ثانیه پهنای باند دو جهته NVLINK و یک پیوند پرسرعت NVLINK-C2C به CPU Grace ارائه می دهد.

سفر NVIDIA به معماری های چند قالبی با آمپر آغاز شد. اگرچه طراحی سنتی MCM نیست، اما این دو بلوک GPU به گونه‌ای با استفاده از یک اتصال با پهنای باند بالا ترکیب شدند که تراشه هیچ تفاوتی با یک پیاده‌سازی یکپارچه نداشت.

این طراحی در طول نسل‌های آینده بیشتر اصلاح شد و با Blackwell، شرکت به سمت اجرای 2-die حرکت کرد. تراشه‌ها با استفاده از NV-HBI (رابط با پهنای باند بالا انویدیا) ترکیب شدند که 10 ترابایت بر ثانیه پهنای باند دو جهته را در لبه تکی ارائه می‌دهد، انرژی بسیار کمی در هر بیت مصرف می‌کند، و ارتباط منسجمی بین GPUها ایجاد می‌کند که هم عملکرد عالی و هم عملکرد عالی دارد. هیچ راه حلی وجود ندارد.

معماری GPU Blackwell همچنین با معماری Tensor Core نسل پنجم سوپرشارژ شده است که با فرمت‌های جدید FP با مقیاس میکروتنسور مانند FP4، FP6 و FP8 ارائه می‌شود. این فاکتورهای مقیاس میکرو تانسور برای بردارهای با طول ثابت اعمال می‌شوند، نگاشت عناصر را به فاکتورهای مقیاس ثابت می‌دهند و محدوده FP گسترده‌تر، پهنای باند تقویت‌شده، توان کمتر و کمی‌سازی دانه‌بندی دقیق‌تر را ارائه می‌دهند.

با نگاهی به مفاهیم عملکرد هسته‌های تانسور نسل پنجم، هر یک از قالب‌های داده موجود (FP16، BF16، FP8) 2 برابر سرعت در هر ساعت در هر SM در مقایسه با Hopper مشاهده می‌کنند، در حالی که FP6 سرعت 2 برابر را نسبت به FP8 و FP4 Hopper ارائه می‌کند. افزایش سرعت 4 برابری در قالب FP8 Hopper. علاوه بر فرمت‌های جدید، پردازنده‌های گرافیکی Blackwell AI همچنین دارای فرکانس‌های عملیاتی و تعداد SM در مقابل تراشه‌های Hopper هستند.

یکی از جدیدترین ویژگی‌های بلک‌ول NVIDIA Quasar Quantization است که فرمت‌های کم‌دقت مانند FP4 را می‌گیرد و با استفاده از کتابخانه‌های بهینه‌سازی شده، موتورهای ترانسفورماتور HW و SW و الگوریتم‌های عددی با دقت پایین، آنها را به داده‌های با دقت بالا تبدیل می‌کند. در مقایسه با BF16، Quantized FP4 همان امتیازات MMLU را در LLMها و دقت یکسانی را در بین مدل‌های Nemotron-4 15B و حتی 340B ارائه می‌کند.

• NVIDIA Blackwell چندین تراشه، سیستم و نرم‌افزار NVIDIA CUDA را گرد هم می‌آورد تا نسل بعدی هوش مصنوعی را در سراسر موارد استفاده، صنایع و کشورها تقویت کند.
• NVIDIA GB200 NVL72 – یک راه حل چند نود، خنک کننده مایع و در مقیاس رک که 72 پردازنده گرافیکی بلک ول و 36 پردازنده گرافیکی گریس را به هم متصل می کند – سطح طراحی سیستم هوش مصنوعی را بالا می برد.
• فناوری اتصال NVLink ارتباط همه جانبه GPU را فراهم می‌کند، و توان عملیاتی بالا و استنتاج با تأخیر کم را برای هوش مصنوعی مولد فراهم می‌کند.
• سیستم کوانتیزاسیون کوازار NVIDIA محدودیت های فیزیک را برای تسریع محاسبات هوش مصنوعی فشار می دهد.
• محققان NVIDIA در حال ساخت مدل‌های هوش مصنوعی هستند که به ساخت پردازنده‌هایی برای هوش مصنوعی کمک می‌کند.

یکی دیگر از جنبه های بزرگ پلت فرم NVIDIA Blackwell AI نسل پنجم NVLINK که کل پلتفرم را با استفاده از 18 NVLINK با پهنای باند 100 گیگابایت بر ثانیه برای پهنای باند 1.8 ترابایت بر ثانیه و x2@ متصل می کند. 200 گیگابیت بر ثانیه-PAM4.

همچنین تراشه سوئیچ نسل چهارم NVLINK وجود دارد که در سینی سوئیچ NVLINK پیکربندی شده است و دارای اندازه قالب بیش از 800 میلی‌متر مربع (TSMC 4NP) است. این تراشه‌ها NVLINK را به 72 پردازنده گرافیکی در رک‌های GB200 NVL72 گسترش می‌دهند و 7.2 ترابایت بر ثانیه پهنای باند دو جهته کامل را در 72 پورت و محاسبات SHARP درون شبکه 3.6 TFLOP ارائه می‌دهند. سینی دارای دو عدد از این سوئیچ ها با پهنای باند ترکیبی 14.4 ترابایت بر ثانیه است.

همه اینها در سوپرتراشه NVIDIA GB200 Grace Blackwell، یک نیروگاه محاسباتی هوش مصنوعی با 1 CPU Grace و 2 GPU Blackwell (چهار پردازنده گرافیکی) جمع شده است. این برد دارای اتصال NVLINK-C2C است و 40 پتافلاپ FP4 و 20 پتافلاپ از محاسبات FP8 را ارائه می دهد. یک سینی Grace Blackwell با 2 CPU Grace (هر کدام 72 هسته) و 4 GPU Blackwell (8 پردازنده گرافیکی) عرضه می‌شود.

NVLINK Spine سپس در سرورهای GB200 NVL72 و NVL36 استفاده می‌شود که حداکثر 36 CPU Grace، 72 GPU Blackwell را ارائه می‌دهند که همه با استفاده از رک سوئیچ NVLINK به طور کامل متصل هستند. این سرور 720 پتافلاپ آموزش، 1440 پتافلاپ استنتاج، تا 27 تریلیون اندازه مدل پارامتر و پهنای باند تا 130 ترابایت بر ثانیه (چند گره) را پشتیبانی می کند.

در نهایت، Spectrum-X وجود دارد که اولین پارچه اترنت در جهان است که برای هوش مصنوعی ساخته شده است و از دو تراشه تشکیل شده است، Spectrum-4 با 100 میلیارد ترانزیستور، پهنای باند 51.2T، 64x800G و پورت های 128x400G DPU-3 و Bluefield. با 16 هسته Arm A78، 256 Thread و 400 Gb/s اترنت. این دو تراشه اترنت هوش مصنوعی در رک Spectrum-X800 که یک پلتفرم سرتاسر برای بارهای کاری هوش مصنوعی ابری است، گرد هم می آیند.

پلت‌فرم بلک‌ول AI NVIDIA به صورت ترکیبی، 30 برابر افزایش استنتاج در زمان واقعی را نسبت به Hopper به ارمغان می‌آورد و در عین حال افزایش 25 برابری راندمان انرژی را ارائه می‌دهد. اما NVIDIA به تازگی شروع کرده است، پس از Blackwell، تیم سبز همچنین قصد دارد Blackwell Ultra خود را با افزایش تراکم محاسباتی و حافظه در سال 2025 راه اندازی کند و به دنبال آن Rubin و Rubin Ultra با HBM4 و معماری‌های کاملاً جدید در سال‌های 2026-2027. کل CPU، شبکه و اکوسیستم متصل به هم نیز در طول سال‌های 2025-2027 به‌روزرسانی‌های عمده دریافت خواهند کرد.