ایلان ماسک آموزش xAI را با 100000 پردازنده گرافیکی NVIDIA H100 خنک‌شونده با مایع، قدرتمندترین کلاستر آموزشی هوش مصنوعی روی کره زمین آغاز کرد.
رئیس X، ایلان ماسک، اعلام کرد شروع آموزش GROK 3 در ممفیس با استفاده از پردازنده‌های گرافیکی نسل فعلی NVIDIA H100.
آموزش “قدرتمندترین خوشه هوش مصنوعی در جهان” با کمک 100000 پردازنده گرافیکی NVIDIA H100 آغاز می شود
سرمایه‌گذاری محبوب «xAI» از طرف رئیس این شرکت، آموزش قدرتمندترین پردازنده‌های گرافیکی H100 مرکز داده NVIDIA را به طور رسمی آغاز کرده است. ایلان ماسک با افتخار این موضوع را در X اعلام کرد و آن را «قوی ترین خوشه آموزشی هوش مصنوعی در جهان» نامید. او در این پست گفت که این ابرخوشه توسط 100000 پردازنده گرافیکی H100 خنک‌کننده مایع روی یک پارچه RDMA آموزش داده خواهد شد و به xAI، X و تیم Nvidia برای شروع آموزش در ممفیس تبریک گفت.
کار خوبی توسط تیم @xAI، @X، @Nvidia و شرکت‌های حمایتی که آموزش Supercluster ممفیس را دریافت می‌کنند، در ساعت 4:20 صبح به وقت محلی شروع شد.
با 100 هزار H100 خنک‌شونده مایع روی یک پارچه RDMA، قدرتمندترین خوشه آموزشی هوش مصنوعی در جهان است!
— ایلان ماسک (@elonmusk) 22 ژوئیه 2024
بلوک نقل قول>
آموزش در ساعت 4:20 صبح به وقت محلی ممفیس آغاز شد و طبق پست بعدی دیگری، ایلان ادعا می کند که قدرتمندترین هوش مصنوعی جهان تا دسامبر سال جاری آماده خواهد شد. طبق گزارشات، GROK 2 ماه آینده برای انتشار آماده خواهد شد. و GROK 3 تا دسامبر. این تقریباً دو هفته پس از لغو قرارداد 10 میلیارد دلاری سرور xAI و Oracle رخ داد.
الون ماسک همانطور که اخیرا در ممفیس دیده شد
xAI تراشه‌های هوش مصنوعی انویدیا را از اوراکل اجاره می‌کرد، اما تصمیم گرفت سرور خود را بسازد و به قرارداد موجود با اوراکل پایان داد، که قرار بود برای چند سال ادامه یابد. این پروژه اکنون با هدف ساخت ابررایانه خود برتر از Oracle است و این امر با استفاده از صد هزار پردازنده گرافیکی H100 با کارایی بالا محقق خواهد شد. هر پردازنده گرافیکی H100 تقریباً 30000 دلار قیمت دارد و در حالی که GROK 2 از 20000 عدد از آنها استفاده می کرد، GROK 3 برای توسعه ربات چت هوش مصنوعی خود به پنج برابر قدرت نیاز دارد.
این تصمیم غافلگیرکننده است زیرا انویدیا در حال عرضه پردازنده های گرافیکی جدیدتر H200 خود در سه ماهه سوم است. H200 در سه ماهه دوم تولید انبوه بود و از معماری پیشرفته Hopper استفاده می‌کند که پیکربندی حافظه بهتری را ارائه می‌دهد و در نتیجه تا 45 درصد زمان پاسخ‌گویی بهتر برای خروجی‌های هوش مصنوعی تولیدی را به همراه دارد. پس از H200، انویدیا در آستانه عرضه پردازنده‌های گرافیکی B100 و B200 مبتنی بر Blackwell خود در پایان سال 2024 نیست.
این یک مزیت قابل توجه در آموزش قدرتمندترین هوش مصنوعی جهان بر اساس هر معیار تا دسامبر امسال است
— ایلان ماسک (@elonmusk) 22 ژوئیه 2024
بلوک نقل قول>
انتظار می‌رفت که XAI Gigafactory of Compute قبل از پاییز 2025 آماده شود، اما ظاهراً عملیات گیگافکتوری قبل از طرح اولیه آغاز شده است. به گفته الون، این مدل پیشرفته زبان بزرگ تا پایان سال 2024 به طور کامل آموزش داده می شود و خود را سریع ترین هوش مصنوعی جهان تا کنون به خود دیده است.
