گوگل از پردازنده‌های گرافیکی L4 NVIDIA استفاده می‌کند تا به شما امکان اجرای برنامه‌های استنتاج هوش مصنوعی را در فضای ابری بدهد.

Google از پردازنده‌های گرافیکی L4 NVIDIA استفاده کرده است تا به کاربران امکان اجرای برنامه‌های استنتاج هوش مصنوعی مانند GenAI را در فضای ابری ارائه دهد.

از قدرت پردازنده‌های گرافیکی L4 NVIDIA در Google Cloud برای اجرای برنامه‌های استنتاج هوش مصنوعی خود استفاده کنید

اعلامیه مطبوعاتی: توسعه دهندگان Cloud Run را به دلیل سادگی، مقیاس‌بندی خودکار سریع، قابلیت‌های مقیاس تا صفر و قیمت پرداخت به ازای استفاده، دوست دارند. همین مزایا برای برنامه‌های استنتاج بلادرنگ که مدل‌های هوش مصنوعی نسل باز را ارائه می‌کنند، به چشم می‌خورد. به همین دلیل است که امروز، در پیش‌نمایش، پشتیبانی از پردازنده‌های گرافیکی NVIDIA L4 را به Cloud Run اضافه می‌کنیم.

این درب بسیاری از موارد استفاده جدید را برای توسعه دهندگان Cloud Run باز می کند:

• انجام استنتاج بلادرنگ با مدل‌های باز سبک وزن، مانند مدل‌های باز Gemma (2B/7B) Google یا Llama 3 (8B) متا برای ساخت ربات‌های گفتگوی سفارشی یا خلاصه‌سازی اسناد در حین پرواز، در حالی که مقیاس‌پذیری برای مدیریت ترافیک پراکنده کاربر .
• ارائه مدل‌های AI نسل‌های با تنظیم دقیق سفارشی، مانند تولید تصویر متناسب با برند شرکت شما، و کاهش مقیاس برای بهینه‌سازی هزینه‌ها زمانی که کسی از آنها استفاده نمی‌کند.
• سرعت بخشیدن به سرویس‌های Cloud Run که محاسبات زیادی دارند، مانند تشخیص تصویر بر اساس درخواست، رمزگذاری ویدیو و پخش جریانی، و رندر سه بعدی.

به عنوان یک پلتفرم کاملاً مدیریت شده، Cloud Run به شما امکان می دهد کد خود را مستقیماً در بالای زیرساخت مقیاس پذیر Google اجرا کنید، و انعطاف پذیری کانتینرها را با سادگی بدون سرور ترکیب می کند تا به افزایش بهره وری شما کمک کند. با Cloud Run، می‌توانید سرویس‌های frontend و backend، کارهای دسته‌ای، استقرار وب‌سایت‌ها و برنامه‌ها، و مدیریت بارهای کاری پردازش صف را اجرا کنید – همه اینها بدون نیاز به مدیریت زیرساخت‌های اساسی.

در عین حال، بسیاری از بارهای کاری که استنتاج هوش مصنوعی را انجام می‌دهند، به‌ویژه برنامه‌هایی که نیاز به پردازش هم‌زمان دارند، برای ارائه تجربیات کاربر پاسخگو به شتاب GPU نیاز دارند. با پشتیبانی از پردازنده‌های گرافیکی NVIDIA، می‌توانید با استفاده از LLM‌های انتخابی خود در عرض چند ثانیه استنتاج هوش مصنوعی آنلاین بر اساس تقاضا انجام دهید. با 24 گیگابایت VRAM، می‌توانید نرخ رمز سریع را برای مدل‌هایی با حداکثر 9 میلیارد پارامتر، از جمله Llama 3.1 (8B)، Mistral (7B) و Gemma 2 (9B) انتظار داشته باشید. هنگامی که برنامه شما استفاده نمی شود، سرویس به طور خودکار به صفر کاهش می یابد تا هزینه آن از شما دریافت نشود.

امروزه، ما از پیوست کردن یک پردازنده گرافیکی NVIDIA L4 به ازای هر نمونه Cloud Run پشتیبانی می‌کنیم و نیازی نیست GPUهای خود را از قبل رزرو کنید. برای شروع، پردازنده‌های گرافیکی Cloud Run امروز در us-central1 (آیووا) در دسترس هستند و پیش‌بینی می‌شود تا قبل از پایان سال در اروپا-west4 (هلند) و آسیا-جنوب شرق1 (سنگاپور) در دسترس باشند.