NVIDIA مدل‌های بیدرنگ مواد عصبی را به نمایش می‌گذارد و تا ۲۴ برابر سرعت سایه‌زنی را ارائه می‌کند.
NVIDIA مواد عصبی بیدرنگ جدیدی را نمایش داده است رویکرد مدل‌هایی است که سرعت بسیار زیاد 12-24 برابری را در عملکرد سایه‌زنی در مقایسه با روش‌های سنتی ارائه می‌دهد.
انویدیا از هوش مصنوعی برای تقویت رندر بیدرنگ مدل استفاده می‌کند، رویکرد عصبی در مقایسه با روش‌های سنتی تا 24 برابر افزایش می‌دهد
در Siggraph، NVIDIA یک رویکرد جدید رندر زمان واقعی به نام “مدل های ظاهر عصبی” که هدف آن استفاده از هوش مصنوعی برای سرعت بخشیدن به قابلیت های سایه زدن است. سال گذشته، این شرکت از فشرده سازی عصبی خود رونمایی کرد. تکنیکی که جزئیات بافت 16 برابری را باز می کند، و امسال، این شرکت در حال حرکت به سمت افزایش سرعت رندر بافت و عملکرد سایه با یک جهش بزرگ است.
رویکرد جدید یک حالت زمان اجرا جهانی برای همه مواد از منابع متعدد از جمله اشیاء واقعی گرفته شده توسط هنرمندان، اندازه‌گیری‌ها یا تولید شده از پیام‌های متنی با استفاده از هوش مصنوعی Generative خواهد بود. این مدل‌ها در سطوح کیفی مختلف، از بازی‌های رایانه شخصی/کنسول، واقعیت مجازی، و حتی رندر فیلم، مقیاس‌پذیر خواهند بود.
این مدل به ثبت تک تک جزئیات جسمی که قرار است رندر شود، مانند جزئیات فوق العاده ظریف و پیچیدگی های بصری مانند گرد و غبار، لکه های آب، نور، و حتی پرتوهایی که از ترکیب منابع نور و رنگ های مختلف می تابند، کمک می کند. به طور سنتی، این مدل‌ها با استفاده از نمودارهای سایه‌دار ارائه می‌شوند که نه تنها برای رندر زمان واقعی پرهزینه هستند، بلکه شامل پیچیدگی‌هایی نیز می‌شوند.
با رویکرد “مواد عصبی” NVIDIA، مدل سنتی رندر مواد با یک شبکه عصبی کم‌هزینه و کارآمد محاسباتی جایگزین می‌شود که شرکت اعلام می‌کند که عملکرد محاسبات سایه‌زنی را تا 12 تا 24 برابر سریعتر می‌کند. این شرکت مقایسه ای بین مدل ارائه شده با استفاده از نمودار سایه زنی و همان مدل ارائه شده با مدل مواد عصبی ارائه می دهد.
این مدل از همه نظر با جزئیات تصویر مرجع مطابقت دارد و همانطور که در بالا ذکر شد، بسیار سریعتر انجام می شود. همچنین می‌توانید هر مدل را مشاهده و مقایسه کنید کیفیت تصویر برای خودتان در این لینک.
مدل جدید به نوآوری های زیر دست می یابد:
- یک سیستم کامل و مقیاس پذیر برای مواد عصبی با کیفیت فیلم
- آموزش قابل حمل برای دارایی های اندازه گیگاتکسل با استفاده از رمزگذار
- رمزگشاهای دارای پیشین برای نقشه برداری و نمونه برداری معمولی
- و اجرای کارآمد شبکه های عصبی در شیدرهای بلادرنگ
این شرکت همچنین نحوه عملکرد مدل‌های عصبی را توضیح می‌دهد. در Render Time، مواد عصبی بسیار شبیه به استفاده از یک مدل سنتی است. در هر نقطه ضربه، ابتدا بافت‌ها را جستجو می‌کنند و سپس دو MLP را ارزیابی می‌کنند، یکی برای دریافت مقدار BRDF و دیگری برای وارد کردن و نمونه‌برداری از جهت خروجی. برخی از پیشرفت‌ها در رویکرد بلادرنگ شامل پیش‌فرض‌های گرافیکی داخلی است که کیفیت استنتاج و رمزگذار زمان آموزش را برای خروجی رندرها با وضوح‌های عظیم بهبود می‌بخشد.
همه مدل‌هایی که با استفاده از رویکرد “مواد عصبی” ارائه شده‌اند، وضوح بافت تا 16K را ارائه می‌کنند و اشیاء عمیق و دقیق را در بازی‌ها ارائه می‌دهند. این مدل‌های اصلاح‌شده نیز مالیات کمتری بر بازی‌ها وارد می‌کنند، که منجر به عملکرد بهتری نسبت به آنچه قبلاً ممکن بود، می‌شوند.
داشتن بافت‌های ساخته شده بر روی مدل‌های عصبی که سریعتر اجرا می‌شوند، به NVIDIA اجازه می‌دهد آنها را در برنامه‌های مختلف مقیاس‌بندی کند. در مقایسه ای کنار هم، انویدیا دو مدل را نشان می دهد، یکی با 2 لایه (با 16 نورون) که تنها در 3.3 میلی ثانیه رندر شده است، در حالی که مدل کمی دقیق تر، با 3 لایه (64 نورون) که هنوز در 11 میلی ثانیه رندر شده است. .
در مورد اینکه چه سخت‌افزاری از مدل‌های مواد عصبی پشتیبانی می‌کند، NVIDIA بیان می‌کند که از چارچوب‌های یادگیری ماشین موجود مانند PyTorch و TensorFlow، ابزارهایی مانند GLSL یا HLSL و موتورهای چند برابری انباشته با ماتریس با شتاب سخت‌افزاری (MMA) در دسترس استفاده خواهد کرد. معماری GPU مانند AMD، Intel و NVIDIA. سایه‌زن زمان اجرا، توضیحات مواد عصبی را با استفاده از زبان سایه‌بانی منبع باز Slang که دارای پشتیبان‌هایی برای اهداف مختلف از جمله Vulkan، Direct3D 12 و CUDA است، در کدهای بهینه‌سازی شده به اشتراک گذاشته می‌شود.
معماری Tensor-core معرفی شده در معماری گرافیکی مدرن نیز گامی رو به جلو برای این مدل ها ارائه می کند و در حالی که در حال حاضر محدود به API های محاسباتی است، NVIDIA شتاب هسته Tensor را در معرض سایه بان ها مانند کامپایلر تغییر یافته مبتنی بر LLVN مبتنی بر DirectX Shader قرار می دهد. که ذاتی سفارشی را برای دسترسی سطح پایین اضافه می‌کند و به آنها امکان می‌دهد کد اشتراک‌گذاری شده Slang را به طور موثر تولید کنند.
عملکرد با استفاده از پردازنده گرافیکی NVIDIA GeForce RTX 4090 با استفاده از DXR شتاب‌دهنده سخت‌افزاری (Ray Tracing) در 1920×1080 به نمایش گذاشته می‌شود. زمان رندر مدل بر حسب ms فهرست شده است و نتایج نشان می‌دهد که رویکرد عصبی جدید تصاویر را بسیار سریعتر و با جزئیات بهتر از عملکرد مرجع ارائه می‌کند. در زمان‌های رندر فول فریم با Neural BRDF، 4090 با پارامترهای مدل 2×16 عملکرد 1.64 برابر سریعتر را با سرعت 3×64 و 4.14x افزایش می‌دهد. عملکرد سایه‌زنی مواد با استفاده از Path Tracing یک افزایش سرعت 1.54 برابری با 2×32 و یک افزایش سرعت 6.06x با پارامترهای 3×64 به نظر می‌رسد.
به طور کلی، رویکرد جدید NVIDIA Neural Materials مدل‌ها به دنبال تعریف مجدد روشی است که بافت‌ها و اشیا در زمان واقعی ارائه می‌شوند. با افزایش سرعت 12 تا 24 برابری، این به توسعه دهندگان و سازندگان محتوا امکان می دهد مواد و اشیاء را سریعتر با بافت های فوق العاده واقعی تولید کنند که بر روی جدیدترین سخت افزار نیز سریع اجرا می شوند. ما نمی‌توانیم منتظر بمانیم تا شاهد استفاده از این رویکرد توسط بازی‌ها و برنامه‌های آینده باشیم.
