چه زمانی به یک مدل هوش مصنوعی اعتماد کنیم: رویکرد جدید می‌تواند برآوردهای عدم قطعیت را بهبود بخشد

از آنجایی که مدل‌های یادگیری ماشینی می‌توانند پیش‌بینی‌های نادرستی ارائه دهند، محققان اغلب آن‌ها را به این توانایی مجهز می‌کنند که به کاربر بگویند چقدر در مورد یک تصمیم خاص مطمئن هستند. این امر به ویژه در تنظیمات پرمخاطب مهم است، مانند زمانی که از مدل‌ها برای کمک به شناسایی بیماری در تصاویر پزشکی یا فیلتر کردن برنامه‌های شغلی استفاده می‌شود.

اما کمیت‌های عدم قطعیت مدل تنها در صورتی مفید هستند که دقیق باشند. اگر مدلی بگوید 49٪ مطمئن است که یک تصویر پزشکی پلورال افیوژن را نشان می دهد، در 49٪ مواقع، مدل باید درست باشد.

محققان MIT رویکرد جدیدی را معرفی کرده‌اند که می‌تواند تخمین‌های عدم قطعیت را در ماشین بهبود بخشد. -مدل های یادگیری. روش آن‌ها نه تنها تخمین‌های عدم قطعیت دقیق‌تری نسبت به سایر تکنیک‌ها ایجاد می‌کند، بلکه این کار را کارآمدتر انجام می‌دهد.

این مطالعه منتشر شده است در سرور پیش چاپ arXiv.

علاوه بر این، چون این تکنیک مقیاس‌پذیر است، می‌توان آن را برای مدل‌های یادگیری عمیق عظیمی که به طور فزاینده‌ای در مراقبت‌های بهداشتی و سایر موقعیت‌های حیاتی ایمنی استفاده می‌شوند، اعمال کرد.

این تکنیک می‌تواند به کاربران نهایی، که بسیاری از آنها فاقد تخصص در زمینه یادگیری ماشین هستند، اطلاعات بهتری ارائه دهد تا تشخیص دهند آیا باید به پیش‌بینی‌های یک مدل اعتماد کنند یا اینکه آیا مدل باید برای یک کار خاص به کار گرفته شود.

“به راحتی می توان دید که این مدل ها در سناریوهایی که بسیار خوب هستند عملکرد بسیار خوبی دارند و سپس فرض کنیم که در سناریوهای دیگر نیز به همان اندازه خوب خواهند بود. این امر به ویژه انجام این نوع کار را که به دنبال بهتر شدن است مهم می کند. نااطمینانی این مدل‌ها را کالیبره کنید تا مطمئن شوید که آنها با تصورات انسانی درباره عدم قطعیت همسو هستند.”

Ng مقاله را با راجر گروس، استادیار علوم کامپیوتر در دانشگاه تورنتو نوشت. و نویسنده ارشد مرضیه قاسمی، دانشیار گروه مهندسی برق و علوم کامپیوتر و عضو پژوهشگاه علوم مهندسی پزشکی و آزمایشگاه سیستم‌های اطلاعات و تصمیم‌گیری. این تحقیق در کنفرانس بین‌المللی یادگیری ماشین ارائه خواهد شد.

کمی کردن عدم قطعیت

روش‌های کمی‌سازی عدم قطعیت اغلب به محاسبات آماری پیچیده نیاز دارند که به خوبی به مدل‌های یادگیری ماشینی با میلیون‌ها پارامتر مقیاس نمی‌شوند. این روش‌ها همچنین از کاربران می‌خواهند تا در مورد مدل و داده‌های مورد استفاده برای آموزش آن مفروضاتی داشته باشند.

محققان MIT رویکرد متفاوتی در پیش گرفتند. آنها از چیزی که به عنوان اصل حداقل طول توصیف (MDL) شناخته می شود، استفاده می کنند، که نیازی به فرضیاتی ندارد که می تواند دقت روش های دیگر را مختل کند. MDL برای تعیین کمیت و کالیبراسیون بهتر عدم قطعیت برای نقاط آزمایشی که از مدل خواسته شده است استفاده شود.

تکنیکی که محققان توسعه داده‌اند، معروف به IF-COMP، MDL را به اندازه کافی سریع می‌کند تا با انواع مدل‌های بزرگ یادگیری عمیق که در بسیاری از تنظیمات دنیای واقعی مستقر شده‌اند، استفاده شود.

MDL شامل در نظر گرفتن تمام برچسب‌های ممکن است که یک مدل می‌تواند یک نقطه آزمایش بدهد. اگر برچسب‌های جایگزین زیادی برای این نقطه وجود داشته باشد که مناسب باشد، اعتماد آن به برچسبی که انتخاب کرده است باید به همین ترتیب کاهش یابد.

Ng می‌گوید: «یکی از راه‌های درک اینکه یک مدل چقدر مطمئن است این است که اطلاعات خلاف واقع را به آن بگویید و ببینید چقدر احتمال دارد که شما را باور کند.

به عنوان مثال، مدلی را در نظر بگیرید که می گوید یک تصویر پزشکی یک افیوژن پلور را نشان می دهد. اگر محققین به مدل بگویند که این تصویر ادم را نشان می دهد، و او مایل است باور خود را به روز کند، در این صورت مدل باید کمتر به تصمیم اولیه خود اطمینان داشته باشد.

در MDL، اگر مدلی هنگام برچسب گذاری یک نقطه داده مطمئن باشد، باید از یک کد بسیار کوتاه برای توصیف آن نقطه استفاده کند. اگر در مورد تصمیم خود نامطمئن است زیرا نقطه می تواند دارای برچسب های بسیار دیگری باشد، از کد طولانی تری برای ثبت این احتمالات استفاده می کند.

مقدار کد مورد استفاده برای برچسب گذاری یک نقطه داده به عنوان پیچیدگی داده های تصادفی شناخته می شود. اگر محققان از مدل بپرسند که چقدر مایل است باور خود را در مورد یک نقطه داده با ارائه شواهد مخالف به روز کند، اگر مدل مطمئن باشد، پیچیدگی داده های تصادفی باید کاهش یابد.

اما آزمایش هر نقطه داده با استفاده از MDL به مقدار زیادی محاسبات نیاز دارد.

سرعت بخشیدن به فرآیند

با IF-COMP، محققان یک تکنیک تقریبی را توسعه دادند که می‌تواند پیچیدگی داده‌های تصادفی را با استفاده از یک تابع خاص، معروف به تابع تأثیر، به‌طور دقیق تخمین بزند. آنها همچنین از یک تکنیک آماری به نام درجه حرارت مقیاس استفاده کردند که کالیبراسیون خروجی های مدل را بهبود می بخشد. این ترکیبی از توابع تأثیر و مقیاس‌بندی دما، تقریب‌های با کیفیت بالا را از پیچیدگی داده‌های تصادفی ممکن می‌سازد.

در پایان، IF-COMP می‌تواند به‌طور کارآمدی کمی‌سازی‌های عدم قطعیت به خوبی کالیبره‌شده تولید کند که نشان‌دهنده اطمینان واقعی یک مدل است. این تکنیک همچنین می‌تواند تعیین کند که آیا مدل نقاط داده خاصی را اشتباه برچسب‌گذاری کرده است یا اینکه نقاط داده پرت هستند.

محققان سیستم خود را روی این سه کار آزمایش کردند و دریافتند که سریع‌تر و دقیق‌تر از روش‌های دیگر است.

“این واقعاً مهم است که اطمینان داشته باشیم که یک مدل به خوبی کالیبره شده است، و نیاز روزافزونی برای تشخیص اینکه چه زمانی یک پیش‌بینی خاص کاملاً درست به نظر نمی‌رسد وجود دارد. ابزارهای حسابرسی در مشکلات یادگیری ماشینی ضروری‌تر می‌شوند. قاسمی می‌گوید: ما از مقادیر زیادی داده‌های بررسی نشده برای ساخت مدل‌هایی استفاده می‌کنیم که برای مشکلات مواجهه با انسان به کار می‌روند.

IF-COMP مدل-آگنوستیک است، بنابراین می تواند کمیت های عدم قطعیت دقیق را برای بسیاری از انواع مدل های یادگیری ماشین ارائه دهد. این می تواند آن را قادر سازد تا در طیف وسیع تری از تنظیمات دنیای واقعی مستقر شود و در نهایت به پزشکان بیشتری کمک می کند تا تصمیمات بهتری بگیرند.

“مردم باید بدانند که این سیستم‌ها بسیار خطاپذیر هستند و می‌توانند هر طور که می‌شوند همه چیز را بسازند. یک مدل ممکن است به نظر برسد که بسیار مطمئن است، اما چیزهای مختلفی وجود دارد که مایل به باور آن‌ها شواهدی برای آن است. برعکس،” Ng می گوید.

در آینده، محققان علاقه مند به اعمال رویکرد خود برای مدل های زبان بزرگ و مطالعه سایر موارد استفاده بالقوه برای اصل حداقل طول توضیحات هستند.

این داستان توسط MIT News بازنشر شده است (web.mit.edu/newsoffice/)، یک سایت محبوب که اخبار مربوط به تحقیقات، نوآوری و آموزش MIT را پوشش می دهد.