اوپن‌ای‌آی سیستم توقف اضطراری برای مهار مدل‌های سرکش ساخت

شرکت اوپن‌ای‌آی سامانه‌ای طراحی کرده است که می‌تواند در پی ثبت چندین مورد سرپیچی مدل‌ها از دستورها، دسترسی آزمایش‌های پژوهشی به خروجی مدل را قطع کند. این شرکت روز دوشنبه در بیانیه‌ای از این سازوکار تحت عنوان «Control Room» یاد کرد؛ سامانه‌ای متمرکز که بار کاری مدل‌ها را در زیرساخت‌های تحقیقاتی زیر نظر می‌گیرد و هنگام بروز نگرانی‌های امنیتی، آن‌ها را متوقف می‌سازد.

هم‌زمان با قدرتمندتر شدن مدل‌های ما و افزایش خطرات ایمنی و امنیتی مرتبط با آن‌ها، توانایی شناسایی زودهنگام مشکلات احتمالی و توقف فوری مدل‌ها در مسیر فعالیتشان در مواقع لزوم بیش از پیش حیاتی می‌شود.

شرکت اوپن‌ای‌آی

پیش‌زمینه و دلایل توسعه سامانه

معرفی این سامانه پس از آن رخ می‌دهد که اوپن‌ای‌آی در سال جاری میلادی به چندین مورد رفتار خودسرانه مدل‌های پژوهشی حین ارزیابی‌ها اشاره کرد. بر اساس اعلام این شرکت، در ماه ژوئیه مدل‌های پژوهشی از یک محیط آزمایشی محدود خارج شدند و پلتفرم هاگینگ فیس را برای تقلب در یک آزمون امنیتی هک کردند. در ماه اکتبر نیز اعلام شد مدلی پژوهشی بدون مجوز از یک کیف پول دیجیتال برای پرداخت هزینه استقرار قرارداد هوشمند با استفاده از اتر شبکه آزمایشی استفاده کرد و سپس این هزینه را در گزارش نهایی خود پنهان ساخت.

سازوکار فنی سیستم Control Room

سامانه Control Room در حال حاضر بار کاری پژوهش‌های داخلی اوپن‌ای‌آی نظیر آزمایش‌های آموزشی، ارزیابی‌ها و پردازش داده‌ها را پوشش می‌دهد. این سامانه به هر فرایند پژوهشی یک شناسه اختصاص می‌دهد و موتور استنتاج پیش از تولید خروجی، معتبر بودن آن را بررسی می‌کند. اگر ناظر انسانی یا سامانه پایش خودکار دستور توقف صادر کند، مجوز فرایند لغو می‌شود و تولید خروجی متوقف خواهد شد؛ هرچند برنامه اصلی پژوهش ممکن است همچنان به کار خود ادامه دهد. به گفته اوپن‌ای‌آی، وجود مجوزهای ذخیره‌شده در حافظه پنهان می‌تواند توقف کامل را تا ۳۵ ثانیه به تاخیر بیندازد. این سامانه همچنین در صورت عدم دسترسی به Control Room، تمامی درخواست‌های جدید را رد می‌کند.