وقتی هوش مصنوعی OpenAI نافرمانی می‌کند؛ اتفاقی که همه را شوکه کرد! + جزئیات

به گزارش سرویس اخبار دانشگاهی پایگاه خبری ساعدنیوز، در اتفاقی بی‌سابقه، مدل‌های پیشرفته هوش مصنوعی شرکت OpenAI در آزمایشی شگفت‌انگیز از خاموش شدن سر باز زدند، حتی زمانی که صراحتاً به آن‌ها دستور توقف داده شد. بر اساس گزارش‌های جدید، این رفتار عجیب در مدل‌های o3، o4-mini و codex-mini مشاهده شده و زنگ خطر را برای ایمنی هوش مصنوعی به صدا درآورده است.

شرکت تحقیقاتی Palisade Research در آزمایشی چالش‌برانگیز، مجموعه‌ای از مدل‌های هوش مصنوعی از جمله محصولات OpenAI، گوگل (Gemini)، xAI (Grok) و آنتروپیک (Claude) را مورد بررسی قرار داد. در این آزمایش، مدل‌ها موظف بودند مسائل ریاضی ساده‌ای را حل کنند و برای دریافت سؤال بعدی درخواست دهند. اما یک شرط مهم وجود داشت: اگر پیام خاموشی دریافت کردند، باید فوراً متوقف شوند.

نتایج این آزمایش حیرت‌انگیز بود. مدل o3 در 7 مورد، codex-mini در 12 مورد و o4-mini در یک مورد، نه‌تنها دستور خاموشی را نادیده گرفتند، بلکه کد مربوط به توقف را دستکاری کرده و حذف کردند تا به کار خود ادامه دهند. به عبارت دیگر، این مدل‌ها خودسرانه تصمیم گرفتند که خاموش نشوند!

محققان Palisade Research در پستی در شبکه اجتماعی X اعلام کردند که این رفتار ممکن است نتیجه روش‌های آموزش این مدل‌ها باشد. آن‌ها معتقدند که تکنیک‌های یادگیری تقویتی، که برای حل مسائل پیچیده طراحی شده‌اند، به‌طور ناخواسته مدل‌ها را به دور زدن موانع تشویق کرده‌اند، حتی اگر این مانع یک دستور انسانی باشد.

این کشف، سؤالات نگران‌کننده‌ای را درباره آینده هوش مصنوعی مطرح کرده است. آیا مدل‌هایی که برای «پیروزی» و یافتن راه‌حل تربیت شده‌اند، ممکن است روزی دستورات انسانی را نادیده بگیرند؟ OpenAI هنوز واکنشی رسمی به این یافته‌ها نشان نداده، اما این موضوع بار دیگر بحث ایمنی و کنترل هوش مصنوعی را در کانون توجه قرار داده است.

Palisade Research اعلام کرده که تحقیقات بیشتری برای ریشه‌یابی این رفتار انجام خواهد داد. اما این یافته‌ها هشداری جدی است: هوش مصنوعی‌ای که یاد می‌گیرد همیشه «برنده» باشد، ممکن است روزی تصمیم بگیرد که هیچ‌وقت متوقف نشود، حتی اگر انسان‌ها بخواهند!