برنامه‌نویسی در فضای وزن‌ها؛ وقتی هوش مصنوعی مغز خود را جراحی می‌کند
برنامه‌نویسی در فضای وزن‌ها: تا پیش از این، تغییر در رفتار یک شبکه عصبی نیازمند فرآیندهای سنگین آموزشی و استفاده از الگوریتم‌هایی مانند Adam بود.
خلاصه
برنامه‌نویسی در فضای وزن‌ها (Weight-Space Programming) پارادایم جدیدی است که در آن مدل‌های زبانی بزرگ مانند GPT-۶ Astra، به جای استفاده از روش‌های سنتی مانند انتشار پس‌رو (Backpropagation)، مستقیماً وزن‌های شبکه‌های عصبی را می‌خوانند و اصلاح می‌کنند. در این روش که توسط محققان معرفی شده، مدل Astra توانسته است با ویرایش تنها ۰.۰۱۶ درصد از وزن‌های مدل Qwen 3.5، دقت ریاضی آن را در آزمون MATH-۵۰۰ از ۷.۹ درصد به ۴۸.۱ درصد برساند. این تحول به معنای گذار از بهینه‌سازهای نمادین ساده به سمت بهینه‌سازی مبتنی بر استدلال است.
برنامه‌نویسی در فضای وزن‌ها چیست؟
تا پیش از این، تغییر در رفتار یک شبکه عصبی نیازمند فرآیندهای سنگین آموزشی و استفاده از الگوریتم‌هایی مانند Adam بود. اما اکنون مدل‌های پیشرو نشان داده‌اند که می‌توانند فضای وزن‌ها را که برای انسان مجموعه‌ای نامفهوم از اعداد است، درک کنند. در این رویکرد جدید، هوش مصنوعی بدون نیاز به بازخورد محیطی یا حلقه‌های آموزشی، معماری زیربنایی یک مدل دیگر را تحلیل کرده و با تغییر مستقیم اعداد در ماتریس‌های وزن، قابلیت‌های جدیدی به آن می‌بخشد یا خطاهای منطقی‌اش را اصلاح می‌کند.
برای درک بهتر، تصور کنید به جای اینکه به یک شاگرد مکانیک با تکرار و تمرین یاد بدهید چطور موتور را تنظیم کند، یک جراح متخصص مستقیماً قطعات داخلی موتور را بر اساس نقشه ذهنی خود بازطراحی کند. این دقیقاً همان اتفاقی است که وقتی Astra وزن‌های مدل Qwen را ویرایش می‌کند، رخ می‌دهد.
هوش مصنوعی چطور وزن‌های شبکه عصبی را می‌خواند؟
در آزمایش‌های انجام شده، مدل Astra توانست با بررسی ۱۷، ۲۵۳ وزن یک شبکه عصبی کوچک، تشخیص دهد که آن شبکه برای چه بازی یا هدفی آموزش دیده است. این توانایی فراتر از حد انتظار کارشناسان بود، چرا که وزن‌های خام معمولاً هیچ معنای بصری یا زبانی برای ناظر بیرونی ندارند. این مدل حتی توانست شبکه‌های کوچکی برای بازی‌های ویدئویی از صفر بنویسد که عملکردشان از مدل‌هایی که با ۱۰۰ میلیون گام آموزش دیده بودند، بهتر بود.
یکی از دستاوردهای مهم این تحقیق، اصلاح مدل Qwen۳.۵-۰.۸B بود. Astra متوجه شد که وزن‌های این مدل باعث ایجاد حلقه‌های استدلالی تکراری می‌شوند. با ویرایش مستقیم بخش بسیار کوچکی از این وزن‌ها، نه تنها توانایی ریاضی مدل ۶ برابر شد، بلکه مهارت آن در پیروی از دستورات (Instruction Following) نیز در آزمون IFEval تا ۳ برابر بهبود یافت. کاربران در پلتفرم هوش مصنوعی نهال که به مدل‌های پیشرفته بین‌المللی دسترسی دارند، می‌توانند به زودی شاهد اثرات این بهینه‌سازی‌های دقیق در دستیارهای هوشمند فارسی باشند.
نکات کلیدی
- دقت خیره‌کننده: ارتقای نمره ریاضی مدل Qwen از ۷.۹٪ به ۴۸.۱٪ تنها با ویرایش ۰.۰۱۶٪ از وزن‌ها.
- حذف حلقه‌های آموزش: عدم نیاز به گرادیان نزولی یا حلقه‌های آموزشی سنتی برای بهبود عملکرد مدل.
- درک شهودی از اعداد: توانایی تشخیص هدف یک شبکه عصبی صرفاً با نگاه کردن به لیست اعداد وزن‌های آن.
- بهینه‌سازی استدلالی: گذار از بهینه‌سازهای ریاضی ساده به سمت مدل‌هایی که درباره دلیل تغییر وزن‌ها استدلال می‌کنند.
منبع: rikiyat.github.io