قصور آزمایشگاه‌های پیشرو در امنیت زیرساخت‌های هوش مصنوعی

امنیت زیرساخت‌های هوش مصنوعی با تمرکز بر ضعف مانیتورینگ، ایزوله‌سازی و دسترسی‌های کنترل‌نشده بررسی می‌شود؛ این عوامل مسیر نفوذ به ایجنت‌ها را باز می‌کنند.

بر اساس تحلیل‌های جدید منتشر شده در پلتفرم هکرنیوز (Hacker News) و گزارش‌های فنی متخصصان امنیت، نفوذ به سیستم‌های هوش مصنوعی ناشی از قدرت خارق‌العاده این مدل‌ها نیست، بلکه ریشه در نادیده گرفتن اصول اولیه امنیتی توسط توسعه‌دهندگان دارد. کارشناسان بر این باورند که آزمایشگاه‌های پیشرو با تمرکز بیش از حد بر توانایی‌های مدل، از ایجاد لایه‌های حفاظتی استاندارد در زیرساخت‌های خود غافل شده‌اند.

خلاصه

گزارش‌های اخیر نشان می‌دهند که برخلاف تصور عمومی، ایجنت‌های هوش مصنوعی به‌خودی‌خود «یاغی» نشده‌اند، بلکه ضعف در مانیتورینگ و ایزوله‌سازی محیط‌های اجرای کد باعث بروز حفره‌های امنیتی شده است. متخصصان امنیت در گزارش csoonline تأکید کرده‌اند که بسیاری از حملات موفق، ناشی از دسترسی‌های بیش از حد به فایل‌سیستم‌ها و عدم کنترل خروجی‌های مدل در محیط‌های حساس است.

چرا امنیت ایجنت‌های هوش مصنوعی به خطر افتاده است؟

بسیاری از سیستم‌های مبتنی بر هوش مصنوعی فعلی به ابزارهایی مجهز شده‌اند که اجازه اجرای مستقیم کد یا دسترسی به پایگاه داده را به آن‌ها می‌دهد. مشکل زمانی آغاز می‌شود که این ایجنت‌ها بدون محدودیت‌های «سندباکس» (Sandbox) در محیط‌های عملیاتی رها می‌شوند. وقتی یک مدل زبانی بزرگ به اینترنت متصل است و همزمان دسترسی نوشتن در حافظه سیستم را دارد، هرگونه تزریق دستور (Prompt Injection) می‌تواند به یک فاجعه امنیتی تبدیل شود. در واقع، این نه یک باگ در هوش مصنوعی، بلکه یک خطای پیکربندی در مهندسی نرم‌افزار است.

پیامدهای دسترسی‌های کنترل نشده

در نمونه‌های بررسی شده، ایجنت‌ها توانسته‌اند دستورات مخرب را از ایمیل‌های دریافتی استخراج و اجرا کنند. این اتفاق به این دلیل رخ داده که طراحان سیستم، تفاوتی میان «داده ورودی» و «دستور اجرایی» قائل نشده بودند. برای مثال، در کسب‌وکارهای داخلی که از دستیارهای هوش مصنوعی برای مدیریت تیکت‌های پشتیبانی استفاده می‌کنند، اگر ایجنت اجازه دسترسی مستقیم به کنسول مدیریت را داشته باشد، یک کاربر نفوذگر می‌تواند با ارسال یک متن خاص، ایجنت را مجبور به حذف داده‌ها یا تغییر دسترسی‌ها کند.

نقش زیرساخت‌های بومی در کاهش ریسک

استفاده از پلتفرم‌های واسط که لایه‌های امنیتی اضافی را بین مدل بین‌المللی و داده‌های حساس قرار می‌دهند، یکی از راهکارهای اصلی برای مقابله با این تهدیدات است. در این میان، بهره‌گیری از خدماتی مانند هوش مصنوعی نهال که امکان مدیریت ایجنت‌ها و دستیارها را در محیطی کنترل‌شده فراهم می‌کند، به سازمان‌ها اجازه می‌دهد بدون درگیر شدن با پیچیدگی‌های امنیتیِ مستقیم مدل‌های خام، از توانمندی‌های هوش مصنوعی استفاده کنند. این بسترها معمولاً با محدود کردن سطح دسترسی مدل به منابع سیستمی، جلوی اجرای کدهای مخرب را می‌گیرند.

آیا هوش مصنوعی واقعاً غیرقابل کنترل است؟

ادعای «غیرقابل پیش‌بینی بودن» هوش مصنوعی نباید بهانه‌ای برای فرار از مسئولیت‌های امنیتی باشد. واقعیت این است که ابزارهای مانیتورینگ فعلی به راحتی می‌توانند رفتارهای غیرعادی مدل را شناسایی کنند، اما بسیاری از شرکت‌ها برای افزایش سرعت توسعه، این ابزارها را غیرفعال یا محدود می‌کنند. هشدار اصلی متخصصان این است که تا زمانی که استانداردهای سخت‌گیرانه برای «ایزوله‌سازی مدل» تدوین نشود، گزارش‌های هک و نفوذ از طریق هوش مصنوعی افزایش خواهد یافت.

منبع: csoonline.com