تعامل مستقیم با سیستم‌عامل؛ پروژه متن‌باز Unreal Agent معرفی شد

پروژه Unreal Agent به مدل‌های زبانی بزرگ اجازه می‌دهد بدون API و از طریق شبیه‌سازی ماوس و کیبورد، مستقیماً با محیط ویندوز و لینوکس تعامل داشته باشند.

توسعه‌دهندگان پروژه Unreal Agent ابزار جدیدی را به‌صورت متن‌باز در گیت‌هاب منتشر کردند که به مدل‌های زبانی بزرگ اجازه می‌دهد بدون نیاز به کدهای واسطه یا APIهای اختصاصی، مستقیماً با محیط سیستم‌عامل تعامل داشته باشند. این پروژه که در وب‌لاگ Unreal Labs معرفی شده، بر پایه مفهوم «ایجنت‌های عمل‌گرا» بنا شده است و تلاش می‌کند فاصله میان تفکر ماشین و اجرای فیزیکی دستورها در محیط ویندوز یا لینوکس را از بین ببرد.

چرا هوش مصنوعی به چشم و دست نیاز دارد؟

بسیاری از دستیارهای هوشمند فعلی برای انجام کارها به افزونه‌ها یا دسترسی‌های محدود متکی هستند. برای مثال، اگر از یک هوش مصنوعی بخواهید فایلی را در فتوشاپ ویرایش کند، او باید حتماً به API آن نرم‌افزار دسترسی داشته باشد. مشکل اینجاست که اکثر برنامه‌های کاربردی چنین مسیری را فراهم نمی‌کنند. Unreal Agent با رویکردی متفاوت، محیط دسکتاپ را به صورت بصری می‌بیند و با شبیه‌سازی حرکت ماوس و فشردن کلیدهای کیبورد، دقیقاً همان کاری را انجام می‌دهد که شما پشت میز کارتان انجام می‌دهید.

در اکوسیستم داخلی، مجموعه‌هایی مثل هوش مصنوعی نهال با درک همین نیاز، بستر استفاده از مدل‌های بین‌المللی را فراهم کرده‌اند تا کاربران ایرانی بتوانند ایجنت‌های شخصی خود را بسازند. تفاوت اصلی در اینجاست که ابزارهایی مثل Unreal Agent، لایه اجرایی این دستیارها را به سطح سیستم‌عامل می‌آورند.

مکانیزم عملکرد و معماری پروژه

این ابزار از یک حلقه بازخورد بصری استفاده می‌کند. در هر مرحله، تصویری از صفحه نمایش (اسکرین‌شات) برای مدل ارسال می‌شود. مدل با تحلیل جایگاه آیکون‌ها، متن‌ها و پنجره‌ها، مختصات دقیق حرکت بعدی را محاسبه می‌کند. این فرآیند به مدل اجازه می‌دهد تا متوجه شود آیا کلیک قبلی منجر به باز شدن پنجره مورد نظر شده است یا خیر.

چالش تاخیر و دقت در اجرا

یکی از محدودیت‌های جدی در این مسیر، سرعت پاسخ‌دهی مدل‌های هوش مصنوعی است. اگر سرعت تحلیل تصویر پایین باشد، تجربه کاربری از حالت طبیعی خارج می‌شود. همچنین، مدل باید بتواند تفاوت میان یک دکمه واقعی و یک بنر تبلیغاتی را تشخیص دهد تا از مسیر وظیفه اصلی منحرف نشود. هشدار داده شده که در نسخه‌های فعلی، استفاده از این ایجنت‌ها روی محیط‌های حساس که حاوی اطلاعات بانکی یا شخصی هستند، باید با نظارت مستقیم انسانی انجام شود؛ چرا که یک خطای کوچک در تشخیص مختصات می‌تواند منجر به حذف ناخواسته فایل‌ها شود.

کاربرد دستیارهای سیستم‌عامل در کسب‌وکار

تصور کنید یک کارمند بخش اداری در ایران مجبور است هر روز داده‌های یک فایل اکسل قدیمی را به سامانه دولتی خاصی منتقل کند که هیچ راه ارتباطی مدرنی ندارد. ایجنت‌های مبتنی بر Unreal Agent می‌توانند با باز کردن مرورگر، وارد کردن نام کاربری و کپی‌پیست کردن داده‌ها، این فرآیند فرسایشی را خودکار کنند.

این پروژه در حال حاضر از مدل‌های قدرتمندی مثل Claude 3.5 Sonnet و GPT-۴o برای بخش بینایی و تصمیم‌گیری پشتیبانی می‌کند. با توجه به متن‌باز بودن پروژه، انتظار می‌رود به‌زودی مدل‌های کوچک‌تر و محلی نیز بتوانند وظایف ساده‌تر دسکتاپ را با هزینه کمتر و سرعت بالاتر بر عهده بگیرند.

منبع: unreallabs.ai