کنترل مستقیم آیفون با مدل‌های زبانی؛ معرفی ابزار iPhone-use
کنترل مستقیم آیفون: پروژه iPhone-use که در مخزن zhongerxin توسعه یافته، راهکاری برای حذف واسطه‌های سنتی در اتوماسیون موبایل است.
خلاصه
ابزار iPhone-use یک پل ارتباطی میان مدل‌های هوش مصنوعی و سیستم‌عامل iOS است که به کاربر اجازه می‌دهد با زبان طبیعی، دستورات اجرایی را به گوشی آیفون منتقل کند. این سیستم با استفاده از WebDriverAgent (WDA) و اتصال USB، امکاناتی نظیر کلیک، اسکرول، استخراج لیست‌ها و مشاهده زنده صفحه نمایش را در اختیار مدل قرار می‌دهد تا وظایف پیچیده را به‌صورت خودکار انجام دهد.
تعامل مستقیم با آیفون از طریق هوش مصنوعی چیست؟
پروژه iPhone-use که در مخزن zhongerxin توسعه یافته، راهکاری برای حذف واسطه‌های سنتی در اتوماسیون موبایل است. در این روش، مدل هوش مصنوعی (مانند Codex) صرفاً یک تولیدکننده متن نیست، بلکه به اپراتوری تبدیل می‌شود که می‌تواند محتوای صفحه گوشی را ببیند و بر اساس آن تصمیم بگیرد. فرض کنید می‌خواهید در اپلیکیشن «تقویم» یک رویداد جدید ثبت کنید یا در «یادداشت‌ها» متنی فارسی بنویسید؛ کافی است دستور را به صورت متنی بگویید تا ابزار، مراحل لمس و تایپ را روی گوشی واقعی شما اجرا کند.
این سیستم برای تشخیص المان‌های صفحه از ساختار XML استفاده می‌کند، اما در صورت پیچیده بودن رابط کاربری یا شکست در مکان‌یابی المان‌ها، از تحلیل تصویر (Screenshot-based fallback) بهره می‌برد. این یعنی هوش مصنوعی با نگاه کردن به عکس صفحه، مختصات دقیق برای کلیک کردن را محاسبه می‌کند.
پیش‌نیازهای فنی و نرم‌افزاری
برای استفاده از این ابزار، داشتن دانش اولیه درباره اکوسیستم اپل و ابزارهای توسعه ضروری است. برخلاف بسیاری از ابزارهای اتوماسیون، این پروژه نیازی به جیل‌بریک ندارد، اما به دسترسی‌های توسعه‌دهنده متکی است. موارد زیر برای شروع الزامی هستند:
- سخت‌افزار: یک دستگاه آیفون واقعی و یک رایانه مک که از طریق کابل USB به هم متصل باشند.
- نرم‌افزار مدیریت کد: نصب بودن Xcode کامل (تنها ابزارهای خط فرمان کافی نیست) برای امضای دیجیتال برنامه‌ها.
- محیط اجرایی: نسخه ۲۰.۱۹ یا بالاتر Node.js و پایتون برای اجرای سرویس MCP.
- حساب کاربری اپل: یک Apple ID معتبر برای ایجاد Team و امضای Bundle Identifier اختصاصی جهت نصب WebDriverAgentRunner روی گوشی.
در پلتفرم‌هایی مثل هوش مصنوعی نهال که دسترسی به مدل‌های پیشرفته بین‌المللی را در بستری فارسی فراهم می‌کنند، درک این زیرساخت‌ها به توسعه‌دهندگان کمک می‌کند تا دستیارهای هوشمند شخصی‌سازی‌شده‌تری بسازند.
مراحل نصب و پیکربندی ابزار
فرآیند نصب با دریافت مخزن از گیت‌هاب آغاز می‌شود. ابتدا باید دستور ۰ را اجرا کرده و سپس به پوشه پروژه بروید. اجرای اسکریپت ۱ پیش‌نیازهای محلی را بررسی و پلاگین‌های لازم را ثبت می‌کند.
بخش حیاتی کار، راه‌اندازی WebDriverAgent است. شما باید فایل ۲ را در Xcode باز کنید. در بخش Signing & Capabilities، تیم توسعه خود را انتخاب و یک Bundle ID منحصر‌به‌فرد تعریف کنید. پس از اتصال گوشی و اعتماد (Trust) به رایانه، با اجرای تست (Product -> Test)، سرویس WDA روی گوشی شما نصب و فعال می‌شود. این سرویس به عنوان یک سرور محلی روی پورت ۱۸۱۰۰ عمل کرده و دستورات هوش مصنوعی را به حرکات لمسی تبدیل می‌کند.
امنیت و حریم خصوصی در انتقال داده
یکی از دغدغه‌های اصلی در کنترل از راه دور گوشی، امنیت داده‌های شخصی است. در پروژه iPhone-use، تمامی پردازش‌ها و انتقال داده‌ها در بستر شبکه محلی (Local USB) انجام می‌شود. تصاویر صفحه نمایش به صورت محلی پردازش شده و در حافظه موقت باقی می‌مانند. همچنین، سیستم به گونه‌ای طراحی شده که اطلاعات حساسی مانند گذرواژه‌ها یا داده‌های Face ID توسط کاربر وارد شود و هوش مصنوعی در این مراحل مداخله نکند. برای شفافیت بیشتر، امکان غیرفعال‌سازی ارسال آمارهای ناشناس با تنظیم متغیر محیطی ۳ پیش‌بینی شده است.
نکات کلیدی
- ابزار iPhone-use برای مکان‌یابی دقیق المان‌ها، در صورت شکست متدهای متنی، از تحلیل تصاویر اسکرین‌شات و تبدیل پیکسل به مختصات نقطه (Point) استفاده می‌کند.
- اتصال پایدار تنها از طریق کابل USB و پروتکل‌های محلی میسر است و دسترسی‌های راه دور (Remote) به دلیل مسائل امنیتی مسدود شده‌اند.
- نسخه WebDriverAgent مورد استفاده در این پروژه بر روی نسخه ۱۶.۱۴.۰ تثبیت شده تا بیشترین سازگاری را با اسکریپت‌های خودکارسازی داشته باشد.
- برای اجرای صحیح، گوشی باید در حالت Developer Mode باشد و قفل صفحه هنگام شروع عملیات باز شود.
منبع: github.com