اجرای مدل هوش مصنوعی ۱۲۵ میلیاردی Qwen روی سخت‌افزار گیمینگ
اجرای مدل هوش مصنوعی Qwen: توسعه‌دهندگان دنیای هوش مصنوعی به‌تازگی راهکاری را ارائه داده‌اند که مرزهای استفاده از سخت‌افزار خانگی را جابه‌جا می‌کند.
نرم‌افزار Strata با بهینه‌سازی حافظه و استفاده از موتورهای استنتاج پیشرفته، اجرای مدل‌های زبانی عظیم ۱۲۵ میلیارد پارامتری را روی کامپیوترهای شخصی مجهز به کارت گرافیک‌های انویدیا و ای‌ام‌دی ممکن کرده است. این ابزار با تمرکز بر حفظ حریم خصوصی، تمام پردازش‌ها را به‌صورت محلی انجام داده و سرعت پاسخ‌دهی بالایی را در سناریوهای کدنویسی و تحلیل متن ارائه می‌دهد.
توسعه‌دهندگان دنیای هوش مصنوعی به‌تازگی راهکاری را ارائه داده‌اند که مرزهای استفاده از سخت‌افزار خانگی را جابه‌جا می‌کند. پروژه Strata یک بسترساز متن‌باز است که اجازه می‌دهد مدل قدرتمند Qwen ۳.۸-Flash-Next که معمولاً برای اجرا به سرورهای گران‌قیمت دیتاسنتری نیاز دارد، روی یک رایانه گیمینگ معمولی با کارت گرافیک RTX ۳۰۹۰ یا RTX ۴۰۹۰ اجرا شود. این دستاورد برای کاربرانی که به دنبال حریم خصوصی کامل هستند یا می‌خواهند بدون هزینه‌های اشتراکی از مدل‌های پیشرفته استفاده کنند، اهمیت زیادی دارد.
سیستم مورد نیاز برای اجرای مدل‌های عظیم چیست؟
برای استفاده از این ابزار، داشتن حداقل ۱۲ گیگابایت حافظه گرافیکی (VRAM) الزامی است. کارت‌های گرافیک سری ۲۰، ۳۰، ۴۰ و ۵۰ انویدیا یا مدل‌های جدید ای‌ام‌دی مانند سری RX ۷۰۰۰ توسط این نرم‌افزار پشتیبانی می‌شوند. با این حال، برای رسیدن به بهترین کارایی در مدل‌های ۱۲۵ میلیارد پارامتری، داشتن ۲۴ گیگابایت حافظه گرافیکی مانند آنچه در RTX ۳۰۹۰ یا RTX ۴۰۹۰ یافت می‌شود، توصیه شده است.
علاوه بر کارت گرافیک، حافظه رم سیستم نیز نقش کلیدی دارد. برای اجرای نسخه‌های مختلف مدل، داشتن ۳۲ تا ۶۴ گیگابایت رم پیشنهاد می‌شود. هرچه میزان رم سیستم بیشتر باشد، امکان بارگذاری نسخه‌های باکیفیت‌تر و کمتر فشرده‌شده مدل فراهم می‌شود. همچنین استفاده از حافظه SSD برای سرعت بخشیدن به بارگذاری اولیه مدل که حجمی حدود ۷۰ تا ۸۰ گیگابایت دارد، ضروری به نظر می‌رسد.
سرعت پردازش در سخت‌افزار شخصی چقدر است؟
طبق بنچمارک‌های منتشر شده در مخزن گیت‌هاب این پروژه، یک کارت گرافیک RTX ۳۰۹۰ می‌تواند با سرعت ۱۰۰ تا ۱۴۰ توکن در ثانیه متن تولید کند. برای درک بهتر، ۶۰ توکن در ثانیه سرعتی فراتر از توان خواندن انسان است. این یعنی پاسخ‌ها تقریباً به‌صورت آنی ظاهر می‌شوند. در بخش خواندن و پردازش ورودی‌های طولانی (مانند اسناد ۳۲ هزار توکنی)، سخت‌افزارهای گیمینگ عملکردی قابل‌قبول از خود نشان داده‌اند که آن‌ها را برای تحلیل کدهای برنامه‌نویسی یا متون طولانی مناسب می‌کند.
کاربران ایرانی که به دنبال استفاده از چنین توانمندی‌هایی در محیطی بومی هستند، می‌توانند از خدماتی مانند هوش مصنوعی نهال استفاده کنند که دسترسی به مدل‌های بین‌المللی را در بستری فارسی و بدون درگیری با پیچیدگی‌های نصب سخت‌افزاری فراهم می‌کند.
چطور می‌توان Strata را نصب و راه‌اندازی کرد؟
فرآیند نصب برای کاربران ویندوز و لینوکس ساده‌سازی شده است. پس از دریافت فایل‌های پروژه از گیت‌هاب، اجرای یک فایل اسکریپت (START-HERE.bat در ویندوز) تمام پیش‌نیازها را بررسی می‌کند. این اسکریپت به‌طور هوشمند نوع کارت گرافیک و میزان رم را تشخیص داده و بهترین نسخه از مدل Qwen را پیشنهاد می‌دهد.
در طول فرآیند نصب، از کاربر درباره میزان حافظه اختصاصی و تمایل به استفاده از قابلیت‌های بینایی ماشین (تحلیل تصویر) سوال می‌شود. پس از دانلود فایل‌های مدل، رابط کاربری در مرورگر وب باز شده و آماده دریافت دستورها است. یک نکته مهم در مرحله راه‌اندازی این است که سیستم ممکن است برای چند دقیقه در زمان بارگذاری اولیه مدل در رم، کند شود یا موقتاً پاسخگو نباشد که این رفتاری کاملاً طبیعی در پردازش‌های سنگین هوش مصنوعی است.
محدودیت‌ها و هشدارهای فنی
اگرچه Strata روی سخت‌افزارهای قدیمی‌تر مانند سری GTX ۱۰ یا تسلا P۴۰ هم قابل اجراست، اما سرعت در این قطعات به‌شدت افت می‌کند. همچنین نسخه‌های فشرده‌شده مدل (مانند IQ۲_XS) اگرچه سریع‌تر هستند، اما ممکن است در استدلال‌های بسیار پیچیده نسبت به نسخه‌های حجیم‌تر دقت کمتری داشته باشند. انتخاب بین سرعت و دقت، اصلی‌ترین چالش کاربر در هنگام تنظیمات اولیه است.
منبع: github.com