راهنمای فنی کنترل فیگور و تولید تصویر با مدل Qwen 2.1
کنترل فیگور و تولید تصویر با Qwen ۲.۱: یکی از چالش‌های اصلی در تولید تصویر با هوش مصنوعی، رسیدن به یک فیگور خاص بدون به هم ریختن ساختار آناتومی است.
خلاصه
مدل Qwen-Image 2.1 در نسخه جدید خود امکان تولید تصاویر با کنترل دقیق روی فیگور (Pose) و جزئیات ظریف بافت را فراهم کرده است. این سیستم با استفاده از زیرساخت ComfyUI و ترکیب مدل‌های LoRA با کتابخانه‌ای شامل ۱۳۶ ژست پیش‌فرض، به کاربران اجازه می‌دهد بدون تغییر هویت چهره، حالت بدن سوژه را به دقت تنظیم کنند. این ابزار برای اجرا بر روی کارت‌های گرافیک با حافظه ۱۲ تا ۲۴ گیگابایت بهینه‌سازی شده و از طریق اسکریپت‌های پایتون یا رابط کاربری VNCCS قابل مدیریت است.
چطور از کتابخانه ژست ۱۳۶تایی استفاده کنیم؟
یکی از چالش‌های اصلی در تولید تصویر با هوش مصنوعی، رسیدن به یک فیگور خاص بدون به هم ریختن ساختار آناتومی است. در این پروژه، از ترکیب چهار مخزن معتبر HuggingFace و ۵۵ ژست دست‌چین شده استفاده شده است که مجموعاً ۱۳۶ حالت بدنی مختلف را در اختیار کاربر قرار می‌دهد.
این ژست‌ها بر پایه چرخش استخوان‌بندی (Skeleton Rotation) در قالب فایل‌های JSON ذخیره شده‌اند. برای مثال، اگر بخواهید سوژه را در حالت نشسته یا در حالتی خاص با زاویه دوربین پایین (Low Angle) قرار دهید، نیازی به توصیف‌های طولانی متنی نیست؛ بلکه با فراخوانی کد مربوط به آن ژست، مدل به طور خودکار استراکچر بدن را منطبق بر آن تنظیم می‌کند. این روش باعث می‌شود هویت بصری سوژه (Identity) در فیگورهای مختلف ثابت بماند.
پیش‌نیازهای سخت‌افزاری و نصب
برای اجرای روان این مدل، داشتن سخت‌افزار مناسب حیاتی است. مدل اصلی Qwen-Image 2.1 در نسخه int۸ حدود ۱۶ گیگابایت فضا اشغال می‌کند که بخش بزرگی از آن مربوط به رمزگذار متن (Text Encoder) با حجم ۸.۷ گیگابایت است.
- حداقل سیستم: کارت گرافیک انویدیا با ۱۲ گیگابایت حافظه (VRAM) و ۳۲ گیگابایت رم. در این حالت بخشی از مدل روی رم بارگذاری می‌شود که سرعت خروجی را کاهش می‌دهد.
- سیستم پیشنهادی: کارت گرافیک سری ۳۰۹۰ یا ۴۰۹۰ با ۲۴ گیگابایت حافظه. در این وضعیت مدل کاملاً روی کارت گرافیک مستقر شده و تجربه کاربری بسیار سریعی ارائه می‌دهد.
- سیستم‌های ضعیف‌تر: برای کارت‌های ۸ گیگابایتی، استفاده از نسخه‌های کوانتایز شده GGUF توصیه می‌شود تا از افت شدید سرعت جلوگیری شود.
برای اطمینان از نصب صحیح تمام وابستگی‌ها، اجرای اسکریپت عیب‌یابی ۰ ضروری است. این ابزار وضعیت اتصال به ComfyUI، وجود مدل‌های LoRA و گره‌های VNCCS را بررسی کرده و در صورت نقص، راهنمای اصلاح ارائه می‌دهد.
ساختار پرامپت‌نویسی و سطوح大胆度
در این متدولوژی، خروجی‌ها به چهار سطح (L۰ تا L۳) تقسیم می‌شوند. تفاوت این سطوح در میزان جزئیات و جسارت بصری است که از طریق سه عامل کنترل می‌شود: ۱. ساختار پرامپت: نویسنده تاکید دارد که دستور متنی باید بین ۳۰۰ تا ۱۵۰۰ کاراکتر باشد و حتماً ۷ عنصر کلیدی طراحی صحنه را شامل شود. ۲. نقش LoRA: مدل‌های LoRA وظیفه بهبود بافت پوست، قطرات آب و جزئیات فیزیکی را بر عهده دارند. حذف LoRA منجر به کاهش شدید کیفیت بصری می‌شود. ۳. زاویه دوربین: استفاده از فیگورهای خاص در کتابخانه VNCCS، زاویه دید دوربین را برای ایجاد عمق بیشتر در تصویر تغییر می‌دهد.
برای مثال، در سطح L۲، علاوه بر استفاده از LoRA با وزن ۱.۰، توصیف‌های صریح برای بافت پوست و استفاده از فیگورهای با زاویه دوربین بسیار پایین ترکیب می‌شوند تا نتیجه‌ای کاملاً متفاوت از یک پرامپت ساده (سطح L۰) حاصل شود.
نکات کلیدی
- سیستم از مدل پایه qwen_image_۲.۱_int۸_convrot استفاده می‌کند که با نتایج Civitai مطابقت کامل دارد.
- اجرای دستور ۱ ساده‌ترین راه برای تست بازتولید نمونه‌های اصلی مخزن است.
- کتابخانه ژست‌ها شامل ۵۵ مورد اختصاصی و ۸۱ مورد از مخازن عمومی مانند MIUProject است.
- برای پایداری خروجی، تنظیمات CFG روی ۲.۵ و استفاده از نمونه‌بردار er_sde با زمان‌بندی beta توصیه شده است.
منبع: github.com