تبدیل عکس دو بعدی به دنیای سه بعدی با سیستم هوشمند Guangyu Zaojing
تبدیل عکس دو بعدی به سه بعدی: این پروژه از مدل‌های انتشاری (Diffusion) مختلفی مثل SD۱.۵ و Realistic Vision برای تولید محتوا استفاده می‌کند.
خلاصه
سیستم Guangyu Zaojing یک بستر هوشمند برای تولید صحنه‌های سه‌بعدی بر پایه تصویر است که زنجیره پیچیده مدل‌سازی را به یک فرآیند ساده تبدیل می‌کند. کاربر با بارگذاری یک عکس و نوشتن یک دستور (Prompt)، خروجی‌هایی قابل پیمایش، بازپخش و ردیابی دریافت می‌کند که شامل انیمیشن‌های رنگی، نقشه‌های عمق و ابر نقاط گوسی (Gaussian Point Clouds) است. این سیستم که در ۴ آبان ۱۴۰۵ به‌روزرسانی شده، به صورت یک تصویر داکر ارائه می‌شود و امکان اجرا در دو حالت نمایشی (بدون نیاز به پردازنده گرافیکی) و حالت کامل (با استفاده از CUDA) را دارد.
چطور یک عکس ساده به فضای سه‌بعدی تبدیل می‌شود؟
در دنیای سنتی گرافیک کامپیوتری، تبدیل یک تصویر تخت به فضایی که بتوان در آن حرکت کرد، نیازمند چندین ابزار مجزا برای تخمین عمق، پر کردن بخش‌های پنهان تصویر و رندرینگ نهایی بود. سیستم Guangyu Zaojing تمام این مراحل را در یک استودیو متمرکز کرده است. برای مثال، اگر تصویری از نمای داخلی یک عمارت تاریخی در کاشان داشته باشید، این سیستم می‌تواند بر اساس آن یک مدل سه‌بعدی بسازد که دوربین در میان تالارهای آن حرکت کند. شما مسیر حرکت دوربین را تعیین می‌کنید و هوش مصنوعی فضاهای خالی را به گونه‌ای بازسازی می‌کند که از هر زاویه‌ای منطقی به نظر برسد.
این پروژه از مدل‌های انتشاری (Diffusion) مختلفی مثل SD۱.۵ و Realistic Vision برای تولید محتوا استفاده می‌کند. کاربر می‌تواند بین مسیرهای حرکتی مختلف مثل چرخش ۳۶۰ درجه درجا یا حرکت دورانی از بالا یکی را انتخاب کند تا نحوه مشاهده فضا تغییر کند. خروجی نهایی نه تنها به صورت ویدیو، بلکه به صورت فایل‌های PLY قابل دانلود است که در نرم‌افزارهایی مثل MeshLab یا SuperSplat قابلیت ویرایش و استفاده در پروژه‌های بزرگتر را دارند.
کاربردهای عملی تولید صحنه سه‌بعدی هوشمند
این فناوری برای معماران و طراحان مفهوم (Concept Designers) ابزاری حیاتی است. پیش از آنکه زمان زیادی صرف مدل‌سازی دقیق یک ساختمان یا محوطه طبیعی شود، می‌توان با یک طرح اولیه یا عکس الهام‌بخش، نسخه‌ای سه‌بعدی و قابل پیمایش از آن تهیه کرد تا ایرادات پرسپکتیو یا ترکیب‌بندی در همان مراحل ابتدایی مشخص شود. همچنین برای بررسی‌های طراحی تیمی، تمام خروجی‌ها شامل ویدیوهای عمق و ابر نقاط در یک صفحه وب جمع می‌شوند تا همکاران بدون نیاز به نصب نرم‌افزارهای سنگین، نتیجه را مشاهده کنند.
در بستر خدماتی مانند هوش مصنوعی نهال که امکان دسترسی به مدل‌های پیشرفته بین‌المللی را با پرداخت تومانی فراهم می‌کند، استفاده از چنین ابزارهایی برای کسب‌وکارهای ایرانی که در حوزه انیمیشن، بازی‌سازی یا طراحی داخلی فعالیت می‌کنند، هزینه‌های تولید محتوای سه‌بعدی را به شدت کاهش می‌دهد. حتی در حالت بدون GPU (Demo Mode)، می‌توان از دارایی‌های پیش‌فرض سیستم برای آموزش و نمایش در کلاس‌های درس استفاده کرد.
نکات کلیدی
- یکپارچگی فرآیند: ترکیب تخمین عمق، بازسازی تصویر و تولید ابر نقاط گوسی در یک رابط کاربری واحد.
- انعطاف در سخت‌افزار: قابلیت اجرای بخش‌های نمایشی و مشاهده ابر نقاط در مرورگر بدون نیاز به کارت گرافیک سنگین.
- خروجی‌های استاندارد: امکان استخراج فایل‌های PLY برای استفاده در موتورهای بازی‌سازی و نرم‌افزارهای مهندسی.
- تنوع مدل‌های پایه: پشتیبانی از مدل‌های کارتونی، واقع‌گرایانه و فانتزی برای سبک‌های مختلف طراحی.
- مدیریت تاریخچه: ذخیره‌سازی تمام وظایف با شناسه اختصاصی جهت بازبینی و نمایش دوباره در هر زمان.
منبع: github.com