ساخت فیلم با کدنویسی Claude؛ تجربه کارگردانی هوش مصنوعی با Lemo Opuscar
آموزش ساخت فیلم با کدنویسی Claude 3.5 و Lemo Opuscar. روشی نوین برای تولید ویدیو با WebGL و هوش مصنوعی بدون نیاز به دوربین که کنترل کامل روی کارگردانی می‌دهد.
Lemo Opuscar یک فریم‌ورک نوآورانه است که به هوش مصنوعی اجازه می‌دهد به جای تولید مستقیم ویدیو (Video Generation)، کل فرآیند فیلم‌سازی شامل کارگردانی، تصویرسازی، آهنگسازی و تدوین را از طریق نوشتن کد انجام دهد. در این روش، مدل Claude 3.5 Opus با استفاده از Canvas و WebGL، فریم به فریم صحنه‌ها را رندر کرده و با ترکیب موسیقی و روایت صوتی، یک فیلم کامل ۴۵ تا ۶۰ ثانیه‌ای خلق می‌کند که کاملاً قابل ویرایش و شخصی‌سازی است.
ساخت فیلم بدون دوربین و فیلم خام چگونه ممکن است؟
برخلاف مدل‌هایی مثل Sora یا Runway که بر اساس پیکسل‌های احتمالی ویدیو می‌سازند، پروژه Lemo Opuscar از قدرت منطق و کدنویسی هوش مصنوعی استفاده می‌کند. در این رویکرد، ایجنت هوش مصنوعی مانند یک استودیو کوچک عمل می‌کند. ابتدا سناریو را تحلیل کرده، سپس برای هر صحنه کدهای گرافیکی (اغلب جاوااسکریپت و WebGL) می‌نویسد و در نهایت با استفاده از ابزارهای سیستمی، این کدها را به فریم‌های تصویری تبدیل می‌کند.
این روش مزیت بزرگی دارد: کنترل کامل روی جزئیات. از آنجا که همه چیز بر پایه کد است، شما می‌توانید دقیقاً مشخص کنید که زاویه دوربین کجا باشد یا نورپردازی در ثانیه دهم چه تغییری کند. این سطح از دقت در مدل‌های تولید ویدیوی معمولی به سختی به دست می‌آید.
چطور از ایجنت کارگردان برای تولید محتوا استفاده کنیم؟
برای شروع، شما به یک محیط توسعه مجهز به Node.js و Python نیاز دارید. پس از نصب پلاگین مربوطه، کافی است ایده خود را به زبان ساده بیان کنید. مثلاً می‌توانید بخواهید: «یک فیلم کوتاه ۳۰ ثانیه‌ای به سبک نقاشی آبرنگ درباره یک کافه سنتی در بازار تهران بساز که راوی آن پیرمردی با صدای گرم باشد.»
ایجنت پس از دریافت دستور، سه مرحله اصلی را طی می‌کند: ۱. کارگردانی: تدوین استوری‌بورد، تعیین ریتم و حرکت دوربین. ۲. ساخت: رندر فریم‌به‌فریم تصاویر و تولید موسیقی متن با استفاده از کتابخانه‌های صوتی رایگان. ۳. ترکیب نهایی: میکس صدا و تصویر و خروجی گرفتن با کیفیت ۱۰۸۰p.
بسیاری از کاربران برای دسترسی راحت‌تر به این سطح از توانمندی‌های هوش مصنوعی، از بستر هوش مصنوعی نهال استفاده می‌کنند که امکان کار با مدل‌های پیشرفته بین‌المللی را در فضایی بومی فراهم کرده است.
بررسی سبک‌های بصری در Lemo Opuscar
این پروژه شامل ۴۳ سبک از پیش تعریف شده است که هر کدام حال و هوای متفاوتی به داستان شما می‌دهند. برخی از این سبک‌ها عبارتند از:
- نقاشی روغن (Impasto): مناسب برای داستان‌های دراماتیک و احساسی با بافت‌های غلیظ رنگ.
- کتاب داستان مداد شمعی: عالی برای محتوای آموزشی کودکان یا خاطرات نوستالژیک.
- اینفوگرافیک تخته‌سفید: برای توضیح مفاهیم پیچیده علمی یا تجاری به زبان ساده.
- پوستر سفر سیلک‌اسکرین: سبکی مینیمال و هنری برای معرفی مکان‌های گردشگری.
پیش‌نیازهای فنی برای اجرای پروژه
برای اینکه بتوانید این استودیو فیلم‌سازی را روی سیستم خود راه بگیرید، باید ابزارهای زیر نصب باشند:
- Node ۲۰+: برای اجرای هسته اصلی ایجنت.
- FFmpeg: جهت ترکیب فریم‌های تصویری و فایل‌های صوتی.
- Python ۳.۱۱+: برای مدیریت پردازش‌های جانبی و اسکریپت‌های رندر.
در نظر داشته باشید که ساخت هر فیلم بسته به پیچیدگی صحنه‌ها، بین ۳۰ تا ۶۰ دقیقه زمان می‌برد و حجم قابل‌توجهی از توکن‌های مدل Opus را مصرف می‌کند.
نکات کلیدی
- تولید ویدیو در این پروژه بر پایه رندر فریم‌به‌فریم کدهاست و از ویدیوی آماده یا استوک استفاده نمی‌شود.
- مدل Claude 3.5 Opus تنها مدلی است که در حال حاضر دقت کافی برای اجرای این سبک‌های پیچیده کدنویسی را دارد.
- خروجی استاندارد ویدیوها با رزولوشن ۱۹۲۰ در ۱۰۸۰ و نرخ ۲۴ فریم بر ثانیه تولید می‌شود.
- ایجنت هوش مصنوعی پیش از شروع رندر، امکان نمایش استوری‌بورد را برای تایید نهایی کاربر فراهم می‌کند.
منبع: github.com