ساخت ویدیوهای سخنگو با یک عکس و پروژه هوش مصنوعی Koubo

ساخت ویدیوهای سخنگو: پروژه Digital Human Koubo یک راهکار متن‌باز برای تولید خودکار ویدیوهای تبلیغاتی و آموزشی با استفاده از انسان‌های دیجیتال است.

خلاصه

پروژه Digital Human Koubo یک راهکار متن‌باز برای تولید خودکار ویدیوهای تبلیغاتی و آموزشی با استفاده از انسان‌های دیجیتال است. این ابزار با دریافت تنها یک عکس و یک جمله متن، تمام مراحل نگارش سناریو، تولید صدای هماهنگ با لب (Lip-sync)، زیرنویس‌گذاری و تدوین نهایی را به کمک ایجنت‌های هوشمند انجام می‌دهد. Koubo با بهره‌گیری از پروتکل MCP و مدل‌هایی نظیر Grok 1.5، فرآیند پیچیده تولید محتوای ویدیویی را به یک دستور متنی ساده تبدیل کرده است.

چطور با یک عکس ویدیوهای حرفه‌ای بسازیم؟

تولید محتوای ویدیویی معمولاً نیازمند دوربین، نورپردازی، صدابردار و تدوینگر است. اما پروژه Koubo که در اکتبر ۲۰۲۶ (آبان ۱۴۰۵) به‌روزرسانی شده، تمام این زنجیره را حذف می‌کند. شما کافی است یک عکس باکیفیت از چهره خود یا یک شخصیت مجازی داشته باشید. با ارسال یک دستور ساده، مثلاً برای ساخت یک آگهی ۳۰ ثانیه‌ای فروش دوره آموزشی، ایجنت هوشمند ابتدا سناریو را می‌نویسد، سپس تصویر را به حرکت درآورده و با صدایی کاملاً طبیعی ترکیب می‌کند.

این سیستم به جای تولید یکباره ویدیوهای طولانی که ممکن است با خطا همراه باشند، ویدیو را به قطعات کوچک‌تر از ۱۵ ثانیه تقسیم می‌کند. هر بخش پس از تولید توسط ابزار Whisper بازبینی می‌شود تا متن خوانده شده با سناریو کاملاً مطابقت داشته باشد. در صورت بروز هرگونه ناهماهنگی یا سوختگی زیرنویس روی تصویر، آن بخش به صورت خودکار دوباره تولید می‌شود.

ویژگی‌های فنی و سبک‌های تدوین در Koubo

یکی از نقاط قوت این پروژه، تنوع در سبک‌های بصری است. Koubo پنج سبک تدوین متفاوت را ارائه می‌دهد که بر اساس نوع محتوا (آموزشی، تبلیغاتی، تکنولوژی یا خبری) پیشنهاد می‌شوند. برای مثال، در سبک مخصوص محتوای تکنولوژی، تصویر فرد در یک سمت قرار می‌گیرد و کدهای برنامه‌نویسی یا نمودارها در سمت دیگر نمایش داده می‌شوند.

همچنین این ابزار دارای ۴۸ مؤلفه بسته‌بندی محتوا است که با الهام از یوتیوبرهای مشهور طراحی شده‌اند. قابلیت‌هایی نظیر قرار دادن متن در پشت سر مجری (Person Matting) یا استفاده از زیرنویس‌های متحرک و ایموجی‌های هوشمند، خروجی کار را از حالت یک ویدیوی خام هوش مصنوعی خارج کرده و به یک محصول نهایی حرفه‌ای تبدیل می‌کند.

در بخش صدا، Koubo از تکنیک تطبیق طیفی (Spectral Matching) استفاده می‌کند. این کار باعث می‌شود اگر ۳۰ قطعه صوتی جداگانه تولید شده باشد، پس از ترکیب، همگی دارای طنین و کیفیت یکسانی باشند؛ گویی تمام ویدیو در یک جلسه ضبط واحد تولید شده است. کاربران در ایران می‌توانند با استفاده از زیرساخت هوش مصنوعی و مدل‌های بین‌المللی، از این ابزار برای تولید محتوای فارسی با کیفیت جهانی استفاده کنند.

نکات کلیدی

• تولید هوشمند: ساخت ویدیوی کامل فقط با یک عکس و توصیف متنی سناریو.
• کنترل کیفیت خودکار: بازبینی فریم‌به‌فریم و تطبیق متن با صدا با استفاده از Whisper.
• یکپارچگی صدا: کاهش پراکندگی فرکانسی صدا از ۱۳.۲ دسی‌بل به ۵.۹ دسی‌بل برای خروجی یکدست.
• سبک‌های متنوع: ۵ قالب تدوین آماده و ۴۸ جزء بصری الهام‌گرفته از تولیدکنندگان برتر محتوا.
• سازگاری با ایجنت‌ها: پشتیبانی کامل از Claude Code، OpenClaw و سایر دستیارهای مبتنی بر MCP.

منبع: github.com