Технологія генерації відео за допомогою ШІ зазнала значного прориву, мультимодальна інтеграція стала новим трендом

Нещодавно одним із найзначніших досягнень у сфері штучного інтелекту стало проривне розвиток технології багатопараметричної генерації відео. Ця технологія еволюціонувала від генерації відео на основі одного тексту до повноцінної технології генерації, що інтегрує текст, зображення та аудіо.

Декілька вражаючих прикладів технологічних проривів включають:

1. Відкритий фреймворк EX-4D, розроблений певною технологічною компанією, може перетворювати звичайні відео на контент у вільному ракурсі 4D, рівень схвалення користувачів становить 70,7%. Ця технологія дозволяє ШІ автоматично генерувати ефекти перегляду з будь-якого кута без потреби в професійній команді 3D-моделювання.

2. Платформа "Художнє бачення" одного з інтернет-гігантів стверджує, що може створити відео "кінематографічної" якості тривалістю 10 секунд за допомогою одного зображення. Реальна ефективність буде перевірена після оновлення Pro-версії в серпні.

3. Технологія Veo, розроблена одним з дослідницьких інститутів штучного інтелекту, забезпечила синхронне генерування 4K відео та фонового звуку. Ця технологія подолала виклики синхронізації звуку та зображення в складних сценах, такі як точне відповідність між рухом пішки на екрані та звуком кроків.

4. Технологія ContentV певної платформи коротких відео має 8 мільярдів параметрів, може генерувати 1080p відео за 2,3 секунди, а вартість становить 3,67 юанів/5 секунд. Хоча контроль витрат є досить хорошим, все ще є місце для покращення якості генерації в складних сценах.

Ці технологічні прориви мають велике значення в таких аспектах, як якість відео, вартість виробництва та сценарії використання:

1. Щодо технічної вартості, складність генерації мультимодальних відео зростає експоненційно. Це вимагає обробки генерації однофреймових зображень (близько 10^6 пікселів), забезпечення часової узгодженості (принаймні 100 кадрів), синхронізації звуку (10^4 зразків на секунду) та просторової узгодженості 3D. В даний час це складне завдання може бути реалізовано шляхом модульного розподілу та співпраці великих моделей, наприклад, шляхом розділення завдання на модулі глибокого оцінювання, перетворення кута зору, часової інтерполяції та оптимізації рендерингу.

2. Зменшення витрат в основному зумовлене оптимізацією архітектури інференції, включаючи ієрархічну стратегію генерації, механізм повторного використання кешу та динамічний розподіл ресурсів. Ці оптимізації дозволили певній платформі коротких відео досягти низької вартості генерації відео в 3,67 юаня за 5 секунд.

3. У сфері впливу застосувань технології ШІ руйнують традиційний процес створення відео. Раніше реклама тривалістю 30 секунд могла коштувати сотні тисяч, тепер достатньо одного підказки та кількох хвилин очікування. Це не тільки знижує технічні та фінансові бар'єри, але й дозволяє досягати перспектив і спецефектів, які важко реалізувати традиційною зйомкою, що може призвести до переосмислення економіки творців.

Розвиток цих технологій Web2 AI також має важливий вплив на Web3 AI:

1. Зміни у структурі попиту на обчислювальну потужність створили нові можливості для розподіленої простою обчислювальної потужності, налаштування моделей, алгоритмів та платформ для висновків.

2. Потреби в маркуванні даних зросли, що створило нові можливості для фотографів, звукорежисерів, 3D-художників та інших, щоб надавати професійні дані.

3. Технології штучного інтелекту розвиваються в напрямку модульної співпраці, що створює нові вимоги для децентралізованих платформ. У майбутньому обчислювальна потужність, дані, моделі та механізми заохочення можуть сформувати позитивний цикл самопідтримки, що сприятиме глибокій інтеграції Web3 AI та Web2 AI.