1

Тема: Какую нейросеть можно внедрить для генерации видео?

Коллеги, есть задача внедрить на сайт генерацию видео с помощью ИИ. Хотим, чтобы пользователь мог вводить текст, а система по этому тексту генерировала короткий ролик , чтоб было с озвучкой и визуальным рядом. Раньше с такими решениями не сталкивался, поэтому не совсем понимаю, как это технически реализуется: какие сервисы использовать, есть ли доступ через API, какие есть ограничения по длине текста и языку?

2

Re: Какую нейросеть можно внедрить для генерации видео?

Можешь использовать нейросеть Pika, туда просто отправляется текст, и на выходе получается видео с визуалом. Озвучку можно сделать через ElevenLabs. Все они работают через API, на сайт прекрасно встраивается.

3

Re: Какую нейросеть можно внедрить для генерации видео?

В плане генерации видео, одной из передовых нейронок является Sora. Разработка от OpenAI, та же контора, что и чат GPT создавала. Но, при внедрении её на сайт есть свои закавыки. Сами разрабы просто так API не предоставляют и приходится присобачивать эту нейросеть на свой сайт обходными путями. Можешь почитать, как всё таки работать через API в нейросети Sora AI тут: https://yesai.su/ru/docs/sora. Немножко помучаешься, зато потом нормальные видашки будешь у себя генерить без проблем.

4

Re: Какую нейросеть можно внедрить для генерации видео?

Мы подключали генерацию видео через Runway и делали озвучку через TTS. Сначала текст уходил на генерацию сцен, потом добавлялся голос. Всё объединялось в видео и отправлялось на сайт. Через API работает стабильно.