Как создать ИИ мультик: нейросеть сняла мультфильм с сюжетом на 72 секунды

Мы проверили, как создать ИИ мультик по описанию словами. В приложении Yenisei нейросеть сняла мультфильм «Лисёнок и упавшая звезда»: девять сцен, три героя, реплики на русском и история с началом, трудностями и развязкой. Мультфильм длится 72 секунды. На съёмку и склейку ушло 23 минуты и 72 кредита.

Создать ИИ мультик по тексту: сначала история

Мультик из одной красивой сцены досматривают редко. Чтобы зритель остался до конца, герою нужны цель, препятствия и поступок. Мы расписали историю по сценам до съёмки:

Главная сцена здесь седьмая. Лисёнок отдаёт единственную свою вещь, и после этого зритель ждёт, чем всё кончится.

Первое сообщение: стиль, правила и герои

В первом сообщении мы описали мультфильм целиком и первую сцену:

Снимаем мультфильм «Лисёнок и упавшая звезда»: объёмная 3D-анимация, как в семейном мультфильме, формат 16:9. В нём девять сцен по 8 секунд, я пришлю их по одной. Правила для всех сцен: снимай сразу, без подтверждения и без вопросов после; каждую сцену снимай только по текстовому описанию, без референса и без опоры на прежние ролики; звук — только шумы и голоса, без музыки; реплики по-русски, детскими голосами. Герои. Лисёнок: рыжий, с большими глазами, белым кончиком хвоста и синим вязаным шарфом. Звёздочка: маленькая жёлтая пятиконечная звезда с круглыми глазками, размером с яблоко, светится. Сцена 1, 16:9, 8 секунд: ночь, осенний лес, звёздное небо. Лисёнок сидит на пеньке и смотрит на небо. Одна звезда срывается и с искрами падает за деревья. Лисёнок вскакивает и ахает: «Звезда упала!» Звук: ночной лес, сверчки, свист падающей звезды, голос лисёнка.

Через минуту первая сцена была в переписке.

Мультик с помощью нейросети: сцены по одной

Дальше мы присылали по одной сцене и в каждой повторяли стиль, формат и приметы героев. Вот седьмая:

Сцена 7, 16:9, 8 секунд, только по описанию, без референса, без музыки, та же объёмная 3D-анимация. Ночь, вершина горы над облаками, сильный ветер, небо полно звёзд. Рыжий лисёнок с большими глазами и белым кончиком хвоста стоит на вершине. Он снимает с шеи свой синий вязаный шарф и бережно укутывает в него маленькую тусклую жёлтую звёздочку с закрытыми глазками. Лисёнок тихо говорит: «Возьми. Он тёплый». Звёздочка открывает глазки и начинает светиться ярче. Крупный план. Звук: ветер, голос лисёнка, нарастающий тихий звон.

После девятой сцены нейросеть сама свела мультфильм в таблицу: сцена, формат, длина и главное событие.

Склеить сцены мы попросили одной фразой:

Склей девять сцен по порядку в один мультфильм.

За один раз нейросеть соединяет до шести сцен. Поэтому склейка прошла в три шага: сцены 7–9, сцены 1–6, потом обе части. На каждый шаг мы отвечали словом «продолжай».

Что получилось

Мультфильм длится 72,8 секунды, размер кадра 1344×768 точек. Все девять сцен на месте и идут по порядку.

Героев мы сверили по кадрам каждой сцены:

Шарф прошёл через всю историю так, как мы написали: сначала на лисёнке, в седьмой сцене он его снимает, в восьмой шарф улетает вместе со звёздочкой.

Сколько стоил мультфильм

Секунда ролика стоит один кредит. Склейка кредитов не тратит.

Создать мультик нейросетью в другом стиле: рисованный

Тот же способ работает для рисованной анимации. Здесь хватило одной сцены:

Теперь другой мультик, рисованный, в духе старой плоской 2D-анимации с контурами и акварельным фоном. Серый кот в скафандре космонавта сидит на Луне, смотрит на Землю и говорит по-русски детским голосом: «А отсюда мой дом совсем маленький!». Потом машет Земле лапой. 16:9, 8 секунд, тихая космическая музыка.

Стиль другой: плоская картинка с контурами, акварельная Земля, рисованные кратеры. Кот произносит свою реплику по-русски и в конце машет лапой.

Что учесть

• Одна сцена за ответ, до 8 секунд. Мультфильм на минуту — это восемь или девять сообщений и склейка.
• Стиль и приметы героев нужны в каждой сцене. Мы повторяли их слово в слово, и герои остались теми же.
• Сцены лучше снимать без музыки. Музыка у каждой сцены своя, и на стыках слышны перепады. Мы сняли сцены с шумами и голосами, а одну мелодию на весь мультфильм наложили отдельно, после склейки: в Чате такой возможности нет.
• Слова «только по описанию, без референса» нужны. Сцена, снятая по образцу прежнего ролика, начинается его звуком.
• Мелочи нейросеть решает сама. В первой сцене звезда не скрывается за деревьями, а зависает рядом с лисёнком.
• Размер кадра — 768 точек по короткой стороне. Для соцсетей и показа на телефоне этого хватает.

Что писать в просьбе, чтобы получился мультик

• Стиль: объёмная анимация, рисованная, пластилиновая, акварельная.
• Герои: кто, какого цвета, во что одет, какие приметы.
• История: цель героя, два препятствия, поступок и развязка.
• Сцена: одно действие и одна короткая реплика в кавычках.
• Формат и длина: 16:9 или 9:16, до 8 секунд.
• Звук: шумы и голоса.

Где работает ИИ для мультиков

ИИ для мультиков есть в двух местах, работают они одинаково.

• Приложение Yenisei Агент для Windows, macOS и Linux, раздел «Чаты». Мы снимали мультфильм здесь: переписка, сцены и скачанные ролики лежат в одном окне на компьютере.
• Yenisei Чат в браузере — если ставить приложение не хочется.

VPN не требуется.

Рилсы, рекламные ролики и ожившие фотографии мы показали в статье «Нейросеть для видео». Как устроена серия, от которой трудно оторваться, — в статье «ИИ для сериалов».

Что выбрать

• Мультфильм с историей на своём компьютере — Yenisei Агент, раздел «Чаты»: распишите историю по сценам и снимайте их по очереди в одной переписке.
• То же без установки — Yenisei Чат в браузере. Ставить оба не нужно.
• Короткий мультик для поздравления — одна сцена по описанию, как с котом на Луне.