Монтаж видео нейросетью: что она режет сама и как это повторить

Этот гайд написан не по обзорам сервисов, а по конвейеру, которым мы режем свои ролики: говорящая голова под Reels и уроки на четверть часа. Расшифровку делает whisper.cpp с моделью large-v3-turbo, режет и склеивает ffmpeg, план собирает агент по файлу правил. Все пороги ниже замерены на наших файлах, даты замеров стоят рядом с цифрами.

Порядок: что нейросеть в монтаже умеет, а что ей недоступно, три пути по цене и контролю, сам конвейер из пяти команд, затем по операциям: паузы, дубли, слова-паразиты, план, склейка, проверка. В конце как отдать это агенту и таблица порогов. Если вам нужны скилы Claude под нарезку длинного видео на клипы, это в гайде про скилы Claude для монтажа, здесь устройство самого монтажа.

Часть 1 · Ответ

Что такое монтаж видео нейросетью, если коротко

Из этого следует главное ограничение: ролик без речи нейросети монтировать нечем. Пейзажи под музыку, нарезка игрового процесса, клип под бит это другие задачи и другие инструменты. Всё, что ниже, про говорящего человека в кадре.

Часть 2 · Границы

Что нейросеть режет сама, а что нет

• Режет паузы и вдохи. Зазоры между словами известны из расшифровки, длинные сжимаются до порога. Шумные вдохи между дублями уходят целиком.
• Находит повторные дубли. Когда фраза сказана три раза, остаются не три, а одна, и это последняя чистая. Как это определяется, отдельный раздел ниже.
• Вырезает слова-паразиты. «Эээ», «ммм», «ну», «вот», «типа», «короче», «как бы». Список задаётся, и он не универсальный.
• Ставит субтитры и таймкоды. Из той же расшифровки получаются субтитры и точки для вставок. Про субтитры отдельный гайд про субтитры нейросетью.
• Не делает. Выбор ракурса, цветокор, решение, что вообще оставить в ролике по смыслу, темп под музыку. Это либо человек, либо отдельные инструменты, которые к «монтажу нейросетью» в поисковом смысле не относятся.

Часть 3 · Выбор

Три пути: кнопка, программа, свой конвейер

1. Онлайн-кнопка. Загрузили, нажали «убрать паузы и тишину», скачали. Подходит для разового ролика. Минусы: пороги не настраиваются, материал уходит в облако, за каждый ролик платите или упираетесь в лимит.
2. Монтажная программа с ИИ-функцией. Та же кнопка внутри редактора, плюс руками правите результат на таймлайне. Хорошо, когда вы и так монтируете в программе.
3. Свой конвейер. ffmpeg, whisper.cpp и агент, который собирает план по вашим правилам. Бесплатно, локально, с порогами под ваш формат. Нужен, когда роликов много и у них один почерк, или когда материал нельзя отдавать наружу. Дальше весь гайд про него, потому что первые два пути в объяснениях не нуждаются.

Часть 4 · Конвейер

Конвейер из пяти команд

Нужны ffmpeg и whisper.cpp (на Mac оба ставятся через Homebrew), модель ggml-large-v3-turbo в папке моделей, папка проекта под каждый ролик. Команды в порядке выполнения.

ffmpeg -y -i source.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le audio.wav

whisper-cli -m ~/models/ggml-large-v3-turbo.bin -l ru -f audio.wav -oj -of transcript_full

whisper-cli -m ~/models/ggml-large-v3-turbo.bin -l ru -f audio.wav -ml 1 -sow -oj -of word_timing

ffmpeg -i audio.wav -af "silencedetect=n=-30dB:d=1.0" -f null - 2>&1 | grep silence_ > silences.txt

ffmpeg -ss 41.2 -to 58.9 -i audio.wav -c copy chunks/41-58.wav
whisper-cli -m ~/models/ggml-large-v3-turbo.bin -l ru -f chunks/41-58.wav -nt

• Почему два прохода whisper. Полный даёт читаемый текст, но на повторных дублях иногда сливает их в один. Пословный даёт границы, но без -sow режет по токенам, и русские слова разъезжаются на две строки. Рабочая связка всегда -ml 1 -sow.
• Почему пятая команда. Там, где решается судьба дубля, полный проход не доказательство. Кусок между двумя длинными паузами перерасшифровывается отдельно, и этот текст считается верным.
• Пороги тишины. Минус 30 дБ и 1 секунда находят паузы между дублями. Для более частой карты берут минус 25 дБ и 0,5 секунды.
• После расшифровки словарь замен. Whisper плохо знает бренды: «Клод» становится Claude, «Опен Кло» становится OpenClaw. Список замен у каждого свой. Остальное про саму расшифровку в гайде про транскрибацию нейросетью.

Часть 5 · Паузы

Паузы: пороги для рилса и для лекции разные

Самая частая ошибка автоматического монтажа: одни и те же пороги на любой формат. Мы замерили два формата отдельно, и числа противоположные.

• Вертикальный короткий ролик. Эталон: ролик длиной 81 секунда, смонтированный руками: 213 слов в минуту, тишины 10,4 процента, самая длинная пауза 404 миллисекунды, ни одного вдоха. Отсюда пороги приёмки: не меньше 190 слов в минуту, тишины не больше 15 процентов, пауз длиннее 500 миллисекунд ноль, между предложениями 150-300 миллисекунд, длинные паузы 300-450 миллисекунд не больше двух на ролик и только на стыках смысловых блоков. Первая наша автоматическая нарезка дала 44,9 процента тишины: дубли отобрала верно, а воздух между ними оставила. Это брак по цифрам, а не по ощущению.
• Длинный горизонтальный ролик. Те же пороги на уроке дали 196 слов в минуту на четырнадцати минутах, и это скороговорка. Порог здесь берётся от речи говорящего: на 87 секундах сплошной речи зазор 0,30 секунды встретился один раз, 0,32 ни разу. Значит короче 0,35 секунды это не пауза, а речь, и трогать её нельзя. Лесенка: зазор от 0,35 до 1 секунды жмётся до 0,3; от 1 до 2 секунд до 0,45; длиннее 2 секунд до 0,6. На уроке в 17 минут 29 секунд это вырезало 174 секунды, итог 14:40 и 181 слово в минуту, ни одного смыслового выреза.
• Границы реза защищают слова. Детектор тишины видит падение громкости, а тихое окончание слова для него уже тишина. Поэтому рез собирается по паузам, затем всё, что попало внутрь интервала слова из пословной расшифровки, из реза убирается. Без этого шага пропадают окончания.
• Приёмка меряется с определением тишины. Два честных замера одного файла разными порогами дали разные числа: по одному порогу провалов не было, по другому шесть. Поэтому критерий пишется вместе с тем, как мерили: 16 кГц моно, окна 20 мс, порог 5 процентов от максимума.

Часть 6 · Дубли

Дубли: почему похожесть текста не работает

Человек на камеру повторяет фразу, пока не скажет как хотел. Задача конвейера оставить последний чистый дубль и убрать остальные, не задев живую речь.

• Похожесть текста не годится. На живой речи с намеренным повтором слова похожесть соседних фраз у нас была 0,83, на настоящем дубле 0,70. Нормальная речь похожа на себя сильнее, чем дубль. Любой порог либо пропускает дубль, либо режет живую фразу.
• Рабочий признак: вложенность смысловых слов. Если все значимые слова фразы А содержатся во фразе Б, А это дубль Б. Гарантия в другую сторону: фраза, несущая хотя бы одно своё слово, не вырезается никогда.
• Побеждает последний. Из нескольких дублей остаётся последний чистый. Если качество равное, тот, где слова сильнее.
• Дубли ищутся узкими окнами. Полный проход расшифровки на повторах лжёт: сливает два дубля в один или ставит границу внутри слова. Каждый кандидат перепроверяется отдельной расшифровкой куска.
• Сшивать части разных дублей нежелательно. Один целый чистый дубль всегда лучше, чем склейка начала одного с концом другого. Если без склейки никак, это отдельно отмечается в плане.

Часть 7 · Слова

Слова-паразиты и что оставлять

• Режутся. «Эээ», «ммм», «ну», «вот», «типа», «короче», «как бы». По пословной расшифровке у каждого есть границы, рез точный.
• Остаются. Обращения к зрителю: «понимаешь», «знаешь», «слушай». Это не мусор, а контакт, и автоматический список их не должен трогать.
• Не режется середина слова. Фраза заканчивается целиком. Любой рез проверяется по интервалам слов.
• Список свой. У каждого говорящего свои паразиты и свои обращения. Первый ролик размечается руками, дальше список кладётся в файл правил агента.

Часть 8 · Порядок

План до реза, а не после

Вырезанное обратно не вернуть, а план читается за минуту. Поэтому конвейер никогда не режет сразу.

1. Найти кандидатов: какие куски оставить, какие убрать.
2. Перепроверить каждый узким окном расшифровки.
3. Записать план: для каждого отрезка таймкоды, длительность и точный текст, который там звучит.
4. Показать человеку.
5. Резать только после подтверждения.

1. ХУК [12.40 -> 15.10] (2.7 с)
   "агент читает код, зовёт инструмент и приносит результат"
   Источник: зона 11.8-24.3, дубль 3 из 3
   Заметка: дубли 1 и 2 вырезаны, у третьего чище конец

2. ...

Дополнительно к плану считается прогноз: слов в минуту, доля тишины, максимальная пауза. Если прогноз не проходит пороги, план переделывается до реза, а не после.

Часть 9 · Склейка

Склейка без воздуха

Отрезки из плана собираются одним проходом ffmpeg через trim, atrim и concat. Что важно в параметрах:

ffmpeg -y -i source.mp4 -filter_complex "
[0:v]trim=12.40:15.10,setpts=PTS-STARTPTS,fps=30[v0];
[0:a]atrim=12.40:15.10,asetpts=PTS-STARTPTS,afade=t=in:st=0:d=0.03,afade=t=out:st=2.67:d=0.03[a0];
[0:v]trim=18.05:21.30,setpts=PTS-STARTPTS,fps=30[v1];
[0:a]atrim=18.05:21.30,asetpts=PTS-STARTPTS,afade=t=in:st=0:d=0.03,afade=t=out:st=3.22:d=0.03[a1];
[v0][a0][v1][a1]concat=n=2:v=1:a=1[v][a]" \
-map "[v]" -map "[a]" -c:v h264_videotoolbox -b:v 8M -c:a aac -b:a 192k -movflags +faststart clean.mp4

• Затухания по 30 миллисекунд на входе и выходе каждого отрезка убирают щелчки на стыке. Тишины между отрезками при этом нет.
• Перед первым словом не больше 80 миллисекунд, после последнего не больше 150. Так в готовом файле между концом одной фразы и началом следующей остаётся 150-300 миллисекунд, и это читается как речь без воздуха, а не как обрыв.
• Кодек. На Mac с чипом Apple h264_videotoolbox считает на железе; на других системах libx264.
• После склейки готовый файл расшифровывается ещё раз: из этой расшифровки делаются субтитры, они совпадут с речью по кадрам.

Часть 10 · Проверка

Проверка готового файла цифрами

ffmpeg -i clean.mp4 -af "silencedetect=n=-30dB:d=0.15" -f null - 2>&1 | grep silence_

• Рилс. Пауз 500 миллисекунд и длиннее ноль; сумма тишины к длительности не больше 15 процентов; слов в минуту не меньше 190. Любая из трёх не сошлась, файл не сдаётся, идёт второй проход.
• Лекция. Максимальная пауза не больше 0,9 секунды, пауз длиннее секунды ноль, пауз длиннее 0,6 секунды не больше 2 процентов от всех зазоров. На сданном нами уроке длиной 880 секунд: максимум 0,88, длиннее секунды ноль из 2 451 зазора, длиннее 0,6 секунды 1,18 процента.
• Список повторов. Ролик сдаётся вместе со списком найденных и вырезанных дублей с таймкодом и цитатой. «Проверено, повторов нет» без списка не принимается.

Часть 11 · Агент

Как это отдать агенту

Команды выше можно гонять руками, но смысл конвейера в том, что их гоняет агент по файлу правил, а вы читаете план. Что кладётся в файл правил проекта:

Модель whisper: ggml-large-v3-turbo, язык ru.
Пословная расшифровка всегда с -ml 1 -sow.
Формат: вертикальный рилс. Пороги: >=190 слов/мин, тишина <=15%, пауз >=500 мс ноль.
Паразиты режутся: эээ, ммм, ну, вот, типа, короче, как бы.
Обращения остаются: понимаешь, знаешь, слушай.
Из дублей остаётся последний чистый. Части разных дублей не сшивать без пометки в плане.
Никогда не резать без плана и моего подтверждения. План: таймкоды, длительность, точный текст.
В отчёте: прогноз слов/мин, тишины, максимальной паузы и список вырезанных повторов с цитатами.

• Состояние на диске. У каждого ролика своя папка: исходник, аудио, обе расшифровки, карта тишины, куски перепроверки, план, журнал решений. Агент при каждом запуске сначала читает папку, потом действует, и не переделывает то, что уже сделано.
• Чего агенту не давать. Права резать без плана. Исходник хранится отдельно, конвейер пишет только в выходную папку.
• Как поставить агента и завести файл правил, в гайде как установить ИИ-агента на компьютер. Что писать в правила, в гайде про системный промпт.

Часть 12 · Сверка

Таблица: задача, инструмент, порог

Часть 13 · Ошибки

Пять ошибок автоматического монтажа

• Одни пороги на все форматы. Рилсовая плотность на лекции даёт скороговорку, лекционная лесенка на рилсе даёт воздух.
• Дубли по похожести текста. Режет живые повторы, пропускает настоящие дубли. Признак другой: вложенность слов.
• Рез без плана. Агент режет сразу, вы смотрите готовое и находите вырезанную нужную фразу. Назад пути нет.
• Оставить воздух между отрезками. Дубли отобраны верно, а между ними по полсекунды тишины: 44,9 процента тишины вместо 10. Пороги на выходе ловят это сразу, если их мерить.

Часть 14 · Памятка

Что запомнить про монтаж нейросетью

FAQ

Частые вопросы

Читать дальше