Замена выпавших кадров (drop'ов) и SVP (Page 8 of 11)

MAG79
Добрый вечер.
Ваш прекрасный код в этом комментарии (отдельное за него спасибо!) очень интересный и полезный, он вдохновил меня на эксперименты с теми видео, которые раньше я считал не подлежащими нормальному восстановлению плавности.

Но тут мне попался фильм с крайне необычным и сложным случаем сочетания дропов и скачков (хоть всё это и имеет чёткую последовательность!), который полностью "восстановить" мне не удалось.
Семпл (видео 25fps, продолжительность 5 минут): http://sendfile.su/1274221

В этом видео 4 проблемы (из них я понял как решать только первые 3 проблемы):
1) 1 дубль - 1 раз каждые 25 кадров

2) 1 скачок (пропуск кадра) - 1 раз каждые 25 кадров
Эти первые 2 проблемы прекрасно решаются по аналогии с тем способом из Вашего комментария чуть выше.

3) 1 дубль - 1 раз каждые 24 кадра
Если бы не существовало 4-й проблемы, то эту проблему можно было бы решить, применив (после предыдущего этапа) выкидывание каждого 24-го кадра (к примеру начиная с 20 кадра) при помощи SelectEvery. Как-то так:

SelectEvery(24,0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,20,21,22,23)

4) 1 скачок - 1 раз каждые 24 кадра.
Вот здесь я и не знаю как реализовать смещение на 1 кадр каждую секунду, т.е. необходимый сдвиг для вставки в нужное место рассчитанного промежуточного кадра.

Это здорово, что удалось разобраться самостоятельно.
Решение в лоб - это действительно довольно много строчек кода скрипта. Можно ли их сократить? Да. Возможен, например, такой вариант: удвоение с прореживанием.

setMtMode(5,4)
AviSource("sample.avi")
setMtMode(2)
myGPU = true
threads=4
super_params = (myGPU==true) ? "{gpu:1}" : "{gpu:0}"
analyse_params="{main:{search:{coarse:{distance:4,bad:{sad:2000}},type:2,distance:4},penalty:{lambda:1,pglobal:10000}},refine:[{thsad:65000}]}"
smoothfps_params="{rate:{num:2,den:1},algo:13,scene:{blend:true}}"

super=SVSuper(super_params)
vectors=SVAnalyse(super, analyse_params)
fix_all = SVSmoothFps(super, vectors, smoothfps_params, mt=threads, url="www.svp-team.com")

SelectEvery(fix_all, 48, 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, 38, 40, 42, 44, 46, 47)

Distributor()

Тут все просто. После удвоения кадров из 24 исходных получится 48 кадров, где каждый четный кадр - исходный, а нечетный - промежуточный. Поэтому нужно при помощи SelectEvery выбрать четные, добавив к ним в месте скачка нечетный кадр, соответствующий промежуточному положению объектов в кадре ровно из середины этого скачка. В скрипте предполагается, что скачок после 23-го кадра (46-ой после удвоения). После работы скрипта видео с частотой 24 к/сек станет иметь скорость 25 к/сек, т.к. к исходным 24-ем кадрам добавлен еще один.

Bars
К последнему скрипту SelectRangeEvery не применить, т.к. выбирать кадры из последовательности нужно через один и шаблон выбора сложнее, чем пачка последовательных кадров со смещением.
Ресурсы на удвоение в скрипте тратятся только при запросе кадра на вывод. В этом и заключается прелесть Avisynth-скрипта: кадры, которым не суждено попасть на вывод даже не рассчитываются. И вектора движения реально рассчитываются только в тех местах, где они нужны. В скрипте из предыдущего сообщения на все 24 исходных кадра будер рассчитан только один кадр (между кадрами 23 и 24), и вектора движения будут расчитаны только между этими кадрами.

Сэмпл скачаю, погляжу.

Bars
Поглядел видео по ссылке. Взял отрезок с панорамированием. На мотоцикле. Шаблон и правда подтвердился. Есть дубли, есть скачки. Причем парные. Периодичность каждые 24 и каждые 25 кадров. Ниже приложил график опережения кадров своего родного положения. +1 - кадр отображается раньше своей позиции, -1 - позже.

На выбранном отрезке дубли (d - double) и скачки (j - jump). 3d, 8j, 13j, 22d, 27d, 33j, 37j, 47d, 51d

Приложил архив из 52 кадров и график.

Теперь нужно составить файл команд, куда сдвигать кадры в соответствии с их номерами.

В данном случае файл такой:

читается так: для кадров 3 - 6 берем кадр из будущего (смещение +100)
для кадра 7 - берем кадр со смещением +50, т.е. интерполяцией между текущим и следующим.
и так далее. Формат файла см. там: ConditionalReader

Ну и сам скрипт с применением функции ConditionalReader.

ImageSource("img%02d.jpg", start=00, end=52)
ConvertToYV12()

myGPU = true
myErrSize = 20
super_params = (myGPU==true) ? "{gpu:1}" : "{gpu:0}"
analyse_params="{main:{search:{coarse:{distance:4,bad:{sad:2000}},type:2,distance:4},penalty:{lambda:1,pglobal:10000}},refine:[{thsad:65000}]}"
smoothfps_params="{rate:{num:2,den:1},algo:13,scene:{blend:true}}"

super=SVSuper(super_params)
vectors=SVAnalyse(super, analyse_params)
fix_all = SVSmoothFps(super, vectors, smoothfps_params, mt=GetMTMode(true), url="www.svp-team.com")

global fix50 = fix_all.SelectEvery(2,1).Subtitle("fix50", align=3, size=myErrSize)
global fix50n = fix_all.SelectEvery(2,1).Subtitle("-fix50", align=3, size=myErrSize)

ScriptClip("ReplaceFrames(last,delta)")
ScriptClip("Subtitle(String(delta))")
ConditionalReader("delta.txt", "delta", false)

function ReplaceFrames(clip input, int delta)
{
    (delta==-100) ? input.trim(1,1)+input : \
    (delta==-50) ? fix50n.trim(1,1)+fix50n : \
    (delta==50) ? fix50 : \
    (delta==100) ? input.trim(1,0) : \
    input
    return last
}

Результат приложил. Это 52 кадра в архиве.

MAG79
Большое спасибо за скрипт! Только я не очень понимаю, как это применять на практике не для нескольких десятков кадров, а для нескольких сотен тысяч кадров, т.е. каким образом можно задавать необходимую периодичность в delta.txt?
Ведь в вашем примере delta.txt, насколько я разобрался после экспериментов с ним, периодичность не задана вообще, а просто покадрово, вручную по номерам кадров (с предварительным анализом) расписано с какими кадрами, что делать (без учёта последующих многих тысяч кадров):

P.S. Кстати, на вашем примере прыжок между 8 и 9 кадрами, а в delta.txt указывать надо 7 кадр: "7 50" т.е. там ещё кое-где получается надо учитывать смещение на один кадр (видимо, из-за выкидывание ранее идущего дубля). В общем этот формат значительно сложнее для восприятия и сложнее для редактирования, чем предыдущий вариант с SelectEvery и Interleave (жаль, что его тут никак не использовать).

Да-да, очень нужна помощь! Я уже прикидывал возможность такой реализации, но поскольку там идет смещение на кадр каждую секунду (для той пары, которая с интервалом 24 кадра), то через X секунд ещё и порядок строк нужно будет менять, т.к. последовательность выделяемых диапазонов кадров тоже будет меняться с течением времени. У этого delta.txt не очень простая структура. Мне вообще кажется, что это нереализуемая задача, а если даже ВДРУГ такое и возможно реализовать, то это скорее всего получится какая-то дико сверхсложная формула в Экселе.

В анимациях нет нужды, я предпочитаю статичный набор картинок (это удобнее, нагляднее и главное точнее).
Да и я вообще не жалуюсь на проблемы с пониманием... вот у вас же в предыдущих сообщениях было:

В вашем архиве (panoram_move) выбранного фрагмента видео из 52 кадров указано:
3d, 8j, 13j... [т.е. 3-4 дубли, между 8-9 - скачок, и между 13 и 14 тоже скачок]
Относительно исходных физических кадров (т.е. исходного видео) скачок именно между 8-9, поэтому и возник вопрос, что получается в delta.txt надо учитывать выброшенный ранее (на 3-4) дубль и смещение на кадр, вот тогда с учетом ранее выброшенного кадра уже получится скачок между 7-8.

Спасибо, да, похоже именно из-за этого.

Прекрасно, буду ждать!

Прошу прощения, ноябрь был насыщенным
Спасибо за напоминание. Очень хотел вернуться к этой теме. А раз интерес есть, то и мне вдвойне интересней будет.
Причешу и выложу эту таблицу.

MAG79, всё ещё есть шанс увидеть заветную таблицу?..

Если на видео присутствуют только настоящие дропы (дубли предыдущего кадра на месте пропущенного), то скрипт можно сильно упростить, увеличив вероятность успешного переписывания его под Vaporsynth и Avisynth+.

Можно получить небольшой кусочек Вашего видео для экспериментов?