Topic: Stereo to Multiview: Самая качественная интерполяция?

Ув. знатоки, помогите если сможете.
Вопрос касается создания промежуточных кадров в стереопаре.

Разработчики MSU Stereo to Multiview http://www.compression.ru/video/3d_disp … index.html
А так же MSU_FRC ( кстати, в чем разница? ).
Утверждают что их алгоритм наиболее качествененн.

SVP можно сравнивать с их результатами?

И главное. Как с помощью SVP создать из двух кадров стереопары, некоторое количество промежуточных кадров, по возможности наилучшего качества?

Задача не стоит делать из двух кадров 1980х1020 промежуточных 20 кадров в реальном времени.
Но хотя бы кадров 10 без грубых нарушений и смазываний возможно сгенерировать с сохранением в файл?

  • MAG79
  • SVP developer
  • Offline

Re: Stereo to Multiview: Самая качественная интерполяция?

smart
MSU Stereo to Multiview... MSU_FRC... в чем разница?
Первый продукт публично недоступен, второй - доступен. По описанию MSU Stereo to Multiview карты глубины не используются, другие технические детали не раскрыты. Можно предположить, что это близкие по существу продукты. В любом случае нам доступен только MSU_FRC 2007-го года.

Утверждают что их алгоритм наиболее качествененн
Где они это утверждают? не нашел.

SVP можно сравнивать с их результатами?
Если разговор про MSU_FRC - то можно, уже сравнивалось ранее. Библиотека MSU_FRC перестала развиваться и безнадежно отстала от библиотеки MVTools, которая переросла в набор библиотек SVPFlow и развивается до сих пор в рамках проекта SVP.

Как с помощью SVP создать из двух кадров стереопары, некоторое количество промежуточных кадров, по возможности наилучшего качества?
Написать avs-скрипт с использованием SVPFlow и сохранить результат отдельными картинками, например, при помощи AvsP.

Пример скрипта:

ImageSource("01.png",end=0)
left=Crop(0, 0, -0, -540)
right=Crop(0, 540, -0, -0)
left+right
BicubicResize(960,540).Crop(1,1,-1,-1)ConvertToYV12
super=SVSuper("{gpu:1}")
vectors=SVAnalyse(super, "{}")
SVSmoothFps(super, vectors, "{rate:{num:10}}", url="www.svp-team.com")

Пример результата:

http://www.svp-team.com/forum/misc.php?item=2477

Использовался 6-й скриншот из этой раздачи Аватара (Вертикальная анаморфная стереопара)

Post's attachments

Avatar_multi_ani.gif, 586.59 kb, 319 x 179
Avatar_multi_ani.gif 586.59 kb, 659 downloads since 2013-04-09 

Re: Stereo to Multiview: Самая качественная интерполяция?

Спасибо за подсказку и информацию.
На счет сравнения, там же, на сайте с описанием MSU_FRC есть сравнение с другими алгоритмами, но вашего там нет.

Очень здорово что выложили даже пример скрипта.
Хорошо что вы развиваете этот проект.
Железячные уплавнители это ведь всего лишь один из аспектов применения подобных алгоритмов.
Применений еще может быть много.
По возможности оставлю и денежную благодарность)

У меня, к сожалению, мало опыта по использованию скриптов.
Не могли бы вы чуть более пошагово обьяснить порядок действий для такого результата как вы привели.
Как бы выглядел скрипт для исходных двух отдельных кадров, произвольного размера?
Чем запускать скрипт? VirtualDub?
Библиотеки для его работы, я так понимаю присутствуют в SVP установленном?
И что такое AvsP? Как им пользоваться?

Заранее извиняюсь если много прошу.
Если где-то все это уже есть, покажите где читать.

Re: Stereo to Multiview: Самая качественная интерполяция?

smart
И что такое AvsP?
извините

  • MAG79
  • SVP developer
  • Offline

Re: Stereo to Multiview: Самая качественная интерполяция?

smart
на сайте с описанием MSU_FRC есть сравнение с другими алгоритмами, но вашего там нет.
Плагин MVTools уже в 2007-м году был серьезным противником MSU_FRC. У меня два варианта, почему MVTools нет в том сравнении: либо авторы про него не знали, либо специально не стали включать, т.к. на его фоне MSU_FRC смотрелся бы не так выигрышно.
Вот мой комментарий 2007 года насчет сравнения качества MVTools и MSU_FRC:

Качество при тестировании стояло на втором месте (все-таки проверялась именно производительность), но сейчас, попробовав еще и MVFlowFps из пакета MVTools, я заметил разницу не только в производительности, но и в получаемом качестве. Например, регулярные структуры (решетки на окнах) лучше выглядят у FRC (перемещаются плавнее), а вот «эффект гало» на границах движущихся объектов менее заметен у MVFlowFps.

оттуда

MVTools в сравнении с MSU_FRC, CrystalPlayer'ом и TrimensionDNM показывал в 2008 году такие результаты:
http://www.svp-team.com/forum/misc.php?item=2480

оттуда

У меня, к сожалению, мало опыта по использованию скриптов.
Рекомендую начать со статьи Основы использования утилиты AviSynth при обработке видео

Не могли бы вы чуть более пошагово обьяснить порядок действий для такого результата как вы привели.
1. Установить пакет SVP (оттуда потребуется avisynth и плагины SVPFlow)
2. Скопировать файлы из SVP\Plugins\ в AviSynth 2.5\plugins\
3. Установить редактор AvsP или AvsPmod (русское описание)
4. Набрать скрипт в редакторе, сохранить, положить в эту же папку файл 01.png, выполнить скрипт, посмотреть результат
5. Сохранить кадры из редактора как отдельные файлы

---
Для наглядности результата из набора картинок я создал анимированный GIF. Это делается, например, в PhotoShop'е.

Как бы выглядел скрипт для исходных двух отдельных кадров, произвольного размера?
Сильно зависит от того, какой смысл вкладывается во фразу "двух отдельных кадров".
Дайте технические данные этих двух отдельных кадров.
формат исходного файла: картинка (BMP, JPG, PNG) или видео (AVI, MKV, MP4).
стерео-формат: оба ракурса на одной картинке (стереопара) или отдельный файл для каждого ракурса.

Post's attachments

SSIM.png, 4.92 kb, 614 x 334
SSIM.png 4.92 kb, 597 downloads since 2013-04-10 

Re: Stereo to Multiview: Самая качественная интерполяция?

Да, в гугл вы изящно меня отправили)
Но и поделом. Я на радостях после открытия существования вашего проекта, даже не подумал о глобальном поиске.
Воспользовался поиском AvsP по этому форуму, думая что здесь то уж конкретнее будет инфа.А тут ничего не нашлось.

Сравнение алгоритмов впечатляет. Жаль что информации о них на самом деле так мало.
спасибо за ссылки и описание.

Вопрос такой. А что, если кадры не в png а скажем bmp. Это меняет способ обработки?

И второй. Желательно чтобы скрипт принимал в качестве исходных два отдельных файла, левый и правый ракурс отдельным кадром, в произвольном разрешении.
Ну скажем фотограф сделал два снимка одной сцены с разных ракурсов. каждый снимок 1920х1080.
Другой фотограф сделал два ракурса с разрешением 2668x1970.
Надо ли что-то менять в скрипте в случае изменений в разрешении исходных кадров?

  • MAG79
  • SVP developer
  • Offline

Re: Stereo to Multiview: Самая качественная интерполяция?

smart
Жаль что информации о них на самом деле так мало
Ветка на iXBT в трех частях - это "мало"? hmm

что, если кадры не в png а скажем bmp. Это меняет способ обработки?
Нет, скрипт остается прежний, меняется только расширение.

чтобы скрипт принимал в качестве исходных два отдельных файла, левый и правый ракурс
Тогда в скрипте надо написать две строчки открытия файла вместо одной

left=ImageSource("left.bmp",end=0)
right=ImageSource("right.bmp",end=0)
left+right
...

Надо ли что-то менять в скрипте в случае изменений в разрешении исходных кадров?
Да. Если разрешение в пределах FullHD - убрать строку BicubicResize, если больше - то проверять, хватит ли памяти и менять цифры в BicubicResize для уменьшения разрешения картинки с целью экономии используемой памяти.