26 Reply by dgrdsv (edited by dgrdsv 12-04-2021 13:32:00)

  • Thanks: 3

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Нет, все глюки сохраняются.
Но теперь если ставишь 2.5, то разница в плавности стала довольно заметной.
Не знаю, с чем это связано -- помимо переустановки виндов я сменил 6850K на 5900X, но вряд ли это как-то влияет.

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

ну значит возвращаемся к началу - надо подобрать такое значение между 1.0 и 2.5, при котором и смены сцен норм, и плавность не портится

28 Reply by droner (edited by droner 12-04-2021 21:22:18)

  • Thanks: 16
  • Thanks for the post: 1

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Тоже заметил, что очень много артов вылезает с NVOF на 3070.
Выставил в  %APPDATA%\SVP4\override.js 1.0-1.5 по гайду в начале темы:
*забыл как прикреплять картинки в текст* - Картинка 1.5.PNG

Выставил 4.5 - артефакты практически пропали (на 5.0 полностью уходят), но плавность заметно страдает.
*забыл как прикреплять картинки в текст 2* - Картинка 4.5.PNG

При отключении NVOF пропадают и артефакты и плавность на месте. Версия SVP и сопутствующие пакеты последние.

p.s. Отправил фидбэк через SVP дополнительно.

Post's attachments

1.5.PNG, 499.83 kb, 600 x 308
1.5.PNG 499.83 kb, 277 downloads since 2021-04-12 

4.5.PNG, 668.81 kb, 727 x 334
4.5.PNG 668.81 kb, 268 downloads since 2021-04-12 

29 Reply by droner (edited by droner 12-04-2021 21:22:35)

  • Thanks: 16

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

DEL

  • Thanks: 1622
  • Thanks for the post: 2

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Осторожно, матан! big_smile

Вот есть вектора движения. У каждого вектора есть число показывающее его "качество". В обычном виде это число SAD - тупая арифметическая фигня, сумма разностей яркостей точек.
Этот самый SAD векторов используется для
1. маскирования аретфактов, если оно включено: замазываем то место где SAD слишком большой
2. определения общего "качества" сцены - если всё в среднем слишком плохо, то считаем что это смена сцены, ну или снижаем общую плавность в зависимости от настройки "добавление промежуточных кадров". При "равномерной интерполяции" - работает только определение смены сцен.
Теперь включаем NVOF.
Видяха кроме векторов движения сама расчитывает для них "качество". Это тоже какое-то число, чем оно больше - тем вектор "хуже". Проблема в том что это НЕ SAD. Это хрен знает что, считаемое никто не знает как.
А все алгоритмы маскирования и "снижения плавности" заточены именно на SAD.
Для 20хх нормально работает домножение этого числа на какой-то линейный коэффициент, и дальше мы просто считаем что это вот как будто SAD.
В 30хх число считается явно как-то более по другому чем в 20хх. И главное: нигде не описано что же именно изменилось.

Короче. Этот самый smooth.nvof.cost - это коэффициент пропорциональности, на что домножается это неведомое число чтобы получился "как будто SAD".
Зависит от него только маскирование ("подавление артефактов") (если включено) и общая плавность (если включен "адаптивный" режим). Всё.
На сами по себе вектора движения и получаемые от них артефакты оно не влияет вообще никак.

  • Thanks: 3

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

droner wrote:

*забыл как прикреплять картинки в текст* - Картинка 1.5.PNG

Разве 13 шейдер не маскирует этот тип артефактов-стрекоз?

  • Thanks: 16

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Chainik, спасибо! smile

www.lr.kr wrote:
droner wrote:

*забыл как прикреплять картинки в текст* - Картинка 1.5.PNG

Разве 13 шейдер не маскирует этот тип артефактов-стрекоз?

Тут дело в NVOF. С ним арты на любом шейдере.

  • Thanks: 3
  • Thanks for the post: 2

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Там новый NVOF вышел: https://developer.nvidia.com/blog/whats … w-sdk-3-0/

34 Reply by dlr5668 (edited by dlr5668 14-07-2021 10:24:03)

  • Thanks: 230
  • Thanks for the post: 1

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

FB flow может помочь в будущем. Блоки с нечетким движением строить с ипользованием обычных алгоритмов SVP, например

No Optical Flow algorithm can give 100% accurate flow. The flow is typically distorted in occluded regions. Sometimes, the cost provided by the NVOFA may not also represent true confidence of the flow. One simple check usually employed is to compare the forward and backward flow. If the Euclidean distance between forward flow and backward flow exceeds a threshold, the flow can be marked as invalid.

  • MAG79
  • SVP developer
  • Offline

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Хорошие новости. На картинках по ссылке показана карта глубины. Полезная штука для борьбы с краевыми артефактами. Было бы замечательно применить ее в SVP. wink