You are not logged in. Please login or register.
SmoothVideo Project → Эксплуатация SVP → Нейроалгоритмы для построения и конкуренты svp
Ну собственно 2 вопроса
1. Попробовал софт topaz a.i который путем нейроаглоритмов увеличивает разрешение изображений пытаясь дорисовать отсутвующие детали , выглядет все конечно кривовато но не суть,
это подтолкнуло на вопрос: чисто теоретически в дальнейшем будущем есть мысли о реализации чего то подобного в построении кадров для svp ?
2. Неужели у svp до сих пор нет конкурентов в данной области ?
1 Нейросети даже со звуком пасуют. Дай бог 30% от рилтайма дают на 1060 карточке в задачах текст -> звук
2 телевизоры последних моделей
Ну собственно 2 вопроса
1. Попробовал софт topaz a.i который путем нейроаглоритмов увеличивает разрешение изображений пытаясь дорисовать отсутвующие детали , выглядет все конечно кривовато но не суть,
это подтолкнуло на вопрос: чисто теоретически в дальнейшем будущем есть мысли о реализации чего то подобного в построении кадров для svp ?
2. Неужели у svp до сих пор нет конкурентов в данной области ?
dain app например. Интерполяция кадров нейросеткой. Работает очень медленно даже на топовых GPU, но результат значительно качественней чем у SVP. Ну и важный момент, работает только на современных картах NVIDIA, так как используется ядра CUDA.
Так раз ускорялка уже есть и алгоритмы достаточно эффективные (SVP), то нейросеть нужно прикручивать на улучшение детализации видео (повышение разрешения или битрейта, если ещё позволяет).
Тем более, что обе задачи можно эффективно распределить между свободными ресурсами ЦП и ГП.
Я бы нейросетку посоветовал ещё и на разделение ракурсов видео применять (2д в 3д видео, т.е. в стереопару), только вот кому это сегодня всё ещё интересно, кроме меня?... /плак-плак/
Такое столько ресурсов жрет. Надо научиться на старых АСИКах битковских такое прощитывать. Там мощщи дуром, но специфической.
Возможность гибридного испольования, я так понимаю, из-за сложности в схеме видеопотока по всяким фильтрам нереальна? Навроде при 24 - 60 создавать некоторые промежуточные кадры нейросетью (если они лучше), а некоторые - через алгоритм SVP (кадры между оригинальными и нейросетевыми).
Возможность гибридного испольования, я так понимаю, из-за сложности в схеме видеопотока по всяким фильтрам нереальна? Навроде при 24 - 60 создавать некоторые промежуточные кадры нейросетью (если они лучше), а некоторые - через алгоритм SVP (кадры между оригинальными и нейросетевыми).
В режиме преобразования в реальном времени нет. Только если вдруг данный софт (dain app) научиться использовать тензорные ядра у современных видео карт для скоростной интерполяции, по типу как у NVIDIA DLSS для апскейла разрешения в реальном времени.
Но можно использовать гибридное кодирование видео. Например с начало нейросетью преобразовать в 48 фпс видео (если оно было 24 фпс), а после до 60 добить в SVP. В результате артефактов должно быть меньше... (но это не точно).
Уже потестил dainapp, ресурсопотребление конечно конское но не суть. Возник вопрос: он умеет увеличивать фпс только кратно, если исходная частота видео не кратна частоте монитора а хочется получить на выходе максимально-возможно качественный результат с частотой равной герцовки монитора, как такой вариант?: Допустим монитор 120 гц а видео в 25фпс, если я уплавню видео через дайнапп с 8х уплавнением до 200гц, а потом получившийся результат переконвертирую через svp code в 120гц. То часть кадров все равно будут отброшены до значения ниже 120 и часть из получившихся 120 все равно будет достроенна по аглоритмам svp ? Или из потока в 200гц просто будет отброшена часть кадров до 120 и как то равномерно распределено (напободие тройной буферизации, к примеру когда смотришь 25фпс видео на 60гц мониторе и не видишь подергиваний) ?
В данном примере 25x8 = 200 кадров после DAINAPP
затем 200 > 120 будут получены путем сохранения каждого 5-го кадра и расчетом промежуточных кадров алгоритмами SVP из 4 кадров 2 кадров.
Если хочется получить 25 > 120 полностью через DAINAPP, то нужно повышать плавность до частоты, кратной 120, а затем выкидывать лишние кадры. Это возможно при повышении частоты кадров в 24 раза: 25x24 = 600 / 5 = 120
Никакого русскоязычного форума по дайну не нашел, поэтому еще один вопрос: дайн поддерживает multi-gpu ?
Полгода назад поддержки нескольких видеокарт не было. Умельцы запускали несколько копий DAINAPP для каждой видеокарты.
https://itch.io/t/687346/question-abou-multiple-gpus
Как сейчас - надо качать, смотреть, что изменилось
а учить ваши рейросетки кто будет?
Вчера вышла версия 2.3 Topaz Video Enhance AI и там добавился алгоритм изменения кадровой частоты с использованием нейросети Chronos. На выходе практически нет атрефактов даже на очень сложных сценах. У Topaz есть пробная версия на 30 дней. Пока результат - лучший из того, что я видел.
запустил Topaz Video Enhance AI 2.6 на 3080ti для fhd он выдаёт 3 кадра в секунду. Учитывая что триал с ватермарками и интерфейс жутко лагает(хз почему) плюнул я на него.
Возможно, теперь в SVP можно использовать больше алгоритмов, а не только RIFE: https://www.svp-team.com/forum/viewtopi … 553#p79553
SmoothVideo Project → Эксплуатация SVP → Нейроалгоритмы для построения и конкуренты svp
Powered by PunBB, supported by Informer Technologies, Inc.