ffdshow или Avisynth Filter?
"Разрешить вывод в 10 бит" к HDR вообще отношения не имеет.
Для "восстанавливать цвета в 10 битном видео" должно быть включено GPU ускорение.
В потплеере есть свои галочки вроде как делающие примерно то же самое.
Но лучше всего да, Avisynth Filter + madVR.