crist
1. Хочется как-то задействовать встроенное видео, но как?
Как правильно было отвечено выше: его можно использовать только для аппаратного декодирования видео QuickSync в LAV. Для постобработки встройка SandyBridge слаба, а с SVP не совместима (Совместимость видеокарт)
2. В LAV есть опция "Quick sync" но когда её выбираю там же в окне написано "Active decoder: <inactive>" тоесть неактивный он
Чтобы он стал активным, материнка должна иметь видеовыход, и к этому выходу надо подсоединить монитор. При наличии GTX660 нет никакого смысла использовать встройку, т.к. для декодирования все-равно используется специализированный блок декодирования видеокарты, который не нагружает расчетные блоки. Другими словами, передав функцию декодирования встройке дискретка ни на грамм не разгрузится.
3. Еще один нюанс - без дискретной карты у меня тупит 1080р при 4.2ГГц. Блоее-менее идёт 720р. Подскажите правильные настройки. (svp 3.1.6)
Сбросить профили. Будет произведен поиск оптимальных профилей под текущую конфигурацию и производительность. Сбрасывать профили рекомендуется при смене видеокарты и смене или разгоне процессора.
SVP меню в трее - Профили настроек алгоритмов - Сбросить профили - OK - Да.
С цветом можно не париться. Он во всех фильмах YV12 (YUV 4:2:0) и внутри SVP тоже YV12. Поэтому смело можно оставить YV12 (или его родственника NV12) на выходе ffdShow. Все дальнейшие преобразования цвета выполнит отрисовщик.
Как заставить работать quick sync совместно с дискретной картой в связке lav+madvr+SVP?
Я выше указывал, что с дискреткой это не имеет смысла. Но могу посоветовать поискать quickSync поиском по форуму. Здесь это в деталях обсуждалось. Могу найти ссылку, если хотите сами убедиться, в том, что со встройкой даже заморачиваться не стОит. 
В чем отличие по качеству картинки и количеству потребляемых ресурсов если подавать на madvr цветовое пространство nv12 либо rgb?
В том, где будет производиться преобразование YV12>RGB программно в ffdShow, что грузит процессор и хуже качество на выходе, либо аппаратно внутри madVR с наилучшим качеством и с высокой точностью.