Качество декодера сравнивается посредством побитового сравнения полученных кадров с референсным декодером JM.
И со временем хоть стандарт и не меняется, но меняется референсный софт к этому стандарту, как в кодировании так и в декодировании.
Крупных изменений не вводится, лишь делают доп.расширения. и соответственно альтернативный софт по кодированию и декодированию так-же 'обязан' следовать тенденциям референсного софта.
И имя этой организации fraunhofer, по сути они разработали методы и стандарты к 90% всего, что касается аудио и видео. Но они редко делают чистый (оптимизированный) софт к своим методам и стандартам, очень редко, на своей памяти могу сказать только fdk-aac и тот, нужно самому компилировать.
Альтернативные кодеры/декодеры используют открытые(не имеющие сугубо жесткой политики) методы из предложенных fraunhofer'ом к стандарту. Например x264 хоть и использует AVC стандарт не на 100% (хотя есть платная версия) но превосходит референсный софт в разы, тк использует не только оптимизированные по скорости инструкции но и обходные (не предложенные fraunhofer) методы обработки/оптимизации видео для наилучшего сжатия по референсному методу, в простонародии "мод".
То-же самое косается и декодеров, но в их случае, они не делают картинку лучше чем может референсный софт, но на порядки быстрее и менее подверженные к крашу в виду битого/поломонного видео.
Если объяснять более просто, то представьте такую ситуацию.
Человек берёт палку и сбивает с яблони яблоко, он делает стандарт описывающий лишь "человек-яблоко" и делает референсную модель: "человек-палка-бить-яблоко-падает" описывающий всё пошагово.
Другие уже используя эту модель могут вносить доп. изменения, например палка может быть не деревянной, человек может быть не один, яблоки могут быть квадратными, а яблоня и вовсе может быть сейчас и не быть через секунду, но потом снова быть, но уже немного другой и яблоко уже падает не на землю, а в корзинку, исключая при этом другой/сторонний метод когда человек поднимает с земли яблоко и кладет его в корзинку - т.е. оптимизация.
Но при этом "человек-палка-бить-яблоко-падает" обязано.