я б сказал что скорее проблема не в самом по себе лимите битрейта, а что параметры для кодирования с CBR (constant bitrate) для x264 неправильные
cast.encode.opts.libx264 сейчас просто "b=$B,preset=veryfast", но это не дает CBR
можно попробовать его поставить в "b=$B,preset=veryfast,minrate=$B,maxrate=$B,bufsize=$2B"