С энкодингом отдельные проблемы, но мне пришлось пока отказаться от раздельного кодирования и mjpegtools (не самое актуальное), и перейти на использование vapoursynth (который использует всё тот же ffmpeg), поскольку задачи несколько сложнее и выбирать не приходится -- ffmpeg очень плохо стравляется с деинтерлейсом, например. У ffmpeg даже самый медленный и качественный вариант деинтерлейса вроде yadif=1/mcdeint=extra_slow/nlmeans будет с артефактами. Тут главное, чтобы контейнер был человеческий, а то потом беда с воспроизведением. Если говорить о constrained форматах (dvd/bd), то у ffmpeg сложности как с пониманием таких форматов, так и с генерацией. Все вот эти вот Non-monotonous DTS in output stream это вроде тоже оно, из-за этого потом рассинхрон. Обычно прожуёт успешно, только бы рассинхрона не было.