Ну ээ результат hdcd-декодирования в 16 бит положить невозможно :) Искажения будут.. лучше уж тогда вообще не трогать. Ну то есть даже пытаться не надо такое делать, смысл обработки же именно в представлении 20-битного сигнала.

По поводу суммы - ну хз, может заголовки разные выходят? А cmp -l на оба полученных файлов много различий пишет?

Вообще там есть логирование в фильтре, если в verbose-режиме запускать.
        av_log(ctx, AV_LOG_VERBOSE, "Channel %d: counter A: %d, B: %d, C: %d\n", i, state->code_counterA,
                state->code_counterB, state->code_counterC);

Отличный от нуля счетчик и говорит о сработавшем фильтре. Лучше через это проверять. А то контрольные суммы.. что-то не то.