Тут надо поэкспериминтировать. Я замечал, что если нет никакой фоновой нагрузки, то воспроизведение намного лучше. И ещё проблемы бывают из-за жёсткого диска, он периодически "зависает", а то и вовсе отводит головки (под нагрузкой). Это, насколько я знаю, фича. На всех хитачи/вд вижу. С ссд получше, ссд зависает только при удалении файлов. Но эти задержки случаются даже когда чтение не с жёсткого диска.

~ # zgrep -i preem /proc/config.gz
CONFIG_PREEMPT_NONE=y
# CONFIG_PREEMPT_VOLUNTARY is not set
# CONFIG_PREEMPT is not set
CONFIG_PREEMPT_NOTIFIERS=y
# CONFIG_PREEMPTIRQ_EVENTS is not set
# CONFIG_PREEMPTIRQ_DELAY_TEST is not set
~ # zgrep -i HZ /proc/config.gz
CONFIG_HZ_PERIODIC=y
# CONFIG_NO_HZ_IDLE is not set
# CONFIG_NO_HZ_FULL is not set
# CONFIG_NO_HZ is not set
# CONFIG_HZ_100 is not set
# CONFIG_HZ_250 is not set
# CONFIG_HZ_300 is not set
CONFIG_HZ_1000=y
CONFIG_HZ=1000

Может ещё в эту сторону покопать? Хотя...