Это зависит от опции сборки. Если стоят все dev пакеты, то соберется полный комплект, который будет требовать соответствующие либы, а те по зависимостям прочую гадость. Когда собираешь сам, можешь не ставить лишнего и соберется по минимуму. В частности, в configure я видел упоминание samba.

Вот, например, зависимости локального libavcodec:
ldd /usr/local/lib/libavcodec.so.58.91.100
linux-gate.so.1
libswresample.so.3
libavutil.so.56
libm.so.6
libz.so.1
libpthread.so.0
libc.so.6
ld-linux.so.2

А вот системного
ldd /usr/lib/libavcodec.so.56.60.100
linux-gate.so.1
libswresample.so.1
libavutil.so.54
libva.so.1
libzvbi.so.0
libxvidcore.so.4
libx265.so.79
libx264.so.148
libwebp.so.5
libwavpack.so.1
libvpx.so.3
libm.so.6
libvorbisenc.so.2
libvorbis.so.0
libtwolame.so.0
libtheoraenc.so.1
libtheoradec.so.1
libspeex.so.1
libsnappy.so.1
libshine.so.3
libschroedinger-1.0.so.0
libz.so.1
libopus.so.0
libopenjpeg.so.5
libmp3lame.so.0
libgsm.so.1
libcrystalhd.so.3
liblzma.so.5
libpthread.so.0
libc.so.6
libsoxr.so.0
libdl.so.2
libpng12.so.0
libnuma.so.1
libstdc++.so.6
libgcc_s.so.1
ld-linux.so.2
libogg.so.0
liborc-0.4.so.0
libgomp.so.1

Ну а дальше зависимости передаются в пакетный менеджер.