кеширует соответствие библиотек (которые нужны) и конечных файлов (обычно с учетом конфигов в ld.so.conf и т.п., разных версий, ну и по мелочи вроде симлинков).
на практике там где мало либ - без разницы, и так довольно быстро. а где много (почти все с гуем например) - уже заметно время запуска.
но до статической линковки как до китая. там уже расход памяти в рантайме (точнее оверхед) режется сильно, форканье одного процесса почти бесплатное (быстрее вызова 1-й функции в скриптовом языке), exec статического бинаря (который уже был запущен, т. е. закешировался сам файл) - тоже практически ничего не стоит.
но собирать - тяжко, и не всё можно. отладочные вещи многие нельзя делать будет, а иной софт (например баш) может начать падать не по делу.