Не всем ядра и драва писать. Java использовалась на backend, в основном в корпоартивном сегменте, потому как бесплатных или дешевых хостингов для jsp/servlets не было (из-за неудобства нарезания ресурсов JVM для кучи клиентов). Средний и большой бизнес покупал себе стойки или vps где развертывалось что угодно, у них не было проблем с JVM. Java оказалась к месту в энтерпрейзе, потому как:

1) язык проще чем c++, быстрее [пере]обучать штат.

2) нет проблем с кросплатформенной компиляцией. Т.е. рабочие места могли быть Windows/Mac а крутились поделки под Solars/otherNIX, позднее переезд на Linux тоже ничего не требовал от кодеров, только админы страдали. А еще ведь были смены архитектур, это на дескопе был только IA32 и AMD64, а на серверах царствовали SPARC, Power, IA64.

3) Кросплатформенный UI, сейчас это уже не важно, а 10-20 лет назад это было очень нужно.

4) Цена ошибки меньше, NPE не вызывает краха всего сервиса, просто одному "неудачнику" вернется 500. И это так работает из коробки, без необходимости городить архитектуру обслуживающую запросы пользователей в отдельных процессах.