Решил совершенно дурацким, на мой взгляд, способом.
Залез в настройки эксплорера в закладку "Дополнительно", раздел "Безопасность", убрал галки с "предупреждать о не соответствии адреса сертификата","Проверять аннулирование сертификатов издателей","Проверять, не отозван ли сертификат с сервера"
После этого IE заработал с сертификатом.
Причем могу сказать, что сгенерированный сертификат прошел проверку (openssl verify...),
не аннулирован. Может таким образом глючит опция "проверять, не отозван ли..." - у меня нет настроек для отозванных сертификатов, хотел их добавить позже, не знаю. Возможно, не все эти опции отключать надо. Возможно есть некая тонкая настройка сертификата, удовлетворяющая непонятным мне требованиям IE, пока не знаю также. Все эти вещи проверю позже, сейчас мне надо запустить в работу то, что уже работает.
Самое позорное со стороны IE то, что он после проверки сертификата тупо рвет сессию в случае несоответствия этого сертификата его требованиям, не объясняя в чем дело, при этом все сообщения об ошибках, которые получаются в результате, только запутывают.