> А во-вторых, как устранять вообще-то понятно. Например, можно сделать несколько нейронок и давать ответ по кворуму их мнений.

Я немного про другие варианты. Например, была попытка научить нейронные сети играть в тетрис и с наскоку никак не получилось. Как сейчас с тетрисом у нейронок - не в курсе.

Можно попробовать в другую сторону решить задачу - сначала написать простой и тупой алгоритм игры в тетрис (чем проще, тем лучше), а потом "переложить" этот алгоритм на нейронную сеть (которую скорее всего и не придётся обучать, т.е. сразу построить детерминированную нейронную сеть; что-то из серии спроектировать ASIC, только на нейронах, а не на транзисторах). Из плюсов - сразу будет видна нужная структура сети. Ну может и ещё какие-то особенности полученной сети сразу станет видно (сколько слоев, какие нейроны, какие связи и т.д.).
Впоследствии просто в нейронной сети предусматривать нужные структуры, может быть пытаться учить сеть в целом использовать ресурсы детерминированного блока. А может быть станет понятно как правильно обучать нейронку рандомной структуры, чтобы получить нужный детерминированный блок с заданными функциями.

ИМХО, вот за такими подходами будущее нейронок... Но это что-то на уровне фундаметальных исследований, которые не сразу дадут отдачу.

P.S. У животных такое сплошь и рядом. Ориентировочный рефлекс: 3 слуховых нейрона (запаздывание+компаратор) примерно со времен рыб/земноводных. Если звука не было, а потом звук появился - происходит активация выхода "новый звуковой сигнал" и этот выход запускает программу поворота головы на резкий звук.
Мотонейроны управления конечностями для контура ходьба/рысь/галоп (4 нейрона, управляемые ШИМом/ЧИМом) примерно со времён пресмыкающихся. Получается такой хитрый мультивибратор, который сам собой меняет схему перестановки конечностей в зависимости от частоты входного сигнала (3 схемы перестановки конечностей в зависимости от требуемой скорости перемещения).
Эти контуры врождённо заданы и не меняются уже миллионы лет. Нужно подобные вещи в нейронные сети адаптировать, а не просто говорить мол будет "сверточная нейронная сеть" и оно там дальше как-то само решится... или не решится...