>> и что в этом плохого?
> Свежий эксперимент с ЕГЭ-2020 по химии, который отличался от того, на что
> натаскивали, и показал провальные результаты даже у отличников, был вроде бы
> достаточно нагляден...

А нехрен менять тесты, не предупреждая. Когда ты проходишь через любую формальную аттестацию (не важно, тест ли это, устный экзамен, или что), успешность твоих результатов складывается из твоих знаний и из того, насколько ты знаком с формальными требованиям. Я подчеркну: это касается _всех_ форм аттестации. И тут такой момент: насколько результаты формальной аттестации отражают умение справляться с формальными требованиями имеющими смысл только в рамках данной аттестации, и насколько результаты отражают знания/умения/навыки применимые в каких-то других ситуациях.

Например, в ЕГЭ по математике в части C в '15 году были задачи, за которые можно было получить до 4 баллов. При этом были формальные критерии оценки. Типа записал условие математическими значками -- на тебе 1 балл. Написал уравнение -- держи второй. Решил уравнение -- вот тебе третий. Сделал правильный вывод и написал ответ, значит ты получил четыре балла. Так вот, если ты знаешь эти формальные критерии, но не знаешь как решать задачу или у тебя времени не остаётся на неё, то ты возьмёшь и запишешь условие математическими значками: это займёт полминуты, и даст тебе дополнительный raw-балл, который потом может вылится в +5 баллов за этот ЕГЭ. Если ты не знаешь критериев, то может и париться не будешь, просто пропустишь задачу.

Вот если сравнить результаты тебя знающего критерии и не знающего критерии, то очевидно жеж, что вы оба знаете математику одинаково, но при этом вы получите разные баллы за ЕГЭ. Это ведь нежелательный эффект, так? Как его одолеть? Есть два варианта: а) сделать так, чтобы никто не знал бы формальных критериев; б) сделать так, чтобы все знали формальные критерии. Вариант (а) реализовать сложнее, и это поле непаханное для коррупции. Поэтому вариант (б) гораздо лучше.

И это работает не только в случае тестов. Это работает и на устном экзамене: я тут когда учился, с интересом наблюдал как на первой сессии одногруппники самыми тупыми способами заваливали экзамены. Например, лезли спорить с экзаменатором на предмет того, что тот задаёт какие-то не такие вопросы, "этого не было в лекциях", "это из другого билета", "а нас в школе учили, что...", и тп. С некоторыми экзаменаторами это прокатывает безболезненно, некоторые начинают беситься. С вытекающими из этого последствиями вида -1 балл или даже пересдача. На тему того, как надо сдавать устные экзамены есть даже куча анекдотов "у рыбы нет шерсти, но если бы была, то у неё были бы блохи, и <про блох я знаю, поэтому буду говорить о них, а не о рыбе>".

>> это скорее не к ЕГЭ, а, действительно, к психологическим тестам
> Разумеется. Но в реальности постоянно применяется в тестах на оценку в начальной
> школе.

Да, естественно. Люди по разному категоризируют, в зависимости от возраста. Использованный способ категоризации при решении задачи на "вычеркните лишнее" коррелирует с когнитивным развитием ребёнка. Естественно, что такие задачи постоянно применяют. Другое дело, что если они не проводят по результатам теста беседу с ребёнком, чтобы уточнить чем вызваны те или иные результаты, то это профанация. Хотя, если честно, я хз. Ребёнок гораздо более прямолинеен, чем взрослый, он гораздо прямолинейнее понимает вопросы, чем взрослый. Он в отличие от взрослого не будет целенаправленно не понимать вопросы, чтобы продемонстрировать оригинальность своего мышления. А если и будет, то что-то с ребёнком точно не то. Да и вообще, он в школе учится, так? Одна из основных его задач в школе -- научится вписываться систему и быть успешным членом её, для этого он должен уметь понимать требования начальника^W учителя и соответствовать им. Задавать вопросы если непонятно. Если он не понимает/не хочет понимать, значит он получает плохую оценку. Если его родители тоже не понимают требований, то это не удивительно: они же не сидели на уроке и не слышали этих требований, так?

> С ЕГЭ непосредственно не сталкивался, понимаю, что такого примитивного задания
> там быть не может. Но ничто, увы, не мешает пройти в
> ЕГЭ заданию с такими же изъянами в логике. Они же, по
> понятным причинам, не проходят широкого тестирования.

Это разговоры в пользу бедных, до тех пор, пока нет конкретных примеров. В конце-концов в процедуре ЕГЭ есть аппеляция, и если ты можешь доказать, что твой ответ верный, и что не прав тот, кто придумал задание, то вперёд и с песней.