>А сможете обосновать почему они "более объективные"?Потому что конфигурация и система одна и та же.
>Но почему-то почти никому не приходит в голову сравнивать их результаты на основе того что Вася в его гаражике раскачал двигатель
Как раз сабж и есть такой случай - системы разные, то есть на погрешность влияет фактор "мастерство маинтейнера", ну и версии месы тоже разные. Как можно сравнивать разные версии на разных системах и хотеть при этом точных результатов?
>Прогресс или регресс ... чего?
Ну как чего? Производительности тех или иных версий, месы, в данном случае.
>Тогда вылезет другая пачка гентушников, которая начнет недовольно орать что можно было еще вон те и вон эти оптимизации ввинтить и опять необъективно.
Если сравнивать разные версии с одинаковыми оптимизациями и на одной системе, то явно можно увидеть различие в производительности версий. А оптимизации могут быть любыми, главное, чтобы они были одинаковыми.
>А бОльшая часть юзеров никогда не будет пересобирать свою систему. Потому что это все-таки возня, при том не ведущая напрямую к выполнению юзером своих задач. А раз так - оно юзерам никуда и не впилось, собссно.
Почему не влилось? Вот, положим, я использую дистрибутив X, в котором версия нужной мне программы = Y. Открываю сайт - вижу, что лучше использовать версию Z, потому то, потому то. Соответственно, я скачиваю/собираю/откатываюсь на/ версию Z. Вот и всё.
>Ну так та мизерная доля процента которая сможет и захочет бодаться с тотальной пересборкой системы зачем-то - и сами выводы сделать в состоянии должны.
То есть, самим тесты делать? А фороникс тогда зачем?
> не способных оценить результаты бенча и понять что оптимизировать.
Как можно оценить результаты, когда, _например_, сравниваются две программы - одна, собраная gcc 4.3, на FreeBSD с ZFS, а другая, собраная gcc 4.5, на Ubuntu с ext4? Это же идиотизм, придется учитывать кучу разных факторов, не проще взять одну систему и сравнить на ней?
>Допущение что каждый "более продвинутый" юзер спит и видит как бы ему только всю свою систему из исходников лично пересобрать - наврядли верное.
Может и не "спит и видит", но если захочет - _грамотные_ тесты явно не помешают.
>Например тотальная замена софтины А на софтину Б или правка опций и в итоге допустим прирост в два раза за аж минуту - зарулит в хлам по эффективности пересборку всей системы
Что мешает туже софтину Б собрать из исходников c нужными опциями и сделать ещё лучше, чем просто поставить пакет? Только время.
Вариант для распечатки
(??), 02-Авг-10, 20:54 
