The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Сбои в системах сборки из-за изменения контрольных сумм архивов в GitHub, opennews (??), 03-Фев-23, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


17. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от aploskov.dev (ok), 03-Фев-23, 19:05 
gzip будет давать разные контрольные суммы при разных настройках сжатия по умолчнию. Можно оптимизировать на скорость сжатия, а можно - на размер архива. Кроме того, в результате оптимизации алгоритма сжатия может получиться иной файл.

Высчитывать контрольную сумму от файла, который получен алгоритмом который может улучшаться и показывать лучшие результаты скорости/коэф. сжатия - это надо быть профнепригодным.

Там отнюдь не 2+2, а f(...) = best( size, compression speed, decompression speed ).

Ответить | Правка | Наверх | Cообщить модератору

20. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +3 +/
Сообщение от Атон (?), 03-Фев-23, 19:22 
> gzip будет давать разные контрольные суммы при разных настройках сжатия

а бывает архиватор, который дает одинаковые контрольные суммы при разных настройках сжатия?

Ответить | Правка | Наверх | Cообщить модератору

22. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от aploskov.dev (ok), 03-Фев-23, 19:24 
>> gzip будет давать разные контрольные суммы при разных настройках сжатия
> а бывает архиватор, который дает одинаковые контрольные суммы при разных настройках сжатия?

Вряд ли. Разве что собранный на коленке, который игнорирует настройки, рандом, временные отметки, окружение и т.д.

Ответить | Правка | Наверх | Cообщить модератору

175. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от Sw00p aka Jerom (?), 04-Фев-23, 20:49 
>Вряд ли

есть ведь, по телику показывали, весь ынтернет на флешке сохранял :)

пс:99191

Ответить | Правка | Наверх | Cообщить модератору

30. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  –2 +/
Сообщение от Аноним (-), 03-Фев-23, 19:53 
> архиватор, который дает одинаковые контрольные суммы

Я подозреваю тебя тут кусают в зад твои вольные формулировки. Архиватор не даёт контрольных сумм, контрольные суммы считаются другими утилитами. Что архиватор может дать этим утилитам -- это совпадение файла бит-в-бит. Но смысла тогда в настройках сжатия, если вне зависимости от них, результат не меняется?

Внешние утилиты могут считать контрольные суммы так, чтобы они оставались бы неизменными вне зависимости от архиватора. Можно контрольную сумму считать распаковывая, прогоняя через tar или любой другой сериализатор, чтобы объединить всё в один блоб, и считать sha512 по результату. Но чтобы этот блоб получался одинаковым бит-в-бит, придётся всё распаковать на диск, после чего упаковать приводя к каноническому виду. Это не получится делать потоковым пайплайном, потому что архиватор может в разном порядке файлы упаковывать, и надо сначала распаковать, потом упаковать, упорядочивая файлы (включая всякие тонкости, типа симлинков) канонично.

Хотя, если так подумать, можно разработать какую-нибудь хеш-сумму, которая будет хеш-суммой хеш-сумм отдельных файлов, и не зависеть от порядка следования этих файлов. То есть можно что-нибудь потоковое придумать, да. То есть github зря прогнулся. Если бы он не прогнулся, то был бы повод разработать утилиту/библиотеку, которая в каком-то там простом виде принимает потоком неупорядоченную последовательность файлов, а на выходе выдаёт хешсумму, которая не зависит от порядка файлов и всяких сопутствующих факторов, типа хардлинков или что там ещё бывает.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

40. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +1 +/
Сообщение от Аноньимъ (ok), 03-Фев-23, 20:26 
Слишком усложняете...
Ответить | Правка | Наверх | Cообщить модератору

44. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от Атон (?), 03-Фев-23, 20:57 
> Хотя, если так подумать,

с этого нужно начинать. всегда.

> github зря прогнулся. Если бы он не прогнулся, то был бы повод разработать утилиту/библиотеку,

он не прогнулся, он отложил на время.  тут у тебя не только повод, тут уже дедлайн преодолен.


хотя мне другое странно: зачем вообще гитхаб озаботился настройкой оптимизации архиватора для получения архивов меньшего объема.

на "диске" место кончается?  звоночек!

Введите код, 58692

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

47. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  –2 +/
Сообщение от Аноним (-), 03-Фев-23, 21:03 
> зачем вообще гитхаб озаботился настройкой оптимизации архиватора для получения архивов меньшего объема.

Чтобы меньше платить за трафик? А может дело не в размере, а в том сколько процессоры ватт сжигают?

Ответить | Правка | Наверх | Cообщить модератору

71. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +1 +/
Сообщение от ms (??), 03-Фев-23, 23:08 
> хотя мне другое странно: зачем вообще гитхаб озаботился настройкой оптимизации архиватора для
> получения архивов меньшего объема.

Это не мы. Это разработчиков git спросите, сколько битов они сэкономили на своем новом 20терабайтнике. Мы же внутри используем их поделку as-is, а не переписали все с нуля.

Мы просто обновились на новую модную версию, чтоб не перестать ненароком быть совместимыми с новыми модными скриптами.

Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

121. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +2 +/
Сообщение от www2 (??), 04-Фев-23, 10:33 
Кстати да, можно же проверять контрольную сумму tar-архива, а не сжатого варианта, который модет быть хоть gz, хоть bz2, хоть lz или ещё каким угодно с разными настройками степени сжатия. Разжал - проверил контрольную сумму tar. А в tar можно добавить опцию для получения детерминированного результата, чтобы всегда, например, сортировал список сжимаемых файлов по алфавиту и не выравнивал их по каким-нибудь 512-байтным границам, не добавлял внутрь отметку о времени создания архива и т.п.
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

165. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от YetAnotherOnanym (ok), 04-Фев-23, 19:03 
> чтобы всегда, например, сортировал список сжимаемых файлов по алфавиту

А потом выйдет новая версия glibc с другим порядком collation, и снова произойдёт такой же пц. Если и сортировать на основе имени, то не по самому имени, а по его хэшу - всё-таки есть надежда, что порядок 0<1<2<3<4<5<6<7<8<9<A<B<C<D<E<F в обозримом будущем никто менять не будет.

Ответить | Правка | Наверх | Cообщить модератору

170. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от Аноним (170), 04-Фев-23, 19:32 
Зачем, если можно сортировать просто по бинарнику имени (не декодируя строку в соответствии с правилами кодировки, а просто сравнивая байтики).
Ответить | Правка | Наверх | Cообщить модератору

183. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от YetAnotherOnanym (ok), 05-Фев-23, 01:36 
Латинские A, a, B, b и $ - однобайтовые, их декодировать не нужно, но порядок сортировки всё равно может поменяться: https://postgresql.verite.pro/blog/2018/08/27/glibc-upgrade....
Ответить | Правка | Наверх | Cообщить модератору

91. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от Аноним (91), 04-Фев-23, 05:19 
>а бывает архиватор, который дает одинаковые контрольные суммы при разных настройках сжатия?

Чтобы были одинаковые суммы, файлы должны быть одинаковыми. Ты хочешь одинаковые результаты при разных настройках сжатия?

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

117. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от Атон (?), 04-Фев-23, 09:46 
>>а бывает архиватор, который дает одинаковые контрольные суммы при разных настройках сжатия?
> Чтобы были одинаковые суммы, файлы должны быть одинаковыми. Ты хочешь одинаковые результаты
> при разных настройках сжатия?

мимо.

этот вопрос следует задать aploskov.dev который не только хочет, но, видимо, и получает одинаковые суммы при разных настройках сжатия.

Введите код 42124

Ответить | Правка | Наверх | Cообщить модератору

122. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +1 +/
Сообщение от www2 (??), 04-Фев-23, 10:37 
Кстати, в unix архиввтор и компрессор - это два разных класса программ. Архиватор - это tar или cpio, для них можно детерминированный результат получить. А для компрессора это не имеет смысла, т.к. не даст возможности менять степень сжатия и улучшать алгоритмы сжатия.
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

48. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +4 +/
Сообщение от Аноним (14), 03-Фев-23, 21:04 
> gzip будет давать разные контрольные суммы при разных настройках сжатия

Не может быть! А мужики-то думали, что у всех любых архивов сумма одна и та же! Но тут оказалось, что разные файлы имеют... разные суммы! Да как так-то?!

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

50. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  –1 +/
Сообщение от aploskov.dev (ok), 03-Фев-23, 21:09 
1. Прочитай новость. Действительно думали.

2. Посмотри, на какой комментарий я ответил. Чел иронизирует по поводу 2+2=4, а может 5 или 33. Ну так вот, операция не 2+2, иронию аноним выразил через жопу.

Ответить | Правка | Наверх | Cообщить модератору

59. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от Аноним (14), 03-Фев-23, 22:37 
Думали-думали, да недодумали... В результате всё навернули, как обычно.
Ответить | Правка | Наверх | Cообщить модератору

61. "Сбои в системах сборки из-за изменения контрольных сумм архи..."  +/
Сообщение от Sw00p aka Jerom (?), 03-Фев-23, 22:47 
>это надо быть профнепригодным.

то есть, снимаем сумму с самих данных, а не с сжатых архивов

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру