Исходное сообщение
"Файловая система DwarFS, обеспечивающая очень высокий уровен..." Отправлено Аноним, 30-Ноя-20 15:31
Ни к чему выпендрёж. У меня было аж несколько различных кейсов, где размер файла имел значение — это архивирование в облако и передача по сети, и я под это заморочился выяснить как можно сжать поэффективнее. Типичная задача для меня это пожать несколько билдов для разных платформ сумарным объёмом в пределах 5-15гб, и файлы там повторяются. Когда же билдов несколько версий, количество дубликатов соответственно увеличивается весьма значительно. О чём я и говорю, архиваторы не справляются. Был ещё кейс где сколько-то терабайт текстовых данных (ну т.е. жмутся очень хорошо, ага) и дубликаты там тоже были значительным процентом. Тут понятно что только потоковое сжатие возможно, но дедупликация тоже. П.с. gzip слишком медленный и неудобный, лучше уж zstd (собственно, это предпочтительный формат, особенно когда данные придётся извлекать больше 1 раза) -- ещё бы дедуплицированный тар ему скармливать и было бы вообще прекрасно.

Ваше сообщение
Имя*:
EMail:	Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email). Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:	> Ни к чему выпендрёж. У меня было аж несколько различных кейсов, где > размер файла имел значение — это архивирование в облако и передача > по сети, и я под это заморочился выяснить как можно сжать > поэффективнее. Типичная задача для меня это пожать несколько билдов для разных > платформ сумарным объёмом в пределах 5-15гб, и файлы там повторяются. Когда > же билдов несколько версий, количество дубликатов соответственно увеличивается весьма > значительно. О чём я и говорю, архиваторы не справляются. Был ещё > кейс где сколько-то терабайт текстовых данных (ну т.е. жмутся очень хорошо, > ага) и дубликаты там тоже были значительным процентом. Тут понятно что > только потоковое сжатие возможно, но дедупликация тоже. > П.с. gzip слишком медленный и неудобный, лучше уж zstd (собственно, это предпочтительный > формат, особенно когда данные придётся извлекать больше 1 раза) -- ещё > бы дедуплицированный тар ему скармливать и было бы вообще прекрасно.
	Введите код, изображенный на картинке: