The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Первый стабильный выпуск zlib-ng, высокопроизводительного форка zlib , opennews (??), 17-Мрт-21, (0) [смотреть все] +1

Сообщения [Сортировка по времени | RSS]


43. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от Аноним (43), 17-Мрт-21, 21:18 
Зачем, если есть lbzip2?
Ответить | Правка | Наверх | Cообщить модератору

46. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 17-Мрт-21, 21:26 
Тогда уже лучше lzip (алгоритм xz) - жмёт лучше, быстрее, тоже умеет восстановление файлов (в отличие от оригинального xz).
Ответить | Правка | Наверх | Cообщить модератору

72. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +1 +/
Сообщение от Аноним (68), 17-Мрт-21, 22:47 
> Зачем, если есть lbzip2?

Bzip2 в 2020 году вообще совсем ни о чем. Жмет заурядно. Упаковка не быстрая. Распаковка откровенно тормозная, примерно как упаковка (lz-based на распаковку сильно упаковки быстрее обычно). И зачем бы он такой? Вот на него все и забили...

Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

77. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от timur.davletshin (ok), 17-Мрт-21, 22:55 
>> Зачем, если есть lbzip2?
> Bzip2 в 2020 году вообще совсем ни о чем. Жмет заурядно. Упаковка
> не быстрая. Распаковка откровенно тормозная, примерно как упаковка (lz-based на распаковку
> сильно упаковки быстрее обычно). И зачем бы он такой? Вот на
> него все и забили...

Для начала bzip2 умеет какую-то хоть возможность восстанавливать архивы. Из новых только lzip умеет её. У остальных же несколько битых байтов обозначают смерть всего архива практически гарантированно. Ну и банально он везде практически есть. Да и война с форматами архивов у юниксов вообще в традициях. Сколько пердолей было с переездом с оригинального compress с его .Z архивами на gzip...

Ответить | Правка | Наверх | Cообщить модератору

86. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от Аноним (81), 17-Мрт-21, 23:12 
> Для начала bzip2 умеет какую-то хоть возможность восстанавливать архивы.

Довольно маргинальную. И если это реально было надо - есть утилиты реализующие кодирование с избыточностью и проч.

> Из новых только lzip умеет её.

Как бы мухи отдельно, котлеты отдельно. Это специфичная фича, нужная в основном для всякого архивного хранения, она как минимум сжатие нагибает, а полноценное рекавери на 100% -- добавляет весьма конкретный оверхед. И кому это надо есть и другие варианты.

> У остальных же несколько битых байтов обозначают смерть
> всего архива практически гарантированно.

Ну и нахрен мне архив с половиной исходников? Один черт перекачивать придется. А сжатие довольно паршивое и скорость распаковки не фонтан, мягко говоря. Вот и выпал из использования.

> Ну и банально он везде практически есть.

Не отменяет того факта что по соотношениям с другими он таки легаси то еще.

> Да и война с форматами архивов у юниксов вообще в традициях.
> Сколько пердолей было с переездом с оригинального compress с его .Z
> архивами на gzip...

У gzip видите ли было 2 достоинства на тот момент. Лучше жмет и не патентованный. А когда unisys патентами на LZW видите ли пытается накрячить то системный пакер, то GIF'ки, это уже немного другой коленкор.

Ответить | Правка | Наверх | Cообщить модератору

88. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от timur.davletshin (ok), 17-Мрт-21, 23:19 
> Это специфичная фича, нужная в основном для всякого архивного хранения.

Алло, гараж, речь про архиватор была. Повторю, А-Р-Х-И-В-А-Т-О-Р используют для упомянутого тобой архивного хранения. Люди не только исходники с гихаба качают, а и хранят уникальный контент. Старые архивы таки иногда портятся и, если нет механизма восстановления, то прощайте данные.

> легаси...

GZIP не легаси, а BZIP2 легаси? Это на основании чего такой вывод? Или brotli уже стал архиватором общего назначения?

Ответить | Правка | Наверх | Cообщить модератору

93. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 17-Мрт-21, 23:30 
> Алло, гараж, речь про архиватор была. Повторю, А-Р-Х-И-В-А-Т-О-Р используют для упомянутого
> тобой архивного хранения.

Если надо именно это - логично с recovery info каким делать, по типу par какого и проч. Вот это уже может довольно большой урон пережить. Но partity таки тоже займет места под хранение.

Ну или какой-нибудь 7zip-овский формат юзать, p7zip каким, там можно хоть non-solid сжатие делать. Сжатие испортится, зато каждый файл в архиве независимый и декодабелен отдельно от других. Так что урон ограничивается затронутым разрушением сжатым файлом.

> Старые архивы таки иногда портятся и, если нет механизма восстановления, то прощайте данные.

Для вот именно этого - ну, еще может быть, и то - есть другие варианты, более разумные, смотря что хотелось.

> GZIP не легаси, а BZIP2 легаси?

Типа того. Жмет он конечно неважно - но распаковывается в разы (и даже десятки, пожалуй) быстрее, да и пакует довольно быстро если не звереть с уровнем. Поэтому для перекидыания данных без заморочек, с хоть каким сжатием - иногда до сих пор makes sense.

> Это на основании чего такой вывод?

На основании их usage в целом народом.

> Или brotli уже стал архиватором общего назначения?

В unix way вообще исторически принято разделять архиватор и пакер. Это таит в себе определенные tradeoffs. В частности - урон рушит верхний уровень, слой сжатия. Как он из этого (не) восстановится контролю других уровней особо не поддается. В этом плане форматы все-в-одном по типу 7z имеют определенные преимущества. Но таки не юниксвэйно - и пожать форматом который не предусмотрен, путем пайпа нежатого тар в прогу сжатия - уже опа. Будет только то что в формате предусмотрено.

Ответить | Правка | Наверх | Cообщить модератору

105. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –3 +/
Сообщение от timur.davletshin (ok), 18-Мрт-21, 00:07 
> Ну или какой-нибудь 7zip-овский формат юзать, p7zip каким, там можно хоть non-solid
> сжатие делать. Сжатие испортится, зато каждый файл в архиве независимый и
> декодабелен отдельно от других. Так что урон ограничивается затронутым разрушением сжатым
> файлом.

https://www.nongnu.org/lzip/xz_inadequate.html — просто так, навеяло.

> Для вот именно этого - ну, еще может быть, и то -
> есть другие варианты, более разумные, смотря что хотелось.

Некоммерческих было всегда по пальцам одной руки. Поэтому большинство старых архивов просто остаются в том, в чём они были в оригинале созданы. И там нет ни xz, ни zstd, ни brotli...

> Жмет он конечно неважно...

Ты же понимаешь, что прогресс в сжатии не бесконечен и gzip жмёт вполне себе прилично, если сравнивать с затрачиваемыми ресурсами?

> На основании их usage в целом народом.

Ну ты же понимаешь, что следующей фразой просто обязана быть "Оценку популярности в студию!"?

> В частности - урон рушит верхний уровень,
> слой сжатия.

Простите, что?

Ответить | Правка | Наверх | Cообщить модератору

111. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (7), 18-Мрт-21, 01:39 
>https://www.nongnu.org/lzip/xz_inadequate.html — просто так, навеяло.

Я бы на вашем месте эту писульку не упоминал почём зря -- автор там, как минимум, предвзят, а вполне возможно и неадекват.

Ответить | Правка | Наверх | Cообщить модератору

120. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 18-Мрт-21, 04:58 
>>https://www.nongnu.org/lzip/xz_inadequate.html — просто так, навеяло.
> Я бы на вашем месте эту писульку не упоминал почём зря --
> автор там, как минимум, предвзят, а вполне возможно и неадекват.

Давай я тебе рандомно побью архив и мы посмотрим, как ты его восстановишь, договорились?

Ответить | Правка | Наверх | Cообщить модератору

191. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (188), 19-Мрт-21, 00:35 
> Давай я тебе рандомно побью архив и мы посмотрим, как ты его
> восстановишь, договорились?

Если это меня беспокоит, я, для начала, RAID1 на btrfs юзаю. И наткнувшись на дурной сектор он скажет "CSUM error, corrected". При этом восстановление стопроцентное, а он к тому же знает какая из копий правильная. Но да, это требует потратить место на хранение дважды.

Ответить | Правка | Наверх | Cообщить модератору

194. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 19-Мрт-21, 00:44 
Для начала, raid1 с btrfs - тупое говно-решение. Если тебе нужно восстановление, то юзай raid6 с parity. А восстанавливать btrfs — это ад, даже если тебе это и не нужно делать из-за наличия дубликата.
Ответить | Правка | Наверх | Cообщить модератору

208. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (208), 19-Мрт-21, 03:06 
> Для начала, raid1 с btrfs - тупое говно-решение.

Я думаю что моя квалификация позволяет принимать мне решения как мне хранить мои данные без чужих заявлений обоснованных аж апломбом и измышлизмами. И в случае чего я предпочту иметь дело вот с ним. Если что, я таки иногда развлекаюсь data recovery умеренной степени хардкорности. А заодно знаю где btrfs'ники обитают на случай совсем уж крутых непоняток.

> Если тебе нужно восстановление, то юзай raid6 с parity.

1) Это подразумевает минимум 4 девайса.
2) Без btrfs это подразумевает 4 более-менее одинаковых девайса.
3) Это, цуко, неудобное требование.
4) Расширять ЭТО - еще более неудобно. В btrfs я просто воткну +1 винч и скажу btrfs device add, и пофиг какой там размер и проч.
5) Без чексуммы данных это все-равно "не предел мечтаний".
6) Btrfs может использовать DUP, даже с одним носителем. При этом даже таблица разделов опциональна. От полной кончины диска/флехи конечно не помогает, но теорвер резко разворачивается в мою сторону и шансов что при редких сбоях бэды накроют именно обе копии одного и того же блока все же крайне маргинальные. Выходка катит даже для винча на ноуте. Где оно как раз и парировало случайный бэд разок. А вот с RAID6 там как-то напряжненько уже.

> А восстанавливать btrfs — это ад, даже если тебе это и не нужно делать
> из-за наличия дубликата.

Ничего страшного, я справлюсь. Я более-менее представляю структуру этой штуки и вон там офлайн читалка есть на совсем пиковый случай. Для остальных такое вообще только в коммерческом платном софте за отдельные бабки есть. А в новых версиях как раз подогнали опций монтирования на случай когда ну вот вообще совсем трэш а что-то поиметь оттуда все же хочется.

Ответить | Правка | Наверх | Cообщить модератору

217. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 19-Мрт-21, 07:15 
> Я думаю что моя квалификация позволяет принимать мне решения как мне хранить мои данные без чужих заявлений обоснованных аж апломбом и измышлизмами.

Это и называется апломб. Но ты продолжай юзать raid в btrfs, он же ни у кого не сыпался ни разу. Да, я вроде писал же, что я о btrfs знаю не понаслышке?

Ответить | Правка | Наверх | Cообщить модератору

229. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от пох. (?), 19-Мрт-21, 11:32 
> же ни у кого не сыпался ни разу. Да, я вроде
> писал же, что я о btrfs знаю не понаслышке?

ты бы лучше расписал детали, что и где у тебя пошло не так - хоть какая-то польза была бы от впопеннета.

А истово верующих не оскорбляй - уголовно наказуемо, да и зачем - потом заработаем на восстановлении.

Ответить | Правка | К родителю #217 | Наверх | Cообщить модератору

257. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 20-Мрт-21, 05:19 
> ты бы лучше расписал детали, что и где у тебя пошло не
> так - хоть какая-то польза была бы от впопеннета.

Я тебе даже расписывал как я его на машине с битой RAM гонял, в DUP конфигурации, посмотреть что вообще будет, как ты и просил. А он возьми да и не помри за обозримое время. Хоть к тому и были все предпосылки. На сыпучем и текучем я его тоже гонял, питание крешил и проч.

> А истово верующих не оскорбляй - уголовно наказуемо, да и зачем -
> потом заработаем на восстановлении.

Ну я не знаю что у человека было. Может он и правда RAID1 убил в btrfs - мало ли, вдруг у изена достойный продолжатель появился. Но что надо сделать с btrfs'ным RAID1 чтобы он сдох для меня все же некая загадка. Ну нет, я могу придумать несколко способов. Скажем пыхнувший китайский питальник может аннулировать сразу все винчи к хренам. Или, там, окажутся винчи в ovh - и фигли толку с RAID на углях? Это ж не шашлык.

Ответить | Правка | К родителю #229 | Наверх | Cообщить модератору

283. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от пох. (?), 27-Мрт-21, 19:56 
>> ты бы лучше расписал детали, что и где у тебя пошло не
> Я тебе даже расписывал как я его на машине с битой RAM

я Тимура спрашивал, вообще-то. То что в твоем специфическом случае оно работало - ничуть не гарантирует от катастроф. А вот знание у кого и когда оно НЕ сработало - позволит подстелить соломки или вовремя спрыгнуть с технологии.

Ответить | Правка | К родителю #257 | Наверх | Cообщить модератору

258. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 20-Мрт-21, 05:27 
> ты бы лучше расписал детали, что и где у тебя пошло не
> так - хоть какая-то польза была бы от впопеннета.

Самое крутое - на выдернутой без отмонтирования флехе видимо слетел erase block, а может и erase group. В результате в страну вечной охоты отлетело 2 суперблока из 3. Но поскольку их 3, таки успешно починилось из 3-й копии.

Еще у меня питание во время конверсии уровней RAID падало. Ну, отскреблось и дальше продолжило с места облома. Я даже и не знаю - а кто-то еще так умеет уже вообще?

А в чемпионате неочевидных грабель - я включил сжатие zstd. Новое, модное, клевое... и при следуюшем ребуте (кернел обновил как раз) grub и сказал мне "unknown compression" при попытке этот самый кернел прочитать (он видите ли zstd и сжался как раз). Ага, блин! Новое, грите? А grub, вот, не очень новый. Ффффак. Так то логично что если кто хочет читать кернель с /boot в системном разделе то и его сжатие он должен понимать :)

Ответить | Правка | К родителю #229 | Наверх | Cообщить модератору

129. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 18-Мрт-21, 05:31 
> https://www.nongnu.org/lzip/xz_inadequate.html — просто так, навеяло.

Это все круто, только имеет смысл в очень некоторых применениях. Видите ли смотря в книгу главное не увидеть там фигу. А то бывает и такое.

> Некоммерческих было всегда по пальцам одной руки. Поэтому большинство старых архивов просто
> остаются в том, в чём они были в оригинале созданы.

Сейчас их на самом деле уже сильно больше поразвелось на самые разные оказии. Просто некоторые достаточно специфичны или сильно простые, и не пытаются быть суперлибой на все оказии как zlib/zstd.

> И там нет ни xz, ни zstd, ни brotli...

И чего? Это не значит что надо пакуя новые данные ограничиться словарем в 32 кило эпохи доса. Блок bz2 в 900 кило тоже не предел мечтаний в современном мире. И дальше этой дистанции оно в принципе избыточность не убирает, как я понимаю.

> Ты же понимаешь, что прогресс в сжатии не бесконечен и gzip жмёт
> вполне себе прилично, если сравнивать с затрачиваемыми ресурсами?

Я понимаю что когда словарь в несколько метров - он на этой дистанции совпадения и видит. А у zstd есть longrange моде на манер lrzip, когда он умеет искать совпадения на оооооочень почтенной дистанции. А для gzip abcdefgh вот тут и abcdefgh через мег - вообще не совпадение. Оба раза кодируются независимо, как будто первого никогда в потоке и не было. Ограничение абстракции.

> Ну ты же понимаешь, что следующей фразой просто обязана быть "Оценку популярности в студию!"?

Как минимум исходники в bzip2 уже мало кто выкладывает - предпочитая xz какой-нибудь. Который заметно меньше при прочих равных.

>> В частности - урон рушит верхний уровень, слой сжатия.
> Простите, что?

Ну вот ток. В *никс вэй оно как бы по слоям обрабатывается. Сперва нежатый архив tar, потом он компрессору отдается. И вон тот результат - это его творчество, он вершина пищевой цепочки. Проблема в том что в результате по сути алгоритм сжатия без дополнительных твиков сталкивается с разрушением данных - а на это он малость не заточен. Примерно об этом вон в той ссылке и рассказывается. Но это проблема в сильно некоторых случаях.

p.s. блин, это было сильно актуальнее при чтении с флопиков цать лет назад :) вот там хороший FEC был бы на вес золота, но с этим тоже было не богато.

Ответить | Правка | К родителю #105 | Наверх | Cообщить модератору

131. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 18-Мрт-21, 05:43 
> Проблема в том что в результате по сути алгоритм сжатия без дополнительных твиков сталкивается с разрушением данных

А что такое там происходит с данными в tar, что ваш убер архиватор не может потом сопадения найти? Как думаешь, если подсунуть твоему убер-архиватору 100 файлов, он сможет найти совпадения из разных файлов или всё же искать в tar архиве проще без каких-либо "твиков"? Такое впечатление, что у вас остроумность логики проявляется исключительно в попытке доказать свою позицию, а не в попытке здраво оценить ситуацию.

Ответить | Правка | Наверх | Cообщить модератору

193. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (193), 19-Мрт-21, 00:44 
> А что такое там происходит с данными в tar, что ваш убер
> архиватор не может потом сопадения найти?

Если декомпрессор вернул отлуп что ошибка в данных, до попытки парсинга tar дело может вообще не дойти. А если он вернул труху вместо этого - там скорее всего шум океанов марса.

В этом плане преимущество имеет интегрированный не-юниксвэйный формат, где оглавление в том же слое что и остальное, доступное напрямую, а файлы пожаты независимо друг от друга, так что вон тот битый файл не затрагивает остальные. Тогда как tar -> gz при ошибке чтения в середине не сможет прожевать весь хвост, просто потому что состояние алгоритма не сбрасывает. Bz2 таки иногда сбрасывает - но не по границам файлов, поэтому это весьма субоптимальная полумера по сравнению с recovery records или хотя-бы non-solid сжатием. Контроля над этим процессом нет.

> Как думаешь, если подсунуть твоему убер-архиватору 100 файлов, он сможет найти
> совпадения из разных файлов или всё же искать в tar архиве проще без каких-либо "твиков"?

ЧСХ все нормальные архиверы типа рар и 7зип именно это как раз сто лет и делают, сливая их в один поток, еще и доперев отсортировать по расширению (типу) - это улучшает сжатие отностельно тупого сваливания в тар. Собссно вон то действо и приводит к тому что при ошибке в середине потока не декодируется вообще ничего. А сбрасывать состояние алгоритма - да, с этого места можно начать разбор заново. Но сжатие от этого таки страдает - вновь запущенный алгоритм никак не реюзает предыдущие данные и неизбежно теряет ratio.

> Такое впечатление, что у вас остроумность логики проявляется исключительно в попытке доказать
> свою позицию, а не в попытке здраво оценить ситуацию.

На самом деле позиция проста - халявы на халяву не бывает. Есть некий tradeoff, при том у bzip2 он не особо удачный и не особо отключаемый, а если надо было именно вон то - есть реализации с куда более вменяемым этим самым, гранулярно контролируемым, а то и нафиг не нужным из-за использования FEC который ценой оверхеда починит сбой на 100%.

А так - какая мне радость с половины рабочего проекта? Я еще эвон сколько недостающее буду выписывать если бэкапа не было. А раз так - я лучше удостоверюсь что все читается как надо и сделаю несколько копий.

Ответить | Правка | Наверх | Cообщить модератору

195. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 19-Мрт-21, 00:46 
> ЧСХ все нормальные архиверы типа рар и 7зип именно это как раз сто лет и делают, сливая их в один поток

Извините, вы читать не умеете.

Ответить | Правка | Наверх | Cообщить модератору

196. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 19-Мрт-21, 00:49 
> А раз так - я лучше удостоверюсь что все читается как надо и сделаю несколько копий.

Удачи. Один RAID1 предлагает, другой вообще несколько копий всего держит. Линуксоиды, х...ле )))

Ответить | Правка | К родителю #193 | Наверх | Cообщить модератору

210. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 19-Мрт-21, 03:16 
> Удачи. Один RAID1 предлагает, другой вообще несколько копий всего держит. Линуксоиды, х...ле )))

Ну а нафиг мне полувосстановленный рабочий проект например? Что с ним делать? Дописать недостающий кус? А это довольно много долботни.

Ответить | Правка | Наверх | Cообщить модератору

197. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 19-Мрт-21, 00:51 
> В этом плане преимущество имеет интегрированный не-юниксвэйный формат

А если заголовок побит, то всё?

Ответить | Правка | К родителю #193 | Наверх | Cообщить модератору

209. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 19-Мрт-21, 03:14 
> А если заголовок побит, то всё?

Зависит от. У zip, например, заголовков как таковых два. Один "конденсировано" в хвосте, для быстрого лукапа того что ищем (привет, тар, который надо целиком жевать для этого - доставляет на больших архивах) и второй - там где данные реально есть.

Ну и в случае tar -> gz (xz, ...) при левых данных в середине потока весь хвост tar станет нечитаемым. bz2 сбрасывает состояние между блоками, по поводу чего и могет вон то, но за это своя цена. В виде поганого сжатия например - несмотря на тормознутость.

Ответить | Правка | Наверх | Cообщить модератору

214. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 19-Мрт-21, 07:01 
> Зависит от.

Поменьше болтовни, про tar c gz/bz2 я и без тебя знаю, побольше про свой любимый формат.

Ответить | Правка | Наверх | Cообщить модератору

285. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 05-Апр-21, 01:35 
> Поменьше болтовни, про tar c gz/bz2 я и без тебя знаю, побольше
> про свой любимый формат.

Увы, я не верю в серебряные пули - и поэтому предпочитаю формат под задачу выбирать. И если сформулировано что должно еще и ошибки чтения переживать - это не про tar.gz/xz/bz2/...

Ответить | Правка | К родителю #214 | Наверх | Cообщить модератору

132. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 18-Мрт-21, 05:53 
> И чего? Это не значит что надо пакуя новые данные ограничиться словарем
> в 32 кило эпохи доса. Блок bz2 в 900 кило тоже
> не предел мечтаний в современном мире. И дальше этой дистанции оно
> в принципе избыточность не убирает, как я понимаю.

Речь идёт об алгоритме, который работает в том числе на слабых IoТ устройствах или ты мне на микроконтроллер, который ещё более-менее тянет HTML и при желании всё же может жать zlib'ом, предлагаешь засунуть словарь brotli? Вы со своими Феномами вообще потеряли берега. Куча устройств НИКОГДА не получит производительности, достаточной для brotli. Сами же создаёте условия для неуниверсальности решений, а потом жалуетесь на фрагментацию платформ и невозможность изучить и начать зарабатывать деньги на этом. Я уже не говорю о том, что история потом элементрарно повторяется, когда переизобретается велосипед с новым уровнем абстракции.

Ответить | Правка | К родителю #129 | Наверх | Cообщить модератору

198. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 19-Мрт-21, 00:57 
> Речь идёт об алгоритме, который работает в том числе на слабых IoТ устройствах

Им bz2 совсем не друг, там проблемы со всем и сразу - и плотное сжатие все хотят, и проц дохлый. А bz2 там нечего ловить, тормозной и жмет неважно, ни два ни полтора получается.

> или ты мне на микроконтроллер, который ещё более-менее тянет HTML
> и при желании всё же может жать zlib'ом, предлагаешь засунуть словарь brotli?

Там не столько в словаре будет основная проблема. А в том что максимальный объем RAM, даже на декомпрессию, может быть довольно непотребный (минимум словарь размером + еще оверхед). Впрочем 200 кило словаря в чем-то таком тоже "не очень". И поэтому там не логично заявлять accepts для бротли. Иначе можно тупо OOM получить если ремота прикольнется.

Хочешь рассказать мне про микроконтроллеры? :) Так то там что-то типа crush интересно, декодер лезет на экран, жмет сносно, "uses no RAM for decompression" (в том плане что там нет больших state, словарей, ... ). Можно LZO и UCL, но там декодеры воистину наркоманские.

> Вы со своими Феномами вообще потеряли берега.

Мы с нашими STM32F0 еще и не на таком декомпрессию запускали... вон там чуваки с Z80 ажно. Чего вопишь? Хошь алго покажу? Спроси LZSA на гитхабе. Весьма непогано жмет для "simple LZ" в втором варианте. И даже на Z80 декомпрессуемо.

> Куча устройств НИКОГДА не получит производительности, достаточной для brotli.

Мне этот момент тоже не нравится до некоторой степени.

> Сами же создаёте условия для неуниверсальности решений, а потом жалуетесь на
> фрагментацию платформ и невозможность изучить и начать зарабатывать деньги на этом.

Зарабатывать деньги на ... чем именно? Небольшом объеме данных? Я видите ли в этом случае использую компактные бинарные протоколы, резонно полагая что чем меньше на входе, тем больше предпосылок чтобы и на выходе было меньше, да и времени на сжатие и распаковку так меньше.

> Я уже не говорю о том, что история потом элементрарно повторяется, когда
> переизобретается велосипед с новым уровнем абстракции.

Тем не менее сама возможность вгружать словари достаточно забавная. Ты никогда не думал что это дельтакомпрессор на халяву?

Это делается так: словарем грузится old version. Запускается алгоритм сжатия. Его выхлоп с тем словарем - дельта новой версии от старой по сути. Если ремота при декомпрессе тоже умеет словарь юзать, может вгрузить вон ту дельту и сделать из старой версии новую ... просто распаковав это. А хренли, LZ как таковой совпадения кодирует и если история предзагружена из словаря - ну значит и относительно этого закодирует. По этой причине большой словарь и является мухлежом.

Если довести идею до абсолюта, скачав всю википедию любая статья жмется до URL на нее. Но словарь получается оооооочень большой :)

Ответить | Правка | Наверх | Cообщить модератору

95. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от Аноним (7), 17-Мрт-21, 23:50 
Смотри. Взять lzma вместо bz2 -- первый жмёт быстрее и лучше второго, добавить парити на сэкономленное место, и в итоге получить по-настоящему устойчивый к повреждениям файл так ещё и ещё остаться в плюсе по экономии места. https://www.opennet.ru/openforum/vsluhforumID3/123533.html#178
Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

98. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от timur.davletshin (ok), 17-Мрт-21, 23:54 
> Смотри...

Вперёд! Миру нужен ещё один формат архивов.

Ответить | Правка | Наверх | Cообщить модератору

106. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от Аноним (7), 18-Мрт-21, 00:09 
Так там тот же тар. Просто сжат получше.
Ответить | Правка | Наверх | Cообщить модератору

130. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 18-Мрт-21, 05:33 
> Вперёд! Миру нужен ещё один формат архивов.

Не, блин, будем до упора пользоваться ископаемой архаикой, тормозной как трактор и при этом не дающей никаких измеримых _гарантий_ дата рекавери в сколь-нибудь потребном виде. Если уж кого восстановление с битых архивов интересовало - логично это делать нормально.

Ответить | Правка | К родителю #98 | Наверх | Cообщить модератору

133. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 18-Мрт-21, 06:04 
Ты par видимо не застал, его одно время форсили. Там один криво реализованный алгоритм два раза исправляли. В результате каша форматов вышла и из-за этого не взлетело.

> Не, блин, будем до упора пользоваться ископаемой архаикой

Между оптимизированной "архаикой" вроде того же zlib-ng и кривоспроектированной "современностью" brotli я выбираю "архаику".

Ответить | Правка | Наверх | Cообщить модератору

199. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 19-Мрт-21, 01:02 
> Ты par видимо не застал, его одно время форсили.

Когда ничего лучше не было - форсили. А так то алгоритмы сжатия, вот, развиваются постепенно.

> Там один криво реализованный алгоритм два раза исправляли. В результате каша форматов вышла и
> из-за этого не взлетело.

Да почему? В свое время достаточно популярный был. Но это время все же прошло.

> Между оптимизированной "архаикой" вроде того же zlib-ng и кривоспроектированной
>  "современностью" brotli я выбираю "архаику".

ИМХО смотря где. Вон тот одноплатник с гигом RAM его прожует влет и сэкономит траф. А вон тот роуетер с 32 RAM могет по OOM улететь уже. И на нем в accepts заявлять brotli уже чревато ремотным выносом.

Ответить | Правка | Наверх | Cообщить модератору

94. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –2 +/
Сообщение от Аноним (7), 17-Мрт-21, 23:35 
Было бы здорово, если бы было можно прицепить парити к файлу. Ну там по типу ntfs-streams, а то в xattr слишком много ограничений для такого. Сколько там 1 поле ограничего 64кб и всего 255 полей или всего 64кб на всё? Я не помню. А так бы взял приложил к любому файлу 5% парити и ты в шоколаде. А это всё "восстановление" полнейшая лажа -- файлы всё равно битые и часть данных потеряется.
Ответить | Правка | К родителю #77 | Наверх | Cообщить модератору

100. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 17-Мрт-21, 23:55 
> файлы всё равно
> битые и часть данных потеряется.

Весь уровень знаний в одной фразе.

Ответить | Правка | Наверх | Cообщить модератору

104. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от Аноним (7), 18-Мрт-21, 00:06 
Ну сорян, я правда не слышал чтобы какое-либо парити хотя бы по типу кода рида-соломона было в том же bz2, не говоря уже об остальных. Когда я исследовал вопрос, единственное заключение, к которому я пришёл: этот формат _возможно_ потеряет меньше данных из битого потока, но и только. И равндомно повредятся всё равно несколько файлов, поскольку bz2 их не различает. Или я тебя не понял?
Ответить | Правка | Наверх | Cообщить модератору

109. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  –1 +/
Сообщение от Аноним (-), 18-Мрт-21, 01:03 
Так еще и по bz2 ыксперд ? Десять салом онов из десяти :D
Ответить | Правка | Наверх | Cообщить модератору

112. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (7), 18-Мрт-21, 01:41 
Меня почему-то раздражает твоя тупость. Хотя я не часто встречаю таких самонадеянных глупцов, может быть в этом дело.
Ответить | Правка | Наверх | Cообщить модератору

149. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 18-Мрт-21, 11:54 
Удивительно, но моя мудрость спровоцирована твоей глупостью.
Ответить | Правка | Наверх | Cообщить модератору

134. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 18-Мрт-21, 06:08 
> Ну сорян, я правда не слышал чтобы какое-либо парити хотя бы по
> типу кода рида-соломона было в том же bz2, не говоря уже
> об остальных. Когда я исследовал вопрос, единственное заключение, к которому я
> пришёл: этот формат _возможно_ потеряет меньше данных из битого потока, но
> и только. И равндомно повредятся всё равно несколько файлов, поскольку bz2
> их не различает. Или я тебя не понял?

Да, его нет. Парити обеспечивали ленточные накопители, под которые tar и проектировался когда-то. Кто там сейчас из дисковых или твердотельных накопителей парити умеет? Или уже портиться они перестали? Парити в par/dar фиксили, первое не взлетело, второе вроде даже ещё шевелится.

Ответить | Правка | К родителю #104 | Наверх | Cообщить модератору

171. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (7), 18-Мрт-21, 19:46 
Что это пар не взлетело? А что же я каждый день на файлообменных форумах вижу его? Парити в 1мб позволяет исправить сотни килобайт повреждений сразу в нескольких местах на 1гб архиве. Как часто архивы бьются? Ну, если отбросить посыпавшиеся сектора, наверно наиболее вероятен битфлип и сбоящая память. Так вот, парити в 1мб скорее всего будет достаточно для того, чтобы восстановить все данные  и пару мб на гб можно и выделить. Взять какой-нибудь lzma вместо gzip и парити может быть уже 5-10% при том же объёме, а это уже вообще наверно любой файл можно восстановить. 5мб парити на гигабайт и так за глаза для восстановления кучи повреждений, и это всего пол процента.
Ответить | Правка | Наверх | Cообщить модератору

172. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (7), 18-Мрт-21, 19:53 
Правда нужно учитывать что на ссд скорее всего вылетать будут блоки не 512 байт или 4кб или даже 8кб, а сразу по 20мб, а это значит на одно такое повреждение понадобится никак не меньше 20мб парити (а на деле больше). 5% от гигабайта это 50мб если я ничего не путаю, в таком случае может хватить и 3. Но вообще, вопрос был про парити в дисках, и, насколько я знаю, в ссд есть скрытое парити, иначе данные постоянно бы сгнивали, чего не происходит аж до года да? Или, во всяком случае, было, где-то я слышал такую информацию.
Ответить | Правка | Наверх | Cообщить модератору

278. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от Аноним (-), 27-Мрт-21, 01:04 
> Правда нужно учитывать что на ссд скорее всего вылетать будут блоки не
> 512 байт или 4кб или даже 8кб, а сразу по 20мб,

1) FEC делается _постранично_. И вылетает страница, если FEC не выдюжил вон то количество сбойных битов. У HDD соответственно вылетает сектор.
2) Erase block (который крупный) маркируется как BAD по итогам _стирания_ а не записи. Данные при этом в него еще не успевают затолкать.
3) Erase block чаще всего кратен 2^N и 20 мегабайтов он обычно не бывает. Хотя с чудесатыми TLC возможны и варианты.

При чтении нет никаких предпосылок не прочитать весь eraseblock. Читается страницами, а "ошибка стирания" - всего лишь "не все биты вернулись в исходное состояние". Он при этом успешно запишется, кроме скольких-то битов, и постраничное чтение вытащит большинство страниц.

> а это значит на одно такое повреждение понадобится никак не меньше
> 20мб парити (а на деле больше).

Бывают странные приколы, конечно, когда питание екнули а ssd eraseblock или erase group кантовал и он уже стер, но еще не записал, а тут питание пропало, но приличные SSD при этом все же сие не теряют, только изменение которое хотели сделать. А вот неприличные флехи с примитивным контроллером - могут. Но при этом может ФС урыться, тогда у вас будут более веселые проблемы. Или таблица трансляции, тогда ваш файл будет выглядеть очень интересно и вы врядли это сами соберете. Паззл из кусочков собирать на глазок не сильно просто.

Ответить | Правка | Наверх | Cообщить модератору

173. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от timur.davletshin (ok), 18-Мрт-21, 20:00 
Я не знаю, по каким местам вы шастаете (кстати, а где?), но в дикой природе я его уже лет 5 не видел. Допускаю, что просто сменил пристрастия за последние 10 лет. Там просто в первой версии был какой-то убер-тупейший баг дизайна из-за которого почти сразу второй формат запилили. Про преимущества парити мне рассказывать не надо, я ещё 5 лет назад хоть и относительно простецкие, но стримеры использовал, там это всё есть на железном уровне.
Ответить | Правка | К родителю #171 | Наверх | Cообщить модератору

284. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +/
Сообщение от пох. (?), 27-Мрт-21, 20:00 
> Я не знаю, по каким местам вы шастаете (кстати, а где?)

варезник, небось

там критично свойство архиватора нарезать мелкими ломтиками, ну и восстановление тоже.
У криминала свои специфические нужды и странности.

Ответить | Правка | Наверх | Cообщить модератору

200. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +2 +/
Сообщение от Аноним (-), 19-Мрт-21, 01:06 
> Ну сорян, я правда не слышал чтобы какое-либо парити хотя бы по
> типу кода рида-соломона было в том же bz2,

Да нет там ничего такого, он просто состояние компрессора каждый блок сбрасывает. От чего и имеет проблемы с неважным сжатием, но декомпресс при факапе можно начать с нового блока. В случае solid сжатия - с момента сбоя в декомпреснутом потоке ессно труха и хвост не декодируем совсем.

А таки да, рид-соломон и т.п. при правильном применении будет сильно эффективнее, загасив сбой в ноль, ценой некоего оверхеда. В том бомж-репайре видите ли вообще совсем никаких гарантий относительно того что накроется и что починится. Поэтому те кому надо было всерьез юзают FEC конечно же, или просто делают несколько копий.

Ответить | Правка | К родителю #104 | Наверх | Cообщить модератору

102. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +1 +/
Сообщение от Твоя мама (?), 17-Мрт-21, 23:57 
bzip вообще не нужен, xz на низких степенях сжатия (-3 и около того) жмёт быстрее и сильнее.
Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

273. "Первый стабильный выпуск zlib-ng, высокопроизводительного фо..."  +1 +/
Сообщение от edo (ok), 21-Мрт-21, 20:15 
Справедливости ради, на некоторых входных данных bzip2 сжимает эффективнее, чем xz. Но в целом согласен, при наличии xz и zstd bzip2 не особо актуален.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру