|
2.3, Crazy Alex (ok), 13:20, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +16 +/– |
В подобной алгоритмике экспериментально подобранные "хорошие значения" сплошь и рядом, особенно на ранних этапах. Иногда потом теория под них находится, иногда - нет.
| |
|
|
4.30, pavlinux (ok), 16:29, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +13 +/– |
А чё не " const static unsigned short volatile const NUM __attribute__ ((aligned (16))) = 0b1001u;" ?
Ну так, чисто чтоб всех анонимов сразу в моск пробило. :)
| |
|
|
|
|
2.10, z (??), 13:34, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
Чем больше распаковывается данных из окна совпадений - тем быстрее, т.к. это hot cache, при низком сжатии данные распаковываются меньшими частями, т.е. чаще вычитываются из входного потока, который тоже больше
| |
|
1.14, Crazy Alex (ok), 14:09, 22/09/2015 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +1 +/– |
Мда, основной вывод - gzip можно выкидывать окончательно - эта штука его перекрывает полностью - и на 1 и на 9 жмёт быстрее и лучше и распаковывает быстрее, чем gzip на аналогичном уровне. bzip2 и подавно идёт лесом - при сравнимом сжатии скорость различается в разы.
А вот lzma в скорости сжатия при сравнимом ratio новичок проигрывает, хотя распаковывает быстрее - то есть надо выбирать в зависимости от задачи. Хотя, моежт, можно уровень 10 подобрать, чтобы был сравним - тогда получится совсем универсал.
| |
|
2.17, Аноним (-), 14:42, 22/09/2015 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +4 +/– |
gzip (как и zip), скорее всего, не выкинут, ибо совместимо с любыми системами. А bzip2 уже давно можно выкидывать - примерно со времен появления xz.
| |
|
3.19, Crazy Alex (ok), 15:12, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Там, где сжимаешь чаще, чем распаковываешь (бэкапы те же) bzip2 часто интереснее.
А совместимость... нарастёт со временем. Во всяком случае, понятно, в какую сторону двигаться.
Но о zip я ничего не говорил. zip, в отличие от, стал скорее контейнером, чем компрессором. Там само сжатие вообще не критично в большинстве случаев.
| |
|
4.67, Аноним (-), 19:52, 23/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +2 +/– |
> Там, где сжимаешь чаще, чем распаковываешь (бэкапы те же) bzip2 часто интереснее.
Ничем он не интересный: ресурсоемкий и на сжатие и на распаковку и плохо (по сравнению с другими сильными компрессорами) жмет.
> Но о zip я ничего не говорил. zip, в отличие от, стал скорее контейнером,
При том достаточно дурным, изначально там ограничения на размера файла. А субформат без таковых уже как бы полусовместимый...
| |
|
5.77, Crazy Alex (ok), 02:57, 24/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| –1 +/– |
Cильные - жмут дольше, вообще-то, потому bzip2 и лучше. А в случае тех же бекапов в большинстве случаев их вообще не приходится ни разу распаковывать, а если приходится - время не сильно критично. Но это всё от конкретного случая зависит, конечно.
zip - ну ограничения, но обычно это не особо важно. Часто вы встречали те же офисные документы или jar, которые в эти ограничения не укладываются?
| |
|
|
|
|
3.45, Crazy Alex (ok), 20:34, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Кхм, ну, пережить меня - это вряд ли, но да, древний мусор болтается долго, даже не имея вообще никаких преимуществ. Что весьма печально.
| |
|
4.72, Аноним (-), 00:44, 24/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Crazy Alex ... Саша, ты дурак!
На "старьё" ресурсы не тратятся. Лежит оно где то в тёмных углах /*bin/* и жрать не просит. Раз в пятилетку его надо перекомплять текущим набором компиляторов, пересобитать с текущей версией [g]libc и прогонять тесты на текущих оЗЪ.вёдрах. Всё. И это изюавит тебя от эшелона гиммороя, если старьё реально выкинуть. АЗЪ!
| |
|
5.74, Аноним (-), 01:46, 24/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
и как, много нынче желающих таскать древний compress? Вот gzip куда-то туда же уже метит. Поганенько жмет при том что ресурсоемкость у него вполне себе на уровне иных "LZ+дожатие".
У gzip и вообще deflate - максимум словарь в 32 кило. Это не память, это склероз.
| |
|
|
|
|
3.61, Crazy Alex (ok), 09:59, 23/09/2015 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +/– |
Ниш со слабыми ресурсами становится всё меньше и так, разумеется, будет и дальше. Что до разницы архитектур - как минимум, между ARM и x86 я неожиданых различий в плане скорости не видел на довольно широком диапазоне задач - приходится по работе обращать внимание на это.
| |
|
2.87, arisu (ok), 23:03, 30/09/2015 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
> Мда, основной вывод - gzip можно выкидывать окончательно - эта штука его
> перекрывает полностью
особенно по размеру кода и размеру бинарей.
и да, жмёт она не настолько лучше, чтобы стоило скакать от радости. deflate, конечно, давно уже не вершина технологий, но всё не настолько плохо (или хорошо).
и словарь, словарь… фэйспалм.
| |
|
|
2.35, Andrey Mitrofanov (?), 18:07, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +3 +/– |
> только щас представила?
"Google анонсировала" + "Спецификация Brotli передана [...] в комитет"
> эта хрень же в WOFF2 уже хз сколько времени используется
"В настоящее время Brotli уже применяется в качестве алгоритма сжатия шрифров Web Open Font Format 2.0."
Трудная языка? Понимаю. Читаю новости вверху -- дорого, паяльник свой.
| |
|
1.16, Аноним (-), 14:41, 22/09/2015 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +/– |
Круто, конечно, но не очень понятно при чем тут Интернет. Чтобы им что-то начали жать, надо еще стандартизировать что и когда можно жать и как клиент с сервером об этом могут договориться.
| |
|
2.89, arisu (ok), 23:12, 30/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
> Круто, конечно, но не очень понятно при чем тут Интернет.
при том, что они собрали дурных размеров словарь из обрывков слов, чтобы «лучше жать страницы».
| |
|
|
|
3.22, Аноним (18), 15:15, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| –1 +/– |
> А зачем реализовывать заведомо худшие алгоритмы?
Сейчас Chrome поддерживает только gzip, deflate. Перечисленные выше алгоритмы явно лучше этих.
| |
|
4.24, Crazy Alex (ok), 15:27, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| –2 +/– |
Ну вот этот и реализуют. Чем убьют любой смысл использования в вебе чего-то кроме. Это, конечно, злоупотребление монопольным положением - но в данном случае я буду аплодировать стоя, потому что иначе старыфе алгоритмы ещё лет десять не подохнут.
| |
|
5.25, Аноним (18), 15:31, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +3 +/– |
> Ну вот этот и реализуют. Чем убьют любой смысл использования в вебе
> чего-то кроме. Это, конечно, злоупотребление монопольным положением - но в данном
> случае я буду аплодировать стоя, потому что иначе старыфе алгоритмы ещё
> лет десять не подохнут.
Firefox и остальные как будет на такую монополию смотреть? Конечно же точно также как и на WebP. Тот тоже был лучше и убивал всякий смысл продолжать использовать JPEG, а воз и ныне там.
| |
|
6.36, SysA (?), 18:08, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| –2 +/– |
>> Ну вот этот и реализуют. Чем убьют любой смысл использования в вебе
>> чего-то кроме. Это, конечно, злоупотребление монопольным положением - но в данном
>> случае я буду аплодировать стоя, потому что иначе старыфе алгоритмы ещё
>> лет десять не подохнут.
> Firefox и остальные как будет на такую монополию смотреть? Конечно же точно
> также как и на WebP. Тот тоже был лучше и убивал
> всякий смысл продолжать использовать JPEG, а воз и ныне там.
Firefox ка бы почти Chrome уже... :)
| |
6.75, Аноним (-), 01:49, 24/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
> Firefox и остальные как будет на такую монополию смотреть? Конечно же точно
> также как и на WebP.
Да им тоже прилетело за такую некооперативность: на их apng тоже как-то подзабили.
И вообще, если мозилла будет щелкать клювом - ну ок, у юзерей хрома контент пожатый более сильным алгоритмом будет грузиться быстрее. А юзеры лисы опять в минусе? Ну ок, тогда пусть мозилла не обижается когда у нее останется 2% как у оперы.
| |
|
|
|
|
|
3.27, Аноним (18), 15:40, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +2 +/– |
> Почитай про zip-бомбы, про скорость сжатия.
И? gzip и Brotli точно также подвержены этому. Это концептуальная проблема любой архивации, единственным способом нейтрализации которой, являются выставление лимита размера распакованных данных.
| |
|
2.70, Яро Ш. Я. (?), 21:52, 23/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
>В итоге будет как с WebP
С WebP всё прекрасно - я все скриншоты только им и кодирую. Визуально качество как jpeg, а весит в разы меньше
| |
|
3.76, Аноним (-), 01:50, 24/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
> С WebP всё прекрасно - я все скриншоты только им и кодирую.
> Визуально качество как jpeg, а весит в разы меньше
Вообще-то для скриншотов PNG есть. Он вообще lossless. Размер правда как повезет, однородная графика жмется хорошо, а градиентная... ну это не жыпег.
| |
3.81, Аноним (-), 23:17, 24/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
> С WebP всё прекрасно - я все скриншоты только им и кодирую.
> Визуально качество как jpeg, а весит в разы меньше
...но есть способ лучше! BARF! http://mattmahoney.net/dc/barf.html - сжимает вообще любые файлы. Быстро. До 0 байтов. И даже может распаковать обратно.
...но правда те кто немного знает математику, начнут что-то подозревать, хотя формально он делает именно то что заявлено :)
| |
|
|
|
2.32, Ан (??), 17:19, 22/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +2 +/– |
По умолчанию не использовал, но поддержка LZMA2 там уже была.
Вообще эти черти удивляют. Зачем они столько времени бету гоняют и не делают релиз?
| |
|
1.37, абвгдейка (ok), 18:11, 22/09/2015 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +/– |
забавно, судя по графику, он вообще-то на 20% сильнее сжимает, чем deflate9, при этом на 18% медленнее. Так что не надо спешить и сломя голову бросаться менять ваши системы :)
| |
|
|
|
|
|
|
7.90, arisu (ok), 23:18, 30/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
> Так у него и скорость больше. Можете pdf открыть, там цифры есть.
> deflate проигрывает вообще по всем статьям.
а теперь ограничим доступную память 64-мя килобайтами.
| |
|
|
|
|
|
|
|
2.68, Аноним (-), 19:54, 23/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| –1 +/– |
> а что там насчет lzo
То же что и LZ4: алгоритмы другой весовой категории. Они на скорость ориентированы, при приемлимом сжатии. А эти - на степень сжатия, при приемлимой скорости. Очень разные оптимизации.
| |
|
1.79, Аноним (-), 13:38, 24/09/2015 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| –1 +/– |
с ходу что получилось
hobot@SERVER:~/WORK/brotli/tools# time cat bro |./bro > bro.bro
real 0m2.487s
user 0m2.444s
sys 0m0.040s
hobot@SERVER:~/WORK/brotli/tools# ls -lh /bin/^C
hobot@SERVER:~/WORK/brotli/tools# time cat bro |gzip > bro.gzip
real 0m0.053s
user 0m0.044s
sys 0m0.008s
hobot@SERVER:~/WORK/brotli/tools# ls -lh ./bro*
-rwxr-xr-x 1 root root 947K сент. 24 12:33 ./bro
-rw-r--r-- 1 root root 243K сент. 24 12:35 ./bro.bro
-rw-r--r-- 1 root root 426K сент. 24 12:35 ./bro.gzip
2.4 секунды с bro и 50ms с gzip
| |
|
2.82, Аноним (-), 23:22, 24/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
> 2.4 секунды с bro и 50ms с gzip
А ничего что bro у вас кажись фигарил с максимальным сжатием? И в результате уделал gzip-а по сжатию ... всего-ничего, В ДВА РАЗА. И да, там нелинейная зависимость: улучшить результат сжатия в 2 раза вообще удается далеко не всегда и тем более это сложнее не в 2 раза. Поиск например более удачных совпадений, повышающий степень сжатия - очень быстро становится крайне медленной операцией. Практические реализации LZ-based - забивают по некоторому таймауту на поиск "еще более удачного совпадения", иначе они будут вкалывать ооооочень долго.
| |
2.84, Аноним (-), 13:58, 26/09/2015 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Предполагаю, что результаты вашего теста некорректны, т.к. в первом случае файл поднимался с диска, а во втором уже из page cache.
| |
|
1.86, arisu (ok), 22:58, 30/09/2015 [ответить] [﹢﹢﹢] [ · · · ] [к модератору]
| +/– |
…а ещё дурацкого словаря, высосаного из… неизвестно октуда (обрывки русского в нём умилили), и дичайших тормозов при попытке чуть‐чуть подкрутить уровень сжатия. плавали, знаем, не впечатлило.
| |
|