The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз GNU tar 1.30, opennews (?), 18-Дек-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


43. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 12:04 

>> tar быстро и без фокусов упаковывает их в контейнер
> да
>> с которым потом удобно работать
> нет (see #41 )

Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.

И Вы там упоминали про duplicity, да, но наверное это тоже для Вас не вариант. Может как нибудь структурировать данные. Это конечно не уже не задачи архиваторов и упаковщиков.

И когда нибудь наверняка, должен будет появится довольно таки легковесный комбайн, который объединит все необходимое Вам в один флакон (да еще и в необходимой пропорции ;)

Ответить | Правка | Наверх | Cообщить модератору

46. "Релиз GNU tar 1.30"  –4 +/
Сообщение от Greg KH (?), 18-Дек-17, 12:39 
> Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.

А это не нашей консерватории архив. Понимаешь в чем дело, когда все вокруг следуют советам из детской книжки "Линукс для чайников" писать всегда "tar czf" незадумываясь, то потом приходится иметь дело с такими вот 100GB tar.gz. Ну а что, "на форуме посоветовали", "в книжке написали", "в модном faq указали".

Вот я поставил минус #30, что бы дурными советами не разбрасывался товарищ.

Авторам статей, факов, ответов на форумах пора прекратить везде пихать tar без явного указания на то, что данные не должны быть больше пары гигабайт. Иначе будет бо-бо тому, что будет эти данные читать. И в man добавить стыдную инфу: не больше 5GB! Вот в этом мой пойнт.

Ответить | Правка | Наверх | Cообщить модератору

48. "Релиз GNU tar 1.30"  –6 +/
Сообщение от Greg KH (?), 18-Дек-17, 12:46 
> не больше 5GB!

Кстати, для gz - не больше 2GB. Там внизу `man gzip` написано, что оно не работает. Но кто ж читает ман на компрессор, когда сжимает в tar.gz.

Как все смеялись над fat32 с её невозможностью записывать туда образы DVD целиком! Но как-то все забыли, что классические линуксовые инструменты не работают должным образом с файлами >2GB.

STOP USING TAR! STOP USING GZ! Так победим!

Ответить | Правка | Наверх | Cообщить модератору

60. "Релиз GNU tar 1.30"  +5 +/
Сообщение от Аноним (-), 18-Дек-17, 14:55 
>> не больше 5GB!
> Кстати, для gz - не больше 2GB. Там внизу `man gzip` написано,
> что оно не работает. Но кто ж читает ман на компрессор,
> когда сжимает в tar.gz.

Во-первых, 4Г. Во-вторых, работает, только размер сжатого файла неправильно отображается.

$ dd if=/dev/zero bs=1M count=5120 | gzip > file.gz
5120+0 записей получено
5120+0 записей отправлено
5368709120 байт (5,4 GB, 5,0 GiB) скопирован, 31,9478 s, 168 MB/s
$ gzip -l file.gz
         compressed        uncompressed  ratio uncompressed_name
            5210210          1073741824  99.5% file
$ zcat file.gz | wc -c
5368709120

> STOP USING TAR! STOP USING GZ!

Не дождётесь!

Ответить | Правка | Наверх | Cообщить модератору

73. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH (?), 18-Дек-17, 19:22 
> Во-первых, 4Г.

О, замечательно, заглянули в ман

> zcat file.gz | wc -c

самому то не смешно? Ты либо сознательно прикидываешься, либо абсолютно некомпетентен в IT.

Человек, считающий на полном серьезе, что O(N) - это допустимая сложность для алгоритма получения размера файла, не должен иметь права голоса на техническом форуме.

Ответить | Правка | Наверх | Cообщить модератору

83. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 18-Дек-17, 21:08 
Я и не предлагаю таким образом проверять размер файла, я таким образом просто показал, что он сохранился полностью, хотя gzip -l и показывает ерунду. А вот когда мне в реальных условиях нужно было узнать размер сжатого файла — я с трудом припоминаю… Кажется примерно никогда. А тебе?
Ответить | Правка | Наверх | Cообщить модератору

90. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH (?), 19-Дек-17, 03:39 
>  А тебе?

А ты видимо тред не читал? Здесь всё есть, грепай по "100"

Когда припекает, а такой возможности нет, понимаешь, насколько наколенные поделки эти gzip и tar. Это совсем не уровень промышленной системы с почти полувековой традицией. Ты же не можешь заранее знать, чего наивный юзер загонит в архив. Вон, тут уже и 'tar | nc' советуют во все поля. И с ростом объемов юзеры будут сталкиваться с этим чаще и чаще, явная проблема. Нет, давайте будем молиться на этот tar и gzip, аки мощам.

Ответить | Правка | Наверх | Cообщить модератору

101. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 19-Дек-17, 13:07 
Это не наколенные поделки, просто они отчасти морально устарели и не всегда соответствуют современным потребностям. Молиться не надо, но использовать, когда нужно обеспечить максимальную переносимость, стоит. В остальных случаях предпочитаю xz. От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg) или инкрементальные бекапы (dar). Однако не менее 90% юзкейсов — запаковать архив, передать его, распаковать целиком; тут tar годится не хуже любого другого архиватора.
Ответить | Правка | Наверх | Cообщить модератору

108. "Релиз GNU tar 1.30"  –1 +/
Сообщение от VINRARUS (ok), 19-Дек-17, 18:02 
> От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg)

squashfs имеет встроеную дедупликацию.

Ответить | Правка | Наверх | Cообщить модератору

115. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним84701 (ok), 19-Дек-17, 22:11 
>> От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg)
> squashfs имеет встроеную дедупликацию.

Если ее не дополнили,  т.е. дедупликация на уровне файлов, то это не то.

В дедупе борга, аттики, zbackup (и вроде бы, лезть в сорцы лень) rsync и еще целой кучи утилит/клонов основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.

Пример:
Файл А: 11 22 33 44 55
Файл Б: 11 22 33 44 55
Файл В: 11 22 33 44 56
Файл Г: 00  11 22 33 44

А и Б (дупликаты на уровне файлов) распознаются сквошем (хэш/пров. сумма файла)
B (часть данных различается) детектится блочными дедупликаторами, типа ZFS и сохраняется только отличающийся блок.
На Г ("сдвиг")  блочный дедупликатор обломится (если конечно "сдвиг" не равен кратному длины блока), а вот "кусочная" дедупликация сможет "отделить мух от котлет".

Естественно, все имеет свою цену - первый способ почти "бесплатен", т.к. при упаковке пров. суммы файлов все равно считаются, тем более, пакуются данные только один раз.
Поблочный дедупликатор считает при каждой записи, плюс ему нужны индексы (см. классическую интернациональную драму на форумах всего интернета "ZFS дедап жрет ОЗУ как не в себя!" - фряшники советуют исходить от 2 до 5ГБ ОЗУ на 1 ТБ файлов).
У дедапа с кусками различной длины есть недостатки предыдущих способов, плюс еще более подтормаживающий хэш (тут правда смотреть надо - питон он обычно скоростью не отличается, а zbackup-овых 40-60 МБ/s может вполне хватать). Но для инкрементальных бэкапов, хранения или передачи схожих данных по узкому каналу и прочего оно вполне себе очень даже ничего.

Ключевые слова chunks + rolling hash + rabin karp
Кроме педивикии, см. можно тут:
https://github.com/YADL/yadl/wiki/Rabin-Karp-for-Variable-Ch...
https://software.intel.com/en-us/articles/accelerate-data-de...

Ответить | Правка | Наверх | Cообщить модератору

117. "Релиз GNU tar 1.30"  –1 +/
Сообщение от VINRARUS (ok), 20-Дек-17, 00:34 
>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.

Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?

Ответить | Правка | Наверх | Cообщить модератору

118. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним84701 (ok), 20-Дек-17, 01:57 
>>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.
> Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?

Там в основном оперативка под индексы уходит, а данные полностью в ОЗУ держать нет нужды.

Eсли брать zbackup, то примерно 2МБ на ГБ данных в репе, автор
http://zbackup.org/ см. "Scalability"
говорит о  примерно 1ГБ ОЗУ на 1ТБ репы.

Ответить | Правка | К родителю #117 | Наверх | Cообщить модератору

123. "Релиз GNU tar 1.30"  –1 +/
Сообщение от VINRARUS (ok), 20-Дек-17, 02:59 
>>>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.
>> Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?
> Там в основном оперативка под индексы уходит, а данные полностью в ОЗУ
> держать нет нужды.

Ну так ясно.
> Eсли брать zbackup, то примерно 2МБ на ГБ данных в репе, автор
> http://zbackup.org/ см. "Scalability"
> говорит о  примерно 1ГБ ОЗУ на 1ТБ репы.

Другими словами должен совпадать 1 кб непрерывных данных.
Ну да, 16 кб на блок у btrfs это немного не то. :)

Ответить | Правка | К родителю #118 | Наверх | Cообщить модератору

56. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Борщдрайвен бигдата (?), 18-Дек-17, 13:52 
Так и что плохого в архивах по паре сотен гб где-то в s3, например?
Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

66. "Релиз GNU tar 1.30"  +/
Сообщение от Crazy Alex (ok), 18-Дек-17, 16:33 
Да ничего, но товарищ там зачем-то листинги хочет и частичную распаковку. Не помню, когда оно нужно было.
Ответить | Правка | Наверх | Cообщить модератору

74. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 19:26 
> зачем-то листинги хочет

хватит лицемерить. Неужели, желание списка файлов в архиве - это такой жупел, что меня готовы уже вiндузятником объявить, лишь бы не признать, что tar (и gz) - убоги в качестве дефолтного решения, и используется только потому, что нет альтернативы.


> зачем-то листинги хочет

Ты себе макбук купил что ли? Симптомы больно похожи: ответ "ненужно" на вопрос о тривиальной фиче, которой нет в системе, и брызганье слюной после появления этой фичи в следующем релизе.

Ответить | Правка | Наверх | Cообщить модератору

81. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Борщдрайвен бигдата (?), 18-Дек-17, 20:36 
Так ведь tar не особо для этого. Собрать файлы в один, положить на ленту и забыть до Рагнарёка.
Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

65. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Анонимм (??), 18-Дек-17, 16:32 
>>> tar быстро и без фокусов упаковывает их в контейнер
>> да
>>> с которым потом удобно работать
>> нет (see #41 )
> Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.

Отлично: не держать слишком больших архивов, потому что с ними неудобно работать и писать что все прекрасно работает и поэтому ничего менять не надо (а у кого работает не очень, тот конечно же ССЗБ). Напоминает яблочное "Вы просто свой айфон неправильно держите!"

Из того же dump архива, хотя он тоже изначально "кассетный", бэкапы отдельных файлов восстанавливаются только влет. Но tar был бы удобнее из-за отсутствия привязки к конкретной ФС.
Может просто стоит признать, что времена хардов на 100МБ безвозвратно ушли и современные требования к архивам немного изменились?

Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

69. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (-), 18-Дек-17, 17:45 

> Из того же dump архива, хотя он тоже изначально "кассетный", бэкапы отдельных
> файлов восстанавливаются только влет. Но tar был бы удобнее из-за отсутствия
> привязки к конкретной ФС.

"Влет" это как? Смонтировать через losetup, и скопировать необходимый файл? Ну, тогда да!
Тогда пишите tar_fs с опциями gz, bz2, lzma, ... Правда скорость на мой взгляд будет, ну Вы поняли ;)

> Может просто стоит признать, что времена хардов на 100МБ безвозвратно ушли и
> современные требования к архивам немного изменились?

Да! Но это не значит, что tar необходимо выкинуть.

Ответить | Правка | Наверх | Cообщить модератору

72. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Анонимм (??), 18-Дек-17, 19:16 

> "Влет" это как? Смонтировать через losetup, и скопировать необходимый файл? Ну, тогда да!

дамп в смысле "высокоуровневого", сделанного через утилиту dump.
Влет, это подключить терабайтный хард с бэкапами к ноуту без USB3 и запустив restore -if на 100ГБом дамп-архиве, выбрать интерактивно файлы для восстановления и восстановить их. За пару минут, а не полчаса. Так же неплохо работает с пожатым дампом, если использовать блоковое сжатие.

> Да! Но это не значит, что tar необходимо выкинуть.

Вообще-то ветка ветка начинается с #30, где пишут о
> с которым потом удобно работать.

Или усомниться в безоговорочности удобства работы с tar в современных реалиях (и юзкейзах) уже сам по себе призыв к выкидыванию?


Ответить | Правка | Наверх | Cообщить модератору

75. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 19:30 
> Ну, тогда да! Тогда пишите tar_fs с опциями gz, bz2, lzma, .

Вы реально настолько некомпетентны, не понимаете, почему dump-архив позволяет вытаскивать файлы быстро, а tar-архив - не позволяет? Ну так вы спросите сначала, может быть поймете, и не будете невежеством бравировать.

Ответить | Правка | К родителю #69 | Наверх | Cообщить модератору

96. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 19-Дек-17, 09:35 
>> Ну, тогда да! Тогда пишите tar_fs с опциями gz, bz2, lzma, .
> Вы реально настолько некомпетентны, не понимаете, почему dump-архив позволяет вытаскивать
> файлы быстро, а tar-архив - не позволяет? Ну так вы спросите
> сначала, может быть поймете, и не будете невежеством бравировать.

Спасибо, за публичную порку ;)
Так давно это было, что аж успело забыться. Еще раз посмотрел man dump и просторы Интернета. В очередной раз понравилось. К сожалению пока ручки не дошли. Все по старинке tar, rsync.
Но очень необходимо себя заставить изучить dump and duplicity, и сравнить (особенно в вопросе инкрементального backup-а).

Ответить | Правка | Наверх | Cообщить модератору

98. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH (?), 19-Дек-17, 11:19 
Спасибо за адекват, анонимус

> изучить dump and duplicity

Мне вообще странно, почему dump не особо популярен в linux, тогда как в bsd dump это мейнстрим.

А duplicity оставляет двоякое впечатление

Мне понравился borg backup из относительно свежего последного

Ответить | Правка | Наверх | Cообщить модератору

103. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 19-Дек-17, 13:42 
> Спасибо за адекват, анонимус
>> изучить dump and duplicity
> Мне вообще странно, почему dump не особо популярен в linux, тогда как
> в bsd dump это мейнстрим.
> А duplicity оставляет двоякое впечатление
> Мне понравился borg backup из относительно свежего последного

Мне вообще кажется, что достаточно важно в этом вопросе это то, что система позволяет сразу после (или в течении) процесса обновления (создания) копии, сможет сделать unattended верификацию всей (или случайной части) сохраненной в резервной информации с оригиналом. И самое главное, в случае, если что то пошло не так, отправит сообщение (обязательно зашифрованное) на указанный в настройках системы адрес электронной почты (лучше на несколько ;)
В принципе все выше озвученное не так сложно реализовать путем скриптования (ну скажем на shell).
Просто должен найтись Человек, который с удовольствием, реализует начальный функционал в течении выходных! Позже, может кто то подключится и допилят.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру