The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз GNU tar 1.30, opennews (?), 18-Дек-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


1. "Релиз GNU tar 1.30"  –29 +/
Сообщение от Онаним (?), 18-Дек-17, 00:56 
Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку истории и заменят чем-то человеческим, что не нужно распаковывать целиком чтобы считать оглавление (например чем-то типа 7z с добавлением поддержки информации о правах доступа и ссылок). Надеюсь хоть правнукам не придётся использовать это древнее зло.
Ответить | Правка | Наверх | Cообщить модератору

2. "Релиз GNU tar 1.30"  +4 +/
Сообщение от QuAzI (ok), 18-Дек-17, 01:01 
Не осилил -J ?
Ответить | Правка | Наверх | Cообщить модератору

3. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 18-Дек-17, 01:03 
tar это не запакованный формат
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

9. "Релиз GNU tar 1.30"  +17 +/
Сообщение от angra (ok), 18-Дек-17, 03:30 
Вообще-то он как раз формат упаковки/архивирования, а не сжатия/компрессии.
Ответить | Правка | Наверх | Cообщить модератору

17. "Релиз GNU tar 1.30"  +/
Сообщение от Онаним (?), 18-Дек-17, 04:42 
> Вообще-то он как раз формат упаковки/архивирования, а не сжатия/компрессии.

Да, но часто вы встречаете просто tar, а не tar.gz файлы? Для каких-то своих кассетных нужд он может и нужен, но tar.gz/bz/xz и тому подобное в сфере хранения файлов на жёстких дисках должно умереть.

Ответить | Правка | Наверх | Cообщить модератору

18. "Релиз GNU tar 1.30"  –5 +/
Сообщение от Онаним (?), 18-Дек-17, 04:48 
Хотя даже на кассетах непонятно зачем оно нужно такое - почему бы перед записью на кассету файлы не пожать? Причём каждый независимо желательно, чтобы повреждение одного не затрагивало остальные.
Ответить | Правка | Наверх | Cообщить модератору

24. "Релиз GNU tar 1.30"  +/
Сообщение от Greg KH (?), 18-Дек-17, 06:19 
>     Причём каждый независимо желательно, чтобы повреждение одного не затрагивало остальные.

ты забегаешь вперед. Этот нюанс как раз является одной из проблем tar, которые делают его далеко не лучшем архиватором общего назначения. Чего там с лентами - дело десятое.

> почему бы перед записью на кассету файлы не пожать?

Не хотелось бы говорить о лентах и отвлекаться от сути, т.к. такие юзкейзы (на ленту) tar применяются хорошо если в 0.1% случаев применения tar вообще. Но нельзя не заметить, что обычно ленточные стораджи сами умеют хорошее сжатие, сбалансированное с полосой пропускания механизма, поэтому tar без сжатия применяется на лентах успешно.

Ответить | Правка | Наверх | Cообщить модератору

111. "Релиз GNU tar 1.30"  +/
Сообщение от Вася (??), 19-Дек-17, 21:06 
Еще раз, tar - формат архивирования. Не сжатия. Нужно сжатие - жми отдельно. Можно даже каждый файл поодиночке, прям как ты хочешь. При этом некоторые файлы можно выборочно сжимать, а другие - нет. Тару на это пофигу, он делает одну свою задачу (хранение файлов вместе с их метаданными) и делает ее хорошо. Чистый Unix-way.
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

25. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 06:27 
> но tar.gz/bz/xz и тому подобное в сфере хранения файлов на жёстких дисках должно умереть.

Это уже случилось бы давно, если бы существовал нормальный архиватор. Но вместо этого имеем такой себе tar.

Что бы это как-то изменить, надо во всех статьях и howto указывать, что tar на сегодняшний деть имеет проблемы при применении, связанные в первую очередь с отсутствием в нем индекса файлов. Это приводит к необоснованной просадке производительности при использовании на реальных данных. Но что, к сожалению,  альтернатив, по степени распространенности и стабильности, на сегодняшний день нет.

Если писать такое замечание, то неофиты не станут огульно применять tar, а будут рассматривать, например, squashfs или dar. И будут заинтересованы в распространении лучшего формата

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

27. "Релиз GNU tar 1.30"  –5 +/
Сообщение от Онаним (?), 18-Дек-17, 09:31 
Рад, что хоть кто-то понимает о чём я.

> Это уже случилось бы давно, если бы существовал нормальный архиватор

Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в него поддержку недостающих метаданных не должно быть сложно.

>  Но что, к сожалению,  альтернатив, по степени распространенности и стабильности

Так их и не будет. Чтобы что-то подобное стало распространённым решение об этом должны принять "сверху" в RedHat и/или Debian, например. Или как минимум какой-то очень популярный проект должен добавить это новое в зависимости.

Ответить | Правка | Наверх | Cообщить модератору

32. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 10:19 
> Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в него поддержку недостающих метаданных не должно быть сложно.

Можете начать прямо сейчас.

Ответить | Правка | Наверх | Cообщить модератору

39. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Greg KH (?), 18-Дек-17, 11:32 
> Чем не нравится 7zip?

его надо весь лопатить. Изначально 7z был настолько инороден POSIX, GNU/Linux и вообще командной строке, что работать было невозможно - ни адекватных кодов возврата, ни работы с stdin\out. Сейчас стало лучше, но ключи всеравно наркоманские. Это во-первых. Хоть и не касается самой сути.

А во-вторых, сначала нужно добавить поддержку исчерпывающей unix-compatibility информации и посмотреть, что останется от формата, есть сомнения, что всё это ляжет туда. Всякие hardlinkи, xattr, контексты и аттрибуты SELinux и еще тонну всего. Без чего затевать современный архивный формат бессмысленно. Именно потому, что эта кропотливая работа довольно хорошо проведена в tar и, наверно, больше нигде, tar до сих пор жив.

В-третьих, не уверен сейчас на счет 7z. Но современный формат архива наряду с оптимальным случайным доступом  должен поддерживать так же и работу с "откушенным" концом (где, по идее, должен находиться индекс). И такми образом, сводиться к tar-like в случае отсутствия индекса; данные должны иметь возможность быть вытащенны последовательно. Это необходимо при потоковой передаче, например.

Так что, я сомневаюсь на счет 7z, потому что у него виндовые родовые травмы, и цели проекта изначально были другие, это не могло не отразиться на дизайне формата

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

94. "Релиз GNU tar 1.30"  –6 +/
Сообщение от VINRARUS (ok), 19-Дек-17, 08:00 
>современный формат архива наряду с оптимальным случайным доступом  должен поддерживать так же и работу с "откушенным" концом (где, по идее, должен находиться индекс). И такми образом, сводиться к tar-like в случае отсутствия индекса; данные должны иметь возможность быть вытащенны последовательно.

WinRAR к твоим услугам.

Ответить | Правка | Наверх | Cообщить модератору

54. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (-), 18-Дек-17, 13:38 
> Чтобы что-то подобное стало распространённым решение об этом должны принять "сверху" в RedHat и/или Debian, например. Или как минимум какой-то очень популярный проект должен добавить это новое в зависимости.

Тот же  tar "сверху" никто не принимал. Он сначала стал распространённым благодаря удобству (для тогдашних целей), и только как результат этого попал в стандарты.
Сейчас в стандарте POSIX фигурирует архиватор pax, но вот в чём парадокс: поддержку вроде как "родного" для него формата pax в него вроде до сих пор не запилили. В остальном же он только дублирует функционал tar и cpio, поэтому по умолчанию нигде не устанавливается. Такое вот бестолковое "продавливание" с самого, казалось бы, верха. Так что надо сначала сделать нормальную реализацию, а уже потом думать о её распространении.

P.S. Squashfs весьма неплох, надо сказать.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

70. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Пользователь Debian (?), 18-Дек-17, 17:53 
bsdtar умеет (через libarchive).

И есть ещё http://www.mirbsd.org/pax.htm (который доступен в Дебиане и дебианоидах в виде pax).

Ответить | Правка | Наверх | Cообщить модератору

78. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 19:59 
Я про него и говорил. Из pax(1):

> pax currently supports the following formats:
>     ar …
>     bcpio …
>     cpio …
>     sv4cpio …
>     sv4crc …
>     tar …
>     ustar …

Усё.

Ответить | Правка | Наверх | Cообщить модератору

112. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Вася (??), 19-Дек-17, 21:15 
> Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в
> него поддержку недостающих метаданных не должно быть сложно.

Как человек, не понаслышке знакомый с внутренностями 7z (хотя все-таки понаслышке, от хорошего знакомого, который делал распаковщик для одного проекта), могу твердо заявить, что с точки зрения программиста формат представляет собой страх и ужас. Десятки вариаций, сотни тонких моментов, все из которых нужно обрабатывать... В итоге тот парень для распаковки обошелся кучкой эвристик, но это объясняет тот факт, почему альтернативных реализаций для этого формата нет. Не только потому, что эталонная реализация - свободная.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

64. "Релиз GNU tar 1.30"  +6 +/
Сообщение от Crazy Alex (ok), 18-Дек-17, 16:24 
Ничего не заменило tar, потому что ерунда это, а не проблема. На практике 99% юзкейсов - запаковать скопом и потом так же распаковать. Никто внутрь не лезет. Для тех, кому надо - сто лет как есть 7zip, и о нём все в курсе.
Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

109. "Релиз GNU tar 1.30"  +/
Сообщение от ALex_hha (ok), 19-Дек-17, 19:28 
Да запросто, когда нужно перенести кучу jpg/png/avi, сжимать которые смысла нету, от слова совсем
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

4. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Pgor Iavlov (?), 18-Дек-17, 01:08 
я вам 7zip 18 лет назад написал, пользуйтесь, и правнукам передайте.

А "tape archiver", пожалуйста, оставьте в покое. DLT ленты по прежнему не умеют мгновенно позиционироваться. Сомневаюсь что и при ваших правнуках найдется им работоспособная замена.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

5. "Релиз GNU tar 1.30"  +3 +/
Сообщение от DiabloPC (ok), 18-Дек-17, 01:38 
Тише ты, чего расшумелся?
Ну не знают хомячки что архивация и сжатие это абсолютно разные вещи.
Нервничать то чего??
Ответить | Правка | Наверх | Cообщить модератору

15. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Онаним (?), 18-Дек-17, 04:32 
В 99% случаев это разделение не нужно. Приведите мне хоть один пример, когда tar.gz - удобнее чем 7z если представить себе, что 7zip внезапно обрёл поддержку прав доступа и ссылок и попал в базовую комплектацию всех основных дистров GNU/Linux и Unix.

Ответить | Правка | Наверх | Cообщить модератору

19. "Релиз GNU tar 1.30"  +6 +/
Сообщение от имя (?), 18-Дек-17, 04:48 
Как минимум там, где мне это нужно, я могу выкинуть .tar.gz в пользу хоть .tar.lz4, хоть .tar.zst, хоть .tar.lrz.xz. Как вы предлагаете делать это с 7z?

Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно реплицировать при помощи ssh foo tar c whatever | ssh bar tar x. Сколько ключей к 7z должен я выучить, чтобы провернуть то же самое, если я согласился представить себе, что он оказался в базе всех дистрибутивов пять-десять лет назад?

Ответить | Правка | Наверх | Cообщить модератору

21. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Онаним (?), 18-Дек-17, 05:34 
> Как минимум там, где мне это нужно, я могу выкинуть .tar.gz в
> пользу хоть .tar.lz4, хоть .tar.zst, хоть .tar.lrz.xz. Как вы предлагаете делать
> это с 7z?

7z a -t gzip/bzip2/lzma2/xz и т.п.

> Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно
> реплицировать при помощи ssh foo tar c whatever | ssh bar tar x.

Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не знаю, но это либо работает также, либо на ключик сложнее, либо можно это добавить в список недостающего функционала заодно вместе с правами и ссылками.

Смысл того, к чему я призываю в том, чтобы формат сжатых архивов позволял

1. в любом случае читать оглавление мгновенно, без обращения к самим данным
2. делать не только жесткие solid архивы, но и такие, откуда можно достать отдельный файл, не разжимая остальные, а также, желательно, добавить файл в готовый архив (независимо от того, сжатый он или нет) или удалить файл из архива (аналогично).

Ответить | Правка | Наверх | Cообщить модератору

59. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 14:41 
> Смысл того, к чему я призываю в том, чтобы формат сжатых архивов позволял
>
> 1. в любом случае читать оглавление мгновенно, без обращения к самим данным
> 2. делать не только жесткие solid архивы, но и такие, откуда можно достать отдельный файл, не разжимая остальные, а также, желательно, добавить файл в готовый архив (независимо от того, сжатый он или нет) или удалить файл из архива (аналогично).

Такие форматы есть, просто они не так часто бывают нужны. tar чаще всего используется, когда нужно передать файлы пачкой, без необходимости извлекать отдельные. Самый ходовой пример — распространение исходников ПО. Если бы был профит от использования другого формата для этой цели, на него давно бы перешли, но профита нет.
Безусловно, оглавление в некоторых случаях может быть весьма полезным, но это как правило специальные случаи, когда можно использовать что-то менее переносимое, например squashfs или специализированные форматы для бекапов (dar и К°).

Ответить | Правка | Наверх | Cообщить модератору

62. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Аноним (-), 18-Дек-17, 15:55 
>> Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно
>> реплицировать при помощи ssh foo tar c whatever | ssh bar tar x.
> Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не знаю, но это либо работает также, либо на ключик сложнее, либо можно это добавить в список недостающего функционала заодно вместе с правами и ссылками.

Не работает ни с какими ключиками. Точнее работает в том случае, когда пакуется ровно один файл. Если хочется провернуть такой фокус с помощью 7z для нескольких файлов… Догадаетесь, какой способ предлагается в man 7z?

Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

113. "Релиз GNU tar 1.30"  +/
Сообщение от Вася (??), 19-Дек-17, 21:24 
> 7z a -t gzip/bzip2/lzma2/xz и т.п.
> Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не
> знаю, но это либо работает также, либо на ключик сложнее, либо
> можно это добавить в список недостающего функционала заодно вместе с правами
> и ссылками.

Понимаешь, у тебя чисто виндовый подход: засунуть в одну утилиту все и вся. Чтоб она тебе и польку танцевала, и пирожки пекла, и ядерные отходы обезвреживала. Но мире никсов так не делают.

Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

14. "Релиз GNU tar 1.30"  –5 +/
Сообщение от Онаним (?), 18-Дек-17, 04:29 
Вот пускай бы те, кто пишет на кассеты этим и пользовались. Но нет, этим по дурацкой традиции приходится пользоваться всем линуксоидам во всех случаях, в которых под виндой люди пользуются 7Z/RAR/ZIP. Никто не торопится (сделай сам скажете? бесполезно, общество всё-равно предпочтёт традиционное) добавлять в 7zip поддержку прав доступа и ссылок и почти ни на одном сервере 7zip нет.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

34. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аномномномнимус (?), 18-Дек-17, 10:51 
Выкинь на помойку свой RAR уже. Его лет 10 как тот же 7-zip обскакал по скорости, портабельности, качеству и где-то на уровне по фичам. Только он ещё опенсорсный, бесплатный и отечественный. Божественная вещь в себе с его SDK.
Всё остальное решается лишь адекватным выбором инструмента под задачу. Хочешь хомячку архив из директории - юзай p7zip. Хочешь адекватный архив умеющий те аттрибуты, о которых ты даже не слышал, юзай gzip -J (aka gzip --xz), gzip --lzma и вообще man gzip.
Ответить | Правка | Наверх | Cообщить модератору

93. "Релиз GNU tar 1.30"  –4 +/
Сообщение от VINRARUS (ok), 19-Дек-17, 07:57 
>Выкинь на помойку свой RAR уже.

RAR не тронь!

Ответить | Правка | Наверх | Cообщить модератору

122. "Релиз GNU tar 1.30"  +/
Сообщение от . (?), 20-Дек-17, 02:53 
Да с чего бы? Даже под форточкой перешёл на 7z ...
Ответить | Правка | Наверх | Cообщить модератору

129. "Релиз GNU tar 1.30"  –2 +/
Сообщение от VINRARUS (ok), 21-Дек-17, 01:14 
> Да с чего бы? Даже под форточкой перешёл на 7z ...

WinRAR реализовал идею tar.gz под винду в виде непрерывных архивов, токо не так топорно и с дедупликацией.
А ещо WinRAR отлично подходит для архивации в фоне, не блокируя систему 100% нагрузкой на ядра (при этом по времени и по сжатию почти как LZMA2).
Да и всем известную функцию имеет, извлечение битых архивов.
WinRAR это очень продвинутая софтина, есть за шо уважать старика.

ПС: WinRAR имеет самодостаточные самораспаковывающиеся архивы с примитивным скриптовым языком, лёгкой настройкой с гуя и HTML разметку меню приветствия - отличные пакеты установки под винду.

Ответить | Правка | Наверх | Cообщить модератору

99. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Дим (?), 19-Дек-17, 11:20 
>> и отечественный

<умиление>О, да! Это несомненный плюс, прямо таки обдно из главных достоинств любого ПО<умиление/>

Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

105. "Релиз GNU tar 1.30"  +/
Сообщение от dq0s4y71 (ok), 19-Дек-17, 15:43 
> портабельности

Вот не надо! Не знаю как сейчас, но раньше он был гвоздями прибит к COM (какая нужда была?) и p7zip - это сильно доработанный напильником 7zip.

Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

55. "Релиз GNU tar 1.30"  +3 +/
Сообщение от Аноним (-), 18-Дек-17, 13:41 
С 7zip просто невозможно нормально работать в консоли. В частности потому что в пайпы он толком не может. Про наркоманские аргументы выше уже писали.
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

26. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (-), 18-Дек-17, 09:06 
>я вам 7zip 18 лет назад написал, пользуйтесь, и правнукам передайте.

Оу, а split-ом нарезать архив и гордо именовать это многотомным архивом ты тоже внукам предлагаешь в наследство оставить?

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

67. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Pgor Iavlov (?), 18-Дек-17, 16:48 
> Оу, а split-ом нарезать архив и гордо именовать это многотомным архивом ты тоже внукам
> предлагаешь в наследство оставить?

ваши внуки уже не будут помнить, зачем вы пользовались split.


  

Ответить | Правка | Наверх | Cообщить модератору

119. "Релиз GNU tar 1.30"  +/
Сообщение от . (?), 20-Дек-17, 02:45 
Да не - у них размер файла до гуглебайта всего то. Так что придётся сплитить :-)
Ответить | Правка | Наверх | Cообщить модератору

13. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (-), 18-Дек-17, 04:24 
Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

16. "Релиз GNU tar 1.30"  –4 +/
Сообщение от Онаним (?), 18-Дек-17, 04:38 
Всегда когда не нужно сохранять права доступа и ссылки делаю это через 7z по SFTP (SSH File Transfer Protocol). Параметры сжатия 7z позволяет настраивать в широких пределах, не хотите сжимать - никто не заставляет, реально мне иногда лень ждать сжатия и я просто архивирую в 7z без сжатия.
Ответить | Правка | Наверх | Cообщить модератору

40. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (-), 18-Дек-17, 11:33 
Да знаю я 7z, но мне когда надо образ рабочей системы клонировать, то нужны права доступа. Кроме того, на свой тормозной android я не могу 7z закинуть, а tar - могу. SFTP - это большие нагрузки по сравнению с FTP.
Ответить | Правка | Наверх | Cообщить модератору

45. "Релиз GNU tar 1.30"  +1 +/
Сообщение от anonymous (??), 18-Дек-17, 12:33 
netcat + tar
На исходной машине:
tar . -czf - | nc целевой_ip port
на целевой:
nc -l port | tar . -xzf[v] -

в busybox есть обе программы

Ответить | Правка | Наверх | Cообщить модератору

57. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 18-Дек-17, 13:54 
> netcat + tar

То же самое хотел написать. Наименее затратный вариант. И совершенно непотребный с точки зрения безопасности, намного хуже даже FTP. Для использования в сети из более двух машин с более чем одним пользователем — ssh + tar:

$ tar -c dir | ssh user@host tar -xf -

При желании можно добавить сжатие (-z -j или -J по вкусу, либо через пайп).
Этот пример иллюстрирует, что а) FTP не нужен (зачем поднимать отдельный сервер, выставлять его наружу, светить данными и логинами-паролями по незащищённому соединению?) и б) что никакой 7z не заменит tar не только для лент, но и для таких вот применений. Посему, дорогой мой anonimous, зря ты tar в один ряд с FTP ставишь. FTP уже наполовину засыпан в могилке, а tar будет жить ещё долго.
Ответить | Правка | Наверх | Cообщить модератору

77. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 19:57 
Это с единичным примером все хорошо, а у меня автоматизированное управление с анализом состояния системы. Там же обмен данным, backup и т.д. и это работает тоже не безусловно. Сделано все через FTP который не выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые доступны только в приватных сетях по VPN. Обмен данными множества сервисов удалось решить с помощью FTP без сложных разработок (привет JSON, XML, XHTML, ...). Но главное что все это расширяемо без ограничении и проблем и всегда с обратной совместимостью. В основе лежит тот же UNIX-way принцип файла.
Ответить | Правка | Наверх | Cообщить модератору

79. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 20:13 
> Это с единичным примером все хорошо, а у меня автоматизированное управление с
> анализом состояния системы. Там же обмен данным, backup и т.д. и
> это работает тоже не безусловно. Сделано все через FTP который не
> выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые
> доступны только в приватных сетях по VPN. Обмен данными множества сервисов
> удалось решить с помощью FTP без сложных разработок (привет JSON, XML,
> XHTML, ...). Но главное что все это расширяемо без ограничении и
> проблем и всегда с обратной совместимостью. В основе лежит тот же
> UNIX-way принцип файла.

Ну и что в приведённом мной примере не автоматизировано? Полностью неинтерактивная команда, можно вставлять в любой скрипт, и не надо городить костыли с поднятием FTP. SSH же и так на всех машинах настроен, дополнительный VPN не требуется (и аргумент про нагрузки из-за шифрования не канает, потому что избавляемся от шифрования VPN). Или скажешь, что пайпы — не юниксвейно?
Как правило, конечно, удобнее SFTP, который везде есть. А FTP и VPN — лишние сущности (в данном примере, конечно; я понимаю, что VPN для чего-то ещё может быть нужен).
В общем, зря ты своим велосипедом хвалишься. Он слишком переусложнён, хотя и использует вроде бы простой сам по себе FTP (на самом деле HTTP проще).

Ответить | Правка | Наверх | Cообщить модератору

84. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 21:28 
Зачем городить какие-то костыли с поднятием FTP если он поднимается по запросу на внутренний интерфейс? VPN тут организатор приватной сети который создает рабочую сеть. Мое решение использует уже существующий транспорт. Велосипеда тут никакого нет, есть очень простая и надежная организация хранения и обмена данными на основе FTP. Доступ в закрытой сети и защищенной сети обеспечивается FTP, авторизация сервиса осуществляется силами FTP. Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули. Расширяется элементарно - добавлением perl-модуля с определенным названием и локацией модуля, будет подгружен на старте. HTTP нафиг тут не нужен, т.к. нет смысла вытаскивать атрибуты на уровень протокола, нужен просто транспорт для передачи данных. Все остальное идет в данных и обработка этих данных идет независимая, application-сервером. Все очень просто, прозрачно и надежно как молоток.
Ответить | Правка | Наверх | Cообщить модератору

102. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 19-Дек-17, 13:29 
Где же просто? Ты используешь дополнительный сервис (как минимум FTP, если VPN уже есть) и расходуешь место на диске под временные файлы архивов, хотя можно было бы скормить их принимающей стороне через пайп.

> Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули.

Perl-модуль — это не скрипт, а скрипт — не программа, разумеется. ☺
И разумеется, модули есть только для FTP.

Не, я не хочу сказать, что ты должен кинуться всё переписывать. Раз такая система удовлетворяет твоим потребностям — замечательно. Просто не надо пропагандировать такой подход как лучший и единственно верный.

Ответить | Правка | Наверх | Cообщить модератору

110. "Релиз GNU tar 1.30"  –1 +/
Сообщение от ALex_hha (ok), 19-Дек-17, 19:37 
> SFTP - это большие нагрузки по сравнению с FTP.

я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой нить arcfour

Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

128. "Релиз GNU tar 1.30"  +/
Сообщение от openssh (?), 20-Дек-17, 17:54 
> я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой
> нить arcfour

мы мешаем, секьюрить наша всьо. Поэтому мы отломали этот ваш вредный аркфор, следом за none.
А "roaming" с ремотрутом, конечно же, оставили.

Ответить | Правка | Наверх | Cообщить модератору

23. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 05:56 
> то скажите пожалуйста мне как быстрее и менее затратно

так в этом и проблема, что у всех синдром утенка, и кроме tar ничего нет более-менее стабильного и повсеместного. Это не отменяет убогость tar в современных реалиях как general purpose архиватора. Но по факту, он так себе, на троечку. Главное его достоинство не технологичность и не технические преимущества, а широкое распространение и то, что туда не дотянулись руки очередного "поттера", т.е. совместимость и стабильность.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

38. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 11:29 
Огласите пожалуйста минусы tar. У cpio я знаю проблемы, у tar - нет.
Ответить | Правка | Наверх | Cообщить модератору

41. "Релиз GNU tar 1.30"  +/
Сообщение от Greg KH (?), 18-Дек-17, 11:42 
> Огласите пожалуйста минусы tar.

Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным. Это просто блокирующий минус. Когда у тебя сотня гигов в архиве можешь вешаться. А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.

Помножим это на любимый всеми .gz, который не дает узнать размер исходных данных, и получим просто патовую ситауцию: 100 GB tar.gz, листинг которого строится уже 12 часов, шурша всеми возможным шпинделями , распаковка которорого на 3TB-ый том в первый раз закончилась неудачей из-за заполнения тома целиком.

Остальное вкусовщина и особенности реализации. Например, хочется итерации по каждому файлу в архиве, что бы с его данными что-то сделать (хотя бы прочитать), но без двойной пробежки. Например, в случае, если мы сжимаем или другим образом обрабатываем (eg шифруем) каждый файл по-отдельности, прозрачно для пользователя.

Ответить | Правка | Наверх | Cообщить модератору

47. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 12:42 
> Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным.

Вообще-то, это зависит от реализации. pixz, например, умеет создавать индекс.

Ответить | Правка | Наверх | Cообщить модератору

49. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 12:55 
squashfs тоже умеет. Но это совсем другой формат, к тому же прибито к компрессору xz. А речь про повсеместный стандарт. pixz, к сожалению, взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.
Ответить | Правка | Наверх | Cообщить модератору

51. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (-), 18-Дек-17, 13:16 
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz. А речь про повсеместный стандарт.

tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.

> pixz, к сожалению,
> взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html
> Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.

Хотите надежность при долговременном хранении - выбирайте другой формат и храните рядом контрольные суммы. Используйте файловые системы, обеспечивающие коррекцию ошибок и дублирование. А для повседневного использования xz вполне себе подходит.

Ответить | Правка | Наверх | Cообщить модератору

53. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Greg KH (?), 18-Дек-17, 13:37 
>tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.

А, это точно, ведь tar-у хвост не нужен. Согласен, юзабельно, вот такое можно рекомендовать.

> выбирайте другой формат
> А для повседневного использования xz вполне себе подходит.

ну это немного неудобно. Ведь проблемы известны, надо избегать проблемных форматов. А не в 100й раз выбрать другой формат, когда нет объективных препятствий иметь универсальный. Но это оффтоп

Ответить | Правка | Наверх | Cообщить модератору

58. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 18-Дек-17, 13:58 
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz.

См. mksquashfs(1):
>  -comp COMPRESSION
>           select COMPRESSION compression. Compressors available: gzip (default), lzo, xz.

Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

76. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 19:40 
аноним, "Но [pixz] это совсем другой формат, к тому же прибито к компрессору xz" - вот что я имел ввиду.

Про squashfs вопросов нет. Довольно самодостаточный формат, но, к сожалению, не очень универсальный, инструментов не хватает

Ответить | Правка | Наверх | Cообщить модератору

61. "Релиз GNU tar 1.30"  +/
Сообщение от PnDx (ok), 18-Дек-17, 15:06 
Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для таких вот случаев?
А tar (а местами так вообще cpio) оставить как универсальный транспорт "из точки А в точку Б" (ну и для ленточек, для которых его и задумывали)?
Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

63. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 16:02 
> Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для
> таких вот случаев?

Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs — да, весьма годный архиватор общего назначения.

Ответить | Правка | Наверх | Cообщить модератору

68. "Релиз GNU tar 1.30"  –2 +/
Сообщение от PnDx (ok), 18-Дек-17, 17:06 
> Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs —
> да, весьма годный архиватор общего назначения.

  Ну, тогда удачи "поменять в архиве (3 ТБ) вот тот файлик и потом отдать изменённый архив".
Последние 2 в-ва спроектированы с целью расширять ваше сознание в т.ч. на данный случай ;) А нужно ли ими упарываться — личное дело каждого психо^W инженера.

Ответить | Правка | Наверх | Cообщить модератору

71. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 18:00 
Ну да, есть оговорки в плане области применения. Там, где нужно менять файлы, надо что-то другое. А на случай, когда один раз делаешь архив и потом им пользуешься в неизменном виде, — самое то.
Ответить | Правка | Наверх | Cообщить модератору

80. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 20:33 
> А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.

Зависит от количества файлов, мы же про tar, не про tar.gz? Для распаковки одного файла не обязательно читать весь tar файл целиком, он может прыгать seek'ом по заголовкам файлов пропуская их содержимое.

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

127. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 20-Дек-17, 17:09 
> Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?

rsync ?

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

20. "Релиз GNU tar 1.30"  +2 +/
Сообщение от бедный буратино (ok), 18-Дек-17, 04:55 
>  Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку истории и заменят чем-то человеческим

Я тоже жду такого в отношении местных Онанимов

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

22. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Greg KH (?), 18-Дек-17, 05:38 
Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

36. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Аноним (-), 18-Дек-17, 11:09 
> Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html

Да, на duplicity стоит обратить внимание.
И про замену tar хорошие мысли, но, когда будет реализация?

Ответить | Правка | Наверх | Cообщить модератору

52. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Andrey Mitrofanov (?), 18-Дек-17, 13:35 
>> Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html
> Да, на duplicity стоит обратить внимание.
> И про замену tar хорошие мысли, но, когда будет реализация?

Согласен. Всё го???но, пусть уже делают мене хорошоу, бездельники. ><XXX>

Ответить | Правка | Наверх | Cообщить модератору

33. "Релиз GNU tar 1.30"  +5 +/
Сообщение от Sfinx (ok), 18-Дек-17, 10:46 
хе-хе, видать ты еще не вкурсе, что есть еще (и долго еще будет) cpio. я бы не доверил архивацию м ашин 7zip или еще какой херне пришежшей из мира msdos. просвети-ка, как 7zip обрабатывает жесткие ссылки, файлы устройств, unix pipes ? что он знает, к примеру, о примонтированных файловых системах, а ? вот к tar'у в этом плане вопросов нет.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

100. "Релиз GNU tar 1.30"  –2 +/
Сообщение от Дим (?), 19-Дек-17, 11:26 
> Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку
> истории и заменят чем-то человеческим, что не нужно распаковывать целиком чтобы
> считать оглавление (например чем-то типа 7z с добавлением поддержки информации о
> правах доступа и ссылок). Надеюсь хоть правнукам не придётся использовать это
> древнее зло.

И это реально такая большая проблемма чтобы ждать ее решения всю жизнь? Чувак, ну ты там это, держись там, всего хорошего тебе -досвидания!

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру