The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск утилиты для резервного копирования rclone 1.59

10.07.2022 09:47

Опубликован выпуск утилиты rclone 1.59, которая представляет собой аналог rsync, предназначенный для копирования и синхронизации данных между локальной системой и различными облачными хранилищами, такими как Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, OneDrive, Swift, Hubic, Cloudfiles, Google Cloud Storage, Mail.ru Cloud и Яндекс.Диск. Код проекта написан на языке Go и распространяется под лицензией MIT.

В новом выпуске:

  • Добавлены бэкенды для хранения резервных копий в хранилищах Combine, Hidrive, Internet Archive, ArvanCloud AOS, Cloudflare R2, Huawei OBS и IDrive e2.
  • Добавлена команда "rclone test makefile" для создания файлов для тестирования сборки.
  • Добавлен инструментарий для сохранения при копировании файлов расширенных метаданных, специфичных для разных бэкендов хранения. Извлечение метаданных пока реализовано только для бэкендов local, s3 и internetarchive.
  • В фильтрах разрешено указание нескольких флагов "--exclude-if-present".
  • В команду check добавлены опции "--no-traverse" и "--no-unicode-normalization".
  • Минимальная версия компилятора Go, необходимая для сборки, повышена до 1.16.


  1. Главная ссылка к новости (https://forum.rclone.org/t/rcl...)
  2. OpenNews: Выпуск утилиты для синхронизации файлов Rsync 3.2.4
  3. OpenNews: Релиз системы резервного копирования fsbackup 1.2pl2
  4. OpenNews: Доступен GNU Anastasis, инструментарий для резервного копирования ключей шифрования
  5. OpenNews: Выпуск утилиты для резервного копирования rclone 1.58
  6. OpenNews: Доступна система резервного копирования restic 0.13
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/57482-rclone
Ключевые слова: rclone, backup, rsync
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (56) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 10:03, 10/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –11 +/
    А чем rsync не устроил, если те же облака замонтировать как разделы?
    Rclone нарушает unix-way
     
     
  • 2.2, Аноним (2), 10:27, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А если облако невозможно замонтировать?
     
  • 2.3, Stanislavvv (?), 10:31, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Как смонтировать яндекс.диск так, чтобы аплоадить файлы по несколько десятков мегабайт без боли и проприетарщины?
     
     
  • 3.4, knike (?), 10:35, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    webdav же
     
     
  • 4.5, Аналним (?), 10:48, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ждем гайд
     
  • 4.6, Виктор Гогю (?), 10:52, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    У Яндекса нет WebDav, они его давно убрали
     
     
  • 5.7, EuPhobos (ok), 10:53, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    https://yandex.ru/dev/disk/webdav/
     
     
  • 6.11, Container memory (?), 11:45, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Сразу видно человека который рассуждает о том, чем не пользуется.
    Яндекс несколько лет назад ограничили скорость по webdav до нескольких десятых мегабайтов в секунду. Можно ли это назвать "не отключили"? Ну может быть, если тебе нравится аплоадить файлы в 10 мегабайт за сутки.
     
     
  • 7.20, жявамэн (ok), 12:31, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Они и на платных тарифах вебдав урезали псы.
    Потому только майлру. Для заливки зашифрованых бацкупов
     
  • 7.34, Аноним (-), 13:34, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вроде и на г диске также я лет 3-5 назад загрузил как тест на их диск 2гб с скортью 100 мбит за пару минут и скачал за паруминут видимо им поплохело и быльше 100 я не увидел. Я г диском не пользуюсь для файлов, но почта в размер диска вхит письма. Перепроверять надо давно было и я проверяял пару раз один раз 100 и через пару дней ещё раз уже неприемлемо было низкая скорость. Больше на использовал диск как загрузил, скачал файлы. Оно и понятно некакх хранилищ не хватит если всем и на большой скорости дать использовать.
     
     
  • 8.36, Аноним (-), 13:36, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    вхит - входит... текст свёрнут, показать
     
     
  • 9.57, Аноним (-), 16:10, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я думаю ты не прав вхит - это не входит, а выходит ... текст свёрнут, показать
     
     
  • 10.62, Онаним (?), 17:15, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вхит - это втоп ... текст свёрнут, показать
     
  • 7.67, Михрютка (ok), 19:21, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    коллеги, это одному мне кажется, что вообще пользоваться облачными сервисами яндекса - это приблизительно как хостить видео на рутубе?
     
     
  • 8.71, Аноним (71), 19:25, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Рутуб, ютуб, гугель, яндекс - сорта этогосамого ... текст свёрнут, показать
     
     
  • 9.74, Михрютка (ok), 19:38, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –5 +/
    ну некоторые почему-то думают, что если этосамое свое, родное - то оно и не пахн... текст свёрнут, показать
     
  • 7.75, Аноним (75), 20:00, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, урезали скорость - это, видимо, позже. Это ещё нормально. А перед этим, они попросту сломали протокол. Типа "WebDav" работал только с их закрытым клиентом, а открытые решения зависали по таймаутам.
     
  • 3.14, Аноним (14), 12:09, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Никак. И rclone в этом не поможет.
     
  • 2.10, Аноним (10), 11:19, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Тогда пользуйся рсинком и наслаждайся своим юниксвеем, вантузятник.
     
  • 2.22, freehck (ok), 12:33, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +27 +/
    > Rclone нарушает unix-way

    Не нарушает. В rsync нет нативного бэкенда для синхронизации с S3, а rclone именно под него заточен.

    > А чем rsync не устроил, если те же облака замонтировать как разделы?

    Суть не в rsync, а скорее в том, что s3 нельзя представить в виде полноценной файловой системы. В частности, вы не можете записать или прочитать файл частично. Потому можете забыть про флаг -no-W, например: передача дельт работать не будет. А она кстати включена по умолчанию, когда источник с таргетом у rsync-а локальные. И когда вы монтируете, у вас все пути именно такими и будут: rsync-у не ведомо, что по одному из путей -- сетевая фс.

    Плюс к тому, если вы смонтируете s3-бакет и попытаетесь с ним работать при помощи rsync, всплывёт куча удивляющих вещей. Например, многие не знают, что при синхронизации файла rsync по умолчанию создаёт part-файл, куда и ведёт загрузку новой версии, а когда завершит, перемещает part-файл по целевому пути. В случае с s3 это приведёт к двум загрузкам одного и того же файла (и ещё, кажется, одной выгрузке).

    И это ещё не все нюансы. Оно конечно всё фиксится флагами rsync-а, но их целая куча, и их ещё пойди подбери, плюс тебе ещё надо монтировать s3fs через fuse... Очень много телодвижений, прям беда: за всем этим нужно следить, и ошибиться проще некуда. А rclone взял, указал источник с таргетом -- и всё. В общем, специализированный инструмент тут как раз надёжнее. К тому же он неплохо параллелится.

    А облачный s3 штука нужная и востребованная, так что никуда от него не деться: это же фактически бесконечное хранилище, где вы платите только за занятое место. Плюс к тому, есть очень много кейсов, когда функции ФС в полной мере не нужны: любое хранилище артефактов например. Вам нужно много места, вам нужно туда загружать файлы целиком, и точно также выгружать их оттуда целиком. Собственно, s3 для того и создавался.

    PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".

     
     
  • 3.49, Ононимдва (?), 15:14, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Хоспидяй, адекватный чувак на опеннете, которому не влом все по полочкам разложить.
    Респект и уважуха. (без сарказма)
     
     
  • 4.52, Аноним (52), 16:04, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Он просто притворяется, а на самом деле он такой же как и все тут.  
     
     
  • 5.79, Аноним (79), 03:36, 11/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати да, довольно часто троллит людей, на личности переходит и т.п. Но бывают и хорошие посты, вот как этот.
     
  • 3.60, Онаним (?), 17:13, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    "это же фактически бесконечное хранилище"
    Законы физики немножечко против.
     
  • 3.76, Михрютка (ok), 20:06, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".

    тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.

    это приблизительно как на нетаппах вафельных серий разворачивать vmfs. не, оно будет работать. но будет работать так плохо и так печально...

     
     
  • 4.88, Аноним (71), 12:21, 12/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.

    Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх объектного хранилища.

     
     
  • 5.90, Михрютка (ok), 21:22, 12/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >> тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.
    > Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх
    > объектного хранилища.

    на проксмоксовых форумах им ето говорит практически любой, кто сдуру задеплоился на ceph-based хранилище.

    и про скорости записи, и про латентность.

    толку-то.

    я вообще старый пень, как только в разговорах с заказчиком слышу "мы планируем использовать ceph хранилище" или "необходима поддержка ceph хранилища", сразу быстренько извиняюсь и заканчиваю разговор.

     
  • 3.78, microsoft (?), 23:09, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ууух, s3 хорошо тебе промыли голову.
     
  • 3.81, анонимз (?), 07:40, 11/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    "А облачный s3 штука нужная и востребованная, так что никуда от него не деться" именно. хотя Amazon намного большее зло чем Microsoft, но избавиться от них труднее
     
     
  • 4.82, 1 (??), 10:32, 11/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Чем больше зло - тем труднее избавляться
     
  • 2.28, Аноним (28), 13:00, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А чем casync не устроил, если те же облака замонтировать как разделы?
    Rsync нарушает unix-way
     
  • 2.37, Онаним (?), 14:03, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –6 +/
    Ну оно же на игогошечке.
    Штобыбыло, почесать чсв, наспех склеив 100500 лефтпадов.
     
     
  • 3.40, Аноним (71), 14:22, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Кстати, а вы Java от JavaScript отличаете?
     
     
  • 4.46, Аноним (1), 14:33, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А в чем разница? И там и там интерпретируемые языки. И там и там репозиторий вредоносных пакетов. И там и там пишут монкей
     
     
  • 5.56, Аноним (56), 16:09, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +6 +/
    На Java пишут interprise monkeys
     
     
  • 6.80, Аноним (79), 03:39, 11/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А interprise - это типа международный приз?
     
  • 4.59, Онаним (?), 17:09, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А вы Java от ECMAScript?
     
     
  • 5.65, Аноним (71), 19:18, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Остроумно, интеллектуально. Хвалю.
     
  • 2.91, pfg21 (ok), 23:50, 12/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    rclone работает напрямую с облаком и к примеру может запросить хеш файла из облака в том формате который используется в облаке и сравнить его с посчитанным хешом локального файла.  
    рсинк для подсчета хеша файла, должен его будет полностью скачать и посчитать хеш.
     

  • 1.8, pashev.ru (?), 11:02, 10/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    rdiff-backup и зашифрованный диск — мой выбор.
     
     
  • 2.16, Аноним (16), 12:16, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Бэкапилка на питоне - может проще сразу сделать dd из /dev/urandom?
     
     
  • 3.47, Аноним (1), 14:37, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Хорошо хоть не на джава со встроенным лефтпадом
     
     
  • 4.68, Аноним (71), 19:21, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А лефтпад разве не эксклюзивно сишная фича?
     
  • 2.35, Аноним (35), 13:35, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Видимо и быстрее и надежнее будет попробовать zfs send/receive с шифрованными датасетами
     

  • 1.12, Аноним (12), 11:59, 10/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    >> Добавлены бэкенды для хранения

    Ясно понятно добавили новые бекдоры.  

     
     
  • 2.19, Аноним (-), 12:22, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А ты чем пользуешься? CTRL-C, CTRL-V? :D
     
     
  • 3.24, Аноним (24), 12:36, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А ты пользуешься новыми бекдорами?
     

  • 1.27, Shevchuk (ok), 12:42, 10/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Годно, нужно.
    В комментах опять половина теоретики и луддиты, рукалицо.
     
     
  • 2.43, Аноним (71), 14:28, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Просто далёкие от IT люди, который однажды поставили Void на виртуалку вмвари под виндой и теперь дофига одмины-линуксоиды :)
     
  • 2.50, Аноним (50), 15:17, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А ты используешь надёжное шифрование перед заливкой данных дяде в "облака"? Если нет - то ты в сто раз хуже этих "теоретиков и луддитов".
     
     
  • 3.55, Аноним (52), 16:07, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Да это очередной комментатор из разряда. У меня нет антивируса, значит нет вируса. Ни один майор ко мне не приходил, значит мои данные в корповом облаке полностью защищены.  

    Как вообще перестать с таких орать?

     
     
  • 4.89, Аноним (71), 12:26, 12/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А как перестать орать с админов мамкиного борща, у которых единственное возможное использование rclone - заливать супер-секретные фоточки своих котиков к дяде в облако?

    У взрослых дядек собственные s3-совместимых хранилища (minio или ceph) используются для серьезных задач — хранить загружаемый контент, WAL-ы для БД, логи (boltdb-shipper).
    И чтобы бэкапить оттуда данные на обычную дисковую полку — rclone подходит отлично.

     
  • 3.77, Аноним (77), 21:31, 10/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В rclone всё замечательно шифрует.
     
  • 3.84, Вы забыли заполнить поле Name (?), 18:19, 11/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А ты не используешь надёжное шифрование для локальных данных?
     

  • 1.83, Аноним (83), 18:00, 11/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Чем оно лучше borg или restic?
     
     
  • 2.85, Alex (??), 23:38, 11/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это бэкенд к сервисам, а restic - это типа Git для бэкапов. Сам пестик всего что Rclone умеет сам не может, но может через Rclone. А Rclone только создавать и удалять в клубах может, версионность не может.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2022 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру