The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Бекап фалов с переносом на сторонний сервер?"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Программирование под UNIX (Public)
Изначальное сообщение [ Отслеживать ]

"Бекап фалов с переносом на сторонний сервер?"  
Сообщение от galo4kin (ok) on 19-Фев-09, 13:44 
Есть задача сделать backup файлов с одного сервера на сторонний и запускать данный скрипт по крону. Стандартное архивирование в tar с последующим аплоадом не подойдет - просто напросто нет места для хранения файлов.
1. Рекурсивно пройти указанный скрипту каталог на сервере А и скопировать все файлы в указанный каталог на сервер В.
2. Через неделю (напр.) провести процедуру еще раз, НО с проверкой на изменение файлов - если файл изменен (или неделю назад его небыло), то заменить (или скопировать) данный файл на сервер B.

Прошу помочь в реализации знающих людей, т.к. попытки написать самому не увенчались успехом.
Спасибо заранее.

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от angra (ok) on 19-Фев-09, 13:46 
man rsync
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от galo4kin (ok) on 19-Фев-09, 14:02 
>man rsync

К сожалению rsync пользовать не удается возможным:
"Обратите внимание, что rsync должна быть установлена на обоих хостах, которые вовлечены в операцию копирования."
А на удаленном сервере его нет, как нет и доступа по ssh.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от NuINu (??) on 19-Фев-09, 14:16 
>>man rsync
>
>К сожалению rsync пользовать не удается возможным:
>"Обратите внимание, что rsync должна быть установлена на обоих хостах, которые вовлечены
>в операцию копирования."
>А на удаленном сервере его нет, как нет и доступа по ssh.
>

а что есть?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от galo4kin (ok) on 19-Фев-09, 14:25 
>>>man rsync
>>
>>К сожалению rsync пользовать не удается возможным:
>>"Обратите внимание, что rsync должна быть установлена на обоих хостах, которые вовлечены
>>в операцию копирования."
>>А на удаленном сервере его нет, как нет и доступа по ssh.
>>
>
>а что есть?

есть доступ по ftp и http.
Сейчас думаем как запустить рекурсию с условием проверки файлов на наличие и дату изменения. Что то типа:
1. ls -ls | grep | $file1
2. curl | grep | $file2
3. if $file1 != $file2 then..

Простите за малые знания.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от Arpo email(ok) on 19-Фев-09, 14:48 
>[оверквотинг удален]
>>а что есть?
>
>есть доступ по ftp и http.
>Сейчас думаем как запустить рекурсию с условием проверки файлов на наличие и
>дату изменения. Что то типа:
>1. ls -ls | grep | $file1
>2. curl | grep | $file2
>3. if $file1 != $file2 then..
>
>Простите за малые знания.

Может это ??
http://www.awk-scripting.de/cgi-bin/wiki.cgi/scripting/FtpSync

или погуглить так??

http://www.google.ru/search?hl=ru&q=rsync+via+ftp&btnG=%...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от angra (ok) on 19-Фев-09, 14:49 
Ну тогда mirror
Description: keeps FTP archives up-to-date
Mirror uses the FTP protocol to locally duplicate remote host files and
directories selected with Perl regular expressions.  By default transfers
only files missing locally or whose remote sizes or time-stamps have changed.
Can reduce directory download using compressed listings in ls-lR.gz files
or further using compressed differences of daily listings in ls-lR.patch.gz
files.  Can read mirrored Packages.gz files and mirror just their specified
fraction of Debian from pool/.  Amongst many flexible options it can gzip
and split files.  Tracks large distant FTP archives accurately with low
download volume.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от Guest (??) on 19-Фев-09, 23:18 
>man rsync

Про rsync недавно пролетала история - файлы грохнулись, а rsync заботливо взял и удалил бэкап. Это к тому что головой надо думать и понимать разницу между бэкапом и синхронизацией.

Вообще для бэкапа есть amanda, но если все так плохо, что нет ни места, ни доступа на бэкап-сервер, напишите простенький скрипт:

# сохраняем старый список
if [ -e list ]; then
  mv list list.old
fi

# создаем новый список
find -s ${DIR}-type f -exec ls -l \; > list

# tar'им только изменившиеся/добавившиеся файлы и закачиваем на сервер
diff --suppress-common-lines list.old list | grep '^>' | sed -ne '/^>/ p' | cut -b 50- | xargs tar cfz - | curl -T - ftp://backup/backup.`date`

Это как минимум не поддерживает файлы с пробелами в именах, никак не сохраняет факт удаления файлов и сломается если файлов будет много(из-за ограничения на число аргументов tar), так что допиливайте на свое усмотрение.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от angra (ok) on 20-Фев-09, 12:51 
>Про rsync недавно пролетала история - файлы грохнулись, а rsync заботливо взял
>и удалил бэкап. Это к тому что головой надо думать и
>понимать разницу между бэкапом и синхронизацией.

Вообще-то это к тому, что некоторым идиотам надо читать man rsync, а не слепо копировать ключи со статеек в инете. Так что, как обычно виновата не программа(rsync), а прокладка между креслом и клавиатурой.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от galo4kin (ok) on 20-Фев-09, 13:00 
>обычно виновата не программа(rsync), а прокладка между креслом и клавиатурой.

А у вас она какая?!
В целом проблема так и не решена. Сейчас нашли вариант исполнения на perl - разбираемся.
Спасибо всем за ответы и дискуссию.
Как найдется полное решение постараюсь выложить для общего пользования.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от angra (ok) on 20-Фев-09, 13:19 
>А у вас она какая?!

Без ложной скромности достаточно интеллектуальная дабы не допускать таких дурацких ошибок и самое главное не винить в своих ошибках программу.
>В целом проблема так и не решена. Сейчас нашли вариант исполнения на perl - разбираемся

Таки не смогли прочитать man mirror?
>Как найдется полное решение постараюсь выложить для общего пользования.

Не стоит, пишется с нуля за 10-20 минут под требуемые условия. Адаптация существующего может занять больше времени.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Бекап фалов с переносом на сторонний сервер?"  
Сообщение от vic (??) on 20-Фев-09, 02:10 
>[оверквотинг удален]
>не подойдет - просто напросто нет места для хранения файлов.
>1. Рекурсивно пройти указанный скрипту каталог на сервере А и скопировать все
>файлы в указанный каталог на сервер В.
>2. Через неделю (напр.) провести процедуру еще раз, НО с проверкой на
>изменение файлов - если файл изменен (или неделю назад его небыло),
>то заменить (или скопировать) данный файл на сервер B.
>
>Прошу помочь в реализации знающих людей, т.к. попытки написать самому не увенчались
>успехом.
>Спасибо заранее.

Это называется инкрементный backup, об этом люди подумали очень давно (еще во времена ленточных бэкапов), в том же tar не зря есть ключ --incremental. Гуглите на эту тему и будет вам счастье.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру