The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Как реализовать копирование отдельных файлов через снапшоты?"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Резервное копирование / Linux)
Изначальное сообщение [ Отслеживать ]

"Как реализовать копирование отдельных файлов через снапшоты?"  +/
Сообщение от nulltime (ok) on 08-Дек-10, 16:10 
Доброго времени суток!
Если ошибся темой, извините, но это самое близкое, что я нашел.
В связи с Концепцией Всеобщей Секурности на меня свалилась задача сделать прозрачное и незаметное копирование изменяемых файлов налету на сервере связи с контрагентами:
Есть сервер, на него работники и внешние контрагенты выкладывают файлы для обмена. Файлы должны автоматически копироваться в скрытый раздел "для отчетности".
Порешили что копирование должно начинаться в момент закрытия файла, ранее открытого на запись. Плюс к этому, если файл был удален сразу после закрытия, то его копия тоже должна быть сохранена. Если файл был записан, изменен и снова закрыт - должны быть сохранены обе версии файла.
Задача разделяется на две - отслеживание события закрытия файла, ранее открытого на запись, и возможность сделать снимок файла.
Первую задачу я думал решить через incron+скрипты, а со снапшотом возникли проблемы: мне думается, что снапшот должен создаваться при каждом событии окончания записи, затем снапшот и имя файла передаются скрипту, который производит копирование и после удаляет снапшот. Решение через LVM мне не понравилось - оно заметно тормозит дисковые операции и при ситуации, когда один крупный файл насколько раз меняется, приводит  к накоплению снапшотов и полной деградации сервера и сервиса. Могут ли уважаемые Гуру подсказать другой способ получения снапшотов? Может ФС с поддержкой снапшотов? Или ФС с сохранением версий файлов? Я не совсем понял технологию Copy-on Write в контексте ФС и в каких ФС она есть. Может подскажете как можно ее можно использовать для решения?
Предположительно, операционка будет CentOS 5.5, но это не принципиально, просто она неплохо дружит с драйверами НР DL360 от разработчика.
Заранее спасибо!
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Как реализовать копирование отдельных файлов через снапшоты?"  +/
Сообщение от senimore (ok) on 08-Дек-10, 17:26 
>[оверквотинг удален]
> заметно тормозит дисковые операции и при ситуации, когда один крупный файл
> насколько раз меняется, приводит  к накоплению снапшотов и полной деградации
> сервера и сервиса. Могут ли уважаемые Гуру подсказать другой способ получения
> снапшотов? Может ФС с поддержкой снапшотов? Или ФС с сохранением версий
> файлов? Я не совсем понял технологию Copy-on Write в контексте ФС
> и в каких ФС она есть. Может подскажете как можно ее
> можно использовать для решения?
> Предположительно, операционка будет CentOS 5.5, но это не принципиально, просто она неплохо
> дружит с драйверами НР DL360 от разработчика.
> Заранее спасибо!

А DMS (http://en.wikipedia.org/wiki/Document_management_system) вам не подойдет? Их много всяких есть(http://sourceforge.net/search/?words=Document+Management+Sys...)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Как реализовать копирование отдельных файлов через снапшоты?"  +/
Сообщение от nulltime (ok) on 08-Дек-10, 18:06 
> А DMS (http://en.wikipedia.org/wiki/Document_management_system) вам не подойдет? Их
> много всяких есть(http://sourceforge.net/search/?words=Document+Management+Sys...)

Нее, надо, чтоб крякала ка утка, ходила как утка(FTP или NFS) но, с копированием :о)


Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Как реализовать копирование отдельных файлов через снапшоты?"  +/
Сообщение от sage444 (ok) on 08-Дек-10, 17:33 
>[оверквотинг удален]
> заметно тормозит дисковые операции и при ситуации, когда один крупный файл
> насколько раз меняется, приводит  к накоплению снапшотов и полной деградации
> сервера и сервиса. Могут ли уважаемые Гуру подсказать другой способ получения
> снапшотов? Может ФС с поддержкой снапшотов? Или ФС с сохранением версий
> файлов? Я не совсем понял технологию Copy-on Write в контексте ФС
> и в каких ФС она есть. Может подскажете как можно ее
> можно использовать для решения?
> Предположительно, операционка будет CentOS 5.5, но это не принципиально, просто она неплохо
> дружит с драйверами НР DL360 от разработчика.
> Заранее спасибо!

ZFS (solaris, freebsd) может делать снапшоты паравда сразу целого "раздела" но размер у них очень правильный ;)
если вы можете отловить момент закрытия файла то сделать снапшот несложно.
только вот при даже небольшой нагрузке у вас будет очень много снапшотов и нужно еще продумать как в них потом не потеряться ну и систему зачистки старых

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Как реализовать копирование отдельных файлов через снапшоты?"  +/
Сообщение от nulltime (ok) on 08-Дек-10, 18:13 
> ZFS (solaris, freebsd) может делать снапшоты паравда сразу целого "раздела" но размер
> у них очень правильный ;)
> если вы можете отловить момент закрытия файла то сделать снапшот несложно.
> только вот при даже небольшой нагрузке у вас будет очень много снапшотов
> и нужно еще продумать как в них потом не потеряться ну
> и систему зачистки старых

Я сразу подумал про ZFS, просто с Линуксом лучше знаком, а Солярку без поддержки ставить не хочется. Насчет накопления  - не знаю, надо пробовать. Просто люди будут лить по FTP, а система копировать по FibreChannel. По поводу самого обменника склоняемся к ФТП а на нем и скорость можно притормозить. Насчет зачистки - я думал, что копирующий скрипт будет и уничтожать снапшот после копирования. Плюс структура var файлов и скрипт раз в 5 минут чистящий все то что потеряли.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Как реализовать копирование отдельных файлов через снапшоты?"  +/
Сообщение от pavel_simple (ok) on 08-Дек-10, 17:46 
nilfs
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Как реализовать копирование отдельных файлов через снапшоты?"  +/
Сообщение от nulltime (ok) on 08-Дек-10, 18:14 
> nilfs

Спасибо, посмотрю

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру