The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Аналоги Google File System?"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Информационная безопасность (Public)
Изначальное сообщение [ Отслеживать ]

"Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 21-Янв-10, 09:49 
Приветствую,

Не подскажите бесплатные и доступные аналоги Google File System? Стоит задача найти решение с файловой системой, которая работает наподобие RAID1, только over network. То есть, к примеру есть 3 сервера на которых есть одинаковые разделы с такой файловой системой, и при записи на любом из серверов на такой раздел все данные реплицируются-дублируются на все сервера которые сконфигурированы в группу этой файловой системы. Тобишь если один из серверов выходит из строя, мы все данные имеем на других серверах, как только добавляется или заменяется сервер в этой группе на нем также появляются все данные, которые пока на других серверах.

Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный вебсайт, у каждого веб сайта своя БД), но директория с базами данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х серверах. Так при записи в БД на любом из серверов, эта БД дублируется со всеми остальными серверами. Таким образом, при сбое одного из серверов мы не теряем данные. Как только мы меням полетевший сервер и настраиваем на нем эту ФС, все данные MySQL появляются сразу и на этом сервере.

Не подходят варианты с мастер серверами. Основная задача как я и написал придерживаться технологии Google FS.

Все серверы соеденены в очень быструю сеть.

Спасибо.

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Аналоги Google File System?"  +/
Сообщение от Michael (??) on 21-Янв-10, 10:04 
>
>Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис
>MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный
>вебсайт, у каждого веб сайта своя БД), но директория с базами
>данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х
>серверах. Так при записи в БД на любом из серверов, эта
>БД дублируется со всеми остальными серверами. Таким образом, при сбое одного
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.

это невозможно - писать в один каталог тремя демонами mysql одновременно. как вы себе это вообще представляете?


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 21-Янв-10, 10:07 
>[оверквотинг удален]
>>вебсайт, у каждого веб сайта своя БД), но директория с базами
>>данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х
>>серверах. Так при записи в БД на любом из серверов, эта
>>БД дублируется со всеми остальными серверами. Таким образом, при сбое одного
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>
>это невозможно - писать в один каталог тремя демонами mysql одновременно. как
>вы себе это вообще представляете?

Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался с такими решениями или слышал о них.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Аналоги Google File System?"  +/
Сообщение от Michael (??) on 21-Янв-10, 10:25 

>Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался
>с такими решениями или слышал о них.

в таком случае, если найдете - просвятите сообщество

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 21-Янв-10, 10:41 
>
>>Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался
>>с такими решениями или слышал о них.
>
>в таком случае, если найдете - просвятите сообщество

Вот нарыл довольно интересное решение, по описание вроде как то, что нужно
http://www.furquim.org/chironfs/index.en.html

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Аналоги Google File System?"  +1 +/
Сообщение от Digen on 21-Янв-10, 10:04 
Посмотрите вот этот проeкт: http://hadoop.apache.org/
Hadoop вышел из Open Source проeкта Googel File System.

>[оверквотинг удален]
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.
>
>Не подходят варианты с мастер серверами. Основная задача как я и написал
>придерживаться технологии Google FS.
>
>Все серверы соеденены в очень быструю сеть.
>
>Спасибо.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Аналоги Google File System?"  +/
Сообщение от another anonymous on 21-Янв-10, 10:06 
glusterfs ?


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 21-Янв-10, 10:43 
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо.

Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 21-Янв-10, 10:43 
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо.

Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Аналоги Google File System?"  +/
Сообщение от alexrn (ok) on 04-Фев-10, 19:53 
>[оверквотинг удален]
>>из серверов мы не теряем данные. Как только мы меням полетевший
>>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>>сразу и на этом сервере.
>>
>>Не подходят варианты с мастер серверами. Основная задача как я и написал
>>придерживаться технологии Google FS.
>>
>>Все серверы соеденены в очень быструю сеть.
>>
>>Спасибо.

На сколько я понял вся работа с этой системой происходит посредством API самой ФС, а не напрямую.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Аналоги Google File System?"  +/
Сообщение от semen (??) on 21-Янв-10, 12:19 
а не проще ли настроить репликацию?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 21-Янв-10, 12:43 
>а не проще ли настроить репликацию?

Не подскажите каким образом? Используемые ОС CentOS 5.x, проще говоря Linux.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Аналоги Google File System?"  +/
Сообщение от Andrey Mitrofanov on 21-Янв-10, 13:06 
Если Вас отключили от гугля, наберите

репликация mysql

в своём любимом поисковике?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 21-Янв-10, 13:08 
>Если Вас отключили от гугля, наберите
>
>репликация mysql
>
>в своём любимом поисковике?

А, понятно :). Но это просто для MySQL. А если мне к примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов не терять всей этой информации?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Аналоги Google File System?"  +/
Сообщение от Michael (??) on 21-Янв-10, 15:48 

>примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые
>ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов
>не терять всей этой информации?

rsync

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Аналоги Google File System?"  +/
Сообщение от shutdown now on 26-Янв-10, 21:50 
http://www.trivadis.com/uploads/tx_cabagdownloadarea/DRBDArt... - попробуй, потом раскажешь
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

19. "Аналоги Google File System?"  +/
Сообщение от alexrn (ok) on 04-Фев-10, 19:50 
>http://www.trivadis.com/uploads/tx_cabagdownloadarea/DRBDArt... - попробуй, потом раскажешь

Спасибо за совет. Именно на этом решении и остановился. Решение очень серьезное, хорошо поддерживаемое разработчиками и много где используется. Жаль конечно что данное решение ограничено свойством RAID1 то есть не более 2х серверов. Да, есть там поддержка 3 пиров, но было бы идеально если бы поддерживалось неограниченное их число, ну или хотябы просто большое кол-во.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Аналоги Google File System?"  +/
Сообщение от alexrn email(ok) on 26-Янв-10, 09:24 
>[оверквотинг удален]
>из серверов мы не теряем данные. Как только мы меням полетевший
>сервер и настраиваем на нем эту ФС, все данные MySQL появляются
>сразу и на этом сервере.
>
>Не подходят варианты с мастер серверами. Основная задача как я и написал
>придерживаться технологии Google FS.
>
>Все серверы соеденены в очень быструю сеть.
>
>Спасибо.

Я пока остановился на ChironFS. Также думаю о подключении DAS (Dell MD1000 или MD3000) как альтернатива решению с распределенной ФС. Как думаете, что надежней DAS или решение с этой файловой системой?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "Аналоги Google File System?"  +/
Сообщение от bob253 on 29-Янв-10, 21:49 
> Как думаете, что
> надежней DAS или решение с этой файловой системой?

Das конечно, а воообще - нормальный сторадж - их куча. Как на сегодня - под iSCSI

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "Аналоги Google File System?"  +/
Сообщение от Alex123 on 29-Янв-10, 22:56 
Может это подойдёт:
http://files.calum.org/network-raid.html

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Аналоги Google File System?"  +/
Сообщение от alexrn (ok) on 04-Фев-10, 19:47 
Спасибо всем за советы и комментарии.

Я остановился на 2х серверах соединенных в шуструю  локальную сеть с использованием DRBD [http://www.drbd.org/]. Разные тесты показали это решение для меня пока лучшим.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру