The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"как создать хранилище"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"как создать хранилище"  +/
Сообщение от djeck on 04-Фев-11, 10:41 
подскажите как можно создать падежное (с дублирование как raid1  и оповещением при сбое в диске) хранилище на 100 тера байт
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "как создать хранилище"  +/
Сообщение от PavelR (??) on 04-Фев-11, 10:44 
> _падежное_

.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "как создать хранилище"  +/
Сообщение от djeck on 04-Фев-11, 11:10 
надежное ... описался


Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "как создать хранилище"  +/
Сообщение от zd3n (ok) on 04-Фев-11, 12:24 
Для начала купить дисковый массив.
А дальше - в зависимости от возможности этой железки.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "как создать хранилище"  +/
Сообщение от gg (??) on 04-Фев-11, 17:56 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

ну если использовать 2ТБ диски, то на рейд 1 понадобится 100 дискв. эт довольно большая горка дисков.

в сети был рассказан случай, когда умелец собрал хранилище в деревенном ящике на 96 терабайт под виндой, для хранения фильмов, там был рейд 5 кажется, и ящик был довольно внуштельный.

существуют промышленные системы подобного архитекрутного приема. это дешево, умеренно надежно.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "как создать хранилище"  +/
Сообщение от Pahanivo (ok) on 04-Фев-11, 18:37 
RAID1 и 100 Т при макс размере носителя 2Т ?
автор хотя бы изучил понятие RAID прежде чем писать такую ахинею ...
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "как создать хранилище"  +/
Сообщение от mef (ok) on 04-Фев-11, 21:21 
Raid1 из большого количества маленьких дисков будет очень не эффективно. RAID10 ситуацию не исправит.
Т.к. FreeBSD я бы попробовал ZFS+RAIDZ. Это надежнее чем raid5. Ну а далее только от ресурсов и фантазии, HAST например пришаманить. Я бы с удовольствием поучаствовал в этом проекте, завидую Вам.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "как создать хранилище"  +/
Сообщение от YuSt on 05-Фев-11, 04:02 
> Raid1 из большого количества маленьких дисков будет очень не эффективно. RAID10 ситуацию
> не исправит.
> Т.к. FreeBSD я бы попробовал ZFS+RAIDZ. Это надежнее чем raid5.

... только не забывать рекомендованные ограничения на количество винтов в одном zfs-пуле...

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "как создать хранилище"  +/
Сообщение от mef (ok) on 05-Фев-11, 11:21 
>> Raid1 из большого количества маленьких дисков будет очень не эффективно. RAID10 ситуацию
>> не исправит.
>> Т.к. FreeBSD я бы попробовал ZFS+RAIDZ. Это надежнее чем raid5.
> ... только не забывать рекомендованные ограничения на количество винтов в одном zfs-пуле...

2 в 64 степени?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "как создать хранилище"  +/
Сообщение от YuSt on 05-Фев-11, 13:48 
> 2 в 64 степени?

"Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
.. Да, можно и больше - но на чем-то же рекомендации Sun основаны...

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "как создать хранилище"  +/
Сообщение от djeck on 10-Фев-11, 13:34 
хорошо... задам вопрос по другому
как yandex или google хранит свои данные?
и как обеспечивается надежность хранения, доступ, и нагрузка.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "как создать хранилище"  +/
Сообщение от PavelR (??) on 10-Фев-11, 13:39 
> хорошо... задам вопрос по другому
> как yandex или google хранит свои данные?
> и как обеспечивается надежность хранения, доступ, и нагрузка.

Не вдаваясь в детали, представьте себе 100 хранилищ по терабайту, с системой распределения файлов по нодам, контроля нагрузки, состояния нод, целостности и т п...

Т.е. есть некоторый диспетчер, знающий где что хранится и делающий соответствующие действия/перенаправления/итд..

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

13. "как создать хранилище"  +/
Сообщение от Andrey Mitrofanov on 10-Фев-11, 15:30 
>> хорошо... задам вопрос по другому
>> как yandex или google хранит свои данные?

Правильный ответ: на линуксе! :>

> Не вдаваясь в детали, представьте себе 100 хранилищ

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

12. "как создать хранилище"  +/
Сообщение от mef (ok) on 10-Фев-11, 14:18 
>> 2 в 64 степени?
> "Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
> .. Да, можно и больше - но на чем-то же рекомендации Sun
> основаны...

Можно ссылку на рекомендацию?

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

16. "как создать хранилище"  +/
Сообщение от sdog (ok) on 10-Фев-11, 19:41 
>> 2 в 64 степени?
> "Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
> .. Да, можно и больше - но на чем-то же рекомендации Sun
> основаны...

дык это на рекомендация на raidz, т.е. на один vdev, а не на пул - в пуле может быть много vdev'ов

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

19. "как создать хранилище"  +/
Сообщение от universite email(ok) on 13-Фев-11, 22:12 
>> 2 в 64 степени?
> "Sun рекомендует использовать от трех до девяти жестких дисков в конфигурации RAID-Z."
> .. Да, можно и больше - но на чем-то же рекомендации Sun
> основаны...

Дык, прочтите внимательно рекомендации.
Что мешает сделать n*RAIDZ в одном пуле?

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

14. "как создать хранилище"  +/
Сообщение от ReSeT on 10-Фев-11, 15:34 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

Купить готовое решение. Посмотрите характеристики midrange массивов HP, Hitachi, NetApp, EMC.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "как создать хранилище"  +/
Сообщение от djeck on 10-Фев-11, 16:47 
именно так как я и думал, вот интересно как это повторить?
я имею ввиду, хочу так же сделать, считая что их опыт бесценен!


Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

17. "как создать хранилище"  +/
Сообщение от Pahanivo (ok) on 11-Фев-11, 14:09 
> именно так как я и думал, вот интересно как это повторить?
> я имею ввиду, хочу так же сделать, считая что их опыт бесценен!

спаять чтоле?

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

18. "как создать хранилище"  +/
Сообщение от mef (ok) on 11-Фев-11, 17:31 
>> именно так как я и думал, вот интересно как это повторить?
>> я имею ввиду, хочу так же сделать, считая что их опыт бесценен!
> спаять чтоле?

Ну может быть дело еще и в бабле? Массив от HP стоит от 3 000 000 + диски. А вот взять несколько серверов подешевле, например, intel, воткнуть в каждый дисков штук 8 по 2ТБ. Серверов потребуется 13 лучше больше, а дисков 8*13=104. Ко всему этому делу свич гигабитный + CARP для балансировки отказоустойчивости. Всю тему организовать на iSCSI+ZFS.

Считаем:
сервер intel - 60т.р.
1 винт на 2ГБ который предназначен для серверов - 8 т.р.
13*60 = 780 т.р. -  сервера
8 * 104 = 832 т.р. - диски
Итого 1 612 т.р. + пара гигабитных свичей на 24 порта. Можно даже D-Link, т.к. благодаря CARP все будет отказустойчиво.
В конечном счете будет около 2 000 000 р, что примерно в два раза меньше чем решение от hp.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

20. "как создать хранилище"  +/
Сообщение от universite email(ok) on 13-Фев-11, 22:22 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

FreeBSD AMD64
4*2TB в режиме ZFS RAID10 = чистыми 4TB
Массив высотой 2U может вместить  6-12 винтов SATAII

на 100TB надо 8 таких массивов


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "как создать хранилище"  +/
Сообщение от Vitalka email(ok) on 13-Фев-11, 23:25 
> подскажите как можно создать падежное (с дублирование как raid1  и оповещением
> при сбое в диске) хранилище на 100 тера байт

А варианты навроде Ceph (http://ceph.newdream.net/about/) не рассматривали?


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру