The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Выбор файловой и операционной системы для файлсервера"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 24-Сен-10, 19:03 
Добрый вечер, все таки я зарегистрировался и первым делом хочу выразить огромное спасибо всем обитателям форума, многие проблемы я решал штудируя форум с утра до ночи :)

Короче говоря прошу советов, суть проблемы:
приобрели EMC систему клариион ax4, корзина под 12 сата\сас винтов + 3 доп корзинки по 12, планируется заставить 4*12*2ТБ сата винтами, аплинки через FC контроллер, очень неприятно было обнаружить что FreeBSD не поддерживает Emulex, по этому пока тесты ставятся на Qlogic 2 гигабита. Одна карзинка с 10 сас винтами по 15к рпм в винде выдает более 200 мегабайт в сек. на тесте hd_speed который по типу  #dd if=/dev/da2 of=/dev/null bs=16m count=100

DD на фре + UFS 120 :( Перекуирив кучу манов, форумов, прочих источников удалось поднять физическое копирования "с себя на себя" до 30 мегабайт в сек в миднайте, тогда как виндовый NTFS дает прокачку 5 гигов "с себя на себя" 30 сек - примерно 170 метров в секунду, поняв что крутить фрю далее не имеет смысла - прошу совет, какая ось, какая файловая система? Да, вся сборка будет использоваться для обмена файла (преимущественно чтения в 40 и более потоков по ФТП и DC)

Вопросы? Задавайте, буду отвечать.

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от mef (ok) on 24-Сен-10, 22:23 
Попробуйте ZFS на фре, если оперативки 8гигов и более.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от universite (ok) on 25-Сен-10, 01:26 
>Попробуйте ZFS на фре, если оперативки 8гигов и более.

достаточно и двух, но чем больше, тем лучше :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 25-Сен-10, 05:47 
>>Попробуйте ZFS на фре, если оперативки 8гигов и более.
>
>достаточно и двух, но чем больше, тем лучше :)

пока сервер с 2ГБ, но планируется на 8ми гиговый SUN Fire x4200 там и камни амдшные и память нормально поддерживается.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от st_dog on 25-Сен-10, 01:08 
а какого типа файлы будут храниться? БД планируются?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 25-Сен-10, 05:52 
>а какого типа файлы будут храниться? БД планируются?

файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для индексации и возможно другого функционала, скорее всего mysql

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от st_dog on 25-Сен-10, 13:00 
>>а какого типа файлы будут храниться? БД планируются?
>
>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>индексации и возможно другого функционала, скорее всего mysql

CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 25-Сен-10, 14:49 
>>>а какого типа файлы будут храниться? БД планируются?
>>
>>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>>индексации и возможно другого функционала, скорее всего mysql
>
>CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4
>

А с Emulex FC HBA она дружит? И вроде как ext3 тормознее ext2, надежность конечно ниже, но за надежность отвечать будет ЕМС

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от st_dog on 25-Сен-10, 15:18 
>>>>а какого типа файлы будут храниться? БД планируются?
>>>
>>>файлы - аудио, видео, софт, фото и прочий ширпотреб, БД планируется для
>>>индексации и возможно другого функционала, скорее всего mysql
>>
>>CentOS + ext3, а когда выйдет 6-ая версия проведёте миграцию на ext4
>>
>
>А с Emulex FC HBA она дружит? И вроде как ext3 тормознее
>ext2, надежность конечно ниже, но за надежность отвечать будет ЕМС

с Emulex, думаю, проблем не будет http://www.emulex.com/partners/strategic-alliances/red-hat.html

ext2 vs. ext3 - особеного выигрыша от использования ext3 не будет, зато лишитесь кучи усовершенсвований в ext3, да и миграцию на ext4 будет проводить опасней.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 25-Сен-10, 15:37 
>ext2 vs. ext3 - особеного выигрыша от использования ext3 не будет, зато
>лишитесь кучи усовершенсвований в ext3, да и миграцию на ext4 будет
>проводить опасней.

Боюсь миграция 100 терабайтного раздела займет ни один день, и если ext4 окажется медленней ext3 - это будет ппц..
Да, а ограничение по размеру есть как на UFS,NTFS в 2ТБ?
И второй вопросик - существует ли теоретическая возможность "на лету" менять (увиличивать) размер раздела при добавлении винтов в рейд?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от st_dog on 25-Сен-10, 17:11 
гуглим - ext3 max. fs size = 16TB
ext4 - 1EB

Для удобства пользования нужно использовать LVM (можно увеличивать на лету разделы, добавлять новые диски, снапшоты и т.д. и т.п.), для того же удобства и увеличения надёжности не советую создавать один большой раздел (или LV) лучше несколько (или даже несколько десятков) мелких.


http://xgu.ru/wiki/ext4

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 26-Сен-10, 11:03 
>Для удобства пользования нужно использовать LVM (можно увеличивать на лету разделы, добавлять новые диски, снапшоты и т.д. и т.п.), для того же удобства
>и увеличения надёжности не советую создавать один большой раздел (или LV)
>лучше несколько (или даже несколько десятков) мелких.

Основные преследуемые цели - это скорость отдачи фалов (чтение), скорость записи (хотелось бы видеть порядка 50 мегабайт), возможность добавления дисков в массив с последующим шарингом их в рейд, и следом расширение партиции в саму ОС и увеличение объема раздела, задачи сохранности структуры диска расшариного в ОС ложатся полностью на аппаратные возможности ЕМСшной железяки, от ФС нужна устойчивость к вырубанию того же света, просто устойчивость к разного рода глюкам и скорость.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от st_dog on 26-Сен-10, 13:51 
если хотите все требования выполнить одной файловой системой, тогда ZFS на Solaris (за деньги), OpenIndiana или FreeBSD, если будет линукс, то нужно использовать LVM, поверх которого любую ФС, можно и XFS.

Вы уже решили как будите отдавать больше 80 MB/s по сети? Гигабит ведь не резиновый.

ext2 не обеспечивает "устойчивость к вырубанию того же света" она не журналируемая, ext3 проверена временем и большим количеством инсталяций, конечно имеет вполне достижимые ограничения, но можно смигрировать на ext4.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 26-Сен-10, 14:19 
>если хотите все требования выполнить одной файловой системой, тогда ZFS на Solaris
>(за деньги), OpenIndiana или FreeBSD, если будет линукс, то нужно использовать
>LVM, поверх которого любую ФС, можно и XFS.
>
>Вы уже решили как будите отдавать больше 80 MB/s по сети? Гигабит
>ведь не резиновый.
>
>ext2 не обеспечивает "устойчивость к вырубанию того же света" она не журналируемая,
>ext3 проверена временем и большим количеством инсталяций, конечно имеет вполне достижимые
>ограничения, но можно смигрировать на ext4.

4 и более (по необходимости) гигабитных транка в свич, который по 10G стекируется с основными узлами раздающими 1G в уровень доступа, как то так.. Да и весь массив возможно будет пользоваться несколькими серверами, по принципу 1 сервис - 1 сервер..

Думаю завтра с утра приступим к тестированию ext3, какой линукс взять посоветуете из бесплатных и какие расценки на солярис?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от st_dog on 26-Сен-10, 14:26 
CentOS - тот же RedHat Enterprise Linux, с другим логотипом. В ближайшем будующем выйдет 6 версия, на которую будет легко проапгрейдится и в которой, думаю, можно будет использовать ext4
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от universite (ok) on 25-Сен-10, 01:27 

> тогда как виндовый NTFS дает прокачку
>5 гигов "с себя на себя" 30 сек - примерно 170
>метров в секунду, поняв что крутить фрю далее не имеет смысла

вы уверены, что виндоус действительно копирует, а не меняет адреса блоков?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Выбор файловой и операционной системы для файлсервера"  +/
Сообщение от 2ihi (ok) on 25-Сен-10, 05:54 
>
>> тогда как виндовый NTFS дает прокачку
>>5 гигов "с себя на себя" 30 сек - примерно 170
>>метров в секунду, поняв что крутить фрю далее не имеет смысла
>
>вы уверены, что виндоус действительно копирует, а не меняет адреса блоков?

Когда что-то не так, это сразу видно - чтение с кешей, нереальные скорости, а 170 мегабайт с 10ти дисков вполне то что ожидалось

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру