форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Др. сетевые сервисы / Linux)
Изначальное сообщение		[ Отслеживать ]

"MYSQL База 1 Терабайт как с не быть."	+/–
Сообщение от isvd (ok) on 04-Дек-12, 18:27
Уже 2 месяца читаю кучу литературы и не могу определиться куда смотреть. Разработали проэкт который генерирует за год базу данных  в 1 терабайт пока это как одня база.  Данные нужно хранить 5 лет. Постановка задачи для себя. 1.как хранить 2.как бекапить 3.как добиться отказоустойчивости Куда смотреть ? Репликация или raid 10 , или reid сетевой или LVM snapshot делать или ..... ???? Прошу указать направление и возможно ссылки на примеры или готовые решения.     Для себя понял что лутший бекап это mysqldump  но если база в 1 тер то это нереально ее лопатить. Репликация тоже не панацея если вдруг какие то ошибки по реплике тоже они будут ,  рейд (знаю только в теории) вообще никогда не делал как он будет работать м mysql понятия даже неимею даже если и рейд 10  то в любом случаии хочу что бы была отдельныя копия на другом сервере. LVM?  Времени мало хочу всерез заняться этим вопросом но запутался уже....   Мне интересно как профисионалы мыслят что предпринимают куда копают ??? понимаю что универсального решения нет... Буду очень презнателен. за любую информацию.
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "MYSQL База 1 Терабайт как с не быть."	+/–
Сообщение от lavr on 04-Дек-12, 18:53
> Уже 2 месяца читаю кучу литературы и не могу определиться куда смотреть. > Разработали проэкт который генерирует за год базу данных  в 1 терабайт > пока это как одня база.  Данные нужно хранить 5 лет. > Постановка задачи для себя. > 1.как хранить > 2.как бекапить > 3.как добиться отказоустойчивости > Куда смотреть ? Репликация или raid 10 , или reid сетевой или > LVM snapshot делать или ..... ???? <skipped> 1) пересмотреть структуру базы 2) если 1) - нереально, и память мне не изменяет - для баз > 200-300GB single-node mysql конфигурация неприемлема, те нужно продумать multi-node mysql конфигурацию и чтобы было < 200GB per node 3) и уже исходя из пункта 2) - обдумывать backup Думаю, лучше обратиться на forum.mysql.com и возможно еще поискать серьезные форумы по mysql
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "MYSQL База 1 Терабайт как с не быть."	+/–
Сообщение от name (??) on 05-Дек-12, 13:41
https://www.opennet.ru/tips/2721_mysql_partition_alter_log.shtml есть такой функционал, должен помочь >Для себя понял что лутший бекап это mysqldump чем луТЪший?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "MYSQL База 1 Терабайт как с не быть."	+/–
Сообщение от Анонимус42 on 05-Дек-12, 15:03
Используйте Federated на нескольких разных серверах.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "MYSQL База 1 Терабайт как с не быть."	+/–
Сообщение от anonymouse on 05-Дек-12, 15:45
> Постановка задачи для себя. > 1.как хранить > 2.как бекапить > 3.как добиться отказоустойчивости > Куда смотреть ? Репликация или raid 10 , или reid сетевой или > LVM snapshot делать или ..... ???? Надеюсь это все не в MyISAM?? 1) Хранить лучше кусками, как на куски рубить и как с ними работать вопрос непростой, требует детального изучения предмета. Начать можно с партицирования штатными средствами: такой вариант, может быть, даже не потребует переработки кода. 2) mysqldump хорош, только восстановление базы на терабайт из дампа может затянутся по времени. Если даунтайм в пару суток не смущает -- mysqldump подойдет. Если нет -- lvm-снапшоты, есть еще xtrabackup, он вполне себе работает с ванильным mysql. 3) Репликация. Причем для того, чтобы не грузить основную базу, бэкап можно делать с реплики. PS RAID10 это не замена бэкапа, не панацея для отказоустойчивости. RAID10 спасает только на время выхода из строя диска и ускоряет работу с дисковой подсистемой. И совсем не спасает от assertion failure
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "MYSQL База 1 Терабайт как с не быть."	+/–
Сообщение от Анонимус42 on 06-Дек-12, 15:32
Вообще мускул хорош не для всех задач. Возможно имеет смысл перейти на что-то другое. Типа Redis, Casandra, hadoop))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема