forum.opennet.ru - "Поиск возможных решений по хранению данных" (7)

"Поиск возможных решений по хранению данных"

Форум Оптимизация и Промышленные системы (Разное)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Поиск возможных решений по хранению данных"	+1 +/–
Сообщение от Проходил мимо (?), 11-Фев-19, 09:49
Здравствуйте. Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего хранения больших объемов данных, т.е. хранения, при котором старые и/или мало используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно дешевые средства хранения данных (в частности на ленточный накопитель)? В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то времени не использования файл с быстрого хранилища автоматически перемещается на ленточку или в иное медленное но дешевое хранилище, при этом где-то должна оставаться информация о том, что этот файл переместился и где его теперь искать. При попытке же обратится к перемещенному файлу он должен прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя каким-то иным способом. Заранее спасибо.
Ответить \| Правка \| Cообщить модератору

Оглавление

gt оверквотинг удален cron, find, mv, ln Ключи по вкусу , anonymous (??), 04:08 , 12-Фев-19, (1)

gt оверквотинг удален очень интеесно а как вы делаете линки на содержимое где, ыы (?), 12:52 , 12-Фев-19, (2) +1

Вы цены на ленточные библиотеки когда последний раз видели Кто вам сказал, что , DeerFriend (?), 13:53 , 12-Фев-19, (3) +1
gt оверквотинг удален В LVM cache можно сделать и к разделу прицепить , fantom (??), 10:57 , 15-Фев-19, (4)
https blog sedicomm com 2018 07 22 14-utilit-rezervnogo-kopirovaniya-dlya-linu, Брат Анон (ok), 09:32 , 19-Ноя-20, (5)
gt оверквотинг удален Легко - GPFS LTFS EE оно же, по современному, Spectrum , Мимо проходил (?), 02:09 , 11-Дек-20, (6)
По идее любая СХД умеет что-то подобное Вот с перемещением на ленту и прозрачны, Аноним (7), 15:31 , 11-Дек-20, (7)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от anonymous (??), 12-Фев-19, 04:08 +/–

>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.
cron, find, mv, ln. Ключи по вкусу.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2

2. Сообщение от ыы (?), 12-Фев-19, 12:52 +1 +/–

>[оверквотинг удален]
>> дешевые средства хранения данных (в частности на ленточный накопитель)?
>> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
>> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
>> или в иное медленное но дешевое хранилище, при этом где-то должна
>> оставаться информация о том, что этот файл переместился и где его
>> теперь искать. При попытке же обратится к перемещенному файлу он должен
>> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
>> каким-то иным способом.
>> Заранее спасибо.
> cron, find, mv, ln. Ключи по вкусу.
очень интеесно. а как вы делаете линки на содержимое гдето внутри ленточки?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

3. Сообщение от DeerFriend (?), 12-Фев-19, 13:53 +1 +/–

Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые?
Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.

Ответить | Правка | Наверх | Cообщить модератору

4. Сообщение от fantom (??), 15-Фев-19, 10:57 +/–

>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.
В LVM cache можно сделать и к разделу "прицепить"

Ответить | Правка | Наверх | Cообщить модератору

5. Сообщение от Брат Анон (ok), 19-Ноя-20, 09:32 +/–

> Здравствуйте.
> Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего
> хранения больших объемов данных, т.е. хранения, при котором старые и/или мало
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> ....
> Заранее спасибо.
https://blog.sedicomm.com/2018/07/22/14-utilit-rezervnogo-ko.../
Укажите сетевой раздел с количеством хранимых бекапов. не благодарите. (с) Гугель.

Ответить | Правка | Наверх | Cообщить модератору

6. Сообщение от Мимо проходил (?), 11-Дек-20, 02:09 +/–

>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.
Легко - GPFS+LTFS EE (оно же, по современному, Spectrum Scale + Spectrum Archive)

Ответить | Правка | Наверх | Cообщить модератору

7. Сообщение от Аноним (7), 11-Дек-20, 15:31 +/–

По идее любая СХД умеет что-то подобное. Вот с перемещением на ленту и прозрачным возвратом с нее - не знаю. Изучите коммерческие варианты. На коленке такое быстро не сделать.
У вас тут много вещей пропущено. Сколько данных, какие данные (файлы? наборы файлов? какого размера и тп), какая допустима латентность при возврате файла из "медленного" хранилища. Все это в основном про экономику и должно быть определено до выбора решения.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от anonymous (??), 12-Фев-19, 04:08	+/–
>[оверквотинг удален] > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно > дешевые средства хранения данных (в частности на ленточный накопитель)? > В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то > времени не использования файл с быстрого хранилища автоматически перемещается на ленточку > или в иное медленное но дешевое хранилище, при этом где-то должна > оставаться информация о том, что этот файл переместился и где его > теперь искать. При попытке же обратится к перемещенному файлу он должен > прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя > каким-то иным способом. > Заранее спасибо. cron, find, mv, ln. Ключи по вкусу.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #2

2. Сообщение от ыы (?), 12-Фев-19, 12:52	+1 +/–
>[оверквотинг удален] >> дешевые средства хранения данных (в частности на ленточный накопитель)? >> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то >> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку >> или в иное медленное но дешевое хранилище, при этом где-то должна >> оставаться информация о том, что этот файл переместился и где его >> теперь искать. При попытке же обратится к перемещенному файлу он должен >> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя >> каким-то иным способом. >> Заранее спасибо. > cron, find, mv, ln. Ключи по вкусу. очень интеесно. а как вы делаете линки на содержимое гдето внутри ленточки?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1

3. Сообщение от DeerFriend (?), 12-Фев-19, 13:53	+1 +/–
Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые? Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.
Ответить \| Правка \| Наверх \| Cообщить модератору

4. Сообщение от fantom (??), 15-Фев-19, 10:57	+/–
>[оверквотинг удален] > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно > дешевые средства хранения данных (в частности на ленточный накопитель)? > В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то > времени не использования файл с быстрого хранилища автоматически перемещается на ленточку > или в иное медленное но дешевое хранилище, при этом где-то должна > оставаться информация о том, что этот файл переместился и где его > теперь искать. При попытке же обратится к перемещенному файлу он должен > прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя > каким-то иным способом. > Заранее спасибо. В LVM cache можно сделать и к разделу "прицепить"
Ответить \| Правка \| Наверх \| Cообщить модератору

5. Сообщение от Брат Анон (ok), 19-Ноя-20, 09:32	+/–
> Здравствуйте. > Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего > хранения больших объемов данных, т.е. хранения, при котором старые и/или мало > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно > дешевые средства хранения данных (в частности на ленточный накопитель)? > .... > Заранее спасибо. https://blog.sedicomm.com/2018/07/22/14-utilit-rezervnogo-ko.../ Укажите сетевой раздел с количеством хранимых бекапов. не благодарите. (с) Гугель.
Ответить \| Правка \| Наверх \| Cообщить модератору

6. Сообщение от Мимо проходил (?), 11-Дек-20, 02:09	+/–
>[оверквотинг удален] > используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно > дешевые средства хранения данных (в частности на ленточный накопитель)? > В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то > времени не использования файл с быстрого хранилища автоматически перемещается на ленточку > или в иное медленное но дешевое хранилище, при этом где-то должна > оставаться информация о том, что этот файл переместился и где его > теперь искать. При попытке же обратится к перемещенному файлу он должен > прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя > каким-то иным способом. > Заранее спасибо. Легко - GPFS+LTFS EE (оно же, по современному, Spectrum Scale + Spectrum Archive)
Ответить \| Правка \| Наверх \| Cообщить модератору

7. Сообщение от Аноним (7), 11-Дек-20, 15:31	+/–
По идее любая СХД умеет что-то подобное. Вот с перемещением на ленту и прозрачным возвратом с нее - не знаю. Изучите коммерческие варианты. На коленке такое быстро не сделать. У вас тут много вещей пропущено. Сколько данных, какие данные (файлы? наборы файлов? какого размера и тп), какая допустима латентность при возврате файла из "медленного" хранилища. Все это в основном про экономику и должно быть определено до выбора решения.
Ответить \| Правка \| Наверх \| Cообщить модератору