The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Поиск возможных решений по хранению данных"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Оптимизация и Промышленные системы (Разное)
Изначальное сообщение [ Отслеживать ]

"Поиск возможных решений по хранению данных"  +1 +/
Сообщение от Проходил мимо (?), 11-Фев-19, 09:49 
Здравствуйте.

Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего хранения больших объемов данных, т.е. хранения, при котором старые и/или мало используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно дешевые средства хранения данных (в частности на ленточный накопитель)?

В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то времени не использования файл с быстрого хранилища автоматически перемещается на ленточку или в иное медленное но дешевое хранилище, при этом где-то должна оставаться информация о том, что этот файл переместился и где его теперь искать. При попытке же обратится к перемещенному файлу он должен прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя каким-то иным способом.

Заранее спасибо.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Поиск возможных решений по хранению данных"  +/
Сообщение от anonymous (??), 12-Фев-19, 04:08 
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.

cron, find, mv, ln. Ключи по вкусу.

Ответить | Правка | Наверх | Cообщить модератору

2. "Поиск возможных решений по хранению данных"  +1 +/
Сообщение от ыы (?), 12-Фев-19, 12:52 
>[оверквотинг удален]
>> дешевые средства хранения данных (в частности на ленточный накопитель)?
>> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
>> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
>> или в иное медленное но дешевое хранилище, при этом где-то должна
>> оставаться информация о том, что этот файл переместился и где его
>> теперь искать. При попытке же обратится к перемещенному файлу он должен
>> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
>> каким-то иным способом.
>> Заранее спасибо.
> cron, find, mv, ln. Ключи по вкусу.

очень интеесно. а как вы делаете линки на содержимое гдето внутри ленточки?

Ответить | Правка | Наверх | Cообщить модератору

3. "Поиск возможных решений по хранению данных"  +1 +/
Сообщение от DeerFriend (?), 12-Фев-19, 13:53 
Вы цены на ленточные библиотеки когда последний раз видели? Кто вам сказал, что они дешевые?

Возможно поможет, у ceph/gluster есть tiering. Можно настроить для часто используемых файлов ssd, для остальных hdd. Можно даже разбить hdd на быстрые 10/15к, и медленные 7200/5400 оборотов.

Ответить | Правка | Наверх | Cообщить модератору

4. "Поиск возможных решений по хранению данных"  +/
Сообщение от fantom (??), 15-Фев-19, 10:57 
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.

В LVM cache можно сделать и к разделу "прицепить"

Ответить | Правка | Наверх | Cообщить модератору

5. "Поиск возможных решений по хранению данных"  +/
Сообщение от Брат Анон (ok), 19-Ноя-20, 09:32 
> Здравствуйте.
> Подскажите пожалуйста, существуют ли какие-либо решения для организации вытесняющего
> хранения больших объемов данных, т.е. хранения, при котором старые и/или мало
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> ....
> Заранее спасибо.

https://blog.sedicomm.com/2018/07/22/14-utilit-rezervnogo-ko.../
Укажите сетевой раздел с количеством хранимых бекапов. не благодарите. (с) Гугель.

Ответить | Правка | Наверх | Cообщить модератору

6. "Поиск возможных решений по хранению данных"  +/
Сообщение от Мимо проходил (?), 11-Дек-20, 02:09 
>[оверквотинг удален]
> используемые данные автоматически вытесняются с быстрого хранилища на медленные и относительно
> дешевые средства хранения данных (в частности на ленточный накопитель)?
> В идеале, на мой взгляд, схема выглядит примерно так: по прошествии какого-то
> времени не использования файл с быстрого хранилища автоматически перемещается на ленточку
> или в иное медленное но дешевое хранилище, при этом где-то должна
> оставаться информация о том, что этот файл переместился и где его
> теперь искать. При попытке же обратится к перемещенному файлу он должен
> прозрачно для пользователя либо переместиться обратно, либо стать доступным для пользователя
> каким-то иным способом.
> Заранее спасибо.

Легко - GPFS+LTFS EE (оно же, по современному, Spectrum Scale + Spectrum Archive)

Ответить | Правка | Наверх | Cообщить модератору

7. "Поиск возможных решений по хранению данных"  +/
Сообщение от Аноним (7), 11-Дек-20, 15:31 
По идее любая СХД умеет что-то подобное. Вот с перемещением на ленту и прозрачным возвратом с нее - не знаю. Изучите коммерческие варианты. На коленке такое быстро не сделать.

У вас тут много вещей пропущено. Сколько данных, какие данные (файлы? наборы файлов? какого размера и тп), какая допустима латентность при возврате файла из "медленного" хранилища. Все это в основном про экономику и должно быть определено до выбора решения.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру