The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей"  +/
Сообщение от opennews (??), 21-Ноя-22, 22:52 
Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58165

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 21-Ноя-22, 22:52   +23 +/
"наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"

идея поражает своей новизной

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #43, #49, #58, #68, #76

2. Сообщение от анонимус (??), 21-Ноя-22, 22:56   –4 +/
и че дальше?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #4

3. Сообщение от pashev.ru (?), 21-Ноя-22, 23:21   +2 +/
В чём суть «оптимизаций»? Есть сравнения с другими? Насколько дольше проживёт флэшка с этой библиотекой, чем с другой?
Ответить | Правка | Наверх | Cообщить модератору

4. Сообщение от Аноним (4), 21-Ноя-22, 23:23   +19 +/
Очевидно, что всё будет храниться в памяти, ssd станет вечным, а скорость неописуемой. Всё как ты хотел. Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей скоростью и надёжностью.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #7, #27, #40

7. Сообщение от анонна (?), 21-Ноя-22, 23:54   +1 +/
верно и при этом производители памяти смогут хорошо навариться на увеличенном её расходе = требования к железу станут опять выше. как видим и производителям и этим махинаторам все на руку)) ура прогресс.. или регресс? в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" системы придумали? ждем ноухау - разделяемые куски операционной системы)) ну там системд-ядро или системд выполняющая его функции? короче все счастливы и у всех есть повод поживиться еще раз))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #51

14. Сообщение от AleksK (ok), 22-Ноя-22, 00:28   +2 +/
> Высокая скорость работы достигается за счёт гибридной модели хранения - наиболее актуальные данные кэшируются в ОЗУ

Почти все актуальные операционные системы так делают. Более у того у всех жестких дисков хоть HDD хоть SSD есть кэш под эти цели.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #45, #78, #81

19. Сообщение от Аноним (19), 22-Ноя-22, 00:48   +4 +/
Абсолютное не нужно. SSD это всё игрушки для тиктокеров, всю жизнь сидел на HDD, не вижу смысла менять.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #24

24. Сообщение от Аноним (-), 22-Ноя-22, 01:19   +3 +/
Абсолютное не нужно. Hdd это всё игрушки для тиктокеров, всю жизнь сидел на перфокартах, не вижу смысла менять.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #29, #31

27. Сообщение от Аноним (-), 22-Ноя-22, 02:04   +/
> Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей
> скоростью и надёжностью.

Вот только после ребута или слета питания будет какая-то подстава, которой SSD не подвержен.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #44, #64

29. Сообщение от Аноним (-), 22-Ноя-22, 02:06   +1 +/
Вот тиктокеры проклятые, тумблерных регистров и лампочек на шине им мало, перфокарты подавай!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #30

30. Сообщение от Аноним (30), 22-Ноя-22, 02:11   +1 +/
Вот мажоры тиктокеры эти, по абаку счетными палками стучу, а им паскалины подавай!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #35

31. Сообщение от Аноним (31), 22-Ноя-22, 02:37   –1 +/
Seagate выпустила самый быстрый HDD в мире — 18 Тбайт и 554 Мбайт/с
Можешь посчитать, во сколько раз дороже и громозще получится куча SSD на такой объём.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #38, #39

35. Сообщение от Аноним (35), 22-Ноя-22, 03:22   +4 +/
Вот тиктокеры, думают там, считают что-то! В первичном бульоне плаваю просто, лапками шевелю - я инфузория-туфелька.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30

38. Сообщение от Аноним (-), 22-Ноя-22, 06:32   +/
Это те что на алике 96Тб ssd за 10$ ? Хорошая вещь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

39. Сообщение от Аноним (39), 22-Ноя-22, 07:34   +/
Это чё, raid-0 в форм-факторе 3.5" с такой же надёжностью?
Что там с энергопотреблением? Что с доступностью? Что со стоимостью?
И какой такой SSD по скорости сравним с этим HDD? И что там с нелинейными скоростями чтения/записи?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #48

40. Сообщение от Аноним (40), 22-Ноя-22, 08:02   +/
Очевидно что ты вообще не знаешь как работает вытеснение памяти, элементарный своп, как кэшируют данные с диска все современные ОС, СУБД, ну и вообще непонятно, что ты знаешь кроме как начёсывать своё ЧСВ этими высерами
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #59

43. Сообщение от Аноним (43), 22-Ноя-22, 09:06   +1 +/
Кэш в Linux давно уже отправил в ОЗУ и ssd-шка стала спать больше кота.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

44. Сообщение от пох. (?), 22-Ноя-22, 09:10   +/
Он еще худшей подвержен - вообще может в тыкву превратиться если в этот момент обновлялись страничные таблички.

Так что все норм. Да и судя по спецификации и примеру применения - там никто и не заметит.

Системы мониторинга, ага. Которым нужно ssd а лучше nvdimm. Ну мы поняли, поняли, у кого такие системы и что они "мониторят".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

45. Сообщение от пох. (?), 22-Ноя-22, 09:13   +3 +/
> Почти все актуальные операционные системы так делают.

они в отличие от этой хрени немного не в курсе формата данных, поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя ключи которые понадобятся вотпрямщас а до значений может и не дойдет даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и она вообще не нужна.

Но учитывая описываему сферу применения - конечно, вряд ли это хоть что-то разумное.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #55

47. Сообщение от Аноним (43), 22-Ноя-22, 09:27   +/
Сейчас объём оперативной памяти так и говорит "кинь в меня кэш"
и ZRAM очень довольно рациональная технология: зачем свапится на диск, когда много ОЗУ.. можно ещё и пожать там.
Можно ещё совсем поехать: собрать свой Live дистрибутив Linux со всеми необходимыми прогами, закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #50, #56

48. Сообщение от пох. (?), 22-Ноя-22, 09:29   +/
> Это чё, raid-0 в форм-факторе 3.5" с такой же надёжностью?

мущина, проснитесь, вы обо...а, вы и не спите, смотрю?

> Что там с энергопотреблением? Что с доступностью? Что со стоимостью?

Да ничего особенного. Если тебе не нужны загадочные 500чегототам в секунду (а нужны они крайне редко при таких объемах) - https://www.amazon.com/dp/B09VCXWPQG/ - уже давно самый обычный банальнейший ширпотреб - двадцатки пока некоторый дефицит и из-за этого слегка оверпрайснуты, 18 стоят 300 проклятых баксов, которые как известно вообще бумага и ей только задницу вытирать можно.
Естественно, кому-то тут же пришла в голову идея раскрутить такой диск до 15000 и получить примерно те цифры ценой снижения надежности чтения.

> И какой такой SSD по скорости сравним с этим HDD? И что

Никакой, поскольку нет никаких 20T ssd (какие-то полуэкспериментальные модельки не продаваемые в частные руки и ценой дороже самолета не в счет).

> там с нелинейными скоростями чтения/записи?

на фоне 20T тебе будет совершенно все равно.
Они и линейно читаются небыстро.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

49. Сообщение от лютый ж.... (?), 22-Ноя-22, 09:30   +/
>В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.

и оно положит случайные куски базы, индексов или journal в ОЗУ. что же может пойти не так? )

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #62

50. Сообщение от лютый ж.... (?), 22-Ноя-22, 09:33   +2 +/
>закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.

SSD и так проживёт намного дольше обычного НЖМД ) особенно если купить нормальный типа samsung evo. не понимаю эти все приседания насчёт ресурса ССД в бытовом применении.... я даже не уверен, что ты сможешь специально ресурс такого ССД выжрать, если задашься целью

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #52, #54

51. Сообщение от n00by (ok), 22-Ноя-22, 09:36   +/
> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
> системы придумали?

Для борьбы с «ожирением» производителей проприетарного ПО.

Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #63

52. Сообщение от Аноним (43), 22-Ноя-22, 09:53   +/
да тут не приседание с ресурсом, а скорее с мусором. тебе так хочется чтобы ссдшка пережевывала мусор?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

53. Сообщение от Аноним (54), 22-Ноя-22, 10:10   +1 +/
>HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей.
>Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти

Пчёлы против мёда?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #57

54. Сообщение от Аноним (54), 22-Ноя-22, 10:21   +/
Так массово дохнут же. SSD живёт дольше только в ноутах ламерья, которые ноут с жёстким диском таскают (да ещё неаккуратно, размахивая ими и резко опуская на поверхности) во включённом состоянии, забывая о гироскопическом эффекте и о том, что головки на нанометры подходят к блинам (при этом бытовые вибрации дадут тряску на несколько нанометров (σ≈0.5 nm, но это СКО, а в распределении встречаются и 3σ, и даже 5σ), а небольшие удары столу - на десятки, даже на виброизолированном с помощью резины и пенопласта основании).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50 Ответы: #69, #75

55. Сообщение от AleksK (ok), 22-Ноя-22, 10:28   +/
> они в отличие от этой хрени немного не в курсе формата данных,
> поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя
> ключи которые понадобятся вотпрямщас а до значений может и не дойдет
> даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и
> она вообще не нужна.

Это понятно, но те же SQL серверы без проблем могут засунуть в память чуть ли ни всю базу если объем памяти позволяет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #61

56. Сообщение от pin (??), 22-Ноя-22, 10:37   +/
> зачем свапится на диск, когда много ОЗУ, ZRAM

swapoff, не?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

57. Сообщение от anonymous (??), 22-Ноя-22, 10:41   +1 +/
для бигдаты же, её не становится меньше, надо всё покупать и покупать
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53 Ответы: #60

58. Сообщение от An onymous (?), 22-Ноя-22, 10:58   +1 +/
> "наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"
> идея поражает своей новизной

Острословы не прочитали про NVDIMM?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

59. Сообщение от Аноним (59), 22-Ноя-22, 11:17   +/
ramdisk? не, не слышал
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

60. Сообщение от пох. (?), 22-Ноя-22, 11:21   +/
но она же не влезет на vmdimm?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57

61. Сообщение от пох. (?), 22-Ноя-22, 11:23   +/
ага, причем у них в памяти будет не дурацкий key-value, а результат обработки сложных запросов. Но для того что эти тут планируют собирать - им не надо sql.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55

62. Сообщение от пох. (?), 22-Ноя-22, 11:24   +/
Вроде все ж норм - как раз неслучайные, а только нужные. Ну, нужные по мнению разработчиков неведомой хрени, так что неизвестно что хуже.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49

63. Сообщение от анонна (?), 22-Ноя-22, 11:54   +/
>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
>> системы придумали?
> Для борьбы с «ожирением» производителей проприетарного ПО.
> Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за
> счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте
> сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка
> 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.

тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и прочие удовольствия. при этом шла статическая линковка либ и как результат одна и таже либа грузилась по несколько раз (в разные ячейки памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве флатпак и прочие не идут сейчас по той же старой стезе? как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают? эта затея явно важна и принята производителями и не важно , что изначально придумана энтузиастами  и прочими свободными кодерами. производителям она именно что зашла.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51 Ответы: #87

64. Сообщение от Аноним (64), 22-Ноя-22, 12:30   +/
Не разрешайте уборщице грызть силовой кабель.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

68. Сообщение от Аноним (68), 22-Ноя-22, 14:09   +/
Что еще ждать от современных разработчиков, не способных придумать ничего новее чем кэшировать данные в озу.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

69. Сообщение от анонимоузе (?), 22-Ноя-22, 14:31   +/
Нанометры там не просто воздуха, а воздушной подушки, то есть высокого давления. Потому система достаточно стабильно работает, и в спецификации на хдд указаны допустимые при работе ускорения. Что не говорит, конечно, что надо трясти, колотить или ронять хдд во время работы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54 Ответы: #71

70. Сообщение от Попандопала (?), 22-Ноя-22, 15:31   +/
Программисты наконец оптимизировали что-то там. Прогресс и киллерфича.  Пол чемодана ссд на всякий случай... теперь не нужно.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #73

71. Сообщение от Аноним (71), 22-Ноя-22, 23:27   +/
Длина свободного пробега при атмосферном давлении ~100 nm, если между головкой и блином ~1 nm, то число Кнудсена ~100, то есть высокий вакуум.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69

73. Сообщение от Аноним (-), 23-Ноя-22, 00:11   +/
Надо полчемодана оперативы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

74. Сообщение от Пастуховemail (?), 23-Ноя-22, 00:20   +/
Давайте в etcd затащим
Ответить | Правка | Наверх | Cообщить модератору

75. Сообщение от лютый ж.... (?), 23-Ноя-22, 18:12   +1 +/
>Так массово дохнут же

ссылку покажешь на массовую гибель брендовых SSD? (желательно указанное выше samsung evo)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

76. Сообщение от вася (??), 23-Ноя-22, 21:47   +/
они кешируются в чужой ОЗУ
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

77. Сообщение от fuggy (ok), 23-Ноя-22, 22:45   +/
Это СУБД для ФС или ФС для СУБД. То ли это key-value db с REST интерфейсом, то ли это низкоуровневая библиотека для других СУБД.
Ответить | Правка | Наверх | Cообщить модератору

78. Сообщение от Аноним (78), 24-Ноя-22, 00:54   +/
Отстал ты от прогреcса, тенденция сейчас, а уже как 5 лет назад появилась SSD без своей памяти бараньей (RAM) выпускать. Емею такой SSD, купил из-за цены, нет это не производитель такой мало известный это тенденция такая как я понял выпускать SSD только c flash памятью. Ноль у SSD RAM памяти ноль. Для точности нодо смотреть какой сейчас процент в продаже таких SSD без RAM пямяти.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #79, #82, #84

79. Сообщение от Аноним (78), 24-Ноя-22, 00:58   +/
Я уже и забыл знал я, что SSD покупаю без своей у этого SSD RAM памяти или нет. Может и не знал.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78 Ответы: #80

80. Сообщение от Аноним (78), 24-Ноя-22, 01:00   +/
Вроде знал так как изучал, что покупаю. Забыл как было.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79

81. Сообщение от Аноним (-), 24-Ноя-22, 01:11   +/
Или может имелось ввиду SLC-кэш? Или обстрактно любой кеш в дисках?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

82. Сообщение от Аноним (-), 24-Ноя-22, 01:34   +/
Возможное я не правильно называю наличие в дисках DRAM памяти кешем. Есть такая информация. "Контроллер SSD-накопителя. Чем производительнее контроллер, тем выше будет скорость как до заполнения SLC-кэша, так и после.
Наличие DRAM-буфера на накопителе. В этом буфере находится таблица с адресами данных в ячейках NAND памяти SSD. А это позволяет не считывать данные лишний раз для проверки. Поэтому при наличии DRAM-буфера скорости накопителя выше как до заполнения SLC-кэша, так и после"
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78

84. Сообщение от Аоним (?), 24-Ноя-22, 02:09   +/
Все мои слова не совсем к месту. Кеш это кеш, а буфер это буфер.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78 Ответы: #88

87. Сообщение от n00by (ok), 24-Ноя-22, 11:18   +/
>>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
>>> системы придумали?
>> Для борьбы с «ожирением» производителей проприетарного ПО.
>> Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за
>> счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте
>> сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка
>> 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.
> тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может
> это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и
> прочие удовольствия.

Это было "лишь бы не как в Венде", где исполняемые образы не читались целиком в память, а отображались, и неизменяемые страницы просто отбрасывались. Либо смотрели в будущее, понятно же было, что объёмы ОЗУ растут и подход Linux в итоге окажется чуть быстрее в работе.

> при этом шла статическая линковка либ и как результат
> одна и таже либа грузилась по несколько раз (в разные ячейки
> памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве
> флатпак и прочие не идут сейчас по той же старой стезе?
> как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают?
> эта затея явно важна и принята производителями и не важно ,
> что изначально придумана энтузиастами  и прочими свободными кодерами. производителям она
> именно что зашла.

Да просто сравните размер исполняемого файла chromium или firefox с объёмом памяти, что они потребляют при запуске. Мегабайт и гигабайт. Не играет роли, считать .so или нет. А вот если 64-х разрядные указатели в графах сократить до 32-х - может сэкономиться процентов эдак 20.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #63

88. Сообщение от Аноним (88), 25-Ноя-22, 21:55   +/
Кэш.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84

89. Сообщение от Аноним (89), 27-Ноя-22, 21:22   +/
Раньше были фс для флюш накопителей (f2fs или как оно?), теперь библиотека:)

Раньше говорили, что в ssd встраивают умные контроллеры и кэши большие можно и без спец фс.. теперь это.

Ответить | Правка | Наверх | Cообщить модератору


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру