The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск встраиваемой СУБД Sophia 2.2, opennews (??), 17-Авг-16, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


10. "Выпуск встраиваемой СУБД Sophia 2.2"  +1 +/
Сообщение от funny_falcon (ok), 17-Авг-16, 11:58 
Я сейчас не про твою критику Софии спрошу. Она частями разумна.
(поправлю только, что O(1) - имелось в виду обращений к диску, а не вычислительных затрат).

Я спрошу: неужели ты себя настолько не ощущаешь личностью, что не смог подобрать псевдоним, не ассоциированный с реальным человеком?

PS. если ты действительно Rob Pike, то приношу прощения.
PPS. да, мой псевдоним тоже мало хорошего говорит обо мне :-)

Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск встраиваемой СУБД Sophia 2.2"  –2 +/
Сообщение от Mail (?), 17-Авг-16, 16:09 
"O(1) - имелось в виду обращений к диску, а не вычислительных затрат"

так и запишем - в новости ложь.

PS
Я спрошу: неужели ты себя настолько не ощущаешь личностью, что не смог подобрать псевдоним, не ассоциированный с реальным человеком?

PPS. если ты действительно Funny Falcon, то приношу прощения.
PPPS. да, мой псевдоним тоже мало хорошего говорит обо мне :-)

Ответить | Правка | Наверх | Cообщить модератору

21. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от funny_falcon (ok), 17-Авг-16, 16:19 
> PPS. если ты действительно Funny Falcon, то приношу прощения.

Я действительно funny_falcon. Я не слышал ни о ком в it-сообществе, кто тоже бы использовал этот ник-нейм. Хотя, мне кажется попадался фотограф из Америки.

Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от rob pike (?), 17-Авг-16, 19:35 
> Я сейчас не про твою критику Софии спрошу. Она частями разумна.

В каких же частях она *не* разумна? Это интереснее всего.

> (поправлю только, что O(1) - имелось в виду обращений к диску, а
> не вычислительных затрат).

Это уже ближе к реальности. А что же с compaction? Он как учитывается в этой формуле? "Имелось в виду что 1 - это не совсем 1, а внутри него есть еще некоторое C"?

> Я спрошу: неужели ты себя настолько не ощущаешь личностью, что не смог
> подобрать псевдоним, не ассоциированный с реальным человеком?

Ощущать себя - это не настолько важное "дело всей жизни" как ныне принято считать.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

31. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от funny_falcon (ok), 17-Авг-16, 19:49 
>> Я сейчас не про твою критику Софии спрошу. Она частями разумна.
> В каких же частях она *не* разумна? Это интереснее всего.
>> (поправлю только, что O(1) - имелось в виду обращений к диску, а
>> не вычислительных затрат).
> Это уже ближе к реальности. А что же с compaction? Он как
> учитывается в этой формуле? "Имелось в виду что 1 - это
> не совсем 1, а внутри него есть еще некоторое C"?

Log(2^48) = 48 (если по основанию 2)
А диск медленнее памяти в 1000 раз (среднестатистический ssd, диск ещё медленнее в 1000 раз).
Потому, если база, не влезающая в память, имеет O(1) обращений к диску и O(log N) поиск в памяти, то это в пределах нашей реальности можно округлить до сложности O(1).

compaction не блокирует ни запись, ни чтение в sophia.
Кроме того, в отличии от потомков leveldb, здесь compaction происходит гораздо меньшими кусочками данных, и потому не производит катастрофических пауз в десятки секунд.

Хотя, безусловно, оно будет нагружать диск.

>> Я спрошу: неужели ты себя настолько не ощущаешь личностью, что не смог
>> подобрать псевдоним, не ассоциированный с реальным человеком?
> Ощущать себя - это не настолько важное "дело всей жизни" как ныне принято считать.

Как бы, если не ощущаешь себя, то вообще не живёшь.
"Ощущать себя" - не является достаточным условием, но является необходимым.

Ответить | Правка | Наверх | Cообщить модератору

34. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от rob pike (?), 17-Авг-16, 20:22 
Если бы compaction здесь был *еще хуже* чем в LevelDB, то и смысла обсуждать бы не было. Проблемы LevelDB, впрочем, этим не ограничиваются, but I digress.

При округлении логарифмов советую посмотреть в сторону NVMe, их, знаете ли, уже в ноутбуки и планшеты ставят. А также не забыть указывать, о какой именно странице памяти речь - впрочем, об этом я говорил в самом первом пункте.

> можно округлить до сложности O(1)

Вы не задумывались, почему в учебниках по алгоритмам так не делают? Так очень много чего было бы "округлить".

> не производит катастрофических пауз

На тех паттернах нагрузки, которые "имелись в виду"? На следующей итерации нашей беседы мы сможем выяснить какие же это паттерны? Что же с другими, которые в виду "не имелись"?

> безусловно, оно будет нагружать диск

Не зависит ли эта нигде не учтенная compaction-нагрузка на диск от операций с БД? А если зависит, то где же эта зависимость в красивой формуле "О(1)"?

> если не ощущаешь себя, то вообще не живёшь

Изложите, пожалуйста, подробней вашу философскую концепцию жизни.

Ответить | Правка | Наверх | Cообщить модератору

36. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от funny_falcon (ok), 17-Авг-16, 20:41 
> При округлении логарифмов советую посмотреть в сторону NVMe, их, знаете ли, уже
> в ноутбуки и планшеты ставят. А также не забыть указывать, о
> какой именно странице памяти речь - впрочем, об этом я говорил
> в самом первом пункте.

http://www.3dnews.ru/917044 - 440000IOP/s на чтение. Быстрее сходу не гуглится.
Подозреваю, что это для pipeline-d (или multithreaded, если вам так понятнее) запросов.
Т.е. латенси там будет явно больше 2000ns. Судя по другим бенчам, типичным будет 10000ns.
Память - 60-100ns. Ок, не в 1000 раз, а в 100.
Но и sophia в памяти держит не все ключи, а малую часть. Так что, можно договориться про
коэффициенты 100 (чтение с диска) и 32 (работа в памяти).

>> можно округлить до сложности O(1)
> Вы не задумывались, почему в учебниках по алгоритмам так не делают? Так
> очень много чего было бы "округлить".

Делают. В последних параграфах, где даются советы по практической реализации.
Типичный совет:
"обращайте внимание на размер ваших данных, и константы, прячущиеся за O. Зачастую, O(N^2) бывает быстрее, чем O(log N), а O(1) - медленнее"

>> не производит катастрофических пауз
> На тех паттернах нагрузки, которые "имелись в виду"? На следующей итерации нашей
> беседы мы сможем выяснить какие же это паттерны? Что же с
> другими, которые в виду "не имелись"?

Ты уже казуистикой занимаешься.

>> безусловно, оно будет нагружать диск
> Не зависит ли эта нигде не учтенная compaction-нагрузка на диск от операций
> с БД? А если зависит, то где же эта зависимость в
> красивой формуле "О(1)"?

Нет, не зависит. Но тебе плевать на это.

>> если не ощущаешь себя, то вообще не живёшь
> Изложите, пожалуйста, подробней вашу философскую концепцию жизни.

Зачем? Тебе же всё равно.
Ты - не ты, и тебе на себя наплевать, раз чужое имя носишь, и во всеуслышание говоришь, что это не главное.
Если тебе на себя наплевать, то почему мне должно казаться, что тебе на меня не наплевать, и на мою "философскую концепцию жизни"?

Ответить | Правка | Наверх | Cообщить модератору

37. "Выпуск встраиваемой СУБД Sophia 2.2"  –1 +/
Сообщение от rob pike (?), 17-Авг-16, 23:09 
80 000 ns это обычный NVMe SSD.
10 000 ns это 3D XPoint.
1 000 ns это NVDIMM.
   100 ns это RAM.
Про NVMe over Fabrics пока не будем.

Если в ваших учебниках не дается анализ худшего случая это не очень хорошие учебники.
Если вы считаете что количество compaction в LSM-структурах данных не зависит от данных, вы считаете неверно.
Если вы считаете что compaction в современных LSM-структурах данных не является ключевым фактором, влияющим на их производительность, вы считаете неверно.

То что не только первоначальная эйфория, связанная с LSM, но и вторая волна - подход "достаточно снизить compaction frequency и свести большинство этой деятельности к hot data key-ranges" - уже остались в прошлом, вы не заметили.

Вам нравится что вам не наплевать что Аноним в интернетах о вас думает?

Ответить | Правка | Наверх | Cообщить модератору

39. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от funny.falcon (?), 17-Авг-16, 23:38 
> 80 000 ns это обычный NVMe SSD.
> 10 000 ns это 3D XPoint.
>  1 000 ns это NVDIMM.
>    100 ns это RAM.
> Про NVMe over Fabrics пока не будем.

:-) убедили. Если у вас столько денег, что вы сотнигигабайтные хранилища на NVDIMM строите, то вы правы.

> Если в ваших учебниках не дается анализ худшего случая это не очень
> хорошие учебники.

Учебники советуют рассматривать реальные случаи, когда дело доходит до реализации. Если худший случай реален, то его нужно рассматривать.

> Если вы считаете что количество compaction в LSM-структурах данных не зависит от
> данных, вы считаете неверно.

Согласен, даже в Софии частота compaction зависит от объема и рандомности записи.

> Если вы считаете что compaction в современных LSM-структурах данных не является ключевым
> фактором, влияющим на их производительность, вы считаете неверно.

Согласен, когда диск нагружен, чтение и запись страдают. Они остаются O(1) от количества данных (для софии), но константа подрастает.
Можно сказать, что появляется завсисимость от интенсивности и характера запросов/нагрузки. Но от количества данных остается прежним.

> То что не только первоначальная эйфория, связанная с LSM, но и вторая
> волна - подход "достаточно снизить compaction frequency и свести большинство этой
> деятельности к hot data key-ranges" - уже остались в прошлом, вы
> не заметили.

Вот здесь софия придерживается иной стратегии: чаще, но меньшими фрагментами.
Это как разные GC: одни чистят много за раз, с большой задержкой, но максимально быстро.
Другие меньшими кусочками и с минимальными задержками.

Понятно, что чем больше мусора производится, тем медленнее вся система.
Но в целом, получается лучше, чем альтернативы.

В общем, правда, что серебрянной пули нет.
Есть сюрекен, арбалетная стрела, метательный топор и бумеранг. Каждый для своей цели, стрелка и обстоятельств применения.

> Вам нравится что вам не наплевать что Аноним в интернетах о вас
> думает?

Мне нравится, что мне не наплевать на себя.

Ответить | Правка | Наверх | Cообщить модератору

43. "Выпуск встраиваемой СУБД Sophia 2.2"  –1 +/
Сообщение от rob pike (?), 18-Авг-16, 01:15 
NVDIMM пока позиционируется не столько для самого хранилища, сколько для индексов.

Учебники, хорошие, советуют рассматривать худшие и лучшие случаи для того чтобы определить является ли ваш случай подходящим для того или иного алгоритма.

> Согласен, даже в Софии частота compaction зависит от объема и рандомности записи.

Невероятный прогресс, всего за полдесятка итераций.

> Согласен, когда диск нагружен, чтение и запись страдают

Потрясающе, кто бы мог подумать.

> константа подрастает

Через сколько итераций мы выясним что на некоторых паттернах эта константа начинает закрывать собой Эйфелеву башню?

> Можно сказать, что появляется завсисимость от интенсивности и характера запросов/нагрузки

Но можно, разумеется, и не говорить. А продолжать рассказывать про О(1). Ведь в случае с огромным количеством данных и одним запросом в месяц это действительно будет так.

> Понятно, что чем больше мусора производится, тем медленнее вся система.

Нет, непонятно.
Всё зависит от того как именно он производится, какую структуру имеет, и как именно собирается. Легко найти случаи когда система, производящая больше мусора будет быстрее чем производящая меньше.

> Но в целом, получается лучше, чем альтернативы.

Нет, не получается. А выражение "в целом" требует расшифровки, подробной и внятной.

> В общем, правда, что серебрянной пули нет.

Замечательно что потребовалось так мало времени чтобы это выяснить.

Ответить | Правка | Наверх | Cообщить модератору

46. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от funny.falcon (?), 18-Авг-16, 07:22 
> NVDIMM пока позиционируется не столько для самого хранилища, сколько для индексов.

Уууу. Понятно. Т.е. все таки, когда нашли где читать, потом опять идти в медленный сторадж. София так и делает, только индекс держит в еще более дешевой DIMM.

> Учебники, хорошие, советуют рассматривать худшие и лучшие случаи для того чтобы определить
> является ли ваш случай подходящим для того или иного алгоритма.

Разве я сказал иное? Лучшие и худшие реальные случаи. Если массив чисел никогда не бывает больше десяти элементов, то insertion sort быстрее quick sort, и linear scan быстрее binary search.

>> Согласен, даже в Софии частота compaction зависит от объема и рандомности записи.
> Невероятный прогресс, всего за полдесятка итераций.

Но не от объема данных. А ведь именно это подразумевается в O(1). Знаток книжек по алгоритмам должен пользоваться терминологией правильно.

>> Согласен, когда диск нагружен, чтение и запись страдают
> Потрясающе, кто бы мог подумать.

Епта. Я еще на первой итерации это упомянул. Но ты слишком напыщен, чтобы поеимать, что тебе отвечают.

>> константа подрастает
> Через сколько итераций мы выясним что на некоторых паттернах эта константа начинает
> закрывать собой Эйфелеву башню?

Ты опять путаещь зависимость от объема данных, и от интенсивности запросов. Плохо для знатока терминологии.

>> Можно сказать, что появляется завсисимость от интенсивности и характера запросов/нагрузки
> Но можно, разумеется, и не говорить. А продолжать рассказывать про О(1). Ведь
> в случае с огромным количеством данных и одним запросом в месяц
> это действительно будет так.

Но комментс.

>> Понятно, что чем больше мусора производится, тем медленнее вся система.
> Нет, непонятно.
> Всё зависит от того как именно он производится, какую структуру имеет, и
> как именно собирается. Легко найти случаи когда система, производящая больше мусора
> будет быстрее чем производящая меньше.

Конечно, если производящая меньше изначально не эффективна. Это тоже самое, что и наш с тобою разговор про сложность алгоритмов, и лучший/худший случай.

>> Но в целом, получается лучше, чем альтернативы.
> Нет, не получается. А выражение "в целом" требует расшифровки, подробной и внятной.

С тобою даже пельмени в целом не получатся.

>> В общем, правда, что серебрянной пули нет.
> Замечательно что потребовалось так мало времени чтобы это выяснить.

Ну ни фига ж себе. Как будто я где-то утверждал, что она есть.


Ответить | Правка | Наверх | Cообщить модератору

49. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от vatocefal (?), 18-Авг-16, 13:39 
>То что не только первоначальная эйфория, связанная с LSM, но и вторая волна - подход "достаточно снизить compaction frequency и свести большинство этой деятельности к hot data key-ranges" - уже остались в прошлом, вы не заметили.

Где посмотреть, что сейчас придумали вместо?

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

51. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от rob pike (?), 18-Авг-16, 22:23 
Не "вместо", в дополнение к прошлым ухищрениям. Поиски что бы такого с LSM сделать чтоб оно всё-таки не так тормозило продолжаются. Про "вместо" никому неинтересно, в моде только LSM.

http://dl.acm.org

Ответить | Правка | Наверх | Cообщить модератору

55. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от Аноним (-), 19-Авг-16, 10:50 
в б-ве юзеркейзов проще юзать вещи вроде LMDB в проектах, где изящно обошли проблемы "мысля вне коробки", во многом. пусть там и более скромная(изначально)функциональность.
Ответить | Правка | Наверх | Cообщить модератору

57. "Выпуск встраиваемой СУБД Sophia 2.2"  –1 +/
Сообщение от rob pike (?), 19-Авг-16, 11:26 
В LMDB своих причуд хватает - на уровне технического исполнения, так что лучше форк https://github.com/ReOpen/libmdbx
Ответить | Правка | Наверх | Cообщить модератору

62. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от Аноним (-), 20-Авг-16, 15:40 
ну, безупречных вещей нет и LMDB использована сугубо "для примера". но это в б-ве случаев - Хорошая штука и она реально РАБОТАЕТ.
это больше от Подхода к созданию проектов зависит и Идеологии, Опыта.
кому-то беркли, кому-то  LMDB, кому-то redis а кому-то вообще mnesia или касандра и прочие гиппопотамы.
Ответить | Правка | Наверх | Cообщить модератору

66. "Выпуск встраиваемой СУБД Sophia 2.2"  –1 +/
Сообщение от rob pike (?), 21-Авг-16, 15:51 
Работает, когда не не работает[1]. LevelDB тоже работает при определенных обстоятельствах[2]. При большом везении работает даже Cassandra[3], Redis[4] и MongoDB[5]. Про Mnesia спросите эрлангистов, лучше непублично, они расскажут почему ей никто не пользуется. BerkeleyDB пытались заставить работать уже столько поколений, что цензурно о ней сложно говорить.

[1] https://github.com/ReOpen/ReOpenLDAP/issues/1
[2] https://twitter.com/alexeyraga/status/729087004806242304
[3] https://aphyr.com/posts/294-jepsen-cassandra
[4] https://aphyr.com/posts/283-jepsen-redis
[5] https://engineering.meteor.com/mongodb-queries-dont-always-r...

И перестаньте писать идеологию и опыт с большой буквы.

Ответить | Правка | Наверх | Cообщить модератору

67. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от Led (ok), 21-Авг-16, 22:23 
> При большом везении работает даже Cassandra[3], Redis[4] и MongoDB[5]. Про Mnesia
> спросите эрлангистов, лучше непублично, они расскажут почему ей никто не пользуется.
> BerkeleyDB пытались заставить работать уже столько поколений, что цензурно о ней
> сложно говорить.

Да, всё вышеперечисленное - работает. Ты просто рукожопый гуманитарий на ставке у опеннета.

Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

68. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от Аноним (-), 21-Авг-16, 23:41 
зря вы так. куча проектов на все этом есть.
те что на редис - я даже подпиливал порой за деньгу, когда-то.
а про мнезию - это в эмбеддовке, специфический рынок и специфические кадры этим заняты, что никто не в курсе - нормально. страшнее только авиаторы и военка в этом плане и непрозрачнее.
Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

58. "Выпуск встраиваемой СУБД Sophia 2.2"  –1 +/
Сообщение от vatocefal (?), 19-Авг-16, 15:56 
А что из существующих реализаций самое продвинутое? Чтобы код можно было посмотреть.
Ответить | Правка | К родителю #51 | Наверх | Cообщить модератору

32. "Выпуск встраиваемой СУБД Sophia 2.2"  +/
Сообщение от funny_falcon (ok), 17-Авг-16, 19:51 
Поправляюсь:
"Ощущать себя" - не является достаточным условием, но является необходимым.

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру