The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Представлена распределённая операционная система DBOS, работающая поверх СУБД, opennews (??), 05-Сен-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


6. "Представлена распределённая операционная система DBOS, работ..."  +3 +/
Сообщение от YetAnotherOnanym (ok), 05-Сен-22, 21:36 
Ну, к тому шло... Когда "что-то" работает на множестве узлов, и надо как-то координировать работу этого "чего-то" на этих узлах, то почему бы не использовать обкатанные технологии распределённых БД. Это напрашивается само собой.
Ответить | Правка | Наверх | Cообщить модератору

18. "Представлена распределённая операционная система DBOS, работ..."  +17 +/
Сообщение от пох. (?), 05-Сен-22, 23:55 
Врачу, исцелися сам!

Проблема распределенных БД - что они в общем и целом- г-но, все до единой.
Либо не тру-распределенные (а master-sl...follower), либо жеппа с целостностью, либо с восстановлением, а чаще всего все и сразу.

Тут же речь об in-memory их разновидностях - которые г-но совершенно фееричнейшее даже на локалхосте.

Ответить | Правка | Наверх | Cообщить модератору

31. "Представлена распределённая операционная система DBOS, работ..."  –1 +/
Сообщение от penetrator (?), 06-Сен-22, 06:13 
чем плох MySQL NDB?
Ответить | Правка | Наверх | Cообщить модератору

36. "Представлена распределённая операционная система DBOS, работ..."  +4 +/
Сообщение от Онаним (?), 06-Сен-22, 08:00 
Те, кто его всерьёз готовил, в цирке не смеются.
Ответить | Правка | Наверх | Cообщить модератору

51. "Представлена распределённая операционная система DBOS, работ..."  +7 +/
Сообщение от Аноним (51), 06-Сен-22, 09:14 
Так и не надо смеяться над акробатами.
Ответить | Правка | Наверх | Cообщить модератору

102. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от penetrator (?), 07-Сен-22, 01:51 
а можно технические подробности?
Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

37. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Онаним (?), 06-Сен-22, 08:01 
Конкретно это счастье плохо тем, что малейшая задержка со сбросом состояния на диск, и нода крашится, а состояние бывает здоровым.
Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

38. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Sw00p aka Jerom (?), 06-Сен-22, 08:02 
мускул который умудряется исчерпать всю память от простого запроса? кек
Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

39. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Онаним (?), 06-Сен-22, 08:02 
Как вам это удаётся? Тут нужен особый талант.
Ответить | Правка | Наверх | Cообщить модератору

41. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Sw00p aka Jerom (?), 06-Сен-22, 08:05 
ну вот, раньше такого не было:)
Ответить | Правка | Наверх | Cообщить модератору

101. "Представлена распределённая операционная система DBOS, работ..."  +1 +/
Сообщение от penetrator (?), 07-Сен-22, 01:51 
какая из нод у тебя исчерпала память? SQL node? coordinator? data node?
сколько всего было памяти на это ноде?
какой объем данных был в базе?
какой запрос и какой объем выборки?
а все ли там было хорошо с настройками?
Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

113. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Sw00p aka Jerom (?), 07-Сен-22, 12:52 
> сколько всего было памяти на это ноде?
> какой объем данных был в базе?
> какой запрос и какой объем выборки?
> а все ли там было хорошо с настройками?

кек, стандалон мускул 8.0 со стандартными настройками, память 32 ГБ + столько же свопа, одна база не превышающая размер в 50 Мб данных и таблиц не больше 30, тестовый стенд. Вот и свалилось к херам исчерпав память + своп, и процесс собственно прибился киллером, запросы обычные с несколькими джойнами, точно не скажу ибо нах мне это надо разгребать, конечно баг мускула именно этой версии. К чему все это, мускул стал хуже!!!

Ответить | Правка | Наверх | Cообщить модератору

114. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Sw00p aka Jerom (?), 07-Сен-22, 13:02 
> какой запрос и какой объем выборки?

вот похоже на это, пофиксили на 8.0.27, а исполоьзовалась 8.0.26

Changes in MySQL 8.0.27 (2021-10-19, General Availability)

Concurrent insert operations on multiple tables with full-text indexes caused a large number of full-text index synchronization requests, resulting in an out of memory condition. (Bug #32831765, Bug #103523)

есть и такие фиксы

Some of the functions defined in mbr_utils.cc threw heap-allocated exceptions in some situations. Memory allocated for the exception object in these cases was never freed, which meant that a small amount of memory leaked each time an exception was thrown.

This is fixed by allocating the exception on the stack in such cases, instead. (Bug #104214, Bug #33086286)

Ответить | Правка | К родителю #101 | Наверх | Cообщить модератору

115. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от penetrator (?), 07-Сен-22, 15:45 
>[оверквотинг удален]
> Concurrent insert operations on multiple tables with full-text indexes caused a large
> number of full-text index synchronization requests, resulting in an out of
> memory condition. (Bug #32831765, Bug #103523)
> есть и такие фиксы
> Some of the functions defined in mbr_utils.cc threw heap-allocated exceptions in some
> situations. Memory allocated for the exception object in these cases was
> never freed, which meant that a small amount of memory leaked
> each time an exception was thrown.
> This is fixed by allocating the exception on the stack in such
> cases, instead. (Bug #104214, Bug #33086286)

ну так это тупо баг, есть еще Maria и Percona и другие форки со своим саппортом, но какое это все имеет отношение к NDB? ответ - никакого

Ответить | Правка | Наверх | Cообщить модератору

120. "Представлена распределённая операционная система DBOS, работ..."  +1 +/
Сообщение от Sw00p aka Jerom (?), 07-Сен-22, 19:52 
> ну так это тупо баг, есть еще Maria и Percona и другие
> форки со своим саппортом, но какое это все имеет отношение к
> NDB? ответ - никакого

да тупо баг, обычное ведь дело в каждом релизе мемлик баги пускать

> но какое это все имеет отношение к
> NDB? ответ - никакого

конкретно тот баг нет не имеет, ибо ндб фултекста не имеет.

пс: и смех и грех

Linux: On Linux systems, NDB interpreted memory sizes obtained from /proc/meminfo as being supplied in bytes rather than kilobytes. (Bug #102505, Bug #32474829)


Ответить | Правка | Наверх | Cообщить модератору

42. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Онаним (?), 06-Сен-22, 08:10 
Ну и конечно отдельный цирк с дедлоками. Транзакции ж конвертируются в key-value, row-based locks превращаются в block-based locks, со всеми вытекающими.
Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

100. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от penetrator (?), 07-Сен-22, 01:48 
можно подробнее?

какие транзакции? на каких запросах?

P.S. ссылки приветствуются

Ответить | Правка | Наверх | Cообщить модератору

107. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Онаним (?), 07-Сен-22, 10:27 
https://dev.mysql.com/doc/mysql-cluster-excerpt/8.0/en/mysql...

Думаю, для самого начала достаточно.

Ну и вот сюда можно поглядеть. В старой дооракловой документации было доходчивое объяснение процессов LCP-GCP, в этой при беглом осмотре не нашёл.

Ответить | Правка | Наверх | Cообщить модератору

108. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Онаним (?), 07-Сен-22, 10:27 
https://dev.mysql.com/doc/refman/8.0/en/mysql-cluster-basics...
Ответить | Правка | Наверх | Cообщить модератору

116. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от penetrator (?), 07-Сен-22, 15:56 
> https://dev.mysql.com/doc/mysql-cluster-excerpt/8.0/en/mysql...
> Думаю, для самого начала достаточно.
> Ну и вот сюда можно поглядеть. В старой дооракловой документации было доходчивое
> объяснение процессов LCP-GCP, в этой при беглом осмотре не нашёл.

и где там нечто именуемое "block-based locks"?

там есть только:
To ensure that a given transaction reads only before or after values, you can impose row locks using SELECT ... LOCK IN SHARE MODE. In such cases, the lock is held until the owning transaction is committed.

И это нужно для эмуляции уровня изоляции Repeatable Read, что выше и написано по сути.
Но никто не мешает использовать Read Commited стандартный почти для 99% приложений (написаннных без такого говна как Entity Framework или еще какого ORM, переопределяющего дефолтовый уровень изоляции).

Ответить | Правка | К родителю #107 | Наверх | Cообщить модератору

128. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Онаним8194 (?), 08-Сен-22, 22:53 
Там даже хуже чем блочные блокировки, да, прошу прощения, блочных блокировок в NDB нет, только строчные, перепутал с TokuDB.

Начнём с того, что READ COMMITTED - это единственное, что может NDB. Больше ничего не может в принципе.
Причём не просто READ COMMITTED, а per row, что дополнительно доставляет.

Как только появляются уникальные индексы - у тебя начинаются дополнительные приключения - чтение, не использующее никакой индекс (full scan / ALL), начинает брать блокировки на всю таблицу целиком. Эти же приключения есть при других условиях. Это SHARED READ LOCK, то есть любая модификация попавших в чтение строк в этот момент идёт курить бамбук. Если скан занимает сколь-либо длительное время - всё, приплыли.

Ответить | Правка | Наверх | Cообщить модератору

64. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от darkshvein (ok), 06-Сен-22, 12:20 
чем плох обычный мускул или постгресс??
Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

40. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Sw00p aka Jerom (?), 06-Сен-22, 08:04 
кактус одним словом :)
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

55. "Представлена распределённая операционная система DBOS, работ..."  –1 +/
Сообщение от prokoudineemail (ok), 06-Сен-22, 11:09 
> Тут же речь об in-memory их разновидностях - которые г-но совершенно фееричнейшее даже на локалхосте.

Это до момента, когда у тебя большая географически распределенная сеть точек почти во всех регионах, десятки/сотни тысяч позиций с пересчетом цен один-два раза в день с поправкой для каждого региона и офиглиард заказов ежедневно. Как наплачешься с инвалидацией многокилометрового кэша — приходи.

Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

59. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Аноним (59), 06-Сен-22, 11:41 
Ну а чо делать-то? Времена smp шкафов прошли, нужно исполняться на кучах куч тазиков. У гуглов вроде что-то получается.
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

79. "Представлена распределённая операционная система DBOS, работ..."  +2 +/
Сообщение от YetAnotherOnanym (ok), 06-Сен-22, 15:24 
Ты переносишь на БД, которая используется "для хранения приложений и состояния системы" те проблемы, которые имеют место в других областях использования БД. У БД объявлений Авито своя специфика, у БД постов и каментов ВК - своя, у БД документооборота Госуслуг своя, у Росреестра своя, здесь тоже своя специфика. Вот лежит у нас бинарник программы в БД в виде блоба. Мы скомпиляли новую версию и с помощью средств, которые предоставляет распределённая БД, распихали его по нодам. Логи тоже кидаются в БД, вроде бы единую, но логи от разных нод не пересекаются. Конфликту взяться неоткуда, при этом в любой момент можно прогрепать логи по всей сети. И так далее. Имхо, вещь очень перспективная.
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

121. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от ыы (?), 08-Сен-22, 07:29 
> в любой момент можно прогрепать логи по всей сети

И все они лежат в памяти...
Благословенна компьютера с бесконечной оперативной памятью... способной вместить все непересекающиеся логи в сети...

Ответить | Правка | Наверх | Cообщить модератору

25. "Представлена распределённая операционная система DBOS, работ..."  +3 +/
Сообщение от all_glory_to_the_hypnotoad (ok), 06-Сен-22, 02:21 
Давно уже к похожей картине пришли в кишках облаков вроде Амазона и Яндекса. Только готовые СУБД для решения задачи не подходят. Уходят годы на разработку специальных оптимизированных СУБД и всё равно получается большой оверхед по ресурсам и прочая куча проблем. Красиво выглядит только на словах.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

72. "Представлена распределённая операционная система DBOS, работ..."  –1 +/
Сообщение от Аристарх (??), 06-Сен-22, 14:19 
Ещё один "аспирант-теоретик"! :)) Увидел какую-то чушь, да ещё и защищает.
В реале этот павлиноуткаёж не взлетит. Это чисто экспериментальный проект, рождённый, чтобы загнуться. Это не будущее ни разу.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

80. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от YetAnotherOnanym (ok), 06-Сен-22, 15:33 
Не взлетит, не взлетит, можешь не волноваться. Там игорей нет, и медиаплеера нет, и торентокачалки нет, и мессенджеров нет, и браузер не портировали, и офиса тоже нет, и нвидии они палец не показали, чтобы дрова сделала.
Ответить | Правка | Наверх | Cообщить модератору

109. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от ыы (?), 07-Сен-22, 10:54 
А какой палец они должны показать Нвидии чтобы та сделала под них дрова?
Ответить | Правка | Наверх | Cообщить модератору

112. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от YetAnotherOnanym (ok), 07-Сен-22, 11:40 
> А какой палец они должны показать Нвидии чтобы та сделала под них
> дрова?

Тот же, какой показал Линус.

Ответить | Правка | Наверх | Cообщить модератору

122. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от ыы (?), 08-Сен-22, 07:29 
От шоб я следил за пальцами какого-то поца...
Ответить | Правка | Наверх | Cообщить модератору

131. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Neon (??), 09-Сен-22, 18:11 
Короче ничего нет. Дрочение ради самого процесса)))
Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

91. "Представлена распределённая операционная система DBOS, работ..."  –1 +/
Сообщение от adolfus (ok), 06-Сен-22, 21:01 
Распределенных баз данных не бывает. База данных тогда только база данных, когда она ACID. Все остальное -- файлопомойка.
С данными на множестве узлов работают только нищeбpoды. Нормальные пацаны для этого используют мэйнфреймы. Один 19" блок Z имеет одной оперативки до 40 Тбайт, а в шкафу с ним и в шкафу рядом десятки петабайт дисковой памяти. Одним словом, https://www.redbooks.ibm.com/redbooks/pdfs/sg248851.pdf. Таким образом, на территории, занимаемой парой 19" шкафов (~ 5 квадратных метров с учетом распахнутых дверок и выезда блоков на салазках) располагается любая нынешняя распределенная база данных, какогj бы объема она не была. При этом она даже не ACID, а ACIZ. Z -- zero access time 24/7... Z здесь  вместо D -- durability.
Спросите, а почему гуглы не используют мэйнфреймы? Ответ лежит в плоскости рейдерского наезда жидoрептилоидов из конгреса под предводительством гейтсов на IBM в конце 90-х -- IBM просто не желает с алиенами иметь дело. Пейсбук сюда же.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

92. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от YetAnotherOnanym (ok), 06-Сен-22, 21:37 
> База данных тогда только база данных, когда она ACID

А если юзкейс этого не требует?

Ответить | Правка | Наверх | Cообщить модератору

95. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от adolfus (ok), 06-Сен-22, 22:29 
>> База данных тогда только база данных, когда она ACID
> А если юзкейс этого не требует?

Значит то, что он использует, -- это не база данных, а свалка данных, в лучшем случае файлопомойка.
Юзекейсы -- это термин, не имеющий никакого отношения к базам данных. Это вообще термин из UML -- абстрактного языка, который не предназначен описывать организацию данных, а только использовать уже готовую, причем исключительно статическую организацию, чтобы поверх нее создавать т.н. бизнесалгоритмы, которым будут следовать биороботы, нанятые данным бизнесом.
Юзеркейсы определяют подмножество допустимых действий пользователей над доступными им (в виде static view) данными, при этом они никак не могут влиять на схему данных в базе, поскольку сугубо вторичны и подчинены.
Юзекейс -- это действия, а database никаких действий вообще не определяет -- это просто набор описаний данных и связей между ними (отношений). Эти описания исключительно декларативны и не предполают никаких конкретных действий с ними. Действия -- это задача другого уровня (прикладного). Юзеркейсы -- это методы, а dataase -- это данные, никаких методов доступа к ним не устнавливающие. Юзеркейсы в связи с данными придуманы это лишь для того, чтобы стричь бабки с ООП-лохов, котороые пкупают тысячкстраничные книжки, набитые на 10% банальностями полувековой давности, а на остальные дибильными выдумками крайне ангажированных авторов.


Ответить | Правка | Наверх | Cообщить модератору

110. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от YetAnotherOnanym (ok), 07-Сен-22, 11:31 
> биороботы, нанятые данным бизнесом.

А, ну, всё понятно.
> Юзекейс -- это действия, а database никаких действий вообще не определяет --
> это просто набор описаний данных и связей между ними (отношений).

И? Как быть в случае, если для выполнения действий, требуемых юзкейсом, необходима система с такими данными и отношениями между ними, чтобы в любой географической точке данные были доступны мгновенно, а небольшое отставание актуальности  некритично? Например, пользователь, чей кредит исчерпан, будет несколько минут пользоваться неким сервисом при отрицательном балансе лицевого счёта? При том, что более строгий подход (допуск к пользованию сервисом только при наличии денег на счету, подтверждённом ответом только от центральной БД) приведёт к недоступности сервиса для абонентов на какой-то территории из-за отвала центральной БД.

Ответить | Правка | Наверх | Cообщить модератору

123. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от ыы (?), 08-Сен-22, 07:42 
(1)
>необходима система с такими данными и отношениями между ними, чтобы в любой географической точке данные были доступны мгновенно, а небольшое отставание актуальности  некритично?

То есть такая система - Хорошая система

(2)
>Например, пользователь, чей кредит исчерпан, будет несколько минут пользоваться неким сервисом при отрицательном балансе лицевого счёта?

То есть такая система - плохая система

(3)
>При том, что более строгий подход (допуск к пользованию сервисом только при наличии денег на счету, подтверждённом ответом только от центральной БД) приведёт к недоступности сервиса для абонентов на какой-то территории из-за отвала центральной БД.

От щото я уже запутался в мысли... то есть такая система - плохая система или хорошая?

Ответить | Правка | Наверх | Cообщить модератору

127. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от YetAnotherOnanym (ok), 08-Сен-22, 11:10 
> То есть такая система - плохая система

Но с этим иногда можно смириться.

Ответить | Правка | Наверх | Cообщить модератору

125. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от 1 (??), 08-Сен-22, 09:12 
> "чтобы в любой географической точке данные были доступны мгновенно"

Ну мгновенно - не получится - скорость света/интернета ограничена.
И разве это не реализовать на одном Z-series с толстыми каналами ?

Ответить | Правка | К родителю #110 | Наверх | Cообщить модератору

126. "Представлена распределённая операционная система DBOS, работ..."  +1 +/
Сообщение от YetAnotherOnanym (ok), 08-Сен-22, 11:09 
> с толстыми каналами ?

В мире, где строители могут воткнуть сваю в идущий по тоннелю вагон метро, никакой канал не может считаться абсолютно надёжным. После первого же порванного левым экскаватором кабеля начинаешь иначе смотреть на всё, и проектировать инфраструктуру с учётом возможного разрыва соединения. В одних случаях единственный возможный вариант - выдать ошибку и ждать восстановления линка. В другом можно пользоваться локальной репликой, а синхронизацию провести после восстановления связи.

Ответить | Правка | Наверх | Cообщить модератору

97. "Представлена распределённая операционная система DBOS, работ..."  +2 +/
Сообщение от Michael Shigorinemail (ok), 07-Сен-22, 01:13 
> Один 19" блок Z имеет одной оперативки до 40 Тбайт

Один 4Э16С умеет до 16 Тб.

Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

111. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от YetAnotherOnanym (ok), 07-Сен-22, 11:39 
Не ломайте человеку манямирок, в котором уровень технологического лидерства Межделмаша недостижим для соперников, а СУБД могут быть только кислотными и никак иначе.

Ответить | Правка | Наверх | Cообщить модератору

106. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от ыы (?), 07-Сен-22, 09:57 
>Распределенных баз данных не бывает. База данных тогда только база данных, когда она ACID. Все остальное -- файлопомойка.

А в каком месте шардинг противоречит ACID?

Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

132. "Представлена распределённая операционная система DBOS, работ..."  +/
Сообщение от Аноним (132), 10-Сен-22, 13:55 
Боян [:|||||||:]

IBM System i

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру