Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

СУБД Dolt, позволяющая манипулировать данными в стиле Git, opennews (??), 07-Мрт-21, (0) [смотреть все] Круто По крайней мере задумка хотя бы она Что-то инновационное , Msk20 (?), 12:36 , 07-Мрт-21, (2) +6 // Не сказал бы, что это что-то инновационное Если вам нужна версионность, ее легк, Урри (ok), 16:01 , 07-Мрт-21, (36) –2 // А если приложение не поддерживает дополнительный столбец Очень много систем с , tim2k (ok), 17:27 , 07-Мрт-21, (43) –4 // Так пусть не поддерживает Мы ему напишем внешнюю нашлёпку, которая по нашему за, Annoynymous (ok), 18:40 , 07-Мрт-21, (46) +4 Значит оно не поддерживает и СУБД Dolt О чем вообще разговор , adolfus (ok), 20:28 , 07-Мрт-21, (50) +6 Dolt MySQL на уровне протокола, Аноним (108), 10:34 , 08-Мрт-21, (108) И где там вон тот AS OF , ыы (?), 11:18 , 08-Мрт-21, (110) Что-то добавлять к КАЖДОЙ А таблиц в БД десятки Менять много Так что не так , Msk20 (?), 18:42 , 07-Мрт-21, (47) –2 // А вы думаете как партицирование делается Не только на каждую таблицу а каждую, ыы (?), 23:42 , 07-Мрт-21, (62) +4 Нет, не совсем Подобный подход позволяет версионифицировать данные в одной табл, минона (?), 20:36 , 07-Мрт-21, (51) // мы строим sql запрос Зачем перед этим организовывать физическое присутствие, ыы (?), 23:45 , 07-Мрт-21, (63) Возможно, я не совсем понял вопрос, но в системах, для которых нужно манипулиров, минона (?), 01:00 , 08-Мрт-21, (72) +1 Это все понятно И точки зрения академического интереса - можно извернуться П, ыы (?), 09:08 , 08-Мрт-21, (86) –1 а это уже троллинг на уровне детсада , B (?), 23:11 , 08-Мрт-21, (127) Эта штука позволяет немного иначе разделить задачи Это не значит, что в ней мож, Ordu (ok), 04:16 , 08-Мрт-21, (83) // прикрутить к git- обертку для запросов на sql , ыы (?), 09:59 , 08-Мрт-21, (106) Хотя это конечно чисто извернуться Штука когда есть набор данных которые надо , ыы (?), 10:05 , 08-Мрт-21, (107) Нет никакой системы, чтобы говорить о проектировании её Это процесс разработки , Ordu (ok), 11:36 , 08-Мрт-21, (111) Чем-то напоминает если вам нужны версии, просто делайте архивы , Аноним (139), 12:51 , 09-Мрт-21, (139) Да что-то ничего крутого ни в гит ни в стиле гит нет Последние откровенным ма, Аноньимъ (ok), 01:33 , 08-Мрт-21, (76) –2 Вроде не такая сложная идея, но прямо историческая крутость , Kusb (?), 12:40 , 07-Мрт-21, (4) +4 // Про крутость пока неизвестно Просто сказать у нас версии данных мало, нужно, Gogi (??), 13:59 , 07-Мрт-21, (13) +5 // Мы засунули вам абстракцию в абстракцию, чтобы пока вы используете абстракцию, м, Синдарин (?), 00:30 , 08-Мрт-21, (70) +4 Название настораживает Хотя Go , Онаним (?), 13:34 , 07-Мрт-21, (9) –4 Что за чушь Причём тут git вообще Или вы больше не знаете DVCS Почему не в , Gogi (??), 13:52 , 07-Мрт-21, (11) –3 // https github com dolthub dolt blob master README md Dolt is a SQL database tha, RNZ (ok), 14:09 , 07-Мрт-21, (22) +5 // Фанфики, которые мы заслужили А по сабжу - если взлетит, то будет интересно посл, Аноним (45), 18:31 , 07-Мрт-21, (45) +3 // Зачем нам сын Git x MySQL, если можно внука Git x Bitcoin x MongoDB OrbitDB , Аноним (49), 20:18 , 07-Мрт-21, (49) Мичурин, залогиньтесь , YetAnotherOnanym (ok), 21:39 , 07-Мрт-21, (54) Откуда берутся все эти уроды , Аноньимъ (ok), 01:36 , 08-Мрт-21, (77) +1 Сон разума рождает чудовищ с , ыы (?), 09:48 , 08-Мрт-21, (104) +3 стул в пепел , имятакое (?), 14:41 , 07-Мрт-21, (28) +2 Без биндингов к питону a-la SQLite без клиент-серверного говна, чтобы всё было, Аноним (49), 13:56 , 07-Мрт-21, (12) // Вообще-то игогошечка был сделан для того чтобы твой бидон прихлопнуть нафиг И с, Аноним (17), 14:05 , 07-Мрт-21, (17) –2 // Совершенно разные вещи Одна из главных фич всех скриптовых языков - это REPL А, Аноним (49), 14:21 , 07-Мрт-21, (26) +1 // Скрыто модератором, Аноним (-), 14:51 , 07-Мрт-21, (29) –2 Как это связано Для Haskell есть REPL, хотя он компилируемый по самое небалуй , Аноним (32), 15:04 , 07-Мрт-21, (32) Я сказал эффективного Ты наверное этим REPLом для C , основанном на устаревш, Аноним (49), 16:38 , 07-Мрт-21, (40) –3 Ну, понимаешь, твоя эффективность продакшну очень дорого обходится, сервера ба, Аноним (-), 23:15 , 07-Мрт-21, (60) Учитывая что серверов у гугла как грязи, и сама архитектура построена на идее де, ыы (?), 00:13 , 08-Мрт-21, (68) Сервер может быть дешёвым, но датацентры стоят дорого, особенно когда жрут много, Аноним (81), 03:01 , 08-Мрт-21, (81) +1 Я думаю упрощение труда программиста будет и дальше превалировать над ценой обор, ыы (?), 09:21 , 08-Мрт-21, (90) Гонять на том же парке серверов в разы большую нагрузку без докупки дешевых се, Аноним (-), 09:20 , 08-Мрт-21, (88) А вы знаете разницу в производительности дешевого сервера и дорогого В пересче, ыы (?), 09:25 , 08-Мрт-21, (92) мы знаем, а вам гуглить придется , B (?), 23:17 , 08-Мрт-21, (128) В пересчете на ватт еще не забудьте Когда некто оперирует целыми датацентрами, , Аноним (-), 23:43 , 08-Мрт-21, (129) –2 Это в веб-сервисах Я же программер на питоне и плюсах программ для десктопа и д, Аноним (49), 08:37 , 08-Мрт-21, (85) Ага, питон - таки да, для сайентистов с одноразовыми макетами А для остального , Аноним (-), 09:22 , 08-Мрт-21, (91) –1 В продакшне видите ли скорость приоритетнее И черт с ним, с REPLом нахрен он, Аноним (-), 23:10 , 07-Мрт-21, (59) Да нахрена он вообще Та же беда, что и с экспериментами в командной строке шелл, CrazyAlex (?), 07:35 , 08-Мрт-21, (84) Ну вон какой-то дата-саентолог вылез Ему может что-то такое и пригодится А , Аноним (-), 09:28 , 08-Мрт-21, (95) go run Что значит эффективный REPL Вот такой что-ли https github com moteme, RNZ (ok), 14:30 , 08-Мрт-21, (117) А они есть https github com dolthub doltpy, Ted (?), 15:35 , 07-Мрт-21, (34) // Он стартует серверный процесс и подключается к нему по сети Значит будет оверхе, Аноним (49), 16:29 , 07-Мрт-21, (39) –3   // Питон сам тормозной как трактор, так что смысла то все это оптимизировать Чтобы, Аноним (-), 23:18 , 07-Мрт-21, (61)   Тоже узко Питон позволяет подключать сишные библиотеки для числодробилок Если , kai3341 (ok), 01:21 , 08-Мрт-21, (75) +1   База данных, наверное, не числодробилка Да, и используя базу на го логично и бэк, Аноним (-), 09:30 , 08-Мрт-21, (96)   Мне даже возразить нечего -- слишком узко мыслите, не поймёте-сс Что делать, есл, kai3341 (ok), 01:02 , 08-Мрт-21, (73)   Смузихлебы способны и не на такое Это вы тут узко мыслите Нужно все разделить н, Аноньимъ (ok), 01:50 , 08-Мрт-21, (78)   К -- Конструктивность Сразу видно -- Инженерище thread, kai3341 (ok), 02:00 , 08-Мрт-21, (80)   Перезапустить Многопроцессность не нужна, у нас bottleneck при импорте - случайн, Аноним (49), 09:16 , 08-Мрт-21, (87)   Отлично Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закон, kai3341 (ok), 22:13 , 08-Мрт-21, (126)   Это только если отключён журнал Отключение журнала повысит производительность, , Аноним (146), 10:01 , 10-Мрт-21, (146)   Это забавный тонкий момент Журнал как раз позволяет восстановить структуру в ав, kai3341 (ok), 15:03 , 11-Мрт-21, (149)   Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейс, Аноним (-), 09:32 , 08-Мрт-21, (97) +1   Оказывается, проблема питона в стэктрейсах Вы их боитесь Они вас обидели Ярлык, kai3341 (ok), 21:18 , 08-Мрт-21, (125) –1   Когда все резко и внезапно обламывается с адским стэктрейсом - это неприятно, да, Аноним (-), 23:47 , 08-Мрт-21, (130) +1   А чего тогда не Golt P, Аноним (17), 14:03 , 07-Мрт-21, (14) // go it do it , B (?), 00:44 , 09-Мрт-21, (133) Сейчас чуть дотошнее прочёл и прям взрыв мозга Клонировать таблицы Ну, допустим, Gogi (??), 14:04 , 07-Мрт-21, (15) –2 // Вот тоже интересно что-нибудь серьезней обычного bcp они сделали , Аноним (42), 17:14 , 07-Мрт-21, (42) Если идеи, заложенные в эту СУБД, настолько ортогональны всему, что ты когда-то , YetAnotherOnanym (ok), 21:46 , 07-Мрт-21, (55) –1 // Скажите пожалуйста, а зачем версионировать таблицы БД со статистикой о коронави, ыы (?), 22:44 , 07-Мрт-21, (57) +1 // Это похоже попытка сделать темпоральную БД Компании разные пыжились но как я по, Аноним (42), 23:55 , 07-Мрт-21, (64) InfluxDB называется Вон работает как лошадь - метрики мониторинга пишет , ыы (?), 00:07 , 08-Мрт-21, (66) +1 Больше имело в виду полностью скуль база На которой можно делать всё тоже самое, Аноним (42), 01:19 , 08-Мрт-21, (74) зачем , ыы (?), 09:28 , 08-Мрт-21, (94) Затем же зачем и всё остальное - упростить работу Всё в одной таблице а заморач, Аноним (42), 11:39 , 08-Мрт-21, (113) А почему нельзя при изменении одной ячейки считать всю таблицу со старым значени, YetAnotherOnanym (ok), 00:44 , 08-Мрт-21, (71) +1 Это все элементарно делается уже имеющимися технологиями , ыы (?), 09:33 , 08-Мрт-21, (98) Доски тоже можно прикреплять деревянными штырьками, забивая их булыжником Но гв, YetAnotherOnanym (ok), 14:30 , 08-Мрт-21, (116) +1 Именно так, всякие dolt и прочие булыжники не нужны , Аноним (-), 16:25 , 09-Мрт-21, (143) Интересно, что у БД есть история с 2016 года И до 2018 года ей занимались абсол, Аноним (18), 14:05 , 07-Мрт-21, (18) +3 О, что-то интересное, да ещё и на Golang Спасибо большое , Иваня (?), 15:45 , 07-Мрт-21, (35) –5 с одной стороны инт , а с другой стороны аназачем ну вот реально а на зачем , DIO (?), 16:42 , 07-Мрт-21, (41) –1 // Распределённый Интернет, не нужно быть постоянно связанным всеми со всем миром , Kusb (?), 19:49 , 07-Мрт-21, (48) dictionary cambridge org 8250 dictionary 8250 english 8250 doltdolt def, anonimous (?), 20:37 , 07-Мрт-21, (52) +2 // Я понял, это шутку к 1му апреля готовят , Аноньимъ (ok), 01:56 , 08-Мрт-21, (79) // Не, ну а чего Разработчики честны относительно аудитории У го и на логотипе, в, Аноним (-), 23:48 , 08-Мрт-21, (131) Here we go again, Аноним (53), 21:26 , 07-Мрт-21, (53) +2 Сначала я подумал о, круто, какая свежая идея , а потом подумал ещё и понял, чт, Аноним (56), 22:24 , 07-Мрт-21, (56) // Мне вот тоже непонятно чем выборка по актуальному признаку при физическом отсут, ыы (?), 22:54 , 07-Мрт-21, (58) +1 // Допустим, у вас датасет плюс-минус один, но может пополняться А состояний, в ко, Crazy Alex (ok), 09:26 , 08-Мрт-21, (93) // Это просто дурно спроектированная база данных и ветер в консерватории программис, ыы (?), 09:35 , 08-Мрт-21, (101) Угу, и git не нужен, потому что бизнесу он бесполезен , Ordu (ok), 03:53 , 08-Мрт-21, (82) // После того как я увидел ТОПА ТРАНСНАЦИОНАЛЬНОЙ КОРПОРАЦИИ сцуко регающегося на г, Аноним (-), 09:35 , 08-Мрт-21, (100) +1 Это вы уж сами придумали Тут проблема не в конкретном гите, а в том, что будет в, Аноним (56), 16:29 , 08-Мрт-21, (120) // Узкой области применений Data science растёт как на дрожжах, и я бы не назва, Ordu (ok), 17:11 , 08-Мрт-21, (121) Сообщение набрано и отправлено, квиток от внешней системы ещё не получен, и тут,, Аноним (56), 01:26 , 09-Мрт-21, (134) То же самое будет и с сорцами в git, ежели ты, проводя серию связанных изменений, Ordu (ok), 04:07 , 09-Мрт-21, (136) От форков сорцов в гит ни горячо, ни холодно, потому что это никак не влияет на , Аноним (56), 09:06 , 09-Мрт-21, (137) –1 Ты про реальность, с точки зрения бизнеса Когда программист потратил рабочий де, Ordu (ok), 09:15 , 09-Мрт-21, (138) От того, что у программиста не компилируется, реальности пофигу , Аноним (56), 17:30 , 09-Мрт-21, (144) От того, что проводки не проводятся реальности тоже пофигу , Ordu (ok), 00:03 , 10-Мрт-21, (145) Да-да, интересно, как будет брызгать слюною конкретный Ordu, когда его платежи , Аноним (56), 09:04 , 11-Мрт-21, (147) Всегда меня озадачивало, как люди могут жить в своём информационном пузырьке и н, Ordu (ok), 11:03 , 11-Мрт-21, (148) Речь не об однократном откате, а о том, что для разных ситуаций правильное ко, Crazy Alex (ok), 09:21 , 08-Мрт-21, (89) // При исследовании - подмена данных ради хорошего результата- это все таки кримин, ыы (?), 09:38 , 08-Мрт-21, (103) +1 // Без этой подмены ничего не работает В сыром датасете всегда куча мусора И его , Ordu (ok), 11:39 , 08-Мрт-21, (112) Если факты не подтверждают теорию, от них нужно избавиться cледствие из зако, Аноним (-), 23:52 , 08-Мрт-21, (132) Во-первых, всегда есть первичная обработка - выкинуть сильные выбросы, явный мус, CrazyAlex (?), 19:53 , 08-Мрт-21, (124) Идея интересная, но чем в данном случае будет merge OK, допустим это слияние дв, Аноним (65), 00:01 , 08-Мрт-21, (65) Мне кажется, что база данных, в которой определенный scn или момент времени имее, ыы (?), 00:11 , 08-Мрт-21, (67) // Это если вы там бахгалтерию или регистрантов на сайте храните А для исследовани, Crazy Alex (ok), 09:33 , 08-Мрт-21, (99) // По моему это придумывание задач под забавную игрушку попавшую в руки , ыы (?), 09:36 , 08-Мрт-21, (102) У приличных баз данных есть такая штука как флэшбек И от шо я скажу- если вам, ыы (?), 00:16 , 08-Мрт-21, (69) +2 Кстати, а почему они не написали с точностью до наоборот - прикрутить к git- обе, ыы (?), 09:50 , 08-Мрт-21, (105) // Да именно так берем обычный немодифицированный git любой берем обычный немодифи, ыы (?), 10:49 , 08-Мрт-21, (109) Написано на Go Как это чудо будет вести себя под высокими нагрузками с большим , Прохожий (??), 12:54 , 08-Мрт-21, (114) +1 Почему не на блохчлене Даешь гит овер блохчлен субд , msgod (ok), 14:49 , 08-Мрт-21, (118) Манипулировать данными это всегда хорошо , Аноним (119), 15:43 , 08-Мрт-21, (119) Я помню, что хотел такую штуку написать, но уже не помню зачем , Аноним (122), 18:47 , 08-Мрт-21, (122) 2,4,9,11,12,14,15,18,35,41,52,53,56,65,67,69,105,114,118,119,122

Сообщения

[Сортировка по времени | RSS]

	39. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–3 +/–
	Сообщение от Аноним (49), 07-Мрт-21, 16:29
	Он стартует серверный процесс и подключается к нему по сети. Значит будет оверхед на переключение контекста, оверхед на сокет, оверхед на сериализацию, никакого прямого доступа к отображениям в памяти, да ещё и без гарантий завершения сервера, если клиентский процесс упадёт. Поэтому я мультипроцессинг так и не люблю.
	Ответить | Правка | Наверх | Cообщить модератору

	61. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 07-Мрт-21, 23:18
	> Он стартует серверный процесс и подключается к нему по сети. Значит будет > оверхед на переключение контекста, оверхед на сокет, оверхед на сериализацию, никакого > прямого доступа к отображениям в памяти Питон сам тормозной как трактор, так что смысла то все это оптимизировать? Чтобы знатно попахать с результатом близким к нулю?
	Ответить | Правка | Наверх | Cообщить модератору

	75. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 01:21
	> Питон сам тормозной как трактор, так что смысла то все это оптимизировать? Чтобы знатно попахать с результатом близким к нулю? Тоже узко. Питон позволяет подключать сишные библиотеки для числодробилок. Если вынести на python логику контроллера (которой овердохера и она часто меняется, но при этом сложной не является), то оверхед будет минимальным (см. профайлер). Если при этом ещё не тупить и использовать asyncio, то процессорное время на python-код будет минимальным Я к чему. Не надо забивать гвозди микроскопом
	Ответить | Правка | Наверх | Cообщить модератору

	96. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 08-Мрт-21, 09:30
	> Тоже узко. Питон позволяет подключать сишные библиотеки для числодробилок. База данных, наверное, не числодробилка? > Я к чему. Не надо забивать гвозди микроскопом Да, и используя базу на го логично и бэк на нем же делать, чтоли. А профайлить питон пусть будет кто-нибудь другой. Сами эти фекалии профайльте.
	Ответить | Правка | Наверх | Cообщить модератору

	73. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 01:02
	>  Он стартует серверный процесс и подключается к нему по сети. Значит будет оверхед на переключение контекста, оверхед на сокет, оверхед на сериализацию, никакого прямого доступа к отображениям в памяти, да ещё и без гарантий завершения сервера, если клиентский процесс упадёт. Поэтому я мультипроцессинг так и не люблю. Мне даже возразить нечего -- слишком узко мыслите, не поймёте-сс. Что делать, если пользовательский процесс упадёт с сегфолтом посреди транзакции? Как синхронизировать множество подключений? Через временный файл? In-memory кэши хранить в каждом процессе, значит, свои? Как инвалидировать? Или не кэшировать данные вовсе? Тогда что делать с производительностью? Может, не зря индустрия БД запускает в отдельном процессе? Или миллионы опытных программистов ошибаются?
	Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

	78. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноньимъ (ok), 08-Мрт-21, 01:50
	Смузихлебы способны и не на такое. Это вы тут узко мыслите! Нужно все разделить на микросервисы с персональными кешами и кеширующими микросервисами. И тогда взлетит!
	Ответить | Правка | Наверх | Cообщить модератору

	80. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 02:00
	> Смузихлебы способны и не на такое. Это вы тут узко мыслите! > Нужно все разделить на микросервисы с персональными кешами и кеширующими микросервисами. И тогда взлетит! К -- Конструктивность. Сразу видно -- Инженерище! /thread
	Ответить | Правка | Наверх | Cообщить модератору

	87. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (49), 08-Мрт-21, 09:16
	>Что делать, если пользовательский процесс упадёт с сегфолтом посреди транзакции? Перезапустить. >Как синхронизировать множество подключений? Через временный файл? Многопроцессность не нужна, у нас bottleneck при импорте - случайное чтение и запись. Клиент один и только один. Если остальные клиенты подключаются во время импорта - значит их проблемы. >In-memory кэши хранить в каждом процессе, значит, свои? Как инвалидировать? Или не кэшировать данные вовсе? Тогда что делать с производительностью? Да, свои, но у нас только один процесс. Вопрос только в том, зачем вообще хранить свои кеши, если кеширование - это забота ОС, а забота разраба базы данных - иметь отображение на часть файла, которую надо кешировать? >Может, не зря индустрия БД запускает в отдельном процессе? Или миллионы опытных программистов ошибаются? У них другие задачи. Эта же база изначально позиционируется как база для хранения datasetов и заливки их на их dolthub. Для хранения datasetов нужна не сетевая база, а встраиваемая, можно вообще не базу, а HDF-файл.
	Ответить | Правка | К родителю #73 | Наверх | Cообщить модератору

	126. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 22:13
	> Перезапустить Отлично. Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закончится повреждением структуры БД. Её кто-то должен восстановить. Или нет? Когда это должно произойти? Поехали дальше. Кто её должен перезапустить? Сколько раз? > Многопроцессность не нужна, у нас bottleneck при импорте - случайное чтение и запись. Клиент один и только один. Если остальные клиенты подключаются во время импорта - значит их проблемы. То есть тот факт, что вы в своём маня-мирке не видите смысла и возможности подключения нескольких клиентов к одной БД -- это проблемы БД > bottleneck при импорте - случайное чтение и запись Расскажу страшную тайну. Предметная область в первую очередь определяет сценарий работы с БД. В каких-то таблицах это случайный доступ, другие работают в режиме append-only, третьи работают в режиме "меняются только последние записи", а в четвёртых часто происходит rollback. И это только верхушка айсберга. Это я к чему -- bottleneck может быть где угодно. Узко мыслите, слишком узко > Да, свои, но у нас только один процесс У *тебя* один процесс. Кто-то процессит сотни гигабайт данных, например, по астрономии -- там необходимо процессить параллельно. Если у тебя данных мало, раз хватает одной машины, это не значит, что у всех остальных данных тоже мало. Или ты думал, БД разрабатывается исключительно под твои нужды? > если кеширование - это забота ОС Оказывается, redis, memcached, ElasticCache не нужны -- это всё должна разруливать ОС. Пацаны то и не знали. Может, расскажешь, как ОС должна решать эти проблемы? ОС за тебя должна догадываться, что одни данные надо закэшировать, а другие нет? По какому алгоритму? PS: io-кэш никто не отменял. Только вот расскажи, как ОС должна обрабатывать ситуацию, когда в фоне у тебя данные процессятся (то есть происходит постоянное чтение входных данных и запись выходных), в фоне же торрент качает и раздаёт, а сам ты интернеты сёрфишь (а браузер тоже кэширует кучу всего). Что должно оказаться в кэше? > Для хранения datasetов нужна не сетевая база, а встраиваемая, можно вообще не базу, а HDF-файл. Я чуть выше говорил, что это только твой кейс. Из этого не следует, что других кейсов не существует. Будь то астрономия или биоинформатика -- там огромные объёмы данных, которые отпроцессить надо за конечное время, и мультипроцессинг и множество нод -- жизненная необходимость
	Ответить | Правка | Наверх | Cообщить модератору

	146. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (146), 10-Мрт-21, 10:01
	>Отлично. Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закончится повреждением структуры БД. Её кто-то должен восстановить. Или нет? Когда это должно произойти? Это только если отключён журнал. Отключение журнала повысит производительность, но ненамного. Прирост не стоит риска. >Её кто-то должен восстановить. Или нет? Когда это должно произойти? Она сама, при перезапуске. Повреждение будет только если файлы журналов стереть. >То есть тот факт, что вы в своём маня-мирке не видите смысла и возможности подключения нескольких клиентов к одной БД -- это проблемы БД Подключение нескольких клиентов к SQLite есть. Но я его не использую, вместо этого врубаю монопольный доступ на запись. >Оказывается, redis, memcached, ElasticCache не нужны -- это всё должна разруливать ОС. Пацаны то и не знали. Может, расскажешь, как ОС должна решать эти проблемы? ОС за тебя должна догадываться, что одни данные надо закэшировать, а другие нет? По какому алгоритму? По тому же, по которому она свопит. >Только вот расскажи, как ОС должна обрабатывать ситуацию, когда в фоне у тебя данные процессятся (то есть происходит постоянное чтение входных данных и запись выходных), в фоне же торрент качает и раздаёт, а сам ты интернеты сёрфишь (а браузер тоже кэширует кучу всего). Что должно оказаться в кэше? А никак, когда у меня данные обрабатываются, я почти всю свободную память на машине отдаю базе под отображения. Вот эти отображения и есть кеш, который управляется ОС через менеждер памяти. >Это я к чему -- bottleneck может быть где угодно. Узко мыслите, слишком узко >У *тебя* один процесс. >Я чуть выше говорил, что это только твой кейс. Из этого не следует, что других кейсов не существует. Аргументы приняты. Я тут в основном свой случай и обсуждаю. Просто для меня возня с процессами не стоит выигрыша. В плюсовом импортере попробую поспавнить потоки.
	Ответить | Правка | Наверх | Cообщить модератору

	149. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 11-Мрт-21, 15:03
	> Это только если отключён журнал. Отключение журнала повысит производительность, но ненамного. Прирост не стоит риска. Это забавный тонкий момент. Журнал как раз позволяет восстановить структуру в автоматическом режиме. От повреждения данных журнал не защищает. А вопрос был про восстановление. Классика -- рестарт сервиса после аварии. Не менее классика -- стартует одновременно более 10 инстансов процесса -- производительности всегда мало. Далее они одновременно обнаруживают, что БД повреждена и как-то должны договориться, кто из них восстанавливает её из журнала. Вот в этом самом момента важно не воспроизвести мемас про девушку и негров. Тут возможно много yблюдских и не очень решений. Вот я и спрашивал -- какое из yблюдских и не очень решений применить здесь? Видимо, оно же будет применяться и для синхронизации транзакций при штатной работе БД. И ещё раз повторю вопрос: какое решение нужно применить для синхронизации разных рабочих процессов? > Она сама, при перезапуске. Повреждение будет только если файлы журналов стереть. О, тут ещё есть интересный грабледром. Попробуй штатно остановить постгрю и стереть её журналы -- повреждения и не будет, да? PS: не делай этого. > По тому же, по которому она свопит. Идея почти гуд. Объяснишь, зачем тогда добавлялись флаги O_DIRECT, O_DSYNC, O_RSYNC и O_SYNC? Почему они активно используются серверами БД?
	Ответить | Правка | Наверх | Cообщить модератору

	97. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от Аноним (-), 08-Мрт-21, 09:32
	> Что делать, если пользовательский процесс упадёт с сегфолтом посреди транзакции? Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейсом сам кусок питона, потому что при его кодинге гнали как на пожар и на всякие там отклонения от идеаа клали болт. А если там сеть упала, памяти не хватило или там что еще - УПС. И в свете этого - ну не питонистам с их "обработкой ошибок" такими мелочами париться вообще. Понимаю если б сишники какие так зудели еще.
	Ответить | Правка | К родителю #73 | Наверх | Cообщить модератору

	125. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–1 +/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 21:18
	> Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейсом сам кусок питона, потому что при его кодинге гнали как на пожар и на всякие там отклонения от идеаа клали болт. А если там сеть упала, памяти не хватило или там что еще - УПС. Оказывается, проблема питона в стэктрейсах. Вы их боитесь? Они вас обидели? > И в свете этого - ну не питонистам с их "обработкой ошибок" такими мелочами париться вообще. Понимаю если б сишники какие так зудели еще. Ярлыки.
	Ответить | Правка | Наверх | Cообщить модератору

	130. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от Аноним (-), 08-Мрт-21, 23:47
	> Оказывается, проблема питона в стэктрейсах. Вы их боитесь? Они вас обидели? Когда все резко и внезапно обламывается с адским стэктрейсом - это неприятно, да. И таки было достаточно неприятного опыта такого плана. > Ярлыки. Статистические наблюдения.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема