forum.opennet.ru

"СУБД Dolt, позволяющая манипулировать данными в стиле Git"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Для сортировки сообщений в нити по дате нажмите "Сортировка по времени, UBB".

. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
Сообщение от Аноним (87), 08-Мрт-21, 09:16
>Что делать, если пользовательский процесс упадёт с сегфолтом посреди транзакции? Перезапустить. >Как синхронизировать множество подключений? Через временный файл? Многопроцессность не нужна, у нас bottleneck при импорте - случайное чтение и запись. Клиент один и только один. Если остальные клиенты подключаются во время импорта - значит их проблемы. >In-memory кэши хранить в каждом процессе, значит, свои? Как инвалидировать? Или не кэшировать данные вовсе? Тогда что делать с производительностью? Да, свои, но у нас только один процесс. Вопрос только в том, зачем вообще хранить свои кеши, если кеширование - это забота ОС, а забота разраба базы данных - иметь отображение на часть файла, которую надо кешировать? >Может, не зря индустрия БД запускает в отдельном процессе? Или миллионы опытных программистов ошибаются? У них другие задачи. Эта же база изначально позиционируется как база для хранения datasetов и заливки их на их dolthub. Для хранения datasetов нужна не сетевая база, а встраиваемая, можно вообще не базу, а HDF-файл.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

СУБД Dolt, позволяющая манипулировать данными в стиле Git, opennews, 07-Мрт-21, 12:25 [смотреть все]

Круто По крайней мере задумка хотя бы она Что-то инновационное , Msk20, 07-Мрт-21, 12:36 (2) //
- Не сказал бы, что это что-то инновационное Если вам нужна версионность, ее легк, Урри, 07-Мрт-21, 16:01 (36) //
  - А если приложение не поддерживает дополнительный столбец Очень много систем с , tim2k, 07-Мрт-21, 17:27 (43) //
    - Так пусть не поддерживает Мы ему напишем внешнюю нашлёпку, которая по нашему за, Annoynymous, 07-Мрт-21, 18:40 (46)
    - Значит оно не поддерживает и СУБД Dolt О чем вообще разговор , adolfus, 07-Мрт-21, 20:28 (50)
      - Dolt MySQL на уровне протокола, Аноним, 08-Мрт-21, 10:34 (108)
        
        И где там вон тот AS OF , ыы, 08-Мрт-21, 11:18 (110)
  - Что-то добавлять к КАЖДОЙ А таблиц в БД десятки Менять много Так что не так , Msk20, 07-Мрт-21, 18:42 (47) //
    - А вы думаете как партицирование делается Не только на каждую таблицу а каждую, ыы, 07-Мрт-21, 23:42 (62)
  - Нет, не совсем Подобный подход позволяет версионифицировать данные в одной табл, минона, 07-Мрт-21, 20:36 (51) //
    - мы строим sql запрос Зачем перед этим организовывать физическое присутствие, ыы, 07-Мрт-21, 23:45 (63)
      - Возможно, я не совсем понял вопрос, но в системах, для которых нужно манипулиров, минона, 08-Мрт-21, 01:00 (72)
        
        Это все понятно И точки зрения академического интереса - можно извернуться П, ыы, 08-Мрт-21, 09:08 (86)
        
        а это уже троллинг на уровне детсада , B, 08-Мрт-21, 23:11 (127)
  - Эта штука позволяет немного иначе разделить задачи Это не значит, что в ней мож, Ordu, 08-Мрт-21, 04:16 (83) //
    - прикрутить к git- обертку для запросов на sql , ыы, 08-Мрт-21, 09:59 (106)
      - Хотя это конечно чисто извернуться Штука когда есть набор данных которые надо , ыы, 08-Мрт-21, 10:05 (107)
        
        Нет никакой системы, чтобы говорить о проектировании её Это процесс разработки , Ordu, 08-Мрт-21, 11:36 (111)
  - Чем-то напоминает если вам нужны версии, просто делайте архивы , Аноним, 09-Мрт-21, 12:51 (139)
- Да что-то ничего крутого ни в гит ни в стиле гит нет Последние откровенным ма, Аноньимъ, 08-Мрт-21, 01:33 (76)
Вроде не такая сложная идея, но прямо историческая крутость , Kusb, 07-Мрт-21, 12:40 (4) //
- Про крутость пока неизвестно Просто сказать у нас версии данных мало, нужно, Gogi, 07-Мрт-21, 13:59 (13) //
  - Мы засунули вам абстракцию в абстракцию, чтобы пока вы используете абстракцию, м, Синдарин, 08-Мрт-21, 00:30 (70)
Название настораживает Хотя Go , Онаним, 07-Мрт-21, 13:34 (9)
Что за чушь Причём тут git вообще Или вы больше не знаете DVCS Почему не в , Gogi, 07-Мрт-21, 13:52 (11) //
- https github com dolthub dolt blob master README md Dolt is a SQL database tha, RNZ, 07-Мрт-21, 14:09 (22) //
  - Фанфики, которые мы заслужили А по сабжу - если взлетит, то будет интересно посл, Аноним, 07-Мрт-21, 18:31 (45) //
    - Зачем нам сын Git x MySQL, если можно внука Git x Bitcoin x MongoDB OrbitDB , Аноним, 07-Мрт-21, 20:18 (49)
      - Мичурин, залогиньтесь , YetAnotherOnanym, 07-Мрт-21, 21:39 (54)
      - Откуда берутся все эти уроды , Аноньимъ, 08-Мрт-21, 01:36 (77)
        
        Сон разума рождает чудовищ с , ыы, 08-Мрт-21, 09:48 (104)
- стул в пепел , имятакое, 07-Мрт-21, 14:41 (28)
Без биндингов к питону a-la SQLite без клиент-серверного говна, чтобы всё было, Аноним, 07-Мрт-21, 13:56 (12) //
- Вообще-то игогошечка был сделан для того чтобы твой бидон прихлопнуть нафиг И с, Аноним, 07-Мрт-21, 14:05 (17) //
  - Совершенно разные вещи Одна из главных фич всех скриптовых языков - это REPL А, Аноним, 07-Мрт-21, 14:21 (26) //
    - С другой стороны, игогошечка по сравнению с пихоном быстр как понос и для продак, Аноним, 07-Мрт-21, 14:51 (29)
    - Как это связано Для Haskell есть REPL, хотя он компилируемый по самое небалуй , Аноним, 07-Мрт-21, 15:04 (32)
      - Я сказал эффективного Ты наверное этим REPLом для C , основанном на устаревш, Аноним, 07-Мрт-21, 16:38 (40)
        
        Ну, понимаешь, твоя эффективность продакшну очень дорого обходится, сервера ба, Аноним, 07-Мрт-21, 23:15 (60)
        
        Учитывая что серверов у гугла как грязи, и сама архитектура построена на идее де, ыы, 08-Мрт-21, 00:13 (68)
        
        Сервер может быть дешёвым, но датацентры стоят дорого, особенно когда жрут много, Аноним, 08-Мрт-21, 03:01 (81)
        
        Я думаю упрощение труда программиста будет и дальше превалировать над ценой обор, ыы, 08-Мрт-21, 09:21 (90)
        
        Гонять на том же парке серверов в разы большую нагрузку без докупки дешевых се, Аноним, 08-Мрт-21, 09:20 (88)
        
        А вы знаете разницу в производительности дешевого сервера и дорогого В пересче, ыы, 08-Мрт-21, 09:25 (92)
        
        мы знаем, а вам гуглить придется , B, 08-Мрт-21, 23:17 (128)
        В пересчете на ватт еще не забудьте Когда некто оперирует целыми датацентрами, , Аноним, 08-Мрт-21, 23:43 (129)
        
        Это в веб-сервисах Я же программер на питоне и плюсах программ для десктопа и д, Аноним, 08-Мрт-21, 08:37 (85)
        
        Ага, питон - таки да, для сайентистов с одноразовыми макетами А для остального , Аноним, 08-Мрт-21, 09:22 (91)
    - В продакшне видите ли скорость приоритетнее И черт с ним, с REPLом нахрен он, Аноним, 07-Мрт-21, 23:10 (59)
      - Да нахрена он вообще Та же беда, что и с экспериментами в командной строке шелл, CrazyAlex, 08-Мрт-21, 07:35 (84)
        
        Ну вон какой-то дата-саентолог вылез Ему может что-то такое и пригодится А , Аноним, 08-Мрт-21, 09:28 (95)
    - go run Что значит эффективный REPL Вот такой что-ли https github com moteme, RNZ, 08-Мрт-21, 14:30 (117)
- А они есть https github com dolthub doltpy, Ted, 07-Мрт-21, 15:35 (34) //
  - Он стартует серверный процесс и подключается к нему по сети Значит будет оверхе, Аноним, 07-Мрт-21, 16:29 (39) //
    - Питон сам тормозной как трактор, так что смысла то все это оптимизировать Чтобы, Аноним, 07-Мрт-21, 23:18 (61)
      - Тоже узко Питон позволяет подключать сишные библиотеки для числодробилок Если , kai3341, 08-Мрт-21, 01:21 (75)
        
        База данных, наверное, не числодробилка Да, и используя базу на го логично и бэк, Аноним, 08-Мрт-21, 09:30 (96)
    - Мне даже возразить нечего -- слишком узко мыслите, не поймёте-сс Что делать, есл, kai3341, 08-Мрт-21, 01:02 (73)
      - Смузихлебы способны и не на такое Это вы тут узко мыслите Нужно все разделить н, Аноньимъ, 08-Мрт-21, 01:50 (78)
        
        К -- Конструктивность Сразу видно -- Инженерище thread, kai3341, 08-Мрт-21, 02:00 (80)
      - Перезапустить Многопроцессность не нужна, у нас bottleneck при импорте - случайн , Аноним, 08-Мрт-21, 09:16 (87)
        
        Отлично Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закон, kai3341, 08-Мрт-21, 22:13 (126)
        
        Это только если отключён журнал Отключение журнала повысит производительность, , Аноним, 10-Мрт-21, 10:01 (146)
        
        Это забавный тонкий момент Журнал как раз позволяет восстановить структуру в ав, kai3341, 11-Мрт-21, 15:03 (149)
      - Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейс, Аноним, 08-Мрт-21, 09:32 (97)
        
        Оказывается, проблема питона в стэктрейсах Вы их боитесь Они вас обидели Ярлык, kai3341, 08-Мрт-21, 21:18 (125)
        
        Когда все резко и внезапно обламывается с адским стэктрейсом - это неприятно, да, Аноним, 08-Мрт-21, 23:47 (130)
А чего тогда не Golt P, Аноним, 07-Мрт-21, 14:03 (14) //
- go it do it , B, 09-Мрт-21, 00:44 (133)
Сейчас чуть дотошнее прочёл и прям взрыв мозга Клонировать таблицы Ну, допустим, Gogi, 07-Мрт-21, 14:04 (15) //
- Вот тоже интересно что-нибудь серьезней обычного bcp они сделали , Аноним, 07-Мрт-21, 17:14 (42)
- Если идеи, заложенные в эту СУБД, настолько ортогональны всему, что ты когда-то , YetAnotherOnanym, 07-Мрт-21, 21:46 (55) //
  - Скажите пожалуйста, а зачем версионировать таблицы БД со статистикой о коронави, ыы, 07-Мрт-21, 22:44 (57) //
    - Это похоже попытка сделать темпоральную БД Компании разные пыжились но как я по, Аноним, 07-Мрт-21, 23:55 (64)
      - InfluxDB называется Вон работает как лошадь - метрики мониторинга пишет , ыы, 08-Мрт-21, 00:07 (66)
        
        Больше имело в виду полностью скуль база На которой можно делать всё тоже самое, Аноним, 08-Мрт-21, 01:19 (74)
        
        зачем , ыы, 08-Мрт-21, 09:28 (94)
        
        Затем же зачем и всё остальное - упростить работу Всё в одной таблице а заморач, Аноним, 08-Мрт-21, 11:39 (113)
    - А почему нельзя при изменении одной ячейки считать всю таблицу со старым значени, YetAnotherOnanym, 08-Мрт-21, 00:44 (71)
      - Это все элементарно делается уже имеющимися технологиями , ыы, 08-Мрт-21, 09:33 (98)
        
        Доски тоже можно прикреплять деревянными штырьками, забивая их булыжником Но гв, YetAnotherOnanym, 08-Мрт-21, 14:30 (116)
        
        Именно так, всякие dolt и прочие булыжники не нужны , Аноним, 09-Мрт-21, 16:25 (143)
Интересно, что у БД есть история с 2016 года И до 2018 года ей занимались абсол, Аноним, 07-Мрт-21, 14:05 (18)
О, что-то интересное, да ещё и на Golang Спасибо большое , Иваня, 07-Мрт-21, 15:45 (35)
с одной стороны инт , а с другой стороны аназачем ну вот реально а на зачем , DIO, 07-Мрт-21, 16:42 (41) //
- Распределённый Интернет, не нужно быть постоянно связанным всеми со всем миром , Kusb, 07-Мрт-21, 19:49 (48)
dictionary cambridge org 8250 dictionary 8250 english 8250 doltdolt def, anonimous, 07-Мрт-21, 20:37 (52) //
- Я понял, это шутку к 1му апреля готовят , Аноньимъ, 08-Мрт-21, 01:56 (79) //
  - Не, ну а чего Разработчики честны относительно аудитории У го и на логотипе, в, Аноним, 08-Мрт-21, 23:48 (131)
Here we go again, Аноним, 07-Мрт-21, 21:26 (53)
Сначала я подумал о, круто, какая свежая идея , а потом подумал ещё и понял, чт, Аноним, 07-Мрт-21, 22:24 (56) //
- Мне вот тоже непонятно чем выборка по актуальному признаку при физическом отсут, ыы, 07-Мрт-21, 22:54 (58) //
  - Допустим, у вас датасет плюс-минус один, но может пополняться А состояний, в ко, Crazy Alex, 08-Мрт-21, 09:26 (93) //
    - Это просто дурно спроектированная база данных и ветер в консерватории программис, ыы, 08-Мрт-21, 09:35 (101)
- Угу, и git не нужен, потому что бизнесу он бесполезен , Ordu, 08-Мрт-21, 03:53 (82) //
  - После того как я увидел ТОПА ТРАНСНАЦИОНАЛЬНОЙ КОРПОРАЦИИ сцуко регающегося на г, Аноним, 08-Мрт-21, 09:35 (100)
  - Это вы уж сами придумали Тут проблема не в конкретном гите, а в том, что будет в, Аноним, 08-Мрт-21, 16:29 (120) //
    - Узкой области применений Data science растёт как на дрожжах, и я бы не назва, Ordu, 08-Мрт-21, 17:11 (121)
      - Сообщение набрано и отправлено, квиток от внешней системы ещё не получен, и тут,, Аноним, 09-Мрт-21, 01:26 (134)
        
        То же самое будет и с сорцами в git, ежели ты, проводя серию связанных изменений, Ordu, 09-Мрт-21, 04:07 (136)
        
        От форков сорцов в гит ни горячо, ни холодно, потому что это никак не влияет на , Аноним, 09-Мрт-21, 09:06 (137)
        
        Ты про реальность, с точки зрения бизнеса Когда программист потратил рабочий де, Ordu, 09-Мрт-21, 09:15 (138)
        
        От того, что у программиста не компилируется, реальности пофигу , Аноним, 09-Мрт-21, 17:30 (144)
        
        От того, что проводки не проводятся реальности тоже пофигу , Ordu, 10-Мрт-21, 00:03 (145)
        
        Да-да, интересно, как будет брызгать слюною конкретный Ordu, когда его платежи , Аноним, 11-Мрт-21, 09:04 (147)
        
        Всегда меня озадачивало, как люди могут жить в своём информационном пузырьке и н, Ordu, 11-Мрт-21, 11:03 (148)
- Речь не об однократном откате, а о том, что для разных ситуаций правильное ко, Crazy Alex, 08-Мрт-21, 09:21 (89) //
  - При исследовании - подмена данных ради хорошего результата- это все таки кримин, ыы, 08-Мрт-21, 09:38 (103) //
    - Без этой подмены ничего не работает В сыром датасете всегда куча мусора И его , Ordu, 08-Мрт-21, 11:39 (112)
      - Если факты не подтверждают теорию, от них нужно избавиться cледствие из зако, Аноним, 08-Мрт-21, 23:52 (132)
    - Во-первых, всегда есть первичная обработка - выкинуть сильные выбросы, явный мус, CrazyAlex, 08-Мрт-21, 19:53 (124)
Идея интересная, но чем в данном случае будет merge OK, допустим это слияние дв, Аноним, 08-Мрт-21, 00:01 (65)
Мне кажется, что база данных, в которой определенный scn или момент времени имее, ыы, 08-Мрт-21, 00:11 (67) //
- Это если вы там бахгалтерию или регистрантов на сайте храните А для исследовани, Crazy Alex, 08-Мрт-21, 09:33 (99) //
  - По моему это придумывание задач под забавную игрушку попавшую в руки , ыы, 08-Мрт-21, 09:36 (102)
У приличных баз данных есть такая штука как флэшбек И от шо я скажу- если вам, ыы, 08-Мрт-21, 00:16 (69)
Кстати, а почему они не написали с точностью до наоборот - прикрутить к git- обе, ыы, 08-Мрт-21, 09:50 (105) //
- Да именно так берем обычный немодифицированный git любой берем обычный немодифи, ыы, 08-Мрт-21, 10:49 (109)
Написано на Go Как это чудо будет вести себя под высокими нагрузками с большим , Прохожий, 08-Мрт-21, 12:54 (114)
Почему не на блохчлене Даешь гит овер блохчлен субд , msgod, 08-Мрт-21, 14:49 (118)
Манипулировать данными это всегда хорошо , Аноним, 08-Мрт-21, 15:43 (119)
Я помню, что хотел такую штуку написать, но уже не помню зачем , Аноним, 08-Мрт-21, 18:47 (122)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру