The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"В Microsoft Excel встроена поддержка языка программирования Python"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Отдельный RSS теперь доступен для каждого обсуждения в форуме и каждого минипортала.
. "В Microsoft Excel встроена поддержка языка программирования ..." +/
Сообщение от topin89 (ok), 25-Авг-23, 16:43 
> Если обязательно требуется сериализация, то быстрей и компактней, например, protobuf.

Это всё же не система хранения таблиц или даже массивов данных. Это больше для обмена сообщениями, хотя бесспорно их можно запихнуть в файл друг за другом компактно. Если нет строк и массивов переменной длины, C-структуры + struct.Struct даже проще будет. Но интеграции с pandas и numpy тут ждать не приходится, как и для protobuf.

> Если сериализация не требуется, то, например, sqlite.

Что писать в туда, что читать оттуда -- сложнее, чем из CSV, да и не то чтобы быстрее. Разве что в память не помещается.

Одновременно с этим, я согласен, что фильтровать данные удобнее в sql в целом и sqlite в частности. При этом для визуализации можно завести view и запрашивать его через pandas и выводить в matplotlib. А сам фильтр менять внутри sqlite-редакторов вроде того же dbeaver или там SqliteStudio.

Одновременно с этим, если сложной фильтрации, слияний и прочего не нужно, зато есть много вычислений, то csv + pandas + numpy сработают быстрее и часто читать такой код будет проще

hdf5 -- это по специализированный формат для хранения гигантских объёмов бинарных данных, причём в виде столбцов, так что каждый отдельный столбик читается очень, очень быстро (гуглить Column-oriented DBMS). Как раз он уместнее всего для хранения вместо csv, хоть наверняка есть и другие альтернативы, protobuf в их число не входит

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
В Microsoft Excel встроена поддержка языка программирования Python, opennews, 22-Авг-23, 22:36  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру