The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Индекс форумов
Составление сообщения

Исходное сообщение
"Выпуск Python-библиотеки для научных вычислений NumPy 1.18"
Отправлено economist, 25-Дек-19 12:48 
И на SQL это можно, но запрос будет выполняться в 50-100 раз дольше, должен быть толстый коннект к БД (а его в проде не выбьешь), а сам запрос должен выполнятся на сервере. Вот примерная метрика одинакового запроса 500/5000к х 50 полей:

0,1 сек Pandas (RAM)
0,5 сек на SQLite IN-MEMORY (RAM)
2 сек на локальной SQLite (file)
5 сек на "сетевой" SQLite (share file)
8 сек прямой доступ к PostgreSQL
10 сек на сетевой PostgreSQL (1C)  

За 1 сек Pandas выдает таблицу со стилями, график по двум осям Y c усреднением по D/W/M/Q. Никакой SQL тут не поможет, а графики в Excel будут рисовать полчаса.

Из требований - только RAM. 8ГБ хватает на всё. Я вот на праздниках соберу на китайматери двухпроцовый сервак с ECC REG на 256 Гб (50 ГБ/сек на 1,8 ГГц), введу в домен и забуду эту 1С, Эксели и "далбички" как страшный сон. Ни разу не пожалел что перестал запросить в SQL в пользу Pandas.

 

Ваше сообщение
Имя*:
EMail:
Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email).
Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:
 
При общении не допускается: неуважительное отношение к собеседнику, хамство, унизительное обращение, ненормативная лексика, переход на личности, агрессивное поведение, обесценивание собеседника, провоцирование флейма голословными и заведомо ложными заявлениями. Не отвечайте на сообщения, явно нарушающие правила - удаляются не только сами нарушения, но и все ответы на них. Лог модерирования.



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру