The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Facebook представил механизм TMO, позволяющий экономить 20-32% памяти на серверах"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.
. "Facebook представил механизм TMO, позволяющий экономить 20-3..." +3 +/
Сообщение от _kp (ok), 21-Июн-22, 22:36 
> А какой из стандартных алгоритмов сортировки выберете для строкового массива на пару
> Тб?

Стандартные маловероятно.

Была не очень давно задача не про сортировку, а поиск и выборку значений из базы. Типа встроенный прибор, ни вменяемой структуры, ни полезного индекса. С ростом аппетитов базы распухли, и операции выборки стали переваливать за 40 секунд.
Носитель - флешка, скорости ограничены, в ОЗУ много не накэшируешь. Плюс могут быть сбойные записи, ннедостающие параметры, вместо еоторвх надо выдать что то другое.
Поставили задачу, сделать работу хоть как то быстрее. Если вдвое быстре будет, то это предел мечтаний.
До алгоритмов не сам дошел, воспользовался помощью математиков.
И, после оптимизации...
время операций стало 0.02 - 0.3 секунд, в лучшем и хуждем случаях.
Более, чем в тысячу раз ускорил. ;)
На том же желелезе.

В чем подвох? Вместо наращивания производительности, или переписывания на Русты, применили алгоритм учитываюший характер данных, построили модели  распределения данных, модели сбоев, в алноритме поиска учитывается сколько операций может потребоваться до длинной и коротким ветвям поиска, и вероятности попадания на короткие пути...

Так, что обсуждаемый механизм TMO, учитывающий характер данных, и их важность, даже при не лучшей реализации будет всяко эффективнее "бездумного" свопа.

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Facebook представил механизм TMO, позволяющий экономить 20-32% памяти на серверах, opennews, 21-Июн-22, 10:52  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру