The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Facebook представил механизм TMO, позволяющий экономить 20-32% памяти на серверах, opennews (??), 21-Июн-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


85. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/
Сообщение от _kp (ok), 21-Июн-22, 14:54 
>> байтики считать

Удивитесь, но и сейчас считают, и ещё как.
И востребованы весьма нестандартные способы сжатия.
Есть низкоскоростные каналы связи, типа Lora, и радиоканал.
А есть и гораздо более шустрые средства связи, но всё равно пропускная способность не резиновая.
Да, это не совсем та область, о которой Вы подумали, но считают.

Ответить | Правка | Наверх | Cообщить модератору

102. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –2 +/
Сообщение от Аноним (68), 21-Июн-22, 16:18 
Причём здесь каналы связи? Я имел ввиду ОЗУ вычислительных устройств с полноценным ЦПУ и их софт.
Ответить | Правка | Наверх | Cообщить модератору

125. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/
Сообщение от Аноним (125), 21-Июн-22, 19:53 
А какой из стандартных алгоритмов сортировки выберете для строкового массива на пару Тб?
Ответить | Правка | Наверх | Cообщить модератору

138. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/
Сообщение от Аноним (138), 21-Июн-22, 21:05 
Выберу вот такой.

Вон отсюда...

Ответить | Правка | Наверх | Cообщить модератору

142. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +3 +/
Сообщение от _kp (ok), 21-Июн-22, 22:36 
> А какой из стандартных алгоритмов сортировки выберете для строкового массива на пару
> Тб?

Стандартные маловероятно.

Была не очень давно задача не про сортировку, а поиск и выборку значений из базы. Типа встроенный прибор, ни вменяемой структуры, ни полезного индекса. С ростом аппетитов базы распухли, и операции выборки стали переваливать за 40 секунд.
Носитель - флешка, скорости ограничены, в ОЗУ много не накэшируешь. Плюс могут быть сбойные записи, ннедостающие параметры, вместо еоторвх надо выдать что то другое.
Поставили задачу, сделать работу хоть как то быстрее. Если вдвое быстре будет, то это предел мечтаний.
До алгоритмов не сам дошел, воспользовался помощью математиков.
И, после оптимизации...
время операций стало 0.02 - 0.3 секунд, в лучшем и хуждем случаях.
Более, чем в тысячу раз ускорил. ;)
На том же желелезе.

В чем подвох? Вместо наращивания производительности, или переписывания на Русты, применили алгоритм учитываюший характер данных, построили модели  распределения данных, модели сбоев, в алноритме поиска учитывается сколько операций может потребоваться до длинной и коротким ветвям поиска, и вероятности попадания на короткие пути...

Так, что обсуждаемый механизм TMO, учитывающий характер данных, и их важность, даже при не лучшей реализации будет всяко эффективнее "бездумного" свопа.

Ответить | Правка | К родителю #125 | Наверх | Cообщить модератору

159. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +2 +/
Сообщение от pavlinux (ok), 23-Июн-22, 13:17 
> применили алгоритм учитываюший характер данных,

Открою секрет, у данных нет характера, это тупа куча байт.

> построили модели  распределения данных,
> модели сбоев, в алноритме поиска учитывается сколько операций может потребоваться до
> длинной и коротким ветвям поиска, и вероятности попадания на короткие пути...

Математики молодцы, заработали себе бабла из вакуума.

1. Если в системe "работает" вероятностный выбор, значит данные х...во организованы изначально.
2. Вероятностная выборка, в пределе, равна рандомному выбору, иначе данные х...во организованы изначально.
3. Собственно цифры с 40 до 0.02 говорят о том, что данные х...во организованы изначально.

)))

Ответить | Правка | Наверх | Cообщить модератору

161. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/
Сообщение от _kp (ok), 23-Июн-22, 19:15 
> Открою секрет...

Согласен по пунктам 1 и 3 полностью, и по 2му на 30%. :)

Нельзя в готовом, и по сути чужом проекте, который работает, все похерить и сделать правильно.
К элегантным костылям претензии есть? Да, нет, они шикарны.


Ответить | Правка | Наверх | Cообщить модератору

164. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/
Сообщение от pavlinux (ok), 24-Июн-22, 14:29 
>> Открою секрет...
> Согласен по пунктам 1 и 3 полностью, и по 2му на 30%.
> :)
> Нельзя в готовом, и по сути чужом проекте, который работает, все похерить
> и сделать правильно.
> К элегантным костылям претензии есть? Да, нет, они шикарны.

Найти чупакабру на ноевом ковчеге - O(N)
Найти чупакабру в зоопарке - O(1)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру