The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы
правила/FAQ
поиск
регистрация
вход
слежка
RSS


Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Facebook представил механизм TMO, позволяющий экономить 20-32% памяти на серверах, opennews (??), 21-Июн-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


1. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +86 +/–
Сообщение от Аноним (1), 21-Июн-22, 10:52 
Сначала пишут жирный софт, а потом пытаются эффеективно свапиться. 2022.
Ответить | Правка | Наверх | Cообщить модератору

9. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +2 +/–
Сообщение от Аноним (9), 21-Июн-22, 11:09 
На чём основана твоя уверенность, что их задачи можно уместить в 640 КБ, и только лень не позволяет это сделать?
Ответить | Правка | Наверх | Cообщить модератору

19. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +8 +/–
Сообщение от Онанистмус (?), 21-Июн-22, 11:38 
Facebook был написан на пхп а сейчас у них своя реализация пхп с типами и jit - hack lang. Hack это виртуальная машина, которая ест много памяти как и другие ВМ.
Если бы они выбрали компилируемый язык типа golang то памяти требовалось бы в 10 раз меньше.
Ответить | Правка | Наверх | Cообщить модератору

26. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +19 +/–
Сообщение от Аноним (26), 21-Июн-22, 11:50 
Тут есть небольшая проблема, что если бы они писали на голанге или другом компилируемом языке. Большой компанией они бы никогда не стали. И их продукт никогда бы не взлетел. А так да ты прав.  
Ответить | Правка | Наверх | Cообщить модератору

37. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –2 +/–
Сообщение от Аноним (37), 21-Июн-22, 12:36 
Если бы у твоей бабки был х, то она не была бы у.
Ответить | Правка | Наверх | Cообщить модератору

38. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –1 +/–
Сообщение от X86 (ok), 21-Июн-22, 12:38 
Не вижу причинной связи никакой. Наоборот, более эффективный софт выделял бы их в конкурентной борьбе.
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

49. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +10 +/–
Сообщение от Аноним (26), 21-Июн-22, 12:58 
Только в твоих влажных, пользователям пофиг на твой эффективный софт. Фейсбук бы просто ничего не выпустил, до сих пор бы занимались рефакторингом рефакторинга, а деньги бы у них закончились еще 16 лет назад. И все пользователи бы сидели в другой соцсети написаной на пыхе.  

А как набрали пользователей можно и свой пых делать быстрый с блекджеком.  


Давай тебе задача со звездочкой почему первая версия вконтакте написана на обычном пхп.  

Ответить | Правка | Наверх | Cообщить модератору

105. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +3 +/–
Сообщение от a_kusb (ok), 21-Июн-22, 16:40 
Так когда набрали и нужно было переписывать на компилируемом.
А ещё социальная сеть кажется мне простой программой.
Ответить | Правка | Наверх | Cообщить модератору

140. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от стоячок (?), 21-Июн-22, 21:41 
кажется
Ответить | Правка | Наверх | Cообщить модератору

155. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/–
Сообщение от Первая буква (?), 22-Июн-22, 14:24 
> А как набрали пользователей

Не пользователей, а скот. Пользователи не позволяют к себе относится так, какую политику давно ведет конопатый жид.  

Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

156. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от a_kusb (ok), 22-Июн-22, 18:37 
А что там плохого в политике? Не слежу за этим.
Ответить | Правка | Наверх | Cообщить модератору

39. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +4 +/–
Сообщение от по (?), 21-Июн-22, 12:39 
динозавры тоже были большие и неэффективные, были да сплыли, просто окружение позволяло, вот и щас позволяет
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

40. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –6 +/–
Сообщение от Аноним (40), 21-Июн-22, 12:39 
Это правда - когда они начинали эффективный по ресурсам и при этом фичастый язык был один - С++. Хрен бы они что сделали на нём. Это теперь есть голанг. Но голанг тоже со сборщиком мусора и тоже неэффективный по ресурсам. Так что вариант один - раст.
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

43. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +2 +/–
Сообщение от Аноним (43), 21-Июн-22, 12:46 
> вариант один - раст

Мозила попробовала - доломала FF окончательно с потерей всего рынка.

Ответить | Правка | Наверх | Cообщить модератору

97. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/–
Сообщение от Аноним (97), 21-Июн-22, 15:52 
В Мозилле не в Расте дело, а в "эффективных менеджерах", которые распилили почти весь бюджет между собой и половину разрабов уволили. Есть ощущение, что Мозиллу ведут к планируемому банкротству и поглощению Гуглом или Майкрософтом, с выплатой "золотых парашютов" менеджменту. Ну как с Нокией было.
Ответить | Правка | Наверх | Cообщить модератору

133. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от Аноним (43), 21-Июн-22, 20:15 
> Ну как с Нокией было.

У Нокии был фатальный недостаток: она находилась не в Штатах.

Ответить | Правка | Наверх | Cообщить модератору

71. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +3 +/–
Сообщение от Ананоним (?), 21-Июн-22, 13:55 
О как! А нам предлагали продукты, написанные на С++ и они даже работали? Хм. То ли нам такие продукты плохие продавали, то ли у них программисты негодные.
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

118. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –1 +/–
Сообщение от anonymous (??), 21-Июн-22, 18:42 
На самом деле уже в те времена был очень фичастый компилируемый язык со сборщиком мусора - Haskell. Единственный минус - порог вхождения высокий. Мало кто из пхпшников осилить способен.
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

41. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +2 +/–
Сообщение от Анончик (?), 21-Июн-22, 12:42 
Смелое утверждение. Поделитесь исходя из чего вы так решили?
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

51. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от Аноним (26), 21-Июн-22, 13:00 
Исходя из того что стоимость времени разработчика больше стоимости железа.  
Ответить | Правка | Наверх | Cообщить модератору

162. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от none7 (ok), 23-Июн-22, 19:51 
>Исходя из того что стоимость времени разработчика больше стоимости железа.  

Даже если это железо приходится растаскивать на кучу ЦОД разбросанных по всему миру и построенных с нуля? Ой не факт. Просто Вы не учитываете, что у руководства может не стоять цели "потратить как можно меньше денег в долгосрочной перспективе". Обычно там цель в том, чтобы по быстрому состряпать макет и продать долю компании за миллиард. А дальше, да парись оно всё конём.

Ответить | Правка | Наверх | Cообщить модератору

165. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/–
Сообщение от Аноним (165), 24-Июн-22, 15:44 
Так не бывает что у тебя ЦОДЫ и тысячи серверов по всему миру и один разработчик.  Если ты разместился по всему миру значит твои фичи нужны пользователям.  А для этого надо много разработчиков и много времени. А если тебе надо писать на С++ то тебе надо еще больше времени и еще больше разработчиков. Но зачем когда можно писать на пыхе.  Ну и пересчитай что в США один средний разработчик стоит 100000 долларов. А в Фейсбуке не меньше 10000 разработчиков.  
Ответить | Правка | Наверх | Cообщить модератору

42. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –2 +/–
Сообщение от Аноним (43), 21-Июн-22, 12:44 
А гугл вообще ничего не писал, он только покупал готовое и продавал данные, результат - сам видишь.
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

54. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +8 +/–
Сообщение от Аноним (26), 21-Июн-22, 13:06 
Разрешите вам немножечко порвать шаблон. Спасибо за разрешение.

Первая версия того что сейчас Google называлось BackRub это был научный проект Брина и Пейджа и написан оно было СЮРПРИЗ на Java и Python. А если бы они писали на С/С++ они бы тупо никогда не закончили проект и забили. И такой поиск бы сделал кто-то другой.  

Совет прикладывайте к порванному шаблону подорожник, скоро заживет.  

Ответить | Правка | Наверх | Cообщить модератору

66. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/–
Сообщение от Медоед (?), 21-Июн-22, 13:45 
Все верно, есть т.н. Lean методология, когда стадия стенда или прототипирования ставит в приоритет время и гибкость.

Так же было с первыми шагами Твиттера, который был на Ruby on Rails.

Но уже не первых стадиях зрелости, компании начинают вертикальную интеграцию (переписывают стабильные вещи на другом стэке), т.к. на масштабе это экономит большие деньги

которые как раз можно потратить на новых сотрудников для новых продуктов и фич.

FB явно перерос стадию прототипирования и при этом не перестал быть глючным говном, в котором ни комментарии свои не найти,

ни даже ссылку на отдельный комментарий не дать (из приложения).

Хорошо, что есть Reddit (с больным на голову медиа плеером, который у всех в мире виснет и лагает)

Ответить | Правка | Наверх | Cообщить модератору

93. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/–
Сообщение от funny.falcon (?), 21-Июн-22, 15:33 
Reddit, написанный на python
Ответить | Правка | Наверх | Cообщить модератору

168. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от andrei (??), 26-Июн-22, 12:13 
Какие в ж...пу фичи в Твиттере?! Увеличение сообщения больше 160 символов?! Доска сообщений она и есть доска...
Ответить | Правка | Наверх | Cообщить модератору

59. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от Онаним (?), 21-Июн-22, 13:09 
"Если бы они выбрали компилируемый язык"
... то настолько масштабного сервиса не было бы никогда. Был бы концепт за концептом.
В этом всё веселье моднявых язычков. Реальные же серьёзные внедрения делаются на других.
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

60. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от Онаним (?), 21-Июн-22, 13:10 
Ну а на сях фейсбук написать - не, можно наверное, но оно ж онлайновое, потом всё это поддерживать, отлаживать, деплоить... это просто ад трешовый.
Ответить | Правка | Наверх | Cообщить модератору

106. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –1 +/–
Сообщение от Аноним (106), 21-Июн-22, 16:47 
Я видел их код. За такой код надо запрещать работать в индустрии навсегда.
Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

166. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от Аноним (165), 24-Июн-22, 15:45 
Ещё один любитель искусства ради искусства.  
Ответить | Правка | Наверх | Cообщить модератору

68. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –6 +/–
Сообщение от Аноним (68), 21-Июн-22, 13:53 
>Сначала пишут жирный софт, а потом пытаются эффеективно свапиться. 2022.

Да никто вам уже не будет байтики считать в 2022-м, ЗАБУДЬТЕ про это.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

85. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/–
Сообщение от _kp (ok), 21-Июн-22, 14:54 
>> байтики считать

Удивитесь, но и сейчас считают, и ещё как.
И востребованы весьма нестандартные способы сжатия.
Есть низкоскоростные каналы связи, типа Lora, и радиоканал.
А есть и гораздо более шустрые средства связи, но всё равно пропускная способность не резиновая.
Да, это не совсем та область, о которой Вы подумали, но считают.

Ответить | Правка | Наверх | Cообщить модератору

102. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  –2 +/–
Сообщение от Аноним (68), 21-Июн-22, 16:18 
Причём здесь каналы связи? Я имел ввиду ОЗУ вычислительных устройств с полноценным ЦПУ и их софт.
Ответить | Правка | Наверх | Cообщить модератору

125. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от Аноним (125), 21-Июн-22, 19:53 
А какой из стандартных алгоритмов сортировки выберете для строкового массива на пару Тб?
Ответить | Правка | Наверх | Cообщить модератору

138. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от Аноним (138), 21-Июн-22, 21:05 
Выберу вот такой.

Вон отсюда...

Ответить | Правка | Наверх | Cообщить модератору

142. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +3 +/–
Сообщение от _kp (ok), 21-Июн-22, 22:36 
> А какой из стандартных алгоритмов сортировки выберете для строкового массива на пару
> Тб?

Стандартные маловероятно.

Была не очень давно задача не про сортировку, а поиск и выборку значений из базы. Типа встроенный прибор, ни вменяемой структуры, ни полезного индекса. С ростом аппетитов базы распухли, и операции выборки стали переваливать за 40 секунд.
Носитель - флешка, скорости ограничены, в ОЗУ много не накэшируешь. Плюс могут быть сбойные записи, ннедостающие параметры, вместо еоторвх надо выдать что то другое.
Поставили задачу, сделать работу хоть как то быстрее. Если вдвое быстре будет, то это предел мечтаний.
До алгоритмов не сам дошел, воспользовался помощью математиков.
И, после оптимизации...
время операций стало 0.02 - 0.3 секунд, в лучшем и хуждем случаях.
Более, чем в тысячу раз ускорил. ;)
На том же желелезе.

В чем подвох? Вместо наращивания производительности, или переписывания на Русты, применили алгоритм учитываюший характер данных, построили модели  распределения данных, модели сбоев, в алноритме поиска учитывается сколько операций может потребоваться до длинной и коротким ветвям поиска, и вероятности попадания на короткие пути...

Так, что обсуждаемый механизм TMO, учитывающий характер данных, и их важность, даже при не лучшей реализации будет всяко эффективнее "бездумного" свопа.

Ответить | Правка | К родителю #125 | Наверх | Cообщить модератору

159. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +2 +/–
Сообщение от pavlinux (ok), 23-Июн-22, 13:17 
> применили алгоритм учитываюший характер данных,

Открою секрет, у данных нет характера, это тупа куча байт.

> построили модели  распределения данных,
> модели сбоев, в алноритме поиска учитывается сколько операций может потребоваться до
> длинной и коротким ветвям поиска, и вероятности попадания на короткие пути...

Математики молодцы, заработали себе бабла из вакуума.

1. Если в системe "работает" вероятностный выбор, значит данные х...во организованы изначально.
2. Вероятностная выборка, в пределе, равна рандомному выбору, иначе данные х...во организованы изначально.
3. Собственно цифры с 40 до 0.02 говорят о том, что данные х...во организованы изначально.

)))

Ответить | Правка | Наверх | Cообщить модератору

161. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +/–
Сообщение от _kp (ok), 23-Июн-22, 19:15 
> Открою секрет...

Согласен по пунктам 1 и 3 полностью, и по 2му на 30%. :)

Нельзя в готовом, и по сути чужом проекте, который работает, все похерить и сделать правильно.
К элегантным костылям претензии есть? Да, нет, они шикарны.


Ответить | Правка | Наверх | Cообщить модератору

164. "Facebook представил механизм TMO, позволяющий экономить 20-3..."  +1 +/–
Сообщение от pavlinux (ok), 24-Июн-22, 14:29 
>> Открою секрет...
> Согласен по пунктам 1 и 3 полностью, и по 2му на 30%.
> :)
> Нельзя в готовом, и по сути чужом проекте, который работает, все похерить
> и сделать правильно.
> К элегантным костылям претензии есть? Да, нет, они шикарны.

Найти чупакабру на ноевом ковчеге - O(N)
Найти чупакабру в зоопарке - O(1)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру