forum.opennet.ru

"Facebook представил механизм TMO, позволяющий экономить 20-32% памяти на серверах"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.

. "Facebook представил механизм TMO, позволяющий экономить 20-3..."	+/–
Сообщение от Аноним (130), 21-Июн-22, 20:10
Текущая версия swap в линуксе работает, прямо скажем, неоптимально. Там используется простой LRU-механизм, с разделением только на данные (анонимную память) и файловый кеш. Есть два подхода к его улучшению, оба до сих пор не приняты в ядро: 1. Патч под названием le9: https://github.com/hakavlad/le9-patch Защищает (как мягко, так и жёстко) какое-то фиксированное количество файлового кеша в оперативной памяти. Очень полезно для десктопов, позволяет выгружать гигабайты в своп без зависаний и тормозов системы. 2. Более продвинутая версия предыдущего патча с автоматическим определением количества важного файлового кеша MG-LRU, добавляющая понятие времени к LRU: https://lore.kernel.org/lkml/20220614071650.206064-1-yuzhao&... Применяется в Chrome OS и Android. Подробное описание: https://lore.kernel.org/all/20220614071650.206064-15-yuzhao&.../
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Facebook представил механизм TMO, позволяющий экономить 20-32% памяти на серверах, opennews, 21-Июн-22, 10:52 [смотреть все]

Сначала пишут жирный софт, а потом пытаются эффеективно свапиться 2022 , Аноним, 21-Июн-22, 10:52 (1) //
- На чём основана твоя уверенность, что их задачи можно уместить в 640 КБ, и тольк, Аноним, 21-Июн-22, 11:09 (9) //
  - Facebook был написан на пхп а сейчас у них своя реализация пхп с типами и jit - , Онанистмус, 21-Июн-22, 11:38 (19) //
    - Тут есть небольшая проблема, что если бы они писали на голанге или другом компил, Аноним, 21-Июн-22, 11:50 (26)
      - Если бы у твоей бабки был х, то она не была бы у , Аноним, 21-Июн-22, 12:36 (37)
      - Не вижу причинной связи никакой Наоборот, более эффективный софт выделял бы их , X86, 21-Июн-22, 12:38 (38)
        
        Только в твоих влажных, пользователям пофиг на твой эффективный софт Фейсбук бы, Аноним, 21-Июн-22, 12:58 (49)
        
        Так когда набрали и нужно было переписывать на компилируемом А ещё социальная се, a_kusb, 21-Июн-22, 16:40 (105)
        
        кажется, стоячок, 21-Июн-22, 21:41 (140)
        
        Не пользователей, а скот Пользователи не позволяют к себе относится так, какую , Первая буква, 22-Июн-22, 14:24 (155)
        
        А что там плохого в политике Не слежу за этим , a_kusb, 22-Июн-22, 18:37 (156)
      - динозавры тоже были большие и неэффективные, были да сплыли, просто окружение по, по, 21-Июн-22, 12:39 (39)
      - Это правда - когда они начинали эффективный по ресурсам и при этом фичастый язык, Аноним, 21-Июн-22, 12:39 (40)
        
        Мозила попробовала - доломала FF окончательно с потерей всего рынка , Аноним, 21-Июн-22, 12:46 (43)
        
        В Мозилле не в Расте дело, а в эффективных менеджерах , которые распилили почти, Аноним, 21-Июн-22, 15:52 (97)
        
        У Нокии был фатальный недостаток она находилась не в Штатах , Аноним, 21-Июн-22, 20:15 (133)
        
        О как А нам предлагали продукты, написанные на С и они даже работали Хм То , Ананоним, 21-Июн-22, 13:55 (71)
        На самом деле уже в те времена был очень фичастый компилируемый язык со сборщико, anonymous, 21-Июн-22, 18:42 (118)
      - Смелое утверждение Поделитесь исходя из чего вы так решили , Анончик, 21-Июн-22, 12:42 (41)
        
        Исходя из того что стоимость времени разработчика больше стоимости железа , Аноним, 21-Июн-22, 13:00 (51)
        
        Даже если это железо приходится растаскивать на кучу ЦОД разбросанных по всему м, none7, 23-Июн-22, 19:51 (162)
        
        Так не бывает что у тебя ЦОДЫ и тысячи серверов по всему миру и один разработчик, Аноним, 24-Июн-22, 15:44 (165)
      - А гугл вообще ничего не писал, он только покупал готовое и продавал данные, резу, Аноним, 21-Июн-22, 12:44 (42)
        
        Разрешите вам немножечко порвать шаблон Спасибо за разрешение Первая версия то, Аноним, 21-Июн-22, 13:06 (54)
        
        Все верно, есть т н Lean методология, когда стадия стенда или прототипирования , Медоед, 21-Июн-22, 13:45 (66)
        
        Reddit, написанный на python , funny.falcon, 21-Июн-22, 15:33 (93)
        
        Какие в ж пу фичи в Твиттере Увеличение сообщения больше 160 символов Доск, andrei, 26-Июн-22, 12:13 (168)
    - Если бы они выбрали компилируемый язык то настолько масштабного сервиса не , Онаним, 21-Июн-22, 13:09 (59)
      - Ну а на сях фейсбук написать - не, можно наверное, но оно ж онлайновое, потом вс, Онаним, 21-Июн-22, 13:10 (60)
  - Я видел их код За такой код надо запрещать работать в индустрии навсегда , Аноним, 21-Июн-22, 16:47 (106) //
    - Ещё один любитель искусства ради искусства , Аноним, 24-Июн-22, 15:45 (166)
- Да никто вам уже не будет байтики считать в 2022-м, ЗАБУДЬТЕ про это , Аноним, 21-Июн-22, 13:53 (68) //
  - Удивитесь, но и сейчас считают, и ещё как И востребованы весьма нестандартные сп, _kp, 21-Июн-22, 14:54 (85) //
    - Причём здесь каналы связи Я имел ввиду ОЗУ вычислительных устройств с полноценн, Аноним, 21-Июн-22, 16:18 (102)
      - А какой из стандартных алгоритмов сортировки выберете для строкового массива на , Аноним, 21-Июн-22, 19:53 (125)
        
        Выберу вот такой Вон отсюда , Аноним, 21-Июн-22, 21:05 (138)
        Стандартные маловероятно Была не очень давно задача не про сортировку, а поиск и, _kp, 21-Июн-22, 22:36 (142)
        
        Открою секрет, у данных нет характера, это тупа куча байт Математики молодцы, за, pavlinux, 23-Июн-22, 13:17 (159)
        
        Согласен по пунктам 1 и 3 полностью, и по 2му на 30 Нельзя в готовом, и по с, _kp, 23-Июн-22, 19:15 (161)
        
        Найти чупакабру на ноевом ковчеге - O N Найти чупакабру в зоопарке - O 1 , pavlinux, 24-Июн-22, 14:29 (164)
А просто ссд или нвме диск в своп добавить не додумались , Аноним, 21-Июн-22, 10:54 (2) //
- читай внимательно они привязали данные ко времени, без этих ваших процентных со, Alladin, 21-Июн-22, 10:56 (4) //
  - А какой от этого толк что ты уберешь в своп что-то раньше по времени чем позже п, Аноним, 21-Июн-22, 11:02 (6) //
    - 1 можно больше памяти пустить на кэши2 можно намного избирательнее относится к, Alladin, 21-Июн-22, 11:19 (12)
      - Прям очень сильно натянутый сценарий Он наверняка отлично подходит для отчета д, Аноним, 21-Июн-22, 11:45 (21)
- Это своп другого уровня Как я понял, гипервизор динамично управляет свопом памя, Замир Закиев, 21-Июн-22, 11:14 (10) //
  - И это тоже, Alladin, 21-Июн-22, 11:19 (13)
Вот что интересно привязать данные в озу к времени использования чтобы выгрузи, Alladin, 21-Июн-22, 10:56 (3)
Они изобрели своп , Аноним, 21-Июн-22, 10:57 (5) //
- Они изобрели аккуратный своп, в отличие от классического, который выгружал всё п, Аноним, 21-Июн-22, 11:07 (8) //
  - Судя по описанию это маркетинговый буллшит , Аноним, 21-Июн-22, 11:46 (22) //
    - , Аноним, 21-Июн-22, 12:15 (31)
- Когда прочитал думал они какой то супер пупер метод сжатия придумали А они прид, arthi747, 21-Июн-22, 13:07 (56)
- Они улучшили своп, _kp, 21-Июн-22, 14:57 (86)
Надо взять на заметку Вместо терминологии мастер слейв можно употреблять сенсей, Замир Закиев, 21-Июн-22, 11:06 (7) //
- Сэмпай кохай же , Анонимкун, 21-Июн-22, 11:31 (16) //
  - Кохай - это люби по-украински , anonymous, 21-Июн-22, 18:52 (119)
- OOMKiller переименовать в Яндере , pda, 21-Июн-22, 11:32 (17) //
  - Потом можно сразу переходить на персонажей аниме Тогда OOMKiller это коро-сенсе, Аноним, 21-Июн-22, 11:54 (28)
- У щелочкоглазых очень развитая терминология в вопросах распределения ролей Проб, Аноним, 21-Июн-22, 11:50 (27)
- А можно плз перевод терминов С целью повышения уровня образованности , ryoken, 21-Июн-22, 13:55 (70) //
  - это стандартные термины в каратэ для общения, не для обозначения техник рэй - , Замир Закиев, 21-Июн-22, 14:54 (84) //
    - незнаю каратэ, начать разьве не hajime в голодных сёстрах помойму было, hajimar, bq, 21-Июн-22, 15:59 (99)
    - ну так поди, сенпай он для кохая сенпай, а не для сенсея Для сенсея он такой же, нгеро, 22-Июн-22, 12:26 (154)
  - Там каламбур на тему одной игры Замена политнекорректного OOMKiller на Яндере , _kp, 21-Июн-22, 15:01 (87)
  - Тут надо прояснить откуда берется семпай и кохай - у японцев в школах есть всяки, Kuromi, 21-Июн-22, 15:50 (96) //
    - Насколько я помню из прочитанного - у японцев ообще сильно поделённое по возраст, ryoken, 21-Июн-22, 16:40 (104)
      - Ну это вообще характерно дял азиатов, хотя сейчас я так понимаю не то что раньш, Kuromi, 21-Июн-22, 18:04 (114)
- Senpai, yamete kudasai, it doesn t fit Out of memory , fuggy, 22-Июн-22, 00:31 (145)
- барин холоп, Serghei, 22-Июн-22, 10:09 (151) //
  - Никита Сергеич Михалков Перелогиньтесь , Oxyd76, 25-Июн-22, 11:09 (167)
- Уже Долго же до вас тренды доходят , Отражение луны, 24-Июн-22, 04:56 (163)
Заранее выкидывать из памяти Ну-ну На яблоке только недавно удалось отрубить на, Бывалый смузихлёб, 21-Июн-22, 11:18 (11) //
- А как не подскажите MacOS убивает просто, 32GiB оператоса, i9 а тормозит как че, 67332, 21-Июн-22, 12:00 (29) //
  - Лучше выбрать другую компанию, Ooiiii, 21-Июн-22, 12:24 (32) //
    - Учитывая стоимость железок, бакс всё-таки корректней ставить яблоку - MacO или,, Бывалый смузихлёб, 21-Июн-22, 16:58 (110)
  - Бери мс - там и интерфейс человеческий и есть WSL что тот же линупc , Аноним, 21-Июн-22, 15:56 (98)
  - Причин для тупни на яблоке может быть полно, но вот что по памяти Для начала отк, Бывалый смузихлёб, 21-Июн-22, 16:55 (108)
Любое вытеснение данных из оперативки в своп что обычное, что умное от Фейсбук , suffix, 21-Июн-22, 11:23 (14) //
- Походу хомки с 512 меговыми впсками радуются , Аноним, 21-Июн-22, 11:47 (23)
- Если в своп проваливается не tmpfs у тебя большая проблема Даже если шоу со спе, Аноним, 21-Июн-22, 12:34 (36) //
  - Просто кто-то знает когда можно и нужно отключать своп а когда этого это делать , suffix, 21-Июн-22, 12:50 (44)
  - Единственный способ временного решения проблем Потечь конечно может и своп спас, Аноним, 21-Июн-22, 12:53 (45) //
    - Иногда своп своим своим наличием увеличивает время беспроблемного аптайма до мес, Аноним, 21-Июн-22, 13:02 (53)
      - Да, вот только частенько бывает обратное, свапование зачастую означает, что сист, Аноним, 21-Июн-22, 14:45 (81)
        
        gt оверквотинг удален Свап был создан в те времена, когда ОЗУ объективно не хв, Аноним, 21-Июн-22, 14:47 (82)
        
        gt оверквотинг удален , Аноним, 21-Июн-22, 14:47 (83)
- кнутом сечь нещадно нужно таких разработчиков , Аноним, 21-Июн-22, 12:55 (46)
- Вы из тех, кто считает сервер с 256 ГБ RAM для раздачи торрентов минимумом https, Аноним, 21-Июн-22, 20:03 (127) //
  - Мне кажется что Вы со своим вопросом промахнулись - он явно не ко мне , suffix, 21-Июн-22, 20:28 (135)
от 20 до 32 zram и zswap в некоторых случаях экономит в 2-3 раза , test1559, 21-Июн-22, 11:30 (15) //
- Тсссс ты сейчас всё портишь , Аноним, 21-Июн-22, 11:48 (24)
- Zswap хорошая идея, но он заполняется целиком и памяти начинает сильно не хватат, Аноним, 21-Июн-22, 12:29 (35) //
  - В некоторых случаях, я же написал, понятное дело, что с какой-нибудь джавой zram, test1559, 21-Июн-22, 12:55 (47)
  - zram вернее, test1559, 21-Июн-22, 12:56 (48)
  - в Zram сжатие эффективное, а вот скорость - нет, Аноним, 21-Июн-22, 13:01 (52) //
    - Сжатие то эффективно, а вот размер окна -- нет Это значит, что одинаковые данны, Аноним, 21-Июн-22, 13:06 (55)
  - man для кого писан Опцию монтирования discard в Zswap докинь, Шклифасофский , Аноним, 21-Июн-22, 15:29 (91) //
    - но не уверен, как это должно помочь, никогда не слышал о таком , Аноним, 21-Июн-22, 15:37 (94)
      - Именно тем и поможет - без опции discard не происходит высвобождение страниц zsw, Аноним, 21-Июн-22, 23:13 (143)
  - Быть может, у вас включён и zram, и zswap одновременно Я встречал описываемый в, Аноним, 21-Июн-22, 20:05 (128)
Больше всего хочется Гугл значительно оптимизировал и сократил потребление ОЗУ , Аноним, 21-Июн-22, 12:03 (30) //
- Не дождёшься, Аноним, 21-Июн-22, 12:24 (33)
- Там не гугл виноват Просто почитай сам стандарт HTML - охренеешь, сколько всего, Аристарх, 21-Июн-22, 14:43 (80) //
  - XHTML , Аноним, 21-Июн-22, 16:38 (103) //
    - PDF Он изначально был кандидатом для веб, но кое-кто подсуетился, и теперь имее, Аноним, 21-Июн-22, 20:13 (132)
- Есть такие, из разряда веб-инсталляторов Качаешь такой на пару мегабайт, а тот , Аноним, 21-Июн-22, 21:28 (139)
А может ли эта технлогия использоваться в обычном свопе на HDD, чтобы trashingа , Аноним, 21-Июн-22, 12:26 (34) //
- Для этого разработчик Google уже несколько лет пытается включить патч в стандарт, Аноним, 21-Июн-22, 20:00 (126)
Понаделали своих реактора и прочих ректал нативов, а теперь мучаются , Без аргументов, 21-Июн-22, 12:58 (50)
Ничё так идея - гробить ресурс SSD ради экономии оперативки , VladSh, 21-Июн-22, 13:07 (57) //
- Не гробить, а использовать Если так получается выгоднее, то почему нет , Аноним, 21-Июн-22, 13:14 (62) //
  - Считать надо Но я сильно сомневаюсь Во-1, - оператива, считай, вечная - капита, VladSh, 21-Июн-22, 16:57 (109) //
    - Посчитайте пожалуйста А то у нас у всех лапки , ыы, 21-Июн-22, 20:20 (134)
- Как там, в 2010-х , Аноним, 21-Июн-22, 13:50 (67)
- Они-то себе могут и MLC позволить А вот для простых линуксоидов -гентоводов он, Аноним, 21-Июн-22, 14:02 (72) //
  - даже мыльце от такого не спасёт в долгосрочной перспективе, и даже сальце SLC , InuYasha, 23-Июн-22, 17:45 (160)
Не понимаю, зачем это всё Разве своп не так же работал Это позор конечно Но е, Аноним, 21-Июн-22, 13:09 (58) //
- Текущая версия swap в линуксе работает, прямо скажем, неоптимально Там использу , Аноним, 21-Июн-22, 20:10 (130)
А потом приложение внезапно по какому-то редкому запросу решает сходить в холод, Онаним, 21-Июн-22, 13:12 (61)
Чет как-то не очень понял Памать конечно дороже денег мегабайт, но она хотябы н, Аноним, 21-Июн-22, 13:31 (63)
Там разве не жёсткое ограничение Приложение же упадёт если сделать ограничение , Аноним, 21-Июн-22, 13:35 (64)
Зачем _вообще_ эвиктить исполняемые страницы 90 памяти -- это же ресурсы, а не, lockywolf, 21-Июн-22, 13:37 (65) //
- 100500 подгруженых либ, в которых реально используется 0 1 кода не согласны И , Аноним, 21-Июн-22, 16:01 (101)
позволяющей значительно экономить оперативную память на серверах за счёт вытесн, Аноним, 21-Июн-22, 14:33 (77) //
- интересный вопрос - вы считаете их почему-то должна заботить вечная жизнь диск, Роман, 21-Июн-22, 15:44 (95)
- У тебя просто пробелы в экономике Сравни стоимость гигабайта SSD и гигабайта се, Аноним, 21-Июн-22, 16:54 (107) //
  - регулярно терять сдохшие данные хомячков - дешевле, Аноним, 21-Июн-22, 19:01 (121) //
    - P S сначала продадут, потом потеряют, чтобы на ковре в Конгрессе не сильно пина, Аноним, 21-Июн-22, 19:02 (122)
    - Именно так В шкале приоритетов на первом месте прибыль, а хомячки - на последне, Аноним, 21-Июн-22, 19:13 (123)
То есть теперь накопители будут изнашиваться ещё быстрее А смысл тогда в увеличе, КО, 21-Июн-22, 17:35 (112) //
- Знаешь способ увеличения производительности без доп затрат Патентуй скорее , Аноним, 21-Июн-22, 17:52 (113) //
  - Уже же все запатентовали Мульен терабайтный свап файл выгоднее, чем столько рам, Попандопала, 21-Июн-22, 18:28 (116)
Мы настолько уже привыкли к дерьмовой архитектуре ПО, что даже не замечаем ужас , Аноним, 21-Июн-22, 19:28 (124) //
- Они там остались от предыдущей операции, в которой они были нужны Они ждут отраб, ыы, 21-Июн-22, 20:05 (129)
- Только не читайте про стандартный аллокатор malloc в glibc сильно будете удивле, Аноним, 21-Июн-22, 20:12 (131) //
  - Надо же А я когда-то написал демона на сях, у которого в цикле было malloc в , YetAnotherOnanym, 21-Июн-22, 20:55 (137) //
    - Современные версии аллокатора в glibc не отдают память в ОС, выделенную на хипе,, Аноним, 21-Июн-22, 22:16 (141)
      - Гы Теперь олдфаги могут кряхтеть, что раньше и malloc free нормально работал, YetAnotherOnanym, 22-Июн-22, 07:57 (149)
- Щас прибежит один из Анонимов и будет с пеной у рта доказывать, что только так и, YetAnotherOnanym, 21-Июн-22, 20:50 (136)
Прочитал комментарии и не понял, есть ли какие-то претензии к продукту, кроме то, Аноним, 21-Июн-22, 23:40 (144) //
- Технологии свопа уже лет 30 если не больше, и во всех осях она есть по дефолту, , Аноним, 23-Июн-22, 00:20 (158)
на что только не пойдет мордокнига для своих php извращений, Аноним, 22-Июн-22, 06:51 (148)
Переизобрели своп, мое почтение всем велосипедостроителям мира, Аноним, 23-Июн-22, 00:19 (157)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру