Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Выпуск cache-bench 0.2.0 для исследования эффективности кэширования файлов"	+/–
Сообщение от opennews (??), 19-Дек-21, 12:24
Спустя 7 месяцев после предыдущего релиза вышел cache-bench 0.2.0. Cache-bench - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность задач, выполнение которых зависит от кэширования файловых операций чтения, особенно в условиях нехватки памяти. Код открыт под лицензией CC0... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=56376
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."	+/–
Сообщение от Аноним (1), 19-Дек-21, 12:24
>Теперь вместо чтения файлов из указанной директории (в новой версии опция -d удалена) производится чтение из одного файла фрагментами указанного размера в случайном порядке. Так это же ухудшение.
Ответить | Правка | Наверх | Cообщить модератору

	2. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."	–2 +/–
	Сообщение от Аноним (2), 19-Дек-21, 13:35
	Непонятное "улучшение". Размер файла теперь должен быть как минимум сопоставим с размером файлового кеша. Иначе скэшируется он полностью и что там потом бенчить - память? Файлов в гигабайты с лету не найду - разве что образы дисков.
	Ответить | Правка | Наверх | Cообщить модератору

	3. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."	+3 +/–
	Сообщение от foo (?), 19-Дек-21, 14:33
	>Размер файла теперь должен быть как минимум сопоставим с размером файлового кеша. Иначе скэшируется он полностью и что там потом бенчить - память? Для этогои писался изначально - исследовать влияние факторов на сохранность кэша при нехватке памяти. Оригинальный основной режим - это читать из небольшого файла (100-300 МБ, сопоставимого по размеру с обычным размером кэша разделяемых библиотек) и добавлять прочитанное в список, таким образом создавая в итоге нехватку памяти.
	Ответить | Правка | Наверх | Cообщить модератору

5. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."	+/–
Сообщение от pavlinux (ok), 20-Дек-21, 15:22
И что с этим делать? Опять руками дроч...^W настраивать sysctl vm.*? 21 век уж как 21 год, ... $ sysctl -A | grep vm. | wc -l 45 ~ 45 параметров, основная масса из них с одним аргументом, половину выкинуть можно, типа vm.mmap_min_addr,  vm.panic_on_oom, vm.mmap_rnd_bits, vm.laptop_mode, vm.legacy_va_layout, ... Ну ебнвр, вставляйте в ваши хелловорлды анализ и автотюнинг на его базе со сравнением результатов. for ((i=0; i<A; i++)    for ((j=0; j<A; j++)       for ((k=0; k<A; k++)          for ((l=0; l<A; l++)                        ...                        ... Да, тут мозг нужен, а не тупа R/W с секундомером измерить.
Ответить | Правка | Наверх | Cообщить модератору

	6. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."	+/–
	Сообщение от foo (?), 20-Дек-21, 15:41
	>тут мозг нужен Интегрировать скрипт с нейросетью?
	Ответить | Правка | Наверх | Cообщить модератору

	7. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."	+1 +/–
	Сообщение от pavlinux (ok), 20-Дек-21, 15:49
	>>тут мозг нужен > Интегрировать скрипт с нейросетью? Что за мода, называть всё что сложнее if ( a > b ) - нейросетью? ))) Обычная комбинаторика, нет там нейросвязей. ... for (.....)    set_sysctl_next(i);    test = mega_bruteforce_bench(i);    if (test > best)         save_sysctl_param(i);    best = max(best, test) ... Там даже проблема не в переборе и сравнении, сколько в адекватности результатов выдваваемых mega_bruteforce_bench(i);  Нужно быть на 146% уверенным, что изменение в sysctl влияет на этот тест. А то ж можно факториал 45 раз воздух обогревать. Автор вон, дрочит vm.swappiness, а в реальности окажется что fs.file-nr кривой, или неправильно понят fs.xfs.rotorstep, иль из гугла скопипастили параметр монтирования barrier=1
	Ответить | Правка | Наверх | Cообщить модератору

	8. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."	+/–
	Сообщение от Ordu (ok), 21-Дек-21, 14:17
	> for ((i=0; i<A; i++) >   for ((j=0; j<A; j++) >      for ((k=0; k<A; k++) >         for ((l=0; l<A; l++) Это хрень какая-то. Напрашивается жеж принять допущение монотонности, и дальше градиентным спуском. В смысле замеряешь градиент, двигаешься в ту сторону, замеряешь ещё раз, и тп. Вектор из 45 элементов -- это много, конечно, но какая собственно разница, если компьютер будет пыхтеть мерять? > Да, тут мозг нужен В том-то и дело. Брутфорсом против комбинаторики далеко не уедешь.
	Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема