The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Подробное руководство по тюнингу файловой системы Ext3, opennews (??), 28-Окт-08, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


2. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 28-Окт-08, 12:03 
А что в этом такого?
Ну, неудобно немного, зато сравнительно быстро.

И, кстати, какая разница в производительности EXT3, после такой дефрагментации?

Ответить | Правка | Наверх | Cообщить модератору

3. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от одмин (?), 28-Окт-08, 13:45 
>И, кстати, какая разница в производительности EXT3, после такой дефрагментации?

весьма высокая. Тут дело не в фс а в том что винт физически гораздо лучше справляется с последовательным потоковым чтением чем с random io.

Ответить | Правка | Наверх | Cообщить модератору

4. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 28-Окт-08, 15:38 
это конечно верно. но!
действует либо для больших файлов. либо, например, если программа читает кучу мелких файлов (и довольно быстро читает, например, проигрыватель mp3-шек не подходит), которые расположены рядом. а такого как правило не бывает даже на свеже-созданной фс.

другое дело - винда. там действительно это важно. из-за схемы виртуальной памяти.
там каждый бинарник (dll, exe,...) является свопом сам для себя. из-за этого кстати нельзя например dll-ку удалить, если она загружена в память какой-либо программой, иначе система рухнет. ну и легко представить, что будет, если эти dll-ки разбросаны по всему винту и фрагментированы.

Ответить | Правка | Наверх | Cообщить модератору

5. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 28-Окт-08, 16:37 
>ну и легко представить, что будет, если эти dll-ки разбросаны по всему винту и фрагментированы

и что будет?


Ответить | Правка | Наверх | Cообщить модератору

6. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 28-Окт-08, 18:47 
>>ну и легко представить, что будет, если эти dll-ки разбросаны по всему винту и фрагментированы
>
>и что будет?

тормоза будут.
чем больше живет, чем больше заполнен винт, чем больше с ним проводилось операций удаления/записи, тем медленнее относительно не фрагментированой фс. что часто и наблюдается.
у *nix же зависимость производительности от фрагментации значительно меньше. чаще всего её вообще можно пренебречь. гораздо больше на производительность, например, влияет тюниг журнала в ext3.

Ответить | Правка | Наверх | Cообщить модератору

7. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (-), 28-Окт-08, 21:20 
>тормоза будут. чем больше живет, чем больше заполнен винт, чем больше с ним проводилось операций удаления/записи, тем медленнее относительно не фрагментированой фс. что часто и наблюдается.

А причем здесь тогда "схема виртуальной памяти" в винде?

>у *nix же зависимость производительности от фрагментации значительно меньше. чаще всего её вообще можно пренебречь.

А причем здесь тогда "схема виртуальной памяти" в винде?

Ответить | Правка | Наверх | Cообщить модератору

9. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 28-Окт-08, 23:20 
>А причем здесь тогда "схема виртуальной памяти" в винде?

Не понятно объяснил? Повторю!
КАЖДЫЙ БИНАРНИК под винды сам для себя своп. Т.е. если нужно сбросить или вытащить страничку ОЗУ из/в свопа, то она будет тащиться из/в того места на диске, где размазан этот бинарник. Например, файл состоит из 5 секторов, при чём первый в 3487, второй - в 11, 3 - в 12324354, 4 - в 47, 5 - в 903424.
ОЧЕНЬ много перемещений головки!!! И чем "старше" фс, тем эта ситуация всё более реальней и тем медленнее.
Вывод - без периодической дефрагментации никуда.
>А причем здесь тогда "схема виртуальной памяти" в винде?

При том, что для винды фрагментация ОЧЕНЬ важна, а для *nix - нет.

Хотя не важно! На Вас только время терять...

Ответить | Правка | Наверх | Cообщить модератору

10. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (-), 29-Окт-08, 02:17 
>КАЖДЫЙ БИНАРНИК под винды сам для себя своп.

Структура PE-файлов на диске и в памяти отличается, учите матчасть

>Т.е. если нужно сбросить или вытащить страничку ОЗУ из/в свопа, то она будет тащиться из/в того места на диске, где размазан этот бинарник.

Т.е в выделенном своп-файле, по вашему, хранятся совершенно левые данные, а не неактивные страницы памяти? Ну-ну...

>При том, что для винды фрагментация ОЧЕНЬ важна, а для *nix - нет.

При фрагментаци FS что в линуксе, что в винде, да и в любой ОС - будут тормоза.

Только непонятно, чем среди всего этого отличилась "схема виртуальной памяти" в винде? :D


Ответить | Правка | Наверх | Cообщить модератору

12. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 10:07 
>Структура PE-файлов на диске и в памяти отличается, учите матчасть

ну отличается и что? учите матчасть
>Т.е в выделенном своп-файле, по вашему, хранятся совершенно левые данные, а не
>неактивные страницы памяти? Ну-ну...

Не "левые"... Но и не код... И именно из-за сируктуры виртуальной памяти... учите матчасть
>При фрагментаци FS что в линуксе, что в винде, да и в
>любой ОС - будут тормоза.
>
>Только непонятно, чем среди всего этого отличилась "схема виртуальной памяти" в винде?
>:D

учите матчасть.

Ответить | Правка | Наверх | Cообщить модератору

13. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (-), 29-Окт-08, 10:30 
>ну отличается и что?

Т.е. "сам себе своп" - это вы сами придумали или какой-то кулхацкер подсказал? По возможности, поделитесь соответствующей ссылкой на rsdn/msdn/wasm.ru (прозреваю, что вы, за неимением таковых, пошлете меня в гугл - тогда защитаем ваш слив :)

>Не "левые"... Но и не код...

ЛОЛ! А что же тогда? :D Поделитесь источником вашей информации!

>учите матчасть

Это вы её подучите, чтобы бреда собачьего вроде "сам себе своп" больше не писать, уважаемый :D

Ответить | Правка | Наверх | Cообщить модератору

14. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 13:40 
ссылки, уважаемый, известны - msdn, google,.... и учебные заведения.
и я бы ими поделился, но Ваш тон отбивает всякое желание к подобным действиям.
>Это вы её подучите, чтобы бреда собачьего вроде "сам себе своп" больше не писать, уважаемый :D

Вам ещё очень многому нужно учиться.

Ответить | Правка | Наверх | Cообщить модератору

17. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 29-Окт-08, 15:24 
>ссылки, уважаемый, известны - msdn, google,.... и учебные заведения.

Слив защитан! :D

Ответить | Правка | Наверх | Cообщить модератору

18. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от User294 (ok), 29-Окт-08, 15:43 
>Слив защитан! :D

Кому?Винды насколько я помню натурально могут отбрасывать страницы без слива их в своп, подчитывая их из образа PE EXE с диска при необходимости вместо того чтобы соваться в своп.Это в свое время было сделано чтобы снизить интенсивность использования свопа (экономия на отсутствии операции записи).Насколько я помню это один из аргументов против интенсивного юзания EXE-пакеров - если EXE сжат, системе ничего не останется кроме как выдавливать его в своп, потому что подчитать страницу из сжатого образа EXE файла не выйдет.Логично что фрагментация EXE по диску при этом ни к чему хорошему не приведет.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

21. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 16:37 
Вы не только не грамотны и не воспитаны, но ещё и читать не умеете.
хорошо. вот Вам и ещё ссылка:
http://www.helloworld.ru/texts/comp/lang/visualc/vc/THEORY/H...
Однако файл подкачки ґ не единственный файл, используемый диспетчером виртуальной памяти. Нет особого смысла в том, чтобы записывать в этот файл страницы кода. Вместо этого Windows проецирует ЕХЕ- и DLL-модули непосредственно на их дисковые файлы. Поскольку страницы кода помечены как "только для чтения", то необходимости в их записи обратно на диск не возникает. Если два процесса используют один и тот же ЕХЕ-файл, то данный файл отображается на адресные пространства обоих процессов. Файлы, проецируемые в память, о которых мы поговорим позже, также отображаются напрямую. Они доступны "для чтения и записи" и разделяются несколькими процессами.


Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

23. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 29-Окт-08, 16:51 
>вот Вам и ещё ссылка:
>http://www.helloworld.ru/texts/comp/lang/visualc/vc/THEORY/H...
>Однако файл подкачки ґ не единственный файл, используемый диспетчером виртуальной памяти. Нет особого смысла в том, чтобы записывать в этот файл страницы кода. Вместо этого Windows проецирует ЕХЕ- и DLL-модули непосредственно на их дисковые файлы.

Не совсем верно, т.к. Windows проецирует лишь те и только те секции, которые помечены ка read-only и немодифицируемые. Автоматом целый файл никуда не проецируется, т.к. могут быть bss-секции, к примеру


Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

27. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 17:35 
>Не совсем верно, т.к. Windows проецирует лишь те и только те секции,
>которые помечены ка read-only и немодифицируемые. Автоматом целый файл никуда не
>проецируется, т.к. могут быть bss-секции, к примеру

а вот это верно!
Но! разговор то шёл в рамках топика.
Да и разница какая?... Особенно если в сильно нагруженной, забитой файлами (сразу вспоминаются терминальные сервера) и ОЧЕНЬ сильно фрагментированной среде?... Можно говорить, что свопом является весь диск?... Да и странички качаются случайным образом?.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

15. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 14:23 
хотя.... будем считать, что Вы не всегда хам....
http://citforum.yspu.yar.ru/operating_systems/solaris/unix.s...
Область памяти, занятая программой разделена на три части: TEXT (выполняемые коды программы), DATA (статические данные программы), STACK (динамические данные). Когда операционка освобождает место в памяти за счет TEXT'а, то она не занимается сбросом его на диск. Она сразу помечает его как свободный. Действительно, когда потребуется загрузить TEXT обратно в память, его можно будет взять из самого выполняемого файла с программой. Такая экономия имеет один побочный эффект. Файл программы, которая в данный момент выполняется, невозможно уничтожить. Операционная система сообщит в этом случае: "text file busy", и откажется выполнять удаление.

похоже ведет себя и windows. вернее она только так и умеет.
и при такой работе фрагментация на диске ОЧЕНЬ сильно влияет на производительность.
в линухе (при его штатной настройке - 99,9%) на эту фрагментацию можно не обращать внимания вообще, т.к. проще и лучше настроить журнал и кэшь, которые этот аффект уберут.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

22. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 29-Окт-08, 16:40 
>хотя.... будем считать, что Вы не всегда хам....

Будем :)

>http://citforum.yspu.yar.ru/operating_systems/solaris/unix.s...

Это статья дает очень поверхостное понимание того, как организован VMM, даже в unix, не говоря уже о винде. поэтому рекомендую к прочтению http://www.elinux.ru/arhitec/arg_1.php, если осилите. А далее по пунктам:

>Область памяти, занятая программой разделена на три части: TEXT (выполняемые коды программы), DATA (статические данные программы), STACK (динамические данные).

А как же BSS, RODATA и пр.?

>Когда операционка освобождает место в памяти за счет TEXT'а, то она не занимается сбросом его на диск. Она сразу помечает его как свободный.

Т.е. мы свопимся ради свободной ОЗУ? Забавно :)

>Действительно, когда потребуется загрузить TEXT обратно в память, его можно будет взять из самого выполняемого файла с программой.

Ну да, и тут фрагментация - как раз кстати, на ЛЮБОЙ ОС :)

>Такая экономия имеет один побочный эффект. Файл программы, которая в данный момент выполняется, невозможно уничтожить. Операционная система сообщит в этом случае: "text file busy", и откажется выполнять удаление.

А я под рутом в линуксе взял и удалил - значит кто-то из нас двоих глубоко заблуждается или просто не понимает то, о чем говорит

>похоже ведет себя и windows. вернее она только так и умеет.

Странно, а выше вы утверждали, что VMM в винде какой-то особенный, а тут уже "похоже" )

>и при такой работе фрагментация на диске ОЧЕНЬ сильно влияет на производительность.

Как я уже утверждал - на любой ОС

>в линухе (при его штатной настройке - 99,9%) на эту фрагментацию можно не обращать внимания вообще, т.к. проще и лучше настроить журнал и кэшь, которые этот аффект уберут.

Вы хоть подберите нормальные аргументы, а то в начале поста говорите одно, а в конце - какой-то откровенный бред несете, с элементами НЛП

Но для вас я все-же расскажу то, как все есть на самом деле.
Представим себе систему без файла подкачки. Для ОС существует набор страниц RAM (для PC - 4К). Состояние у каждой страницы всего два: занята и свободна. При запуске программы часть ее считивается с диска, т.е. попадает в дисковый кеш, который всегда находится в свободной памяти. Затем ядром системы формируется виртуальное пространство процесса, данные и код из дискового кеша копируются в свободные страницы (которые помечаются как занятые), там выравниваются по секциям и пр. и программа начинает работать, к примеру. Я не зря упомянул про дисковые буферы: они находятся в _свободной_ памяти и содержат кешированные данные _с диска_, т.е. при больших запросах памяти нашим приложением будут оттуда стерты, т.е. закрыв приложение, а затем попытавшись его снова запустить, ОС, если нет свободной памяти (т.е. нет дискового кеша) будет вынуждена заново прочитать файл, т.к. (повторяю) бинарники в фале и бинарники в ОЗУ отличаются! Так дела обстоят и в windows, и в linux. Разница же между linux и windows в том, что последняя позволяет задать минимальный и максимальный размеры дискового буфера, а в линуксе просто верхний порог всегда на максимуме - и у некоторых (как у вас, например) это вызывает ложные ощущения о якобы существенных различиях в VMM (угу, это на одной платформе, с одной и той же логикой MMU :D). С файлом подкачки ситуация не сильно меняется: дисковый кеш остается в физической ОЗУ (сколько там ее свободно). Все. Желаю успехов в изучении матчасти!

Ответить | Правка | Наверх | Cообщить модератору

26. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 17:24 
много написано... и глупо... читайте комментарий выше.
>Состояние у каждой страницы всего два: занята и свободна.

научитесь хоть msdn-ом пользоваться http://msdn.microsoft.com/en-us/library/ms810616.aspx
... the status of every physical page of memory in the system... Valid, Modified, Standby, Free, Zeroed, Bad
а вот это вообще не правда, если не сказать больше:
>Так дела обстоят и в windows, и в linux. Разница же между linux и windows в том, что последняя позволяет задать минимальный и максимальный размеры дискового буфера, а в линуксе просто верхний порог всегда на максимуме - и у некоторых (как у вас, например) ...

начните отсюда: http://en.wikipedia.org/wiki/Virtual_memory , а то по-моему у Вас все смешалось в голове... как у студента перед сессией... и тем более после.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

28. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 29-Окт-08, 18:24 
>Valid, Modified, Standby, Free, Zeroed, Bad

Вad не рассматриваем в нашем случае; valid, modified это значит занята, free и standby значит свободна ___если смотреть "глазами" ОС, когда какой-то процесс требует выделить ему память___. Zeroed это общем случае тоже не рассматривается.

>а вот это вообще не правда
>а то по-моему у Вас все смешалось в голове... как у студента перед сессией... и тем более после.

Да это вы можете сколько угодно фантазировать :D Вот непонятно только, что в "схеме виртуальной памяти" винды такого, что из-за фрагментации FS в винде загрузка приложений тормозит, а в линуксе - нет??? Я услышал от вас, что есть "схожесть", но не услышал и не увидел ссылок на кардинальные _отличия VMM_ - собственно, это единственное, что мне нужно. Также впечатлает объем вашего комментария на мой достаточно большой пост - что явно говорит об уровне вашей подготовки :)


Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

31. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 19:17 
>Да это вы можете сколько угодно фантазировать :D Вот непонятно только, что в "схеме виртуальной памяти" винды такого, что из-за фрагментации FS в винде загрузка приложений тормозит, а в линуксе - нет??? Я услышал от вас, что есть "схожесть", но не услышал

самый первый мой комментарий. в windows нельзя удалить dll, exe,... которые сейчас запущены на выполнение, а в linux я запросто произвожу update ПО, которое сейчас работает.
Не понятно почему?
>Также впечатлает объем вашего комментария на мой достаточно большой пост - что явно говорит об уровне вашей подготовки :)

:-DDDDDD
А с чего Вы взяли, что я должен Вам что-то развёрнуто доказывать?
Да и на Ваше мнение о моей компетенции меня мало волнует... Тем более, что Ваш уровень я уже видел.

Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

29. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 29-Окт-08, 18:37 
>а вот это вообще не правда, если не сказать больше

Границы дискового буфера в винде можно задать с помощю функции NtQuerySystemInformation c параметром SYSTEMCACHEINFORMATION. В который раз повторю: учите матчасть.

Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

32. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 29-Окт-08, 19:34 
>Границы дискового буфера в винде можно задать с помощю функции NtQuerySystemInformation c
>параметром SYSTEMCACHEINFORMATION. В который раз повторю: учите матчасть.

в который раз уже повторяю, что в линухе через /proc и /sys можно сделать и не такое.
но это к разговору не имеет НИКАКОГО отношения....

Когда Вы объясните, почему запущенное на выполнение ПО под линух можно проапдейтить/удалить/..., а под винды - нет и как это связано с виртуальной памятью и фрагментацией на диске, тогда и появится у Вас право давать кому-нибудь советы.

А пока что... учите матчасть. :-DDDDDDDDDDDDDDDDDDDDDDD
(а то в комменте 10 Вы вообще утверждали, что в виндах бинарник свопиться,.. хорошо хоть одумались под конец)

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

34. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от ананимка (?), 29-Окт-08, 23:30 
>Границы дискового буфера в винде можно задать с помощю функции NtQuerySystemInformation c
>параметром SYSTEMCACHEINFORMATION. В который раз повторю: учите матчасть.

А выполняется она от рута? пьху!!! админа?
Или каждый желающий?
А то было бы забавно;-)


Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

38. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от User294 (ok), 30-Окт-08, 04:19 
>А выполняется она от рута? пьху!!! админа?

Мде, попробовал документацию на эту функцию почитать... как вам такое описание? http://msdn.microsoft.com/en-us/library/ms724509(VS.85).aspx

Такое ощущение что писал его почтальон Печкин - дескать, посылка у меня есть но вам я ее не отдам.Описание явно писалось по этому же принципу :)

Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

41. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от vitek (??), 30-Окт-08, 07:04 
эта функция, NtQuerySystemInformation, только возвращает некоторую информацию о системе, а не изменяет её.
и из названия это следует.
но к разговору это не относится. :-)
Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

16. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Алексей (??), 29-Окт-08, 14:26 
Windows никогда не свопирует выполняемый код, т.к. априори предполагает, что
а) он неизменяем
б) его всегда без проблем можно заново считать из запускаемого файла
(кстати именно поэтому при использовании пакеров exe-файлов Windows приходится свопить весь распакованый exe-файл в своп).

Свопируются только данные! Поэтому все ваши наезды вообще говоря не понятны.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

24. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от Аноним (2), 29-Окт-08, 16:54 
>Windows никогда не свопирует выполняемый код, т.к. априори предполагает, что
>а) он неизменяем
>б) его всегда без проблем можно заново считать из запускаемого файла
>(кстати именно поэтому при использовании пакеров exe-файлов Windows приходится свопить весь распакованый
>exe-файл в своп).
>
>Свопируются только данные! Поэтому все ваши наезды вообще говоря не понятны.

И вам повторю: свопирутся секции, согласно флагам, и никаких "априори"

Ответить | Правка | Наверх | Cообщить модератору

33. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от ананимка (?), 29-Окт-08, 19:57 
>И вам повторю: свопирутся секции, согласно флагам, и никаких "априори"

Без разницы весь файл или его части.
Важен результат.
А он известен - переустановка винды. И диск желательно переразбить.

Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

37. "Подробное руководство по тюнингу файловой системы Ext3"  +/
Сообщение от User294 (ok), 30-Окт-08, 02:58 
>И вам повторю: свопирутся секции, согласно флагам, и никаких "априори"

Если дефолты рассмотреть и как оно обычно происходит без всякой экзотики - как раз обычно получается размазанный по всему диску "своп" потому что система зачастую подчитывает страницы из EXE файлов а не из свопа.И априори, по дефолту, в поставке винды ехешники сделаны именно так, насколько я знаю.

У вас есть что-то возразить по делу и вам есть чем оспорить тот факт что фрагментация в этом случае все усугубляет?Или вы так, софистикой занимаетесь чтобы отмыться от какашек которые в вас полетели?

Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру