The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"научите анализировать данные."
Вариант для распечатки Архивированная нить - только для чтения! 
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [Проследить за развитием треда]

"научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 29-Янв-04, 14:01  (MSK)
Доброе время суток.
Искуство владение юниксом, это не только уменние поднять демон (что бы он просто зработал)проинсталировать ОС, но и настроить систему на максимальную производительность. Какими бы огромными ресурсами не обладал сервер, всеравно наступит такой момент, когда ему этого будет мало, так что повышать производительность сервера за счет увеличения его русрсов это последний шанс. Вот собставенно с этим и связан мой вопрос. Я 3 дня сижу над поисковиком и чтением найденых доков на эту тему. Почерпнул много полезного, но есть она проблема. В доках либо приводяться конкретные цифры (причем каким макаром они получились об этом ни слова), либо все строится на догадках. O"reilly в статье про самбу пытается давать какие-то таблицы и хочет что бы мы по  ним могли оценить производительность нашей системы, беда в том что там описывается пень 133 и ультра спарк, я вот что мне делать если у меня не пень 133? Про настройку bdflush я вообще молчу, там у кого богаче фантазия тот свое и чешет (особенно возникают разнотолки с так называемыми dummny параметрами).
Что очевидно, так это то, что надо самому уметь проанализировать данные полученные от vmstat iostat sar top и ps, и тогда все станет на свои места. Вот это я и прошу помочь мне сделать (научить). Данные то получить можно но мне не с чем их сравнить что бы можно было судить что показания в норме или наоборот зашкаливают. Вот что пишет многоуважаемый O"reilly:
Disk RPM  I/O Operations/second  KB/second
7200               70              560
4800               60              480
3600               40              320

откуда он берт эти цифры? а где 5400?
идем дальше
CPU                  I/O Operations/second        KB/second
Intel Pentium 133          700                     5,600
Dual Pentium 133           1,200                   9,600
Sun SPARC II               660                     5,280
Sun SPARC 10               750                     6,000
Sun Ultra 200              2,650                   21,200

как можно это просчитать.

в iostat нас наверное в первую очередь интересует такие поля
avgqu-sz
The average queue length of the requests that were issued to the device.

await
The average time (in milliseconds) for I/O requests issued to the device to be served.

svctm
The average service time (in milliseconds) for I/O requests that were issued to the device.

%util
Percentage of CPU time during which I/O requests were issued to the device

с чем мне их сравнить что бы понять что твориться с системой?
оно понятно что чем меньше %util тем лучше, но существуют различные пределы, для различный режимов работы системы (при большой нагрузке понятно что %util будет большой, но может для такой нагрузке это есть нормально и больше быть не может).

теперь vmstat
r     in run queue
b     blocked for resources  I/O, paging, and  so forth
w     runnable but swapped
как определить ту границу привышение которой это уже тревозный факт?

Как оказалось hdparm это не панацея от всех бед (мол винт настроил и все пашет), существуют всякие задержки тайауты и пр. которые тоже влияют на производительность. Это в первую очередь касается I/O elevator, виртуальной памяти (sysactl bdflush),  количества открытых файлов, макс. количество процессов, процессов на одного юзера, настройкой TCP и т.д.
Но к этому мы прийдем только после того как найдем причину.

Надеюсь ерунду я не говорил, и такое возникало наверное у кажного в какой-то период времени. (При подготовке к сдаче экзамена по 2000 серверу обнаружению узких мест отведен ОЧЕНЬ большой раздел и большое кол-во времени.) Постарайтесь понять меня и не флеймить, мол ламер читай маны учи мат часть и т.д. Я запутался, помогите мне пожалуйста.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

 Оглавление

Индекс форумов | Темы | Пред. тема | След. тема
Сообщения по теме

1. "научите анализировать данные."
Сообщение от BRomantik emailИскать по авторуВ закладки on 29-Янв-04, 14:05  (MSK)
Отличная тема для обсуждения, только не совсем ясно, ты хочешь конкретных советов или ответ на вопрос "Откуда брать цифры"?

ЗЫ... Если у тебя есть архив прочитанных статей то может швырнешь в меня???
tux@r66.ru

  Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 29-Янв-04, 14:33  (MSK)
>Отличная тема для обсуждения, только не совсем ясно, ты хочешь конкретных советов
>или ответ на вопрос "Откуда брать цифры"?
>
>ЗЫ... Если у тебя есть архив прочитанных статей то может швырнешь в
>меня???
>tux@r66.ru


ну зачем же только тебе на мыло.
пусть читают все.
Хотя я побаиваюсь выпадов в свою сторону, типа розуй галаз там же все написано, читать научись потом в форум лезь и т.д.
http://www.probability.kiev.ua/OREILLY/misc/using_samba/appb_03.html
http://people.redhat.com/alikins/system_tuning.html#disk
http://www.princeton.edu/~unix/Solaris/troubleshoot/
http://www.samag.com/documents/s=8920/sam0311a/0311a.htm
http://ssz.by.ru/os/linux/optimize_lnx.htm
остальные статьи это пресказ этих ил полный гон. Типа я крут и у меня все пашет. Плюс есть еще на  opennet поключу tune

  Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 30-Янв-04, 08:21  (MSK)
>Отличная тема для обсуждения...

Тема может и отличная но обсуждать ее никто не хочет.
Видимо народ по моей просьбе решил не флеймить.
Жаль что моя тема вызывает только такое желание :-(

  Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "научите анализировать данные."
Сообщение от Bug0r emailИскать по авторуВ закладки on 30-Янв-04, 08:31  (MSK)
>>Отличная тема для обсуждения...
>
>Тема может и отличная но обсуждать ее никто не хочет.
>Видимо народ по моей просьбе решил не флеймить.
>Жаль что моя тема вызывает только такое желание :-(

Я думаю, что не каждый проффесионал знает ответы на поставленные вопросы.
(Я по крайней мере с такими людьми сталкивался. :-) )


  Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 30-Янв-04, 08:55  (MSK)
>Я думаю, что не каждый проффесионал знает ответы на поставленные вопросы.
>(Я по крайней мере с такими людьми сталкивался. :-) )

На этом форуме однозначно есть гуру, которые знаю ответ.
Ну тогда поделтесь опытом кто как анализирует данные от vmstat iostat sar. Или этими тулзами никто не пользуется?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 30-Янв-04, 12:25  (MSK)
>Ну тогда поделтесь опытом кто как анализирует данные от vmstat iostat sar.
>Или этими тулзами никто не пользуется?

ладно, бог с ними с этими vmstat iostat sar, на них свет клином не сошелся, может есть что-то другое, может даже более продвинутое тулзы.
Ну ведь чем-то вы пользутесь.

может lavr прочитает этот топик.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "научите анализировать данные."
Сообщение от lavr emailИскать по авторуВ закладки on 30-Янв-04, 17:48  (MSK)
>>Ну тогда поделтесь опытом кто как анализирует данные от vmstat iostat sar.
>>Или этими тулзами никто не пользуется?
>
>ладно, бог с ними с этими vmstat iostat sar, на них свет
>клином не сошелся, может есть что-то другое, может даже более продвинутое
>тулзы.
>Ну ведь чем-то вы пользутесь.
>
>может lavr прочитает этот топик.

sorry, пока нет времени :(

  Рекомендовать в FAQ | Cообщить модератору | Наверх

8. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 30-Янв-04, 21:29  (MSK)
>sorry, пока нет времени :(

радует что есть надежда


  Рекомендовать в FAQ | Cообщить модератору | Наверх

9. "научите анализировать данные."
Сообщение от Purple emailИскать по авторуВ закладки on 02-Фев-04, 07:03  (MSK)
Мне кажется, что и через много лет работы с никсами у тебя будут возникать
эти либо подобные вопросы.
Эти вопросы из разряда вечных. Ответы на которые каждый ищет применимо к
себе и своим задачам.
Бог(природа) создал человека(инженера), чтобы через него познать самого
себя.
Ищи ,пробуй, созидай, в этом-наше предназначение.
  Рекомендовать в FAQ | Cообщить модератору | Наверх

11. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 02-Фев-04, 10:23  (MSK)
>Мне кажется, что и через много лет работы с никсами у тебя
>будут возникать
>эти либо подобные вопросы.

просто меня сейчас очень мучает это.
мне бы хоть маяк какой-то дали, что почитать или совет конкретный.
больших лекций читать не надо, я понимаю что этого никто делать не будет да и не надо.
Я был бы рад, если бы эта ветка превратилась в реальное обсуждение. Может кто-то новыми ссылочками поделиться. Может вместе мы и поймем что-то

  Рекомендовать в FAQ | Cообщить модератору | Наверх

13. "научите анализировать данные."
Сообщение от Igor Искать по авторуВ закладки on 02-Фев-04, 10:33  (MSK)
>просто меня сейчас очень мучает это.
>мне бы хоть маяк какой-то дали, что почитать или совет конкретный.
>больших лекций читать не надо, я понимаю что этого никто делать не
>будет да и не надо.
>Я был бы рад, если бы эта ветка превратилась в реальное обсуждение.
>Может кто-то новыми ссылочками поделиться. Может вместе мы и поймем что-то
>
Unix:руководство системного администратора..Немета тебе поможет...
Если надо могу написать чего там написано:)....

  Рекомендовать в FAQ | Cообщить модератору | Наверх

14. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 02-Фев-04, 10:46  (MSK)
>..Немета тебе поможет...
Че то яне понял что мне поможет, ну да ладно. :-)

>Если надо могу написать чего там написано:)....
напиши


  Рекомендовать в FAQ | Cообщить модератору | Наверх

16. "научите анализировать данные."
Сообщение от Igor emailИскать по авторуВ закладки on 02-Фев-04, 17:12  (MSK)
>>..Немета тебе поможет...
>Че то яне понял что мне поможет, ну да ладно. :-)
>
...Немет это один из авторов книги "Unix:руководство системного администратора"..если собрался изучать *nix то эта книжка книжка тебе очень поможет...
>научите анализировать данные.
  Так вот..команда vmstat
Может запускаться с двумя аргументами: время(в секундах), в течении которого нужно наблюдать за системой и второй аргумент-необходимое число отчетов,например, vmstat 5 5
Для начала разберем колонку CPU, которая включает три столбца us,sy и id:
us - пользовательское время
sy - системное время
id - время простоя
Как пишут авторы, система должна тратить примерно 50% рабочего времени на обслуживание пользовательских запросов и столько же времени - на системные запросы..Общее время простоя не должно быть нулевым.
  Дальше колонка page:
столбец de - обьем ожидаемого краткосрочного дефицита памяти в кбайтах.
Если стоящее в ней число зашкаливает за 100, это значит, что компьютеру надо больше памяти.К сожалению, во многих версиях команды vmstat это значение не выводится..
Например, у меня в FreeBSD 4.8 нет такого столбца:(
  Колонка procs:
включает столбцы r,b,w:
r- число процессов готовых к выполнению
b- число процессов заблокированных в ожидании ввода/вывода
w- число процессов также готовых к выполнению, но перекаченных на диск..
Если значение в колонке w когда-нибудь станет отличным от нуля, это будет означать, что обьем памяти не соответствует текущей нагрузке...
  Колонка memory:
Столбец free: отображает объем списка не используемых страниц в системе..Если приведенные в ней числа не достигают 3% от общего объема системной памяти, это говорит о наличии проблем..
...Вот собственно и все про команду vmstat...если будут дополнения то пожалуйста....вся информация взята из книги UNIX: руководство системного администратора..

  Рекомендовать в FAQ | Cообщить модератору | Наверх

10. "научите анализировать данные."
Сообщение от Figaro emailИскать по авторуВ закладки on 02-Фев-04, 10:18  (MSK)
При всем желании не могу назвать себя ни профессионалом ни гуру, однако вставлю и свои 5 копеек. :)

Наткнулся на книгу "Unix: библия пользователя", авторы - Ив Лепарж и Пол Яррера (изд. "Диалектика"). Довольно большая часть этой книги посвящена, как мне кажется, как раз обсуждаемой теме. По крайней мере, в ней есть целый раздел, который называется "Упреждающее администрирование UNIX-сервера", состоящий из трех глав: "Сбор информации", "Систематизация и обобщение информации" и  "Профилактическое администрирование". Да и в других разделах немало внимания посвящено именно анализу.

Надеюсь, что был полезен.
---

С уважением, Figaro.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

12. "научите анализировать данные."
Сообщение от student Искать по авторуВ закладки on 02-Фев-04, 10:28  (MSK)
>При всем желании не могу назвать себя ни профессионалом ни гуру, однако
>вставлю и свои 5 копеек. :)
>
>Наткнулся на книгу "Unix: библия пользователя", авторы - Ив Лепарж и Пол
>Яррера (изд. "Диалектика"). Довольно большая часть этой книги посвящена, как мне
>кажется, как раз обсуждаемой теме. По крайней мере, в ней есть
>целый раздел, который называется "Упреждающее администрирование UNIX-сервера", состоящий из трех глав:
>"Сбор информации", "Систематизация и обобщение информации" и  "Профилактическое администрирование". Да
>и в других разделах немало внимания посвящено именно анализу.
>
>Надеюсь, что был полезен.
>---
>
>С уважением, Figaro.

Вот прямо сейчас не книгу покупать не побегу, да и нет гарантии что она в нашем городе есть. (некоторые могут сказать мол книги почтой можно получить, этим никогда не пользовался и наверное врядли буду).
Если у тебя эта книга есть и ты еще читал то наверное понял предложеный материал. В двух словах о чем речь сказать можешь?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

15. "научите анализировать данные."
Сообщение от Nikolaev_D emailИскать по авторуВ закладки on 02-Фев-04, 13:33  (MSK)
Рекомендуется к прочтению.
http://www.solarisinternals.com/
http://ir.hit.edu.cn/~car/linux/books/solarisinternals.pdf
  Рекомендовать в FAQ | Cообщить модератору | Наверх


Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру