forum.opennet.ru - "Lustre FS locks" (5)

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"Lustre FS locks"

Форумы OpenNET: Виртуальная конференция (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"Lustre FS locks"
Сообщение от asidko (??) on 16-Июл-07, 17:42
Кто знает каким образом, (с помощью какой программы) можно протестировать locks в файловой системе lustre? на форумах я прочитал, что "that lustre does not fully supports locks" и вот возник вопрос какие есть тулзы чтобы это протестировать? На каком уровлне она не поддерживает локи и какие могут быть последствия при восстановлении, к примеру?
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Lustre FS locks, _umka_, 23:23 , 16-Июл-07, (1)

Lustre FS locks, asidko, 12:06 , 17-Июл-07, (2)

Lustre FS locks, _umka_, 19:18 , 17-Июл-07, (3)

Lustre FS locks, asidko, 11:28 , 18-Июл-07, (4)

Lustre FS locks, _umka_, 08:36 , 19-Июл-07, (5)

Сообщения по теме [Сортировка по времени, UBB]

1. "Lustre FS locks"

Сообщение от _umka_ (ok) on 16-Июл-07, 23:23

>
>Кто знает каким образом, (с помощью какой программы) можно протестировать locks в
>файловой системе lustre? на форумах я прочитал, что "that lustre does
>not fully supports locks" и вот возник вопрос какие есть тулзы
>чтобы это протестировать? На каком уровлне она не поддерживает локи и
>какие могут быть последствия при восстановлении, к примеру?
ну как один из разработчиков люстры попробую ответить..
Следует различать внутрение локи на данные и flock/bsd lock API, вторые действительно не до конца соотвествуют POSIX, но и это будет исправляться в ближайшее время.
Внутрений же distributed lock API позволяет обспечить консистентность данных при любых сбоях - худшее что может случиться - незаписаные данные будут потеряны, но ситуации при которых разные ноды буду иметь разные данные - практически исключены.
для того что бы протестировать distributed locks - тут хорошим тестом будет какое нить MPI приложение, MPI-IO benchmark хотябы.
для тестирования flock/bsd lock API - можно воспользоваться тулзами для тестирования nfs - хотя бы 'Connectathon Testsuite'.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Lustre FS locks"

Сообщение от asidko (??) on 17-Июл-07, 12:06

>>
>>Кто знает каким образом, (с помощью какой программы) можно протестировать locks в
>>файловой системе lustre? на форумах я прочитал, что "that lustre does
>>not fully supports locks" и вот возник вопрос какие есть тулзы
>>чтобы это протестировать? На каком уровлне она не поддерживает локи и
>>какие могут быть последствия при восстановлении, к примеру?
>ну как один из разработчиков люстры попробую ответить..
>Следует различать внутрение локи на данные и flock/bsd lock API, вторые действительно
>не до конца соотвествуют POSIX, но и это будет исправляться в
>ближайшее время.
>
>Внутрений же distributed lock API позволяет обспечить консистентность данных при любых сбоях
>- худшее что может случиться - незаписаные данные будут потеряны, но
>ситуации при которых разные ноды буду иметь разные данные - практически
>исключены.
>
>для того что бы протестировать distributed locks - тут хорошим тестом будет
>какое нить MPI приложение, MPI-IO benchmark хотябы.
>для тестирования flock/bsd lock API - можно воспользоваться тулзами для тестирования nfs
>- хотя бы 'Connectathon Testsuite'.
Спасибо, что ответил.
Как ты и советовал я взял 'nfs Connectathon Testsuite'.
Тесты с первого по 16 прошли без ошибок, а вот 6-й тест выдал предупреждение.
Test #6 - Try to lock the MAXEOF byte.
        Parent: 6.0  - F_TLOCK [7fffffff,       1] PASSED.
        Child:  6.1  - F_TEST  [7ffffffe,       1] PASSED.
        Child:  6.2  - F_TEST  [7ffffffe,       2] PASSED.
        Child:  6.3  - F_TEST  [7ffffffe,  ENDING] PASSED.
        Child:  6.4  - F_TEST  [7fffffff,       1] PASSED.
        Child:  6.5  - F_TEST  [7fffffff,       2] PASSED.
        Child:  6.6  - F_TEST  [7fffffff,  ENDING] PASSED.
        Child:  6.7  - F_TEST  [80000000,  ENDING] PASSED.
        Child:  6.8  - F_TEST  [80000000,       1] PASSED.
        Child:  6.9  - F_TEST  [80000000,7fffffff] PASSED.
        Child:  6.10 - F_TEST  [80000000,80000000] WARNING!
        Child:  **** Expected EINVAL, returned EAGAIN...
        Parent: 6.11 - F_ULOCK [7fffffff,       1] PASSED.
Тест проводил с клиента, монтировал люстровую шару вот так
sudo mount -t lustre 10.1.7.3:/n-mds/client /mnt/node/ -o flock
(без опции flock) процесс тестирования останавливался на первом тесте. Причем при использовании опции localflock наблюдаю тоже самое предупреждение.
Подскажи плиз, чем это могло быть вызвано?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Lustre FS locks"

Сообщение от _umka_ (ok) on 17-Июл-07, 19:18

>F_TEST  [80000000,80000000] WARNING!
>        Child:  **** Expected
>EINVAL, returned EAGAIN...
>        Parent: 6.11 - F_ULOCK
>[7fffffff,       1] PASSED.
>
>Тест проводил с клиента, монтировал люстровую шару вот так
>sudo mount -t lustre 10.1.7.3:/n-mds/client /mnt/node/ -o flock
>(без опции flock) процесс тестирования останавливался на первом тесте. Причем при использовании
>опции localflock наблюдаю тоже самое предупреждение.
при localflock просто не происходит синхронизация локов между нодами - если мой склероз не изменяет мне, в остальном они одинаковы.

>
>Подскажи плиз, чем это могло быть вызвано?
эт странно.. я недавно гонял эти же тесты - но этого варнинга не помню.
но anyway это похоже одно из не нестыковок с POSIX - тест расчитаный на получение ошибки EINVAL (неправильный набор параметров) получил ошибку EAGAIN - повторите еще раз.
глобально - ошибка и там там - но код не тот что ожидался.
закинь информацию о этой баге в багзилу люстры - что бы не потерялось.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Lustre FS locks"

Сообщение от asidko (??) on 18-Июл-07, 11:28

>
>>F_TEST  [80000000,80000000] WARNING!
>>        Child:  **** Expected
>>EINVAL, returned EAGAIN...
>>        Parent: 6.11 - F_ULOCK
>>[7fffffff,       1] PASSED.
>>
>>Тест проводил с клиента, монтировал люстровую шару вот так
>>sudo mount -t lustre 10.1.7.3:/n-mds/client /mnt/node/ -o flock
>>(без опции flock) процесс тестирования останавливался на первом тесте. Причем при использовании
>>опции localflock наблюдаю тоже самое предупреждение.
>при localflock просто не происходит синхронизация локов между нодами - если мой
>склероз не изменяет мне, в остальном они одинаковы.
>
>
>>
>>Подскажи плиз, чем это могло быть вызвано?
>эт странно.. я недавно гонял эти же тесты - но этого варнинга
>не помню.
>но anyway это похоже одно из не нестыковок с POSIX - тест
>расчитаный на получение ошибки EINVAL (неправильный набор параметров) получил ошибку EAGAIN
>- повторите еще раз.
>глобально - ошибка и там там - но код не тот что
>ожидался.
>
>закинь информацию о этой баге в багзилу люстры - что бы не
>потерялось.
Понял, спасибо.
Ты случайно занимался/занимаешся настройкой heartbeat? Есть проблеммы при прикручивании её к люстре.
Помочь можешь?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Lustre FS locks"

Сообщение от _umka_ (ok) on 19-Июл-07, 08:36

>>потерялось.
>
>Понял, спасибо.
>Ты случайно занимался/занимаешся настройкой heartbeat? Есть проблеммы при прикручивании её к люстре.
>
>Помочь можешь?
не-а :\ попробуй спросить в lustre-discuss@clusterfs.com (англоязычная рассылка) очень вменяемый лист - думаю кто нить обязательно с этим сталкивался.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Lustre FS locks"
Сообщение от _umka_ (ok) on 16-Июл-07, 23:23
> >Кто знает каким образом, (с помощью какой программы) можно протестировать locks в >файловой системе lustre? на форумах я прочитал, что "that lustre does >not fully supports locks" и вот возник вопрос какие есть тулзы >чтобы это протестировать? На каком уровлне она не поддерживает локи и >какие могут быть последствия при восстановлении, к примеру? ну как один из разработчиков люстры попробую ответить.. Следует различать внутрение локи на данные и flock/bsd lock API, вторые действительно не до конца соотвествуют POSIX, но и это будет исправляться в ближайшее время. Внутрений же distributed lock API позволяет обспечить консистентность данных при любых сбоях - худшее что может случиться - незаписаные данные будут потеряны, но ситуации при которых разные ноды буду иметь разные данные - практически исключены. для того что бы протестировать distributed locks - тут хорошим тестом будет какое нить MPI приложение, MPI-IO benchmark хотябы. для тестирования flock/bsd lock API - можно воспользоваться тулзами для тестирования nfs - хотя бы 'Connectathon Testsuite'.
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Lustre FS locks"
	Сообщение от asidko (??) on 17-Июл-07, 12:06
	>> >>Кто знает каким образом, (с помощью какой программы) можно протестировать locks в >>файловой системе lustre? на форумах я прочитал, что "that lustre does >>not fully supports locks" и вот возник вопрос какие есть тулзы >>чтобы это протестировать? На каком уровлне она не поддерживает локи и >>какие могут быть последствия при восстановлении, к примеру? >ну как один из разработчиков люстры попробую ответить.. >Следует различать внутрение локи на данные и flock/bsd lock API, вторые действительно >не до конца соотвествуют POSIX, но и это будет исправляться в >ближайшее время. > >Внутрений же distributed lock API позволяет обспечить консистентность данных при любых сбоях >- худшее что может случиться - незаписаные данные будут потеряны, но >ситуации при которых разные ноды буду иметь разные данные - практически >исключены. > >для того что бы протестировать distributed locks - тут хорошим тестом будет >какое нить MPI приложение, MPI-IO benchmark хотябы. >для тестирования flock/bsd lock API - можно воспользоваться тулзами для тестирования nfs >- хотя бы 'Connectathon Testsuite'. Спасибо, что ответил. Как ты и советовал я взял 'nfs Connectathon Testsuite'. Тесты с первого по 16 прошли без ошибок, а вот 6-й тест выдал предупреждение. Test #6 - Try to lock the MAXEOF byte. Parent: 6.0 - F_TLOCK [7fffffff, 1] PASSED. Child: 6.1 - F_TEST [7ffffffe, 1] PASSED. Child: 6.2 - F_TEST [7ffffffe, 2] PASSED. Child: 6.3 - F_TEST [7ffffffe, ENDING] PASSED. Child: 6.4 - F_TEST [7fffffff, 1] PASSED. Child: 6.5 - F_TEST [7fffffff, 2] PASSED. Child: 6.6 - F_TEST [7fffffff, ENDING] PASSED. Child: 6.7 - F_TEST [80000000, ENDING] PASSED. Child: 6.8 - F_TEST [80000000, 1] PASSED. Child: 6.9 - F_TEST [80000000,7fffffff] PASSED. Child: 6.10 - F_TEST [80000000,80000000] WARNING! Child: **** Expected EINVAL, returned EAGAIN... Parent: 6.11 - F_ULOCK [7fffffff, 1] PASSED. Тест проводил с клиента, монтировал люстровую шару вот так sudo mount -t lustre 10.1.7.3:/n-mds/client /mnt/node/ -o flock (без опции flock) процесс тестирования останавливался на первом тесте. Причем при использовании опции localflock наблюдаю тоже самое предупреждение. Подскажи плиз, чем это могло быть вызвано?
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Lustre FS locks"
	Сообщение от _umka_ (ok) on 17-Июл-07, 19:18
	>F_TEST [80000000,80000000] WARNING! > Child: **** Expected >EINVAL, returned EAGAIN... > Parent: 6.11 - F_ULOCK >[7fffffff, 1] PASSED. > >Тест проводил с клиента, монтировал люстровую шару вот так >sudo mount -t lustre 10.1.7.3:/n-mds/client /mnt/node/ -o flock >(без опции flock) процесс тестирования останавливался на первом тесте. Причем при использовании >опции localflock наблюдаю тоже самое предупреждение. при localflock просто не происходит синхронизация локов между нодами - если мой склероз не изменяет мне, в остальном они одинаковы. > >Подскажи плиз, чем это могло быть вызвано? эт странно.. я недавно гонял эти же тесты - но этого варнинга не помню. но anyway это похоже одно из не нестыковок с POSIX - тест расчитаный на получение ошибки EINVAL (неправильный набор параметров) получил ошибку EAGAIN - повторите еще раз. глобально - ошибка и там там - но код не тот что ожидался. закинь информацию о этой баге в багзилу люстры - что бы не потерялось.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	4. "Lustre FS locks"
	Сообщение от asidko (??) on 18-Июл-07, 11:28
	> >>F_TEST [80000000,80000000] WARNING! >> Child: **** Expected >>EINVAL, returned EAGAIN... >> Parent: 6.11 - F_ULOCK >>[7fffffff, 1] PASSED. >> >>Тест проводил с клиента, монтировал люстровую шару вот так >>sudo mount -t lustre 10.1.7.3:/n-mds/client /mnt/node/ -o flock >>(без опции flock) процесс тестирования останавливался на первом тесте. Причем при использовании >>опции localflock наблюдаю тоже самое предупреждение. >при localflock просто не происходит синхронизация локов между нодами - если мой >склероз не изменяет мне, в остальном они одинаковы. > > >> >>Подскажи плиз, чем это могло быть вызвано? >эт странно.. я недавно гонял эти же тесты - но этого варнинга >не помню. >но anyway это похоже одно из не нестыковок с POSIX - тест >расчитаный на получение ошибки EINVAL (неправильный набор параметров) получил ошибку EAGAIN >- повторите еще раз. >глобально - ошибка и там там - но код не тот что >ожидался. > >закинь информацию о этой баге в багзилу люстры - что бы не >потерялось. Понял, спасибо. Ты случайно занимался/занимаешся настройкой heartbeat? Есть проблеммы при прикручивании её к люстре. Помочь можешь?
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	5. "Lustre FS locks"
	Сообщение от _umka_ (ok) on 19-Июл-07, 08:36
	>>потерялось. > >Понял, спасибо. >Ты случайно занимался/занимаешся настройкой heartbeat? Есть проблеммы при прикручивании её к люстре. > >Помочь можешь? не-а :\ попробуй спросить в lustre-discuss@clusterfs.com (англоязычная рассылка) очень вменяемый лист - думаю кто нить обязательно с этим сталкивался.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

Архив \| Удалить	Индекс форумов \| Темы \| Пред. тема \| След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 \| 2 \| 3 \| 4 \| 5 ] [Рекомендовать для помещения в FAQ]