Имеется 3 машины:
1. NFS Server:
RedHat EL ES4
ext3, софтовый raid1
IP: 192.168.100.11 (backup)
содержание /etc/exports:
/data/logs 192.168.100.7(rw,all_squash,anonuid=500,anongid=500)
/data/logs 192.168.100.1(rw,all_squash,anonuid=500,anongid=500)2. NFS клиент 1:
Debian Etch, ядро 2.6.24-1
IP: 192.168.100.7
Опции монтирования nfs:
backup:/data/logs on /backup type nfs (rw,rsize=32768,wsize=32768,hard,intr,timeo=5,udp,addr=192.168.100.11)
3. NFS клиент 2:
Debian Sarge, ядро 2.6.8-2
IP: 192.168.100.1
Опции монтирования:
backup:/data/logs on /backup type nfs (rw,rsize=32768,wsize=32768,hard,intr,timeo=5,udp,addr=192.168.100.11)
Как видно, параметры настройки у обоих серверов идентичны. Оба они работают, и достаточно быстро, но вот у первого периодически возникает проблема: он не может прочитать некоторые директории, выводит следующее:
192.168.100.7:~# ls -l /backup/
итого 26811976
?--------- ? ? ? ? ? /backup/proxy
?--------- ? ? ? ? ? /backup/VOIP
drwxrwxrwx 42 500 500 4096 2008-07-11 11:14 cisco
-rw-r--r-- 1 root root 14997944 2008-05-30 17:29 id24.tar.gz
-rw-r--r-- 1 root root 198659849 2008-06-23 14:02 id2341.tar.gz
drwxrwxrwx 2 500 500 4096 2008-07-09 15:19 ipcad
Соответственно, зайти в папки proxy и VOIP не выходит. При этом команда "ls -l /backup/" прекрасно отрабатывает на втором сервере. Но! после того, как команду выполяем на втором, она начинает правильно работать и на первом! Вот его правильный вывод:
192.168.100.7:~# ls -l /backup/
итого 26812168
drwxrwxrwx 42 500 500 4096 2008-07-11 11:14 cisco
-rw-r--r-- 1 root root 14997944 2008-05-30 17:29 id24.tar.gz
-rw-r--r-- 1 root root 198659849 2008-06-23 14:02 id2341.tar.gz
drwxrwxrwx 2 500 500 4096 2008-07-09 15:19 ipcad
drwxr-xr-x 2 500 500 163840 2008-03-18 10:52 proxy
drwxr-xr-x 223 root root 20480 2008-04-08 15:22 VOIP
Если сделать ls -l локально на NFS-серере в этой директории, то тоже всё начинает работать нормально.
Но восстанавливается всё ненадолго, и через какое-то время всё снова начинает глючить.
внутри этой расшаренной директории есть еще одна директория, в которой есть такие же проблемы.
Вот какие есть факты и наблюдения:
1. Проблемы с директориями, у которых размер определяется как больше 4096. Внутри этих директорий много файлов.
2. Перемонтирование в этой ситуации не помогает. и перезагрузка демона nfsd на сервере тоже.
3. Оба клиента работают по UDP, версия NFS3
4. Пробовал менять размеры пакетов от 1024 до 32768, менял hard на soft - ничего не помогает.
5. При таких ошибках никаких записей в логах messages нет ни на сервере, ни на клиенте.
6. в nfsstat все нормально.
7. tcpdump с простыми параметрами показывает, что сервер возвращает "No such file or directory" для проблемных каталогов.
8. Самое интересное: анализировал результаты tcpdump-а с помощью программы WireShark - сравнил запросы на описание одной директории при успешном завершении с клиента2, и при неудачном завершении с клиента1. Пакеты идентичны! разумеется, не считая IP адресов и временных отметок. Но первому клиенту сервер отвечает, что такой директори нет (ответ NFS3ERR_NOENT), а второму отвечает нормально.
Вот и не могу понять - в чем тут дело? вроде и не клиенты виноваты (одинаковые запросы шлют), но и для сервера ведь должно быть неважно, какому клиенту отвечать, отвечать должен одинаково.
