The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Proxmox 4.1 + DRBD   API mismatch!"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Виртуализация / Linux)
Изначальное сообщение [ Отслеживать ]

"Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от addmasteremail (ok), 02-Апр-16, 10:51 
Приветствую!

Поставили мне задачу посмотреть в сторону "бесплатной виртуализации"

в наличии две машины
цель - кластер + зеркалирование

примеры брал из
https://habrahabr.ru/post/187660/
http://pve.proxmox.com/wiki/DRBD#WARNINGS
http://stormbp.blogspot.ru/2012/05/proxmox-ve-2-cluster-with...
и не только. суть понятна и в принципе сложностей быть не должно,
но "путь джедая" останавливается на
#/etc/init.d/drbd start
[....] Starting drbd (via systemctl): drbd.serviceJob for drbd.service failed. See 'systemctl status drbd.service' and 'journalctl -xn' for details.
failed!

журнал:
journalctl -xn
-- Logs begin at Sat 2016-04-02 10:07:18 MSK, end at Sat 2016-04-02 10:37:35 MSK. --
Apr 02 10:27:11 pve0 pvedaemon[1052]: <root@pam> successful auth for user 'root@pam'
Apr 02 10:37:35 pve0 drbdadm[2415]: [
Apr 02 10:37:35 pve0 systemd[1]: drbd.service: main process exited, code=exited, status=1/FAILURE
Apr 02 10:37:35 pve0 systemd[1]: Failed to start Distributed Replicated Block Device.
-- Subject: Unit drbd.service has failed
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit drbd.service has failed.
--
-- The result is failed.
Apr 02 10:37:35 pve0 systemd[1]: Unit drbd.service entered failed state.
Apr 02 10:37:35 pve0 drbdadm[2415]: create res: r0:failed(new-resource:20)
Apr 02 10:37:35 pve0 drbdadm[2415]: prepare disk: [skipped:r0]
Apr 02 10:37:35 pve0 drbdadm[2415]: adjust disk: [skipped:r0]

вот тут :

drbdadm up r0
API mismatch!
    API version drbdsetup: 1 kernel: 2
    header size drbdsetup: 8 kernel: 8
Command 'drbdsetup new-resource r0 1' terminated with exit code 20
drbdadm: new-minor r0: skipped due to earlier error

понятно что drbdsetup new-resource r0 1  выдает тоже самое

помогите куда смотреть

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от ALex_hha (ok), 04-Апр-16, 12:47 
Какие системы на нодах?
Ответить | Правка | Наверх | Cообщить модератору

2. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от addmasteremail (ok), 04-Апр-16, 15:42 
> Какие системы на нодах?

# uname -a
Linux pve0 4.2.6-1-pve #1 SMP Wed Dec 9 10:49:55 CET 2015 x86_64 GNU/Linux

ставил офф исо

и да, ошибки одинаковые, что на реальном  железе, что на виртуальных машинах.
т.е. дома в VirtulBox создал 2 одинаковые машины, закатил установочник PoxMox 4.1
поправил конфиги и остановился на том же месте:
# /etc/init.d/drbd restart
[....] Restarting drbd (via systemctl): drbd.serviceJob for drbd.service failed. See 'systemctl status drbd.service' and 'journalctl -xn' for details.
failed!

далее
#drbdadm create-md r0
проходит нормально (т.е. забиваю сначала раздел нулями)

а вот
# drbdadm up r0
API mismatch!
    API version drbdsetup: 1 kernel: 2
    header size drbdsetup: 8 kernel: 8
Command 'drbdsetup new-resource r0 0' terminated with exit code 20
drbdadm: new-minor r0: skipped due to earlier error
(понятно что drbdsetup new-resource r0 0  результата не даст)

и еще вывод
cat /proc/drbd
version: 9.0.0 (api:2/proto:86-110)
GIT-hash: 360c65a035fc2dec2b93e839b5c7fae1201fa7d9 build by root@elsa, 2015-12-09 10:54:50
Transports (api:10):

версии
#aptitude -F "%p %v %V" search drbd
drbd-doc                  <none>         8.4~20140825-1
drbd-utils           8.9.2~rc1-2+de      8.9.2~rc1-2+de
drbd-utils-dbg       8.9.2~rc1-2+de      8.9.2~rc1-2+de
drbd8-utils          2:8.9.2~rc1-2+      2:8.9.2~rc1-2+
drbdlinks            1.22-1              1.22-1        

пробовал менять drbd8-utils но результат тот же

Ответить | Правка | Наверх | Cообщить модератору

3. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от Andrey Mitrofanov (?), 04-Апр-16, 17:00 
>[оверквотинг удален]
> [....] Restarting drbd (via systemctl): drbd.serviceJob for drbd.service failed. See 'systemctl
> status drbd.service' and 'journalctl -xn' for details.
>  failed!
> далее
> #drbdadm create-md r0
> проходит нормально (т.е. забиваю сначала раздел нулями)
> а вот
> # drbdadm up r0
> API mismatch!
>  API version drbdsetup: 1 kernel: 2

У тебя модуль 9.0, а drbdadm / drbd-utils  8.<с чем-то>, видимо.
И  .<с чем-то>  <  .9.

>  header size drbdsetup: 8 kernel: 8
> Command 'drbdsetup new-resource r0 0' terminated with exit code 20
> drbdadm: new-minor r0: skipped due to earlier error
> (понятно что drbdsetup new-resource r0 0  результата не даст)
> drbd-utils           8.9.2~rc1-2+de
>      8.9.2~rc1-2+de
> drbd-utils-dbg       8.9.2~rc1-2+de    
> пробовал менять drbd8-utils но результат тот же

Может, криво ставил [из исходников] старую версию, что новая "не видна"?

Покажи вывод
    drbdadm -V
и
    which drbdadm


А! Понял, наверное =>
   yum remove drbd8-utils

Ответить | Правка | Наверх | Cообщить модератору

4. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от addmasteremail (ok), 04-Апр-16, 19:54 

> У тебя модуль 9.0, а drbdadm / drbd-utils  8.<с чем-то>, видимо.
> И  .<с чем-то>  <  .9.

вот я то же об этом думаю, как это все привести к общему знаменателю?

> Может, криво ставил [из исходников] старую версию, что новая "не видна"?

вообще, изначально все было из коробки и сразу не пошло.

> Покажи вывод
>     drbdadm -V
> и
>     which drbdadm

root@pve1:~# drbdadm -V
DRBDADM_BUILDTAG=GIT-hash:\ 5474c321d80250cc61d851220503fdc739490ce9\ build\ by\ pbuilder@marvin\,\ 2016-01-04\ 12:36:34
DRBDADM_API_VERSION=1
DRBD_KERNEL_VERSION_CODE=0x090000
DRBDADM_VERSION_CODE=0x080902
DRBDADM_VERSION=8.9.2rc1

root@pve1:~# which drbdadm
/sbin/drbdadm

(это вывод с домашней установки, с работы ток с утра, хотя там тоже самое)
> А! Понял, наверное =>
>    yum remove drbd8-utils

это я уже делал (вернее, чего только уже не делал)

ЗЫ
я уже наверное запутался.. завтра на железо накачу с нуля дистр,
но версии пакетов будут точно такие же..

Ответить | Правка | Наверх | Cообщить модератору

5. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от addmasteremail (ok), 05-Апр-16, 09:29 
привет
!!!  добавляю к вчерашнему !!!

поставил заново Proxmox 4.1, все настройки дефолтные ()
что сделал:
1 - в /etc/hosts прописал IP вторй машины,
2 - обновил систему, разделил диск (т.е. для зеркала у меня sda4 - одинаковый на обоих машинах)
3 - поставил drbd8-utils

# aptitude install drbd8-utils
(он автоматом потянул за собой drbd-utils)
версии пакетов :
# aptitude -F "%p %v %V" search drbd
drbd-doc               <none>                 8.4~20140825-1
drbd-utils          8.9.2~rc1-2+de            8.9.2~rc1-2+de
drbd-utils-dbg         <none>                 8.9.2~rc1-2+de
drbd8-utils         2:8.9.2~rc1-2+            2:8.9.2~rc1-2+
drbdlinks              <none>                   1.22-1        

4 - поправил (на всяк случай забекапил оригинал)
# nano /etc/drbd.d/global_common.conf

global { usage-count no; }
common { syncer { rate 30M; } }

5 - создал
nano /etc/drbd.d/r0.res

resource r0 {
        protocol C;
        startup {
                wfc-timeout 0;
                degr-wfc-timeout 120;
                become-primary-on both;
                }

handlers {
        split-brain "/usr/lib/drbd/notify-split-brain.sh root";
        out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
        }

  disk {
    on-io-error   detach;
        }

syncer {
        rate  100M;
        verify-alg md5;
        csums-alg crc32c;
        al-extents 257;
        }

net {
        allow-two-primaries;
        cram-hmac-alg sha1;
        shared-secret "123456";
        data-integrity-alg crc32c;
        after-sb-0pri discard-zero-changes;
        after-sb-1pri discard-secondary;
        after-sb-2pri disconnect;
        }

        on pve0.domen {
                device    /dev/drbd0;
                disk      /dev/sda4;
                address   10.29.X.Y:7789;
                meta-disk internal;
        }
        on pve1.domen {
                device    /dev/drbd0;
                disk      /dev/sda4;
                address   10.29.X.Z:7789;
                meta-disk internal;
        }
}

6 - в # nano /etc/drbd.conf
include "drbd.d/global_common.conf";
include "drbd.d/r0.res";

7 - создал метаданные
# drbdadm create-md r0

initializing activity log
NOT initializing bitmap
Writing meta data...
New drbd meta data block successfully created.

8 - ЖОПА )))

# /etc/init.d/drbd start
[....] Starting drbd (via systemctl): drbd.serviceJob for drbd.service failed. See 'systemctl status drbd.service' and 'journalctl -xn' for details.
failed!

# drbdadm up r0
API mismatch!
    API version drbdsetup: 1 kernel: 2
    header size drbdsetup: 8 kernel: 8
Command 'drbdsetup new-resource r0 1' terminated with exit code 20
drbdadm: new-minor r0: skipped due to earlier error

ВЫВОДЫ что ты просил (со свежей тачки)

# drbdadm -V
DRBDADM_BUILDTAG=GIT-hash:\ 5474c321d80250cc61d851220503fdc739490ce9\ build\ by\ pbuilder@marvin\,\ 2016-01-04\ 12:36:34
DRBDADM_API_VERSION=1
DRBD_KERNEL_VERSION_CODE=0x090000
DRBDADM_VERSION_CODE=0x080902
DRBDADM_VERSION=8.9.2rc1

# which drbdadm
/sbin/drbdadm

ну и # cat /proc/drbd
version: 9.0.0 (api:2/proto:86-110)
GIT-hash: 360c65a035fc2dec2b93e839b5c7fae1201fa7d9 build by root@elsa, 2015-12-09 10:54:50
Transports (api:10):


пока ни че не делаю, в кластер не вгоняю, жду очень пожалуйста пинка в нужную сторону

Ответить | Правка | Наверх | Cообщить модератору

6. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от Andrey Mitrofanov (?), 05-Апр-16, 09:52 
>> У тебя модуль 9.0, а drbdadm / drbd-utils  8.<с чем-то>, видимо.
>> И  .<с чем-то>  <  .9.
> вот я то же об этом думаю, как это все привести к
> общему знаменателю?

Там, в апстриме, одного знаменателя нет. есть две несовместимых версии двух компонентов и миграция !в процессе": апи=1 "старый" (8.4, про .3 и ранее сейчас не скажу) модуль ядра + старые утилиты;  api=2 "новый" (9.0) модуль ядра + новые утилиты (теоретически). Миграция находится в районе утилит 8.9, которые. вроде как, умеют и тот модуль ядра, и этот. У тебя они == должно [бы] ехать.

А ещё связь "по проводу" у них со своей одельной версией (слово proto: рядом с api:), точнее диапазоном версий -- и на соседних машинах, вроде как, можно "проскочить" с синхронизацией с 8.4 на 9.0.

Плюс, судя по "новому" ядру в нём уже свой модуль. Они его заапстримили какое-то время тому. Плюс, видимо, ядро "промоксовское" -- как они его собирали, что патчили и пр. - вопрос.  Я обычно утилиты(8.4 вместе с модулем, потом 8.9 уже отделившиеся) и модуль(8.4) собирал (для el6; переезжаю на el7 -без drbd) из стабильного git-а, то есть примерно одновременно выgущенные и выпущенные авторами.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

7. "Proxmox 4.1 + DRBD   API mismatch!"  –1 +/
Сообщение от addmasteremail (ok), 05-Апр-16, 12:23 
и чо делать ?

Ответить | Правка | Наверх | Cообщить модератору

8. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от ACCA (ok), 05-Апр-16, 20:14 
> и чо делать ?

Либо откатиться на ядро постарее, либо накатить DRBD utils поновее.

Возможно, собрать самому из исходников. Обычное дело.

Ответить | Правка | Наверх | Cообщить модератору

9. "Proxmox 4.1 + DRBD   API mismatch!"  +1 +/
Сообщение от lavremail (ok), 05-Апр-16, 23:44 
>> и чо делать ?
> Либо откатиться на ядро постарее, либо накатить DRBD utils поновее.

не откатиться на ядро, но понизить версию Proxmox вместе с ядром

> Возможно, собрать самому из исходников. Обычное дело.

угу:
http://coolsoft.altervista.org/en/blog/2016/02/proxmox-41-ke...

Ответить | Правка | Наверх | Cообщить модератору

10. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от addmaster (ok), 06-Апр-16, 08:26 
>>> и чо делать ?
>> Либо откатиться на ядро постарее, либо накатить DRBD utils поновее.
> не откатиться на ядро, но понизить версию Proxmox вместе с ядром
>> Возможно, собрать самому из исходников. Обычное дело.
> угу:
> http://coolsoft.altervista.org/en/blog/2016/02/proxmox-41-ke...

в общем.. ночью уже на виртуалках дома вроде как решил проблему
поставил drbd-utils-8.9.6, и что то заработало, но до конца не проверил,
щас буду на железе пробовать, и подробно все опишу

Ответить | Правка | Наверх | Cообщить модератору

11. "Proxmox 4.1 + DRBD   API mismatch!"  +/
Сообщение от ACCA (ok), 08-Янв-20, 06:20 
> щас буду на железе пробовать, и подробно все опишу

Обманщик...

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру