The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Кластер погодного сервиса Gismeteo переведен на Linux

07.11.2009 01:03

Компания ГНУ/Линуксцентр завершила внедрение кластера на базе SUSE Linux Enterprise Server 11 для обеспечения подготовки данных для погодного сервиса Gismeteo.

Все основное программное обеспечение в Gismeteo разработано для Windows и старая система была построена на базе Windows 2003 Server. Судя по всему масштабируемость старого кластера оставляла желать лучшего. Тесты показали, что можно добиться ощутимого прироста производительности без больших денежных затрат, если перевести кластер на новое оборудование и Linux. Выполнение старой программной начинки в Windows 2003 обеспечено при помощи системы виртуализации Xen. Для зеркалирования блочных устройств между узлами кластера с целью обеспечения отказоустойчивости в конфигурации без единого внешнего хранилища использована технология DRBD (Distributed Redundant Block Device).

  1. Главная ссылка к новости (http://www.linuxcenter.ru/lib/...)
Автор новости: Filosof
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/24147-linux
Ключевые слова: linux, cluster
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (38) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Дмитрий Смирнов (?), 09:35, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Давно пора))
     
  • 1.2, Sw00p aka Jerom (?), 10:05, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    зачем плодить кзены и пртом использовать диэрбидб
    лучше б замутили бы люстру или джипиэфэс
    а в место сюси редхат )))
     
     
  • 2.3, pavlinux (ok), 10:15, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Те же яйцы, только вид с боку
     

  • 1.4, mma (?), 10:46, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Те они просто виртуализировали виндос?  
     
     
  • 2.5, anonimus (?), 11:02, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ну да, софт ведь никто переписывать не будет, да и на винду денюжки уже потрачены.
     

  • 1.6, RigoN (?), 11:48, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Вот блин тема.... ааа
    Все было куплено, как бы еще деньжат замутить ...?
    Правильно купить Линукс - деньги, завиртуализировать виндовый сервак - за работу опять денег, бадягу эту поддерживать смогут только те кто её сделал - опять бабки...MS интеграторам такую схему откатов еще надо освоить....одним словом - Россия
     
     
  • 2.7, Андрей (??), 13:00, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Вот блин тема.... ааа
    >Все было куплено, как бы еще деньжат замутить ...?
    >Правильно купить Линукс - деньги, завиртуализировать виндовый сервак - за работу опять
    >денег, бадягу эту поддерживать смогут только те кто её сделал -
    >опять бабки...MS интеграторам такую схему откатов еще надо освоить....одним словом -
    >Россия

    А вдруг они все же софт будут переписывать? А виртуализация, как промежуточный вариант?

    Надо верить в чудо господа!

     
  • 2.8, anonymouse (?), 13:04, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    А какой метод увеличения производительности предложили бы вы, не переписывая при этом ПО, потому что переписывание специализированного ПО несёт за собой значительные расходы?
     
     
  • 3.9, anonymouse (?), 13:06, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >А какой метод увеличения производительности предложили бы вы, не переписывая при этом
    >ПО, потому что переписывание специализированного ПО несёт за собой значительные расходы?
    >

    это было к: RigoN

     
  • 3.16, Аноним (-), 15:18, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >А какой метод увеличения производительности предложили бы вы, не переписывая при этом
    >ПО,

    Может wine?

     
     
  • 4.19, Аноним (19), 17:33, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Ага, еще не лучше. Вайн еще глючнее самого виндовса.
     
  • 3.21, Alen (??), 00:46, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    А виртуализация, по вашему, метод увеличения производительности?!
    и без разници переписывание софта.
     
  • 2.10, аноним (?), 13:14, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Правильно купить Линукс - деньги, завиртуализировать виндовый сервак

    венда не уметь кластерные файловые системы, она уметь только тормоза, поэтому правильно её завиртуализировать, а данные синхронизировать с помощь drdb, а потом и вообще от этого г избавиться

    p.s. винда == десктоп

     
     
  • 3.17, ALex_hha (ok), 16:06, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    > венда не уметь кластерные файловые системы

    она умеет gpfs от IBM :) Так что прежде чем, так громко заявлять, лучше изучи суть вопроса ;)

     
     
  • 4.18, sHaggY_caT (ok), 16:30, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Да, умеет(+ еще какую-то умела, на сколько я помню), но GPFS там, имхо, не к месту.

    Не знаю, какую платформу IBM сам рекомендует, и не видела убедительных бенчмарков GPFS с просто параллельными (без репликации) ocfs2/gfs2(а ничего просто параллельного, и, тем более от самого вендора, на платформе нет.), но все-таки HighAvaible на Windows чаще делают просто на дорогой СХД.

    Windows не занимаюсь, судя по нашему с Вами общению на форуме, Вы ей занимаетесь больше, и больше понимаете в технологиях MS.

    У нас GPFS на Linux(причем просто под распределенное файлохранилище). Вы пробовали использовать ее под Windows?

     
  • 4.22, аноним (?), 01:34, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >она умеет gpfs от IBM :) Так что прежде чем, так громко заявлять, лучше изучи суть вопроса ;)

    сколько там лицензия-то за процессор у GPFS? а давно умеет, а то ведь прямо бетатестером будешь каким, да ещё и за собственные деньги, а когда всё крякнется?

     

  • 1.11, Piter_Ring (ok), 14:21, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    --цитата
    Выполнение старой программной начинки в Windows 2003 обеспечено при помощи системы виртуализации Xen. Для зеркалирования блочных устройств между узлами кластера с целью обеспечения отказоустойчивости в конфигурации без единого внешнего хранилища использована технология
    --цитата энд.

    Кластер не для производительности, а для увеличения отказоустойчивости!!
    А как сделать отказоустойчивый кластер без солидного куска бабла и
    при этом ничего не внося нового ?? - никак. Другое дело если
    все замутить через "марипупу"....
    Читая заметку я поначалу думал они вообще прикладуху через вайн запустили :)),

    А народ оказался догадистым, они накупили новеловских энтерпрайзов с дополнительными обвесками и все это запустили на НОВОМ ЖЕЛЕЗЕ.
    А когда стал вопрос как во всем этом запустить виндовую прикладуху -
    закрутили все через КСЕН и концы в воду.

    Конеч но же купить вин2008 кластер оказалось бы гораздо дешевле и
    как следствие персональные доходы заказчиков оказались бы существенно ниже.

    Вообщем все как обычно, "Русский в гору не пойдет, РУсский пойдет назад а потом на лево..."

     
     
  • 2.12, sHaggY_caT (ok), 14:39, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Конеч но же купить вин2008 кластер оказалось бы гораздо дешевле и
    >как следствие персональные доходы заказчиков оказались бы существенно ниже.

    Не факт, что их софт запускался на Win2k8. Возможно, это действительно был самый _дешевый_ вариант. Win2k8 еще купить нужно. Конечно, можно было бы запускать гостевые Win2k3 на Hyper-V, но кто сказал, что это было бы стабильнее, безопаснее, и производительнее?

    Про Hyper-V в сети пишут всякое, от "полный уг!", до восторженно-фанатичных речей. Сама Hyper-V не видела, наши Windows'ки используют его для каких-то своих внутренних дел, но...
    Я склонна думать, что дыма без огня не бывает, и претензий к качеству, стабильности и производительности того же ESX днем с огнем не сыщешь в сети, как, кстати, и для XenServer, про Hyper-V, же, повторюсь, негатива очень много(я видела что-то даже на течнете).

    Да и функционал у него, мягко говоря, не блещет: живая миграция не в релиз-кандидатах появилась только-только, нет ничего для HA, нет ничего для поддержки гетерогенных окружений: одно дело запустить гостевую систему другого вендора, а другое дело, что кроме WSUS для Windows же Microsoft пока ничего предложить не может(в новостях проскальзывали новости про UNIX расширения для SMS, но до production это вряд ли дойдет скоро, а у Novell уже сейчас есть Zenworks, который будет управлять и гостевыми виндами, и сусями).

    Еще вариантом (но более дорогим) был бы ESX с vSphere и хорошей СХД, но, возможно, гизметиям такой счет за это выставили, что... А тут и Линукс-центр подоспел :)

     
     
  • 3.20, bliss (?), 21:09, 07/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Со всей ответственностью человека, вынужденного поддерживать работу 1С (7.7 и уже 8.1) в масштабах предприятия, 24/7, при том, что способности адинце программистов не блещут и оно все у них достаточно глючное -- выход в виде xen виртуализации оказался очень удачным. По причинам отсутствия вменяемых паравиртуальных драйверов пока венда виртуализуется на ксенсервер 5 от цитрикс. Том, который бесплатный. Плюшки от цитрикс в виде xen essentials оказались не нужны. HA просто реализуется средствами вендовых серверов -- NLB и failover кластеры. NLB -- терминальная ферма -- на текущий момент 4 виртуалки. Failover -- MSSQl 2005 кластер. Проблем нет. ВООБЩЕ. Кворум и общий диск для SQL кластера вынесен через iSCSI на выделенный для этого сервер (там свободный ксен, и ietd крутится на виртуалке, партиции -- LVM2), общие файлы для NLB фермы -- на самбе, тоже виртуализованной. Понятно, что это все потребовало изучения, обкатки и экспериментов, но оно отлично работает. Единственный затык -- в горе-программистах адинце. Они, похоже, могут угробить любую систему :).
     
     
  • 4.24, sHaggY_caT (ok), 03:00, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >бесплатный. Плюшки от цитрикс в виде xen essentials оказались не нужны.
    >HA просто реализуется средствами вендовых серверов -- NLB и failover кластеры.
    >NLB -- терминальная ферма -- на текущий момент 4 виртуалки. Failover
    >-- MSSQl 2005 кластер. Проблем нет. ВООБЩЕ. Кворум и общий диск
    >для SQL кластера вынесен через iSCSI на выделенный для этого сервер
    >(там свободный ксен, и ietd крутится на виртуалке, партиции -- LVM2),
    >общие файлы для NLB фермы -- на самбе, тоже виртуализованной. Понятно,
    >что это все потребовало изучения, обкатки и экспериментов, но оно отлично
    >работает. Единственный затык -- в горе-программистах адинце. Они, похоже, могут угробить
    >любую систему :).

    :))

     
  • 4.25, Piter_Ring (ok), 06:14, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Сколько у тебя "бухов" в 1С ? :)))
    ... я думаю здесь со мной многие согласятся, тебе крупно повезло с работодателем,
    раз столько бабла выделяют лишь бы 1Ц работало :))),
     
     
  • 5.39, bliss (?), 20:16, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Не бухов. Вся логика предприятия завязана на 1с. Собственные конфигурации для семерки. В данный момент внедряется восьмерка. Поэтому в 1с работает не только собственно бухгалтерия, а и расчетный, и склады, и все-все-все, что требует отчетности. На терминальном сервере (ныне кластере) иной раз колбасится свыше 60 человек. А насчет бабла -- перечитай предыдущий пост. Все -- либо (условно) бесплатное (citrix), либо свободное (линукс, samba, community xen, ietd)... Коллега с аналогичного предприятия, принадлежащего другому собственнику, удивлялся нашей бедности. Они на вмвари трудятся, ораклах, блейдах, купленных редхатах...
     
  • 3.23, bliss (?), 02:02, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >поддержки гетерогенных окружений: одно дело запустить гостевую систему другого вендора, а
    >другое дело, что кроме WSUS для Windows же Microsoft пока ничего
    >предложить не может(в новостях проскальзывали новости про UNIX расширения для SMS,
    >но до production это вряд ли дойдет скоро, а у Novell
    >уже сейчас есть Zenworks, который будет управлять и гостевыми виндами, и
    >сусями).
    >
    >Еще вариантом (но более дорогим) был бы ESX с vSphere и хорошей
    >СХД, но, возможно, гизметиям такой счет за это выставили, что... А
    >тут и Линукс-центр подоспел :)

     

  • 1.13, Аноним (-), 15:12, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > не переписывая при этом ПО, потому что переписывание специализированного ПО несёт за собой значительные расходы?

    Там что ПО было написано на дельфи? Или студенты на единственном известном им инструменте склепали - на видуалке + MFC и т.д.?.. Какой стыд...

     
  • 1.14, Аноним (-), 15:16, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если так дело пойдет, то М$ сами скоро будут продавать вин"сервера" вместе с линукс виртуалками. )))
     
  • 1.15, pavlinux (ok), 15:16, 07/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    За это бабло, наняли бы пару программеров и переписали бы всё по POSIX UNIX,
    затем хоть AIX и HP-UX, хотя нак...я сайту погоды HP-UX.
    Pentium III 1.5 GHz, 2Gb RAM, FreeBSD/Linux и написанный на C сервер,
    за глаза хватило бы. Для массива EMC AX150 c 12-ю 2Тb винтами + Qlogic 2462 FC.

    Делов то:
    Сервак - 1000$,
    Qlogic - 1400$,
    EMC - 8000$
    HDD - 2600$

    FreeBSD/Linux - бесценно :)

    По желанию, все остальное бабло программерам и админу.


      


     
     
  • 2.26, Piter_Ring (ok), 06:18, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/

    >Делов то:
    >Сервак - 1000$,
    >Qlogic - 1400$,
    >EMC - 8000$
    >HDD - 2600$
    >

    ....Плохое предложение.
    Нам не подходит.
    У нас задача на 150Кбаксов, а вы мне "детский сад" предлагаете.
    Или вы согласны привезти обратно 137Кбасов в сумке ? и при этом все будет работать ? :))))

     
     
  • 3.29, pavlinux (ok), 10:13, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >>Сервак - 1000$,
    >>Qlogic - 1400$,
    >>EMC - 8000$
    >>HDD - 2600$
    >>
    >
    >....Плохое предложение.
    >Нам не подходит.
    >У нас задача на 150Кбаксов, а вы мне "детский сад" предлагаете.
    >Или вы согласны привезти обратно 137Кбасов в сумке ?

    68K$ привезу

    > и при этом все будет работать ? :))))

    Да!

     

  • 1.28, RigoN (?), 07:24, 08/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Какие варианты говорите....: оставить все как было. пока не перепишут/напишут нативный софт, а это как не крути делать надо . Ну а дальше без всяких энтерпрайзов решить вопрос, как уже сказали Linux'ов в мире много... ценник правда не такой яркий, да и понтов столько не накрутишь....
    Ну, а что софт там школотой написан, это факт, иначе первым делом бы портанули....
    Что ксен это оплот надежности и отказоустойчивости...? Улыбнули...Вы тут все на винду тычете, но её же никто из схемы не выкинул, а это в первом классе учат, что общая отказоустойчивость комплексной системы не выше отказоустойчивости самого слабого звена...., так о чем речь, о какой надежности...
    Что тут говорить, бабки распилили..., ну распилили и распилили, у нас в стране и не такие объемы пилят, вот только не надо под это дело сей релиз как техническое совершенство админской мысли преподносить и все будет нормально. Так что новость в раздел "Техника откатов и ОС Linux - путь светлое будущее" Да и вообще конторка Линуксцентер - гнилая паразитируют на теле OpenSource, там только на ценники дисков посмотреть - все станет понятно.
    Следующая серия краткий сюжет : "Стало понятно, что основнйо ботлнек - собственно софт, и его надо переписать, а для этого нужны опять деньги и напишут этот софт так, что сможет он работатьтолько с Oracle на Санках. Вот тут то ценник нормалек, а то там понимаешь Linux энтерпрайз...., а под это дело нужны новые админы, да и все структуру надо под это дело перестроить...ух и работы...ух и денежек можно замесить..."
     
     
  • 2.30, kit (??), 10:25, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Здравствуйте, Уважаемые!
    Вот все говорят то да сё, а есть такой совершенно глупый мысля: а чё, у них есть исходники? Ведь, переписать что-то, портировать под что-то можно только обладая исходниками, и зачастую, даже если они и есть, то в юридически бумажках разраб как правило пишет, что изменять ничё низзя... Типа, чтобы было всё кошерно юридически, смотришь исходник, находишь косячину, фиксишь её, связываешься с разрабами и они тебе скидывают отредактированный бинарь, типа получается синхронизация версий используемого ПО и версии разрабов... правда срок получения пофиксенных бинарей ничем не ограничен, зато всё кошерно по закону... Ну, как то так... А зачастую, ПО без исходников, так что мигрировать приходится полностью одномоментно и сразу, и хорошо если повезёт перетащить старые данные в новую прогу, что далеко не всегда удаётся по разнообразным причинам... а так, как правило, работают параллельно старая прога и новая, пока данные в старой окончательно не потеряют актуальность и их не прикроют... Миграция, очень весёлый и творческий процесс, так что, как там было на самом деле - это ещё большой вопрос... Например, задача: в масштабах области есть программа, на Кларионе под Дос'ом, сервер Новелл 5.0 БД Битрив(и не говорите, что его уже 10 лет как прикрыли), так вот прога сама работает по диалапу, обеспечивая синхронную работу в масштабах области одной ведомственной задачи, если оно остановится, то можно получить путёвку на отдых, туда... на север, в солнечный Магадан...
    Так что, очень даже вариант, возможно единственно верный, развернуть новую инфраструктуру, поверх неё запустить старую, и параллельно начать портировать ПО, и дописывать с нуля то, что нельзя портировать по разным причинам...
    Строго моё имхо, ибо приходится решать задачи миграции, с ДОСа, Вин 98, Хрюши... в масштабах области и с учётом перехода на лицензионно кошерное ПО...
     
  • 2.31, pavlinux (ok), 10:34, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >в первом классе учат, что общая отказоустойчивость комплексной системы не выше
    >отказоустойчивости самого слабого звена...., так о чем речь, о какой надежности...

    Пора бы уж в второй класс, а то уж 10 лет на второй год остаётесь... :)

    Нынче общая отказоустойчивость комплексной системы, зависит от скорости
    восстановления сбойного звена.

    Так что дохлая нода в кластере, это всего лишь уменьшение кол-ва
    обрабатываемых запросов, на время восстановления. В данном случай,
    умершая виртуалка.

    > Так что, очень даже вариант, возможно единственно верный, развернуть новую
    > нфраструктуру, поверх неё запустить старую, и параллельно начать портировать ПО, и
    > дописывать с нуля то, что нельзя портировать по разным причинам...

    А не судьба параллельно запустить и портировать.

     
     
  • 3.32, kit (??), 10:59, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >> Так что, очень даже вариант, возможно единственно верный, развернуть новую
    >> нфраструктуру, поверх неё запустить старую, и параллельно начать портировать ПО, и
    >> дописывать с нуля то, что нельзя портировать по разным причинам...
    >
    >А не судьба параллельно запустить и портировать.

    Неа, не вариант - старое железо выходит из строя от старости...


     
     
  • 4.33, pavlinux (ok), 11:07, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Так что, очень даже вариант, возможно единственно верный, развернуть новую
    >>> нфраструктуру, поверх неё запустить старую, и параллельно начать портировать ПО, и
    >>> дописывать с нуля то, что нельзя портировать по разным причинам...
    >>
    >>А не судьба параллельно запустить и портировать.
    >
    >Неа, не вариант - старое железо выходит из строя от старости...

    Ткните пальцем в железо умершее от старости. :)

     
     
  • 5.34, kit (??), 11:38, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Ткните пальцем в железо умершее от старости. :)

    HP 1100 белой сборки, башня, 2001 года выпуска, 2 проца*800 Мгц, 2 * 256 Мб ОЗУ, 2*20 Гб скази 320 = честно отработал 6 лет,  обслуживая всю область в режиме 24/7 и без кондёра, когда он горел летом, нёся по разному от 5-7 ведомственных БД, до 15 в пике... На него ещё были фирмовые дрова под новель для скази...


     
     
  • 6.37, pavlinux (ok), 17:40, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>Ткните пальцем в железо умершее от старости. :)
    >
    >HP 1100 белой сборки, башня, 2001 года выпуска, 2 проца*800 Мгц, 2
    >* 256 Мб ОЗУ, 2*20 Гб скази 320 = честно отработал
    >6 лет,  обслуживая всю область в режиме 24/7 и без
    >кондёра, когда он горел летом, нёся по разному от 5-7 ведомственных
    >БД, до 15 в пике... На него ещё были фирмовые дрова
    >под новель для скази...

    Какая часть-то умерла? Которую заменить нельзя?

    И SCSI 320 на 20 Gb не было!!!


     
     
  • 7.38, kit (??), 18:25, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Какая часть-то умерла? Которую заменить нельзя?
    >И SCSI 320 на 20 Gb не было!!!

    Именно жестяки и подохли, причём попытки замены на современные аналоги ни к чему не привели, Новелл но видел новые винты...
    Да вон они, на складе лежат, как были в сборе, пропылесосил и на склад, там винты ещё Сигейтские...

     

  • 1.35, RigoN (?), 12:05, 08/11/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    to pavlinux:
    Причем здесь кластер...разговор про отказаустойчивость одной цепочки Железо-Linux-Xen(Windows)..Если отказ произошел, то увеличивается статистика отказов, а не время безотказной работы...., вот посему и происходит полное резервирование узлов...А что не очивидно. что при идентичных компонентах цепочка Железо-Linux более отказаустойчива. нежели Железо-Linux-Xen(Windows), так что скорость это лишь один из параметров...
     
     
  • 2.36, pavlinux (ok), 17:36, 08/11/2009 [^] [^^] [^^^] [ответить]  
  • +/
    > Причем здесь кластер...разговор про отказаустойчивость одной цепочки

    Какая еще отказоустойчивость в цепи !!!
    P.S. Слово отказоустойчивость применяться только при условии хотя бы дублирования каждого узла. От розетки до линка на провайдера.


     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру