The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск дистрибутива для создания сетевых хранилищ TrueNAS SCALE 23.10

25.10.2023 22:58

Компания iXsystems опубликовала дистрибутив TrueNAS SCALE 23.10, в котором используется ядро Linux и пакетная база Debian (ранее выпускаемые продукты данной компании, в том числе TrueOS, PC-BSD, TrueNAS и FreeNAS, основывались на FreeBSD). Как и TrueNAS CORE (FreeNAS), TrueNAS SCALE может быть загружен и использован бесплатно. Размер iso-образа 1.5 ГБ. Исходные тексты специфичных для TrueNAS SCALE сборочных сценариев, web-интерфейса и прослоек опубликованы на GitHub.

Продукты TrueNAS CORE на базе FreeBSD и TrueNAS SCALE на базе Linux развиваются параллельно и дополняют друг друга, используя общую кодовую базу инструментария и типовой web-интерфейс. Предоставление дополнительной редакции на базе ядра Linux объясняется желанием реализовать некоторые идеи, недостижимые при использовании FreeBSD. Примечательно, что это не первая подобная инициатива - в 2009 году от FreeNAS уже отделился дистрибутив OpenMediaVault, который был переведён на ядро Linux и пакетную базу Debian.

Одним из ключевых улучшений в TrueNAS SCALE стала возможность создавать хранилища, размещаемые на нескольких узлах, в то время как TrueNAS CORE (FreeNAS) позиционируется как решение на базе одного сервера. Кроме увеличения масшатабируемости, TrueNAS SCALE также отличается использованием изолированных контейнеров, упрощением управления инфраструктурой и пригодностью для создания программно-определяемых инфраструктур. В качестве файловой системы в TrueNAS SCALE применяется ZFS (OpenZFS). В TrueNAS SCALE предоставляется поддержка контейнеров Docker, виртуализации на базе KVM и масштабирования ZFS на несколько узлов при помощи распределённой файловой системы Gluster.

Для организации доступа к хранилищу поддерживается SMB, NFS, iSCSI Block Storage, S3 Object API и Cloud Sync. Для обеспечения защищённого доступа подключение может осуществляться через VPN (OpenVPN). Хранилище может быть развёрнуто на одном узле и в дальнейшем при увеличении потребностей постепенно горизонтально расширяться через добавление дополнительных узлов. Кроме выполнения задач, связанных с организацией работы хранилища, узлы также могут использоваться для предоставления сервисов и запуска приложений в контейнерах, оркестируемых при помощи платформы Kubernetes, или в виртуальных машинах на базе KVM.

В новой версии:

  • Добавлена возможность предоставления доступа к одному массиву данных одновременно через протоколы SMB и NFSv4. Обеспечена совместимость ACL, прав доступа и блокировок для SMB и NFSv4.
  • Добавлена возможность монтирования SMB-разделов с других систем (Windows, Netapp, myriad и т.п.) и импортирования с них данных в TrueNAS для предоставления совместного доступа.
  • Добавлена поддержка синхронизации файлов между SMB/NFS-серверами.
  • Добавлена поддержка механизма клонирования блоков в ZFS, позволяющего создать копию файла или его части без дублирования данных, используя во второй копии ссылки на уже существующие блоки данных исходного файла без их фактического копирования. Использование указанного механизма позволило до 10 раз ускорить копирование файлов и каталогов в хранилищах SMB и NFS.
  • В OpenZFS, Samba и NVMe-подсистему внесены изменения для повышения производительности и масштабируемости. Повышена пропускная способность, поднят лимит на число файлов в каталогах и предоставлена возможность работы с бо́льшим числом пользователей.
  • Изменено оформление интерфейса для работы с приложениями TrueNAS.
  • Переработан интерфейс для создания пула хранилища (Storage Pool).
  • Добавлена возможность использования в одной системе до 1255 накопителей и создания хранилищ размером более 25 ПБ.
  • Многие системные сервисы преобразованы в отдельно загружаемые приложения TrueNAS.
  • Переработаны компоненты для генерации отчётов. Для формирования системной статистики, показываемой на экране с отчётами, задействован бэкенд Netdata.
  • Добавлены кнопки для приостановки и возобновления проверки ZFS (Scrub).
  • Добавлена поддержка ZFS dRAID (Distributed Spare RAID), варианта RAIDZ с интегрированной распределённой обработкой блоков для горячего восстановления (hot spare).
  • На 70% сокращено время восстановления после сбоя в отказоустойчивых конфигурациях.
  • Обновлены версии ядра Linux 6.1.42, драйверов NVIDIA 535.54.03 и OpenZFS 2.2.


  1. Главная ссылка к новости (https://www.truenas.com/blog/t...)
  2. OpenNews: Выпуск дистрибутива для создания сетевых хранилищ TrueNAS CORE 13.0-U5
  3. OpenNews: Выпуск дистрибутива для создания сетевых хранилищ TrueNAS SCALE 22.12.2
  4. OpenNews: Выпуск дистрибутива для создания сетевых хранилищ TrueNAS 13.0
  5. OpenNews: Первый релиз дистрибутива TrueNAS SCALE, использующего Linux вместо FreeBSD
  6. OpenNews: Ошибка в патчах FreeNAS, вызывающая скрытое повреждение данных в ZFS
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/59994-truenas
Ключевые слова: truenas, freenas, nas
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (118) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Spoofing (?), 23:35, 25/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    > Добавлена возможность использования в одной системе до 1255 накопителей

    интересно в чём соль? количество букв sd{a..z}{a..z}{a..z} строго ограничено?

     
     
  • 2.22, cheburnator9000 (ok), 08:00, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    sdzzz - это 18278 накопителей.
     
  • 2.85, Пукачабра (?), 16:23, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В солонке
     
     
  • 3.88, Аноним (88), 19:26, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А суть в чём?
     

  • 1.2, Аноним45345345 (?), 00:00, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    >недостижимые при использовании FreeBSD.

    Ахах недостижимые, так бы и сказали, мы не осилили бсд, кишка тонка, дайте что попроще, и перешли на дебиан.

     
     
  • 2.3, Аноним (-), 00:21, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Ахах недостижимые, так бы и сказали, мы не осилили бсд, кишка тонка,
    > дайте что попроще, и перешли на дебиан.

    А у них нет цели что-то там "осилить". Корпы бабки зарабатывают, добро пожаловать в реальный мир!

     
     
  • 3.6, Аноним (6), 00:39, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Да, линукс для корпов и бабла лучше приспособлен. Тут и зазывалы со своим "у нас гпл, которая запрещает закрывать код" и евангелисты со своим "хаха! на вашей бзде нет лин-онли закрытого корпорастского софта!"

    Предлагаю создать /в будущем любимый всеми корпорастами/ дистрибутив Corruptionux. Логотип -- пенгвин в цилиндре, с бокалом дорогого вина и дорогой сигаретой, ессно с пэнснэ, карету которого тянут бурлаки-разработчики.

     
     
  • 4.8, Аноним (8), 01:16, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Corruptionux — это про другое, всякие альты-базальты.
     
     
  • 5.26, Аноним (26), 09:46, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Со зверинос не путай.
     
  • 4.10, Аноним (-), 01:22, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Да вот знаете, есть такая поговорка - жадность фраера сгубила BSD настолько св... большой текст свёрнут, показать
     
     
  • 5.20, Аноним (20), 07:36, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    СХоди попроси дистр под GPL у какого-нибудь Digma, тебя ждёт много сюрпризов
     
     
  • 6.89, Аноним (88), 19:29, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Для NAS вполне и OpenWRT сгодится.
     
  • 6.92, Аноним (92), 06:42, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > СХоди попроси дистр под GPL у какого-нибудь Digma, тебя ждёт много сюрпризов

    Да ващет большая часть тех кто юзает линух таки выкладывают сорц как GPL tarball - а многие, вот, и вовсе к разработке системы присоединились. И это пошло на пользу развитию системы. Поэтому и такие новости. Конечно всегда можно накопать исключения но они только подтверждают правило. Вы можете соревноваться пузомерками, а мне нужна работающая система, и меня интересует то что по факту есть а не формальности. Этим мы и отличаемся.

     
  • 6.95, Котофалк (?), 09:49, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Не дистр, а ядро. И да, сюрприз там ровно один - тот, кто наклеивает этикетку Digma тебе ничего предоставить не может и не должен.

    P.S. Детям невдомёк, но в юриспруденции неправильно выбранный ответчик - гарантированно проигранное дело.

     
  • 2.28, Атон (?), 09:54, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    они писали что не могут найти программистов на фрю, а на дебиан полно оутсорсеров за корочку хлеба.
     
     
  • 3.41, пох. (?), 11:49, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > они писали что не могут найти программистов на фрю, а на дебиан
    > полно оутсорсеров за корочку хлеба.

    казалось бы вот - какая разница этим "программистам-на-js" ?

    Можно было ж им вообще не говорить про фрю.


     
  • 3.51, Аноньимъ (ok), 13:15, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > они писали что не могут найти программистов на фрю, а на дебиан полно оутсорсеров за корочку хлеба.

    Они же сами их вроде поувольняли.

     
     
  • 4.93, Аноним (-), 06:55, 27/10/2023 Скрыто ботом-модератором
  • –3 +/
     
     
  • 5.96, Аноньимъ (ok), 09:55, 27/10/2023 Скрыто ботом-модератором
  • +2 +/
     
     
  • 6.110, Аноним (-), 02:04, 28/10/2023 Скрыто ботом-модератором
  • +/
     
  • 5.97, Аноним (97), 11:16, 27/10/2023 Скрыто ботом-модератором
  • +2 +/
     
  • 2.36, Аноним (36), 10:44, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Так иди, осиливай!
    Зачем и нафига(нахиба) вообще осиливать фрибжд, когда в линуксе не только всё есть, а и всё есть в лучшем(что немаловажно!) виде?
    > кишка тонка, дайте что попроще

    В том-то и смысл, толстый ты наш кишечник, что бждя как раз-то и есть попроще линуха. Во всех отношениях, кстати.

     
     
  • 3.94, Аноним (-), 06:57, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > В том-то и смысл, толстый ты наш кишечник, что бждя как раз-то
    > и есть попроще линуха. Во всех отношениях, кстати.

    Что там попроще? У вас даже ничего сравнимого с системдой там нет, пля. Освоить его надо 1 раз в жизни и это даже недорогие девопсы могут. Вместо окучивания простыней скриптоты и прочих mad skillz в особой уличной магии.

     
     
  • 4.106, Аноньимъ (ok), 16:14, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Освоить его надо 1 раз в жизни

    Как и доркер. Ага.

     
     
  • 5.112, Аноним (92), 02:10, 28/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Освоить его надо 1 раз в жизни
    > Как и доркер. Ага.

    Ога. И за это знание потом воздается, новыми возможностями и тем что можно быстро гвоздить в разных окружениях, и куча готовых вариантов есть.

    А вон то - потом это знание приткнуть будет некуда. Кому оно нужно в современном мире и зачем? И все ваше выпиливание лобзиком в ваших портажах - корпам уж точно не надо, да и нормальные люди так то предпочтут тратить свое и машинное время на что-то более полезное чем ритуалы с пересборкой все и вся во имя луны. Лично я согласен билдить софт сам только если я там что-то поменял относительно апстрима. Иначе это напрасная трата времени на безблагодатный ритуал.

     
     
  • 6.114, Аноньимъ (ok), 14:30, 28/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Ога. И за это знание потом воздается, новыми возможностями и тем что

    Докер вышел из моды. Пора переучиваться.

    > А вон то - потом это знание приткнуть будет некуда.

    В смысле потом? Как пользовались так и пользуются, решают реальные задачи. Вот с тем самым знанием которое не потом, а уже и давно.

    > И все ваше выпиливание лобзиком в ваших портажах - корпам уж точно не надо

    Ну раз аноним решил что корпам надо а чего нет, то конечно.

    >да и нормальные люди так то предпочтут тратить свое и машинное время на что-то более полезное чем ритуалы с пересборкой все и вся во имя луны.

    Другое дело ритуалы с пересборкой дыркер контейнеров.

     
     
  • 7.117, Аноним (117), 04:00, 29/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Станет актуально - научусь Вопрос соотношения gain efforts, просто и банально ... большой текст свёрнут, показать
     
     
  • 8.120, Аноньимъ (ok), 21:15, 29/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну это понятно не выпиливание лобзиком совершенно, это другое Вы проецируете У... большой текст свёрнут, показать
     
     
  • 9.121, Аноним (-), 00:22, 30/10/2023 Скрыто ботом-модератором
  • –1 +/
     

     ....ответы скрыты модератором (24)

  • 1.5, анонист (?), 00:30, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Вот уж что точно должно пойти на 4 пне!
     
     
  • 2.7, Аноним (8), 01:15, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Minimum Hardware Requirements
    Our recommended system requirements to install TrueNAS:
    Processor
    2-Core Intel 64-Bit or AMD x86_64 processor
    Memory
    8 GB Memory
     
     
  • 3.18, Аноним (18), 06:31, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > 8 GB Memory

    Строго говоря, это из-за ZFS.

     
     
  • 4.44, Аноним (44), 12:36, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Процессор для ZFS тоже имеет значение.
     
     
  • 5.90, Аноним (90), 19:36, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Но ZFS не готов для продакшена.
     
     
  • 6.113, OpenEcho (?), 12:05, 28/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Но ZFS не готов для продакшена.

    Откуда вы такие крутые беретесь которые никогда не слышали про Оракл?

     

  • 1.9, Rezzet (??), 01:18, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    О круто, пора обновляться с RC. Реально крутая штука, столкнулся правда с парой багов, после обновления пакета NextCloud, может не взлететь, приходиться долбить и настраивать заново, а так же куда-то пропадает кнопка показа экрана виртуалки через какое-то время. В остальном шикарно и достаточно просто.
     
     
  • 2.11, Аноним (11), 02:49, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Вы молодец! Хорошо, когда средства такое позволяют. Большое хоть хранилище создали?
     
     
  • 3.13, Rezzet (??), 03:33, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    4TBx2 в зеркале, ну то есть 4Gb, в целом это ни о чем, пока для бекапов важных данных, их не так много, фото, важные документы. Дальше думаю уже не зеркальное делать 18TBх2 для торрентов, медиасервера и прочего, если улетит диск ну и хрен с ним заново перекачаю. Но еще подумаю может то же зеркалом сделаю. Цель на первом этапе была просто запустить все в тихом корпусе что бы работало бесшумно и не мешалось в доме. Железо более менее современное:
    1) Материнка - ASUS Prime B550M
    2) Проц - Ryzen 5 3600x
    3) Память - 32Gb (максимум можно 128Gb)
    4) Видяха - затычка GeForce GT 1030 с пассивным охлаждением.
    5) SSD - Samsung 970pro 512Gb
    6) HDD - x2 WD40PURZ 4Tb (в ZFS зеркальном рейде)
    5) Блок питания Fractal Design Ion+ 2 Platinum 860W
    6) Корпус Fractal Design Define R5
     
     
  • 4.17, Radist Z (?), 05:26, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Как же скучно тебе живётся.
     
  • 4.24, Аноним (24), 09:05, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    На "видео"-дисках zfs пока не восстанавливала потерянные данные? scrub сколько идёт?
     
     
  • 5.46, Минона (ok), 12:57, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Pool: 20 TB, Used: 10 TB
    > scan: scrub repaired 0 in 0 days 01:22:58 with 0 errors
     
     
  • 6.98, Аноним (98), 11:54, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    raidz1 over 36x SAS 600GB 15K ? иначе что-то уж больно быстро...
     
     
  • 7.103, Минона (ok), 13:50, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > raidz1 over 36x SAS 600GB 15K ?  

    raidz2 over 8x4TB SATA WD Gold

    > иначе что-то уж больно быстро...

    Максимальная скорость (zpool iostat) во время scrub-a была ~1GB/s.

     
  • 4.84, Аноним (44), 15:08, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Видеозатычка-то нахрена?
     
     
  • 5.124, Олег (??), 04:14, 30/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Очевидно, что процессор не имеет видео ядра и нужно хоть какое-то изображение
    Поверьте, в конфиге товарища побольше вопросов, чем затычка
     
  • 4.86, Аноньимъ (ok), 16:47, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Почему не 3 диска в RAIDZ?
     

  • 1.12, Аноним (12), 03:06, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Из всех операционок "для постройки nas дома" у трунаса самая ущербная инструкция по старту сторонних пакетов. Я хз, на кого они ориентировались, но в том шлаке, что их сообщество родило, без поллитра не разобраться. В одном месте какие-то контейнеры пачками без описания "а на кой оно надоч и без видимого конфига, в другом "сделайте днс" без указания зачем и что в конфиги прописать...
    Те, кто может в этом клубке разобраться, способны сами построить инфрастуктуру как положено, те же, у кого знаний не хватает - не смогут повторить.
     
     
  • 2.14, Rezzet (??), 03:39, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В целом согласен, достаточно запутано, но с выводом не согласен. Я именно тот пользователь который умеет в линукс чуть чуть, с помощью гугла что-то настроить, а вот докеры, пулы и прочее это я не понимаю как настраивать, тем не менее кликая мышкой более менее разобрался как настроить пулл, смб диски, поставить торрент качалку, emby, syntych, nextcloud и пару тулов для мониторинга, хотя они нужны больше для развлечения, даже сторонний репозиторий подключил. Да вероятно почитав пару тонн мануалов я бы это и без оболочки все настроил на каком-нить убунту сервер, но зачем?
     
     
  • 3.45, Аноним (12), 12:53, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ненене, я не про настройку самой операционки, там как раз более-менее удобоваримо для нуба. Я про "приложения сообщества", https://truecharts.org/
     
  • 2.15, Rezzet (??), 03:41, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И тут еще вопрос, а из всех это из каких, знаю еще только про один - xpenology, больше нету, но он какой-то малофункциональный показался. truenas scale может репликацию из коробки на другие ноды, как это работает понятия не имею, но вроде возможность настроить еще один нас в другом месте и заставить их синхронизироваться есть. Это конечно фича для параноиков, ну то есть какраз для меня.
     
     
  • 3.43, n1kto (?), 12:16, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    https://docs.oracle.com/cd/E19253-01/820-0836/gbchx/index.html
     
  • 3.47, Аноним (12), 13:01, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Truenas, OpenMediaVault, unraid, xpenology, XigmaNAS, qtscloud...
     
  • 3.48, Аноним (48), 13:02, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    unraid очень юзерфрендли. Только платный и, как следует из названия, raid  там не любят. Хотя zfs/btrfs туда приделать можно и даже почти что встроенными инструментами. Из "недостатков" - "менеджер" ВМ как бы есть, но очень-очень-очень ограничен в функциях. Хотя, наверное, для NAS это не столь важно. Докер-контейнеры вот ставятся очень просто.
     

  • 1.16, Radist Z (?), 05:23, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Даже эти соскачили с БСД.
     
     
  • 2.19, пох. (?), 07:18, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    их коммерческие клиенты, которые девушку и ужынают, хотеть докера в докере под докером.
    Не спрашивайте меня, зачем им дыркер на _nas_ - это невозможно понять.

     
     
  • 3.21, Анон с планеты k8s (?), 07:46, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Это очень легко понять. Контейнеризация приложения это запуск софта в один клик а не как вводится в ляпниксе в десяток приседаний с бубном. Мне как конечному потребителю десять раз пофиг че и как там запускается, главное что бы кнопки были - установить, запустить, остановить. Сделать такие кнопки без контейнеризации можно, но это будет жиреющий пример батонотрамваинга.
     
     
  • 4.27, Атон (?), 09:53, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Контейнеризация приложения это запуск софта в один клик а

    Это NAS братан.  он для другого.

     
     
  • 5.40, пох. (?), 11:46, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >> Контейнеризация приложения это запуск софта в один клик а
    > Это NAS братан.  он для другого.

    это ты так думаешь. Рыночек порешал что твои знания немодно и устарели. Давайте взгромоздим на нас полсотни контейнеров с хз чем, а то чо он такой дорогой просто так будет стоять. (потом будем плакать когда оно все навернется с unable to import pool, но на продажи это никак не повлияет - "мертвые то не расскажут!")

     
     
  • 6.50, Аноним (48), 13:07, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Ну у тебя может и есть место и желание плодить "один сервер под одну роль", а нормальным людям (из тех, кому вообще нужен НАС) дома нужна файлопомойка и какой-нибудь умный дом+пайхол+торрентокачалка и джелифин/плекс к ней. И нормальные люди очень рады, что для этого можно поставить один "неправильный" НАС, а не пять отдельных гудящих коробок.
     
     
  • 7.64, пох. (?), 13:54, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну у тебя может и есть место и желание плодить "один сервер под одну роль"

    дружище, у меня их - восемь. И это storage cluster, на котором мне в голову не придет запустить какую-то левую хрень.
    Это-то МОИ байтики, их в интернетах новых не накачаешь.

    И рекомендую перечитать на досуге минимальные и рабочие требования к freenas, чтобы догадаться что его пользователи ну как бы уже далеко не совсем хомячки.

     
     
  • 8.68, Аноним (48), 14:03, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ты бы лучше вместо минимальных требований форум бы этого ТРУнас почитал Побли... текст свёрнут, показать
     
     
  • 9.73, пох. (?), 14:22, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    что Я там не был лет пять, неужели теперь тоже без конца спрашивают почему оно ... текст свёрнут, показать
     
  • 5.49, Аноним (12), 13:05, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Вот именно, это nas, а не дисковая полка. Медиасервер, торрентокачалка, личный бложег или страничка, доступная из сети файлопомойка и "частное облако" - это прям минимум обязательного функционала. Ставить всё это барахло на живую в операционку? На кой, если есть контейнеризация?
     
     
  • 6.56, InuYasha (??), 13:28, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > на живую в операционку? На кой, если есть контейнеризация?

    это уже болезнь, причём в терминальной фазе

     
  • 6.65, Аноньимъ (ok), 13:59, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Чел, в трунасе НЕТ ФАЕРВОЛА Да, во фре это элементарно и просто распихивается п... большой текст свёрнут, показать
     
     
  • 7.69, Аноним (48), 14:09, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >Чел, в трунасе НЕТ ФАЕРВОЛА.

    Так поставь. Сам не одобряю, но это крайне распространённая тема в среде домашних пользователей - вкорячивать на виртуалку пфсенс и на ней рулить всей домашней сетью.

    >А дыркер это всё в мёртвую ставит?

    Контейнер не поставит тебе полгига зависимостей для торрентокачалки и его всегда можно снести одной кнопкой. Для тех самых пользователей, которые на виртуалку пфсенс ставят так намного удобнее - когда можно и торрентокачалку и плекс и ещё какую фигню поставить как приложение на телефончик - выбрав в аппсторе и нажав "скачать". Добро пожаловать в реальность, чел.

     
     
  • 8.71, Аноньимъ (ok), 14:14, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да, примерно как-то так https www opennet ru openforum vsluhforumID3 13189... текст свёрнут, показать
     
     
  • 9.76, Аноним (48), 14:31, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Да, так реально делают Я эту тему с виртуальным роутером не одобряю как из сооб... текст свёрнут, показать
     
     
  • 10.83, Аноньимъ (ok), 15:03, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Домашние пользователи, и те кто трунас покупают - разные вещи Никакого возмущен... текст свёрнут, показать
     
  • 7.99, 1 (??), 12:42, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Чел, в трунасе НЕТ ФАЕРВОЛА.

    Ты меня прям напугал ... Как это нет ? ipfw работает, даже ядерный модуль подгружен по умолчанию. В SCALE iptables тоже есть.

    Вся сложность только в том, что система при старте разворачивается из sqlite базы. Отсюда и нетривиальные способы запомнить состояние системы.

     
     
  • 8.107, Аноньимъ (ok), 16:17, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не, можно конечно пытаться ковырять в обход их чудо системы но эм, почему бы про... текст свёрнут, показать
     
  • 6.67, Атон (?), 14:00, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот именно, это nas, а не дисковая полка. Медиасервер, торрентокачалка, личный бложег
    > или страничка, доступная из сети файлопомойка и "частное облако" - это
    > прям минимум обязательного функционала. Ставить всё это барахло на живую в
    > операционку? На кой, если есть контейнеризация?

    NAS это хранилище данных.  

    отличие от дисковой полки - в доступе по локальной сети, с правами и прочей безопасностью.

    не больше.

     
  • 5.55, InuYasha (??), 13:27, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    по стене ползёт кирпич, деревянный как стекло
    ну и пусть себе ползёт - может, там их целый swarm

    т.е. мб он хочет себе скейлить микросервисы на насике. Хаотично жить не запретишь )

    * лишь бы остальных так жить по дефолту не заставляли

     
     
  • 6.63, пох. (?), 13:48, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > * лишь бы остальных так жить по дефолту не заставляли

    хаххаха! Наивный раб!

     
  • 3.32, 1 (??), 10:22, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну ещё VM хотят (ага на NAS !!!).

    Ну и плагины всё больше Linux-only (таких вот разработчиков мы получили).

    Из прелэстей SCALE мне больше всего доставило отсутствие NFS клиента.

     
     
  • 4.34, пох. (?), 10:27, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    не, веэм - не хотят. Патамушта там где они черпают свои хотелки - чотко написано - дыркер!
    И никаких веэм.

    (так-то можно было бы и справиться с тем ужасом ужасным что штатно у нас во фре - в конце-концов, юзеру с поинтикликом ужасы были бы не видны)

    А плагины теперь и будут linoops only. Попробуй объясни теперь разработчику что есть еще какой-то Core.

     
  • 3.33, User (??), 10:24, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Но... Как без докера поднимать контейнер с веб мордой для управления докером, в смысле, nas'ом с докером?
     
     
  • 4.57, Аноньимъ (ok), 13:30, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Короче обхясняю как этот TrueNAS использовать.

    Ставишь ESXi в него TrueNAS. В TrueNAS создаёшь ZFS массив и шаришь его в ESXi через колотую используешь волумы для создания виртуалки с Кубернетусом к которой подключаешь сторадж по NFS из TrueNAS и на эту фс разворачиваешь докер контейнеры.

    Да и не забыть виртуалку с фаерволом на ESXi развернуть на TrueNAS сторадже, и подключать через нее TrueNAS к сети.

     
     
  • 5.72, User (??), 14:21, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Короче обхясняю как этот TrueNAS использовать.
    > Ставишь ESXi в него TrueNAS. В TrueNAS создаёшь ZFS массив и шаришь
    > его в ESXi через колотую используешь волумы для создания виртуалки с
    > Кубернетусом к которой подключаешь сторадж по NFS из TrueNAS и на
    > эту фс разворачиваешь докер контейнеры.
    > Да и не забыть виртуалку с фаерволом на ESXi развернуть на TrueNAS
    > сторадже, и подключать через нее TrueNAS к сети.

    Ты тут не умничай - где ссылка на youtube?!

     
     
  • 6.74, пох. (?), 14:23, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Ты тут не умничай - где ссылка на youtube?!

    хммм... а ведь это идея...

     
     
  • 7.78, Аноним (48), 14:48, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ты это, из подвала то выходи хоть иногда. Твоя "идея" устарела лет на пять.
     
     
  • 8.81, пох. (?), 14:58, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    э не понял Вроде гугль по прежнему исправно платит за число просмотров с р... текст свёрнут, показать
     
  • 6.79, Аноним (48), 14:49, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Use your Gaming PC's Extra Power as a NAS Ultimate Guide
    2 Gaming Rigs, 1 Tower - Virtualized Gaming Build Log
    Remote Gaming and Streaming w/ Proxmox - Proxmox Walk-Through
    тысячи их. С подключением!
     
     
  • 7.82, пох. (?), 14:59, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Use your Gaming PC's Extra Power as a NAS Ultimate Guide
    > 2 Gaming Rigs, 1 Tower - Virtualized Gaming Build Log
    > Remote Gaming and Streaming w/ Proxmox - Proxmox Walk-Through
    > тысячи их. С подключением!

    не, ну так-то каждый дурак может, а вот предложенную этажерку - уже не совсем. Мне кажется, их просмотры могут стать моими!

     
     
  • 8.118, Аноним (-), 04:11, 29/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Все десять просмотров в год Озолотишься нахрен Правда, на поверку, тебе даже и... текст свёрнут, показать
     
  • 3.52, Аноньимъ (ok), 13:17, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    План был идеальный, но, вдруг все с докера начали переходить на виртуалки.
     
     
  • 4.60, пох. (?), 13:36, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    но у виртуалочик нет докерхаба...
    Как же они будут их запускать поинтндклицом?
     

  • 1.25, Аноним (25), 09:41, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А где обои? Фон просто черный, эта чо еще такое?
     
     
  • 2.42, пох. (?), 11:52, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    ты чего? совсем уже что-ли?

    https://www.truenas.com/docs/scale/23.10/images/SCALE/22.12/LoginScreenSCALE.p

    отличные обои, обхохочешься просто!

     
     
  • 3.100, 1 (??), 12:48, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну на самом деле молодёжненько получилось.

    А вот openmediavault в 6ке прям выдал, что-то суперсовременное в междумордии. То что в 5ке делалось на раз, теперь выдаётся порциями по 6 записей на экран.

     
     
  • 4.104, пох. (?), 13:52, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > А вот openmediavault в 6ке прям выдал, что-то суперсовременное в междумордии. То
    > что в 5ке делалось на раз, теперь выдаётся порциями по 6
    > записей на экран.

    Умеют же, если захотят!

     

  • 1.31, Cyber100 (ok), 10:08, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    эмм... нахрена мне в трунасе дрова на нвидиа...
     
     
  • 2.54, InuYasha (??), 13:24, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    для перекодирования видео бывает нужно.
     
  • 2.58, Аноньимъ (ok), 13:31, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Сойбои на основе трунаса поднимаю какой-то мульмидия сервер который им на другие девайсы стримит коллекцию китайских порномультиков.
    И они настраивают эту хрень на перезжатие видео на лету через нвидию.
     
     
  • 3.61, Cyber100 (ok), 13:37, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    охренеть.
    т.е., я один, как лошара, трунас для файлопомоев пользую?)
     
     
  • 4.66, пох. (?), 14:00, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > охренеть.
    > т.е., я один, как лошара, трунас для файлопомоев пользую?)

    так у тебя, небось, и нвидии-то нет?

     
  • 4.70, Аноньимъ (ok), 14:11, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > охренеть.
    > т.е., я один, как лошара, трунас для файлопомоев пользую?)

    Да.

    Я пытался его юзать, но, охренел от многих вещей. Начиная от отсутствия управления сетью как такового, до того что полоумные "администраторы-девелоперы" на форуме iXsystems отказывались включать сетевые дрова реалтеча объясняя это тем что им придётся отвечать на форуме людям с проблемами с этими рабочими дровами вместо того чтобы отвечать на форуме людям у которых сетевуха не работает и они не понимают что за хрень и почему.

    Короче, плюнул на них, и накатил голую фрю с блекджеком торрентами 10гигабитной картой челсио оптикрой и всем таким. Вообще ноль проблем.

     
     
  • 5.115, Аноним (-), 02:47, 29/10/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > iXsystems отказывались включать сетевые дрова реалтеча объясняя это тем что им
    > придётся отвечать на форуме людям с проблемами с этими рабочими дровами
    > вместо того чтобы отвечать на форуме людям у которых сетевуха не
    > работает и они не понимают что за хрень и почему.

    Хороший рассказ почему iXsystem на линух перешли. Там, имхо, проблем такого плана на порядки меньше.

    > Короче, плюнул на них, и накатил голую фрю с блекджеком торрентами 10гигабитной
    > картой челсио оптикрой и всем таким. Вообще ноль проблем.

    Довольно странный сетап с странной ОС и задачами. Скольким еще людям на этом глобусе захочется делать именно это, именно так? Штук 5 на всю планету хотя-бы найдется? Фирмач с такой клиентуры ласты склеит.

     
     
  • 6.119, Аноньимъ (ok), 20:54, 29/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Довольно странный сетап с странной ОС и задачами. Скольким еще людям на
    > этом глобусе захочется делать именно это, именно так? Штук 5 на
    > всю планету хотя-бы найдется? Фирмач с такой клиентуры ласты склеит.

    Эм, иметь NAS на 10Гб канале странный сепат?

     
     
  • 7.122, Аноним (-), 00:34, 30/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >> Довольно странный сетап с странной ОС и задачами. Скольким еще людям на
    >> этом глобусе захочется делать именно это, именно так? Штук 5 на
    >> всю планету хотя-бы найдется? Фирмач с такой клиентуры ласты склеит.
    > Эм, иметь NAS на 10Гб канале странный сепат?

    Само по себе - нет, но если в паре с реалтеками и торентом, это уже начинает смотреться довольно специфично.

     

  • 1.35, пох. (?), 10:34, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    И да, может уже скажем им что gluster - EOL и все индусы которые хоть что-то понимали в его потрохах - вернулись в свои деревни содить рис?

     
     
  • 2.38, User (??), 11:27, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так вроде не гластер eol, а редхатовский сторейдж на гластере? Или окромя шляпы оно никому и нинужьна было - его поддерживать - ну-там сообщество втысячуглаз?
     
     
  • 3.39, пох. (?), 11:44, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Так вроде не гластер eol, а редхатовский сторейдж на гластере?

    London is the capital o...й тьфу
    gluster is a registered trademark of RedHat,Inc in the United States and other countries.

    > ну-там сообщество втысячуглаз?

    Red Hat became the primary author and maintainer of the GlusterFS open-source project after acquiring the Gluster company in October 2011

    кудыть тысячезглаз без primary author'а -то собрался?

    Оно не то чтоб никому прям не нужно (особенно с учетом того что случилась с обоими польскими поделками) - но когда у тебя даже докуметнация под пэйволом - особо ничего не сделаешь.

    Понять что там индусские галерные наг08някали с их сумасшедней гонкой версий - никакому тысячесглазу не удастся. Ну можно вернуться обратно на версию 3 и попробовать заново, но сдается мне дальше CoC.md как всегда что-то застрянет.

     
     
  • 4.75, User (??), 14:28, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    > Red Hat became the primary author and maintainer of the GlusterFS open-source
    > project after acquiring the Gluster company in October 2011
    > кудыть тысячезглаз без primary author'а -то собрался?
    > Оно не то чтоб никому прям не нужно (особенно с учетом того
    > что случилась с обоими польскими поделками) - но когда у тебя
    > даже докуметнация под пэйволом - особо ничего не сделаешь.
    > Понять что там индусские галерные наг08някали с их сумасшедней гонкой версий -
    > никакому тысячесглазу не удастся. Ну можно вернуться обратно на версию 3
    > и попробовать заново, но сдается мне дальше CoC.md как всегда что-то
    > застрянет.

    Сделать что ли самому - сразу безопасно на rust'е? Уж coc.md и новость на opennet.ru я потяну - а с этим и к каким-нибудь импортозаместителям-vmware за грантом идти можно...

     
     
  • 5.77, пох. (?), 14:44, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну ты рисковый... я вот что-то слишком ссыклив для такого бизнес-проекта. Дадут же потом четвертной...

     
     
  • 6.87, User (??), 19:20, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну ты рисковый... я вот что-то слишком ссыклив для такого бизнес-проекта. Дадут
    > же потом четвертной...

    Ты эта... вспышку не проспи:
    https://www.cnews.ru/news/top/2023-10-25_it-kompaniyam_razreshat_riskovat
    вот тут-то у меня карта и поперла!

     
     
  • 7.91, пох. (?), 22:22, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Везет тебе! Мне государевых денег вряд ли обломится.

    А так они и раньше не особо-то рисковали - опыт некоего Мешкова был вполне убедителен.

     
  • 7.101, 1 (??), 12:51, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    "(система управления рисками, коллегиальность, привлечение экспертов)"

    Меня привлекай экспертом... Экспертов не сажают.

     
     
  • 8.105, пох. (?), 13:54, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    У нас всех сажают Эксперт - пойдешь по шпионской статье И о главного - пойдеш... текст свёрнут, показать
     

  • 1.53, Аноньимъ (ok), 13:23, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    > TrueNAS в котором используется ядро Linux

    Эталонное ненужно.

    > реализовать некоторые идеи, недостижимые при использовании FreeBSD

    Никаких ИДЕЙ там нет, там есть доркер.
    План был хорош(нет), но к моменту когда они это допилили доркер стал выходить из моды.

    > TrueNAS CORE на базе FreeBSD и TrueNAS SCALE на базе Linux развиваются параллельно и дополняют друг друга, используя общую кодовую базу инструментария и типовой web-интерфейс.

    iXsystems так закопала PC-BSD, причём я ещё не видел чтобы компания с таким остервенением убивала продукт в который сама же и вложила деньги.

    У них какая-то мания на тему "унифицированного веб интерфейса для всего".
    Правда исторически все попытки создать подобное заканчивались крахом.

     
     
  • 2.62, пох. (?), 13:44, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> TrueNAS в котором используется ядро Linux
    > Эталонное ненужно.

    почему же? Осталось совсем немного - доломать окончательно файловую систему в freebsd, и с этим я никаких проблем не вижу, пока ее разработчики получают зарплату от iX.
    (особенность фряшной разработки в том что там невозможно ничего закомитить в обход чувака который первым вписался или перехватил управление проектом)

    > iXsystems так закопала PC-BSD, причём я ещё не видел чтобы компания с
    > таким остервенением убивала продукт в который сама же и вложила деньги.

    но иначе кто-то мог откопать обратно!

    > У них какая-то мания на тему "унифицированного веб интерфейса для всего".

    это было бы и неплохо - но как видим не для всего, а только и исключительно linoops от debian с криво-косо присобаченным сбоку zfs.

    Видимо, php разработчики тоже каким-то образом научились в linoops-only интерфейсы.

     
     
  • 3.80, Аноньимъ (ok), 14:49, 26/10/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >почему же? Осталось совсем немного - доломать окончательно файловую систему в freebsd, и с этим я никаких проблем не вижу, пока ее разработчики получают зарплату от iX.

    Параллельно так и не адаптировав её для линукса. В итоге не будет ничего нигде, залить поле мазутом и засыпать солью - типичный iX.

     
     
  • 4.123, Аноним (-), 00:36, 30/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Параллельно так и не адаптировав её для линукса. В итоге не будет
    > ничего нигде, залить поле мазутом и засыпать солью - типичный iX.

    Ну, может, на btrfs в итоге перейдут. Там ее сильно загадить никто не даст, глядишь нормально контрибутить научатся.

    А так то бизнес бабки зарабатывает. И делать это на фре - прострел сразу обеих пяток прямо на старте.


     
     
  • 5.125, Аноньимъ (ok), 16:01, 30/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну, может, на btrfs в итоге перейдут

    На этом iX наконец-то обанкротится после того как у клиентов рейды развалятся.

     
     
  • 6.126, пох. (?), 15:35, 02/11/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну какой глюпий пацак!

    У клиентов УЖЕ разок поразваливалось к чертям - причем дорогущих преконфигуренных рейдов (в который эти деятели напихали smr дисков потомуштадешева. Шта?! Тестировать?! Вы с ума сошли, на это бюджет не закладывали!)

    И? И?! И?!!! И ничего.

    Падумаешь, развалилось. У вас же был бэкап? Как нет? Вот же на первой страничке инструкции!

     

  • 1.59, InuYasha (??), 13:35, 26/10/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Добавлена поддержка механизма клонирования блоков в ZFS, позволяющего создать копию файла

    :D вспомнил как один дядька из IBM лет 10 назад выступал, рассказывая как они благодаря дедубликации свои мегаустановки улучшали, и писали всякое рекламное аналогичное "вот вам лента 2ТБ (ну, т.е. 1, если без сжатия). И как в старые времена файлы копировали по 2 раза чтоб важная инфа в случае бэдблока не потерялась, лол )
    Не уверен что стал бы юзать эту фич... использовать эту функцию.

     
     
  • 2.102, 1 (??), 12:54, 27/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Да ладно ... кто-то недавно про ФС постил, что без этой фичи ему жисть не мила и XFS он никогда пользовать не будет.
     
     
  • 3.109, InuYasha (??), 00:51, 28/10/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Че-го? Если это намёк на меня, то я такого сказать не мог. Мне в ФС нужны совсем другие вещи.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру