The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Началось тестирование сборок FreeBSD, переведённых на 'ZFS o..., opennews (??), 20-Апр-19, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


4. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –20 +/
Сообщение от пох (?), 20-Апр-19, 09:20 
> А в чем кривость реализации в линуксе?

например - неумение управлять памятью - родовая беда самого линукса.
Решение пришло ВНЕЗАПНО - "а давайте нарежем всю память чанками по 4k". Что как бы говорит нам в том числе и о том, какая система стоит на столе у разработчика (видимо, маловат доход той конторы).

Теперь прикидываем, как это будет работать в полупромышленной хранилке, где этой памяти полтерабайта и используется она, внезапно, по назначению - под кэш.

Наблюдения таки да, подтверждают гипотезу - ZoL неимоверно жрет cpu, поскольку поиск нужных 4k, как его ни оптимизируй, быстрым не будет.

> Просто планирую перестройку домашнего nas с одним диском, и переход на zfs mirror. Какие
> приключения меня ждут?

да никаких - устанавливаешь 11ю фрю, штатным способом, она все сделает правильно, и пользуешься. abd и arc comp выключи сразу, само сжатие на диске - после тестов (с ним без arc comp есть ньюансы, вероятно, сводящие пользу к нулю, потому что такое никто уже сто лет не то что не тестирует, а вообще не проверяет).
А линукс для твоих целей - ненужно. Они десять лет TRIM не могут в своей ветке.

К тому времени, когда во фре это доломают - твой домашний нас или рассыплется, или тебе надоест с ним играться, и еще десять лет он прекрасно проживет без обслуживания.

Если что, с самбой, nfs и драйверами mellanox у фри все в полном порядке.

Ответить | Правка | Наверх | Cообщить модератору

8. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +20 +/
Сообщение от dimcha (??), 20-Апр-19, 09:35 
> "а давайте нарежем всю память чанками по 4k"

MMU у 32bit x86 аппаратно поддерживали страницы 4Кб. Отсюда и размер, а не с потолка или от дешевизны системы. В винде тоже 4К - самый распространненный размер страниц. Это позже уже hugepages вкорячили и TLB перестал cache_miss выдавать

Ответить | Правка | Наверх | Cообщить модератору

10. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –5 +/
Сообщение от пох (?), 20-Апр-19, 09:57 
> Отсюда и размер

а теперь подумайте верхней головой - сколько при заполненном полутерабайте у хранилки получится abd чанков и как вы будете теперь искать среди них нужный, сколько займет индекс подобных чанков, и что происходит с блоком стандартных для zfs 128k при чтении, при записи, при обращениях?
Отдельно об эффективности дерганья alloc/free на каждые 4k когда они понадобились/не понадобились (следить за экспайром тоже будете отдельно, перебирая все блоки - как еще-то?).
Что линукс не умеет нормального управления памятью в ядре - не вопрос, зачем только было этот код делать не линуксонли? У разработчика, очевидно, нет тестовых и рабочих систем большого объема, поэтому ему в голову вообще не пришло подумать. Или никого в ней не застало и ушло.

У фри с ее zones этой проблемы, внезапно, нет.

Что страницы у вас 4k - совершенно необязательно означает, что хранить кэш диска надо блоками размером в страницу, а не размером в блок на диске, так, для разнообразия. Или даже в цепочку последовательных блоков, которую вернул prefetch - понадобится из середины, посчитаете смещение когда уже понадобилось - зато сам блок найдете в индексе в 64 раза меньшем.

Ну и на сладкое уже из самой freebsd - неумение kib@ и компании писать работающий код с первого раза, а не с пятнадцатого, если прямая копипаста невозможна. Почитайте комитлоги вокруг abd.c/h - просветлитесь. В том числе и их недоумению "а как это работает вообще".

Ответить | Правка | Наверх | Cообщить модератору

18. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +3 +/
Сообщение от Адекватный (?), 20-Апр-19, 11:23 
Жоский ты человек Пох! :)
Ответить | Правка | Наверх | Cообщить модератору

26. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от пох (?), 20-Апр-19, 12:15 
я просто реалист. Что вижу - о том и пою. Поводов для радости, увы, не вижу.


Ответить | Правка | Наверх | Cообщить модератору

56. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +3 +/
Сообщение от Аноним (56), 20-Апр-19, 15:11 
Нет, просто он думает как типичный железняк, а не специалист, который пишет низкоуровневый код и понимает все грабли x86 и их микроархитектур.
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

62. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –3 +/
Сообщение от ананим.orig (?), 20-Апр-19, 16:08 
Он никак не думает.
Как он там сказал? Верхней головой? Так вот она у него просто не предусмотрена конструкцией. Бай дезигн.

Зыж
По сабжу. Говорил я айзинке тут ещё лет 5-7 назад куда именно перетекла разработка openzfs.
Он (аргументированно надо сказать) спорил.
Но вот он сабж.
Ззыж
Да, про верхнюю голову.
Вот бтрфс реализован штатными средствами ядра линуха.
И это как раз то, что работает без вопросов. От слова совсем.

Ответить | Правка | Наверх | Cообщить модератору

64. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от ананим.orig (?), 20-Апр-19, 16:13 
Ззыж
Да. С айзеном хотя бы было весело. (А до этого с занзвером)
А с этим даже комментить влом.
Ответить | Правка | Наверх | Cообщить модератору

96. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +3 +/
Сообщение от Школьник (ok), 20-Апр-19, 19:27 
>Вот бтрфс реализован штатными средствами ядра линуха.
>И это как раз то, что работает без вопросов. От слова совсем.

Если не вспоминать про стабильность и неумение терять данные, тогда да, вопросов действительно нет.

ЗЫ Оно в RAID хотя бы научилось? Сейчас вспомню, когда я завел файлопомойку с ZRAID на фряхе, первую из нескольких. О! В 2009ом году завел. 10 лет один и тот же zpool без потерь данных работает. Десять лет, Карл!

ЗЫЫ А эксперт 294го уровня по области файловых систем мне тут на опеннете те же 10 лет назад рассказывал, что btrfs уже одержал победу над zfs, и последний можно закапывать. Как вспомню, так смешно даже делается. У кого там btrfs в проде остался-то? Facebook уже мигрировал или еще в процессе?

Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору

98. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +1 +/
Сообщение от ананим.orig (?), 20-Апр-19, 20:01 
> Если не вспоминать про стабильность и неумение терять данные, тогда да, вопросов действительно нет.
> ЗЫ Оно в RAID хотя бы научилось?

Оно понимает что в ветке обсуждается выделение памяти?
Ну нет, так нет.

Ответить | Правка | Наверх | Cообщить модератору

105. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от vg (??), 20-Апр-19, 21:27 
ну и у меня Linux mdadm на ехт3 12 лет проработал ... в продакшине ... это-ж надо какие живучие HDD попались
время это не главный фактор


Ответить | Правка | К родителю #96 | Наверх | Cообщить модератору

109. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +3 +/
Сообщение от пох (?), 20-Апр-19, 23:06 
скорее попался сказочно надежный луч питания.

Один неудачный павердаун - и подобная конфигурация превращается в тыкву (тут и mdadm с его безусловной ресинхронизацией после некорректного останова, и ext3 образца 2000х, с ее неотключаемым накатом (возможно -битого!) журнала). Проверено, причем, увы, многими.

Ответить | Правка | Наверх | Cообщить модератору

178. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +1 +/
Сообщение от freehckemail (ok), 22-Апр-19, 11:29 
>>Вот бтрфс реализован штатными средствами ядра линуха.
>>И это как раз то, что работает без вопросов. От слова совсем.
> Если не вспоминать про стабильность и неумение терять данные, тогда да, вопросов
> действительно нет.

Честно скажу, btrfs не юзал, но насколько я помню статус, у неё из нестабильных только raid56, всё остальное, говорят, окей.

> ЗЫ Оно в RAID хотя бы научилось?

Пишут, что научилось.

> Сейчас вспомню, когда я завел
> файлопомойку с ZRAID на фряхе, первую из нескольких. О! В 2009ом
> году завел. 10 лет один и тот же zpool без потерь
> данных работает. Десять лет, Карл!

Ндык, zfs задал тренд на VMFs. Он был первым и лучшим, кто ж спорит.

> ЗЫЫ А эксперт 294го уровня

Нашёл кого слушать. btrfs до zfs ещё расти и расти. Местами, безусловно, она уже догоняет. Но её отлаживать ещё предстоит годы. Вон Red Hat, фрустрируя из-за этого, даже stratis запилила. ))

Ответить | Правка | К родителю #96 | Наверх | Cообщить модератору

231. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от bOOster (ok), 10-Июн-19, 10:20 
Как типичный железняк думает только тот кто считает что кроме x86 ничего больше нет. А ПОХ весьма разносторонне думает. И FreeBSD писалась не только для x86 поэтому использует правильные методы для Операционной Системы и ее архитектуры, а не железа на которой она крутиться.
Ответить | Правка | К родителю #56 | Наверх | Cообщить модератору

28. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +5 +/
Сообщение от Аноним (28), 20-Апр-19, 12:39 
Ну хорошо, допустим, в Линухе всё так плохо с управлением памятью при очень больших объёмах. Почему же тогда Линух почти вытеснил все остальные ОС из Top-500 суперкомпьютеров?
Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

38. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от псевдонимус (?), 20-Апр-19, 13:50 
А допустим, что ты хороий программист, почему же у меня снег идёт?
Ответить | Правка | Наверх | Cообщить модератору

44. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +9 +/
Сообщение от Аноним (44), 20-Апр-19, 14:22 
Это же очевидно: потому что все, кроме поха, идиоты.
Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

65. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –3 +/
Сообщение от Аноним (65), 20-Апр-19, 16:15 
Потому что остальные ОС ЕЩЕ ХУЖЕ, разумеется.
Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

66. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –4 +/
Сообщение от Аноним (66), 20-Апр-19, 16:21 
Ахахаха. Интересно икается ли сейчас людям получившим нобелевку? Ведь они доказали что на рынке без регулирования выигрывает НАИХУДШЕЕ решение. А тут нате - всё пропало, тушеночный аноним с опеннета их разоблачил.
Ответить | Правка | Наверх | Cообщить модератору

76. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +1 +/
Сообщение от Аноним (76), 20-Апр-19, 16:53 
> на рынке без регулирования выигрывает НАИХУДШЕЕ решение

с этого места попрошу подробнее. Кто доказал, когда?

Ответить | Правка | Наверх | Cообщить модератору

80. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от qwerty123 (??), 20-Апр-19, 17:35 
>> на рынке без регулирования выигрывает НАИХУДШЕЕ решение
>с этого места попрошу подробнее. Кто доказал, когда?

Насчет наихудщего я бы поправил, но без понимания критериев качества пипл жует что более блестит.

https://en.wikipedia.org/wiki/The_Market_for_Lemons

Ответить | Правка | Наверх | Cообщить модератору

90. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от microcoder (ok), 20-Апр-19, 18:48 
В статье представлен пример об износе которое сокрыто от покупателя и последний выбирает то, что более блестит. Не совсем пониманию, как это вообще приминимо к Linux и FreeBSD и применимо ли к софту вообще. Как софт может износится?

Ну хорошо, допустим, Linux это "лимон" и он может изнашиваться во времени с помощью некачественной поддержки софта относительно FreeBSD. Это должен знать продавец "персиков" и "лимонов" и создатель "фруктов" (завод). Где находится неизношенная ОС и как она называется? Без неизношенной ОС невозможно установить где "персик", а где "лимон". Где эталон?

Получается, что ничего не получается с этой аналогией. Хорошо, я допускаю свою глупость и прошу пояснить лучше.

Ответить | Правка | Наверх | Cообщить модератору

94. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Аноним (94), 20-Апр-19, 19:25 
Аналогия совершенно некорректна. Вопрос не в износе а в разном количестве информации у продавца и покупателя. Посмотри русский вариант если интересно http://ecsocman.hse.ru/data/694/662/1216/5_1_4akerl.pdf
Никогда не попадал с аутсорсерами на "внезапно" возникшие непредвиденные затруднения?
Ответить | Правка | Наверх | Cообщить модератору

180. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от freehckemail (ok), 22-Апр-19, 11:37 
> Ахахаха. Интересно икается ли сейчас людям получившим нобелевку? Ведь они доказали что
> на рынке без регулирования выигрывает НАИХУДШЕЕ решение. А тут нате -
> всё пропало, тушеночный аноним с опеннета их разоблачил.

Вообще-то эмпирика достаточно ясно показала, что дело не в отсутствии/наличии регулирования, а в доступности информации. Если к "лимонам" теория может быть применима, то к большим и дорогостоящим железкам -- уже нет, потому что люди думают, прежде чем тратить большие деньги, и глубже вникают в вопрос, изыскивая свои, новые способы контроля качества, вовсе не завязанные на государственное регулирование.

Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

134. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –1 +/
Сообщение от Даздраперма (?), 21-Апр-19, 01:13 
Угу.
Вспоминается как Торвальдс Танненбауема послал с его сферическим цирком с конями в вакууме, аргументировав это тем, что в массовом рынке выигрывают решения, которые работают и ктоорые поддерживают.
Сколько было стонов про (подставьте свое значение) - такую систему загубили итп. В реальности оно само померло т.к. никому нигде не впилось.3552
Ответить | Правка | К родителю #65 | Наверх | Cообщить модератору

137. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +2 +/
Сообщение от ананим.orig (?), 21-Апр-19, 01:20 
> в массовом рынке выигрывают решения, которые работают и ктоорые поддерживают.

Серьезно?
Ну да, Тлраальдс жеж спец по рынкам, базарам и прочтим житам.

Ответить | Правка | Наверх | Cообщить модератору

140. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Аноним84701 (ok), 21-Апр-19, 02:06 
> В реальности оно само померло т.к. никому нигде не впилось.3552

Если под оно имелась в виду Minix, то оно вроде как вполне себе живо и даже доволно массово применяется (Intel ME).
https://firmwaresecurity.com/2017/05/07/intel-me-based-on-minix/

Ответить | Правка | К родителю #134 | Наверх | Cообщить модератору

119. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Аноним (119), 21-Апр-19, 00:02 
мужик, в TOP500 от линукса нужна только запускала MPI программ и возможность откусить лишнее.
стораджи и их OS - удивительно но не рассматриваются.
Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

135. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Даздраперма (?), 21-Апр-19, 01:14 
простите кому чего откусить?

Это вы с чиновниками случаем не путаете?

Ответить | Правка | Наверх | Cообщить модератору

146. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +1 +/
Сообщение от Ю.Т. (?), 21-Апр-19, 07:34 
> простите кому чего откусить?

Экземплярам ОС на счётных модулях (узлах) "откусить". Там действительно выгодно иметь, как выше/рядом указывал коллега, чистой воды исполнялку плюс простейшая сеточка, а прочее отдать под счёт.

Ответить | Правка | Наверх | Cообщить модератору

136. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от ананим.orig (?), 21-Апр-19, 01:16 
Сайту с топ500 — возможно.
А владельцам?
А! Попасть на сайт топ500.
Интересно, может даст кто нахалву поюзать годик. Много то и не надо. Процентов на 5 от номинала мочности.
Ответить | Правка | К родителю #119 | Наверх | Cообщить модератору

161. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +2 +/
Сообщение от Аноним (161), 21-Апр-19, 13:41 
А почему при средней ужасности во многих отношения ОС Windows Она господствует на десктопах. Ответ - поддержка железа. А ещё много народу считают другие ОС семейства *nix дистрибутивами Linux (сам офигел, и потратил время на просвещение, ибо страшно), а следовательно у Linux лучше PR. В копилку последнего, linux бы не существовал, если б Линус вовремя узнал о 386 BSD, ну или расклады были б немного иные.

Меня во Фре раздражает многое, но всё относится к области отсутствия достаточных ресурсов чтобы заняться данным вопросом. Что не скажешь про Linux, которые местами выбешивает элементами дизайна ОС.

Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

124. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +2 +/
Сообщение от pda (?), 21-Апр-19, 00:14 
> Что страницы у вас 4k - совершенно необязательно означает, что хранить кэш диска надо блоками размером в страницу,

Вообще-то означает. Потому что в процессоры встроена аппаратная система управления страничной памятью. Любое решение уровня "данные ещё не прочитаны" "данные изменены и должны быть записаны" не кратное, а лучше не равное страницам будет заведомо медленнее.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

12. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +8 +/
Сообщение от Онаним (?), 20-Апр-19, 10:15 
Неумение управлять памятью - внезапно беда кривой поделки ZFS, использующий свой собственный кэш вместо системного, а не линуксов. Системному кешу линуксов внезапно пофиг, сколько там памяти - полтерабайта или два терабайта, у него с поиском всё нормально.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

25. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –4 +/
Сообщение от пох (?), 20-Апр-19, 12:10 
> Системному кешу линуксов внезапно пофиг, сколько там памяти

угу, он все равно абсолютно бесполезный. Поскольку не умеет отличить данные от метаданных, не знает ничего о размере блока fs и десяти линуксных прослоек поверх и линейным чтением вымывается на раз.

эта технология, как и нарезка блоками размером в 4k, была неплохим костыликом двадцать лет тому назад, когда в линуксе отказались от раздельных block и buffer cache, а заодно и от block devices в юниксном их понимании, а размер сектора был 512 байт.

С тех пор диски немножечко подросли, объем кэшируемого тоже возрос, и линейные поиски стали тормозом. Сан, работавшая с большими хранилками, догадалась вовремя, а линуксеры застряли в прошлом на своих уже почти еще окончательно готовых десктопах с единственным ide'шником под все.

Ответить | Правка | Наверх | Cообщить модератору

32. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +6 +/
Сообщение от Аноним (32), 20-Апр-19, 13:40 
И где ты в линуксовом менеджере памяти линейные поиски нашел, а поехавший ?

Ccылки на исходники в студию.

Ответить | Правка | Наверх | Cообщить модератору

57. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +3 +/
Сообщение от Аноним (57), 20-Апр-19, 15:12 
А в какой версии был линейный поиск по page cache? До 2.6 (15 лет назад) там уже был хеш, а с 2.6 сделали radix tree:
http://books.gigatux.nl/mirror/kerneldevelopment/0672327201/...

https://lwn.net/Articles/684864/

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

58. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Michael Shigorinemail (ok), 20-Апр-19, 15:30 
К сожалению, он порой промахивается, всё так же уверенно давая оценки без квалификаторов "кажется", "помнится" и "вроде бы".  Что сильно снижает применимость информации в таких комментариях, увы.
Ответить | Правка | Наверх | Cообщить модератору

70. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –1 +/
Сообщение от Аноним (57), 20-Апр-19, 16:36 
Ну в целом он прав, улучшения в page cache под huge pages только пока обсуждаются насколько я понимаю:
January 25, 2017
https://lwn.net/Articles/712467/

He would like to revisit the idea of filesystems with a block size larger than the system's page size. That is something that people have wanted for many years; now that the page cache can handle more than one page size, it should be possible.

Ответить | Правка | Наверх | Cообщить модератору

81. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +1 +/
Сообщение от ананим.orig (?), 20-Апр-19, 17:42 
Да-да.
Потом эти же люди будут ждать прозводительности, стабильности, .., дефрагментации выделенной памяти, .., очистки мусора.
Первый раз что ли.

Память выделяется страницами. На аппаратном уровне. Всё.

Ответить | Правка | Наверх | Cообщить модератору

110. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –2 +/
Сообщение от пох (?), 20-Апр-19, 23:08 
> Память выделяется страницами. На аппаратном уровне. Всё.

все, п-ц, в линyпсе нормального кэша не ждите? Ну ооок.

Ответить | Правка | Наверх | Cообщить модератору

120. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –1 +/
Сообщение от Аноним (119), 21-Апр-19, 00:05 
где траву такую взял?.. и почем?

ты слово Compound-Page слышал?... оно тоже выделяется и может быть произвольной длины.
Те же Huge Pages через них сделаны.
А еще есть slab.. который позволяет выделять объекты произвольного размера..

Ответить | Правка | К родителю #81 | Наверх | Cообщить модератору

131. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –1 +/
Сообщение от ананим.jrig (?), 21-Апр-19, 00:49 
https://en.wikipedia.org/wiki/Memory_management_unit

зыж
> А еще есть slab.. который позволяет выделять объекты произвольного размера..

серьезно? можешь даже ткнуть в каком месте cpu он находится?
ззыж
а вообще,.. я желаю вам огромных успехов в реализации ваших идей в мелкoсoвте или ещё где.
главное не в нашем линyпсe :D

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру