The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Опубликованы результаты тестов производительности файловой системы Reiser5

16.04.2022 12:37

Опубликованы результаты тестов производительности проекта Reiser5, развивающего существенно переработанный вариант файловой системы Reiser4 с поддержкой логических томов, обладающих "параллельным масштабированием", которое, в отличие от традиционных RAID, подразумевает активное участие файловой системы в распределении данных между устройствами-компонентами логического тома. С точки зрения администратора существенное отличие от RAID состоит в том, что компоненты логического тома с параллельным масштабированием являются отформатированными блочными устройствами.

Представленные результаты тестов оценивают производительность обычных файловых операций, таких как запись файла в логический том, чтение файла с логического тома, скомпонованного из переменного числа твердотельных накопителей. Также замерена производительность операций над логическими томами, таких как добавление устройства в логический том, удаление устройства из логического тома, сброс данных с прокси- дисков, и миграция данных обычного (не специального) файла на указанное устройство.

Для компоновки томов использовались твердотельные накопители (SSD) в количестве 4 экземпляра. Скорость операции над логическим томом определена как отношение количества занятого пространства на всём логическом томе к времени выполнения операции, включающую полную синхронизацию с накопителями.

Скорость любой операции (за исключением сброса данных с прокси-диска на том, скомпонованный из малого количества устройств) выше, чем скорость копирования данных с одного устройства на другое. При этом, с увеличением числа устройств, из которых том скомпонован, скорость операций возрастает. Исключение составляет операция миграции файла, скорость которой ассимптотически стремится (сверху) к скорости записи на целевое устройство.


Низкоуровневый последовательный доступ:

   Устройство   Чтение, M/s      Запись, M/s
   DEV1         470              390
   DEV2         530              420


Последовательные чтение/запись большого файла (M/s):
         
   Число дисков в томе             Запись              Чтение
   1 (DEV1)                        380                 460
   1 (DEV2)                        410                 518
   2 (DEV1+DEV2)                   695                 744
   3 (DEV1+DEV2+DEV3)              890                 970
   4 (DEV1+DEV2+DEV3+DEV4)         950                1100

Последовательное копирование данных из/в отформатированное устройство

   Из устройства               В устройство        Скорость (M/s)
   DEV1                        DEV2                260
   DEV2                        DEV1                255

Добавление устройства в логический том:

   Том                         Добавляемое устройство   Скорость (M/s)
   DEV1                        DEV2                     284
   DEV1+DEV2                   DEV3                     457
   DEV1+DEV2+DEV3              DEV4                     574

Удаление устройства из логического тома:

   Том                         Удаляемое устройство     Скорость (M/s)
   DEV1+DEV2+DEV3+DEV4         DEV4                     890
   DEV1+DEV2+DEV3              DEV3                     606
   DEV1+DEV2                   DEV2                     336


Сброс данных с прокси-диска:
 
   Том                          Прокси-диск             Скорость (M/s)
   DEV1                         DEV4                    228
   DEV1+DEV2                    DEV4                    244
   DEV1+DEV2+DEV3               DEV4                    290
   DEV1                         RAM0                    283
   DEV1+DEV2                    RAM0                    301
   DEV1+DEV2+DEV3               RAM0                    374
   DEV1+DEV2+DEV3+DEV4          RAM0                    427


Миграция файла

   Том                           Целевое устройство       Скорость (M/s)
   DEV1+DEV2+DEV3+DEV4           DEV1                     387
   DEV1+DEV2+DEV3                DEV1                     403
   DEV1+DEV2                     DEV1                     427

Отмечено, что производительность может быть повышена ещё больше, если распараллелить процедуру выпуска запросов ввода-вывода на компоненты логического тома (сейчас для простоты это делается в цикле одним потоком). А также если считывать только те данные, которые подлежат перемещению при перебалансировке (сейчас для простоты читаются все данные). Теоретический предел для скорости добавления/удаления второго устройства в системах с параллельным масштабированием - удвоенная скорость копирования с первого диска на второй (соответственно со второго на первый). Сейчас скорости добавления и удаления второго диска соответственнго 1.1 и 1.3 скоростей копирования.

Кроме того, анонсирован O(1)-дефрагментатор, который будет обрабатывать все компоненты логического тома (влючая прокси-диск) в параллели, т.е. за время не превышающее время обработки самой большой компоненты в отдельности.

  1. Главная ссылка к новости (https://marc.info/?l=reiserfs-...)
  2. OpenNews: В Reiser5 анонсирована поддержка выборочной миграции файлов
  3. OpenNews: В Reiser5 анонсирована поддержка Burst Buffers (Data Tiering)
  4. OpenNews: Доступна файловая система Reiser5
  5. OpenNews: Стагнация в продвижении Reiser4 в состав ядра Linux
  6. OpenNews: Разработчики ядра Linux обсуждают возможность удаления ReiserFS
Автор новости: Аноним
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/57026-reiser5
Ключевые слова: reiser5, reiserfs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (131) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 12:42, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А есть желающие это сопровождать в ядре? Без этого разработка бессмысленна.
     
     
  • 2.4, А где же каменты (?), 12:48, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –18 +/
    Эдуард когда-то давал интервью - там сказал, что политика мешает приему кода в ядро. Опять русских обижают!!!
     
     
  • 3.5, Аноним (5), 12:53, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    ZFS тоже не примут. Потому что лицензия неправильная, хоть и свободная, одобренная Столлманом.
     
     
  • 4.7, Аноним (7), 13:17, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Это как там Столман мог одобрить лицензию, несовместимую с GPL?
     
     
  • 5.8, Admino (ok), 13:20, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Столлман одобряет свободные лицензии, и не важно, совместимы они с GPL или нет. Это нормальная последовательная позиция.
     
  • 5.73, Аноним (-), 13:32, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Это как там Столман мог одобрить лицензию, несовместимую с GPL?

    Его (не)одобрение ортогонально пунктам лицензий и их совместимости. К тому же CDDL появился позже GPL и это скорее вопрос к менеджерам фирмы Sun. Впрочем, не выгорило - фирма все-равно была сожрана а zfs мыкается по остаточному принципу.

     
     
  • 6.115, Аноним (115), 17:47, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Но не ортогональнально для выбирающих лицензию для проекта.
     
  • 4.11, Аноним (11), 13:55, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Сам Столлман теперь не одобрен
     
  • 3.6, Аноним (6), 12:53, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –8 +/
    Vсего скорее нах пошлют.
     
  • 3.17, Аноним (17), 14:47, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    "Политика" там - это позиция Шишкина: "я не буду пользоваться богомерзкой инфраструктурой ядра, у меня для этого есть собственноручно отполированный костыль!!!111".
     
     
  • 4.30, Аноним (30), 16:19, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    А смысл? Завтра они скажут "а мы хотим поменять архитектуру ядра, а тут никому не нужная файловая система, к тому же носящая имя женоубийцы. Давайте её выкинем в целях уменишения расходов на сопровождение ядра, если Шишкиеу чего-то надо, то пусть сам и сопровождает." И вся работа по интеграции инфраструктуры ядра в reiser5, a reiser5 - в инфраструктуру ядра насмарку пойдёт.
     
     
  • 5.31, Аноним (7), 17:37, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Давно надо было сменить название, чтоб политкорректно было с точки зрения инклюзивно-корректных.
     
     
  • 6.42, Ан (??), 22:07, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Так и  раком встать недолго, если начать прогибаться под инклюзивно-корректных. С террористами переговоров не ведут.
     
     
  • 7.76, Аноним (-), 13:44, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Так и  раком встать недолго, если начать прогибаться под инклюзивно-корректных. С
    > террористами переговоров не ведут.

    Ждем неполиткорректный (ф)орков от васяна

     
  • 6.44, Аноним (30), 22:36, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Не надо. #freehansreiser
     
  • 5.38, llolik (ok), 18:42, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >  И вся работа по интеграции инфраструктуры ядра в reiser5, a reiser5 - в инфраструктуру ядра насмарку пойдёт.

    Так проблема тут опять-же в самом максимально токсичном Шишкине. Все кто мог бы этим заниматься ему не интересны, интеграция с ядром и VFS ему не интересно. Он д'Артаньян, все ... ну ты понял.

     
     
  • 6.50, Аноним (50), 01:32, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +7 +/
    >>  И вся работа по интеграции инфраструктуры ядра в reiser5, a reiser5 - в инфраструктуру ядра насмарку пойдёт.
    > Так проблема тут опять-же в самом максимально токсичном Шишкине. Все кто мог
    > бы этим заниматься ему не интересны, интеграция с ядром и VFS
    > ему не интересно. Он д'Артаньян, все ... ну ты понял.

    Сколько не читал Э.Шишкина, не заметил никакой токсичности, скорее заметил нормального адекватного мужика, у которого немного печёт от сжв-шизы, ну, возможно не немного, но я не понимаю, как можно работать в среде отбитых толерастов и снежинок нормальному человеку и не быть настолько спокойным, у меня бы давно пофигина не хватило.
    Зато его оппоненты брызжат желчью во со всех щелей во все стороны, визжат, как поросята, которых пьяный бойщик режет. Вот где разгул отсутствия токсичности, во все поля!

     
     
  • 7.57, llolik (ok), 09:09, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Да какое-там СЖВ я их тоже терпеть не могу, но не про меня речь Если ты читал... большой текст свёрнут, показать
     
     
  • 8.58, tty0 (?), 09:34, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Он высказал утверждение, согласно которому, ФС, в разработке которой он принимае... текст свёрнут, показать
     
     
  • 9.59, llolik (ok), 09:58, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Первый пост Ну вот, предположим, у тебя есть проект и команда Прихожу такой я и... большой текст свёрнут, показать
     
     
  • 10.67, Аноним (67), 12:29, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Таких дерьмокоманд - пруд пруди Пинающих балду и ждущих, когда к ним кто-то при... текст свёрнут, показать
     
     
  • 11.72, llolik (ok), 13:31, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Лихо ты так про kernel team Ну ок, пили другой kernel Благо есть из чего выбир... текст свёрнут, показать
     
  • 11.78, Аноним (-), 13:55, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Что-то Linux Kernel такой один Ты в своем праве комитить куда-нибудь в другое м... текст свёрнут, показать
     
  • 8.65, Аноним (67), 12:02, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Между строк читаешь то, чего и в помине не было А вот это правильно - вся эта д... текст свёрнут, показать
     
     
  • 9.66, llolik (ok), 12:28, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    https www opennet ru opennews art shtml num 55201 ну да ну да, если не читать ... текст свёрнут, показать
     
  • 8.113, BorichL (ok), 16:55, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Человек просто знает, что лучше работать с 1,5 чел настолько же умными, наскольк... текст свёрнут, показать
     
     
  • 9.127, llolik (ok), 19:25, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Один вопрос запускать он это на чём будет У него есть своя альтернативная ОС ... большой текст свёрнут, показать
     
     
  • 10.128, BorichL (ok), 19:38, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну возможно ты упустил момент, вот цитата из интервью Я работаю в должности Pr... большой текст свёрнут, показать
     
     
  • 11.129, llolik (ok), 20:01, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    В таком случае изначальный вопрос ТС не имеет смысла Как и не имеет смысла вооб... текст свёрнут, показать
     
  • 7.77, Аноним (-), 13:49, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Его проблема не в том Он тупо не командный игрок - и не может нормально взаимод... большой текст свёрнут, показать
     
     
  • 8.93, Аноним (93), 16:31, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Зачем ему взаимодействовать с командами, которые ему по определению не нужны В... текст свёрнут, показать
     
     
  • 9.95, Аноним (-), 18:24, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Как бы это сказать если бы он писал ВСЮ ОПЕРАЦИОНКУ, это утверждение было бы ... большой текст свёрнут, показать
     
     
  • 10.99, Аноним (93), 18:56, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Он базируется на GPL2-проекте, и ничего не нарушет Остальное всё по барабану, в... текст свёрнут, показать
     
  • 5.48, Аноним (48), 00:43, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Тем более не нужен Шишкин с его гонором.
     
     
  • 6.51, Аноним (50), 01:35, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Тем более не нужен Шишкин с его гонором.

    Да, конечно, у его оппонентов гонора-то нет, зато если бы он засунул язык в опу, не возражал, не отсвечивал, тогда бы, может быть, партия молодых смузихлёбных борцунов-копротивленцев за всё хорошее против всего плохого, возможно, повторяю - возможно(!), сочла бы его рукопожатным и прислушалась.
    Но, увы, сейчас у нас такое время, когда: "Надоело нам мяукать! Мы хотим, как поросята, хрюкать!".

     
     
  • 7.75, Аноним (-), 13:43, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Вон там борец-сопротивленец Кент Оверстрит почему-то не вы...тся и не клещится а годную ФС пилит, более-менее по канонам разработки кернельной девтимы. И его наверное в итоге в ядро возьмут.

    Да, а знаете, проблемный майнтайнер в ядре который думает что можно вывалить свой мега-код с лопаты и забыить про него - в ядре даром никому не вперся. Хоть там у него сто раз отличный код, майнтайнеры подсистем не хотят чтобы на них сваливали майнтенанс кода все подряд. По той же причине рейзер3 из ядра хотят вынести - у него нет майнтайнеров. Шишкин притаскивающий свой зад раз в 5 лет когда код уже на грани выноса явно на майнтайнера того кода не тянет.

     
  • 5.74, Аноним (-), 13:39, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Они именно так ядро и девелопают - переделывая базовые подсистемы ядра когда вид... большой текст свёрнут, показать
     

  • 1.2, Аноним (2), 12:42, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Про fio слышали что-нибудь ?
    Fsync там какой-то влияет на что-нибудь ?
     
  • 1.3, Андрей (??), 12:43, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    В сравнении с чем ? :think
     
  • 1.9, Аноним (93), 13:43, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > В сравнении с чем ? :think

    в сравнении со скоростью копирования данных с одного устройства на другое.

     
  • 1.10, Ан (??), 13:49, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Слава Эдуарду! Надеюсь, в 2023 году Ханс выйдет, там будет очередное слушание.
     
     
  • 2.40, nvidiaamd (?), 21:07, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    И на кой тебе убийца?
     
     
  • 3.43, Ан (??), 22:09, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Гениальность и безумие почти всегда идут рука об руку. Мне от него нужно первое.
     
     
  • 4.55, Dnina (ok), 08:37, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    А если бы он кого-то из твоих близких убил, так же написал бы?
     
     
  • 5.63, Ан (??), 11:25, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ложная дихотомия. И он за своё убийство уже почти всё отсидел.
     
     
  • 6.142, Dnina (ok), 06:44, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Ложная дихотомия. И он за своё убийство уже почти всё отсидел.

    Я задал простой и понятный вопрос, и никакой дилеммы тут нет. Я уже понял, что для тебя жизнь незнакомого человека ничего не стоит. А жизнь родственника тоже?

     
     
  • 7.145, Ан (??), 09:00, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Занимайся софистикой в другом месте, днина. Опеннет не для этого.
     
  • 5.108, fi (ok), 13:16, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    твои близкие тоже состоят в русской мафии?


     
  • 3.45, Аноним (30), 22:38, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Ему медаль надо было дать за заслуги перед обществом, а не от 10ки до пожизненного.
     
     
  • 4.49, Аноним (48), 00:44, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Перечисли заслуги, я подожду.
     
     
  • 5.92, Аноним (92), 16:09, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Перечислены в материалах судебного процесса.
     
     
  • 6.100, Аноним (-), 18:59, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Перечислены в материалах судебного процесса.

    Ну так и награды за это там же перечислены.

     
  • 2.116, Аноним (115), 17:50, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >Надеюсь, в 2023 году Ханс выйдет, там будет очередное слушание.

    Надежда была в 2021, но провалилась. Вроде, следущая попытка должна состояться в 2026.

     
     
  • 3.118, Ан (??), 18:03, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>Надеюсь, в 2023 году Ханс выйдет, там будет очередное слушание.
    > Надежда была в 2021, но провалилась. Вроде, следущая попытка должна состояться в
    > 2026.

    Нет, 2023. https://news.ycombinator.com/item?id=22509561

     

  • 1.12, Аноним (12), 13:55, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    Чем это лучше БРТФС?
     
     
  • 2.14, DeerFriend (?), 14:01, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    raid56 уже можно использовать без страха?
     
     
  • 3.18, Аноним (17), 14:49, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Встречный вопрос. А reiser5 вообще на прод можно ставить?
     
  • 3.25, Аноним (1), 15:00, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Да.
     
  • 3.101, Аноним (-), 18:59, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > raid56 уже можно использовать без страха?

    Почитав сперва вику и поняв в чем дело.

     
  • 2.32, Аноним (7), 17:40, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Шишкин как-то писал про недостатки BTRFS (и ZFS тоже). Даже Reiser4 лучше.
     
     
  • 3.34, Ан (??), 17:48, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Btrfs вообще по сути копирование идей Райзера Крисом Мэйсоном.
     
     
  • 4.61, Sat (??), 10:28, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Идею нельзя скопировать, её можно воплотить
     
     
  • 5.62, Ан (??), 11:19, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Идею нельзя скопировать, её можно воплотить

    Патенты, не не слышал. Namesys была коммерческой компанией, если что. Так что Мэйсон просто вор.

     
     
  • 6.83, Аноним (-), 14:54, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > Патенты, не не слышал. Namesys была коммерческой компанией, если что. Так что
    > Мэйсон просто вор.

    Что он украл то? CoW'd Btree? Его придумал какой-то другой человек не имеющий отношения к Reiser. В том варианте каком он в btrfs это вообще был первый раз. Со своими проблемами, но это был первый раз. Никто не знал заранее с чем столкнется. Потому что синтетика и умозрительный анализ одно. А что юзеры сделают с ФС и куда через 10 лет разовьются сторажи - другое.

     
     
  • 7.87, Ан (??), 15:08, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Абсолютно всю архитектуру, к которой он просто добавил добавил CoW от Охада Роде... большой текст свёрнут, показать
     
     
  • 8.94, Аноним (-), 18:11, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ну тогда Форд просто добавил к производству автомобилей конвейер И если копнуть... большой текст свёрнут, показать
     
     
  • 9.96, Sin2x (ok), 18:24, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ещё раз -- алгоритмы это вещь патентуемая Поэтому, если ты пользуешься чужой за... текст свёрнут, показать
     
     
  • 10.98, Аноним (-), 18:54, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    1 У патентов есть такая штука как срок действия И он иногда заканчивается 2 ... большой текст свёрнут, показать
     
     
  • 11.102, Sin2x (ok), 19:24, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Патенты на софт действуют в США 20 лет с момента подачи А твои последующие комм... текст свёрнут, показать
     
     
  • 12.103, Sin2x (ok), 20:11, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    https reiserfs-devel vger kernel narkive com NU29O702 implementing-reiserfs-in... текст свёрнут, показать
     
  • 4.105, An0nim0us (?), 10:34, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    нет, они архитектурно абсолютно разные...
     
     
  • 5.109, Ан (??), 15:34, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я уже привёл выше статью, где явно говорится о том, что это не так:

    "The leaves of the btree contain items, which are a combination of keys and data. Similarly to reiserfs, the items and data are packed in extremely space-efficient way: the item headers (that is, the item structure described above) are packed together starting at the beginning of the block, and the data associated with each item is packed together starting at the end of the block. So item headers and data grow towards each other, as shown in the diagram to the right."

    Твой черёд доказывать свой тезис.

     
     
  • 6.111, An0nim0us (?), 16:26, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    gt оверквотинг удален да особо далеко ходить не требуется Заходим в вики для ... большой текст свёрнут, показать
     
     
  • 7.114, Ан (??), 17:11, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Какая википидия, мальчик? Читай источник, который я привёл выше:

    https://lwn.net/Articles/342892/

    Rodeh's btrees are different: first, he got rid of the links between leaves of the tree - which also "throws out a lot of the existing b-tree literature", as he says in his slides [PDF] - but keeps enough btree traits to be useful. ****(This is a fairly standard form of btrees in file systems, sometimes called "B+trees".) ****

    И B+Tree и B-Tree это не кардинально разные подходы, B+Tree это развитие B-Tree.

    Садись, два.

     
     
  • 8.120, An0nim0us (?), 18:11, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Мальчика в зеркале увидишь С воспитанием тебя явно запустили Но так и быть... текст свёрнут, показать
     
     
  • 9.121, Ан (??), 18:21, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Слив засчитан ... текст свёрнут, показать
     
     
  • 10.122, An0nim0us (?), 18:41, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Я в учителя не набивался и у меня нет никакого желания до посинения разжевывать ... большой текст свёрнут, показать
     
     
  • 11.124, Ан (??), 18:47, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    gt оверквотинг удален Юное даровение здесь это ты, маня И специально для тебя... большой текст свёрнут, показать
     
     
  • 12.136, anonymous (??), 12:59, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Что за B tree, исходники же открыты, википедист хамоватый В оригинале танцующи... текст свёрнут, показать
     
     
  • 13.137, Ан (??), 13:04, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ты кому-то не тому отвечаешь, маня Википедию как источник привёл не я А то, ч... текст свёрнут, показать
     
  • 2.79, Аноним (-), 13:57, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Чем это лучше БРТФС?

    Теоретически, Петька, мы с тобой миллионеры. Практически, отвечать на этот вопрос будет, видимо, Кент, а вовсе не.

     

  • 1.13, Аноним (12), 13:58, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Информативность теста беспрецедентная конечно. Ни сравнения с другими ФС, ни какое оборудование использовалось...
     
     
  • 2.15, Ан (??), 14:16, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Другие ФС такого функционала вообще не имеют. Тут надо сравниввать с LVM или mdadm, но у них ниже удобство.
     
     
  • 3.24, Он он им (?), 14:59, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Эт самое, а ZFS и BTRFS?
     
     
  • 4.27, Аноним (67), 15:27, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > а ZFS и BTRFS?

    А где там миграция файла на указанное устройство? В Btrfs нет прокси-кэширования. На остальных операциях вангую отставание ZFS, BTRFS и LVM на порядок.

     
     
  • 5.37, Аноним (48), 18:26, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > вангую

    Ванговать не надо, надо взять и померять. У ZFS и BTRFS пересечение по фичам с этой ФС есть, вот и хотелось бы видеть циферки. А без сравнения с существующими альтернативами это бесполезные данные.

     
  • 3.139, Аноним (139), 20:01, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Зато скорость выше.
     
     
  • 4.141, Ан (??), 21:43, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это примерно то же самое, что сказать, что яблоки вкуснее апельсинов.
     
  • 2.23, Аноним (67), 14:58, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > ни какое оборудование использовалось...

    а по ссылке сходить?

    Hardware:

    Dell OptiPlex 7050 6C2XR, Intel Core i7-7700, 16GB RAM
    (4 Cores / 8 Threads)

    Storage media:

    DEV1: Lite-On LCS-256M6S, SSD 256GB, SATAIII, 2.5"
    DEV2: Intenso 2.5" SSD TOP, 256G, SATAIII, 2.5"
    DEV3: Intenso 2.5" SSD TOP, 256G, SATAIII, 2.5"
    DEV4: Intenso M.2  SSD TOP, 256G, SATAIII, m.2 2280
    RAM0: Block device in RAM

     
  • 2.33, Аноним (7), 17:42, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Там всё в абсолютных еденицах [Мбайт/с], а не в относительных.
     
     
  • 3.39, Брат Анон (ok), 19:04, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    По сравнению С ЧЕМ?
     
     
  • 4.119, Аноним (115), 18:04, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    По сравнению, это когда что-то принимают за единицу, а другое либо больше в коэффициент, либо меньше. А в абсолютный единицах можно и не сравнивать. Кому надо, сами сравнят. А то можно и до напряжения в розетке докопаться: "Там 220 В по сравнению с чем?".
     
     
  • 5.132, Брат Анон (ok), 10:32, 19/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > По сравнению, это когда что-то принимают за единицу, а другое либо больше
    > в коэффициент, либо меньше. А в абсолютный единицах можно и не
    > сравнивать. Кому надо, сами сравнят. А то можно и до напряжения
    > в розетке докопаться: "Там 220 В по сравнению с чем?".

    Это не ответ на вопрос. 220 В -- 220 раз по 1 В. Есть образец для сравнения. И этот образец -- один на весь мир. Нет никаких английских/американских или японских В (в отличии от лошадиных сил).
    А вот стандартных [1 Диск] -- не существует.
    Ещё раз -- по сравнению С ЧЕМ?

     
  • 4.133, n00by (ok), 14:32, 19/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > По сравнению С ЧЕМ?

    Судя по "Низкоуровневый последовательный доступ" в первой таблице, измеряют накладные расходы. То есть сначала выполнили аналог hdparm -T, а потом с ФС на том же устройстве читают файл.

    Устройство   Чтение, M/s      Запись, M/s
       DEV1         470              390

    Последовательные чтение/запись большого файла (M/s):
       1 (DEV1)     380              460

    В данном случае теряется по 10 M/s при чтении и записи. Когда накопителя два - скорости выше.

     
     
  • 5.134, Брат Анон (ok), 20:57, 19/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    > Устройство   Чтение, M/s      Запись, M/s
    >    DEV1        
    > 470          
    >    390
    > Последовательные чтение/запись большого файла (M/s):
    >    1 (DEV1)     380  
    >            
    > 460
    > В данном случае теряется по 10 M/s при чтении и записи. Когда
    > накопителя два - скорости выше.

    Я ничего не понял из этого теста. Это какой диск? SSD? HDD? Может быть NET? Какой потолок записи? Какой потолок чтения? Какой был процессор? Какой буфер у диска? Какой кеш у дисковой подсистемы? Какой был режим записи чтения? Какой iops? Это не цифры, это булшит какой-то.

     
     
  • 6.135, n00by (ok), 08:30, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Я ничего не понял из этого теста. Это какой диск? SSD? HDD?
    > Может быть NET? Какой потолок записи? Какой потолок чтения? Какой был
    > процессор?

    Hardware:

    Dell OptiPlex 7050 6C2XR, Intel Core i7-7700, 16GB RAM
    (4 Cores / 8 Threads)

    Storage media:

    DEV1: Lite-On LCS-256M6S, SSD 256GB, SATAIII, 2.5"
    DEV2: Intenso 2.5" SSD TOP, 256G, SATAIII, 2.5"
    DEV3: Intenso 2.5" SSD TOP, 256G, SATAIII, 2.5"
    DEV4: Intenso M.2  SSD TOP, 256G, SATAIII, m.2 2280
    RAM0: Block device in RAM

    > Какой буфер у диска? Какой кеш у дисковой подсистемы? Какой
    > был режим записи чтения? Какой iops? Это не цифры, это булшит
    > какой-то.

    Если так подходить, то да, почти любые тесты можно назвать мусором, поскольку не указана погрешность измерения. В данном случае что-то для себя измеряли (скорее всего, определяют таким образом прогресс/регрессии), решили поделиться. Опубликовано в почтовой переписке, что видно из ссылки в новости. Там сообщение должно быть кратким, что бы его вообще прочли и заинтересовались сутью. Кому надо подробности не ради трындежа на форумах, тот спросит.

     
     
  • 7.138, Брат Анон (ok), 15:30, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Если так подходить, то да, почти любые тесты можно назвать мусором, поскольку
    > не указана погрешность измерения. В данном случае что-то для себя измеряли
    > (скорее всего, определяют таким образом прогресс/регрессии), решили поделиться. Опубликовано
    > в почтовой переписке, что видно из ссылки в новости. Там сообщение
    > должно быть кратким, что бы его вообще прочли и заинтересовались сутью.
    > Кому надо подробности не ради трындежа на форумах, тот спросит.

    За цифры -- лайк. Понятно на чём меряли. И это далеко не самые исчерпывающие варианты использования. Теперь ещё раз повторю вопрос: меряли по сравнению С ЧЕМ? Где результат для ext2, FatExt, ext4, btrfs, мелкие файлы? Большие файлы? РАИД-массив хдд? Все эти цифры классно, но пока это сферический конь в вакууме.

    Понятно, что в рассылке могли регрессионный тест производительности устроить. Ну так может указать надо было прирост производительности? Или какие киллер-фичи запилены? Или может ещё что-то такое, ради чего вообще стоит это делать? А то может оказаться, что работы навалом и куда более важной. Тот же системды выпилить нафиг.

     
     
  • 8.140, Аноним (93), 20:36, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Для предварительных результатов вполне сойдёт Исчерпывающими нет смысла сейчас ... текст свёрнут, показать
     
  • 8.143, n00by (ok), 08:10, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    По сравнению с голым накопителем Драйвер ФС преобразует логику имена файло... текст свёрнут, показать
     
     
  • 9.144, Брат Анон (ok), 08:58, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Где цифры для гологого накопителя Надо Но в приведённых данных вообще ничег ... текст свёрнут, показать
     
     
  • 10.146, n00by (ok), 09:30, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    В сообщении 8470 133, цитирую Судя по Низкоуровневый последовательный досту... текст свёрнут, показать
     

  • 1.19, Аноним (-), 14:50, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    так же нужно реализовать:
    - когерентность кэша для Single System Image, желательно с кворумом
    - компрессию при помощи алгоритмов Zstandard, PPMd, pluggable
    - шифрование  с возм. аппаратного ускорения основной части операций
    - портирование в какую-либо ОС из семейства BSD UNIX, желательно с GEOM
    - параллельное хэширование двумя алгоритмами одновременно (КЦД)
     
     
  • 2.20, Sin2x (ok), 14:54, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Как минимум, поддержка zstd там уже пять лет как есть: https://www.phoronix.com/scan.php?page=news_item&px=Reiser4-Linux-4.14-Zstd
     
  • 2.21, Аноним (12), 14:54, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Не так быстро, я записываю!
     
     
  • 3.26, Аноним (26), 15:09, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Не так быстро, я записываю!

    Ганс, вам там интернет надзиратели зачитывают?

     
     
  • 4.35, Ан (??), 17:51, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ганс было бы, будь он немцем. А он Ханс, как Хан Соло.
     
     
  • 5.70, Lefsha (ok), 13:24, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Ганс было бы, будь он немцем. А он Ханс, как Хан Соло.

    Это неверно. Будь он немцем тоже был бы Хансом.
    Ровно как город называется Хамбург.

    Это чисто проблемы русского варианта.

     
     
  • 6.82, Ан (??), 14:10, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Неверно это то, что пишешь ты. В русской транскрипции немецкое H это Г. Гамбург, Ганс, Гейзенберг.
     
  • 2.106, InuYasha (??), 10:47, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > - компрессию при помощи алгоритмов Zstandard, PPMd, pluggable

    Не надо. Это не уровень ФС.
    - шифрование  с возм. аппаратного ускорения основной части операций
    Не надо. Это не уровень ФС.
    - портирование в какую-либо ОС из семейства BSD UNIX, желательно с GEOM
    Не надо. Этим почти никто не пользуется.
    - параллельное хэширование двумя алгоритмами одновременно (КЦД)
    Как опция.

     
     
  • 3.112, arzeth (ok), 16:43, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >> - компрессию при помощи алгоритмов Zstandard, PPMd, pluggable
    > Не надо. Это не уровень ФС.

    Вообще не согласен. У файловых систем прозрачное сжатие, а у программ 7z, zstd непрозрачное.

    Плюс непрозрачного только в бóльшей степени сжатия, а минусы:

    * геморройно использовать: если игра обновилась, то каждый файл вручную пережимать, а потом перед запуском вручную распаковывать. Либо можно написать демон или модуль для ядра, дабы при начале чтении файла, читающее приложение фризилось на время распаковки 10-гигового файла текстур, а после закрытия файла (fclose), распакованный файл удалялся.

    * не всегда возможно: места не хватает для распаковки или создания нового .tar.zst.

    * требуется больше оперативки (если tmpfs) или места: после распаковки /usr/bin/telegram-desktop.zst или 10-гигового файла текстур, надо _весь_ файл хранить где-то, а не только используемые части.


    Мои статы (ZFS 2.1.4):
    zroot/ROOT                  compressratio         2.30x (zstd-12, 22.8 ГБ вместо 48.0 ГБ)
    zroot/data                  compressratio         1.74x (zstd-14)
    (места мало, поэтому не в разы быстрый zstd-2, но лишь чуть хуже сжимающий)

    du -csh /opt/cuda
    2,9G
    du -csh --apparent-size /opt/cuda
    5,4G

     
     
  • 4.130, n00by (ok), 05:50, 19/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Дедупликацию не пробовали? У меня она давала где-то 10% выигрыш, решил, что не нужна.
     

  • 1.28, Аноним (30), 16:14, 16/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Ну сколько же можно делать работу LVM2 внутри файловой системы?
     
     
  • 2.36, Ан (??), 17:52, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Меньше абстракций лучше, чем больше абстракций, если ты не знал. LVM не нужен.
     
     
  • 3.46, Аноним (30), 22:42, 16/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Наоборот. LVM2 позволяет комбинировать газличные файловые системы и легко ими управлять в случае надобности с минимизацией рискованных операций. Must have однозначно. А когда есть LVM2, то нафига мне изврашения внутри файловой системы?
     
     
  • 4.52, Ан (??), 03:43, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ознакомься на досуге с принципами ТРИЗ.
     
     
  • 5.53, Аноним (-), 03:53, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    ТРИЗ не работает. Сколько из заметных изобретений за последние десятилетия были сделаны ТРИЗоманами? Ноль целых, две десятых? Это очень подозрительно, и наводит на мысль о том, что ТРИЗ не помогает, а мешает изобретать. Потому что если бы ТРИЗ не мешал, было бы больше изобретений совершённых теми, кто знает ТРИЗ.
     
     
  • 6.90, n00by (ok), 15:52, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > ТРИЗ не работает. Сколько из заметных изобретений за последние десятилетия были сделаны
    > ТРИЗоманами? Ноль целых, две десятых? Это очень подозрительно, и наводит на
    > мысль о том, что ТРИЗ не помогает, а мешает изобретать. Потому
    > что если бы ТРИЗ не мешал, было бы больше изобретений совершённых
    > теми, кто знает ТРИЗ.

    А мне тоже интересно стало, почему он не привёл пример, тогда как настрочил уже пять ответов про "необходимое и достаточное". =) Я и то привёл за него пример с "зубочисткой". Дерево при горении становится твёрже...

     
  • 5.54, n00by (ok), 07:44, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    ТРИЗ применима, когда при отсутствии зубочистки требуется сделать из спички зубочистку (нет, не обгрызть, а поджечь). С абстракциями работает Бритва Оккама и продолжение цитаты "все проблемы в программировании решаются путём создания дополнительного уровня косвенности", которое почему-то забывают.
     
     
  • 6.60, Аноним (60), 10:13, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > С абстракциями работает Бритва Оккама и продолжение цитаты "все проблемы в программировании решаются путём создания дополнительного уровня косвенности", которое почему-то забывают.

    И потом в реале видим докер в докере из-под докера на виртуалке.

     
     
  • 7.85, n00by (ok), 15:01, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> С абстракциями работает Бритва Оккама и продолжение цитаты "все проблемы в программировании решаются путём создания дополнительного уровня косвенности", которое почему-то забывают.
    > И потом в реале видим докер в докере из-под докера на виртуалке.

    Для не знающих продолжение цитаты: "...кроме проблемы бесконечно большого числа дополнительный уровней". ;)

     
  • 6.64, Ан (??), 11:28, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Судя по всему, ты не знаком с ТРИЗ, кроме знания самого названия, потому что ТРИЗ включает в себя принцип необходимого и достаточного. То есть, ты сейчас сам наплодил лишнюю сущность.
     
     
  • 7.86, n00by (ok), 15:05, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > Судя по всему, ты не знаком с ТРИЗ, кроме знания самого названия,

    Я ещё и фамилию Альтшуллер краем уха слышал.

    > потому что ТРИЗ включает в себя принцип необходимого и достаточного.
    > То есть, ты сейчас сам наплодил лишнюю сущность.

    Включает Бритву Оккама? А теорию множеств не учит использовать?

     
     
  • 8.88, Ан (??), 15:15, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Именно что слышал только краем уха, не ёрничай После того как я сказал о ТРИЗ ... текст свёрнут, показать
     
     
  • 9.89, n00by (ok), 15:47, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    То есть достаточно Бритвы Оккама С какой конкретно целью Вы написали мне два пу... текст свёрнут, показать
     
     
  • 10.91, Ан (??), 15:59, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Нет недостаточно, потому что мы говорим здесь о программной инженерии, которая я... текст свёрнут, показать
     
     
  • 11.104, n00by (ok), 08:36, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Не мы, а я один говорю о программной инженерии, которая является более узкой об... текст свёрнут, показать
     
  • 5.97, Аноним (-), 18:47, 17/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Ознакомься на досуге с принципами ТРИЗ.

    Удачи в создании современных ФС таким способом.

     

  • 1.107, InuYasha (??), 11:56, 18/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Райзер плюсую. Но скорость и фичи - это всё, коненчо, замечательно. Только ФС я выбираю совсем по другому списку. По какому? А вот по тому, который есть в поддержке у Р-студио, Акрониса и большинства фирм по восстановлению данных с дисков.
     
     
  • 2.110, Ан (??), 15:54, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://reiser4.wiki.kernel.org/index.php/Fsck.reiser4

    --build-sb тебе будет достаточно для любых целей. Совершенно бесплатно.

     
     
  • 3.125, InuYasha (??), 18:47, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > для любых целей.

    Меня триггернуло. Пойду в мастерскую, скажу чтоб выкидывали чистые стенды и паяльники )

     
     
  • 4.126, Ан (??), 18:49, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Контекст? Не, не слышал.
     
  • 2.117, Аноним (115), 17:57, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ориентироваться на проприетарщину? Такое себе.
     
     
  • 3.123, InuYasha (??), 18:46, 18/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Анон, ну чего ты в самом деле? С таким же успехом можно сказать: "Записывать данные на платные проприетарные диски - ну такое себе. Обращаться к проприетарным мастерам по восстановлению данных - ну такое себе."
     
     
  • 4.131, n00by (ok), 05:53, 19/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    У меня Акронис купленный в составе коробки ASP Linux =)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру