forum.opennet.ru

"Началась разработка ФС Zero, вытесняющей неиспользуемые данн..."

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Второй уровень иерархии тем в форуме реализован через вкладку "Показ ключевых тем".

. "Началась разработка ФС Zero, вытесняющей неиспользуемые данн..."	+/–
Сообщение от нах (?), 13-Сен-18, 14:35
никак. авторы всех технологий дедапа верят, что коллизия хэшей невозможна. Мысль о том, что по сути они заменяют блоки данных, предположим, в 128k, строкой в 256 бит - причем ВСЕ блоки неизвестного содержимого - ограниченным количеством строк (в зависимости от типа хэша может оказаться, что далеко не каждая строка - валидный хэщ чего бы то ни было) им, по-моему, в головы вообще не приходит, там некуда, там карри. Единственное исключение - zfs, там сановские инженеры еще головами думали, а не только ели - там есть verify, если не хочется проверять свое везение (разумеется, снижает скорость, но часто этим можно пожертвовать) то есть по сути, да, на наших глазах переизобретается архиватор del, только уже в глобальном масштабе. оно бы и работало, даже, в масштабах локалхостов, даже достаточно больших - но в масштабах амазона или бэкблейза вопрос коллизии - только вопрос времени.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Началась разработка ФС Zero, вытесняющей неиспользуемые данн..., opennews, 10-Сен-18, 11:01 [смотреть все]

Вот и верь людям, что Питон меленный , КО, 10-Сен-18, 11:01 (1) //
- Где ты прочитал что прототип работает быстро Желаемое за действительное не выда, Аноним, 10-Сен-18, 11:22 (4)
- У говнокодеров и си с ассемблером медленные , Аноним, 10-Сен-18, 11:37 (6) //
  - И это логично Чтобы было быстро - надо понимать как работают компьютеры Перекл, Аноним, 10-Сен-18, 23:29 (108) //
    - Воланд , анонимный анонимец, 11-Сен-18, 00:39 (117)
    - Брэд оф сив кэйбл Ещё деда Кнут завещал не чинить то, что не сломано Если над, лютый лютик..., 11-Сен-18, 06:47 (119)
      - А что, с сетью таких факапов не бывает Когда кодер меняет тип с int на short и , Чайник с ручками, 12-Сен-18, 20:17 (158)
        
        Какие фантазии Напрямую TCP пакеты создаёшь У нормальных пацанов по сети ходит, лютый лютик__, 17-Сен-18, 08:45 (164)
    - Ты не понял Главное - быстрее кодить Взять какую-нибудь обертку над какой-нибу, X86, 11-Сен-18, 10:49 (129)
- Он и есть медленный Но для некоторых применений - вполне годится Особенно для , Crazy Alex, 10-Сен-18, 11:39 (7) //
  - Это отговорки слабаков и шkoлоты, неосиливших си и изначально грамотное проектир, Аноним, 10-Сен-18, 15:12 (45) //
    - Изначально грамотное проектирование подразумевает отсутствие C в любом виде , Аноним, 10-Сен-18, 17:49 (71)
      - А что, ты уже переписал фирмвари, бутлоадер, ядро ОС и ключевой софт запускающий, Аноним, 10-Сен-18, 19:26 (84)
  - А в чем прикол делать прототип откровенно говняно, без перспектив его сделать но, Аноним, 10-Сен-18, 19:33 (87) //
    - То ли дело анонимы опеннета, сразу знающие, как надо правильно и что и как взлет, Аноним, 10-Сен-18, 20:31 (96)
      - да только сишники тоже сцуко ленивые, поэтому возьмут готовую либу вместо это, Аноним, 10-Сен-18, 23:21 (107)
        
        Поэтому предпочитали комментировать на опеннете, вместо ваяния _первой_ реализац, Аноним, 10-Сен-18, 23:40 (109)
    - Ну вот например есть носкль Cassandra которую лузеры накуякали на тормозной жабк, лютый лютик__, 12-Сен-18, 05:20 (153)
  - Нет, Led, 11-Сен-18, 23:58 (151)
- Прототип, который быстро сделан на python для посмотреть ну вот как-то примерно, llolik, 10-Сен-18, 15:36 (50) //
  - Зато надежно выдает авторов Все слагаемые на месте пермиссив, тормозной ЯП для, Аноним, 10-Сен-18, 19:28 (85)
- Python действительно медленный если не применять оптимизации и вынос критичного , Аноним, 11-Сен-18, 08:59 (125) //
  - Только вчера читал, как EO люто тормозит во время более-менее крупных боёв При , лютый лютик__, 12-Сен-18, 05:23 (154) //
    - Еще бы Даже и не знаю, реально ли вообще сделать бои подобного масштаба без тор, Аноним, 13-Сен-18, 00:50 (159)
пихон, fuse, зеро зеробрейн вытесняйте уже сразу в dev null - меньше возни, нах, 10-Сен-18, 11:06 (2) //
- Сколько стонов Ну нравится fuse-davfs - используй, кто запретит Поглядим, как, Crazy Alex, 10-Сен-18, 11:44 (8) //
  - тут нет никакой новой идеи - davfs устроена точно так же нового тут только мод, нах, 10-Сен-18, 12:34 (16) //
    - Так привык к mount umount, что отсутствие необходимости использовать их вызвало , Аноним, 10-Сен-18, 12:47 (18)
    - Как она устроена У неё жёстко прибитый один бэкэнд - webdav И если захочется п, Crazy Alex, 10-Сен-18, 16:53 (62)
      - А чем собственно webdav плох Чем плох FTP и backblaze - понятно Первый в полов, Аноним, 10-Сен-18, 19:31 (86)
        
        а чем может быть хороша попытка приспособить гипертекстовый протокол под файлову, пох, 10-Сен-18, 21:59 (98)
        Плох не webdav, ftp или backblaze, плохо, когжа пытаются прибить гвоздями к чему, Crazy Alex, 10-Сен-18, 22:04 (99)
        
        С другой стороны когда начинается абстрагирование абстракций и модуляризация мод, Аноним, 11-Сен-18, 00:01 (111)
        конкретно эта штука - не может, у нее заточка под интерфейс, предназначенный для, пох, 11-Сен-18, 19:24 (144)
- И я не нашёл вообще никакой свзяи автора с backblaze Ну выбрал человек то храни, Crazy Alex, 10-Сен-18, 11:47 (9)
- fuse-davfs не умеет кешировать Поэтому работает только в сферической сети в вак, Annoynymous, 10-Сен-18, 12:53 (19) //
  - Шизика это не остановит от критики, у него в бреду свой собственый мирок , Аноним, 10-Сен-18, 13:47 (25)
  - umount mnt dav sbin umount davfs waiting while mount davfs pid 32292 syn, нах, 10-Сен-18, 14:09 (32) //
    - Это совсем другая задача, ага , Annoynymous, 10-Сен-18, 15:05 (42)
- Коннекты через 2 5G 3G ещё не исчезли, особенно за МКАДом Так что, Python здесь, Аноним, 10-Сен-18, 14:48 (39) //
  - угу, оно просто работать не будет это ж хоть и не дав, но вебня, там таймауты и, нах, 10-Сен-18, 15:12 (44) //
    - Ну так оборвалось - не вытеснил, какаие проблемы Это уже ответственность пользо, Crazy Alex, 10-Сен-18, 16:57 (65)
      - Да какие, обычные питонятина стандартно забьет на ошибки - ведь на машине разра, Аноним, 10-Сен-18, 19:40 (88)
  - Да оно и на ста мегабитах ни хрена тормозить не будет, если usr portage или что, Crazy Alex, 10-Сен-18, 16:55 (64) //
    - Главное запускать эту парашу на локалхосте разработчика и только правильной сети, Аноним, 10-Сен-18, 19:48 (90)
  - Он уже добавил сотни тысяч торомозов - в IT , Led, 12-Сен-18, 00:02 (152)
Интересная идея Можно создать хранилище документов гибридное и в итоге обращатьс, Аноним, 10-Сен-18, 11:36 (5)
Вот и снова ФС Джорж, 40 лет прошло, а идеи теже Хотя есть и новое - тепер, fi, 10-Сен-18, 11:48 (10) //
- В нетвари оно вообще прям из коробки работало , HyC, 10-Сен-18, 14:06 (30)
в нормальных облаках есть версионность, так что не критично, имхо, Alex_hha, 10-Сен-18, 12:08 (11) //
- Какая связь облачности и версионности Ты какие облака называешь нормальными S3, F, 10-Сен-18, 12:17 (14) //
  - а какая связь между моим комментарием и твоим вопросом DAWS S3 GCP cloud storag, Alex_hha, 10-Сен-18, 13:00 (20)
Мой хипстометр сломался Зачем они это делают Единственное логичное применени, Диалапщик, 10-Сен-18, 12:15 (12) //
- Ну, например, у тебя маленький SSD и гигабитный канал к серверам хранения, тогда, Аноним, 10-Сен-18, 12:28 (15) //
  - Скорость HDD больше гигабитного канала Для SSD нужно минимум 10 гигабит , имя, 11-Сен-18, 06:50 (120)
- Для стирания границ между локальным, серверным и облачным хранением Обычно это , Аноним, 10-Сен-18, 12:35 (17) //
  - Нет, это наглухо забытое поколением пепси прошлое Уже в третий раз за 40 лет эт, HyC, 10-Сен-18, 14:08 (31) //
    - но тогда мы эти хранилки располагали в своей серверной, а не в гуглевой-амазонск, нах, 10-Сен-18, 15:13 (46)
      - А принцип тот же Было быстрое хранилище и медленное, с файлы к которым редко ид, HyC, 10-Сен-18, 16:18 (56)
        
        ну, в принципе, да - правда, когда хвататель, в очередной раз промазав мимо касс, нах, 10-Сен-18, 16:50 (61)
        
        Можешь поднять облачный сервис у себя на домашнем файловом сервере У меня на раб, Аноним, 10-Сен-18, 18:31 (76)
        
        на домашнем файловом сервере я подниму банальную самбу на 10ge или вовсе rdma vo, пох, 10-Сен-18, 22:06 (100)
        
        Зато очень удобно Вот смотри, бэкапался ты на амазон, бэкапался Все было ЗБС и, Аноним, 10-Сен-18, 19:54 (92)
        
        А раньше ты ToS не читал, конечно Ну закономерно огреби Кстати, амазоновские т, Crazy Alex, 10-Сен-18, 22:07 (101)
        
        Ну да И в результате шанс их угробить от всяких стихийных бедствий включая мест, Crazy Alex, 10-Сен-18, 22:10 (102)
        
        В таком виде даже не бред, но сабж не про это, да и оголтелые впариватели очеред, Аноним, 11-Сен-18, 00:07 (113)
      - Ну вы то наверное догадывались что канал в интернет может и фигакнуться, а гугл , Аноним, 10-Сен-18, 19:52 (91)
        
        Для этого есть SLA - соглашение о качестве предоставляемых услуг, где написаны х, Аноним, 10-Сен-18, 21:10 (97)
        
        А когда какой-то промежуточный роутер, не подконтрольный ни мегапрову, фирмочке , Аноним, 11-Сен-18, 00:16 (114)
        
        эта система на корпоративные акаунты, вообще-то, не распространяется Ну или по к, нах, 11-Сен-18, 10:55 (131)
    - А, помните такую прогу от MS под DOS для увеличения размера дискеты - что-то тип, X86, 11-Сен-18, 10:52 (130)
      - drvspace dblspace Помним Скорбим W Не частично, а вообще не копировались, т к, Аноним84701, 11-Сен-18, 13:26 (132)
      - Это называлось перетащить ярлыки на дискетку , ага Что бы диск не забивали , Аноним, 11-Сен-18, 14:41 (138)
- Чтобы твои данные были от тебя подальше, а к ним поближе Такова логика всех эти, dq0s4y71, 10-Сен-18, 13:19 (22)
- Допустим, лежит у меня на харде размером 1 терабайт библиотека из epub, fb2, pdf, IRASoldier, 10-Сен-18, 16:41 (59) //
  - тут вопрос, насколько оно надежное за эти деньги а, ну или так ну фиг знает -, нах, 10-Сен-18, 16:54 (63) //
    - Оценить можно - какое оборудование, какая квалификация сотрудников, какое ПО сто, IRASoldier, 10-Сен-18, 18:38 (77)
      - 50 баксов - это бэкап, там оно само шуршит на твоём компе , рещает, что бэкапи, Crazy Alex, 10-Сен-18, 22:16 (103)
    - Кстати, а чего б не крэшплан , IRASoldier, 10-Сен-18, 18:40 (78)
      - А крэшплан вообще умел быть просто хранилищем , а не бэкапилкой, шарящейся по т, Crazy Alex, 10-Сен-18, 22:20 (105)
        
        Да я давно не смотрел на то, чем крэшплан стал, помню только, был такой Так-то , IRASoldier, 10-Сен-18, 22:49 (106)
- Например, фотоархив - одна копия в этой штуке, вторая - оффлайн, как и положено , Crazy Alex, 10-Сен-18, 17:01 (66)
Интересно, но для использования нужно еще encfs навесить пишут, что backblaze п, Аноним, 10-Сен-18, 12:16 (13) //
- У backblaze такие низкие цены как раз за счет механизма дедупликации вычисляютс, KonstantinB, 10-Сен-18, 18:42 (79) //
  - borgbackup умеет одновременно и шифровать, и сжимать, и дедуплицировать , h31, 11-Сен-18, 00:24 (116) //
    - Предлагаете для всех пользователей backblaze шифровать одним и тем же ключом Оо, Аноним, 11-Сен-18, 02:31 (118)
      - Почему Шифруем данные на клиенте, у каждого клиента свой ключ На сервер загруж, h31, 11-Сен-18, 20:13 (146)
        
        Да А что делать при коллизии хэшей Приехали , Ракоман, 12-Сен-18, 08:37 (155)
        
        Я не знаю, как эту проблему решили в borgbackup Найдёшь - отпишись , h31, 13-Сен-18, 02:55 (160)
        
        никак авторы всех технологий дедапа верят, что коллизия хэшей невозможна Мысль , нах, 13-Сен-18, 14:35 (162)
        
        Окей, мы знаем, что у пользователей U1 и U2 зашифрованные блоки B1 и B2 имеют од, KonstantinB, 15-Сен-18, 05:46 (163)
        
        зачем Если ты каким-то чудом например, нанятый вменяемый разработчик понимал, , нах, 17-Сен-18, 10:49 (165)
Что даёт присутствие таких функций вытеснение на облако и т д на уровне ФС, а, Fracta1L, 10-Сен-18, 13:04 (21) //
- чтоб утилиты пользовать это нужно что-то там в консоли писать и вообще мозгом ду, Аноним, 10-Сен-18, 13:57 (27) //
  - Так-то ковыряние в консольке нагружает мозг не больше, чем работа автомеханика в, Fracta1L, 10-Сен-18, 15:25 (48) //
    - Но и автомеханик в гараже Должен работать и головой, и руками Конечно при услов, Аноним, 10-Сен-18, 16:27 (57)
      - Я не спорю, что автомеханик работает головой Но там, как правило, действия по н, Fracta1L, 10-Сен-18, 18:09 (75)
        
        Собственно по изначальной задумке консоль в никсах это инструмент автоматизации, Аноним, 10-Сен-18, 19:58 (93)
        Может это он про себя , Аноним, 10-Сен-18, 19:59 (94)
  - Ага, а глину для кирпичей ты тоже сам должен месить, железо для арматуры лично в, IRASoldier, 10-Сен-18, 16:43 (60)
  - И статистику тоже отдельно собирать и потом анализировать То есть возни больше,, Crazy Alex, 10-Сен-18, 17:04 (67) //
    - я, конечно, понимаю что atime сейчас немодно и немолодежно, но анализатор стати, пох, 11-Сен-18, 07:12 (121)
Интересно, что там по задумке авторов должна показать какая-нибудь df в плане ко, Очередной аноним, 10-Сен-18, 13:45 (23) //
- напишет -1 и свалится по segfault у современных разработчиков оно примерно так о, нах, 10-Сен-18, 14:02 (29) //
  - NaN сейчас модно, nobody, 10-Сен-18, 14:44 (36) //
    - кстати, да в gnu df floating арифметика вполне себе есть - , нах, 10-Сен-18, 15:40 (53)
  - локальное свободное какая-нибудь облачная квота - занятое в облаке место , Очередной аноним, 10-Сен-18, 14:45 (38) //
    - ну, в конечном счете, оно опирается на stat , но там ни разу не предусмотрено с, нах, 10-Сен-18, 15:37 (51)
      - В рамках этой задачи как раз раздельнцы значения - это полная чушь Потому что в, Crazy Alex, 10-Сен-18, 17:08 (68)
        
        в смысле, тебе совсем неинтересно знать, ни сколько занято локально, ни сколько , нах, 11-Сен-18, 09:57 (126)
Йопт, я такое же за бабло писал, только вместо облака там была оптическая архивн, A. Stahl Is Gay, 10-Сен-18, 13:47 (24) //
- Так это ты тот чувак из bell labs, писавший plan9 , Аноним, 10-Сен-18, 13:48 (26) //
  - Нет , A. Stahl Is Gay, 10-Сен-18, 14:00 (28)
Судя по названию их цель вытеснить всё, оставив локально только zero , Аноним, 10-Сен-18, 14:19 (33)
Только если будет поддерживать хранение на собственном подконтрольном сервере, т, Аноним, 10-Сен-18, 14:26 (34)
Ответ ненавистникам Питона PS Вовсе не утверждаю, что Python быстрый, но востреб, Аноним, 10-Сен-18, 14:37 (35) //
- Вам ненавистники Питона скажут, что если Питон можно запихать в файловую систему, dq0s4y71, 10-Сен-18, 14:50 (40) //
  - И что характерно, будут правы , Аноним, 10-Сен-18, 15:10 (43)
- вообще FUSE - от слова userspace, не такое оно уж и системное, Аноним, 10-Сен-18, 19:05 (80)
- Востребован, на уровне зонтиков рыбками , Аноним, 10-Сен-18, 20:03 (95)
- Востребован фриками для извращений Так еще рекомендация , Вареник, 12-Сен-18, 15:12 (157)
Офигенно, мне как раз такое нужно Думаю на одном сервере обработку гонять, на д, ползкрокодил, 10-Сен-18, 15:46 (54) //
- есть, samba, nfs, тыщи их rsync еще есть Кстати, учти что davfs2 over fuse - по, нах, 10-Сен-18, 17:32 (70) //
  - Если у тебя от активности одной программы клинятся другие - поздравления, операц, Аноним, 11-Сен-18, 00:22 (115) //
    - я ценю остроумие, но читать тоже надо уметь Или считаешь, что твой шутливый комм, Аноним, 11-Сен-18, 08:14 (123)
      - там надо уметь не читать, а понимать прочитанное, это два разных умения , нах, 11-Сен-18, 09:58 (127)
Короче, ничо вы не поняли Кураторы из АНБ накрутили хвост менеджменту Бэкблэйза, Аноним, 10-Сен-18, 16:04 (55) //
- да ну, у них же архивы были А тут в b2шную часть бэкблейза она изначально под с, нах, 10-Сен-18, 17:29 (69) //
  - А хз что и как они там анализируют Ненужные файлы, которые не удалены, а позабы, Аноним, 10-Сен-18, 19:14 (81) //
    - ну если хотелось надежный, то их всего с пол-десятка, и ценник в 3-30 раз выше, , пох, 11-Сен-18, 07:18 (122)
Заказная фигня наверное, идея конечно хорошая, но в цены на хранилище Или есл, Аноним, 10-Сен-18, 17:52 (72) //
- Личное проще на Ceph с локальным кэшем нагородить , Аноним, 11-Сен-18, 23:14 (150)
Нужна поддержка s3, чтобы можно было на свой ceph натравить , anonymous, 10-Сен-18, 17:54 (73) //
- LeoFS , Аноним, 10-Сен-18, 19:24 (83)
я такое уже давно пльзую на телефоне, телефон синхронизируется с ПК, а на ПК фот, Аноним, 10-Сен-18, 22:17 (104)
вот бы сделать обратный bcache для SSD HDDчтобы актуальные файлы жили на SSD 25, Superanon, 11-Сен-18, 10:34 (128) //
- собственно, да iZEN тебе уже ответил - уже все написали до тебя, zfs arc2 называ, нах, 11-Сен-18, 14:03 (134) //
  - dm-cache bcache flashcache имени фейсбука - да вагон на чем сделать можно, Аноним, 11-Сен-18, 14:28 (136)
  - есть еще к слову fs-cache который к NFS прикручивается да и можно к остальному , Аноним, 11-Сен-18, 14:32 (137)
- bcache так и работает - не нужные блоки уезжают на hdd, а нужные живут на ssd , Аноним, 11-Сен-18, 14:28 (135) //
  - размер складывается Или на hdd всегда есть все данные , Аноним, 11-Сен-18, 15:56 (140) //
    - В случае bcache HDD хранит все данные, а частоиспользуемые блоки зеркалируются н, Leah, 11-Сен-18, 18:25 (142)
  - имхо все блоки уезжают на HDD, на SSD продублированы частозапрашиваемые В этом п, Leah, 11-Сен-18, 18:35 (143)
Из ZFS тоже такое можно сделать в облаках размещаем блочные устройства физическ, iZEN, 11-Сен-18, 13:36 (133) //
- Вот разве что для этого ZFS и нужна Оно реально будет работать Или очень приве, Аноним, 11-Сен-18, 14:57 (139) //
  - mbuffer UDPspeeder, Аноним, 11-Сен-18, 18:08 (141)
Я ниасилил или никто так и не предложил достойной альтернативы и вообще камменты, GedNN, 11-Сен-18, 19:55 (145) //
- ФС на гибриде питона с фюзой никаких ассоциаций, кроме как чистапаржать , не вы, Аноним, 11-Сен-18, 23:11 (149) //
  - А аналоги какие-нибудь есть на чем угодно Идея мне очень нравится Сейчас приход, GedNN, 13-Сен-18, 12:00 (161) //
    - наша zfs с arc2нет, такой фигней мы не страдаему нас как-то не замечено именно т, oracle, 17-Сен-18, 10:52 (166)
      - Кто такая ZFS я вроде знаю С ее плюсами и минусами Не подходит Она использует, GedNN, 18-Сен-18, 17:54 (167)
Backblaze рекламу неприкрытую в новости этой вижу я А по теме - да, отличная тем, Аноним, 11-Сен-18, 23:03 (147)
- Вот как теперь dev null называют , Вареник, 12-Сен-18, 15:08 (156)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру