forum.opennet.ru

"Проблемы с потерей данных на Ext4 разделах в тестовой версии..."

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Ссылки "<<" и ">>" открывают первые и последние 10 сообщений.

. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."	+/–
Сообщение от zzz (??), 13-Мрт-09, 14:27
>любая файловая система, располагающая механизмом delayed allocation, при сбое в момент интенсивной записи получит сходные проблемы. в той или иной мере это справедливо для XFS, JFS, ZFS, btrfs, ext4. решением тут может стать монтирование с -o sync, использование режима data=ordered в ext4 и btrfs, или применение vfat/ext2 -- словом, отказ от серьезного повышения производительности. Решение этой проблемы - атомарность, когда несколько действий с файлом объединяются в один атом. Задача драйвера fs в данном случае - максимально корректно строить эти атомы, чтобы эффективно минимизировать число записей в журнал, и минимизировать потерю данных.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Проблемы с потерей данных на Ext4 разделах в тестовой версии..., opennews, 12-Мрт-09, 16:06 [смотреть все]

Вот И это, в частности, плохо , Ivan, 12-Мрт-09, 16:06 (1) //
- А я в упор не понимаю, в чём проблема, освещенная в новости Кого-то удивляет, чт, darkk, 12-Мрт-09, 19:28 (41) //
  - ну хоть один вразумительный коммент , vitek, 12-Мрт-09, 19:50 (47) //
    - Если сходить по ссылке дважды 8212 можно найти ответ на глупый вопрос 171 а, darkk, 12-Мрт-09, 19:59 (52)
      - можно пока по ссылке не ходил, но с ним многое не так начиная от фрагментаци, vitek, 12-Мрт-09, 22:13 (71)
        
        У Юниксовой проги вообще не должно быть конфига Это от врагов, из M ДОС и OS , pavlinux, 13-Мрт-09, 03:18 (95)
        
        Да, давайте еще у init стартовые скрипты отнимем , User294, 13-Мрт-09, 14:48 (110)
        
        init-скрипты не конфиги и уж точно не перезаписываются во время загрузки аминь, vitek, 13-Мрт-09, 19:07 (135)
        
        Это смотря с какой стороны посмотреть Зато перезаписываются при установке удал, User294, 16-Мрт-09, 19:01 (151)
        
        нагрузка на фс при установке ни в какое сравнение не идёт с загрузкой это перв, vitek, 16-Мрт-09, 22:13 (153)
,,,хм молодец, сразу нашел отговорку - виноват пользователь,,,,,, - ужас чело, друг pavlinux, 12-Мрт-09, 16:17 (2) //
- А че вы так, собственно, бурно реагируете Не нравится - не пользуйтесь , Аноним2, 12-Мрт-09, 16:45 (8) //
  - Ага, круто Сначала у юзеров нутся данные а потом - они и не будут использовать, User294, 12-Мрт-09, 17:10 (14) //
    - операционка и не дохнет вернее дохнет, но не от этого дохнут файлы и то тольк, vitek, 12-Мрт-09, 18:58 (30)
      - Ну, с точки зрения юзера - система сыграла в ящик от слета питания Надежность Ха, User294, 12-Мрт-09, 19:20 (35)
        
        именно вот это и надо обсуждать читаем внимательно новость и видим слово ordered, vitek, 12-Мрт-09, 19:32 (42)
        
        Моя имха если в старой ФС что-то работало без потерь данных а в новой - данные , User294, 12-Мрт-09, 19:50 (46)
        
        Эм Это не журналирование на уровне приложений, это правильный метод работы В, darkk, 12-Мрт-09, 19:56 (51)
        
        это неправильный метод работы для приложения запись файла можно считать почти ат, ., 12-Мрт-09, 20:21 (57)
        
        Эмм Ну а как вы предлагаете решать ту самую задачу с нехваткой диска А ведь , darkk, 12-Мрт-09, 20:23 (58)
        
        По нормальному - проверив сколько места на ФС есть _до_ начала записи файла Если, User294, 12-Мрт-09, 20:57 (60)
        
        Да, с точки зрения пользовательского интерфейса, не писать, если нет места - чуд, darkk, 12-Мрт-09, 21:12 (61)
        Все так, но вероятность нарваться на эту ситуацию очень мала К тому же можно про, User294, 12-Мрт-09, 21:54 (69)
        Аккуратно и вдумчиво прочел баг и ответ Теодора Я, конечно, извиняюсь но вот так, User294, 12-Мрт-09, 22:12 (70)
        Во-первых, config registry Во-вторых, БД отличается от ФС задачами довольно с, darkk, 12-Мрт-09, 22:25 (73)
        100на время жизни программы приложение запущенное на выполнение это величина , vitek, 12-Мрт-09, 22:42 (76)
        Что вы этим хотели сказать Я хотел сказать что сбагривать проблему с похеривание, User294, 12-Мрт-09, 22:56 (80)
        Только то, что конфиг 8212 ведь постоянная, а база 8212 изменчивая Люд, darkk, 13-Мрт-09, 06:44 (99)
        Есть конфиги которые часто меняются И есть неизменчивые базы Скажем CDB - вообще, User294, 13-Мрт-09, 15:23 (111)
        Конечно, вероятность аппаратного сбоя и повреждения структур ФС тоже невелика К, darkk, 12-Мрт-09, 22:17 (72)
        блин ребята речь не о методах обновления файлов эта херь почему-то встречается, vitek, 12-Мрт-09, 22:34 (74)
        Да Например, есть вероятность что все молекулы воздуха резко улетят в другую ком, User294, 12-Мрт-09, 23:09 (84)
        ну наедь на бздишников с софтапдейтом вон, ниже тусуются не правда патч то б, vitek, 12-Мрт-09, 23:17 (87)
        Это работает _только_ в однозадачной системе Hint свободное место _до_, _вовре, Tim, 12-Мрт-09, 21:50 (68)
        fsyncВот я делаю creat file tmp write fsync close rename file tmp , fil, const86, 12-Мрт-09, 22:48 (78)
        точно , vitek, 12-Мрт-09, 22:52 (79)
        POSIX позволяет пустую реализацию fsync Пример MacOSX Если у вас SSD или ноу, Volodymyr Lisivka, 14-Мрт-09, 02:10 (141)
        Я сердечно поздравляю юзеров макоси с этим фактом Не думаю что он их напрягает Е, User294, 16-Мрт-09, 19:19 (152)
        Так точно - darkk уже указал мне на этот ляп И вы добавить хотите Признаю недосм, User294, 12-Мрт-09, 23:14 (86)
        
        а ведь придется -DDDDDDDDDDDDDDDDDDDDDdда и удивляться не чему чем сложнее си, vitek, 12-Мрт-09, 20:03 (54)
        
        вертя перед монитором фигой это вы сами как-нить, без меня А я лучше ext3 поюз, User294, 12-Мрт-09, 21:22 (63)
        
        этим всякие Оффисы активно занимаюьтся потихоньку распложая свои темпы, а апосл, Filosof, 13-Мрт-09, 17:50 (129)
        
        Ну не знаю, по ссылке чувак пишет Also some of my MySQL databases were killed , yalur, 12-Мрт-09, 20:03 (55)
        
        MyISAM , const86, 12-Мрт-09, 22:41 (75)
        пипец ну и кем она килед читайте новость там система ПАДАЕТ то что патч добав, vitek, 12-Мрт-09, 22:58 (81)
        
        Ну вот журналы и транзакции изначально и были нужны чтобы это не создавало пробл, User294, 12-Мрт-09, 23:21 (88)
        
        после транзакции всегда идёт commit или rollback здесь же нет ни начала тразакци, vitek, 13-Мрт-09, 15:33 (112)
        
        Да, я и не спорил - большей части ФС глубоко положить на состояние файла после к, User294, 13-Мрт-09, 15:51 (114)
        
        на самом деле важно не это важный вопрос, как всегда за кадром по теме - поч, vitek, 13-Мрт-09, 16:03 (117)
      - Что за дурь, твое приложение передало в ОС данные для записи в файл с помощью вы, анонимус, 12-Мрт-09, 19:20 (36)
        
        ещё раз повторяю падает не приложение, а система она же ОС тот же эффект п, vitek, 12-Мрт-09, 19:25 (38)
        
        Отлично А почему при этом должно что-то хериться Изначально журналы и транзакции, User294, 12-Мрт-09, 23:23 (89)
        
        А был момент, когда файл был нулевого размера и данных в нём не было Если был , darkk, 13-Мрт-09, 06:41 (98)
        
        Все так, но было бы логично если бы ФС не особо торопилась с коммитом именно так, User294, 13-Мрт-09, 15:58 (116)
- Разве кто сказал, что виноваты пользователи Внимательней нужно читать Если не , xand, 12-Мрт-09, 18:31 (23)
но это не повод угробить систему , Аноним, 12-Мрт-09, 16:22 (3) //
Намедни поймал такое на Debian unstable experimental Списал на глюк KDE4 , prapor, 12-Мрт-09, 16:42 (7) //
- и правильно сделал но базовая фс всё равно должна быть не убиваемой может это , vitek, 12-Мрт-09, 17:20 (16) //
  - А по-моему не очень Понижение надежности работы ФС приветствовать имхо нельзя В , User294, 12-Мрт-09, 17:29 (19) //
    - т е пишите глюкавые программы это позволяет отслеживать ошибки в фс и не тольк, vitek, 12-Мрт-09, 18:40 (26)
      - Как по мне так убунтуйцам надо спасибо сказать за ранний отлов грабель Данный тр, User294, 12-Мрт-09, 19:23 (37)
        
        именно , vitek, 12-Мрт-09, 19:35 (43)
        это происходит только если есть прога, которая работает с ними через анальное от, vitek, 12-Мрт-09, 19:39 (44)
        
        Боюсь что если такая ФС пойдет в массы - мы узнаем много нового о привычном софт, User294, 12-Мрт-09, 19:56 (50)
        
        ну я и так о нём не мало знаю одно кде чего стоит вот и палинух своему другу , vitek, 12-Мрт-09, 23:03 (82)
        
        Но стоит себе на EXT3 в 8 10 и почему-то ничего не сыпется - , User294, 12-Мрт-09, 23:30 (91)
        
        Вот, собственно, 1 Думал на десктопе home перевести, но теперь передумал , prapor, 13-Мрт-09, 02:24 (94)
        
        И наверное правильно сделал Потому что иначе рискуешь узнать много нового о прям, User294, 13-Мрт-09, 16:11 (119)
Release early, release often , terminus, 12-Мрт-09, 16:45 (9)
Имхо, это больше кирпич в огороды Ubuntu, Gnome и KDE, чем в огород ext4 Во перв, XoRe, 12-Мрт-09, 16:48 (10) //
- Да, все пи сы, а вот ext4 Д Артаньян А пардон, почему у ext3 таких граблей нет, User294, 12-Мрт-09, 18:17 (22) //
  - 1 по всем пунктам, szh, 13-Мрт-09, 03:44 (96)
  - если ext3 считается надёжной только потому, что додумались ставить по-умолчанию , vitek, 13-Мрт-09, 15:51 (115)
- микроядро - и заветную кнопку можно исключить из аппаратуры на , Аноним, 12-Мрт-09, 20:09 (56) //
  - А Чубайса ты куда денешь, умник Или ты морально готов купить всем упсы за свой с, User294, 12-Мрт-09, 23:28 (90)
- Ну вот на Reiser4 тоже использует отложенную запись, только почему-то подобных к, zzz, 13-Мрт-09, 12:07 (104) //
  - К рейзерам у юзерей по жизни масса предъяв почему-то Третий рейзер вообще зачотн, User294, 13-Мрт-09, 12:40 (105) //
    - amule org - No DNS records - как бы намекает на то, что это было давно или н, zzz, 13-Мрт-09, 13:34 (107)
      - проверок у ext3 не меньше fresco подтвердит - его то мнению Вы доверяете у , vitek, 13-Мрт-09, 16:13 (120)
        
        Он в подобные детали не вникал, судя по его статьям А вот эти ребята вникали h, zzz, 13-Мрт-09, 16:30 (121)
        
        более развернутая версия http www cs wisc edu adsl Publications vijayan-thesis, zzz, 13-Мрт-09, 16:58 (124)
        
        ну тогда и я ещё раз - оттуда же ext3 recovery For most detected errors, ext3, vitek, 13-Мрт-09, 19:04 (134)
        
        там ещё четко написано относительно проверок на ошибки при записи, но кто-то поч, zzz, 14-Мрт-09, 01:14 (137)
        
        да читал я эту статью уж и не помню сколько лет назад по-моему в 2005 вывод , vitek, 13-Мрт-09, 17:28 (127)
        
        часть идей из ixt3 перекочевала в ext4 на самом деле те же jounral checksums ну, zzz, 14-Мрт-09, 01:26 (138)
        
        о чём и речь именно этого и ждут от ext4 и что интересно не ждут от ext3 ссылк, vitek, 14-Мрт-09, 12:48 (142)
        
        Это никому не нравится, но это политика reiserfs относительно сохранности данных, zzz, 16-Мрт-09, 13:42 (144)
        
        никто и не преподносит просто на все дополнительные возможности становится как-т, vitek, 16-Мрт-09, 14:48 (148)
  - особенно это не происходит на десктопах с активно работающими гном и кде на, vitek, 13-Мрт-09, 16:10 (118) //
    - Тем не менее, ни я, ни кто другой и байта подобным образом не потерял за все вре, zzz, 13-Мрт-09, 16:36 (122)
      - тоже самое с ext3 а если нет разницы, то дося -D, vitek, 13-Мрт-09, 17:53 (130)
        
        В ext3 нет delayed allocation, да и reiser4 она не конкурент, zzz, 16-Мрт-09, 13:43 (145)
        
        да и хрен с ней кто ж спорит речь о надёжности и только , vitek, 16-Мрт-09, 14:46 (147)
Я не совсем понимаю, а что за такие громадные преимущества даёт журнал Файл з, Thorn, 12-Мрт-09, 16:53 (11) //
- ЧЕстно говоря, даже отвечать лень Почитай вики про журнал, что ль У меня сист, Анонимус, 12-Мрт-09, 17:08 (13) //
  - во истину так , vitek, 12-Мрт-09, 19:17 (34)
- Проблема есть, была и будет Суть ее в кэшировании А что именно отвалится если , Аноним, 12-Мрт-09, 17:13 (15)
- Не понимаешь - читай книжки 171 Системная инфа 187 это называется метаданн, Аноним, 12-Мрт-09, 17:43 (20)
- На самом деле трабл в том что ФС печется о валидности метаданных а что по факту , User294, 12-Мрт-09, 18:39 (25) //
  - можно еще вспомнить что в современных HDD а уж тем более в SCSI SAS контроле, _umka_, 12-Мрт-09, 19:02 (32) //
    - Вообще, насколько я помню, нынче все порядочные жесткие диски и драйвера контро, User294, 12-Мрт-09, 19:42 (45)
      - А зачем в самом винте буфер на чтение С readahead вроде система неплохо справля, darkk, 12-Мрт-09, 19:51 (48)
        
        Не у всех есть readahead, особенно пока система только грузится, etc Еще харду е, User294, 12-Мрт-09, 23:36 (92)
      - gt оверквотинг удален Сделав то что вы говорите - вы убьете процентов 40 произ, _umka_, 13-Мрт-09, 10:02 (101)
  - Это не трабл Это ОЖИДАЕМОЕ поведение операционной системы О данных программы д, Аноним, 12-Мрт-09, 19:26 (40) //
    - Если вы хотите юзать операционку которая норовит поднасрать - это ваше право А я, User294, 13-Мрт-09, 15:42 (113)
- IMHO во FreeBSD это называется SoftUpdate 1 технология журналирования уже расPR, Tim, 12-Мрт-09, 18:49 (27) //
  - только в extXXX - журнал на диске в специальной inode а в FreeBSD - это в памяти, _umka_, 12-Мрт-09, 19:25 (39) //
    - Работа extXXX классическая - 1 отметка в журнале начало операции 2 выполнени, Tim, 12-Мрт-09, 22:42 (77)
      - gt оверквотинг удален тут разное, бывает журналирование обновлений блоков мета, _umka_, 13-Мрт-09, 10:13 (102)
        
        Нет, вы неправы В журналированных ФС порядок операций в составе одной транзакци, Tim, 13-Мрт-09, 14:02 (108)
        
        По сути, если смотреть максимально обще, то фревый SostUpdates - это действитель, nuclight, 21-Мрт-09, 22:37 (154)
А почему этой проблеме подвержена в том числе и btrfs Разве оно не copy-on-writ, Султан, 12-Мрт-09, 18:58 (29) //
- Во-во, что то у меня на zfs такого никогда не наблюдается, хоть уже полтора года, yalur, 12-Мрт-09, 19:54 (49) //
  - оракле туда пихни или постгрес развлечения обеспечены при том, что она ещё, vitek, 12-Мрт-09, 23:07 (83)
man proc sys vm E, Аноним, 12-Мрт-09, 20:00 (53)
Бок ext4 только в том, что она сразу делает truncate точнее в журнале записывае, Breg, 12-Мрт-09, 20:44 (59) //
- Это опять таки проблемы реализации некоторых линуксовых fs, а не приложения На , nuclight, 27-Мрт-09, 12:42 (155)
Собственно, а при чем здесь ФС Или вы хотели и на диск не писать, и при отключе, Аноним, 12-Мрт-09, 21:20 (62)
Да, ребятки, что-то тут народ совсем жиденький Хочу обратно на лор Верните , Аноним, 12-Мрт-09, 21:28 (65) //
- А чему у вас равно sysctl vm dirty_writeback_centisecs - , darkk, 12-Мрт-09, 21:30 (66) //
  - 5 секунд, на файлопомойке с большой дисковой активностью на запись - минута А, Аноним, 12-Мрт-09, 21:49 (67) //
    - не пользуем, а рассуждаем интересно где ты ещё увидишь такое бурое обсуждени, vitek, 12-Мрт-09, 23:10 (85)
Я так и не понял, зачем при старте даже не при окончании работы, а при старте , Дмитрий Ю. Карпов, 12-Мрт-09, 23:57 (93)
Что-то мутное - эти системы конфигурации KDE и gnome Из-за них я не пользуюсь н, Андрей, 13-Мрт-09, 06:02 (97)
ну накинулись на файловиков любая файловая система, располагающая механизмом del, fresco, 13-Мрт-09, 09:50 (100) //
- gt оверквотинг удален 1Рад вашему ходу мыслей 2 User294 Я понял, что вам не н, XoRe, 13-Мрт-09, 11:21 (103)
- Разница в реализации огромная - в одном случае получим после сбоя пустые файлы, , uldus, 13-Мрт-09, 12:47 (106)
- Решение этой проблемы - атомарность, когда несколько действий с файлом объединяю , zzz, 13-Мрт-09, 14:27 (109) //
  - есть только один вопрос - как эту атомарность обеспечить по каким критериям в т, vitek, 13-Мрт-09, 16:50 (123) //
    - Никак Долго открытый файл - это проблема приложения, ставящего под риск свои да, Thorn, 13-Мрт-09, 17:11 (126)
      - в том то и дело - как долго сейчас - 60 секунд всё остальное - долго если свес, vitek, 13-Мрт-09, 18:33 (133)
    - Корень текущей обсуждаемой проблемы - открытие на запись непустого файла с флаго, zzz, 13-Мрт-09, 17:45 (128)
      - вот именно объединяем 1-й и 2-ой пункты получаем 1 час -Dдальше программа гот, vitek, 13-Мрт-09, 18:18 (131)
        
        нет, есть ведь т н время жизни транзакцииядроfsync достаточно, иначе система бу, zzz, 14-Мрт-09, 01:07 (136)
        
        это уже не транзакция, а извиняюсь порнография основное достоинство oracle - вр, vitek, 14-Мрт-09, 16:48 (143)
        
        смотри те же исходники jbd, reiserfs там это понятие определено как commit_timeo, zzz, 16-Мрт-09, 13:56 (146)
        
        а я где то писал, что в восторге от текущего положения во всех журналируемых фс , vitek, 16-Мрт-09, 15:01 (149)
Ребят, а нельзя ли взять лучшее от обоих миров Скажем, есть некий архив-сетап , Thorn, 13-Мрт-09, 17:09 (125) //
- в том то и проблема есть определённые системные вызовы по работе с файлами он, vitek, 13-Мрт-09, 18:28 (132)
кто знает при data journal delayed allocation мне скорость понравилась как у ex, Аноним, 14-Мрт-09, 01:42 (139) //
- работает delayed allocation , Аноним, 14-Мрт-09, 01:42 (140)
Ребят, чего париться - отключаем delayed allocation и все, что может привести к , XoRe, 16-Мрт-09, 17:45 (150)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру