The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Проблемы с потерей данных на Ext4 разделах в тестовой версии..., opennews (??), 12-Мрт-09, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


10. "Проблемы с потерей данных на Ext4 разделах в тестовой версии Ubuntu 9.04"  +/
Сообщение от XoRe (ok), 12-Мрт-09, 16:48 
Имхо, это больше кирпич в огороды Ubuntu, Gnome и KDE, чем в огород ext4.
Во первых, в ext4 отложенное распределение (delayed allocation) можно и отключить.
Во вторых, такой способ оптимизации (delayed allocation) есть не только в ext4.
В третьих, "крах системы" - это не нормальное состояние.
Это все равно что сказать: все современные ОС ненадежны - если тыкать в кнопку RESET в случаном порядке, есть шанс потерять данные.

Вообще обнуление файлов при перезаписи, связанное с отложенно записью - это не такая уж новость.
Это вполне логичное следствие возможных последствий отложенной записи (когда возникает сбой или когда компьютер резко выключается/перезагружается).
И это вполне может лечиться на уровне приложения.
Например, можно открывать файл для записи как раз перед записью.
А не так, что fopen(...), подумали, посчитали, вычислили, что будем писать, потом printf, потом ещё подумали, потом fclose.
Ещё можно указать синхронизировать данные для только что записанного файла (что-то типа sync).
Может программистам KDE и Gnome стоит переделать способы работы с конфиг файлами?

P.S.
Я бы изменил название новости на "Проблемы с потерей данных на Ubuntu 9.04 с дефолтными настройками".

Ответить | Правка | Наверх | Cообщить модератору

22. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от User294 (??), 12-Мрт-09, 18:17 
>Имхо, это больше кирпич в огороды Ubuntu, Gnome и KDE, чем в
>огород ext4.

Да, все пи...сы, а вот ext4 Д`Артаньян.А пардон, почему у ext3 таких граблей нет?Или теперь EXT4 будет нулить файлы как XFS?

>Во первых, в ext4 отложенное распределение (delayed allocation) можно и отключить.

Да-да-да, только во-первых, все привыкли к тому что EXTы прежде всего надежные и как правило не гадят изподтишка.Если это будет не так - нафига они вообще нужны?Практически все что ext4 могут предложить было уже много лет в других ФС.

>Во вторых, такой способ оптимизации (delayed allocation) есть не только в ext4.

Во вторых, вот я и спрашиваю - а нафиг ext4 нужен если он ни чем не лучше?XFS вон давно уже умел шустро работать с большими файлами.Но с некоторым риском профукать свежезаписанные данные.И за сие ему много доставалось от тех у кого данные просрались.И сие много и долго допиливали в ядрах начиная с древних каких-то и заканчивая чуть ли не 2.6.27 а то и новее.

>В третьих, "крах системы" - это не нормальное состояние.

В третьих, просер данных ФСом - это ненормальное явление.Как класс.

>Это все равно что сказать: все современные ОС ненадежны - если тыкать
>в кнопку RESET в случаном порядке, есть шанс потерять данные.

Так это не есть правильно.В идеале - или уж дописалось в новом варианте, или уж роллбэк к старому варианту.Иначе нафиг вообще журнал нужен, по большому счету?

>Вообще обнуление файлов при перезаписи, связанное с отложенно записью - это не
>такая уж новость.

Это не новость.Это известное пи...ство разработчиков ФС.

>Это вполне логичное следствие возможных последствий отложенной записи
>(когда возникает сбой или когда компьютер резко выключается/перезагружается).

Ну да, конечно, а нахрен тогда по большому счету журнал?Для юзера его данные ценнее метаданных ФС.Так что можно и без журнала вообще.Положить на ребут да и все.Если уж на данные насрать - на метаданные ФС и вовсе можно положить с прибором :)

>И это вполне может лечиться на уровне приложения.

А еще можно гланды, через жопу, автогеном.В смысле, создать raw партицию без ФС и запрячь приложени выполнять всю логику ФС самостоятельно.Некоторые СУБД так и делают, но нельзя требовать от всех приложений стать такими же монстрилами как эти СУБД :)

>printf, потом ещё подумали, потом fclose.

Все так, НО это не извиняет просирона данных ФСом.Простите, чуваки, XFS умел с просироном данных быстро работать уже сколько там лет.И экстенты у него есть.И b-деревья для индексирования.Наф нужно еще одно почти такое же по свойствам? :)

>Ещё можно указать синхронизировать данные для только что записанного файла (что-то типа
>sync).

Ага.А можно еще костылей и подпорок напихать, ведь "ожегшись на молоке, на воду дуют".А может, лучше будет если ФС по дефолту будет надежной?А кто сильно хочет пальнуть себе в пятку пусть включает небезопасные опции сам.

>Может программистам KDE и Gnome стоит переделать способы работы с конфиг файлами?

А юзерам наслаждаться втихаря засранными другими файлами?И правда, обнаружить разрушение других файлов труднее - заметите только когда у вас уже порушится достаточно много файлов.

>P.S.
>Я бы изменил название новости на "Проблемы с потерей данных на Ubuntu
>9.04 с дефолтными настройками".

А вы - кто такой чтобы за всех решать?И кстати, как я помню, в убунте EXT4 - не дефолтная ФС, но выбрать ее при инсталле тем не менее можно.И то что оно себя по дефолту (ext4 а не убунтов) так ведет не есть гуд.Так что давайте названия будет менять кто-то покомпетентнее в вопросе чем вы, ага?

Ответить | Правка | Наверх | Cообщить модератору

96. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от szh (ok), 13-Мрт-09, 03:44 
+1 по всем пунктам
Ответить | Правка | Наверх | Cообщить модератору

115. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 13-Мрт-09, 15:51 
>>P.S.
>>Я бы изменил название новости на "Проблемы с потерей данных на Ubuntu
>>9.04 с дефолтными настройками".
>А вы - кто такой чтобы за всех решать?И кстати, как я
>помню, в убунте EXT4 - не дефолтная ФС, но выбрать ее
>при инсталле тем не менее можно.И то что оно себя по
>дефолту (ext4 а не убунтов) так ведет не есть гуд.Так что
>давайте названия будет менять кто-то покомпетентнее в вопросе чем вы, ага?

если ext3 считается надёжной только потому, что додумались ставить по-умолчанию data=ordered, то новость именно так и должна звучать, т.к. с такими же настройками и ext4 не менее надёжна..... хоть и не проверена временем.
кстати, а что за барский вопрос:
>А вы - кто такой чтобы за всех решать?

давайте проголосуем! :-D

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

56. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от Аноним (56), 12-Мрт-09, 20:09 
>В третьих, "крах системы" - это не нормальное состояние.
>Это все равно что сказать: все современные ОС ненадежны - если тыкать
>в кнопку RESET в случаном порядке, есть шанс потерять данные.

микроядро - и заветную кнопку можно исключить из аппаратуры на...

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

90. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от User294 (??), 12-Мрт-09, 23:28 
>микроядро - и заветную кнопку можно исключить из аппаратуры на...

А Чубайса ты куда денешь, умник?Или ты морально готов купить всем упсы за свой счет?Или может микроядро превратится при слете питания в дизель-генератор?Если вы не поняли - я кнопкой ресет и с обычным линуховым ядром не пользуюсь - в релизных версиях системы оно не падает, пардон, месяцами.Что не мешает например чубайсовской шараге срубать питалово.Ну и прочая.И микроядро ну вообще никак не поможет в этих случаях.А если вы считаете что в этом случае система имеет право подохнуть - пройдите на http://lleo.aha.ru/na - вас юзеры с такой системой которая при внеплановом рестарте херит данные отправят именно туда.

Ответить | Правка | Наверх | Cообщить модератору

104. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 13-Мрт-09, 12:07 
>Во вторых, такой способ оптимизации (delayed allocation) есть не только в ext4.
>Вообще обнуление файлов при перезаписи, связанное с отложенно записью - это не такая уж новость.
>Это вполне логичное следствие возможных последствий отложенной записи (когда возникает сбой или когда компьютер резко выключается/перезагружается).

Ну вот на Reiser4 тоже использует отложенную запись, только почему-то подобных казусов с ней не происходит. Наверное из-та того, что Reiser4 это "неправильная" FS ? =D

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

105. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от User294 (??), 13-Мрт-09, 12:40 
>Ну вот на Reiser4 тоже использует отложенную запись, только почему-то подобных казусов
>с ней не происходит. Наверное из-та того, что Reiser4 это "неправильная"
>FS ? =D

К рейзерам у юзерей по жизни масса предъяв почему-то.Третий рейзер вообще зачотная штука.На сайте amule.org можно посмотреть на очередных юзерей^W админов радостно констатирующих тотальный дестрой фс у себя на серваке.Там очень колоритные коменты по части того что перец думает о рейзере :).В общем такое ощущение что в рейзере уделили маловато внимания утилитам починки фс.А юзеру как-то пофиг на плюсы фс если она может развалиться а родные утили спасуют.

Ответить | Правка | Наверх | Cообщить модератору

107. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 13-Мрт-09, 13:34 
>На сайте amule.org можно посмотреть на очередных юзерей^W админов радостно констатирующих тотальный дестрой фс у себя на серваке.

amule.org -> "No DNS records"  - как бы намекает на то, что это было давно или неправда

>А юзеру как-то пофиг на плюсы фс если она может развалиться а родные утили спасуют.

ну шансов развалиться у reiserfs (с учетом проверок в драйвере) куда меньше, чем у той же ext3

Ответить | Правка | Наверх | Cообщить модератору

120. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 13-Мрт-09, 16:13 
проверок у ext3 не меньше.
fresco подтвердит... :-)
его то мнению Вы доверяете? у него очень не плохие статьи по фс.
Ответить | Правка | Наверх | Cообщить модератору

121. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 13-Мрт-09, 16:30 
>проверок у ext3 не меньше.
>fresco подтвердит... :-)
>его то мнению Вы доверяете? у него очень не плохие статьи по фс.

Он в подобные детали не вникал, судя по его статьям. А вот эти ребята вникали: http://www.cs.wisc.edu/wind/Publications/iron-sosp05.pdf (смотрим на число кружочков и читаем выводы, если лениво читать всё)


Ответить | Правка | Наверх | Cообщить модератору

124. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 13-Мрт-09, 16:58 
более развернутая версия http://www.cs.wisc.edu/adsl/Publications/vijayan-thesis06.pdf
Ответить | Правка | Наверх | Cообщить модератору

134. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 13-Мрт-09, 19:04 
ну тогда и я ещё раз :-)  оттуда же:
ext3 recovery:
For most detected errors, ext3 propagates the error to the user (RPropagate). For
read failures, ext3 also often aborts the journal (RStop); aborting the journal usually
leads to a read-only remount of the file system, preventing future updates without
explicit administrator interaction. Ext3 also uses retry (RRetry), although sparingly;
when a prefetch read fails, ext3 retries only the originally requested block.
ReiserFS recovery:
The most prominent aspect of the recovery policy of ReiserFS is its tendency to
panic the system upon detection of virtually any write failure (RStop). When
ReiserFS calls panic, the file system crashes, usually leading to a reboot and
recovery sequence. By doing so, ReiserFS attempts to ensure that its on-disk structures
are not corrupted. ReiserFS recovers from read and write failures differently.
For most read failures, ReiserFS propagates the error to the user (RPropagate) and
sometimes performs a single retry (RRetry) (e.g., when a data block read fails, or
when an indirect block read fails during unlink, truncate, and write operations).
However, ReiserFS never retries upon a write failure.
Ответить | Правка | Наверх | Cообщить модератору

137. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 14-Мрт-09, 01:14 
там ещё четко написано относительно проверок на ошибки при записи, но кто-то почему-то это не процитировал... :)

Ответить | Правка | Наверх | Cообщить модератору

127. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 13-Мрт-09, 17:28 
да читал я эту статью.
уж и не помню сколько лет назад... по-моему в 2005. вывод статьи:
We now describe our implementation and evaluation of IRON ext3 (ixt3). Within ixt3, we implement a family of recovery techniques that most commodity file systems do not currently provide.
... ixt3 applies checksums to both metadata and data blocks, uses pure replication for metadata, and employs parity-based redundancy to protect user data..........
6.1 Implementation:
We now briefly describe the ixt3 implementation. We explain how we add checksumming, metadata replication, user parity, and a new performance enhancement known as transactional checksums into the existing ext3 file system framework........
про fresco - я не знаю в какие детали он не влез, а меня исходники вполне убедили... да и с 2005 уже как 4 года прошло.... и победного шествия ixt3 не наблюдается.. как и рейзера4.
заявить о возможностях - это одно. реализовать - другое.
да и сравнивать красное с мягким - мне не интересно.
Ответить | Правка | К родителю #121 | Наверх | Cообщить модератору

138. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 14-Мрт-09, 01:26 
>и победного шествия ixt3 не наблюдается..

часть идей из ixt3 перекочевала в ext4 на самом деле (те же jounral checksums)

>да и сравнивать красное с мягким - мне не интересно.

ну подняли же выше вопрос о надежности reiserfs - я дал по-моему вполне адекватную ссылку для "защиты чести" этой fs, и, наверное, каждый раз её буду давать если подобные темы будут всплывать =)

Ответить | Правка | Наверх | Cообщить модератору

142. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 14-Мрт-09, 12:48 
о чём и речь. именно этого и ждут от ext4. и что интересно не ждут от ext3.

ссылку можете приводить хоть сто порций. она также доказывает следующее:
повторю свои аргументы - во первых она старая. во вторых мне не нравится, когда ядро паникует при обнаружении ошибки по записи на 128-м винте с порнушкой любимых пользователей.
третье - за это время много исправилось и в самом коде ext3, а также появился ext4 и они даже порой совместимы и будут совместимы с btrfs. четвертое - мне импонирует четкое планирование выхода релизов, это позволяет мне разрабатывать определенную средне-срочную стратегию моих систем. пятое - о пункте 4 не приходится говорить ни в рейзере, ни в ixt3.
ну и шестое - я никому не навязываю своего мнения, более того - рекомендую, т.к. новые идеи идут порой от самых экзотичных применений...

Ответить | Правка | Наверх | Cообщить модератору

144. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 16-Мрт-09, 13:42 
>во вторых мне не нравится, когда ядро паникует

Это никому не нравится, но это политика reiserfs относительно сохранности данных (First, do not harm), которя уж куда лучше, чем у ext3 (Ignore)

>за это время много исправилось и в самом коде ext3

однако это ж не повод преподносить ext3 как "надежность последней инстанции", т.к. за это время и в reiserfs тоже много чего исправилось (желающие могут глянуть на marc.info)

>четвертое - мне импонирует четкое планирование выхода релизов

Release (англ., сущ.) - выходь, выпуск.

Ответить | Правка | Наверх | Cообщить модератору

148. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 16-Мрт-09, 14:48 
никто и не преподносит.

просто на все дополнительные возможности становится как-то насрать после паники ядра.

Ответить | Правка | Наверх | Cообщить модератору

118. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 13-Мрт-09, 16:10 
особенно это не происходит на десктопах... с активно работающими гном и кде...
наверное потому, что процент таких машин с рейзером4 от машин с экст3 стремиться к нулю.
Ответить | Правка | К родителю #104 | Наверх | Cообщить модератору

122. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 13-Мрт-09, 16:36 
>наверное потому, что процент таких машин с рейзером4 от машин с экст3 стремиться к нулю.

Тем не менее, ни я, ни кто другой и байта подобным образом не потерял за все время пользования reiser4 (ну если брать последний год-два). Хотя одно время даже старался, делал ресеты во время интенсивной работы fs. Наверное я что-то делаю не так =)

Ответить | Правка | Наверх | Cообщить модератору

130. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 13-Мрт-09, 17:53 
тоже самое с ext3.
а если нет разницы, то... дося. :-D
Ответить | Правка | Наверх | Cообщить модератору

145. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от zzz (??), 16-Мрт-09, 13:43 
>тоже самое с ext3.
>а если нет разницы, то... дося. :-D

В ext3 нет delayed allocation, да и reiser4 она не конкурент

Ответить | Правка | Наверх | Cообщить модератору

147. "Проблемы с потерей данных на Ext4 разделах в тестовой версии..."  +/
Сообщение от vitek (??), 16-Мрт-09, 14:46 
да и хрен с ней. кто ж спорит.
речь о надёжности и только.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру