Исходное сообщение
"Контроль объема используемой памяти на Си" Отправлено Virius, 23-Дек-08 14:05
Видимо моя ошибка, что не описал задачу подробней. Хотя и причин для смеха в своем текте я не нахожу. >Неужели удалять быстрее, чем добавляешь?? > >Может быть, подумать, кой чорт понёс^W^W^Wзачем тебе понадобились потоки/форки? Сделать _выводы_. > Удаляю я как раз медленней, о чем и написал. Потому что первый поток только добавляет, а второй еще и обработкой занимается с записью обработанных данных в БД. Из-за работы с БД основные тормаза и идут. Поэтому и используется конвеер, чтобы успевать принимать данные. И в данный момент используются процессы (форки) с промежуточным буфером в разделяемой памяти. И тут-то встала проблема, что в разделяемой памяти буфер может быть не больше 32/64Мб. Как увеличить этот предел - мне не известно. Хочу перевести это дело на потоки, так как с потоками все данные находятся в одном адресном пространстве, но встает проблема с тем, как контралировать заполнение памяти так, чтобы не прейти к переполнению. >Например, читать-писать _последовательно_ в __одном__ потоке. Или исхитриться и читать двумя или >более потоками, коли уж один "не успевает" (это не избавляет от >необходимости синхронизации/блокировки ресурсов или какого ни IPC; и разнесения читателей по >разным cpu). Оптимизировать производительность читателя, чтоб успевал. Купить сервер, чтоб успевал. >Купить много серверов, чтоб успевали. Ещё ускорять читателя - отложить часть >работы, например, "синхронно" писать на диск, потом медленно/асинхронно оборабатывать. Диск он >большой -- авось поместится. > Двумя и более потоками читать не получится. Слишком муторно и труднореализуемо, если вообще реализуемо. Мощность сервера и без того достаточная. Вся загвоздка в том, что данные приходят быстрей, чем программа, успевает их записать в БД. Тут все утыкается в производительность дискового массива, который используется для хранения БД, но его заменить щас не возможно. Да и замена его на более быстрый думаю не сильно бы помогла. Поэтому все опять же возвращается к означенным мной ранее вопросом, на которые я надеюсь кто-нибудь таки сможет мне ответить.