The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Скрипт для обработки большого числа строк."
Версия для распечатки Пред. тема | След. тема
Форум Программирование под UNIX
Исходное сообщение [ Отслеживать ]

. "Скрипт для обработки большого числа строк." +/
Сообщение от Andrey Mitrofanov (?), 06-Май-11, 15:36 
> Стоит Ubuntu 10, 4Gb памяти. Есть squid access.log 2.6Gb.
> cat access.log | awk '{if($1 < 1304452799) {print}}' > access.log_new
> Проблема в том, что оперативная память забивается и я получаю логичный результат
> "Out of memory!"

Ума не приложу, чем бы это он логичный. Построчная обработка - куда памяти-то деваться?

Как варианты телодвижений:

1. выкинуть cat
awk '$1 < 1304452799' <access.log > access.log_new

2. попробовать _разные реализации awk - mawk, gawk, ?

3. приделать fflush() (только gawk?)
awk '$1<1304452799{print}NRP000==0{fflush()}' ...

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Скрипт для обработки большого числа строк., shc0d3r, 06-Май-11, 14:30  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру