Вариант для распечатки		Пред. тема | След. тема
Форум Программирование под UNIX (Shell скрипты)
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Скрипт для обработки большого числа строк., shc0d3r (ok), 06-Май-11, (0) [смотреть все] Ума не приложу, чем бы это он логичный Построчная обработка - куда памяти-то де, Andrey Mitrofanov (?), 15:36 , 06-Май-11, (1)   // Андрей, логично, раз память всю загружает Попробую Все перепробовал, результат , shc0d3r (ok), 15:51 , 06-Май-11, (2)   // head -n 1304452799 access log access log_newЕсли всё-таки проблема с 32 бита, ACCA (ok), 18:08 , 06-Май-11, (6)   Ещё , если с awk-ом совсем всё полохо попытаться не читать в него весь файл -a, Andrey Mitrofanov (?), 16:22 , 06-Май-11, (4)   раз уж вовремя не сделали rotate логов я бы попробовал разрезать его на неск, phpcoder (ok), 16:00 , 06-Май-11, (3) память это вряд ли ведь еще swap есть или нет а скорее всего где то 32-битное ч, gpl77 (ok), 17:51 , 06-Май-11, (5) // В том-то и дело, что swap не изменяется Т е free -m показывает, что память вот, shc0d3r (ok), 20:19 , 06-Май-11, (7) // i386 - значит где то в awk shell cat переполняется 32-битное числовот и out of , gpl77 (ok), 23:22 , 06-Май-11, (8) // Сработал Удивительно К сожалению нет времени разобраться Всем спасибо, с наст, shc0d3r (ok), 18:18 , 07-Май-11, (9) SIZEOF_FILE du -b var log squid access log 2 1 124 awk print 1 LINES, pavlinux (ok), 15:57 , 09-Май-11, (10) cut , LSTemp (ok), 04:25 , 12-Май-11, (11) 1,3,5,10,11

Сообщения

[Сортировка по времени | RSS]

1. "Скрипт для обработки большого числа строк."	+/–
Сообщение от Andrey Mitrofanov (?), 06-Май-11, 15:36
> Стоит Ubuntu 10, 4Gb памяти. Есть squid access.log 2.6Gb. > cat access.log | awk '{if($1 < 1304452799) {print}}' > access.log_new > Проблема в том, что оперативная память забивается и я получаю логичный результат > "Out of memory!" Ума не приложу, чем бы это он логичный. Построчная обработка - куда памяти-то деваться? Как варианты телодвижений: 1. выкинуть cat awk '$1 < 1304452799' <access.log > access.log_new 2. попробовать _разные реализации awk - mawk, gawk, ? 3. приделать fflush() (только gawk?) awk '$1<1304452799{print}NRP000==0{fflush()}' ...
Ответить | Правка | Наверх | Cообщить модератору

	2. "Скрипт для обработки большого числа строк."	+/–
	Сообщение от shc0d3r (ok), 06-Май-11, 15:51
	> Ума не приложу, чем бы это он логичный. Построчная обработка - куда > памяти-то деваться? Андрей, логично, раз память всю загружает. > 1. выкинуть cat > awk '$1 < 1304452799' <access.log > access.log_new Попробую. > 2. попробовать _разные реализации awk - mawk, gawk, ? Все перепробовал, результат тот же. В файле более 9e6 строк. :-(
	Ответить | Правка | Наверх | Cообщить модератору

	6. "Скрипт для обработки большого числа строк."	+/–
	Сообщение от ACCA (ok), 06-Май-11, 18:08
	head -n 1304452799 < access.log > access.log_new Если всё-таки проблема с 32 битами, то сначала порвать файл с помощью split -l, потом собирать из кусочков.
	Ответить | Правка | Наверх | Cообщить модератору

	4. "Скрипт для обработки большого числа строк."	+/–
	Сообщение от Andrey Mitrofanov (?), 06-Май-11, 16:22
	> Как варианты телодвижений: = Ещё , если с awk-ом совсем всё полохо попытаться не читать "в него" весь файл - awk '$1>=1304452799{exit}{print}' <access.log > access.log_new    или... head -n +`awk '$1>=1304452799{print NR-1;exit}' <access.log` <access.log > access.log_new
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема