Вариант для распечатки		Пред. тема | След. тема
Форум Программирование под UNIX (Shell скрипты)
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Скрипт для обработки большого числа строк., shc0d3r (ok), 06-Май-11, (0) [смотреть все] Ума не приложу, чем бы это он логичный Построчная обработка - куда памяти-то де, Andrey Mitrofanov (?), 15:36 , 06-Май-11, (1) // Андрей, логично, раз память всю загружает Попробую Все перепробовал, результат , shc0d3r (ok), 15:51 , 06-Май-11, (2) // head -n 1304452799 access log access log_newЕсли всё-таки проблема с 32 бита, ACCA (ok), 18:08 , 06-Май-11, (6) Ещё , если с awk-ом совсем всё полохо попытаться не читать в него весь файл -a, Andrey Mitrofanov (?), 16:22 , 06-Май-11, (4) раз уж вовремя не сделали rotate логов я бы попробовал разрезать его на неск, phpcoder (ok), 16:00 , 06-Май-11, (3) память это вряд ли ведь еще swap есть или нет а скорее всего где то 32-битное ч, gpl77 (ok), 17:51 , 06-Май-11, (5) // В том-то и дело, что swap не изменяется Т е free -m показывает, что память вот, shc0d3r (ok), 20:19 , 06-Май-11, (7) // i386 - значит где то в awk shell cat переполняется 32-битное числовот и out of , gpl77 (ok), 23:22 , 06-Май-11, (8)   // Сработал Удивительно К сожалению нет времени разобраться Всем спасибо, с наст, shc0d3r (ok), 18:18 , 07-Май-11, (9)   SIZEOF_FILE du -b var log squid access log 2 1 124 awk print 1 LINES, pavlinux (ok), 15:57 , 09-Май-11, (10) cut , LSTemp (ok), 04:25 , 12-Май-11, (11) 1,3,5,10,11

Сообщения

[Сортировка по времени | RSS]

	8. "Скрипт для обработки большого числа строк."	+/–
	Сообщение от gpl77 (ok), 06-Май-11, 23:22
	> i386 >>файлов больше 2G > Не нашел нигде акцентов на узкие места с размером файла. >> перекомпилируйте/найдите другой awk > Те же грабли. > Сейчас попробую исключить cat. i386 - значит где то в awk/shell/cat переполняется 32-битное число вот и: out of memory попробуйте запустить тот же скрипт под amd64 или ищите где именно переполняется и опять же ищите как/можно ли исправить
	Ответить | Правка | Наверх | Cообщить модератору

	9. "Скрипт для обработки большого числа строк."	+/–
	Сообщение от shc0d3r (ok), 07-Май-11, 18:18
	> попробуйте запустить тот же скрипт под amd64 > или ищите где именно переполняется и опять же ищите > как/можно ли исправить Сработал. Удивительно. К сожалению нет времени разобраться. Всем спасибо, с наступающим днём Победы!
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема