>> 2) Нужно проверить статус (код ответа по http) списка доменов
>> Так не работает:
>> | xargs -n 1 curl -s -I $1 | head -1 | awk '{print $2}'

Ты, видимо имел в виду -

...|xargs -I{} --n1 bash -c "curl -s -I {} | head -1" |...

> Нужно логику изменить.
> ибо [ code]
> отдает список доменов полностью...

Да, не. Нужно понимать, что-где. Что $1, который ты дал xargs-у будет подставлен не им, а шелом. И вывод xargs-а будет конкатенауией всех запушенных curl-ов. И head -1 от этой сонкатенации будет именно результат (первая строка) только от первого curl-a

.....
На сладкое:

<result.log gawk -F/ '{arr[++nn]=$6}END{FS=" ";for(i=1;i<=nn;i++){cmd="curl -s -I "$6";cmd|getline;close(cmd);print $2}'

>> Получаем ответ только первого элемента списка  awk -F"/" '{print $6;}' result.log ,
>> а остальные два десятка элементов игнорируются.
> Отседа вывод: нужно обрабатывать возврат каждой отдельно

Благодарю.
Скрипт теперь выглядит так:

for i in `awk -F"/" '{print $6;}' result.log`; do
    echo -e "$i\t\t`curl -s -I $i | head -1 | cut -d" " -f2;`"
done

Скорость выполнения соответствующих команд равнозначна:

time cut -d"/" -f6 result.log
time awk -F"/" '{print $6;}' result.log

Возможно при обработке гигабайтных файлов будут отличия...

>>

awk -F"/" '{print $6;}' result.log | xargs -n 1 curl -s -I $1 | head -1 | awk '{print $2}' 
>> 

> Если в скрипте 2 и более раз используется одна и та же
> утиль, то это ошибка.

Это чушь.  У двух авков тут (ты же про них?) совершенно разная область действия.

Вот head можно довольно легко в соседний awk "внести".

В принципе, можно и xarg внести, но тогда пидётся очень вдумчиво понисмать, чего пишешь, возможно, получится GNU awk специфично, и, в конце концов _придётся :) объединить 2 awk-а.