The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Релиз GNU Wget 1.13

15.08.2011 16:25

После двух лет разработки доступна новая версия программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP - GNU Wget 1.13. По сравнению с прошлой версией отмечено только одно существенное улучшение - реализация поддержки HTTP/1.1. Так же в новой версии: улучшена работа по разбору страниц, содержащих незакрытые тэги; диагностические сообщения теперь выводятся в stderr вместо stdout; при использовании "--no-parent" теперь несколько раз не загружаются одинаковые страницы, доступные как по HTTP, так и по HTTPS; для вывода всех определенных для заданного домена IP-адресов добавлена опция "show_all_dns_entries". Другие изменения в основном связаны с исправлением ошибок и улучшением переносимости кода.

Дополнение: релиз по непонятной пока причине удален с FTP, копию архива можно загрузить здесь.

  1. Главная ссылка к новости (http://ftp.gnu.org/gnu/wget...)
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/31486-wget
Ключевые слова: wget
Поддержать дальнейшую публикацию новостей на OpenNET.


Обсуждение (22) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 18:25, 15/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >>реализация поддержки HTTP/1.1

    непонятно, а раньше разве не было? а partial content как тогда работал?

     
     
  • 2.2, Andrey Mitrofanov (?), 18:28, 15/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >partial content как тогда работал?

    Успешно и ненавязчиво... http://ru.wikipedia.org/wiki/HTTP#HTTP.2F1.1

     

  • 1.3, Аноним (-), 18:46, 15/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло? Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?
     
     
  • 2.4, Аноним (-), 18:58, 15/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Нету программистов, которым это было бы интересно.
     
  • 2.5, Аноним (-), 20:41, 15/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Я думал, wget уже неизвестно сколько лет заброшен, ан нет - развивается. Кто-нибудь знает, почему это происходит настолько вяло?

    А что там разрабатывать? Инструмент закончен и умеет всё что от него требуется, из изменений остаются в основном багфиксы.

    > Умеет закачивать сайты и преобразовывать ссылки, но динамику не может (в моем случае не вышло) - почему?

    Что вы подразумеваете под динамикой? JS? Тогда не может, никогда не сможет и никто не сможет, потому что динамика для качания не приспособлена абсолютно, и это только один из десятков причин не использовать её.

     
     
  • 3.7, Аноним (-), 23:45, 15/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Под динамикой подразумеваю пхпшный сайт, вики - http://pcl.catap.ru/doku.php?id=pcl . Рекурсивное скачивание не пошло, выкачивает только первую страницу.
     
     
  • 4.9, stellgenossen.ru (?), 00:05, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +9 +/
    $ man wget
    ...
    While doing that, Wget respects the Robot Exclusion Standard (/robots.txt).

    $ wget -qO - http://pcl.catap.ru/robots.txt
    User-agent: *
    Disallow: /

    Поясню: wget при рекурсивном обходе по умолчанию следует правилам robots.txt, а на указанном вами сайте robots.txt запрещает обход.
    Используйте ключик "-e robots=off", все скачается.

     
     
  • 5.12, Аноним (-), 08:03, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо, Вы мне очень помогли, о тонкостях robots.txt я ничего не знал
     

  • 1.6, WhereWolf (?), 22:48, 15/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Полазил по их FTP - даже не думал, что в рамках проекта GNU было написано СТОЛЬКО ВСЕГО!
    ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))
     
     
  • 2.8, XoRe (ok), 23:46, 15/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Полазил по их FTP - даже не думал, что в рамках проекта
    > GNU было написано СТОЛЬКО ВСЕГО!
    > ЗЫ. А в папке GNU/Windows оказался вcего лишь emacs ))

    В рамках проекта GNU была написана бОльшая часть юзерленда linux.
    В том числе, GCC.

     
  • 2.10, Цекака Паэсэс (?), 00:05, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Полазил по их FTP...

    в данном случае единственно верный способ полазить по их ftp это выполнить:

    wget -m -np http://ftp.gnu.org/gnu/

     

  • 1.11, ptr (??), 07:45, 16/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно, а может ли он что-то, чего не может curl? Я думал его забросили именно из-за развития последнего.
     
     
  • 2.13, Аноним (-), 08:05, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные взаимодействия с сервером и доступен как библиотека. Сайт скачать им не получится
     
     
  • 3.14, ptr (??), 09:56, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > У curl'а вроде бы немного другая ниша, он позволяет задавать более детальные
    > взаимодействия с сервером и доступен как библиотека. Сайт скачать им не
    > получится

    Только им, да. Там в поставке перловский скрипт был для мирроринга. Зато wget не умеет POST, что, бывает, очень сильно мешает в целях того же мирроринга.

     
     
  • 4.16, Andrey Mitrofanov (?), 10:50, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >Зато wget не умеет POST, что, бывает, очень сильно мешает

    [CODE]--post-data=string
    --post-file=file
        Use POST as the method for all HTTP requests and send the specified data in the equest body.[/CODE]

    Угадай - откуда?!! Две... Нет, три! попытки.

     
     
  • 5.17, ptr (??), 11:05, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >>Зато wget не умеет POST, что, бывает, очень сильно мешает
    > [CODE]--post-data=string
    > --post-file=file
    >     Use POST as the method for all HTTP
    > requests and send the specified data in the equest body.[/CODE]
    > Угадай - откуда?!! Две... Нет, три! попытки.

    Последний раз проводил эксперименты лет 5 назад. Надо было на роутере через веб морду pppd перезапускать. На wget не получилось. На curl завелось сразу. Может с тех пор такое ощущение и сохранилось. Извиняюсь, значит заблуждался.

     

  • 1.15, Аноним (-), 10:04, 16/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Мой клиент дефолтный клиент для скачивания, прелесть. Пользуюсь практически каждый день :)
     
     
  • 2.18, Sergey722 (ok), 11:29, 16/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Штука хорошая, но почему он не качает в несколько потоков?
    Т.ч. в некоторых случаях Aria2!!!
     

  • 1.19, EuPhobos (ok), 17:14, 16/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Очень часто пользую wget в целях просто скачать тарбольчик с сырцами на сервак, или скачать http страничку, распарсить awk-ом и вытянуть всё нужное.
    Но почитав комменты, не перестаю удивляться, что ещё умеет wget.

    ЗЫ да-да, знаю, в мане слишком много букаф ;) Да и не всегда все тонкости wget-а бывают нужны, а когда нужны - то тогда да, ман.. )

     
  • 1.20, VictorVG (??), 02:31, 22/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На GNU FTP новейшие исходники отыскал только 1.12. И где взять 1.13? Я вроде по всем зеркалам просмотрел. Не успели выложить или я с усталости пропустил?
     
  • 1.21, VictorVG (??), 02:34, 22/08/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Оценку снизил за бумажность анонса. Эти только сайт SamLab "славится", но так они на этом зарабатывают.:)
     
     
  • 2.22, Alex_Piggy (?), 18:59, 22/08/2011 [^] [^^] [^^^] [ответить]  
  • +/
    2VictorVG, all
    Добрый день
    15 августа исходники были, 16 августа выпустили 1.13.1. Сейчас (22 августа) их нет.
    Согласно www.linux.org.ru/forum/talks/6642712  его убрали из-за глючности.
    Осталась только копия на launchpad.net
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:
    При перепечатке указание ссылки на opennet.ru обязательно



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру