The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Программы для автоматического выкачивания сайтов

   Корень / Программы для пользователя / Программы для WEB / Программы для автоматического выкачивания сайтов

!!!-* Wget - utility to retrieve files from the World Wide Web using HTTP and FTP. (Версия: 1.9.1 от 2003-11-15) [+]
[обсудить]
 Консольная утилита для зеркаливания WWW или FTP сайтов.

Альтернативы:

  • Files Accelerator
  • Manda
  • Prozilla
  • Aget
  • Axel
  • aria2 - удобная программа рекурсивной загрузки с поддержкой HTTP, HTTPS,FTP, BitTorrent.
  •  
    ----* Tucan - application designed for automatic management of downloads and uploads [+]
    [обсудить]
     Графическое приложение, написанное на языке Python с использованием тулкита PyGTK, предназначенное для упрощение загрузки и закачки данных на ресурсы подобные rapidshare.com, megaupload.com и т.п. Поддерживает распознавание капчи, автоматическую установку необходимых задержек и возможность нормализации ссылок.
     
    ----* aria2 - utility for downloading files (Версия: 1.18.4 от 2014-03-24) [+]
    [обсудить]
     Консольная утилита для автоматизированной загрузки группы файлов. Представлены следующие возможности:
    • Интерфейс командной строки;
    • Поддержка загрузки файлов через HTTP(S), FTP и BitTorrent;
    • Поддержка сегментированной загрузки (большой файл виртуально разбивается на части, и каждая из частей загружается отдельным потоком);
    • Поддержка ссылок на файлы в формате Metalink версии 3.0 (HTTP/FTP/BitTorrent);
    • Поддержка HTTP/1.1, работы через прокси (включая FTP загрузки через HTTP-прокси), аутентификации BASIC и Proxy, gzip/deflate сжатия, Chunked-запросов, Persistent Connections;
    • Возможность загрузки Cookies из файла на диске в формате Firefox3 и Mozilla/Firefox (т.е. можно, например, пройти аутентификацию в Firefox и инициировать закачку из консоли);
    • Возможность отправки модифицированных HTTP-заголовков;
    • Возможность ограничения полосы пропускания для управления скоростью загрузки;
    • Поддержка расширений BitTorrent: Fast extension, DHT, PEX, MSE/PSE, Multi-Tracker;
    • Реализация режима фоновой работы (при отсоединении от активного терминала, процесс не завершается);
    • Поддержка формата для задания алгоритма автоматизации действия через Netrc файл;
    • Режим загрузки всех URI, на которые имеются ссылки в заданном файле.
     
    ----* Pavuk - UNIX program used to mirror contents of WWW documents (Версия: 0.9.31 от 2004-11-12) [+]
    [есть мнение]
     Программа для скачивания сайтов для локального использования, имеет гибкие настройки для ограничения (отбора, отсеивания) скачиваемого материала, содержит средства корректировки URL внутри скачиваемых документов, для адаптации для локального использования скаченных файлов.так же разбирает простейшие JavaScript блоки внутри документов.
    Похожий проект: HTTrack - open source and easy-to-use offline browser utility.
     
    ----* Downloader for X (Версия: 2.5.7 от 2006-04-10) [+]
    [есть мнение]
     Универсальная среда для скачивания группы файлов по HTTP или FTP. Поддерживается автоматическая докачка, ограничения полосы пропускания (скорости), планировка заданий, многопотоковое скачивание, фильтры, GTK и cli интерфейс.
     
    ----* sitecop - keeping the remote site synchronized (supports FTP) [+]
    [есть мнение]
     Программа обеспечивающая синхронизацию удаленной копии сайта с локальной рабочей версией. В программе используется метод синхронизации, когда на локальной системе хранятся данные о текущем состоянии удаленной копии, ПО только докачивает опираясь на локальную БД недостающие файлы и удаляет лишние.
     
    ----* libcurl - solid and reliable multi-protocol file transfer library for URL syntax defined files. [+]
    [обсудить]
     Мощная библиотека для скачивания файлов (в том числе группы по маске). На базе этой библиотеки написано множество программ для удобного скачивания сайтов (аналог wget), проверки работоспособности ссылок и т.д. Доступна для языков Си, Perl и PHP. Протоколы: http, ftp, dict, telnet, https, ldap, gopher. Особенности: HTTP-put, cookies, FTP закачка, поддержка аутентификации, работа через прокси.
     
    ----* curl - tool for getting a file using URL syntax (Версия: 7.12.2 от 2004-10-19) [+]
    [обсудить]
     Программа для выкачивания файлов. Позволяет провести диагностику по ответу сервера, сэмулировав запрос клиента. Поддерживаются протоколы: http, ftp, dict, telnet, https, ldap, gopher. Особенности: HTTP-put, cookies, FTP закачка, поддержка аутентификации, работа через прокси.
     
    ----* GTM (GNOME Transfer Manager) - allows the user to retrieve multiple files from the web (Версия: 6.0-003 от 2013-08-11) [+]
    [обсудить]
     Графическая оболочка к программе wget. Позволяет выкачивать файлы и миррорить сайты в интерактивном режиме. Отображается текущий статус перекачки, затраченное/прогнозируемое время, текущая и общая скорость.
     
    ----* snarf - command line resource grabber. It can transfer files through the http, gopher, finger, and ftp protocols [+]
    [обсудить]
     Маленький и быстрый граббер информации на ftp, www и т.д., типа wget
     

    Близкие по значению ключи
    firefox  konqueror  icq  mozilla  lynx  netscape  opera  mutt  thunderbird  pine  clone  bacula  dump  backup  compress 
    Близкие по совпадению ключи
    ai  bug  cve  rclone  mitre  postgresql  backup  diff  linux  ssh  file  dump 
    Похожие разделы ключей
  • Сетевые программы, браузеры
  • Бэкап, синхронизация, файлы

  • Раздел новостей
     [12.11.2024] Доступны утилиты wget 1.25 и Curl 8.11. Представлены платные LTS-выпуски Curl
     [12.08.2024] Утилита wcurl принята в состав проекта Curl
     [07.04.2024] Выпуск утилиты для синхронизации файлов Rsync 3.3.0. Эндрю Триджелл возвращается в проект
     [06.01.2024] Проблемы из-за подготовленных AI-инструментами отчётов об уязвимостях
     [11.10.2023] Переполнение буфера в curl и libcurl, проявляющееся при обращении через SOCKS5-прокси
     [30.08.2023] В CVE опубликованы отчёты о ложных уязвимостях в curl, PostgreSQL и других проектах
     [21.03.2023] Релиз утилиты cURL 8.0
     [24.10.2022] Выпуск утилит для резервного копирования Rsync 3.2.7 и rclone 1.60
    Следующая страница >>

    Советы и заметки
     Ускоряем загрузку больших файлов из интернета.
     Просмотр прогноза погоды из терминала
     Дублирование HTTP запросов для тестирования сервера
     Организация шифрованного бэкапа с помощью rdiff-backup, encfs и Dropbox
     Синхронизация файлов и содержимого БД MySQL на резервный сервер
     Обновление антивирусных баз (AvpUpdate)
     Использование zsync для минимизации трафика при синхронизации больших файлов, например, ежедневных сборок Ubuntu
     Полный бэкап на дополнительный диск при помощи rsync
    Следующая страница >>

    Тематический каталог
     Бекап файловой системы Linux-сервера с помощью rsync.
     Как mirror/wget но для заливки
     Алгоритм Rsync
     Резервное копирование при помощи rdiff-backup

    Каталог программ
     adfsd - FreeBSD kqueue-assisted rsync tool
     JitterBug - web based bug tracking system
     Drbd - block device to build high availability clusters
     rdiff-backup - remote incremental backup
     File::Remote - Read/write/edit remote files transparently
     rsync - utility that provides fast incremental file transfer
     duplicity - Encrypted bandwidth-efficient backup using the rsync
     rsnapshot - filesystem backup utility based on rsync

    Архив документации
     Wget - насос для Интернета



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру