The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Первый стабильный релиз утилиты для загрузки web-контента GNU Wget2

27.09.2021 07:58

После трёх с половиной лет разработки представлен первый стабильный релиз проекта GNU Wget2, развивающего полностью переработанный вариант программы для автоматизации рекурсивной загрузки контента GNU Wget. GNU Wget2 спроектирован и переписан с нуля и примечателен выносом базовой функциональности web-клиента в библиотеку libwget, которая может обособленно применяться в приложениях. Утилита поставляется под лицензией GPLv3+, а библиотека под LGPLv3+.

Вместо постепенной переработки существующей кодовой базы было решено переделать всё с нуля и основать отдельную ветку Wget2 для воплощений идей по реструктуризации, наращивания функциональности и внесения изменений, нарушающих совместимость. За исключением прекращения поддержки протокола FTP и формата WARC, wget2 в большинстве ситуаций может выступать в роли прозрачной замены классической утилиты wget.

При этом wget2 имеет некоторые документированные различия в поведении, предоставляет около 30 дополнительных опций и прекращает поддержку нескольких десятков опций. В том числе прекращена обработка таких опций, как "--ask-password", "--header", "--exclude-directories", "--ftp*", "--warc*", "--limit-rate", "--relative" и "--unlink".

Из ключевых новшеств можно отметить:

  • Вынос функциональности в библиотеку libwget.
  • Переход на многопоточную архитектуру.
  • Возможность параллельной установки нескольких соединений и загрузки в несколько потоков. В том числе возможно распараллеливание загрузки одного файла с разбивкой на блоки при помощи опции "--chunk-size".
  • Поддержка протокола HTTP/2.
  • Использование HTTP-заголовка If-Modified-Since для загрузки только изменившихся данных.
  • Переход на применение внешних ограничителей пропускной способности, таких как trickle.
  • Поддержка заголовка Accept-Encoding, передачи данных в сжатом виде и алгоритмов сжатия brotli, zstd, lzip, gzip, deflate, lzma и bzip2.
  • Поддержка TLS 1.3, протокола OCSP (Online Certificate Status Protocol) для проверки отозванных сертификатов, механизма HSTS (HTTP Strict Transport Security) для принудительного перенаправления на HTTPS и HPKP (HTTP Public Key Pinning) для привязки сертификатов.
  • Возможность использования GnuTLS, WolfSSL и OpenSSL в качестве бэкендов для TLS.
  • Поддержка режима быстрого открытия TCP-соединений (TCP FastOpen).
  • Встроенная поддержка формата Metalink.
  • Поддержка интернационализированных доменных имён (IDNA2008).
  • Возможность одновременно работы через несколько прокси-серверов (один поток будет загружаться через один прокси, а второй - через другой).
  • Встроенная поддержка новостных лент в форматах Atom и RSS (например, для сканирования и загрузки ссылок). Данные RSS/Atom могут быть загружены из локального файла или по сети.
  • Поддержка извлечения URL из файлов Sitemap. Наличие парсеров для извлечения ссылок из файлов CSS и XML.
  • Поддержка директивы 'include' в файлах конфигурации и распределение настроек по нескольким файлам (/etc/wget/conf.d/*.conf).
  • Встроенный механизм кэширования запросов DNS.
  • Возможность перекодирования содержимого со сменой кодировки документа.
  • Учёт файла "robots.txt" при рекурсивных загрузках.
  • Режим надёжной записи с вызовом fsync() после сохранения данных.
  • Возможность возобновления прерванных TLS-сеансов, а также кэширования и сохранения в файл параметров TLS-сеанса.
  • Режим "--input-file - " для загрузки URL, поступающих через стандартных входной поток.
  • Проверка области действия Cookie по каталогу публичных суффиксов доменов (Public Suffix List) для изоляции друг от друга разных сайтов, размещённых в одном домене второго уровня (например, "a.github.io" и "b.github.io").
  • Поддержка загрузки потокового вещания в формате ICEcast / SHOUTcast.


  1. Главная ссылка к новости (https://lists.gnu.org/archive/...)
  2. OpenNews: Началось тестирование GNU Wget 2
  3. OpenNews: Выпуск GNU Wget 1.21
  4. OpenNews: Выпуск GNU Wget 1.20.3 с устранением уязвимости
  5. OpenNews: Выпуск GNU Wget 1.20
  6. OpenNews: Выпуск утилиты curl 7.75.0 с экспериментальным HTTP-бэкендом на языке Rust
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/55873-wget
Ключевые слова: wget
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (202) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Имя (?), 08:42, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > Переход на многопоточную архитектуру.
    > Возможность параллельной установки нескольких соединений и загрузки в несколько потоков. В том числе возможно распараллеливание загрузки одного файла с разбивкой на блоки при помощи опции "--chunk-size".

    Охренеть, aria2 можно выкидывать?

     
     
  • 2.5, Аноним (5), 08:52, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем? Она Metalink умеет давно и ширше, в т.ч. скачивать по p2p
     
     
  • 3.7, Имя (?), 08:57, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Я имею ввиду когда один и тот же файл с одного сервера скачивается в несколько потоков. Иногда на дерьмовых и/или ограниченных соединениях позволяет сильно увеличить скорость скачивания.
     
     
  • 4.94, kissmyass (?), 13:31, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    aria позволяет делать это для SSH, что прям киллер фича, а еще торрент скачать можно
     
     
  • 5.176, lockywolf (ok), 06:25, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Но только с паролем, а не по ключу.

    Может, запилишь, а?

     
     
  • 6.224, kissmyass (?), 02:15, 30/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Но только с паролем, а не по ключу.
    > Может, запилишь, а?

    лучше так, чем никак, рано или поздно будут и ключи

     

  • 1.2, Spoofing (?), 08:46, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +26 +/
    > За исключением прекращения поддержки протокола FTP

    Была удобная утилита для тестирования работоспособности серверов в т.ч. и FTP, теперь её не стало. Молодцы, чо.

     
     
  • 2.3, iPony129412 (?), 08:50, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –37 +/
    Опять луддиты возмущаются удалению устаревших технологий 🤨
     
     
  • 3.17, Аноним (17), 09:25, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +19 +/
    опять поня пишет херню
     
     
     
    Часть нити удалена модератором

  • 5.37, bugmenot (ok), 10:29, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Ну так-то FTP никуда не делся как протокол и успешно юзается
     
  • 5.71, asdasdasd (?), 12:06, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Репы в дистрах итак и md5 и gpg имеют, нафига там что-то больше чем ftp?
     
     
  • 6.170, kissmyass (?), 02:03, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    может чтобы провайдер не мог знать какие именно ты пакеты тащишь?
     
     
  • 7.191, Аноним (191), 11:53, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    FTP поддерживает шифрование, во вторых какие именно пакеты я тащу — видит сервер с которого я их тащу, почему при этом я должен стеснятся своего провайдера? Я пользуюсь GNU/Linux и не стесняюсь этого :-)
     
     
  • 8.223, kissmyass (?), 02:07, 30/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    FTP не поддерживает, ты хотел сказать FTPS, ну так нах нам нужен еще один велоса... текст свёрнут, показать
     
  • 5.73, Тот_Самый_Анонимус (?), 12:09, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +7 +/
    >В 2k21-ом бы за FTP топить...

    И это пишет нам «авторитет», использующий оборот 2кxx в 2021-м году? Давно пора перестать тащиться от шутки двадцатилетней давности.

     
     
     
    Часть нити удалена модератором

  • 7.97, Аноним (97), 13:49, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А вот, кстати, ради без systemd, стоит вернуться назад.
     
  • 7.101, Аноним (-), 14:03, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Эй, ребята, какой ещё x86_64? Какой ещё systemd? Не смешно уже, это старая шутка,
    > верните Pentium 4 и баш-портяночки! Прогресс - это не смешно, это страшно!

    Да-да, вам с вантуза виднее, что лучше и правильнее.

     
  • 7.118, Тот_Самый_Анонимус (?), 16:49, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Есть такой принцип: дёшево и сердито. ФТП относится к достаточно простым нересурсоёмким технологиям. Но для вас прогресс — не средство, а цель.

    Человечество пользуется круглым колесом тысячелетиями, и никому не приходит в голову что форма устарела просто потому, что при Юлии Цезаре такая была.

    Да что там говорить: вы пользуетесь азбукой, которой более тысячи лет. Современной её версии около сотни. И не припекает же.

    Удачные технологические решения могут существовать долго, до тех пор, пока востребованы. А отказ от фтп, потому что «не модно и не молодёжно» — бред, как и отказ от флеша

     
     
  • 8.156, Zulu (?), 21:09, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    FTP is notoriously different to implement properly Все ftp-серверы пособирали д... текст свёрнут, показать
     
     
  • 9.158, Zulu (?), 21:10, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    difficult фак мой мозг ... текст свёрнут, показать
     
  • 9.175, Тот_Самый_Анонимус (?), 06:05, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И В чём проблема исправлять эти грабли, а не закрывать протокол Никто же не от... текст свёрнут, показать
     
  • 7.161, Аноним (161), 22:34, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А я никуда и не уходил с BSD Init. Это у лап4тых постоянно перестановка кроватей, стильных, модных, молодежных.
     
     
     
    Часть нити удалена модератором

  • 9.171, Тинус Лорвальдс (ok), 02:45, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А, ну теперь-то понятно откуда столько негатива в сторону фтп Огрызки сказали, ... текст свёрнут, показать
     
     
     
    Часть нити удалена модератором

  • 11.186, Тинус Лорвальдс (ok), 11:08, 28/09/2021 [ответить]  
  • +/
    https developer apple com forums thread 97469 Ох уж эта секта ... текст свёрнут, показать
     
     
     
    Часть нити удалена модератором

  • 13.189, Тинус Лорвальдс (ok), 11:25, 28/09/2021 [ответить]  
  • +/
    лемминги снова слились в экстазе одобрения - это же прахрес, эпл лучше знает, чт... текст свёрнут, показать
     
     
     
    Часть нити удалена модератором

  • 15.210, Тинус Лорвальдс (ok), 14:56, 28/09/2021 [ответить]  
  • +/
    Нет Но я разве могу доказать это свидетелю секты имени огрызка это риторически... текст свёрнут, показать
     
  • 6.151, _kp (ok), 20:46, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Зато, ftp всегда работает. И может как основной способ передачи и устарел, но бывает надо внезапно связь организовать с чем есть, или загрузчики быаают извратные.
    Вынесли бы в плагины, и полный порядок, вроде и избавились, но и не похоронили.
     
     
  • 7.185, asdfkj (?), 10:41, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    для загрузчиков есть tftp. Для "быстро поднять здесь и сейчас" - netcat. для передачи по сети с авторизацией и со всем вот этим - scp, rsync и иже с ними. Для мелких устройств есть busybox, в котором реализован примитивный, но достаточный httpd. сейчас ftp устарел к тому же может быть небезопасен, хотя сейчас уже найти реализацию без песочницы наверно проблематично.
     
  • 5.80, Аноним (5), 12:21, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    За что ты не любишь самый лучший протокол для передачи почты?
     
     
  • 6.96, Аноним (97), 13:47, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Для него почта в облаках.
     
  • 5.98, Аноним (97), 13:54, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >В 2k21-ом бы за FTP топить...

    Не знаю, как у вас там на Мелмаке в 2k21, но у нас тут в 2021-м всё ещё нужен.

     
  • 5.141, Аноним (141), 19:23, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > 2k21-ом

    021.М201?
    Требуется срочное вмешательство Ордо Хронос.

     
     
     
    Часть нити удалена модератором

  • 7.143, n00by (ok), 19:39, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    У меня бумажная книга. Получается, ты меня оклеветал. Твои предложения?
     
     
     
    Часть нити удалена модератором

  • 9.147, n00by (ok), 19:48, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Хорошо, начнём Почему ты называешь себя никто Остальные балаболы предпочитаю... текст свёрнут, показать
     
  • 7.187, Тинус Лорвальдс (ok), 11:14, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Во всём мире "2k" значит "2 000"

    Во всём мире год принято писать цифрами, лишь только некоторые неумные персонажи с эмодзями вместо мозгов пишут с буквами.

     
  • 7.221, Тот_Самый_Анонимус (?), 05:39, 29/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >Во всём мире "2k" значит "2 000".

    На самом деле луддит — ты. В России использовать буквы в числах перестали к концу 18-го века, а ты всё держишься за этот атавизм. Старовер, видимо.

     
  • 4.92, rvs2016 (ok), 13:09, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > И плевать, что FTP давным-давно умер
    > и из коробки был костыльным изобретением

    Ну так тогда по той же причине выкиньте на ту же свалку истории и точно так же мёртворождённый SMTP. Ну в смысле во времена рождения он мёртвым-то, конечно, не был. Это только потом в эпоху спамерства и всяких прочих неудобств стало известно, что рождён он мертвым.

     
  • 4.130, aname (?), 18:23, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Спешите видеть: очередной эксперд в треде рассказывает про умершие протоколы, пока не принял таблетки.
     
  • 4.139, Аноним (141), 19:15, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В каком, нахран, БРОЙЗЕРЕ?! Новость про wget2.
     
  • 3.75, Аноним (97), 12:11, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Ну да, нет эмодзей - технология устаревшая.
     
  • 3.134, нах.. (?), 18:36, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так а че тут делаеш, топай в свой мякаосе, там все новое свежее, все довольны что дали с лопаты.
     
  • 2.6, Ю.Т. (?), 08:55, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Так никуда не делся и 1-й wget.
     
  • 2.76, Аноним (97), 12:14, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >утилита для тестирования работоспособности серверов в т.ч. и FTP

    Wget пока никуда не делся.

     
  • 2.120, Я (??), 17:29, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Фтп на сервере который в 2021 мэйнтейнится, а не заброшен в 2012м?
    Там где заброшено давно всё оттестировано, там где сервер обслуживается нафига фтп он года 4 уже депрекейтед?
     
     
  • 3.177, lockywolf (ok), 06:30, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Фтп на сервере который в 2021 мэйнтейнится, а не заброшен в 2012м?
    > Там где заброшено давно всё оттестировано, там где сервер обслуживается нафига фтп
    > он года 4 уже депрекейтед?

    Кем депрекейтед? FTP Inc, зарегистрированной на Британских Виргинских Островах специально, чтобы задепрекейтить?

     
  • 2.183, asdfkj (?), 10:30, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А чем, собственно, либо wget, lftp или непосредственно ftp не устраивает? они как были, так и остались.
     

     ....большая нить свёрнута, показать (39)

  • 1.4, Аноним (4), 08:51, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Wget is dead, long live Wget?
     
     
  • 2.48, Аноним (48), 11:04, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Их просто стало два
     
     
  • 3.133, Аноим (?), 18:31, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Список холиваров:
        Windows vs. Linux
        Vi vs. Emacs
    +++ wget vs. wget2
     
     
  • 4.146, n00by (ok), 19:43, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > +++ wget vs. wget2

    2 wget or not 2 wget

     
     
  • 5.149, Атон (?), 20:32, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    тонко!
     
  • 5.206, Аноним (206), 14:49, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    2wget != wget2
     
     
  • 6.212, n00by (ok), 15:01, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    The header <iso646.h> defines the following eleven macros (on the left) that expand to the corresponding tokens (on the right):



    and      &&
    and_eq   &=
    bitand   &
    bitor    |
    compl    ~
    not      !
    not_eq   !=
    or       ||
    or_eq    |=
    xor      ^
    xor_eq   ^=



     

  • 1.8, Аноним (8), 08:58, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Забавно. Старых технологий типа FTP уже нет, а новых типа HTTP/3 ещё нет. Это во многом так. Хоть с железом - поддержку старого выкинули, поддержку нового не завезли. Остаётся выбирать золотую середину, которая будет ~ работать пару лет.
     
     
  • 2.9, Аноним (9), 09:07, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    HTTP/3 это не технология, а гугловская хотелка дня.
     
     
  • 3.81, гугель (?), 12:30, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Будешь жрать!
     
     
  • 4.207, Аноним (206), 14:50, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Только если жрать Google, а остальные будут решать по аудитории. Если аудитории на HTTP3 не будет, то на кой оно нужно поддерживать - лишний геморой.

     
  • 3.82, Аноним (82), 12:43, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Гугл был первым, а вам остается только обезьянничать.
     
     
  • 4.163, One More Аноним (?), 22:44, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Когда МС всех нагибает, ибо может - у пингвинят визг стоит. Когда Гугле - они радостно раздвигают ножки.
     
     
  • 5.200, z (??), 13:03, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    любофф..
     
     
  • 6.220, Прохожий (??), 00:52, 29/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    и гоглуби
     
  • 2.117, Аноним (117), 16:42, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Там же кроме использования QUICK ничего не поменялось особо?
     
     
  • 3.152, Zulu (?), 20:54, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если смотреть с высоты HTTP-запроса, то нет. А ниже уровнем да, так как там (1) весь транспорт в юзерленде (2) TLS перемешан в один фарш со всем остальным. По сравнению с этим HTTPS гораздо чище: вот тебе ось пакетики гоняет, вот тебе secure sockets layer всю секуриту делает, а ты знай себе plaintext запросы отправляй да plaintext ответы парсь.
     
     
  • 4.178, lockywolf (ok), 06:32, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Если смотреть с высоты HTTP-запроса, то нет. А ниже уровнем да, так
    > как там (1) весь транспорт в юзерленде (2) TLS перемешан в
    > один фарш со всем остальным. По сравнению с этим HTTPS гораздо
    > чище: вот тебе ось пакетики гоняет, вот тебе secure sockets layer
    > всю секуриту делает, а ты знай себе plaintext запросы отправляй да
    > plaintext ответы парсь.

    Пока packet loss 0%, всё "чисто".

     
     
  • 5.192, Аноним (191), 11:57, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Для защиты от packet loss есть TCP и ОС с гарантированной доставкой.
     
     
  • 6.203, lockywolf (ok), 13:59, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Для защиты от packet loss есть TCP и ОС с гарантированной доставкой.

    График зависимости скорости TCP от лосса сам поищешь, или тебе прожевать и в рот положить?

     

  • 1.10, Онаним (?), 09:09, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Годно.
     
  • 1.11, Аноним (11), 09:16, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Чем FTP плох?
    Почему от него отказываются?
    Есть же SFTP где всё шифруется и безопасно
     
     
  • 2.13, chipp (?), 09:22, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    FTP и SITE   это ра-азные протоколы.
    А FTP ну уж ОЧЕНЬ стар. Почти  как UUCP.
     
     
  • 3.16, Аноним (17), 09:24, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > А FTP ну уж ОЧЕНЬ стар

    вы тоже, и что?

    почему вы не как iCat пишите?

     
     
  • 4.18, iCat (ok), 09:39, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >почему вы не как iCat пишите?

    С телефончика отвечал... Лень было авторизоваться...

     
  • 4.19, iCat (ok), 09:40, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >> А FTP ну уж ОЧЕНЬ стар
    >вы тоже, и что?

    Ты про протокол UUCP что-нибудь знаешь? А ведь он некогда был вообще одним из основных...

     
  • 3.119, n00by (ok), 17:22, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > А FTP ну уж ОЧЕНЬ стар.

    Суперстар. https://youtu.be/o-VO_OCH8A8

     
  • 2.15, Аноним (15), 09:23, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    просто заинтересованным лицам необходимо обосновывать размеры своих заработных плат
     
  • 2.21, Wladmis (ok), 09:42, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Чем FTP плох?
    > Почему от него отказываются?

    Неуклюжий протокол, требуюший дополнительного порта. Чтобы это работало в современных (где-то с 90-х годов) интернетах, специально были добавлены хаки для поддержки именно этого протокола в роутеры и сетевые фильтры. При этом сейчас (уже лет 20) никто не использует его для того, для чего он был разработан, только файлики "анонимно" (т.е., без аутентификации) по нему качают.

     
     
  • 3.28, Аноним (28), 10:11, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +6 +/
    И утилита, предназначенная для скачивания файликов, делать это не умеет. Прелестно.
     
     
  • 4.58, Ты Вася а я господь Бог (?), 11:36, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Не ври. Утилита никуда не делась, первый вгет как качал так и качает, а вгет2 для фтп не предназначен(тут ты тоже тупо соврал).
     
     
  • 5.77, Аноним (28), 12:15, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Ну так-то и reget никуда не делся, но мы тут wget2 обсуждаем — который как утилита для скачивания, очевидно, неполноценен.
     
     
  • 6.113, Ты Вася а я господь Бог (?), 16:08, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну так-то и reget никуда не делся, но мы тут wget2 обсуждаем — который
    > как утилита для скачивания, очевидно, неполноценен.

    Неполноценны те кому для работы с фтп нужен вгет/вгет2. Для фтп есть отдельные фтп-клиенты.

     
     
  • 7.132, aname (?), 18:28, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Т.е. wget2 как бы и не нужен, в общем- то.

    Linux way

     
  • 7.213, Аноним (28), 15:17, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да, для ftp есть отдельные клиенты, его выкинем, а вот поддержку RSS и потокового вещания запихнём.
     
  • 4.121, Я (??), 17:35, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Утилита для скачивания вебфайликов. Фтп больше не является частью вебпространства
     
  • 3.29, Kusb (?), 10:11, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А мне кажется даже логичным. Один поток для управления - другой для скачивания/закачивания. Можно просто лить все данные не заморачиваться (как?). И по моему он быстрее http.
    Также ftp немного незаменим как простой файлообменный протокол при своей распространённости.
    Ps: да, похоже UUCP тоже интересный.
     
     
  • 4.105, Big Robert TheTables (?), 14:09, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    в DPI сложнее, сессии могут улететь на разные инстанцы.
     
     
  • 5.112, Kusb (?), 15:59, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > в DPI сложнее, сессии могут улететь на разные инстанцы.

    Да, dpi похоже интересная штука... А почему это тогда в каком-нибудь http с множеством соединений не становится проблемой?
    Что-то с состояниями, маркировкой соединений, как чувствую.

     
     
  • 6.129, Big Robert TheTables (?), 18:21, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >> в DPI сложнее, сессии могут улететь на разные инстанцы.
    > Да, dpi похоже интересная штука... А почему это тогда в каком-нибудь http
    > с множеством соединений не становится проблемой?
    > Что-то с состояниями, маркировкой соединений, как чувствую.

    по http все-таки сессия одна. По ftp две, и вот если вторая улетела при балансировке "не туда", то "там", где её не ждут, нет понятия, что это фтп.

     
  • 6.153, Zulu (?), 21:05, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В http/1 есть Connection: keep-alive, так что можно держать одно соединение (правда блокирующее). В http/2 есть отдельные стримы, так что можно держать неблокирующее соединение. Тем не менее описанная проблема существует, и решается или какой-нибудь печенькой, или таблицей ассоциаций по IP-адресам отправителя на лоад балансере.
     
  • 3.40, bugmenot (ok), 10:32, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > только файлики "анонимно" (т.е., без аутентификации) по нему качают

    Так а что в этом плохого? как-то же надо файлики качать

     
  • 3.51, Аноним (48), 11:15, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    >> Неуклюжий протокол, требуюший дополнительного порта.

    Фатальный недостаток, однозначно.
    80 и 443 заняты, на ftp не хватило.

     
     
  • 4.179, lockywolf (ok), 06:34, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Неуклюжий протокол, требуюший дополнительного порта.
    > Фатальный недостаток, однозначно.
    > 80 и 443 заняты, на ftp не хватило.

    Фатальный, потому что остальные порты заблокированы.

     
     
  • 5.194, Аноним (191), 12:00, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Может вам провайдера поменять? Ваш похоже не обеспечивает доступ в интернет и сетевую связность.
     
     
  • 6.201, lockywolf (ok), 13:51, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Может вам провайдера поменять? Ваш похоже не обеспечивает доступ в интернет и
    > сетевую связность.

    Не обеспечивает, но его конкуренты тоже не обеспечивают.

     
  • 3.54, YetAnotherOnanym (ok), 11:28, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Вся его "неуклюжесть" давным-давно завёрнута в написанные до нас библиотеки. Никаких танцев с бубном с динамическим открыванием портов для встречного соединения давно уже не нужно, для этого придумали пассивный режим. Для файлопомойки лучше ftp нет ничего (замечу, что из этого не следует, что нельзя тот же каталог экспортировать также самбой, простым http, вебдавом, nfs и всем чем угодно).
     
  • 3.78, Аноним (97), 12:19, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Его модифицмровали. Уж лет 20, как не нужно клиенту держать открытый порт на приём входящих - Passive FTP.
     
     
  • 4.165, Аноним (165), 01:41, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Лол, зато на сервере это неизвестный номер порта, что создаёт проблемы с настройками фаирволов.
     
     
  • 5.195, Аноним (191), 12:03, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    О боже мой, кто-то из интернета подключается на порты сервера для этого предназначенные! Вот же проблема то, катастрофа прямо. ICMP ещё не забудь запретить.
     
     
  • 6.202, lockywolf (ok), 13:52, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > О боже мой, кто-то из интернета подключается на порты сервера для этого
    > предназначенные! Вот же проблема то, катастрофа прямо. ICMP ещё не забудь
    > запретить.

    Они на провайдере заблокированы.

     
  • 3.123, mikhailnov (ok), 17:43, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Разве вордпрессы на виртуальные хостинги уже не заканчивают по ftp?
     
  • 3.159, Аноним (159), 21:22, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А для скайпов, торентов, торов и иже с ними, в роутерах костылей, значится, нет, ага.
     
  • 2.50, Аноним (48), 11:13, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +15 +/
    >> Чем FTP плох?

    Высокие затраты на монетизацию трафика, рекламка не вставляется
    Решили его похоронить и сосредоточиться на http/https

     
     
  • 3.72, _hide_ (ok), 12:06, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Высокие затраты на монетизацию трафика, рекламка не вставляется
    >>> Решили его похоронить и сосредоточиться на http/https

    Это Вы загнули, какой-там http? Только HTTPS!

     
     
  • 4.102, Аноним (97), 14:05, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    HTTPS/3, только по QUICK!
     
  • 4.104, Аноним (48), 14:09, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Это Вы загнули, какой-там http? Только HTTPS!

    В каком месте? ftp начали закапывать сильно раньше http

     
     
  • 5.111, _hide_ (ok), 15:58, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Это Вы загнули, какой-там http? Только HTTPS!
    > В каком месте? ftp начали закапывать сильно раньше http

    Пруфы.

     
  • 3.166, Аноним (165), 01:42, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    На FTP как раз вставляется. И не просто рекламка, а трояны прямо в .exe шники. Это одна из причин по которой он должен быть закопан.
     
     
  • 4.196, Аноним (191), 12:05, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Используй FTPS.
     
     
  • 5.229, Аноним (229), 00:21, 01/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    После получения файла необходимо проверить контрольную сумму (какой-нибудь sha1, md5 и т.д) или подпись.
    Неважно был ли скачан файл или на компакте, флешке, hdd его получил.

    Протокол передачи предназначен для *передачи*. Если это осмыслите, то и проблем не будет.

     
  • 2.124, anonymous (??), 17:50, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Чем FTP плох?

    Ладно, можно ещё припомнить чем плох FTP. Допустим. Но что использовать вместо него? Отрицая - предлагай. Я серьёзно не против заменить ftp на более новый протокол, который решает те же самые задачи, но учитывает наработанный опыт. Но так ведь никто такой новый протокол не предлагает. А http заменой ftp не может быть. Он не для того заточен и передавать через него файлы хоть и можно, но костыль это знатный. И через ssh можно, но он тормозит по сравнению с ftp.

     

     ....большая нить свёрнута, показать (40)

  • 1.12, Аноним (12), 09:17, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    > спроектирован и переписан с нуля

    на расте?

     
     
  • 2.31, anonymous (??), 10:14, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    GNU -- вряд ли
     
  • 2.79, Аноним (97), 12:21, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Слава Ктулху, на православной Сишке.
     

  • 1.20, Аноним (20), 09:41, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    libcurl круче.
     
  • 1.22, Аноним (22), 09:44, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Вот пока не доделают FTP на котором многие сайты с линуксом работают так и будут их игнорировать с новоделом. TFTP есть в роутерах и пока эти роутеры живы с поддержкой загрузки по TFTP как можно объявлять протокол устаревшим? HTTP что-то не закапывают стандартизаторы долбаные. Я хочу держать FTP сервак, а не целую самбу поднимать. Хорошо хоть всякие Filezilla на детородном органе вертели этих модных и няшных писак несовместимого хлама.
     
     
  • 2.32, qwe (??), 10:15, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Если не брать фанатиков кричащих вечно о новом и вообще о модном бездумно, многие _разумные_ люди понимают, что FTP заменить не удаётся от слова никак. При условии, что нужно написать 6 строк конфига и запустить один бинарник и ты можешь организовать папочку Uploads в приличных масштабах не запариваясь особо.

    Эти деграданты хотят мучений с дыркой samba, а некоторые особо оплезные идиоты предлагают париться с еще более монструозными оверхедами. Ценности сместились, мода теперь их диктует, а не логика и задачи. Не удивляйтесь, им всё не почём.

     
     
  • 3.36, кокпок (?), 10:28, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В nginx для организации парочки как в ftp строчек в конфиг нужно не больше.
     
     
  • 4.41, qwe (??), 10:36, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Я не утверждал что нельзя веб сервером решать иные задачи. Они сейчас благо что тостер не заменят.
    Но вот с фтп как раз на тостере можно было поднять файлообменник. У Slackware стоял файло-сервер 15 лет и хоть бы хны - устоявшийся простой и понятный протокол, который выполнял свои задачи хоть с тухлого роутера.
    На роутере поднимать и настраивать вебсервер, это и правда логичная и оправданная замена и он не будет кушать больше ресурсов?
     
     
  • 5.61, kusb (?), 11:47, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А http не может быть проще, если не nginx/apache? Сам http не выглядит очень сложным и будет ли он жрать больше ресурсов? Про WebDAV не знаю особенно ничего, насколько он соответствует ftp в этом качестве. И можно ли его подмножество реализованное травиальным способом без выкрутасов.
    ftp всё-таки не выглядит совершенно простым, там разные сложности. Просто он популярный среди простых, по идее.
     
  • 5.95, Аноним (22), 13:43, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    К сожалению вебморды с вебсерверами бывают легкими Вон даже netis старые с 4мб ... большой текст свёрнут, показать
     
  • 4.45, йуц (?), 10:41, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Хотим Uploads срочно на тухлом девайсе, скажем сотике, пусть это будет андроид.
    Вы со своими nginx ами и остальным дерьмом попивая смузи чем займётесь???

    А ведь такая ситуация была как-то в глуши, там на програмистском форуме людям срочно потребовалось раздать массово. И именно так и решили - смартфон+фтп.

    Людишки сегодня как педики из фильма Разрушитель. Он архаично, но целеустремленно решает задачи - любые. А они прикоснуться к чему-то бояться - грязно, старо, сложно, непонятно, не модно.

     
     
  • 5.46, Gefest (?), 10:56, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    SSH же. Для получения пароля - звонить с 14 по 14:15 третий четверг каждого месяца ....
     
     
  • 6.47, йцу (?), 10:58, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Звонить на роутер, если не отвечают - на тостер
     
     
  • 7.53, Аноним (53), 11:20, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если и там не отвечают - применять паяльник по назначению.
     
  • 2.33, anonymous (??), 10:17, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Я хочу держать FTP сервак, а не целую самбу поднимать

    А что не так с HTTP?

    > модных и няшных писак несовместимого хлама.

    Лихо вы о GNU

     
     
  • 3.93, rvs2016 (ok), 13:17, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А что не так с HTTP?

    HTTP - это не для получения файлов, а для скачивания.
    Вот надо мне файлы с тачки на тачку в нужный каталог передать. По ФТП я их взял да передал. А по ХТТП мне (кроме установки веб-сервера) что - ещё и ваять скрипт укладки принимаемых файлов в нужные каталоги? Была халва так страдать! :-)))

     
     
  • 4.154, Zulu (?), 21:07, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    HTTP PUT, WebDav.
     
     
  • 5.164, Аноним (161), 22:53, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Тот самый вебдав, под который нет ни одного вменяемого клиента. Отличная замена.
     
  • 4.168, Аноним (165), 01:46, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Враль такой враль. Как будто FTP сервер не нужно устанавливать.
     
     
  • 5.228, rvs2016 (ok), 23:26, 30/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Враль такой враль. Как будто FTP сервер не нужно устанавливать.

    Враль такой враль. Делает вид, будто на ФТП-сервере надо ещё страдать ваятельством скриптов для раскладки по нужным каталогам приходящих на ФТП-сервер файлов. Да ФТП-сервер файлы в нужные каталоги положит сам. Без скрипто-ваятельства. Но ведь не тут-то ж было: Враль да враль кругом. Путь далёк лежит. Там в степи глухой замерзал ямщик. Ямщик, не гони! (лошадей)

     
  • 4.184, anonymous (??), 10:34, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот надо мне файлы с тачки на тачку в нужный каталог передать

    OK, а чем SFTP не устраивает?

     
  • 2.222, Ананомизец (?), 17:51, 29/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Так вы про FTP или про TFTP?
     

  • 1.23, flexagoon (ok), 09:46, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А чем он лучше чем curl? (Ответ "чем curl" не принимается)
     
     
  • 2.24, iCat (ok), 09:50, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >А чем он лучше чем curl?

    Это немножечко разные инструменты, предназначены для немножечко разных задач...

     
     
  • 3.27, Аноним (53), 10:08, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Вот и надо было сосредотачиваться на "немножко" - зекркалировании вебсайтов, а загрузку по http переложить на libcurl.
     
  • 3.39, flexagoon (ok), 10:30, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну тут вот написано, что это "утилита для загрузки web-контента". Курл такую функцию тоже выполняет
     
     
  • 4.43, iCat (ok), 10:38, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Ну тут вот написано, что это "утилита для загрузки web-контента". Курл такую
    > функцию тоже выполняет

    Лопатой тоже можно и дрова рубить, и борщь хлебать... Но зачем?

     
  • 4.44, aa (?), 10:40, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    curl не умеет (намеренно) грузить рекурсивно. За счет чего наверное чуть полегче.
     
     
  • 5.116, flexagoon (ok), 16:32, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Есть флаг в нем для рекурсивной загрузки
     
     
  • 6.180, aa (?), 06:42, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    на сайте курла https://curl.se/docs/faq.html#Can_I_do_recursive_fetches_with пишут:

    3.15 Can I do recursive fetches with curl?

    No. curl itself has no code that performs recursive operations, such as those performed by wget and similar tools.

    There exists wrapper scripts with that functionality (for example the curlmirror perl script), and you can write programs based on libcurl to do it, but the command line tool curl itself cannot.

    кому верить?

     
     
  • 7.226, flexagoon (ok), 08:58, 30/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А, да, я неправ. юзал просто curl -L для сокращенных ссылок, думал что там что-то рекурсивное, а -L оказываестся просто учитывает 3XX Page Moved
     
  • 2.65, пох. (?), 11:54, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    ну и зря "не принимается".

    Он именно "чем curl" - тот ведь с неправильной-неправильной нешва6одкиной лицензией.

    Ну и еще раньше он был лучше тем что представлял собой в общих чертах законченную программу (curl по сути клей которым кое-как склеен мильен с тыщами 3d-party библиотек для поддержки всего мильена как-то поддерживаемых протоколов, что иногда все же может выйти боком). Но с чудо-версией 2 эта проблема, кажется, решена!

     
  • 2.155, Аноним (155), 21:08, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В отличии от curl, wget по умолчанию Сохраняет контент в файл, а не в stdou... большой текст свёрнут, показать
     
     
  • 3.174, Аноним (174), 03:25, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > добавляя ключи с неочевидными именами, ну и конечно надо не забывать это делать, и не забывать имена тех ключей, а они неочевидны, и всё равно останется неуверенность, а не забыл ли чего

    Вот это как раз не аргумент. Ибо 'alias wget="curl KEY1 KEY2"'

     
     
  • 4.197, PnD (??), 12:09, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, однострочник для имитации простого "wget <url>" будет лют и страшен.
    Придётся оборачивать (баша достаточно). Но зачем, пока жив "нормальный" wget?

    wget2 полез в нишу curl? Ну ок, посмотрим что из этого выйдет…

     
     
  • 5.215, Аноним (174), 17:28, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Нет, однострочник для имитации простого "wget <url>" будет лют и страшен.

    Я спорил только с тем, что надо запоминать тонну ключей. Нет, не надо, потому что достаточно один раз разобраться и сделать алиас или обёртку. Даже если она будет лютая и страшная :)

     
     
  • 6.218, Аноним (155), 23:53, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И потом этот алиас таскать по всем машинам, которыми пользуешься. И давать людям, которых консультируешь. И вставлять в скрипты, которые пишешь для других людей. И в документацию тоже.
     

  • 1.30, Аноним (30), 10:11, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    > было решено переделать всё с нуля

    На чистом Ц, а не на этом вашем ржавом расте!

     
     
  • 2.42, Аноним (42), 10:37, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    static void __attribute__ ((constructor)) http_init(void) ...
    static void __attribute__ ((destructor)) http_exit(void) ...

    Прям чистейший Ц, 999-й пробы 😆

     
     
  • 3.52, Аноним (53), 11:17, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Можнобыло бы и на чистом. C17 поддерживает аттримуты в стиле C++ [[gnu::constructor]] [[gnu::destructor]]
     

  • 1.35, Sergey (??), 10:21, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    > --limit-rate

    А что за место нее ?

     
     
  • 2.38, test (??), 10:30, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    trickle. Правда могут тогда забыть про многопоточность, но вам шашешчки или ехать.
     

  • 1.49, Аноним (49), 11:12, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Драсте народ, не подскажите каким образом, можно сохранять сегодня веб странички на комп (если кто-то это ещё делает вообще)? Нужно чтобы можно было очистить от лишнего и сохранить в pdf или html или в другой широко распространённый формат. Пользуюсь таким решением: https://www.printfriendly.com/, но он не всегда срабатывает, к тому же меняет оформление страницы.
    Есть ещё куча других способов, может существует что-то более современное и быстрое?
     
     
  • 2.62, Аноним (62), 11:51, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что мешает использовать браузер , отредактировав страницу расширением ? Например в фоксе пользуюсь https://addons.mozilla.org/en-US/firefox/addon/print-edit-we
     
     
  • 3.137, npc (?), 19:00, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не, не мешает, конкретно этот не смотрел, но напрягает все эти разрешения, или если код закрыт. Может есть какие-то проверенные временем способы ароде веб-архивов, а то эти расширения сегодня работают, завтра на них забъют, как к примеру mhtml
     
     
  • 4.167, Аноним (62), 01:43, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Все расширения-редакторы просто применяют к странице скрывающие css , а сохраняется без скрытого . Результат от расширения уже не зависит - открываться будет в любом браузере или просмотрщике .
     
  • 2.91, Аноним (91), 13:07, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Делаешь в фаерфоксе «Вид для чтения» Ctrl+Alt+R, если отработало правильно что происходит не всегда. Настраиваешь шрифты как хочешь и печатаешь в pdf. В pdf сохраняется все ссылки.
     
     
  • 3.136, npc (?), 18:54, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Так делал, но не на всех сайтах срабатывает, на некоторых же части картинок не отображается, а так хорошее решение, если коректно работало
     
  • 2.99, Аноним (99), 13:55, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://github.com/Y2Z/monolith например
     
     
  • 3.138, npc (?), 19:03, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Благодарю, нужно будет протестировать 👍
     
     
  • 4.148, Аноним (148), 20:11, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В деталях вот тут: https://github.com/iipc/awesome-web-archiving
    Монолит я взял оттуда потому, что это один бинарник, который на выходе выдаёт один html и всё. Но там есть решения и для знающих толк во всяком.
     
     
  • 5.172, npc (?), 02:48, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ох тыж ёшкин кот... Мне тут копать и копать 😁
     
  • 2.122, Gefest (?), 17:38, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Adobe Acrobat -  реккурсивно сохранит сцайт в pdf
     
     
  • 3.173, npc (?), 02:52, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не, я по части халявы
     

  • 1.56, YetAnotherOnanym (ok), 11:32, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Переход
    > Возможность
    > Поддержка

    Всё это, конечно, очень интересно, а что насчёт сайтов, состоящих из js-кода, загружающего контент по мере надобности?

     
     
  • 2.60, Аноним (60), 11:46, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Старайтесь их избегать.
     
  • 2.63, kusb (?), 11:53, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ох, получается придётся его исполнять, так? Да ещё и таким способом, наверное, как обычный браузер.
     
     
  • 3.66, Аноним (91), 11:54, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Только вот не надо в wget браузер вставлять, ок?
     
     
  • 4.69, пох. (?), 12:00, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Так я что-то не пойму, тебе контент нужен или не нужен?

    Нет, можешь не вставлять и пойти путем youtube-dl - САМ напиши парсер js (сююююрпрайз - в нем такой есть). Но когда ты помрешь, как его автор, последователям все равно придется выкинуть и "вставлять браузер", поскольку задача неподъемная даже в контексте трех поддерживаемых сайтов, а не то что универсального данлоадера.

     
     
  • 5.70, kusb (?), 12:05, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Можно не вставлять, но всё равно что-то браузероподобное должно командовать wgetом. "Скачай это, а теперь это".
     
     
  • 6.83, Аноним (91), 12:51, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Обычно скидываешь все нужные ссылки которые тебе выдаст js в файлик. И скармливаешь этот файлик со списком урлов wget'у и все работает. Можно даже куков докинуть если нужны.
     
     
  • 7.106, пох. (?), 14:09, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Обычно скидываешь все нужные ссылки которые тебе выдаст js в файлик.

    ну, предположим даже, это будут - ссылки ("допустим, внучек, в засаде") - немодный попался сайт с устаревшими надо-выбросить.

    И вот что у тебя "все работает" вот с таким вот интересным кодом:
    https://pastebin.com/GYkurV83

    ась?


    (прошу прощения у жабомакак за такой немодный код. Он еще и в оригинале non-js friendly, но эту мерзость я вырезал.)

     
  • 3.67, пох. (?), 11:56, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну так phantomjs вам не только написали для этого уже десять лет назад, но успели и закрыть проект.

    Пользуйтесь хромоногом, и не выпендривайтесь.

     
     
  • 4.86, Аноним (91), 12:57, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А когда гугл решит что эта функция не нужна, можно будет возвращаться к истокам.
     

  • 1.64, Аноним (91), 11:53, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    wget единственная нормальный утилита для загрузки web-контента. И от нормальной организации, а этот ваш васянский curl не нужен.
     
     
  • 2.68, пох. (?), 11:58, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Точна! Вот аноним правильно понимает линию партии!

    Правда, из него выбросили warc, но архивировать веб вам тоже нинужна. Он нишва6одный и вообще, кто не владеет прошлым, тот обойдется и без будущего.

     
     
  • 3.85, Аноним (97), 12:56, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Из оригинального wget ничего не выбросили. А в этот позже добавят, надеюсь.
     
     
  • 4.107, пох. (?), 14:11, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    позже выбросят шибко-оригинальный вгет. Он поддерживает немодные устаревшие форматы и протоколы, немедленно прекратить!

     
  • 4.144, OpenEcho (?), 19:42, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Выбросили очень важную опцию: --header
     
  • 2.225, fuggy (ok), 03:37, 30/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    wget для загрузки контента, а curl для выполнения запросов. Разная область применения и нечего тут сравнивать.
     

  • 1.84, Аноньимъ (ok), 12:55, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    >прекращения поддержки протокола FTP

    Не понимаю только, почему не на расте?

     
     
  • 2.87, Аноним (97), 13:01, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    _GNU_ Wget2
     
  • 2.89, Аноним (91), 13:04, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    У меня простой вопрос, совершенно не для холливара, не подумайте. А зачем на расте?
     
     
  • 3.100, пох. (?), 14:01, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    "а за что велосипедистов-то?!"

    Прекрасно, товарищи, так и запишем в протокол - по первому пункту повестки дня возражений не было.

     
  • 3.125, Аноньимъ (ok), 17:53, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > У меня простой вопрос, совершенно не для холливара, не подумайте. А зачем
    > на расте?

    Нет, вопрос в другом.
    Именно на расте и только на расте нужно было отказываться от FTP протокола.
    И почему они это не сделали именно на расте - вот главный вопрос!

     
  • 2.109, Алешка (?), 14:46, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Извините, все свободные PR-rust'ы уже третью неделю как заняты - начался новый учебный год.
     

  • 1.103, Аноним (103), 14:07, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > Вынос функциональности в библиотеку libwget

    Спасибо за то, что хотя бы кто-то пишет грамотно "функциональность". Повсеместное использование "функционал" всегда вызывало у меня ассоциацию с математическим термином.

     
     
  • 2.190, Ordu (ok), 11:33, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Чо, с троллингом настолько туго, что приходится докапываться к грамматике грамотного предложения?

    Мой тебе совет, начни доказывать, что не правильно писать "функциональность", что "функционал" правильнее. Корма тут же набежит столько, сколько ты прожевать не сможешь.

     

  • 1.108, Ann None (?), 14:33, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    новый gnu wget. не поддерживает ftp. брать как всегда на ftp.gnu.org.
     
     
  • 2.110, пох. (?), 15:30, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это безобразие надо срочно исправить!

    Полагаю, работы уже начаты - скоро ftp.gnu.org тоже будет поддерживать только http. Причем только http/3, остальные немодны и небезопасны, вам могут подсунуть неправильную gpl!

     
     
  • 3.160, kusb (?), 21:32, 27/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    app://gnu.pages.appstore.google.zog.org.il
     
  • 2.169, Аноним (165), 01:48, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Только вот давно уже ftp.gnu.org:21 -> cannot connect, ftp.gnu.org:80 -> connected to ftp.gnu.org.
     
     
  • 3.181, Михрютка (ok), 09:24, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    да вроде нет.

    >netstat -n | grep 21

    TCP    xx.xx.xx.xx:64585      209.51.188.20:21       ESTABLISHED

     
     
  • 4.199, PnD (??), 12:19, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так он браузером пытался. Открыть http на 21-м порту. (Возможно, даже с ssl, но это не точно.)
    * Ну, в моём-то "ftp://ftp.gnu.org/" (пока?) работает.
     
  • 3.198, Аноним (191), 12:18, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    $ lftp ftp.gnu.org
    lftp ftp.gnu.org:~> ls                                                            
    lrwxrwxrwx    1 0        0               8 Aug 20  2004 CRYPTO.README -> .message
    -rw-r--r--    1 0        0           17864 Oct 23  2003 MISSING-FILES
    -rw-r--r--    1 0        0            4178 Aug 13  2003 MISSING-FILES.README
    -rw-r--r--    1 0        0            2991 Oct 03  2019 README
    ...

    Похоже твой провайдер тебя кинул на деньги, обещал доступ в интернет и обманул :-)

     
  • 2.211, Moomintroll (ok), 15:00, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > брать как всегда на ftp.gnu.org

    https://ftp.gnu.org

     

  • 1.157, rm2 (?), 21:09, 27/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это называется second system effect, а также починка несломанного.
     
  • 1.193, Аноним (193), 11:59, 28/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Жаль что ftp зарезали. Только вчера файлы по ftp скачивала
     
     
  • 2.208, Аноним (206), 14:51, 28/09/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А зачем FTP когда есть sftp или даже WebDav смонтированные как диск?
    FTP это исключительно в качестве истории уже.
     
     
  • 3.230, anonimus (?), 23:15, 04/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    стандарты придуманы для унификации доступа с любых систем, а не для пижонства
     

  • 1.209, Аноним (206), 14:52, 28/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Биндинги к языкам уже есть Python, php, Java, Ruby?
     
  • 1.216, Vladimir Romanov (?), 17:40, 28/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я думал что все ReGet-оподобое уже вымерло. Надо было RBC доделать ReGet под Linux
     
  • 1.217, x3who (?), 22:55, 28/09/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    что примечательно, только один человек подметил: "Выбросили очень важную опцию: --header "
     
     
  • 2.219, Аноним (155), 00:05, 29/09/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Не, я тоже подметил, только не написал ничего. И молча понадеялся, что они этому ключу предоставили какую-то замену. Может просто переименовали в какой-нибудь --add-request-header. Всё-таки --header - это довольно общее понятие, много чего может означать. Например, вывести только хидеры от сервера, а контент не сохранять. Или сохранить хидеры вместе с контентом. Ещё под хидером иногда понимают один хидер, одну строчку, а иногда весь блок хидеров, все строчки.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру