💾 Archived View for tilde.team › ~rami › wget.gmi captured on 2024-05-10 at 11:36:48. Gemini links have been rewritten to link to archived content
⬅️ Previous capture (2023-01-29)
-=-=-=-=-=-=-
רמי
SUBJECT: Wget: Алиас для повышения уровней приватности и анонимности
AUTHOR: Rami Rosenfeld
DATE: 15/10/22
TIME: 01.00
LANG: ru, en
LICENSE: GNU FDL 1.3
TAGS: gnu, gnome, software, opensource, linux, system, man, manual, bash, download, web, internet, security, privacy, wget
Принципы работы пакета wget, предназначенного для загрузки веб-контента, хорошо описаны как в официальном руководстве, так и в многочисленных примерах. Поэтому я не буду вдаваться в отдельные подробности и описания опций, но приведу алиас, чья задача - повысить пользовательскую приватность и анонимность при работе с ним.
В .bashrc необходимо разместить следующий алиас и затем перегрузить Bash.
АЛИАС
alias download='wget --https-only --inet4-only --tries=10 --progress=bar --server-response --random-wait --no-cookies --no-hsts --no-cache --header="Accept-Language: en" --user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36 Edge/12.0" -P "/home/user/Downloads"'
--https-only - использовать только защищенное (HTTPS) соединение;
--inet4-only - использовать только IPv4;
--server-response - показывать ответ сервера для большей информативности (полезно при ошибках и т.п.);
--header="Accept-Language: en" - маскировка отсылаемого заголовка (язык: английский);
--no-cookies - блокирование приема и сохранения cookies (из-за возможности отслеживания и деанонимизации);
--no-hsts - блокирование приема и сохранения hsts-cookies ("суперкукиз");
--no-cache - запрет скачивания из кэша сервера (там может находиться устаревшая версия файла);
--tries=10 - количество попыток скачивания;
--random-wait - произвольные паузы между попытками загрузки в случае ее обрыва; опция необходима, чтобы сервер не прекратил соединение, определив автоматическое/пакетное скачивание;
--progress=bar - показывать график загрузки;
--user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36 Edge/12.0" - маскировка UA под один из существующих браузеров и иную операционную систему (не забывайте своевременно обновлять это поле);
-P "/home/user/Downloads" - каталог для загрузки пользователя user.
Примечание: Используйте полный путь для указания каталога-цели, предназначенного для загрузки, т.е. /home/user/... - как мне кажется, wget не очень уверенно работает со знаком тильды: ~/
Wget автоматически поддерживает общесистемные и пользовательские прокси-серверы, указанные в переменных окружения; например: http_proxy, https_proxy, ftp_proxy. Подробнее см. материал "RedHat (RHEL, Fedora, CentOS): Установка, активация и настройка сетевого ПО и сервисов" - подразделы "Общесистемный прокси для всех пользователей" и "Общесистемный прокси для отдельного пользователя".
Примечание: Обратите внимание на строку "Подключение к 10.1.10.1:8118 - соединение установлено" - она свидетельствует о том, что загрузка успешно автоперенаправлена на прокси-сервер, указанный в общесистемных переменных окружения.
download https://rami.tilde.team/index.htm
Подключение к 10.1.10.1:8118 - соединение установлено. Proxy-запрос отправлен. Ожидание ответа… HTTP/1.1 200 OK Server: nginx/1.18.0 (Ubuntu) Date: 12 Oct 2022 00:01:04 GMT Content-Type: text/html Transfer-Encoding: chunked Connection: keep-alive Vary: Accept-Encoding Strict-Transport-Security: max-age=31436000; includeSubDomains Длина: нет данных [text/html] Сохранение в: «/home/user/Downloads/index.htm» index.htm [ <=> ] 3,04K --.-KB/s за 0s 2022-10-12 00:01:04 (48,12 MB/s) - «/home/user/Downloads/index.htm» сохранён
Подробнее см.: man wget
🄯 Rami Rosenfeld, 2022. GNU FDL 1.3.