Как скачивать с сайтов полезные советы

БЕЗ скриптов, макросов, регулярных выражений и командной строки.

Эта статья пригодится студентам, которые хотят скачать все картинки с сайта разом, чтобы потом одним движением вставить их в Power Point и сразу получить готовую презентацию. Владельцам электронных библиотек, которые собирают новые книги по ресурсам конкурентов. Просто людям, которые хотят сохранить интересный сайт/страницу в соцсети, опасаясь, что те могут скоро исчезнуть, а также менеджерам, собирающим базы контактов для рассылок.

Есть три основные цели извлечения/сохранения данных с сайта на свой компьютер:

• Чтобы не пропали;
• Чтобы использовать чужие картинки, видео, музыку, книги в своих проектах (от школьной презентации до полноценного веб-сайта);
• Чтобы искать на сайте информацию средствами Spotlight, когда Google не справляется (к примеру поиск изображений по exif-данным или музыки по исполнителю).

Ситуации, когда неожиданно понадобится автоматизированно сохранить какую-ту информацию с сайта, могут случиться с каждым и надо быть к ним готовым. Если вы умеете писать скрипты для работы с утилитами wget/curl, то можете смело закрывать эту статью. А если нет, то сейчас вы узнаете о самых простых приемах сохранения/извлечения данных с сайтов.

1. Скачиваем сайт целиком для просмотра оффлайн

В OS X это можно сделать с помощью приложения HTTrack Website Copier, которая настраивается схожим образом.

Пользоваться Site Sucker очень просто. Открываем программу, выбираем пункт меню File -> New, указываем URL сайта, нажимаем кнопку Download и дожидаемся окончания скачивания.

Чтобы посмотреть сайт надо нажать на кнопку Folder, найти в ней файл index.html (главную страницу) и открыть его в браузере. SiteSucker скачивает только те данные, которые доступны по протоколу HTTP. Если вас интересуют исходники сайта (к примеру, PHP-скрипты), то для этого вам нужно в открытую попросить у его разработчика FTP-доступ.

2. Прикидываем сколько на сайте страниц

Перед тем как браться за скачивание сайта, необходимо приблизительно оценить его размер (не затянется ли процесс на долгие часы). Это можно сделать с помощью Google. Открываем поисковик и набираем команду site: адрес искомого сайта. После этого нам будет известно количество проиндексированных страниц. Эта цифра не соответствуют точному количеству страниц сайта, но она указывает на его порядок (сотни? тысячи? сотни тысяч?).

3. Устанавливаем ограничения на скачивание страниц сайта

Если вы обнаружили, что на сайте тысячи страниц, то можно ограничить число уровней глубины скачивания. К примеру, скачивать только те страницы, на которые есть ссылка с главной (уровень 2). Также можно ограничить размер загружаемых файлов, на случай, если владелец хранит на своем ресурсе tiff-файлы по 200 Мб и дистрибутивы Linux (и такое случается).

Сделать это можно в Settings -> Limits.

4. Скачиваем с сайта файлы определенного типа

В Settings -> File Types -> Filters можно указать какие типы файлов разрешено скачивать, либо какие типы файлов запрещено скачивать (Allow Specified Filetypes/Disallow Specifies Filetypes). Таким образом можно извлечь все картинки с сайта (либо наоборот игнорировать их, чтобы места на диске не занимали), а также видео, аудио, архивы и десятки других типов файлов (они доступны в блоке Custom Types) от документов MS Word до скриптов на Perl.

5. Скачиваем только определенные папки

Если на сайте есть книги, чертежи, карты и прочие уникальные и полезные материалы, то они, как правило, лежат в отдельном каталоге (его можно отследить через адресную строку браузера) и можно настроить SiteSucker так, чтобы скачивать только его. Это делается в Settings -> Paths -> Paths to Include. А если вы хотите наоборот, запретить скачивание каких-то папок, то их адреса надо указать в блоке Paths to Exclude

6. Решаем вопрос с кодировкой

Если вы обнаружили, что скачанные страницы вместо текста содержат кракозябры, там можно попробовать решить эту проблему, поменяв кодировку в Settings -> Advanced -> General. Если неполадки возникли с русским сайтом, то скорее всего нужно указать кодировку Cyrillic Windows. Если это не сработает, то попробуйте найти искомую кодировку с помощью декодера Лебедева (в него надо вставлять текст с отображающихся криво веб-страниц).

7. Делаем снимок веб-страницы

Сделать снимок экрана умеет каждый. А знаете ли как сделать снимок веб-страницы целиком? Один из способов — зайти на web-capture.net и ввести там ссылку на нужный сайт. Не торопитесь, для сложных страниц время создания снимка может занимать несколько десятков секунд. Еще это можно провернуть в Google Chrome, а также в других браузерах с помощью дополнения iMacros.

Это может пригодиться для сравнения разных версий дизайна сайта, запечатления на память длинных эпичных перепалок в комментариях или в качестве альтернативы способу сохранения сайтов, описанного в предыдущих шести пунктах.

8. Сохраняем картинки только с определенной страницы

Идем на owdig.com, указываем нужную ссылку, ждем когда отобразятся все картинки и кликаем на оранжевую полоску справа, чтобы скачать их в архиве.

9. Извлекаем HEX-коды цветов с веб-сайта

Идем на colorcombos.com и набираем адрес искомой страницы и получаем полный список цветов, которые использованы на ней.

10. Извлекаем из текста адреса электронной почты

Предположим, что вам надо сделать рассылку по сотрудникам компании, а их email-адреса есть только на странице корпоративного сайта и копировать их оттуда в ручную займет лишние 20-30 минут. В такой ситуации на помощь приходит сервис emailx.discoveryvip.com. Просто вставьте туда текст и через секунду вы получите список всех адресов электронной почты, которые в нем найдены.

11. Извлекаем из текста номера телефонов

Идем на convertcsv.com/phone-extractor.htm, копируем в форму текст/html-код, содержащий номера телефонов и нажимаем на кнопку Extract.

А если надо отфильтровать в тексте заголовки, даты и прочую информацию, то к вам на помощь придут регулярные выражения и Sublime Text.

Есть и другие способы извлечения данных с сайтов. Можно попросить какую-ту информацию непосредственно у владельца ресурса, cохранять части веб-страниц с помощью iMacros и парсить сайты с помощью Google Apps Script. Еще можно пойти традиционным путем и написать для парсинга bash-скрипт, но статей об этом на iPhones.ru пока нет.

Сайты с бесплатным программами для Windows нередко становятся источниками опасных вирусов, загружаемых вместе с нужным вам ПО или же вместо него. Защититься от таких угроз и быть уверенным, что под кнопкой скачивания не скрывается зловред, позволяют специальные сервисы для проверки репутации веб-ресурсов. Именно с их помощью и был создан этот список безопасных источников.

1. Ninite

Ninite — это самый лёгкий способ получения целого набора бесплатных программ. На сайте необходимо лишь отметить нужный софт галочкой и загрузить созданный специально для вас установщик. Его запуск активирует автоматическое скачивание и инсталляцию выбранного ПО на ваш компьютер.

Установка происходит в фоновом режиме без каких-либо подтверждений и дополнительных соглашений. С помощью этого же файла весь полученный софт впоследствии можно обновлять, загружая свежие версии программ.

Ninite →

2. Softpedia

Это один из крупнейших веб-сайтов, предоставляющих возможность поиска и загрузки нужного ПО. В его библиотеке сотни тысяч различных приложений, утилит и драйверов. Все они регулярно обновляются, чтобы пользователи получали только свежие и актуальные версии.

Softpedia отличается максимально удобным и быстрым поиском с привязкой к операционной системе или лицензии ПО. Есть сортировка результатов по категориям, рейтингу, количеству скачиваний и новинкам. Никакой регистрации для загрузки программ не потребуется.

Softpedia →

3. MajorGeeks

Пусть вас не пугает сильно устаревший дизайн этого сайта — он не заброшен. MajorGeeks обновляется практически каждый день, пополняя базу ПО свежими версиями уже доступных для загрузки приложений и абсолютно новыми продуктами.

В левом блоке сайта доступен поиск программ по разделам, а чуть ниже — по названию. Справа всегда можно найти рейтинг самого популярного. В основном блоке по центру отображаются самые свежие публикации, а также новости, обзоры и гайды.

MajorGeeks →

4. FileHippo

Ещё один довольно старый, но всё ещё вполне актуальный сайт с более чем 20 000 различных программ. Он ежедневно пополняет базу свежими версиями ПО. При необходимости всегда можно загрузить любую старую сборку приложения, если, к примеру, не понравилась новая.

Скачивать нужные программы можно как по отдельности, так и через фирменный инсталлятор. Последний позволит автоматически обновлять все установленные через FileHippo приложения.

Перейти FileHippo →

5. Download Crew

Несмотря на довольно загромождённый вид главной страницы, Download Crew может быть очень полезен для поиска нишевых программ. Убедиться в этом можно, просто открыв список популярного в каждом из доступных разделов. Есть также обычный поиск по словам.

Каждая программа в списке по категориям дополняется короткой характеристикой с указанием её главных особенностей. Это позволяет не тратить время на переходы и изучение полного описания. Даже с минимальными знаниями английского можно сразу понять, о чём идёт речь.

Download Crew →

6. FileHorse

Этот сайт не содержит тысячи вариантов различных программ на выбор. Вместо этого, он фокусируется только на самом полезном и качественном ПО, которое чаще всего и ищут пользователи. Антивирусы, браузеры, редакторы, проигрыватели — всё это здесь есть, а вот узкоспециализированных приложений нет.

На главной странице сайта есть перечень самого популярного контента во всех представленных категориях. Любой список можно развернуть и посмотреть полностью.

FileHorse→

7. FilePuma

Этот сайт похож на предыдущий названием и разделами с ПО, но отличается меньшим количеством рекламы и более простым интерфейсом. В помощь пользователям на главной предусмотрен виджет автоматического перевода страницы при помощи «Google Переводчика». Он может быть полезен тем, кто совсем далёк от английского языка.

Как и многие другие подобные ресурсы, FilePuma предлагает собственную утилиту для обновления всех установленных с сайта программ.

FilePuma →

8. SnapFiles

SnapFiles в первую очередь интересен своими подборками. В их числе «Выбор редактора», «Топ 100 самых скачиваемых», «Маст-хэв» и другие. Отдельно стоит выделить список лучшего портативного ПО, не требующего установки. Такие программы порой на вес золота.

Нередко на SnapFiles появляются пользовательские мини-обзоры, доступные в отдельном разделе сайта. Из них можно узнать немало интересных деталей, не указанных в официальном описании на сайте.

SnapFiles →

Читайте также

• Как обнаружить и удалить скрытый майнер в Windows →
• Как очистить Windows от мусора: 5 бесплатных инструментов →
• 5 бесплатных приложений для удобной и приятной работы c Windows 10 →

Приветствую всех читателей блога !! По мере освоения компьютера мы стремимся узнавать все больше и больше, и сегодня мне хотелось бы рассказать, для тех, кто не знает, как скачать сайт себе на компьютер!!

Для чего нужно вообще скачивать сайты себе на компьютер спросите вы. Иногда бывает такое, что вам понравился какой-то сайт, и вы хотели бы его изучить, но по какой-то причине, у вас нет постоянного доступа в интернет.

Вот тогда вам и пригодиться специальная программа для скачивания сайтов, которая называется HTTrack Website Copier и скачать эту программу вы можете вот здесь.

Скачав сайт себе на компьютер, вы можете, уже спокойно изучать его и интернет вам будет не нужен. Это бывает очень полезно в некоторых случаях. На своем примере могу сказать, что когда я выезжал на дачу, и у меня еще не было интернета, то такой способ мне очень помогал, я перекачал в свое время кучу сайтов, и потом на своем ноутбуке я спокойно их просматривал!!! Это был выход.

Как скачать сайт легко и просто.

Что же, приступим к изучению программы, и тому как скачать сайт на ваш компьютер. Первое что нам нужно будет сделать, это скачать программу и установить ее. Как ее устанавливается не стану описывать, так как установка стандартная, сложного ни чего нет.

Единственное, что программа откроется на английском языке, и вам нужно будет сменить язык, для этого в настройках выберите «Выбор языка» и откроется окно, там выберите русский и нажмите «Ок». Все, теперь программа будет на русском языке, и будет все более понятно, хотя сложного и так нет ни чего!! Но перед этим вы ее перезапустите, что бы изменения вступили в силу. См. рис.

1.Что же, запускаем программу HTTrack Website Copier и видим перед собой вот такое окно. См. рис. И жмем на «Далее».

2. В открывшемся окне указываем имя проекта. Его категорию и то место, куда вы хотели бы сохранить сайт. См. рис.

3.Дальше указываем адрес сайта, который вы хотите сохранить себе на компьютер, и переходите во вкладку «Задать параметры». См. рис.

4.В открывшемся окне переходим вверху во вкладку «Фильтры» и ставим три галочки так же как на скриншоте, жмем на «Ок». Затем снова жмем «Далее». См. рис.

5.Перед вами откроется окно как на рисунке, и вам нужно будет нажать на «Готово» и загрузка сайта начнется. Когда загрузка закончиться, тогда программа вас проинформирует сигналом. См. рис.

Сайт вы можете найти в папке, которую вы указали изначально, вам только останется открыть эту папку и наслаждаться просмотром.

Сегодня вы узнали как легко и просто можно скачать сайт, и затем просматривать его на своем компьютере без доступа к интернету. Сейчас в интернете множество различных программ для того, чтобы скачивать сайты, но программа HTTrack Website Copier понравилась мне больше всех своей простотой и скоростью загрузки.

На этом свой пост заканчиваю, сегодня вы узнали, как скачать сайт на компьютер, надеюсь, что вам это пригодиться, желаю всем удачи!!

Читаем — это полезно!!

• Как вставить символ, который отсутствует на клавиатуре?
• Как можно быстро, сохранить веб страницу в pdf. Два способа.
• Как настроить панель инструментов рабочего стола, для удобной работы.
• Как поставить пароль на WinRAR, что бы защитить ценный архив??!!
• Как поставить пароль на включение компьютера.
• Как правильно разделить жесткий диск с помощью программы Acronis Disk Director Suite.

С уважением, Александр.

Посмотрите еще интересные записи:

Полезные советы, Работа с windows скачать сайт