WebDevil. Выкачиваем сайты целиком
Сохранить ту или иную страницу веб-сайта к себе на компьютер очень просто при помощи соответствующей функции веб-браузера. Но вот как быть при необходимости скачать целый сайт, со всей иерархией ссылок? Даже самые умелые веб-браузеры этого толком не умеют (ну, пожалуй, кроме Firefox с его тысячами плагинов). Для Mac OS X разработчиками выпускается целый ряд специализированных приложений, предназначенных как раз для этих целей. Одним из представителей этого класса программ является условно-бесплатная WebDevil от Chaotic Software, о которой мы и хотим рассказать в данном обзоре.
По сути, WebDevil является графической оболочкой популярного кроссплатформенного консольного приложения для загрузки файлов по сети под названием Wget.
Рабочее окно WebDevil состоит из поля для ввода веб-адреса выбранного сайта, поля для ввода учетных данных, если для доступа к сайту требуется авторизация, мини-панель управления с кнопками доступа к настройкам данной сессии и просмотру лог-файла, а также кнопкой запуска процесса скачивания и, собственно, информационного поля, в котором будут отображаться скачиваемые объекты.
Программа сама по себе проста, но по причине обилия опций в настройках сессии закачки и отсутствия русской локализации, первоначальная настройка WebDevil может вызвать трудности у начинающих пользователей.
Процесс загрузки сайта выглядит примерно так: пользователь указывает начальный адрес сайта, задает необходимые параметры для скачивания, при необходимости указывает учетные данные для авторизации на выбранном сайте, а затем нажимает на кнопку Start. В нижнем окне программы отображается список файлов сайта, уже загруженных на жестких диск пользователя. Для каждого файла указывается его имя, расширение, размер и веб-адрес.
Нажатием на небольшую незаметную кнопку в виде треугольника, расположенную справа от кнопки запуска загрузки сайта, вызывается дополнительная панель, позволяющая не выходя из программы просмотреть выбранный файл из списка, найти его на диске через Finder или открыть в ассоциированной с ним программе. Изображения, как правило, можно просмотреть в виде миниатюры прямо в этой панели.
Дополнительно можно вызвать браузер изображений для просмотра всех загруженных графических файлов. Достаточно открыть в нем через Finder или просто перетащить туда папку с загруженным сайтом, как будет показан список миниатюр всех изображений из этой папки. Изображения также можно просмотреть или найти его на диске с помощью Finder или удалить из папки загрузки. Учитывая то, что сайты, как правило, имеют очень разветвленную систему папок, такой браузер придется очень кстати.
По умолчанию, в браузере будут показаны абсолютно все изображения, независимо от их размера. Чтобы этого не получилось, можно и нужно использовать фильтры браузера изображений, позволяющие отфильтровать изображения, согласно заданным размерам или объему файла.
Сразу после начала процесса загрузки, WebDevil записывает в лог-файл все свои действия, которые можно посмотреть, нажав на соответствующую кнопку на мини-панели управления.
После окончания загрузки или если пользователь сам прервал ее, будет предложено сохранить файл с данными и настройками для загрузки данного сайта. В последствии, если пользователь решит докачать сайт или скачать новые файлы, появившиеся на этом сайте, ему будет достаточно два раза кликнуть мышкой на сохраненном файле настроек и нажать кнопку Start. WebDevil проанализирует список уже загруженных файлов и начнет скачивать те, которые еще не были загружены или новые, вновь появившиеся файлы. Если же состав файлов на сайте не изменился, то повторно ничего загружаться не будет.
WebDevil умеет не просто загружать сайты. Как уже говорилось выше, он имеет массу опций в настройках и позволяет гибко настраивать условия загрузки выбранного сайта. Рассмотрим доступные вкладки с настройками предстоящей закачки.
GENERAL
Загрузка сайта может осуществлятся с сохранением структуры папок на на оригинальном сайте, либо с размещением всех файлов в одной папке. Гибко настраивается глубина чтения ссылок на сайте. Проще говоря WebDevil сохранит не только саму страницу, на которой размещена та или иная ссылка, но и страницу, находящуюся по этой ссылке, а если на этой странице тоже есть ссылка, то приложение сохранит и информацию по следующей ссылке. И так далее, пока количество переходов по ссылкам не перестанет удовлетворять настройкам.
Для большего удобства пользователя, при просмотре уже загруженного сайта WebDevil может переназначить все ссылки в загруженных страницах так, чтобы они указывали на уже загруженные объекты в папке загрузки, а не на оригиналы в сети.
Некоторые сайты не позволяют скачивать свое содержание программами для загрузки сайтов. Для того, чтобы преодолеть данное ограничение, WebDevil может представляться сайту не своим именем, а любым другим, что позволяет обойти препятствие. По умолчанию приложение настроено на маскировку под веб-браузер Mozilla, но пользователь может выдать программу за любой другой браузер, главное только знать как правильно сделать описание.
DOMAINS
На любом сайте есть внешние ссылки, которые ведут на другие сайты. На данной вкладке пользователь может настроить «белые» и «черные» списки сайтов, файлы с которых он хотел бы или, наоборот, не хотел бы скачивать. Полезно при загрузке сайтов, на страницах которых могут быть ссылки на порнографические или иные небезопасные ресурсы.
EXCLUDE
Своеобразный «черный» список для содержания загружаемого сайта. Позволяет исключить из списка загрузки файлы с определенным расширением, папки, содержащие в своем названии определенные слова и HTML-файлы с определенными тегами. Будет загружено все, что не подходит под критерии данного списка.
INCLUDE
Полная противоположность предыдущей вкладке. На этой вкладке, наоборот, указываются те расширения файлов, названия папок и теги HTML-файлов, которые должны быть загружены. Все остальные файлы, которые не подходят под указанные критерии, при загрузке сайта будут пропущены.
FILES
В этой вкладке указывается папка назначения на жестком диске, куда будет загружен сайт и настраивается поведение программы в случае загрузки дублирующих друг друга файлов.
FTP
WebDevil умеет обрабатывать не только HTTP-, но и FTP-ссылки. Именно для настройки обработки FTP-ссылок и служит данная вкладка.
Возможности WebDevil не ограничиваются одним только скачиванием веб-сайтов. Его можно использовать в качестве своеобразного менеджера загрузок файлов, открыв через Finder или перетащив на окно программы список ссылок на отдельные файлы. Для большей совместимости разработчики рекомендуют использовать текстовые файлы в формате RTF, созданные в TextEdit. Открыв или перетащив список, указываем папку назначения и, если требуется, учетные данные сайта, затем нажимаем кнопку Start.
При загрузке файлов, имена которых отличаются друг от друга только порядковым номером, имеет смысл воспользоваться функцией инкрементальной загрузки файлов. Данная функция позволяет, указав начальный файл, формат числовой нумерации, нужное количество файлов и папку назначения, получить на выходе нужное количество загруженных файлов. Данная функция может быть полезна при скачивании, к примеру, определенного количества фотографий с цифровой камеры, размещенных на каком-либо сайте.
В нелегком деле просмотра и сортировки медиафайлов из загруженной копии сайта пользователю поможет Media Viewer & Sorter, который также входит в состав WebDevil. Он позволяет просматривать файлы из перенесенной на окно программы или открытой через Finder папки с загруженным сайтом и сортировать их в папки, указанные в нижней выплывающей панели. Для задания папки назначения достаточно перетащить нужную папку на незанятое место. По замыслу разработчиков, в левой части окна должен отображаться выбранный текстовый, графический или иной медиафайл, но, к сожалению, функция показа работает некорректно. При просмотре текстовых файлов отсутствуют элементы управления прокруткой текста, а графические файлы не отображаются вообще, максимум, что удалось получить, так это то, что картинка мелькнет на долю секунды и все. Очень досадный недостаток при возможности удобной сортировки файлов, тем более что программа коммерческая и стоит определенную сумму денег.
Просмотр видеофайлов из папки загруженного сайта возможен в отдельном окне QuickTime MovieView, достаточно лишь перетащить выбранный видеофайл на окно просмотра.
Из прочих функций WebDevil хотелось бы отметить возможность создания закладок на избранные сайты, чтобы потом не тратить время на повторное указание веб-адреса сайта и прочие формальности, а, выбрав имя сайта из меню закладок, сразу приступить к загрузке его содержимого.
Все функции программы доступны через опции в меню-баре или посредством шорткатов, которые можно узнать в том же меню-баре возле соответствующих функций.
Обобщая сказанное выше, можно сделать вывод о том, что WebDevil — достаточно функциональное приложение с гибкими настройками загрузки сайтов и файлов, но отсутствие русской локализации и не особо выдающийся в плане дизайна интерфейс могут отпугнуть начинающих пользователей Mac OS X. При хороших возможностях просмотра и сортировки содержания загруженного сайта программа огорчает досадными проблемами при просмотре графических и текстовых файлов.
