Искусство телепортации
АрхивСетевое окружение (архив)Медленный модем, плохой коннект, утомительное ожидание загрузки очередной "тормозной" страницы, безрезультатное блуждание по ссылкам и сопутствующая трата денег и времени... Если эти симптомы вам знакомы, то пора использовать offline-браузеры.
Зачем вам может потребоваться offline-браузер?
Всем привычная технология работы в Интернет в режиме online далеко не всегда оправдана, поскольку требует значительного времени пребывания в сети (что достаточно дорого) и всецело привязывает вас к скорости загрузки на том или ином канале. Я думаю, всех без исключения немало раздражает кажущееся бесконечным ожидание загрузки какой-нибудь очередной "тормозной" страницы. Кроме того, вспомните случаи, когда вы с завидным упорством часами перемещались по ссылкам только для того, чтобы в конце концов не обнаружить ничего полезного.
Работа же в режиме offline имеет свои неоспоримые преимущества: при просмотре тех же страниц вы значительно меньше тратите денег, экономите время за счет более быстрой загрузки, а самое главное - не занимаете телефонную линию. Основным инструментом работы со страницами в отключенном от интернета режиме являются offline-браузеры. Сейчас их появилось достаточно большое количество.
Лидирующее положение среди offline-браузеров законно занимает программа Teleport Pro (версия 1.29) от Tennyson Maxwell Information Systems. Размер архива всего 866 Кб. Программа является полностью автоматическим, перемещающимся по ссылкам и копирующим файлы роботом, который может достать все файлы, которые вам необходимы, из любой части сети. Статус программы - shareware (условно-бесплатная), и стоит она 39.95$. Вначале вы получаете лицензию на 40 запусков программы, после которых срок действия лицензии и работа программы заканчиваются. При желании вы затем проводите регистрацию программы, которая и обойдется вам в 39.95$.
Основные характеристики Teleport Pro
Предназначена программа, как это видно из названия, для телепортации - она телепортирует "кусок интернета" в конкретное, а главное, быстродоступное место на вашем винчестере. К примеру, за 10-15 минут вы сможете сбросить на диск серию статей за год из вашего любимого журнала или подборку новостей с какого-либо новостного сайта, практически без вашего участия. И посмотреть их будет можно, когда вам заблагорассудится, а не среди ночи, когда время в сети самое дешевое.
Программа обладает понятным интерфейсом и всеми необходимыми функциями. Изначально она англоязычная, но специально для тех, кто предпочитает читать по-русски, на этом сайте есть профессионально переведенные на русский хелпы к наиболее распространенным программам, в том числе и к Teleport Pro.
Teleport полностью автоматизирует все задачи, связанные с поиском, копированием и скачиванием данных в Интернет. Кратко перечислю основные направления применения программы.
- Полное скачивание нужного сайта для последующего просмотра в режиме off-line (“Create a browsable copy of a website on my hard drive”). При этом просмотреть перекачанный сайт можно будет намного быстрее, чем обычно.
- Создание точной копии, или “зеркала” сайта, с полным сохранением всей его внутренней структуры (“Duplicate a website, including directory structure”).
- Поиск на сайте файлов заданного размера или типа (“Search a website for files of a certain type”).
- Исследование всех сайтов, связанных с заданным сайтом (“Explore every site linked from a central site”). В результате происходит автоматическое составление списка файлов сайта. Такой проект выполняется очень быстро, т.к. сами файлы не скачиваются.
- Скачивание одного или нескольких файлов с известными адресами (“Explore every site linked from a central site”).
- Организация поиска по ключевым словам на сайте (“Search a website for keywords”). В результате файлы будут скачиваться только в том случае, когда на них обнаружатся указанные ключевые слова.
Одно из явных достоинств Teleport Pro - это наличие мастера для создания проекта. Конечно, можно создать проект и вручную, но мастер в значительной мере упростит данную процедуру, тем более, что в случае необходимости можно после создания проекта подправить его параметры вручную (Project - Project Properties).
О технологии работы
Принцип работы программы довольно прост: нужно определить адрес, с которого следует начать поиск, и тип файлов, которые вас интересуют. После этого Teleport запускает робота, который просматривает все страницы указанного сайта со всеми ссылками. Все ресурсы, встречающиеся роботу по пути его следования и подходящие под критерии отбора, сохраняются на диске. Таким образом, можно сделать у себя на винчестере полную копию нужного сайта или только той его части, которая представляет для вас реальный интерес.
Teleport может одновременно взаимодействовать с 10 файлами, тем самым заставляя работать модем на полную мощность. При этом часть файлов будет читаться, другие проверяться, третьи сохраняться, и все это одновременно. Визуально данный процесс можно наблюдать на панели каналов, представляющей из себя ряд кнопок с индикаторами. Кнопки на панели светятся разными цветами и могут превращаться в круговые диаграммы (красный цвет кнопки означает соединение с сервером, белый – свободно, зеленый – запрос файла, а синий – его получение).
Достоинства, о которых нельзя умолчать
1. Работа по расписанию (Project - Schedule)
Согласитесь, что не очень приятно вскакивать среди ночи, чтобы включить программу, а затем, спустя час, опять вставать, чтобы отключиться от сети. В принципе, все эти операции (запуск конкретного проекта, выполнение его и последующее отключение) можно реализовать в Teleport Pro.
Самое простое – это подключение к сети при старте любого проекта и отключение от интернета после успешного завершения проекта или прерывания его пользователем (File - Connections; включить опцию “Disconnect whenever a project is completed or stopped”). При этом должен быть включен флажок “Use this connection” и выбран установленный вариант соединения с интернетом. Обязательно нужно указать количество попыток дозвона в окне “Redial tries”.
Можно запускать проекты друг за другом или через определенный промежуток времени по внутреннему расписанию. Для этого достаточно активизировать программу работы по расписанию (Project - Schedule; кнопка Activate), а затем добавить проекты в расписание, установив особенности их выполнения.
2. Скачивание до определенного уровня
Данная опция позволяет скачать страницу со ссылками на определенную глубину. Для установки степени глубины скачивания нужно на имени проекта вызвать контекстное меню, выбрать команду Starting Address Properties, и в окне “Explore pages up to … links away from this address” указать конкретный уровень вложения, например, 5. Это заставит робота придерживаться в своих поисках области, ограниченной заданным количеством ссылок – пять относительно стартового адреса.
3. Скачивание в пределах определенной папки
Например, вам необходимо скачать только содержимое папки News на сайте http://www.user.ru. Все остальные папки сайта вас не интересуют. В этом случае в качестве стартового адреса для скачивания (при работе с мастером) вы указываете http://www.user.ru/news/. Обратите внимание, что данные установки не повлияют на скачивание встроенных файлов. Teleport Pro будет скачивать все данные, встроенные непосредственно в страницу, независимо от того, насколько далеко от стартового адреса они расположены (учитывая, правда, заданную глубину поиска).
4. Скачивание файлов определенного типа и (или) определенного размера
Предположим, вас интересует на сайте только текстовая информация. Тогда при ответе на вопросы мастера вы выбираете вариант “Just text”. Если же вам, к примеру, нужны только файлы вида news*.htm, то вы также можете указать это непосредственно. В этом случае потребуется вызвать команду Project - Project Properties и на вкладке “File Retrieval” откорректировать типы интересующих файлов. При этом все остальные файлы будут, естественно, игнорироваться, а сам процесс скачивания пойдет быстрее. Но следует заметить, что встроенные файлы, которые могут иметь совершенно другой вид, будут скачиваться по-прежнему.
А возможна ситуация, при которой вас будут интересовать только изображения определенного качества, тогда достаточно задать максимальный размер файла, предположим, в 16 Кб (Project - Project Properties - File Retrieval - указать максимальный размер файла). Правда, Teleport Pro может определять размер файлов только при условии, что удаленный сервер предоставляет информацию об их размере. Некоторые серверы этого не делают. В таком случае Teleport Pro начнет скачивать файл и будет продолжать до тех пор, пока скачанный объем не превысит заданный. После этого операция скачивания будет прекращена.
А если файлы не скачиваются?
Браузеры и другие клиентские программы могут сообщать свой идентификатор при запросе файла. В принципе, сообщать истинный идентификатор программы считается хорошим тоном, однако иногда сервер на основе полученного идентификатора может отказаться передать данные. В этом случае лучше маскироваться. Бывает, помогает, но не всегда. По умолчанию Teleport Pro передает свой истинный идентификатор, однако если сайт не хочет работать с Teleport, но отлично просматривается в браузере, то передаваемый идентификатор можно изменить. Например, Teleport Pro может прикинуться Microsoft Internet Explorer (“Impersonate Microsoft”) или Netscape Navigator (“Impersonate Netscape”). Для этого потребуется изменить параметры проекта (Project - Project Properties - Netiquette - изменить параметр Agent Identity нужным образом).
Однако даже в этом случае некоторые файлы сайта могут не скопироваться на ваш компьютер. Не будут, к примеру, скачиваться файлы, доступ к которым определен по паролям, или файлы, которые программа не сможет идентифицировать. Последнее время достаточно часто на сайтах встречаются файлы вида *.htm#* . Данная версия Teleport Pro, к сожалению, их не сможет правильно распознать. Кроме того, зеркальная копия сайта окажется неполной и вследствие того, что на ней будет отсутствовать вся информация, берущаяся из баз данных. Но даже при всех этих замечаниях программа, несомненно, представляет огромный интерес и серьезно ускоряет процесс работы с конкретным сайтом.
Обсуждение статьи - в форуме "Обсудим "СофтТерру"