Хроника пикирующего Gmail

Почта Google висела 1 сентября в течение почти двух часов (и это официальная информация, в реальности всё было намного хуже). Паника, поднявшаяся в это время, вполне объяснима - многие люди полагаются на этот сервис для общения друг с другом.

Есть такой известный писатель Уоррен Эллис (известен он, в основном, своими сценариями для всевозможных очень интересных комиксов). Помимо прочего, он ведёт активную деятельность в Интернете и, конечно же, у него есть собственный Twitter. Первого сентября в нём появилась достаточно интересная запись, которая комментирует некоторые глобальные события, произошедшие в Сети несколькими часами ранее. Оно гласило: "Помните, каждый раз, когда я буду замечать, что вы меня недостаточно любите, я буду забирать у вас ваш Gmail".

Нет, конечно никто всерьёз не полагает, что во всём виноват Уоррен Эллис, но, так или иначе, почта Google висела первого сентября в течение почти двух часов (и это официальная информация, в реальности всё было намного хуже). Паника, поднявшаяся в это время, вполне объяснима - многие люди полагаются на этот сервис для общения друг с другом. Пока это работает, мы принимаем всё как должное.

Произошло вот что: утром (по тихоокеанскому времени) персонал перевёл несколько серверов Gmail в оффлайн для осуществления планового апгрейда. Такие вещи происходят часто и никаких страшных последствий обычно за собой не влекут, так как нагрузка перераспределяется на свободные серверы.

В этот раз, однако, сотрудники Google недооценили загрузку роутеров, перенаправлявших запросы, в результате чего в 12:30 они оказались перегружены и в результате стали отвергать запросы, что повлекло перенаправление их на свободные маршрутизаторы. Когда и те оказались перегружены, доступ пользователей к странице Gmail был отрезан, в то время как с доступом по IMAP/POP было всё в порядке поскольку эти сервера работают на собственных мощностях.

Специалисты достаточно быстро поняли, в чём дело, и перенаправили на Gmail кучу дополнительных маршрутизаторов. Откуда они взялись - можно только гадать, но скорее всего были позаимствованы у Google Docs, где как раз в это время нельзя было создавать новые документы, можно было только просматривать уже имеющиеся.

Сейчас гугловцы клянутся и божатся, что такое больше не повторится. Для этого будут приниматься меры, как то: наращивание мощностей до показателя, существенно превышающего показатель пиковой нагрузки, а также изменение механизма реакции роутеров на перегрузку. Если роутеры просто отвергали запросы в такой ситуации, то теперь им будет позволено тормозить.

Но это отнюдь не первый случай "падения" Google. Так, например, не так уж и давно, 2 июля, проблемы испытывал другой сервис поискового гиганта - App Engine, который позволяет пользователям размещать свои веб-приложения в инфраструктуре Google. В тот день он висел около трёх часов. Подобное случилось и в мае - поиск работал медленно или вообще лежал, как и YouTube, Gmail, Google Analytics, Google Maps, Google Docs, AdSence и Blogger. Это было вызвано тем, что ошибка одной из систем перенаправила существенную часть траффика через Азию, в результате чего образовалась "пробка", которая и повлекла за собой плачевные последствия.

Возвращаясь к Gmail'овским проблемам "в честь" Дня Знаний, можно заметить, что нечто подобное происходило и в 60-х годах прошлого века, когда ещё никто ни о каком Интернете и слыхом не слыхивал. По той же схеме в 1965 году произошло массовое отключение электроэнергии сразу в нескольких штатах на северо-западе США. Полсуток около 25 миллионов человек оставались без света.

Всё произошло из-за ошибки на одной из подстанций, когда один из сотрудников поставил на линию защитное реле, которое слишком занижало допустимую мощность, в результате чего и произошло цепное отключение электричества. Да что там - по похожей схеме произошло и знаменитое московское отключение электроэнергии 2005 года, правда, тут было виновато изношенное оборудование.

С электричеством, конечно, ничего не поделаешь - зависимость от него давно уже стала полной, но что касается веб-сервисов... Чем больше мы полагаемся на веб-приложения, тем более зависимыми становимся, тем легче лишиться всего (тезис о сверхценности информации в наш век, вероятно, знаком уже каждому, и комментировать его нужды нет) - ведь глобальные хранилища данных, как показывает опыт, штука не слишком надёжная. Нет, это не призыв возвращаться к рассылке бумажных писем и вырубанию скрижалей на камне, но иметь данную проблему в виду однозначно стоит....