Как найти сервер вконтакте

Хотя фотографии 3-ей давности, все же будет многим интересно посмотреть где соц.сеть Вконтакте хранит все наши данные и тайны личной жизни 🙂

Все что вы пишите, каждая буква, отправленная фотография, записанное видео или аудиосообщения, все это записывается и хранится в таких дата центрах.

Например, дата центры есть у таких компаний как: Яднекс, Mail.ru, Google, Amazon, Ozon и тд.

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.

Что такое дата-центр?

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Добро пожаловать в ИЦВА

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c.

Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр генерирует более 1 Тбит/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Первый машинный зал. Возможно, именно здесь лежит Ваше любимое видео.

Электроснабжение

Все элементы системы электроснабжения резервируются как минимум N+1.

Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):

Схема электропитания в штатном режиме

Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:

Схема электропитания при аварии на вводе

Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.

Источники бесперебойного питания General Electric

А это аккумуляторы для них — внешне очень похожи на автомобильные…

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки.

В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:

Система охлаждения

Для комфортной жизни оборудования в машинных залах нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов.

Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?). Все равно воздух проходит систему очистки от пыли и лишней влаги. В холодные дни, воздух подогревают а летом наоборот, охлаждают, чтобы был баланс температуры.

Внутренние блоки прецизионных кондиционеров

Внешние блоки прецизионных кондиционеров

Холодный коридор машинного зала

С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Структурированная кабельная система

Километры бережно уложенных проводов. Здесь не нужны слова.

Система пожаротушения

В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.

Мониторинг

Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).

Система контроля доступа и охрана

На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.

Если Вам понравилась эта статья, не забудьте поставить лайки и подписаться на этот канал. А также, оставляйте свои комментарии.

Всех благ!

Источник: https://pikabu.ru/story/datatsentr_vkontakte_5173744

Как выглядит дата-центр соцсети ВКонткте

Главная страница » Статьи » Железо » Как выглядит дата-центр соцсети ВКонткте

Дата-центр социальной сети VK находится на улице Цветочная в Санкт-Петербурге, в пределах одного километра от станции метрополитена «Московские ворота».

Это отдельно стоящее здание, общая площадь которого равна 1500 квадратных метров. Северное помещение имеет площадь 700 квадратных метров, и в нем находится 210 телекоммуникационных шкафов, кластеры бесперебойных источников питания и прецизионные кондиционеры.

В отдельном помещении располагаются батарейные кабинеты для источников бесперебойного питания. Для того, чтобы погрузка и разгрузка оборудования была комфортной, оборудованы грузовые ворота.

Электропитание дата-центра VK

Данный дата-центр применяет два независимых ввода электропитания, мощность каждого из них составляет 2 МВт. В помещении дата-центра оборудованы две новые трансформаторные подстанции, которые резервируют друг друга. Два кластера из 4-х источников бесперебойного питания Liebert NXa 200 KVA с общим резервированием N+1 обеспечивают непрерывность электропитания. На тот случай, если произойдет отключение двух вводов электропитания, установлен дизель генератор FG Wilson, который оборудован системой автозапуска, если электричество отключается.

Всю мощность дата-центра резервируют ДГУ. Применяемые ДГУ оборудованы в исполнении «Север», который предусматривает запуск при температуре до -30 градусов по Цельсию. Без дополнительной дозаправки гарантированное время работы этих дизель генераторов составляет 24 часа.

Вентиляция и кондиционирование дата-центра VK

Кондиционеры EMICON обеспечивают микроклимат в Северном помещении с поступлением воздуха под фальшпол. С резервированием по схеме N+1 основана система кондиционирования. Оборудование охлаждается по принципу «горячих» и «холодных коридоров», в «холодных» температура составляет 20-22 градуса по Цельсию.

Телекоммуникации дата-центра VK

У дата-центра имеются свои собственные оптические каналы, основные точки обмена трафиком в городе Санкт-Петербург — Боровая, 57 и Большая Морская, 18, а также с дата-центрами «Дубровка-3», «Дубровка-2», «Дубровка». В помещении дата-центра располагаются кабельные вводы не только из телефонной канализации СЗТ, но и из воздуха. На данный момент в дата-центре в наличии такие операторы как РетнНет, Вымпелком, Ростелеком, TeliaSonera, Раском, ОБИТ, Мегафон, ТрансТелеКом, МТС, РТКомм.РУ, Северен-Телеком, ЕДПнет, Runnet.ru и другие. Также присутствуют на площадке точки обмена трафиком Пирикс и Data-IX.

Как охраняются дата-центры VK

Дата-центр оборудован современными защитными системами для предотвращения нежелательного проникновения как в само здание, так и в северное помещение. На входе в здание и в северное помещение установлен круглосуточный пост мощной вооруженной охраны. За входом, всеми помещениями и периметром здания следят более 100 камер видеонаблюдения.

В каждом помещении дата-центра оборудована система контроля и учета доступа с использованием магнитных карт, а также видеокамер и датчиков пожарной сигнализации.

Как обслуживаются дата-центры VK

Системные инженеры с высокой квалификацией круглые сутки следят за работой основных систем дата-центра. Техническая поддержка работает, не прекращая, 24 часа в сутки.

Весь перечень работ, выполняемых дата-центром VK

• аренда серверной стойки,
• аренда выделенного сервера,
• аренда выделенного пространства,
• облачное хранилище,
• виртуальное приватное облако,
• аренда сервера произвольной конфигурации,
• волоконно-оптические линии связи,
• мониторинг, размещение сервера,
• сеть доставки контента,
• аренда программного обеспечения,
• администрирование серверов,
• защита от ddos.

Вот такой он – дата-центр VK «Цветочная». Могли ли вы себе представить, насколько много здесь оборудования и как оно все одновременно работает?

Источник

Дата-центр ВКонтакте

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.

Как построить дата-центр?

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:

• Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.
• Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.
• Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.

Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:

• Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.
• Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.
• Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.
• Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.
• Система видеонаблюдения.

Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит наш.

Добро пожаловать в ИЦВА

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тб/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр генерирует более 1 Тб/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Первый машинный зал. Возможно, именно здесь лежит Ваше любимое видео.

Электроснабжение

Все элементы системы электроснабжения резервируются как минимум N+1. Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):

Схема электропитания в штатном режиме

Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:

Схема электропитания при аварии на вводе

Если всё совсем плохо, и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.

Источники бесперебойного питания

А это аккумуляторы для них — внешне очень похожи на автомобильные…

… только занимают несколько больших помещений

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

Дизель-генераторные установки

Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:

Статический переключатель нагрузки + ручной байпас Digital Energy

Система охлаждения

Для комфортной жизни оборудования в машинных залах нужно поддерживать определенный температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).

У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.

Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.

Внутренние блоки прецизионных кондиционеров

Внешние блоки прецизионных кондиционеров

Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:

Холодный коридор машинного зала

С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Горячий коридор машинного зала

Структурированная кабельная система

Километры бережно уложенных проводов. Здесь не нужны слова.

Система пожаротушения

В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.

Баллоны с хладоном

Манометр

Мониторинг

Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).

Мониторинг электроснабжения

Мониторинг системы охлаждения

Система контроля доступа и охрана

На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.

Подведём итоги

ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.

Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.

Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.

Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с нашим дата-центром поближе, став частью команды. Мы приглашаем на работу руководителя тестовой лаборатории ЦОД и системных администраторов.

Источник

Дуров продает серверы «В контакте» за полмиллиарда рублей

Павел Дуров продает новому руководству «В контакте» компанию ООО «ИЦВА», которой принадлежат 7 зданий общей площадью 15 000 квадратных метров, где находятся серверы, хранящие информацию о всех пользователях соцсети.

Соцсеть Дурова с первых дней зависела от своих инвесторов — владельцев провайдера «Селектел», в дата-центрах которого хранились все данные пользователей. Но другой инвестор, фонд DST, считал неправильным зависеть от чужих дата-центров, так как владельцы в любой момент могли повысить арендную оплату. Тогда Дуров начал вести переговоры по приобретению ООО «ИЦВА», которое владело землей и промышленными зданиями под Санкт-Петербургом. После заключения сделки «ИЦВА» была переоформлена на офшорную компанию, которая на 100% принадлежит Дурову.

Ремонт зданий для дата-центра создатель «В контакте» производил на собственные средства, поэтому стоимость аренды помещений была сильно завышена, чтобы таким образом покрыть расходы на дальнейшие работы. Новые акционеры обвинили Дурова в растрате средств и попытались через суд вернуть переплату. Общий ущерб истцы оценили в 500 миллионов рублей. В ответ создатель «В контакте» подал иск в суд штата Нью-Йорк, обвинив бывших партнеров в сговоре с целью отобрать у него мессенджер Telegram. Взаимные претензии были сняты после продажи акций соцсети компании «Мэйл.ру».

Дата-центры — это последнее, что связывало Павла Дурова с «В контакте». Чтобы не заниматься переоформлением всех документов на землю и здания, новое руководство соцсети решило выкупить акции ООО «ИЦВА». Сделка будет заключена сразу после получения разрешения от Федеральной антимонопольной службы.

VK не может купить серверы, потому что на рынке их просто нет

VK (ранее известная как Mail.ru Group) просит Минцифры помочь в закупке серверного оборудования. Письмо с просьбой о помощи компания направила в министерство на прошлой неделе. Об этом сообщает «Коммерсант» со ссылкой на источник в Правительстве.

По словам источника, VK не может закупить «десятки тысяч серверов», необходимых как для обеспечения текущей работы сервисов компании, так и для масштабирования ИТ-инфраструктуры. Представители VK сообщили редакции, что наблюдают увеличение нагрузки на инфраструктуру, но заверили, что обладают необходимым резервом мощностей «для обеспечения бесперебойной работы сервисов на продолжительный период».

В Минцифры подтвердили получение письма. Представители министерства отметили, что совместно с Минпромторгом принимают меры «по обеспечению госсектора и коммерческих компаний достаточным объемом российской вычислительной техники, которая отвечает самым высоким требованиям». В Минпромторге сообщили редакции, что «не видят причин для нагнетания обстановки». По их словам, компании работают в штатном режиме и проблем с наличием продукции на складах не выявлено.

Затруднения с закупками «железа» испытывают и в «Яндексе», пишет «Коммерсант». Компания приостановила многие из запланированных инвестиций в новые и экспериментальные сервисы внутри страны и за рубежом на фоне санкций из-за ситуации на Украине. В «Яндексе» заверили, что «на текущий момент обладают необходимыми технологическими ресурсами и запасами для работы сервисов».

Миссия невыполнима

На данный момент купить коммерческие партии нового оборудования в России фактически нельзя, заверяет источник «Коммерсанта» на рынке операторов центров обработки данных. «Серверы купить невозможно даже на вторичном рынке, подержанная техника разлетелась в начале марта, несмотря на заоблачные цены», — отмечает собеседник редакции.

То, что приобрести технику иностранного производства невозможно, подтверждает и глава направления «Инфраструктурные решения» компании «Крок» Александр Сысоев. По его мнению, потребность большинства клиентов могут удовлетворить решения российских производителей, которые продолжают осуществлять сборку и поставку серверов из собственных компонентов.

Таких поставщиков, по словам Сысоева, в России не меньше десяти. Но участники рынка, опрошенные «Коммерсантом» утверждают, что запасы российских производителей вычислительной техники тоже на исходе.

Ситуация на российском рынке

По словам директора «Промобита» Максима Копосова, сейчас на складах его компании находится запас комплектующих только на несколько сотен серверов. «Мы пошли по пути производства серверов на российских процессорах, но и с ними сейчас туго, — говорит он. — У нас есть запас в несколько сотен «Эльбрусов», и еще мы заказали порядка тысячи «Байкалов»».

В МЦСТ (производитель «Эльбрусов») и «Байкал Электроникс» на запросы «Коммерсанта» не ответили. По словам собеседника редакции, у МЦСТ уже практически исчерпаны запасы процессора «Эльбрус 8С». Однако, по его словам, достаточно большая партия процессоров «Эльбрус 8СВ» есть у производителя серверов «Норси-Транс».

Гендиректор «Норси-Транса» Сергей Овчинников не сообщил, сколько конкретно серверов и процессоров находится на складах компании. Он лишь отметил, что их хватит до 2023 г. Овчинников также рассказал, что его компания уже подняла цены на свое оборудование в 2–2,5 раза. «Но к нам особо никто не обращается», — подчеркнул он.

Дата-центр ВКонтакте

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.

Как построить дата-центр?

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:

• Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.
• Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.
• Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.

Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:

• Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.
• Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.
• Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.
• Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.
• Система видеонаблюдения.

Мы верим, что у Вас получится отличный дата-центр. А пока посмотрим, как выглядит наш.

Добро пожаловать в ИЦВА

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр генерирует более 1 Тбит/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Электроснабжение

Все элементы системы электроснабжения резервируются как минимум N+1.

Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):

Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:

Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:

Система охлаждения

Для комфортной жизни оборудования в машинных залах нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).

У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.

Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.

Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:

С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Структурированная кабельная система

Километры бережно уложенных проводов. Здесь не нужны слова.

Система пожаротушения

В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.

Мониторинг

Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).

Система контроля доступа и охрана

На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.

Подведём итоги

ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.
Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.

Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.

Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с нашим дата-центром поближе, став частью команды. Мы приглашаем на работу руководителя тестовой лаборатории ЦОД и системных администраторов.

Есть вопросы?

Вопросы автору статьи можно задать в официальном сообществе нашего технического блога.