Дата-центр вконтакте 1
Всі знають, що серце ВКонтакте - будинок Зінгера на Невському проспекті. Сьогодні ми розповімо і покажемо, де знаходиться і як виглядає його мозок - дата-центр ІЦВА.
Як побудувати дата-центр?
ЦОД (центр зберігання і обробки даних, він же дата-центр) - це сукупність кількох інфраструктурних систем, які забезпечують надійність і відмовостійкість роботи серверного і мережевого устаткування.
Не можна просто поставити купу серверів і комутаторів. Потрібно створити і підтримувати оптимальні умови для їх роботи. Якщо Ви хочете побудувати свій ЦОД, Вам будуть потрібні:
Це основні системи «життєзабезпечення», самий мінімум, який потрібен, щоб просто запустити обладнання. Але для справжнього повноцінного дата-центру потрібно дещо ще. А саме:
Ми віримо, що у Вас вийде відмінний дата-центр. А поки подивимося, як виглядає наш.
Ласкаво просимо в ІЦВА
Чому ІЦВА, що за назва така? ІЦВА - це дослідницький центр високовольтного апаратобудування, який раніше знаходився в будівлі дата-центру і працював на благо енергетичної промисловості. У спадок нам дісталися антиутопического виду ангари з стелями на рівні п'ятого поверху і загадкові приміщення зі стінами завтовшки в метр.
В піку дата-центр генерує більше 1 Тб / c зовнішнього трафіку. До наших DWDM-системам підключені більше 10 найбільших міжнародних провайдерів і міжнародних центрів обміну трафіком, а також близько 40 великих операторів РФ.
електропостачання
Всі елементи системи електропостачання резервуються як мінімум N + 1.
Буквально навпроти будівлі дата-центру знаходиться підстанція «Східна», від якої харчування подається в ЦОД за двома вводам 6кВ. Далі через розподільну підстанцію і автоматичне введення резерву харчування подається по двох незалежних вводів. Ось як це виглядає на схемі (для простоти - з одним машинним залом з чотирьох):
Схема електроживлення в штатному режимі
Кожен вузол дублюється і в нормі працює під половинним навантаженням. У разі аварії харчування дійде до машинного залу в обхід вийшов з ладу ділянки. Наприклад, ми втратили один 6кВ введення:
Схема електроживлення при аварії на введенні
Якщо все зовсім погано, і на вводи від магістральної мережі розраховувати не доводиться, в справу вступають джерела безперебійного живлення. Їх завдання - забезпечити харчування машинних залів на той недовгий час, поки запускаються дизель-генераторні установки.
Джерела безперебійного живлення
А це акумулятори для них - зовні дуже схожі на автомобільні ...
... тільки займають кілька великих приміщень
Дизель-генераторні установки (ДГУ) підтримують життя в дата-центрі в разі затяжної аварії або планових робіт в системі електропостачання. Крім паливних баків в самих ДГУ встановлена автоматична контейнерна заправна станція великої місткості. Паливо з резервуара подається автоматично в усі ДГУ, запас розрахований мінімум на добу. У разі необхідності бензовоз з дизельним паливом прибуде протягом двох годин.
Кожен сервер і кожен комутатор підключені до двох вводів харчування. Як правило, в сучасному обладнанні така можливість передбачена виробником. Для серверів з одним вводом харчування дублюється за допомогою ось такого пристрою:
Статичний перемикач навантаження + ручний байпас Digital Energy
Система охолодження
Для комфортного життя обладнання в машинних залах потрібно підтримувати певний температурний діапазон. Ось чому компанії по всьому світу все частіше будують свої ЦОДи десь неподалік від полярного кола - в таких умовах можна використовувати зовнішнє повітря для охолодження серверів. Це називається «фрікулінг», і такий підхід по праву вважається самим енергоефективним (навіщо витрачати енергію на охолодження теплого повітря, якщо можна відразу взяти холодний?).
У нас фрікулінг теж використовується, правда, з деякими застереженнями. Незважаючи на легендарну пітерську прохолоду, влітку температура повітря все-таки іноді піднімається вище заповітних 20-25 °, і його доводиться додатково охолоджувати. У зимовий період, навпаки, повітря занадто холодний, щоб його можна було відразу використовувати. Крім того, що сервери можуть просто переохолодитися, зміна температури призведе до зсуву точки роси - а конденсат такому обладнанню протипоказаний. До того ж, повітря при такій схемі потрапляє з вулиці, а значить, його потрібно додатково очищати.
Фрікулінг використовується в одному машинному залі з чотирьох, в інших система охолодження працює за класичною схемою з використанням прецизійних кондиціонерів.
Внутрішні блоки прецизійних кондиціонерів
Зовнішні блоки прецизійних кондиціонерів
Холодне повітря з камери змішування або кондиціонера через фальшпол або повітропровід подається в так званий «холодний коридор». Це ізольований простір між лицьовими сторонами двох рядів стійок. Ось таке:
Холодний коридор машинного залу
Зі зворотного боку відпрацьований нагріте повітря потрапляє в «гарячий коридор» - а звідти відправляється назад на охолодження фреоном у внутрішні блоки кондиціонерів. Так досягається циркуляція чистого (без пилу) повітря в машинному залі.
Гарячий коридор машинного залу
Структурована кабельна система
Кілометри дбайливо укладених проводів. Тут не потрібні слова.
Система пожежогасіння
У нашому ЦОДі передбачена система газового пожежогасіння. Власне газ (хладон) зберігається під тиском в балонах. У разі пожежі за сигналом з датчика в машинному залі клапан буде приведений в дію, і газ по трубах кинеться до джерела загоряння.
Балони з хладоном
моніторинг
Всі показники здоров'я дата-центру відслідковуються в режимі реального часу. Це температура (з датчиків обладнання і всередині приміщень), електропостачання, навантаження на мережеве обладнання - дані виводяться на дисплеї чергових і контролюються автоматикою. Якщо щось пішло не так, система моніторингу сама пришле інженерам повідомлення про проблему (ВКонтакте і по СМС).
Моніторинг системи охолодження
Система контролю доступу та охорона
Підведемо підсумки
ІЦВА має дуже вдале розташування: всього в декількох кілометрах від рідного міста ВКонтакте і поряд з надійним джерелом електроенергії.
Тут безперервно триває процес модернізації обладнання та підвищення енергоефективності. PUE (Power Usage Effectiveness), або коефіцієнт ефективності використання електроенергії - ключовий показник оцінки ЦОД. Він вважається як співвідношення всієї енергії, споживаної дата-центром, і фактичного споживання серверів та мережевого обладнання. Як зрозуміло з цього визначення, PUE ідеального дата-центру в вакуумі дорівнює 1.0. ІЦВА - не ідеальний дата-центр в вакуумі, але ми планомірно працюємо над зниженням цього показника.
Команда співробітників ІЦВА і мережевих інженерів ВКонтакте робить все, щоб Ви щодня могли насолоджуватися своїми улюбленими роликами, дивитися нові фотографії друзів і не замислюватися про те, яка складна інфраструктура при цьому використовується.
Якщо Ви - першокласний фахівець, у Вас є шанс познайомитися з нашим дата-центром ближче, ставши частиною команди. Ми запрошуємо на роботу керівника тестовій лабораторії ЦОД і системних адміністраторів.
