Мережева інфраструктура суперкомп’ютера

Цьому є цілком логічне пояснення - кластер дозволяє досягати високої продуктивності обчислень при відносно невеликій вартості рішення. Однак такий підхід до створення суперкомп'ютерів має свою "виворіт". По-перше, підвищується вимога до програмного забезпечення суперкомп'ютера, який відповідає за розподілені обчислення. По-друге, для нормального функціонування кластерне рішення потребує потужних комунікаційних системах. Втім, для будь-якого суперкомп'ютера межсоединения були і залишаються найважливішим елементом архітектури. Однак кластерне побудова суперкомп'ютера має свої особливості при створенні межсоединений, які будуть розглянуті в даній статті.

Вимоги до мережевої інфраструктури

Мережева інфраструктура суперкомп'ютера. створеного на основі кластера, який розташовується в конкретному ЦОДі або об'єднує територіально-розподілені ресурси, повинна відповідати багатьом вимогам. Очевидно, що основним завданням такої комунікаційного середовища є забезпечення прозорого середовища для взаємодії всіх обчислювальних елементів, включених в суперкомп'ютер.

Це накладає на мережеву інфраструктуру вимога щодо мінімізації затримок при передачі даних. Так само для обміну великими обсягами інформації необхідно забезпечити широку смугу пропускання. Схема побудови мережевої інфраструктури суперкомп'ютера повинна виключати єдину точку відмови і забезпечувати можливість подальшого масштабування обчислювальних ресурсів.

Нарешті, мережева інфраструктура повинна бути енергетично ефективною. Дана вимога не є реверансом у бік екологів, розумне зменшення енергоспоживання комунікаційним середовищем в чималому ступені сприяє потенційного збільшення продуктивності суперкомп'ютера. Електроенергія є дорогим ресурсом, який краще перерозподіляти на користь обчислювальних елементів суперкомп'ютера.

Мережеві топології і технології

Незважаючи на очевидні переваги, кластерне побудова суперкомп'ютерів має свої недоліки. Зокрема, ускладнюється експлуатаційне обслуговування мережевої інфраструктури. Масштаб "кровоносної" системи сучасного суперкомп'ютера вражає. Так сумарна довжина кабельних з'єднань японського суперкомп'ютера Earth Simulator перевищує 2400 км. Треба відзначити, що ця машина за сучасними мірками не володіє видатними характеристиками.

Настільки ж значними стають завдання, пов'язані з пошуком і усуненням несправностей в мережевій інфраструктурі. Крім банальної ситуації, коли відбувається повна відмова певної ділянки межсоединения, не виключені варіанти, при яких відбувається зниження якісних показників. Наприклад, поява додаткових затримок або зменшення швидкості передачі. При високій щільності з'єднань мережевої інфраструктури суперкомп'ютера виявлення причин таких "полуотказов" стає нетривіальним справою.

Тому перед розробниками суперкомп'ютерів стає питання вибору оптимальної топології і технології для побудови мережевої інфраструктури.

Ефективність будь-якої мережевої топології, що застосовується як для побудови корпоративної мережі, так і для створення суперкомп'ютера, вимірюється, зокрема, числом кроків між вузлами (hops) для передачі даних між найбільш віддаленими елементами в системі. В даний час набули поширення кілька типів топологій, використовуваних для створення комунікаційної системи суперкомп'ютера.

Традиційна архітектура побудови мережевої інфраструктури включає в себе три рівні ієрархії. доступу, агрегації і ядра. На практиці далеко не завжди використовуються ці рівні. Якщо суперкомп'ютер являє собою рішення, чиї обчислювальні вузли розміщені в одному апаратному шафі, то цілком достатньо рівня доступу. Однак при реалізації масштабних проектів доводиться використовувати всю вертикаль ієрархії і враховувати її недоліки.

Розвитком ієрархічної архітектури стала топологія "утолщенное дерево" (fat tree). розроблена в 1985 році Чарльзом Лейзерсон з Массачусетського університету. На відміну від інших деревовидних топологій, в яких всі зв'язки між вузлами однакові, в fat tree пропускна здатність з'єднань збільшується в міру наближення до кореня дерева. На практиці зазвичай використовують подвоєння пропускної здатності на кожному рівні.

Так само варто згадати про полносвязанной (mesh) архітектурі побудови комунікаційної інфраструктури. Цей варіант відрізняється чудовою надійністю, малою довжиною шляху передачі даних, але дуже погано масштабується.

Кожна з розглянутих топологій має свої переваги і недоліки, тому вибір варіанта архітектури комунікаційної мережі багато в чому залежить від розміру кластера суперкомп'ютера і перспектив його подальшого нарощування.

Важливу роль відіграє вибір технології, яка використовується для передачі даних по мережевої інфраструктури суперкомп'ютера. В даний час знаходять своє застосування кілька технологій, велика частина з яких є фірмовим рішенням того чи іншого виробництва обладнання.

Кілька років тому вельми популярною була технологія Myrinet. запропонована компанією Myricom. Рішення, побудовані з використанням даної технології, забезпечували швидкість передачі до 1250 Мбіт / с з затримкою що не перевищує 10 мкс. Сьогодні число суперкомп'ютерів, включених в список Top500 і використовують кластерну інфраструктуру за технологією Myrinet, не перевищує 2%.

Так само до нішевим мережних технологій варто віднести QsNet. комунікаційне середовище від компанії Quadrics. і SCI. створену компанією Dolphin. Обидві технології відрізняються низькими затримками (від 2 до 4 мкс) і високими швидкостями передачі (від 200 до 900 Мбіт / с). Рішення на основі цих технологій часто використовуються при створенні унікальних суперкомп'ютерів, заснованих на великих кластерах терафлопного рівня.

Великого поширення набула технологія InfiniBand. описує високошвидкісну коммутируемую послідовну шину. Розвитком цієї технології займається асоціація InfiniBand Trade Association. Реальна швидкість передачі становить порядку 800 Мбіт / с і час затримки не перевищує 7 мкс. На ринку найбільш поширені апаратні рішення InfiniBand таких виробників як Cisco, Qlogic, Mellanox, Voltaire.

Для інфраструктури ЦОД пропонується різновид технології Ethernet, позбавленої недоліків з якими цілком миряться телекомунікаційні мережі. Це відсутність гарантованої доставки в звичайному варіанті Ethernet. Використання Ethernet для передачі даних відповідальних додатків зажадало створення нового стандарту, який отримав назву Converged Enhanced Ethernet (CEE) або DataCenterBridgind (DCB). Таке подвійне найменування пов'язано з розробкою цього стандарту різними організаціями. Однак в основі обох розробок лежать одні й ті ж принципи, що дозволяє вважати ці назви синонімами. Схожими характеристиками володіє технологія DataCenterEthernet (DCE), розроблена компанією Cisco.

У стандарті CEE / DCB реалізовані механізми доставки пакетів без втрат на основі розподілу трафіку по різних рівнів пріоритету і виділення для кожного рівня заданої пропускної здатності (створення віртуального каналу). В період перевантаження на мережі, потоки з низьким рівнем пріоритетів "притормаживаются", пропускаючи вперед трафік чутливий до затримок, до якого, наприклад, відноситься трафік систем зберігання даних.

Безсумнівним плюсом Ethernet для ЦОД є інтеграція з стандартизованої технологією Fibre Channel over Ethernet (FCoE), яка забезпечила об'єднання в єдину інфраструктуру мереж LAN і SAN без втрати переваг, якими вони володіють.

На практиці, впровадження зв'язки стандартів CEE / FCoE спрощує мережеву інфраструктуру дата-центрів, що мають розподілені системи зберігання. Протоколи CEE і FCoE дозволяють об'єднати потоки традиційного Ethernet і Fibre Channel на інтерфейсах 10 GbE і тим самим скоротити число фізичних портів в комутаційному і серверному обладнанні.

Постачальники Ethernet для ЦОД і їх рішення

З огляду на широку популярність Ethernet, свої рішення для організації мережевої інфраструктури ЦОД на основі цієї технології пропонує чимало компаній.

Компанія AristaNetworks пропонує дві лінійки комутаторів, що працюють з інтерфейсами 10GE. Це Arista 7500 і Arista 7100, які відрізняються продуктивністю і числом підтримуваних портів.

Широкий спектр обладнання для побудови комунікаційної мережі ЦОД пропонує компанія Brocade. багато в чому цьому сприяло недавнє придбання відомого виробника мережевого устаткування Foundry. У портфель компанії входять рішення FCX 624 і FCX 648, TurboIron24X Switch, серія маршрутизаторів NetIronMLX для рівня агрегації і ядра ЦОД, а так же недавно анонсована лінійка обладнання Virtual Cluster Switching (VCS). За запевненням виробника, VCS буде володіти високою щільністю портів, затримкою менше 2 мкс і енергоспоживанням нижче 7 Вт в розрахунку на порт.

Що прийшла в цьому році на український ринок компанія Force10 Networks спеціалізується на розробці і виробництві високопродуктивних мережевих пристроїв. Зокрема, для ЦОД компанія поставляє лінійку комутаторів серії "Е". За запевненням виробника, його обладнання має найвищу щільність портів на HPC-ринку.

Осторонь від технології Ethernet не залишилася і компанія Myricom. яка пропонує рішення Myrinet-10G. Це обладнання дозволяє так само інтегрувати мережеву інфраструктуру за технологіями Myrinet і Ethernet. Компанія BladeNetworkTechnologies пропонує моделі RackSwitch G8100 і G8124, які були спеціально створені для побудови кластерних систем ЦОД. Компанія Voltaire поставляє на ринок дві моделі комутаторів 10 GE. Це the Vantage 8500 і Vantage 6024.

Як видно з цього короткого огляду, на вітчизняному ринку представлений досить широкий вибір обладнання для побудови мережевої інфраструктури суперкомп'ютера на основі технології Ethernet.