Суперкомп’ютер своїми руками
На сьогоднішній день можлива побудова домашнього суперкомп'ютера, про що і піде мова.
Трохи історії
вибір процесора
Сьогодні основні виробники процесорів - це Intel і AMD. RISC-процесори, такі як Power 7 +. незважаючи на привабливість, досить екзотичні і дороги. Ось, наприклад, не найновіша модель такого сервера коштує понад мільйон.
(До речі, кажучи, при цьому є можливість зібрати недорогий і ефективний кластер з xbox 360 або PS3, процесори там приблизно як Power, і на мільйон можна купити не одну приставку.)
Виходячи з цього відзначимо цікаві за ціною варіанти побудови високопродуктивної системи. Зрозуміло, вона повинна бути многопроцессорной. У Intel для таких завдань використовуються процесори Xeon, у AMD - Opteron.
Якщо багато грошей
Топовий процесор цієї серії - E7-8870 з десятьма ядрами 2,4 ГГц. Його ціна $ 4616. Для таких CPU фірми HP і Supermicro випускають! восьмипроцесорних! серверні шасі. Вісім 10-ядерних процесорів Xeon E7-8870 2.4 ГГц з підтримкою HyperThreading підтримують 8 * 10 * 2 = 160 потоків, що в диспетчері завдань Windows відображається як сто шістдесят графіків завантаження процесорів, матрицею 10x16.
Для того, щоб вісім процесорів вмістилися в корпусі, їх розміщують не відразу на материнській платі, а на окремих платах, які встромляються в материнську плату. На фотографії показані встановлені в материнську плату чотири плати з процесорами (по два на кожній). Це рішення Supermicro. У рішенні HP на кожен процесор доводиться своя плата. Вартість рішення HP становить два-три мільйони, в залежності від наповнення процесорами, пам'яттю і іншим. Шасі від Supermicro коштує $ 10 000, що привабливіше. Крім того в Supermicro можна поставити чотири сопроцессорних плати розширення в порти PCI-Express x16 (до речі, ще залишиться місце для Indiniband-адаптера щоб збирати кластер з таких), а в HP тільки дві. Таким чином, для створення суперкомп'ютера восьмипроцесорних платформа від Supermicro привабливіше. На наступному фото з виставки представлений суперкомп'ютер в зборі з чотирма GPU платами.
Однак це дуже дорого.
що дешевше
Щоб вибрати конкретну модель, я склав таблицю, в якій порахував для кожного процесора показник ціна / (число ядер * частота). Я відкинув з розрахунку процесори частотою нижче 2 ГГц, і для Intel - з шиною нижче 6,4GT / s.
Жирним курсивом виділено модель з мінімальним показником співвідношення, підкресленим - найпотужніший AMD і на мій погляд найбільш близький по продуктивності Xeon.
Таким, чином, мій вибір процесорів для суперкомп'ютера - Opteron 6386 SE, Opteron 6344, Xeon E5-2687W і Xeon E5-2630.
Материнські плати
На звичайні материнські плати неможливо поставити більше чотирьох двослотових плат розширення. Є й інша архітектура - використання крос-плат, таких як BPG8032 PCI Express Backplane.
У таку плату ставляться плати розширення PCI Express і одна процесорна плата, чимось схожа на ті, які встановлені в восьмипроцесорних серверах на базі Supermicro, про які йшлося вище. Але тільки ці процесорні плати підкоряються галузевим стандартам PICMG. Стандарти розвиваються повільно і такі плати часто не підтримують найсучасніші процесори. Максимум такі процесорні плати зараз випускають на два Xeon E5-2448L - Trenton BXT7059 SBC.
Коштувати така система буде без GPU не менш $ 5000.
Готові платформи TYAN
За ту ж приблизно суму можна придбати готову платформу для збірки суперкомп'ютерів TYAN FT72B7015. У такій можна встановити до восьми GPU і два Xeon LGA1366.
«Звичайні» серверні материнські плати
Supermicro X9QR7-TF - на цю материнську плату можна встановити 4 Плати розширення і 4 процесора.
Supermicro X9DRG-QF - ця плата спеціально розроблена для збірки високопродуктивних систем.
для Opteron
Supermicro H8QGL-6F - ця плата дозволяє встановити чотири процесори і три плати розширення
Посилення платформи платами розширення
Особливістю таких сопроцессоров є наявність на борту великого обсягу оперативної пам'яті, швидкі розрахунки з подвійною точністю і енергоефективність.
Можна з'єднати в кластер
Для підвищення продуктивності системи кілька комп'ютерів можна об'єднати в кластер, який буде розподіляти обчислювальне навантаження між що входять до складу кластера комп'ютерами.
Використовувати в якості мережевого інтерфейсу для зв'язку комп'ютерів звичайний гігабітний Ethernet надто повільно. Для цих цілей найчастіше використовують Infiniband. Хост адаптер Infiniband щодо сервера коштує недорого. Наприклад, на міжнародному аукціоні Ebay такі адаптери продають за ціною від $ 40. Наприклад, адаптер X4 DDR (20Gb / s) обійдеться з доставкою доУкаіни приблизно в $ 100.
При цьому комутаційне обладнання для Infiniband коштує досить дорого. Та й як уже було сказано вище, класична зірка в якості топології обчислювальної мережі - не найкращий вибір.
Однак хости InfiniBand можна підключати один до одного безпосередньо, без свіча. Тоді досить цікавим стає, наприклад, такий варіант: кластер з двох комп'ютерів, з'єднаних по infiniband. Такий суперкомп'ютер цілком можна зібрати будинку.
У Тяньхе-1А - китайському суперкомп'ютері на Ксеон ставлення наступне. Два шестиядерних процесора до однієї «відюшке» Nvidia M2050 (слабший, ніж K20X).
Таке ставлення ми і приймемо для наших збірок за оптимальне (бо дешевше). Тобто 12-16 ядер процесорів на один GPU. На таблиці нижче жирним позначені практично можливі варіанти, підкресленням - найбільш вдалі з моєї точки зору.
Отже, скільки коштує
Варіант 1 на материнській платі Supermicro H8QGL-6F
AMD Opteron 6344
AMD HD 7970 GHz Edition
Теоретично, продуктивність складе близько 12 Tflops.
Варіант 2 на материнській платі TYAN S8232, кластерний
Ця плата не підтримує Opteron 63xx, тому використовується 62xx. У цьому варіанті два комп'ютери об'єднані в кластер по Infiniband x4 DDR двома кабелями. Теоретично швидкість з'єднання в цьому випадку упреться в швидкість PCIe x8 тобто 32Гб / с. Блоків живлення використовується два. Як їх узгодити між собою, можна знайти в інтернеті.
AMD Opteron 6282SE
Noctua NH-U12DO A3
Antec Twelve Hundred Black
FSP AURUM PRO 1200W
AMD HD 7970 GHz Edition
X4 DDR Infiniband
X4 DDR Infiniband
Для кластера таких змін необхідно дві і вартість їх складе $ 11360. Його енергоспоживання при повному навантаженні буде близько 3000Вт. Теоретично, продуктивність складе до 31Tflops.
Варіант 3 на платформі Tyan FT72B7015
Відрізняється цей варіант тим, що при восьми GPU тільки два CPU. Відповідно, продуктивність його в реальних задачах буде залежати від здатності програми сильно распараллелівать.
AMD HD 7970 GHz Edition
Теоретично, продуктивність складе до 32 Tflops.
Intel Xeon E5-2687W
Antec Twelve Hundred Black
FSP AURUM PRO 1200W
AMD HD 7970 GHz Edition
X4 DDR Infiniband
X4 DDR Infiniband
Для кластера таких змін необхідно дві і вартість їх складе $ 15940. Загальне енергоспоживання при повному навантаженні буде близько 4000 Вт. Теоретично, продуктивність складе до 39Tflops.