саморобний суперкомп’ютер
Як побудувати суперкомп'ютер власними руками? Візьміть кілька простих стандартних ПК, додайте мережевий комутатор, моток кабелю Ethernet, доморосле ПО Linux - і ви майже у мети.
Цей рецепт випробувала компанія Hewlett-Packard спільно з Французькою національною лабораторією. На превеликий подив багатьох фахівців, він спрацював! В результаті вийшов I-Cluster - кластер з 225 спрощених ПК НР з операційною системою Mandrake Linux, який за результатами випробувань потрапив в список 500 найпотужніших комп'ютерів у світі.
Влітку на технічному семінарі INRIA Rhone-Alps, місцевого відділення французького Національного інституту обчислювальної техніки (National Institute for Research in Computer Science), фахівці лабораторії НР в Греноблі заговорили про можливість створити «щось незвичайне»: суперкомп'ютер, повністю складений із стандартних компонентів, таких, які широко застосовуються на типовому підприємстві. Вони почали з сотні комп'ютерів НР e-PC - спрощених ПК з обмеженими можливостями нарощування - і в результаті представили конфігурацію з 225 вузлів, близьку до фізичних меж можливостей кластера.
Минулої середи HP і INRIA познайомили з цією системою журналістів.
У I-Cluster застосовувалася запечатана версія e-PC, тобто не допускає ніяких модифікацій апаратури. Мережеве обладнання, яка бере участь в експерименті, також було стандартним. Це означає, що, на відміну від інших проектів кластерних суперкомп'ютерів, метод I-Cluster може використовуватися організаціями для мобілізації простоюють обчислювальних ресурсів на вирішення завдань, що вимагають інтенсивних обчислень. «Це дійсно стандартні машини, ми навіть не відкривали їх корпусів», - запевняє керівник програми HP Labs Grenoble Бруно Річард (Bruno Richard). Інші кластери, такі як ASCI Red в Sandia National Laboratories (США), містять суттєво модифіковані компоненти.
Як завести кластер
Річард розповів, що змусити такий кластер функціонувати як одне ціле виявилося зовсім не просто. Треба було створити засоби розподілу таких ресурсів, як дискова пам'ять, і кошти мережного кешування для пристроїв загального призначення, а також інструменти управління кластером і програмування. «Наш попередній кластер містив 12 машин, - каже Річард. - Коли їх стало 200, довелося переосмислювати все заново ». Наприклад, навіть просто внести зміни в ПО при такій кількості комп'ютерів - завдання дуже непросте. Проте врешті-решт були створені інструменти, щоб переустановити всі машини, що входять в кластер, приблизно за 12 хвилин.
Дослідники планують запропонувати розроблені ними інструменти всім, кому прийде в голову побудувати суперкомп'ютер, як ПЗ з відкритим вихідним кодом. Весь проект, не рахуючи мережевий кабельної системи, обійшовся приблизно в 1,5 млн франків (210 тис. $). Машини, що становлять I-Cluster, вже застаріли - вони працюють на процесорах Pentium III 733 МГц і оснащені 256 Мбайт RAM і 15-Гбайт жорсткими дисками. У цьому місяці НР випустила більш швидкодіючу версію, а до кінця року представить e-PC на процесорі Pentium 4.
Вузли e-PC пов'язані між собою мережею Fast Ethernet. Такі особливості конструкції, як надтихої кулери і знижене енергоспоживання, спочатку націлені на корпоративного покупця, виявилися корисними і в середовищі суперкомп'ютера: кластер працює на подив тихо і для його охолодження не потрібно нічого, крім звичайного кондиціонера повітря. Судячи за стандартними тестами, I-Cluster займає в рейтингу суперкомп'ютерів 385-е місце в світі і 15-е місце у Франції. За словами Річарда, експеримент показує лінійну залежність між числом вузлів і продуктивністю - це означає, що нарощувати і скорочувати обчислювальну потужність в залежності від розв'язуваної задачі буде досить легко.
Над системою працює близько 60 команд фахівців у всьому світі, одна половина з яких вирішує типові для суперкомп'ютерів завдання, а інша займається дослідженням I-Cluster.
Робота триває
Проект показує, що стандартні обчислювальні ресурси, такі як незадіяна обробна потужність офісної мережі, можуть бути мобілізовані для серйозної обчислювальної роботи. Цим можуть зацікавитися розробники САПР, фармацевтичні та інші компанії, говорить Річард, так як даний метод дозволяє збирати і використовувати потужності офісних ПК. В даний час жорсткий ліміт розміру кластера становить 256 вузлів - через обмежену місткості комутатора, але його можна подолати, якщо з'єднати кілька кластерів, розташованих недалеко один від одного.
Інші фахівці попереджають про труднопреодолімих технічних перешкодах на шляху до створення подібної домашньої мережі. За словами Бріжит Плато (Brigitte Plateau), керівника паралельного проекту INRIA APACHE, потреби споживачів в такий обчислювальної потужності навряд чи виправдають зусилля по створенню подібної системи. «Для цих цілей, найімовірніше, з'являться зовнішні служби», - вважає вона.
Річард з НР відзначає, що використання Linux - в даному випадку Mandrake 7.0 - було важливим моментом, так як в цей ПО легко вносити низькорівневі зміни, які потім стають вільно доступними іншим фахівцям. У разі використання Windows для цього довелося б укладати особливу угоду з Microsoft.
Плато, чий проект APACHE теж пов'язаний з I-Cluster, повідомила, що лабораторія працює і з Microsoft - над перенесенням на Windows додатків з паралельними обчисленнями. «Ми добиваємося універсальності, поширивши цю технологію за межі світу Linux, - каже вона. - Це вже не наукова, а чисто технічна задача ».
В продовження теми:
Цікаво. Добре працюють буржуїни, занімаютстся навіть такими проектами. Тільки мені здається, що мало прямий практичної користі від такої системи. Користь швидше наукова - важливий сам принцип побудови таких систем. Не думаю, що все так просто, як написано в статті. Якщо ьи було все так просто, то в кожній "голопупіі" типу України і.т.п. були б свої суперкомп'ютери, аж ні, немає їх.
Мені подобається фраза "доморосле ПО Linux". Нагадує про доморослої (тобто вирощеної в будинку) коноплях.
У такій "голопупіі" типу України є такі машини, але трохи менше і не так афішуються.
І ісспользуются НЕ наукових цілях, а для реальних грошових операцій.
Alexey, на сам справі користь буває і не
наукова. а цілком собі побутова: у нас в офісі
5 машин (сумарно 8 процесорів від 933 до 500
П3) об'єднані в кластер (з використанням
Mosix'a). то що раніше компілялось 1.5 години
щаз випльовується за 10-15 хвилин. а з -O0 навіть
покурити не встигаєш як слід :)
для цього всі хором перейшли на єдиний десятеро
(MDK8) і ядро (2.4.8). на підході mosix для
2.4.10 - буим ставити обов'язково. -
тямболее все ставиться / будуватися за кілька
хвилин :)
---
легку іронію викликає зауваження про перенесення
HPшнікамі всього цього під Виндюк. ) - мож
чо і вийде путнє, але єси чесна ма терзають
сумніву (навіть єси забути про $$$ які треба
буит викласти за цей софт) - стає шкода
віндовий користувачів.
Новина дійсно не новина. У мене приятель зібрав собі непоганий кластер з трійок: накупив мам і каменів по 5-10 баксів на сотню, як-то все це скрутив разом і задоволений несказанно. А він, між іншим, не жартами займається, а дійсно реальним чисельним моделюванням і раніше крім AIX взагалі нічого не визнавав.
Господа, Ви звернули увагу на те з яких "застарілих" комп'ютерів це справа зібрали?
А ви тут про трійках, мащіни ц нас такі обчислювальні є і т.д.
Нам до них, як барана до бузку. )
2vlv. NET - відкрита специфікація. І вже як мінімум два активно розвиваються опеньсоурсних прокетіка по реалізації цієї специфікації наявні. Але тільки ось все одно я ні разу не розумію, яке відношення цей дотнет може мати до кластерним технологіям? Єдине, що це нам дасть - більш ефективну компіляцію, але тут і без .NET обійтися можна.
У той час, як інші лінуксоїди будуть осоромлені з появою .NET, місцеві обосрамілісь прямо тут і зараз!
Я що, стверджував, що вона придумана виключно для паралельних обчислень. Так ось, знайте - .NET платформа, що увібрала в себе все найдосконаліше і прогресивне в людській комп'ютерної думки, яка ідеально підходить для _ВСЕГО_!
А про безпеку і можливості відтворення в повному обсязі і говорити нічого - MSDN почитайте, перш ніж просторікувати!
mymy: ny i dyrak
mozhet i nay4ishcya chemy.
i vsio bydet normal'no. I Linux bydet, i .NET bydet, i Java bydet.