Colan kvm aten, як я створював домашню мережу

Сисадміна запитують:
- щоб ти зробив якби у тебе був мільйон баксів?
- я б побудував круту сітку з гігабітними каналами і терабайтними серваке. І администрировал б її для душі.

Після того як до мого будинку дотяглася локальна районна мережа і я став її користувачем, з'ясувалося що у мене одна з найбільших в районі приватних колекцій фільмів і музики, та ще з цілодобовим вільним доступом. А треба зазначити що що ця мережа охоплює весь північ Москви (вона складається з декількох окремих мереж, пов'язаних між собою гігабітними міжмережевими лінками). Я не жмот і мені не шкода було надати вміст моєї колекції для публічного доступу. Однак моя дружина (яка сама постійно слухала mp3-шки з сервера і дивилася фільми) заявила що їй набрид вічний шум від стоїть на балконі сервака і поставила класичне умова: "або я або він" :-)). Розлучатися ні з тим, ні з іншим я не планував, тому довелося шукати нове місце для створення "серверної". І воно було знайдено! Наша районна локальна мережа має повний комплект дозвільних документів і ліцензій для свій діяльності, а також договори з префектурою на розміщення мережевого обладнання на горищах будинків. А ще нам попалося комп'ютерно-утворене керівництво місцевого РЕУ, яке з розумінням ставилося до наших проблем. Таким чином виступаючи під прикриттям місцевої локальної мережі я отримав дозвіл на організацію серверного приміщення на горищі свого будинку в своєму ж під'їзді. Далі почалося суцільне творчість і "рукоприкладство". Керівництво мережі пообіцяло мені виділити залізний ящик під сервера. Але по-перше з'ясувалося що цей ящик за габаритними розмірами не проходить через люк, що веде на горище. По-друге мене не влаштувала якість його виготовлення.

Тому я вирішив робити ящик сам, саме який потрібен мені. З сталевих трьохміліметрового листів і 35-мм куточка я зварив каркас. Приварив сейфові петлі, внутрішні скоби і розпірки для захисту від спилювання, встановив пару сейфових замків. Через кілька днів чаклунства в гаражі серверну шафу був готовий. Підсумкова собівартість всіх матеріалів для ящика на той момент становила 2500 руб або близько 80 $.

А ось далі почалися обломи. З'ясувалося що ящик не влазить в ліфт і з двома помічниками його довелося піднімати на руках по сходах на 10-й поверх. Але ж навіть зі знятою дверцятами його вага склала близько 130 кг! У горищний люк він пройшов успішно, але далі мене чекала чергова моя проектна помилка. Через горищний люк він пролазив тільки лежачи, а щоб тепер поставити в нормальне робоче положення потрібно спершу поставити його на ребро. Ось тут-то і з'ясувалося що наменьшая діагональ ящика на 60 мм перевищує висоту стелі на горищі. Виходу було два: або розпилювати ящик, для чого його довелося б знову спускати вниз і везти в гараж; або розширювати горище. При всій своїй комічності це виявилося єдино вірне рішення. Я трохи підпиляв болгаркою ребра плит перекриття і видовбав канавку в керамзито-бетонній підлозі горища. В результаті "вичавив" потрібні міліметри і ящик став на належне місце. А сліди руйнувань горища я забетонував. Так що за збереження ящика я тепер спокійний - без руйнування горища його не винесуть :-) До речі до цегляної стіни ящик прикручений анкерними болтами і фактично він висить над підлогою.

Ще на етапі проектування ящика я приділяв велику увагу вентиляції обладнання. Витяжний охолодження реалізовано у мене так: уздовж задньої частини бічних стінок випив чотири отвори, там встановлені комп'ютерні вентилятори 120 мм, 12 В. Отвори закладені металевими гратами з нейлоновими сітками (щоб комахи не пролізли). Для осені і зими цього охолодження досить (взимку на горищі близько нуля градусів). А ось в самий жаркий літній період додатково включаю припливну вентиляцію. Повітря з вулиці подається потужним вентилятором через армований рукав:

Охолодження спроектовано таким чином що холодне повітря з вулиці надходить в нижню частину ящика, вертикально рівномірно розподіляється по передній стінці, а минулий через все охолоджувані пристрої вже гаряче повітря видувається через задню частину бічних стінок. Зрозуміло на всіх етапах стоять решітки та сітчасті фільтри. До речі практика показала що в літню пору всі фільтри вимагають як мінімум щотижневої чистки. В результаті такої організації вентиляції в найспекотніший час температура всередині ящика при повністю навантажених серверах не перевищує 35 градусів. Тобто фактично дорівнює вуличній температурі. Для контролю температури всередині ящика, навколо нього і на вулиці я використовую датчики DS 18S20 і програму Temp Keeper 2.0. Всі мої електричні комунікації виконані в пластиковій гофре, а перетину силових кабелів закладені з двократним запасом.

Тепер прийшла пора заглянути в сам ящик.

У верхньому відсіку ящика розміщені два найголовніших файл-сервера: на 1 і 2 Тб. Малий сервер (праворуч) забитий музикою та іншим добром, великий (зліва) виділено виключно під фільми.

Обидва сервера зібрані в корпусах AOpen H800 з дубльованими блоками харчування Delta RPS-600A (2 х 337W HOT-SWAP redundant).

У нижньому відсіку розміщені ще два сервера. Вони обидва в рекових корпусах, але не тому що "так треба", а тому що такі корпусу мені колись дісталися.

Верхній сервер, який колись був першим і єдиним тепер вважається "бекапним". У ньому 4 диска Maxtor по 80 гигов на контролері Promise Fasttrak 100 TX4. Моя політика бекапа на увазі тимчасове резервування тільки тих файлів з усіх серверів, які ще не архівовані на CD або DVD. А також на окремому диску цього сервера складаються бекапи системних розділів при щоденному і щотижневому копіюванні. На жаль системні диски я встановлюю за залишковим принципом і виходить що вони вмирають набагато частіше ніж диски з масиву. І тут виручає правильно налаштований бекап. Мамка ASUS P3B-F, проц P2-450, пам'ять 256 Мб PC100.

Всі сервера об'єднані в мережу через восьмипортовий гігабітний свіч D-Link, який закріплений у верхній частині ящика.

Електроживлення серверного ящика враховує особливості електропостачання будинку, якому я проживаю. У будинку часто відключають електроенергію за окремими під'їздами. При чому іноді всього на кілька секунд, набагато рідше годинами. Тому в ящик заводиться дві різні фази з двох сусідніх під'їздів (в ідеалі планую зробити з різних будинків :-). При відключенні основної фази силове реле перекидає харчування пристроїв на іншу. Вся високовольтна комутація зібрана в закритому електрощитку

На час перекоммутации і при глобальних відключеннях обох фаз обладнання резервується через UPS PowerMan RealSmart 1500

Практика показала що цієї UPS вистачає для живлення всього мого обладнання протягом приблизно десяти хвилин. Однак уже зараз UPS завантажений приблизно на 85% і тому я припускаю встановити другий UPS.

Для харчування низьковольтного обладнання в ящику встановлено окремий комп'ютерний БП на 300 Вт, від якого я використовую напруги + 12В (вентилятори, KVM перемикач і KVM extender та ін.) І + 5В (консоль віддаленого управління серверами). Цей БП також харчується через UPS. Для самозаспокоєння і для заспокоєння пожежного нагляду в ящику встановлений автономний вуглекислотний вогнегасник. Він може запускатися як самостійно через свій термочутливий хвіст, так через подачу напруги, що управляє з консолі управління. Управління вогнегасником організовано так що при подачі команди на його спрацьовування відключається вся вентиляція і обесточиваются все сервера.

Все управління мережею здійснюється з домашнього комп'ютера на платформі ASUS Pundit, який має ось таке нетрадиційне розташування

Справа в тому що вдома "водиться" півторарічна дитина у якого пристрасть до комп'ютерів мабуть вже закладена в генах. Але через його малого віку він поки відсторонений від адміністрування мережі. А позбавити адмінських прав вдалося тільки підвісивши все вузли домашнього комп'ютера на недоступною висоті.

До речі клавіатура і миша бездротові і їх доводиться ховати вище при кожному наближенні маленького домашнього "шкідника" :-) А зовсім недавно я виявив що він забирається на табуретку, потім залазить на стіл і вимикає монітор! Тепер доводиться прибирати табуретки.

На жаль при створенні цієї мережі не все так гладко відбувалося, як здається при прочитанні цій оптимістичній статті. Наприклад були проблеми з електропостачанням і місцевим населенням. Справа в тому що основне живлення серверної береться з електрощитка останнього житлового поверху. За наполяганням місцевого електронагляду в щитку довелося встановити додатковий автомат на 25 А і тільки після нього кабель йде в серверну. Так ось "бабка - самотній божий одуванчик", якій належить електрощит внадилася відключати цей автомат. Аргументи у неї були такі:

• Через мене у неї лічильник тепер більше накручує.
• Через це "антернета" тілівізер сам сключается і вимикається і мало каналів ловить
• Я ночами ходжу по бляшаній даху її балкона і кричу пташиними голосами
• Через мене у неї дах протікає
• І взагалі ходять тут всякі терористи.

В результаті довелося міняти місцями фази електропостачання, а затяжна війна з нею поки триває. Останній раз вона на горищні грати повісила велосипедний замок з тросом, мені довелося його перекушувати. (В якості відповіді у мене є ідея встановити на горищі колонки і ночами долучати її до церковних піснеспівів Рахманінова :-) Але поки я не настільки від неї озвірів і вважаю за краще вирішувати більш насущні проблеми свого серверного господарства.

Хоча в цілому хочу визнати дане рішення вельми успішним і гідним для подальшого клонування. Так що якщо хтось надумає повторити мою конструкцію, то я готовий відповісти на всі технічні питання, що стосуються цього проекту.

мабуть крім одного - навіщо все це потрібно :-)

Спробую прямо тут відповісти на деякі питання якими мене завалили.

Габаритні розміри ящика 1100 мм (висота), 900 мм (ширина), 800 мм (глибина). Верхнє відділення висотою 600 мм, нижнє 500 мм. Полку з ДСП просоченого негорючим розчином. Точних креслень ящика не існує, так як при його створенні я "імпровізував". Але якщо буде вільний час, то спробую креслення намалювати. Особлива увага при проектуванні приділялася вентиляції, тому що тепла вся ця конструкція виділяє багато.

RAID контролери з шиною PCI-64 можна встановлювати в звичайні мамки з шиною PCI-32. Зрозуміло при цьому продуктивність буде нижче, але мені і цього вистачає.