1. Статьи
Заметки пользователей
03.11.2011 11:49
PDF
39199
37

Серверная

В этой краткой статье я расскажу, как ужастики Nag.Ru видоизменяются, превращаясь в почти образцовые узлы. Было бы желание, так ведь?

История эта началась в одной провинциальной коммутационной. Она поросла проводами, свет замёрз, не дойдя до ламп, кулеры не проворачиваются от строительной пыли, а безымянные коннекторы пристыли к разъёмам свитчей. В этой стагнации всё бы и сгнило, если бы не идея построить микроЦОД с маленькой серверной фермой.

Тут-то всё и началось.

Серверная

Чтобы читатель имел представление о том, что это было:

СервернаяСерверная

Так был уложен кабель между двумя помещениями, по которому бежали важные данные, в том числе телефония.

Серверная

Впрочем, раздел ужастики в полной мере описывает состояние многих технических помещений в нашей необъятной, не исключая наше.

Новая серверная предполагалась соответствующей всем мыслимым требованиям. На деле, к сожалению, реализовать удалось не всё.

Итак, чтобы что-то построить, сначала надо что-то разрушить, с этого наши бравые подрядчики и начали. Их задача усложнялась тем, что во время ремонта ни в коем случае нельзя выключать оборудование и резать кабели, максимум можно шкаф передвинуть на сантиметров 30.

СервернаяСерверная

Наскоро накинув на стойки полиэтиленовые мешки, ребята начали свою разрушительную деятельность.

Серверная

Провода в помещение заходили там, где им заблагорассудится: с потолка до пола, прямо из стены, окутывая всё плотной сеткой.

Серверная

Для предотвращения этого в дальнейшем, сверху в стене сделали отверстие, а снаружи (в коридоре) проложили пластиковую трубу для новых медных и оптоволоконных кабелей. Чтобы через трубу можно было легко протянуть новый кабель, оставили стальной трос.

Серверная

После того, как ребята закончили стены, они взялись за фальш-пол — изобретение, на мой взгляд, классное, но не всегда его использование рационально. Допустим в нашем случае — две стойки, два шкафа я считаю это излишним — гораздо дешевле и, возможно, удобнее были бы ледеры (кабельные лотки).

СервернаяСервернаяСерверная

Кроме того, под фальш-пол необходимо отдельно проводить систему пожаротушения.
Кстати о ней. Поскольку помещение технологическое с дорогущим оборудованием, а самое главное, критичным для бизнеса, будет использоваться газовая система пожаротушения.

Вместо сосудов с порошком, как это сделано в торговых центрах и офисах, здесь ставится баллон с газом под высоким давлением

Серверная

От баллона выходят мощные трубы и расходятся по помещению: на потолок и под пол.

СервернаяСерверная

Такими коробочками помечается, где конкретно под полом находится распылитель и датчик:

Серверная

В случае пожара, система открывает клапан, газ подаётся в помещение и вступает в реакцию с кислородом, не давая огню распространяться в бескислородной среде. Минут через 15-20 газ нужно откачать из помещения насосом через специальный люк:

СервернаяСерверная

Количество газа рассчитывается на определённый объём помещения, поэтому газ можно выпускать не на улицу, а просто в просторный коридор, где концентрация станет неопасной.

Наш электрик Гера — местная легенда — собирает вводной щит:

Серверная

Мужик ногтями зачищает кабели питания и пробует 380 голой рукой, чтобы узнать, есть ли напруга в сети.

Вот за что мне нравятся электрики, так это за аккуратность. У них это в крови:

Серверная

Конечно, на картинке, не лучший пример, но согласитесь, аккуратно?

Правда, использовали для электричества дурацкий короб, который путём даже не закрывался. И в конце концов вовсе обмазали его герметиком.

СервернаяСерверная

После того, как вся работа по ремонту выполнена, ПОС и прочие системы установлены, в бой вступаем мы. Ребята-монтажники собирают шкафы, привинчивают короб к стене, тянут кабели, варят оптику. А ваш покорный слуга занят тем временем архитектурными вопросами:

Серверная

На замену старому неуклюжему шкафу приходит небольшой навесной коммутационный шкафчик:

Серверная

Чтобы вынести из помещения старый, приходится пожертвовать его ногами:

Серверная

Моё время наступает, когда стойки собраны. Я монтирую туда маршрутизаторы, коммутаторы, конвертеры, мультиплексоры и другие железки с умными названиями, предварительно продувая их от пыли. Скопилось их очень много, поэтому для чистки используем промышленный автомат очистки картриджей.

СервернаяСерверная

Подключаю кабели и проверяю коммутацию. Кроме того, на этот день я запланировал изменение схемы сети: новый гигабитный Distribution Switch, перенос интерфейсов с catalyst на cisco 3925 и другое.

Серверная

Примерно так выглядит почти законченная серверная:

СервернаяСервернаяСерверная

Не могу сказать, что получилось идеально, что реализовано всё, что задумывалось, в частности, пока ещё не промаркированы кабели, нелогично установлены кондиционеры в помещении, нет контура заземления, со временем проявилась непродуманность коммутации между шкафами и стойками — пришлось прокидывать отдельно кабели под полом. Я не проектировал эту серверную, но на будущее  я постараюсь учесть обнаруженные ошибки. Однако для первой итерации результат, я считаю, получился неплохим.

Ну и самое главное, пожалуй: не нужно просто запускать. Какой бы крутой и продуманный ЦОД вы не построили, если вы будете прокидывать там «временные кабели» или в спешке бросать кабели как попало, вы совьёте змеиное гнездо.

Серверная

37 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

В этой краткой статье я расскажу, как ужастики Nag.Ru видоизменяются, превращаясь в почти образцовые узлы. Было бы желание, так ведь?

 

Полный текст

Saab95
Saab95

Чем же они плохи?

Alexandr Ovcharenko
Alexandr Ovcharenko
нету контура заземления

Это приговор. Уволить всех нахрен! От главного инженера до последнего монтажника.

ЧИЖик-пыЖИК
ЧИЖик-пыЖИК
нету контура заземления

Это приговор. Уволить всех нахрен! От главного инженера до последнего монтажника.

 

А монтажники в чём виноваты? Их послали, они пошли :(

eucariot
eucariot
нету контура заземления

Это приговор. Уволить всех нахрен! От главного инженера до последнего монтажника.

Вы удивитесь, если узнаете, как много в стране технических помещений без заземления. И да, это плохо.

Я много раз во время строительства поднимал этот вопрос. Все слушали, кивали и всем было пофигу, потому что я телекомщик, а не монтажник или инженер по строительству.

eucariot
eucariot

Чем же они плохи?

 

За много лет не видел ни одного автомата ИЭК, у которого бы не разваливался корпус при затяжке клеммных винтов. И срабатывают они на ток какой угодно, но только не тот, который указан на корпусе.

 

ЗЫ:

А так зачетная серверная. Главное чтобы коммутаторы были с надписями джунипер или цизго и всё будет ок.)

И закрепите всю активку повыше, к самому потолку, как вот сервевак на втором снизу фото. Оптические кроссы надо наоборот ещё ниже установить - они же жутко греются!

 

Я оценил ваш юмор) Учту, конечно, на будущее. Но кроссы снизу, чтобы не тянуть толстую оптику наверх, а на втором фото снизу - это cisco 3925, а не сервер. Коммутаторы, кстати, используем HP - тоже пока с лучшей стороны себя показывают.

Saab95
Saab95

За много лет не видел ни одного автомата ИЭК, у которого бы не разваливался корпус при затяжке клеммных винтов. И срабатывают они на ток какой угодно, но только не тот, который указан на корпусе (обычно в 2-3 меньший). В Питере ИЭК массово ставят нищебродские ЖКХ структуры, на освещение, домофоны и т.п. и ещё Карбина-телеком устанавливает их снаружи своих ящиков, но там без разницы, потому что включать/выключать коммутатор 10Ватт лучше автоматом за 30 рублей/шт (никто не будет покупать Легранд за 150 рублей/шт). Короче, хотите поесть гавна - ставьте ИЭК.

 

 

Чтобы не разваливались нужно их плотно паковать или придерживать рукой половинки корпуса при затяжке=)

По поводу тока не согласен, всегда ставлю их с минимальным током срабатывания 6-16 ампер, ложных срабатываний не было. Эта фичка про ток пошла от того, что несколько китайских партий были бракованные и электрики пустили такой слух, а о плохом конечно сведения распространаются быстрее, чем о хорошем.

 

А зачем нужен отдельный контур заземления, если заземление уже есть в розетках и все коммутаторы и так заземляются? А через них и все остальное оборудование?

Saab95
Saab95

Ну так вот=)

 

Автоматы ИЕК с синей полосой собираются в РФ и качество их очень плохое.

Автоматы IEK с желтой полосой собираются в китае, по срабатыванию проблем нет, но корпус при затяжке расходится в стороны.

 

Вот автоматы IEK - никаких проблем ни с преждевременным/завышенным срабатыванием нет, так же с расхождением корпуса так же нет проблем, при сборке были поджаты с обеих сторон:

 

iek1.JPG

 

Тут видно что в верхних автоматах первый слева выключенный имеет зазор в корпусе у нижней клеммы, так же крайний справа имеет такой же зазор. Чтобы его убрать достаточно ослабить зажим и поджать с краев. Но собственно это расхождение не так и страшно, ведь автоматы должны быть закрыты планками, а верхняя часть корпуса ведь не расходится.

 

А это автоматы IEK на 63 ампера, верхний на 100. Так же никаких ложных срабатываний.

 

iek2.JPG

dmnp
dmnp

Я не проектировал эту серверную

 

А кто?

 

интересуюсь, чтоб не попасть так же))

Barbaris
Barbaris
помещение технологическое с дорогущим оборудованием, а самое главное, критичным для бизнеса,

Не очень понял, где в этом помещениии УПС, да вообще по электричеству не очень красиво сделано. В стойках, похоже, стоят розеточные блоки и силовые провода вперемежку с витухой.

 

Второе. Монтаж коробочек на две стороны стойки, причем задние находятся совсем близко от стены. Такой вариант не только менее удобен при эксплуатации, но и мешает нормально развести питание. Если используете железки глубиной 500-600-700 мм, логично всю "силу" уложить сзади, все "байтопроводы" спереди и по бокам стойки. Мелкие свичи задом наперед создают путаницу проводов.

 

Третье. Само по себе использование открытых стоек в таком небольшом помещении -- зло.

 

Четвертое. Торчащие наружу патчкорды, да еще на уровне ботинок -- зло.

 

Пятое. Не видно ввода оптического кабеля в кросс, но есть подозрения что ввод сделан криво.

 

Шестое. Про контур заземления уже ругались, но судя по наличию желто-зеленого провода в щитке "земля" в этом помещении все-таки есть.

Контур в виде шины по стене помещения совершенно не обязателен (это все-таки не цех), а вот как выполнено заземление в стойке? Только через третий контакт розеток? А сами стойки не заземлены?

 

Седьмое. Кстати, о розетках. Не совсем понял, каким образом розетки подключены к щиту. Все на один автомат? Или есть еще какая-то распред. панель, не показанная на фотографиях? На стойках распред. панелей не видно.

 

Восьмое. Не вижу аварийного освещения.

 

Уфффф. Устал ругаться.

На самом деле, видно что старались и прогресс по сравнению с тем что было -- на лицо. Но есть еще куда расти :)