Потребность в новом ЦОДе была обусловлена рядом причин.
Во-первых, возрос объем предоставляемых услуг: когда компания в 2002 году только начинала работать на рынке кабельного телевидения, наши абоненты могли смотреть лишь шесть ТВ-каналов, сегодня же в сети доступно порядка 60 каналов в аналоговом формате и более 150 каналов – в цифровом, в том числе HD, Ultra HD и 4К. Покрытие сети также расширяется с каждым годом. Первоочередная задача оператора КТВ – обеспечить надежность передачи сигнала, высокое качество изображения и безопасное хранение большого объема данных. Наша прежняя серверная уже не справлялась с этой задачей, оборудование морально и физически устарело. Требовалась серьезная модернизация.
Во-вторых, компания диверсифицировала свои услуги, и помимо предоставления телевизионного сигнала мы начали оказывать услуги медиалогистики контента (работа с самим сигналом: прием, обработка, доставка и пр.). Для этого необходимо новое современное оборудование, другие производственные мощности.
В-третьих, с точки зрения безопасности гораздо лучше, если все оборудование установлено в одном месте и имеет централизованную систему управления и мониторинга под собственным контролем компании.
Строить или арендовать?
В первую очередь нужно было определить: что выгоднее, строить ЦОД самим или обратиться к услугам уже действующих дата-центров. Однозначного ответа на этот вопрос нет. Все зависит от потребностей компании и ее возможностей. Решение строить собственный ЦОД с нуля далось не легко. Тщательно взвешивались все «за» и «против», строились оптимистичные и пессимистичные планы развития. Просчитывались расходы на строительство и возможные доходы в будущем, сотни часов были затрачены на проработку концепции ЦОДа.
В среднем оснащение и оборудование 1 кв. м современного дата-центра, по оценке специалистов, могут обойтись в более чем 250 тыс. руб. С другой стороны, издержки при использовании ресурсов коммерческих ЦОДов тоже немалые. Они включают в себя как разовые, так и ежемесячные платежи: подключение, аренда юнитов или стоек, организация перемычек и стыков, затраты на медиалогистику: доставку и обработку сигнала и пр. Также необходимо помнить о возможном росте цен на услуги ЦОДов со временем. Приведем ориентировочную стоимость таких услуг в Москве от разных компаний (табл. 1).
Таблица 1. Стоимость некоторых услуг коммерческих ЦОДов в Москве
В целом затраты на услуги коммерческих ЦОДов могут составлять от нескольких сотен тысяч до миллиона рублей ежемесячно в зависимости от потребностей клиента.
Строительство же собственного дата-центра открывает возможность получения дополнительной прибыли от использования свободных мощностей ЦОДа, коммерциализации услуг работы с сигналами и потоками, кодирования, конвертации сигнала, мультиплексирования, размещение плейаутов и перегона контента; позволяет оказывать услуги колокации партнерам. Таким образом, если сравнить затраты на строительство собственного ЦОДа (порядка 100–150 млн руб. для небольшого дата-центра площадью около 100 кв. м) и экономию на услугах стороннего ЦОДа (до 10 млн руб. в год), а также возможность получения дополнительной выручки за счет арендаторов (если у вас 10 клиентов, то сумма может составить порядка 40 млн руб. в год), то срок окупаемости проекта составит около трех лет, а дальше уже пойдет получение прибыли.
- Совет 1. Поскольку отрасль ИТ быстро развивается и претерпевает значительные изменения в короткое время, то при реализации проекта нужно смотреть в будущее: учитывать новые запросы и требования клиентов, возможность дальнейшего масштабирования ЦОДа, увеличение нагрузки на оборудование, повышение энергоемкости и энергобезопасности, теплоотдачи, использование помещения в долгосрочной перспективе. Необходимо заложить резерв на дополнительное оснащение электроэнергией помещения, кондиционирование и пр. Оборудование должно быть рассчитано на долгий срок эксплуатации, с высоким уровнем запаса мощности без быстрого морального износа.
После принятия решения начинается самое сложное – его реализация.
Первый наш опыт построения серверной (много лет назад) был не самым удачным. Не все детали и элементы структуры мы проработали и допустили ряд ошибок. В результате даже незначительные действия (кто-то задел проводок или отсоединился патч-корд) приводили к большим проблемам. Был случай соединения электропитания под фальшполом через сетевой фильтр, который перегорел, а мы долго искали, где разрыв цепи.
Рис. 1. Прежняя серверная
Поэтому к строительству нового ЦОДа наша команда подошла с полным осознанием того, что нужно тщательно прорабатывать каждый этап.
На стадии проекта
Первый этап – это грамотное составление технического задания, в котором определяются технические характеристики, архитектура ЦОДа, показатели качества и технико-экономические требования. В разработке ТЗ принимали участие многие наши специалисты: технический директор, руководитель службы эксплуатации, ИT-инженер и инженеры-проектировщики, генеральное руководство компании и представители подрядных организаций. Самое сложное в этом процессе – достичь согласованности и высокого уровня координации между структурами, чтобы избежать ошибок на этапе проектирования, дублирования или реализации ненужных функций, сократить и оптимизировать бюджет проекта.
- Совет 2. Разработку технического задания необходимо проводить консолидированно, с перекрестной проверкой каждого раздела всеми заинтересованными службами. Необходимо иметь технического специалиста, отвечающего за выпуск финального документа, – архитектора решения. Важно также до начала составления технического задания четко разграничить зоны компетенции всех подразделений – соавторов документа и назначить ответственного исполнителя.
После составления ТЗ можно переходить к следующему этапу – проектированию и формированию технической документации – на котором разрабатывается эскизный проект дата-центра, определяются конструктивные и архитектурные особенности, предварительная планировка, перечень и номиналы необходимого инженерного оборудования.
- Совет 3. На этапе проектирования важно привлекать специалистов, у которых есть опыт участия в строительстве и эксплуатации дата-центров, начиная от устранения протечки крыши и коротких замыканий в цепи электропитания и заканчивая установкой и обслуживанием систем вентиляции и других звеньев функциональных структур.
Поскольку нормативных актов по проектированию и строительству ЦОДа в нашей стране практически нет, мы руководствовались не только требованиями действующего законодательства, но и рядом международных стандартов (в частности, Uptime Institute Tier Standard: Topology, ISO/IEC 30134 и др.).
В процессе проектирования ЦОДа и разработки комплекта проектной и рабочей документации должны быть решены следующие задачи:
- формулирование общей концепции ЦОДа, планирование инфраструктуры. Составление эскизов размещения оборудования, выбор оптимальных путей прокладки кабельных трасс, расчет параметров потребляемой мощности и отводимого тепла;
- проектирование структурированных кабельных систем, связывающих между собой компоненты дата-центра, с учетом заданных параметров и пожеланий заказчика;
- учет требований пожарной безопасности;
- выбор источников бесперебойного питания;
- проектирование эффективных систем кондиционирования, позволяющих создать необходимый для оборудования микроклимат.
После проектирования можно приступать непосредственно к строительству дата-центра. Для выполнения комплекса строительных работ требуется штат сотрудников, обладающих глубокими знаниями и большим практическим опытом в сфере создания дата-центров.
После завершения собственно строительства остается выполнить еще ряд работ:
- расстановку серверных стоек и шкафов, монтаж патч-панелей, заведение основных магистралей и подключение питания;
- размещение серверного и другого активного оборудования;
- обеспечение безопасности объекта с помощью установки видеонаблюдения и систем контроля доступа.
- Совет 4. Проектирование и создание таких специализированных систем, как пожаротушение, кондиционирование и пр., лучше поручить профильным организациям.
Готовый объект
Помещение дата-центра
Рис. 2. Общая схема основного помещения ЦОДа
Наш центр обработки данных расположен на шестом (и последнем) этаже офисного здания, в максимальной близости к антенному посту. Он занимает помещение общей площадью 100 кв. м правильной прямоугольной формы с допусками не более 1 см. Состоит из следующих зон: главной зоны с оборудованием (серверная), горизонтальной распределительной системы (трассы для слаботочных систем) и зоны для оборудования пожаротушения. Основное оборудование размещено в комнате без окон, где имеется фальшпол высотой 0,5 м от уровня основного пола.
Система электроснабжения
Рис. 3. Оборудование системы электроснабжения
Обеспечение постоянного и бесперебойного энергоснабжения – основная задача при создании ЦОДа. Наш ЦОД отвечает всем требованиям уровня Tier II, а по ряду характеристик соответствует уровню Tier III. Электропитание осуществляется от двух независимых вводов от городской сети и подается одновременно на два комплекта ИБП (для основной и инженерной нагрузок). Каждый комплект ИБП подключен к отдельному ДГУ, рассчитанному на восьмичасовое отключение от основного источника электропитания. Чтобы не перегружать перекрытия здания, ИБП расположены на первом этаже здания, а ДГУ – в подвале. Кабельные линии ВОЛС и электропитания проложены по двум вертикальным стоякам в разных концах здания. В каждой стойке предусмотрены два PDU для бесперебойной работы оборудования с двумя блоками питания.
Системы кондиционирования и климата
Для создания необходимых условий работы дата-центра требуется поддерживать в нем заданную влажность, температуру и подвижность воздуха (табл. 2). Достичь «идеальных» показателей не так просто.
Таблица 2. Значение предельных климатических показателей для ЦОДов
Для нашего ЦОДа мы выбрали систему охлаждения на уровне зала (четыре прецизионных кондиционера Schneider Electric) с подачей холодного воздуха в пространство фальшпола. В помещении поддерживается температура воздуха +22°С.
Рис. 4. Блоки системы охлаждения
При помощи двух промышленных увлажнителей Carel серии HumiSteam X-Plus относительная влажность воздуха поддерживается в пределах 45%. С целью предотвращения запыленности помещения приток воздуха из системы вентиляции регулируется таким образом, чтобы он был сильнее, чем мощность вытяжки, и тем самым «прибивал» пыль к полу. Кроме того, фальшпол оснащен специальным антистатическим покрытием, препятствующим накоплению на поверхности статического электрического заряда (блуждающих статических токов), что способствует уменьшению пылеобразования. Ежедневно в помещении проводится влажная уборка. Все сотрудники при посещении ЦОДа надевают бахилы.
Система пожаротушения
Сохранность информации в дата-центрах во многом зависит от принятых мер пожарной безопасности, применяемых методов и средств пожаротушения. Системы пожаротушения для ЦОДа проектируются с учетом требований пожарной безопасности для данной категории помещений. Существует несколько типов систем пожаротушения (табл. 3).
Таблица 3. Основные типы систем пожаротушения и их характеристики
На основе данных сайта https://selectel.ru/blog/obzor-reshenij-dlya-pozharotusheniya-cod/
В своем ЦОДе мы установили газовую систему пожаротушения с удвоенным объемом баллонов (основные и резервные). Используемый тип огнетушащего вещества – Novec 1230 (фторкетон ФК-5-1-12).
Рис. 5. Оборудование системы пожаротушения
Система безопасности и контроля доступа
Для обеспечения безопасности нашего ЦОДа мы используем:
1. Современную систему видеонаблюдения, не имеющую «слепых» зон и передающую информацию в режиме реального времени на панель видеонаблюдения службы безопасности дежурному сотруднику. Вся информация хранится на защищенных серверах службы безопасности в течение месяца. В машинном зале в дополнение к охранной системе видеонаблюдения установлены камеры технического видеонаблюдения, которое охватывает каждую стойку, для контроля работоспособности оборудования и удаленной технической помощи дежурному персоналу. Эта информация хранится не менее шести месяцев.
2. СКУД – многофункциональную отечественную систему Parsec для регулирования санкционированного входа/выхода сотрудников ЦОДа и учета рабочего времени каждого сотрудника. Помимо общей системы контроля и управления доступом в помещениях ЦОДа и на прилегающих территориях развернута система видеоверификации. В ближайшее время будет осуществлена интеграция системы биометрического доступа в наиболее ответственные помещения. На каждой двери на вход и выход установлены контроллеры доступа с ИБП и передачей информации по IP. Даже при возникновении чрезвычайной ситуации доступ в технические помещения имеет только сертифицированный персонал с правом доступа, поскольку ЦОД оснащен современной системой автоматического пожаротушения, не нуждающейся в присутствии человека. В дневное время доступ на территорию объекта осуществляется через пункт охраны с обязательной проверкой личности. В ночное время доступ в ЦОД имеют только дежурные технические службы.
3. Систему пожарной сигнализации, интегрированную с системой газового пожаротушения. Также в нашем ЦОДе развернута система оповещения о перегреве силовых кабелей как часть системы пожарной сигнализации. Это система предварительного оповещения о возможной проблеме. Перегрев кабеля питания может свидетельствовать об излишней нагрузке на нем, о проблеме оборудования или контактов, о повышенной плотности прокладки силовых линий на каком-либо участке или же о локальном перегреве и возгорании. Термокабель проложен так, чтобы по схеме было понятно, какой силовой кабель и на каком участке перегревается и требует внимания. В пожарном щите установлены приемно-контрольные модули для термокабеля, с которых сигнал передается в общую систему управления и мониторинга пожарной сигнализации.
Рис. 6. Оборудование системы пожарной сигнализации
4. Собственную сертифицированную систему молниезащиты, причем каждый кабельный спуск от антенного поста защищен оборудованием УЗИП.
Рис. 7. Оборудование УЗИП
В настоящее время в нашем ЦОДе установлены 20 шкафов и 18 открытых стоек для собственных нужд и предоставления услуг колокации.
Рис. 8. Машинный зал ЦОДа
Как уже говорилось, сам ЦОД находится в непосредственной близости к собственному антенному посту. Антенны позволяют принимать с высоким качеством сигналы со всех орбитальных позиций, доступных для Москвы. ЦОД соединен с ММТС-9, ММТС-10 собственными волоконно-оптическими линиями связи, что позволяет нам, помимо традиционной передачи данных, передавать сигналы КТВ и заниматься медиалогистикой. Более того, из нашего ЦОДа есть выход к любому оператору спутникового телевидения, у нас агрегируется большинство телеканалов в формате SDI.
Итак, создание ЦОДа – далеко не дешевый (сотни миллионов рублей) и очень трудозатратный проект, выполнение всех работ может занять до года. Однако, если грамотно ко всему подойти и заложить возможности развития на перспективу, то в результате можно получить современный ИКТ-объект, который позволит его владельцу не только упрочить свои позиции на рынке, но и получать хорошую прибыль!