ВЕДУЩИЙ РОССИЙСКИЙ СИСТЕМНЫЙ ИНТЕГРАТОР

«ЦОД: правила кондиционирования и охлаждения»

Источник: Журнал "Connect!", №12
Дата публикации: Декабрь 2013
Автор: Геннадий Дунаев, руководитель службы эксплуатации ЦОД «ТрастИнфо» (ГК «Ай-Теко»)
25.12.2013

Система охлаждения ЦОД является, как известно, одной из самых энергозатратных составляющих ЦОД, потребляя до 50% всего объема электроэнергии, необходимой для его работы.
Выбор типа системы охлаждения дата-центра существенно влияет на конфигурацию всех смежных инженерных систем, а в конечном итоге определяет такой важный показатель, как полная стоимость владения (TCO). В то же время рационально спроектированная система охлаждения ЦОД позволяет сократить эксплуатационные затраты более чем на 10%.
Не стоит забывать и о важности поддержания рабочих температур в ЦОД для отказоустойчивости – допустимые перепады температуры вписываются в диапазон всего в 9 °C.

Стандартное похолодание

Спектр задач для современной системы охлаждения ЦОД включает в себя прежде всего поддержание оптимальной рабочей температуры и влажности внутри стоек, подвод холодного воздуха и отвод горячего при соблюдении условия несмешиваемости двух потоков.

Общепринятыми стандартами по кондиционированию ЦОД являются рекомендации ASHRAE – американского общества инженеров, специалистов по отоплению, охлаждению и кондиционированию воздуха. Стандарт включает в себя следующие параметры: температура – 18 °C ≤ T ≤ 27 °C, точка росы – 5,5 °C ≤ Tр ≤ 15 °C, влажность – H ≤ 60%.

ASHRAE выделяет четыре класса оборудования для дата-центров - A1, A2, A3 и A4:

  • оборудование класса A1 работает в диапазоне температур от 15 до 32 °C при относительной влажности от 20 до 80%;
  • оборудование класса A2 работает в диапазоне температур от 10 до 35 °C при относительной влажности от 20 до 80%;
  • оборудование класса A3 работает в диапазоне температур от 5 до 40 °C при относительной влажности от 8 до 85%;
  • оборудование класса A4 работает в диапазоне температур от 5 до 45 °C при относительной влажности от 8 до 90%.

Основной объем ИТ-оборудования, установленного в современных дата-центрах, соответствует по данной классификации уровням А1 или А2.

Это не единственный стандарт. Так, кондиционирование машинных залов регулируется другим американским стандартом (TIA-942) и его европейским аналогом. Стандарт рекомендует применение фальшполов, а также расположение шкафов и стоек с оборудованием таким образом, чтобы между ними можно было организовать «горячие» и «холодные» коридоры.

В «горячих» рядах шкафы и стойки с оборудованием располагаются тыльными сторонами друг к другу. Перфорированные плитки фальшпола в «холодных» рядах позволяют холодному воздуху поступать к лицевым панелям оборудования.

В качестве дополнительных способов охлаждения оборудования предусматриваются: распределение оборудования по неиспользованным участкам фальшпола (при наличии таковых); использование открытых стоек вместо шкафов или шкафов с ячеистыми передними и задними стенками; использование перфорированных плиток с отверстиями большего размера.

В России также действует документ СН 512-78 «Техническое требование к зданиям и помещениям для установки средств вычислительной техники». Согласно ему запыленность воздуха в ерверных не должна превышать 0,75 г на 1 м³, а в помещениях обработки данных этот показатель составляет 2 г на 1 м³ воздуха. При этом размер частиц не должен превышать 3 мкм.

Поскольку в подобных помещениях оборудование для кондиционирования воздуха эксплуатируется круглый год, кондиционеры в серверных должны выдерживать температуру наружного воздуха до –30 °С, что требует обязательной установки комплекта зимней эксплуатации. В то же время стандартные системы кондиционирования рассчитаны на работу при температуре воздуха до –10 °С, реже – до –20 °С.

Помещение, в котором располагается ИБП, имеет свои параметры по кондиционированию: температура воздуха 20–25 °С (не более 40 °С), влажность – не выше 90%. Кроме того, необходима отдельная вытяжка.

Определяющим показателем эффективного использования электроэнергии в ЦОД является коэффициент PUE (Power Usage Effectiveness). Он равен мощности энергопотребления всего ЦОД, деленной на мощность энергопотребления серверного оборудования. У энергоэффективного ЦОД PUE стремится к единице.

До недавнего времени даже самые лучшие ЦОД обладали коэффициентом энергоэффективности не более 1,6, а худшие демонстрировали показатель около 3. Именно хорошая система охлаждения оборудования ЦОД помогает снизить PUE: один из лучших показателей в мире сегодня составляет 1,25, и достигнут он был благодаря системе охлаждения EcoBreeze (производитель – APC by Schneider Electric).

Классические способы систем охлаждения

В зависимости от специфики конкретного ЦОД используются разные решения. Например, при небольшой энергоемкости объекта для охлаждения достаточно воздушного охлаждения прецизионных кондиционеров. Как только объемы выделяемого тепла «перешагивают» определенные пороговые значения, усложняется и система кондиционирования.

Одно из самых распространенных решений – фреоновые прецизионные системы с непосредственным расширением (DX), которые применяются в ЦОД любых уровней. В числе их главных достоинств – относительно низкая стоимость, долгий срок службы и высокая надежность. Они подходят для небольших по объемам энергопотребления объектов (до 100 кВт).

Более передовое решение – прецизионные кондиционеры на холодоносителе, используемые в ЦОД классом вплоть до Tier IV. Охлаждение воздуха в теплообменнике таких кондиционеров происходит за счет циркуляции холодоносителя (хладагента), который доводится до нужной температуры в специальных установках – чиллерах. Как правило, это сложные и дорогие решения, стоимость которых может быть на 50% выше, чем DX.

Такие системы обеспечивают гибкую модель эксплуатации, позволяющую за счет комбинации различных составляющих добиваться почти двукратного снижения годового потребления энергии по сравнению с фреоновыми прецизионными кондиционерами.

Кроме того, широко используются межстоечные кондиционеры на фреоне или холодоносителе. Они размещаются в рядах стоек с серверным оборудованием и забирают нагретый воздух из «горячих» коридоров. После охлаждения он поступает в холодный коридор и оттуда передается на охлаждение стоек.

При таком подходе отпадает необходимость в фальшполах, поскольку воздух движется в горизонтальном направлении. Это позволяет размещать довольно мощные дата-центры на небольших площадях.

Еще один тип систем охлаждения – модули охлаждения с фазовым переходом хладагента. Подобные системы могут быть основными устройствами в системе охлаждения или дополнять системы других типов. Модули представляют собой корпусы различной конфигурации, в которых размещаются теплообменники и вентиляторы. В качестве хладагента используется фреон или углекислота.

Существуют также стойки с интегрированными модулями охлаждения: воздух в них циркулирует, не выходя за ее пределы.

Новейшие подходы к организации охлаждения ЦОД

В последние годы наряду с классическими способами организации систем охлаждения появились новые, экологические, или «зеленые», подходы для теплоотвода в ЦОД: использование морской или речной воды, наружного воздуха (фрешкулинг). Минус таких решений – необходимость выделять под системы охлаждения помещения большей площади, чем при работе с фреоновыми кондиционерами или чиллерами, что отражается на общей стоимости эксплуатации. Эта технология в различных вариантах используется на объектах таких компаний, как Facebook, Google и Yahoo. Однако ее применимость связана с климатическими условиями, поэтому вряд ли этот метод получит повсеместное распространение.

Используют и абсорбционные бром-литиевые холодильные машины (АБХМ), но пока и это решение широкого распространения не получило. Хотя к нему, безусловно, стоит присмотреться: это настоящее «зеленое» решение, при котором в системах охлаждения дата-центра не используется фреон.

Другая актуальная тенденция сегодняшнего дня – жидкостные системы охлаждения. По данным Knuerr, в ряде случаев они на 40% экономичнее воздушного охлаждения, а энергоэффективность ЦОД с их помощью можно повысить на 30%.

На жидкостных системах строятся и проекты по геотермальному охлаждению ЦОД. Интересный вариант реализован в Стокгольме: компания Interxion для охлаждения своего ЦОД использует воду Балтийского моря. Это решение стало альтернативой традиционным системам кондиционирования, а значит, и росту затрат на электроэнергию для их работы. По схожей модели решена проблема охлаждения ЦОД Google в Финляндии.

Температура воды на входе в первый модуль ЦОД составляет 6° С, а на выходе – 12 °С. Второй модуль вода покидает уже с температурой 18 °С, а в третьем нагревается до 24 °С. После этого она поступает в насосную станцию и используется для отопления близлежащих домов и офисов. После реализации проекта компании удалось уменьшить коэффициент эффективности использования электроэнергии (PUE) с 1,95 до 1,09, на 80% снизить затраты на охлаждение по сравнению с системами на базе воздушного охлаждения и на 13% – по сравнению с системами жидкостного охлаждения. Оценив эффективность проекта, компания планирует создать такую же схему в Лондоне – с использованием вод Темзы.

В России аналогичное решение реализовано в дата-центре «ТрастИнфо»: расположенный на территории дата-центра технический бассейн используется в качестве резервного источника холода – накопительный бак холода на 2000 м³ воды. Холодная вода также залита в два внутренних контура системы холодоснабжения. Использование данного ресурса с водой температурой +7 °C позволяет обеспечивать до четырех часов автономного охлаждения дата-центра при полной загрузке мощностей.

Модульный ЦОД – прецизионные кондиционеры и free cooling

Свои особенности имеют так называемые модульные ЦОД – относительно новая для России область ЦОДостроения. Модульный ЦОД представляет собой готовую инфраструктуру для размещения серверов, систем хранения данных и другого ИТ-оборудования, состоящую из контейнера или набора контейнеров со всеми компонентами полноценного ЦОД внутри (стойками для серверов, коммуникациями, системами электропитания, охлаждения и т. п.).

Системы кондиционирования таких проектов включают в себя внутренние и внешние блоки кондиционеров с дополнительными системами свободного охлаждения и нагревания воздуха, автономным подогревом слива конденсата из кондиционеров, исключающим возможность замерзания, и защитой внешних блоков от вандализма и случайных повреждений. Уровень резервирования – N+1.

В системе кондиционирования МЦОД возможно использование режима свободного охлаждения (free cooling) с помощью наружных вентиляторов.

Типичное кондиционирование в МЦОД строится на компрессорно-конденсаторном блоке и прецизионных внутрирядных кондиционерах. Они оснащены воздушным фильтром, реле давления для контроля степени загрязнения фильтра, насосом для удаления конденсата, а также микропроцессорным контроллером, который позволяет отслеживать функционирование агрегатов с помощью интерфейсов для подключения к системам диспетчерского управления.

В мировом масштабе

Глобальный рынок этих систем, по прогнозу TechNavio, вырастет вместе с рынком собственно ЦОД до 2016 г. на 12%, а его основным драйвером станет бум облачных технологий. Ежегодный рост потребности ЦОД в охлаждении оборудования составляет при этом 8%.

Исследование компании DCD Intelligence показало, что рост инвестиций в ЦОД в 2012 г. составил 22,1% по сравнению с уровнем 2011 г.: с 86 млрд до 105 млрд долл. Прогноз на 2013 г. – 14%. Максимальный рост (22,5%) был отмечен в сегментах решений управления ЦОД, а также в ИБП, систем безопасности и охлаждения. Рост в деньгах за год составил 9 млрд долл.

Основными вендорами, обеспечивающими поставки различных комплектующих и готовых решений, являются APC Corp., Emerson Network Power, Rittal Corp., Coolcentric, Core4 Systems, Dell Inc., Eaton Corp., Fujitsu Ltd., Green Revolution Cooling, Hewlett-Packard Co., Hitachi Ltd., IBM Corp., Klima-Therm Ltd., KyotoCooling, Oracle Corp. и Stulz ATS.

Главными вызовами, стоящими сегодня перед ними и перед операторами дата-центров, являются энергодефицит, а также повышенные требования к энергоэффективности и экологичности процессов охлаждения, что порождает спрос на «зеленые» решения. Патентуются все новые технологии охлаждения, в том числе и такие, как погружение оборудования в охлаждающую среду (минеральное масло).

Все эти решения применяются и в России. Российский рынок ЦОД – один из самых быстрорастущих. В 2013 г. он вырос на 28% – до 9,1 млрд руб. (данные iKS Consulting), а на 2014-й некоторые эксперты прогнозируют и вовсе двукратное его увеличение. 170 крупных и средних ЦОД на общей площади 65 тыс. м2 – суммарные показатели на текущий момент, которые в 2014 г. возрастут на 10 тыс. м2. А это значит, что спрос на самые передовые решения по охлаждению оборудования будет только расти.

Уже сейчас в России реализуются проекты по созданию систем охлаждения ЦОД самого высокого уровня. Один из них – система охлаждения дата-центра «ТрастИнфо», особенностью которой является сочетание разных типов систем кондиционирования.

Решение проблемы удаленных теплообменников

ЦОД «ТрастИнфо» организован по принципу блоков: он разделен на пять зон, каждая из которых самостоятельный дата-центр, включающий в себя два машинных зала с автономной инженерной инфраструктурой. Каждый машинный зал – это отдельный герметичный модуль внутри основного здания дата-центра, изготовленный из ударопрочных и пожаробезопасных материалов. Внутри такого модуля расположены машинные залы и инженерные системы.

Запуск мощностей «ТрастИнфо» осуществлялся поэтапно, блок за блоком. Каждый модуль обеспечивается системой кондиционирования. Оптимизация энергопотребления достигается прежде всего за счет применения высокоэффективного аккумулятора холода, водоохлаждающих машин с компрессорами Turbocor, вентиляторов прецизионных кондиционеров с EC-приводом (электронно-коммутируемым двигателем), использования технологии фрикулинга, а также управления работой инфраструктуры в зависимости от загрузки серверов.

В случае применения технологий фрикулинга (free cooling) оборудование охлаждается за счет подачи в зал более холодного наружного воздуха при соответствующих погодных условиях. При жаркой погоде режим фрикулинга не включается и охлаждение залов стандартно осуществляется холодильным контуром кондиционера. Немаловажно и наличие режима аварийного охлаждения с помощью фрикулинга – в этот режим работы система охлаждения переходит в том случае, если отключается основное энергоснабжение.

Такое решение применено в четырех из пяти модулей дата-центра. Пятый модуль – особенный: он находится в отдалении от остальных, кондиционирование которых осуществляется с помощью водоохлаждающих машин. При проектировании систем кондиционирования для этого модуля можно было выбрать один из двух путей: сохранить единообразную систему кондиционирования, для чего пришлось бы прокладывать трубопроводы от теплообменников к удаленным залам или отойти при их оснащении от общего для остальных модулей решения. Расчеты показали, что прокладывать коммуникации внутри дата-центра нецелесообразно – это приведет к большим потерям энергии на водоснабжение удаленных залов.

Альтернативой водному охлаждению стали фреоновые кондиционеры Uniflair производства Schneider Electric. При их монтаже конденсаторы были выведены на крышу дата-центра. Это позволило рационально использовать внутреннее пространство дата-центра и прилегающую территорию с учетом требований к пожарной и экологической безопасности: в случае утечки фреон нигде не скапливается. Кондиционеры находятся практически за стенкой машинных залов, так что ограниченная длина фреоновых трасс в данном случае не препятствие.

В настоящее время в двух удаленных залах дата-центра установлены и введены в эксплуатацию 14 кондиционеров Uniflair. Два из них предназначены для охлаждения системы бесперебойного питания: они размещаются в отдельном помещении, где находятся четыре ИБП Galaxy (по 500 кВА) производства Schneider Electric. Таким образом соблюдается одно из важнейших требований стандарта TIA-942: размещение ИТ-систем и инженерных систем в разных помещениях. Эта мера предусмотрена стандартом для дополнительной защиты ИТ-оборудования в случае аварии инженерных систем и продиктована многолетней практикой западного рынка, уже имеющего опыт строительства и эксплуатации крупных дата-центров, в том числе и в форс-мажорных ситуациях.

Удельная мощность, потребляемая одной стойкой, в среднем составляет 5–6 кВт. Но инженерная инфраструктура «ТрастИнфо» справляется и с нагрузками до 15 кВт без дооснащения дополнительными средствами кондиционирования воздуха. Для таких стоек с повышенным энергопотреблением инфраструктура дата-центра допускает возможность уплотнения нагрузки в расчете на одну стойку: сокращается количество установленных стоек, при этом каждая из них потребляет пропорционально больше мощности, но суммарная мощность и соответственно энергопотребление зала не меняются. В этом случае для охлаждения уплотненных стоек организуется более широкий изолированный «холодный» коридор.

Каждый заказчик перед въездом заполняет опросный лист, где указывает максимально возможную мощность, которую будет потреблять его оборудование. В соответствии с этим требованием выполняется специальное проектное решение, включающее и холодоснабжение. Это может быть создание «холодного» коридора, использование специальных шторок и др.

Ближайшая перспектива

Эксперты «ТрастИнфо» считают, что дальнейшее развитие и модернизацию инженерных систем дата-центра нужно будет вести по двум направлениям: усиление экологической безопасности и энергоэффективности. В числе планируемых мер – более широкое использование изолированных «холодных» и «горячих» коридоров в машинных залах. Это позволит снизить нагрузку на инженерные системы дата-центра и станет одной из ключевых мер по дальнейшему понижению PUE.

Следует отметить, что в «ТрастИнфо» придерживаются моновендорной стратегии в выборе оборудования: по мнению специалистов компании «Сервионика» (ГК «Ай-Теко»), под чьим управлением находится дата-центр, такой подход упрощает построение и обслуживание инженерной инфраструктуры, обеспечивает совместимость и органичность развития систем и позволяет снизить издержки. Многолетнее сотрудничество связывает «Ай-Теко» и Schneider Electric, но в «ТрастИнфо» используется оборудование и других поставщиков.

Пресс-центр
«Ай-Теко» в фокусе
Загрузки и ссылки
Пресс-служба на связи
Также Вы можете перезвонить нам
по тел.: +7 (495) 777-10-95