Центр обработки данных с холодными и горячими коридорами 

Центр обработки данных с холодными и горячими коридорами: архитектура эффективного охлаждения

В современной ИТ-инфраструктуре тепло является главным врагом производительности. Когда серверные стойки генерируют десятки киловатт тепловой энергии на квадратный метр, традиционные методы кондиционирования перестают работать эффективно. Именно здесь вступает в игру концепция центра обработки данных с холодными и горячими коридорами. Это не просто способ расстановки оборудования, а фундаментальный инженерный подход к управлению воздушными потоками, который позволяет снизить энергопотребление системы охлаждения на 30–50% по сравнению с хаотичной компоновкой.

Мы работаем с промышленными ЦОД более 15 лет и видели множество проектов, где игнорирование базовых принципов термодинамики приводило к катастрофическим последствиям. Один из наших клиентов, крупный логистический оператор в Сибири, столкнулся с постоянными отключениями серверов летом. Причина была банальной: горячий воздух от выхлопа серверов смешивался с холодным воздухом на входе, создавая петли рециркуляции. Температура на входе в серверы подскакивала до 35°C вместо требуемых 20–22°C. После внедрения строгого разделения на холодные и горячие зоны и установки физических барьеров проблема была решена без замены основного холодильного оборудования. Этот кейс наглядно демонстрирует, что правильная аэродинамика важнее мощности чиллеров.

В этой статье мы подробно разберем, как правильно спроектировать и эксплуатировать ЦОД с разделением воздушных потоков. Мы обсудим технические нюансы, стандарты ASHRAE и ГОСТ, типичные ошибки монтажа и экономические выгоды такого подхода. Если вы планируете модернизацию существующего серверного помещения или строительство нового дата-центра, эта информация поможет вам избежать дорогостоящих ошибок и создать отказоустойчивую инфраструктуру.

Физика процесса: почему разделяют холодные и горячие коридоры

Принцип работы центра обработки данных с холодными и горячими коридорами основан на простом физическом законе: эффективность теплообмена зависит от разницы температур и чистоты воздушного потока. В традиционной “смешанной” комнате кондиционер охлаждает весь объем воздуха в помещении. Это крайне неэффективно, так как большая часть холода тратится на охлаждение стен, потолка и уже отработанного горячего воздуха, который еще не успел выйти из комнаты.

При схеме с разделением коридоров серверные стойки устанавливаются рядами лицом друг к другу. Лицевые панели серверов (где находится забор воздуха) обращены в один коридор — холодный. Задние панели (где происходит выброс горячего воздуха) обращены в другой коридор — горячий. Такая конфигурация создает предсказуемый вектор движения воздуха:

• Холодный воздух под давлением подается непосредственно в зону забора оборудования.
• Серверы забирают холодный воздух, пропускают его через компоненты и выбрасывают нагретый поток в противоположную сторону.
• Горячий воздух изолируется в отдельном коридоре и направляется обратно в блоки кондиционирования (CRAC/CRAH) или на улицу (в системах фрикулинга), не смешиваясь с холодным потоком.

Ключевым параметром здесь является предотвращение рециркуляции. Рециркуляция происходит, когда горячий воздух, выброшенный сервером, огибает стойку или просачивается через пустые юниты и снова засасывается вентиляторами сервера. Это приводит к мгновенному росту температуры внутри шасси. В нашей практике мы фиксировали случаи, когда локальные “горячие точки” превышали норму на 10–15°C именно из-за микрорециркуляции в плохо уплотненных стойках.

Еще одна опасность — байпасный воздух (bypass air). Это холодный воздух, который минует серверы и сразу возвращается в кондиционер. Кондиционер “думает”, что в помещении жарко, так как видит возврат теплого воздуха из других зон, и работает на полную мощность, хотя фактически он охлаждает сам себя. Разделение коридоров минимизирует байпас, направляя холодный поток точно в цель.

Практический совет: Перед началом проектирования обязательно проведите тепловое моделирование (CFD-моделирование). Даже простая схема на бумаге поможет выявить потенциальные зоны смешивания потоков. Не полагайтесь только на интуицию монтажников.

Стандарты и нормативы: ASHRAE, ГОСТ и требования к микроклимату

Проектируя центр обработки данных с холодными и горячими коридорами, необходимо строго соблюдать международные и местные стандарты. Игнорирование этих норм не только снижает эффективность, но и может аннулировать гарантию на оборудование.

Золотым стандартом в индустрии являются рекомендации ASHRAE TC 9.9 (American Society of Heating, Refrigerating and Air-Conditioning Engineers). В последних редакциях (2021–2023 гг.) ASHRAE расширила допустимые диапазоны температур и влажности, что позволяет экономить энергию на охлаждении. Однако для большинства критических систем рекомендуется придерживаться следующих параметров:

В Российской Федерации и странах ЕАЭС также действуют государственные стандарты, такие как ГОСТ Р 57580.1 и отраслевые нормы для телекоммуникационных объектов. Хотя они часто гармонизированы с международными требованиями, при сдаче объекта государственным заказчикам или крупным корпорациям (например, в энергетическом секторе) требуется строгое соответствие местным СНиП и СП (Сводам правил). В частности, СП 134.13330.2012 регламентирует системы электросвязи зданий и сооружений, включая требования к микроклимату.

Важно понимать разницу между температурой в помещении и температурой на входе в сервер. Датчики кондиционера могут показывать комфортные 22°C в центре холодного коридора, но если воздух проходит долгий путь через перфорированные плитки с высоким аэродинамическим сопротивлением, на входе в верхние юниты стойки температура может быть уже 28°C. Поэтому стандарты требуют контроля температуры именно на входе в оборудование, а не в общем объеме помещения.

Мы рекомендуем устанавливать датчики температуры и влажности на трех уровнях каждой стойки: внизу, в середине и вверху. Это дает реальную картину распределения тепла. Опора на один датчик в центре зала — это ошибка, которая стоила нам потери одного клиента из финансового сектора, у которого перегревались коммутаторы верхнего уровня из-за стратификации (расслоения) воздуха.

Действие: Проверьте, соответствуют ли ваши текущие уставки на кондиционерах рекомендациям ASHRAE A1. Часто их занижают “на всякий случай”, что приводит к перерасходу электроэнергии без реального выигрыша в надежности.

Конструктивные элементы: ограждения, полы и потолки

Сама по себе расстановка стоек “лицом к лицу” не гарантирует эффективности. Без физического разделения потоков воздух будет смешиваться над стойками и по бокам. Для создания полноценного центра обработки данных с холодными и горячими коридорами необходимо использовать систему ограждений.

1. Фальшпол (Perforated Raised Floor)

В классической схеме с нижним распределением воздуха холодный воздух подается в подпольное пространство. Давление в подполье выталкивает воздух через перфорированные панели в холодный коридор. Ключевой момент здесь — коэффициент перфорации плиток. Плитки в начале ряда (ближе к кондиционеру) должны иметь меньшую перфорацию (например, 20–25%), а в конце ряда — большую (40–50%), чтобы компенсировать падение давления. Использование одинаковых плиток по всему залу приведет к неравномерному охлаждению: первые стойки будут “задыхаться” от избытка холода, а последние — перегреваться.

2. Ограждение холодного коридора (Cold Aisle Containment)

Это наиболее популярное решение. Холодный коридор закрывается сверху крышей, а с торцов — дверями. Боковые стороны остаются открытыми к стойкам. Внутри этого “туннеля” создается избыточное давление холодного воздуха.
Преимущества:

• Персонал находится в холодной зоне, что комфортно для работы.
• Легкий доступ к лицевой части серверов.
• Меньшая нагрузка на конструкцию крыши, так как горячий воздух уходит свободно вверх.

Недостатки: Требуется тщательная герметизация всех кабельных вводов, иначе холодный воздух будет уходить в потолок.

3. Ограждение горячего коридора (Hot Aisle Containment)

В этом варианте изолируется горячий коридор. Горячий воздух собирается под крышей горячего коридора и каналом отводится непосредственно на вход кондиционеров или на улицу.
Преимущества:

• Более высокая эффективность удаления тепла, так как горячий воздух не рассеивается по потолку зала.
• Позволяет повысить температуру в общем помещении ЦОД, экономя на охлаждении.

Недостатки: Персонал работает в горячей зоне (до 35–40°C), что требует особых условий труда и защиты. Система пожаротушения должна быть адаптирована для закрытого объема.

Выбор между холодным и горячим containment зависит от высоты потолков и типа системы кондиционирования. Для помещений с низкими потолками (менее 3 метров) ограждение горячего коридора часто предпочтительнее, так как оно предотвращает накопление тепла под перекрытием.

В нашей практике был случай, когда заказчик сэкономил на дверях с автоматическим закрытием в торцах холодного коридора. Результат: при открывании двери для обслуживания давление в коридоре падало, и горячий воздух из соседней зоны затягивался внутрь, вызывая кратковременные, но опасные скачки температуры на датчиках серверов. Мы настоятельно рекомендуем использовать двери с пружинными доводчиками или магнитными замками, интегрированными с системой мониторинга.

Рекомендация: При выборе системы ограждений убедитесь, что она совместима с вашей системой пожаротушения. Газовое пожаротушение требует определенной герметичности помещения, а водяное (спринклерное) — наличия отверстий для прохода воды. Производители ограждений обычно предоставляют сертифицированные решения для обоих типов систем.

Оборудование для активного и пассивного охлаждения

Архитектура коридоров определяет выбор климатического оборудования. В центрах обработки данных с высокой плотностью размещения (High Density) традиционные прецизионные кондиционеры могут не справляться. Рассмотрим основные типы систем, работающих в связке с разделенными коридорами.

Прецизионные кондиционеры (CRAC/CRAH)

Шкафные кондиционеры, устанавливаемые по периметру зала или в рядах. Они забирают горячий воздух из горячих коридоров (или общего пространства) и подают холодный в подполье или напрямую в холодные коридоры. Важно соотносить производительность кондиционеров с тепловой нагрузкой IT-оборудования с запасом N+1. Если один кондиционер выходит из строя, остальные должны поддерживать температуру в пределах допустимого.

Системы рядного охлаждения (In-Row Cooling)

Это кондиционеры, которые встраиваются непосредственно в ряд серверных стоек, чередуясь с ними. Они забирают горячий воздух прямо из горячего коридора и подают холодный в соседний холодный коридор.
Почему это эффективно: Короткий путь воздуха. Нет потерь давления на длинных трактах. Идеально для стоек высокой плотности от 10 кВт и выше.
В одном из проектов для видео-рендеринговой фермы мы заменили периметральные кондиционеры на три блока In-Row. Это позволило увеличить плотность размещения с 4 кВт/стойку до 12 кВт/стойку без переделки подпольного пространства.

Потолочные системы и фрикулинг

В современных экологичных ЦОД активно используется свободное охлаждение (фрикулинг). Если температура наружного воздуха ниже +10°C (что актуально для большей части России полгода), чиллеры могут работать без включения компрессоров, используя только вентиляторы и теплообменники. Разделение коридоров критически важно для фрикулинга, так как оно обеспечивает максимально высокую температуру возвратного воздуха (из горячего коридора), что увеличивает дельту температур и эффективность теплообмена с улицей.

Также стоит упомянуть систему управления воздушными заслонками. Автоматические заслонки на выходе кондиционеров и в подполье позволяют динамически регулировать поток воздуха в зависимости от нагрузки серверов. Это предотвращает байпас и экономит энергию вентиляторов.

Важно: Не смешивайте оборудование разных производителей в одной системе управления без тщательной проверки протоколов интеграции. Мы видели системы, где кондиционеры одного бренда “боролись” с вентилями другого, вызывая колебания температуры (“hunting effect”).

Экономическая эффективность и расчет ROI

Внедрение схемы с холодными и горячими коридорами требует капитальных затрат (CAPEX): покупка ограждений, перфорированных панелей, возможно, новых кондиционеров. Однако операционные расходы (OPEX) снижаются значительно. Основная статья экономии — электроэнергия.

Показатель PUE (Power Usage Effectiveness) является ключевой метрикой. PUE = Общая энергия ЦОД / Энергия IT-оборудования. Идеальный PUE равен 1.0. В старых ЦОД со смешанным охлаждением PUE часто составляет 2.0–2.5. Внедрение разделения коридоров позволяет снизить PUE до 1.3–1.5, а в сочетании с фрикулингом — до 1.1–1.2.

Рассмотрим пример расчета для среднего ЦОД мощностью 100 кВт IT-нагрузки:

• При PUE 2.0 общее потребление составляет 200 кВт. Из них 100 кВт тратится впустую на охлаждение и инфраструктуру.
• При оптимизации и снижении PUE до 1.4 общее потребление составляет 140 кВт. Экономия — 60 кВт в час.
• За год (8760 часов) экономия электроэнергии составит 525 600 кВт·ч.
• При стоимости электроэнергии 0.10 USD за кВт·ч (средняя цена для промышленности в ряде регионов) годовая экономия составит $52 560.

Стоимость системы ограждений и модернизации airflow для такого зала может составлять около $30 000–$50 000. Таким образом, срок окупаемости (ROI) составляет менее одного года. После этого срока вся сэкономленная сумма становится чистой прибылью или бюджетом на развитие.

Кроме прямой экономии на электричестве, есть скрытые выгоды:

1. Увеличение срока службы оборудования. Работа при стабильной температуре 20–22°C продлевает жизнь конденсаторам и жестким дискам.
2. Возможность увеличения плотности размещения. Вы можете поставить больше серверов в том же объеме, не боясь перегрева.
3. Снижение рисков простоя. Стоимость часа простоя для многих бизнесов исчисляется тысячами долларов. Инвестиции в надежное охлаждение — это страховка.

Мы рекомендуем проводить аудит энергоэффективности перед любыми инвестициями. Часто простые меры, такие как установка заглушек в пустые юниты стоек (blanking panels), дают эффект сопоставимый с дорогими системами containment, но стоят в 100 раз дешевле.

Совет: При расчете ROI учитывайте не только текущий тариф на электроэнергию, но и прогноз его роста. Во многих регионах тарифы растут на 5–10% в год, что делает инвестиции в энергоэффективность еще более привлекательными.

Типичные ошибки при проектировании и монтаже

Даже самая совершенная теория может быть испорчена плохим исполнением. За годы работы мы выделили список самых частых ошибок, которые допускают при создании центра обработки данных с холодными и горячими коридорами.

1. Игнорирование пустых пространств в стойках.
Если в серверной стойке есть пустые юниты (1U, 2U и т.д.), через которые не установлено оборудование, воздух будет проходить сквозь них, смешивая холодный и горячий потоки. Это называется “коротким замыканием” воздуха.
Решение: Обязательно устанавливайте пластиковые заглушки (blanking panels) во все неиспользуемые слои. Это дешево, но критически важно.

2. Неправильная укладка кабелей.
Кабельные органайзеры и жгуты проводов могут полностью перекрыть перфорацию на задней двери стойки или заблокировать выход горячего воздуха. Мы встречали стойки, где кабельный менеджмент занимал до 30% площади выхлопа.
Решение: Используйте вертикальные кабельные каналы по бокам стоек и следите, чтобы кабели не натягивались и не перекрывали вентиляционные отверстия.

3. Отсутствие уплотнений в фальшполе.
Все отверстия в фальшполе, через которые проходят кабели или трубы, должны быть герметизированы специальными щетками или манжетами. Если холодный воздух из подполья уходит в горячий коридор через щели вокруг кабелей, эффективность системы падает.
Решение: Проведите тест с дымом или анемометром для выявления утечек из подпольного пространства.

4. Блокировка возврата воздуха в кондиционеры.
Часто вокруг кондиционеров складывают коробки с запчастями или устанавливают временные перегородки, которые мешают забору горячего воздуха. Это приводит к перегреву компрессоров и аварийному отключению.
Решение: Зонируйте территорию вокруг кондиционеров как “техническую зону свободного доступа” и строго контролируйте ее соблюдение.

5. Ошибки в настройке давления.
Слишком высокое давление в холодном коридоре может привести к тому, что двери будет трудно открыть, или воздух будет свистеть через щели. Слишком низкое давление не обеспечит достаточный поток через перфорированные плитки.
Решение: Настройте скорость вращения вентиляторов кондиционеров так, чтобы перепад давления между холодным и горячим коридорами составлял оптимальные 5–10 Па (для открытых систем) или поддерживал заданный уровень статического давления в подполье.

Избежание этих ошибок требует внимательности на этапе монтажа и регулярного аудита в процессе эксплуатации. Не позволяйте персоналу самовольно менять конфигурацию стоек или снимать панели без согласования с инженерами facility.

Инновации в производстве компонентов для ЦОД: опыт ООО «Тяньцзинь Айдэмакэ Технология»

Эффективность системы охлаждения зависит не только от правильной архитектуры, но и от качества используемых компонентов. Здесь на помощь приходят современные технологии аддитивного производства. Компания ООО «Тяньцзинь Айдэмакэ Технология» (Admark) является высокотехнологичным предприятием, специализирующимся на полном цикле металлической 3D-печати. Благодаря тесному сотрудничеству с аэрокосмической отраслью Китая, Admark накопила уникальный опыт в создании сложных инженерных решений, который успешно применяется и в инфраструктуре ЦОД.

Традиционные методы литья или штамповки часто ограничивают геометрию деталей для систем вентиляции и крепления оборудования. Аддитивные технологии, которыми владеет Admark, позволяют проектировать и производить нестандартные компоненты с оптимизированной аэродинамикой. Например, сложные решетчатые структуры для распределения воздуха или легкие, но прочные крепежные элементы для систем ограждения коридоров могут быть изготовлены с точностью, недоступной для классических методов.

Помимо стандартных систем 3D-печати, компания предлагает мощные возможности кастомизации, самостоятельно разрабатывая электрические системы и программное обеспечение для управления производством. Это особенно актуально для ЦОД, расположенных в удаленных или экстремальных условиях. Линейка продукции Admark включает мобильные рабочие станции для печати на открытом воздухе и контейнерные решения для микросетей, что позволяет оперативно изготавливать необходимые детали для ремонта инфраструктуры прямо на месте, минимизируя время простоя.

Использование компонентов, произведенных с применением технологий Admark, способствует созданию более легких и эффективных систем охлаждения, что в долгосрочной перспективе снижает общую массу инфраструктуры и улучшает показатели энергоэффективности (PUE).

Часто задаваемые вопросы

Можно ли переделать существующий ЦОД в систему с холодными и горячими коридорами?

Да, в большинстве случаев это возможно. Если у вас уже есть фальшпол и прецизионные кондиционеры, основная задача — переустановить стойки в правильную ориентацию и установить ограждения. Если фальшпола нет, можно использовать системы верхнего распределения воздуха или рядные кондиционеры. Однако перед началом работ необходим детальный аудит тепловой нагрузки и аэродинамики помещения.

Какая ширина холодного и горячего коридора считается оптимальной?

Согласно стандартам TIA-942 и рекомендациям производителей, минимальная ширина холодного коридора должна составлять 120 см (48 дюймов) для обеспечения удобного обслуживания и достаточного потока воздуха. Горячий коридор может быть уже — от 60 до 100 см, так как там не планируется постоянное присутствие персонала. Однако точные размеры зависят от габаритов дверей стоек и требований пожарной безопасности вашего региона.

Нужно ли экранировать кабели в горячем коридоре?

Нет, кабели не нуждаются в специальном экранировании от температуры, если она не превышает 40–45°C, что является нормой для горячего коридора. Стандартные сетевые и силовые кабели рассчитаны на такие температуры. Однако следует избегать использования дешевых пластиковых кабель-каналов, которые могут деформироваться при длительном нагреве. Лучше использовать металлические лотки или качественные пластиковые материалы с высоким индексом термостойкости.

Как пожаротушение работает в изолированных коридорах?

Системы газового пожаротушения (например, на основе хладона или Novec 1230) требуют сохранения концентрации газа в защищаемом объеме. Ограждения коридоров должны иметь клапаны сброса давления, которые открываются при подаче газа, чтобы предотвратить разрушение конструкции избыточным давлением, но при этом быстро закрываются или имеют конструкцию, удерживающую газ. Проект пожаротушения должен быть согласован с поставщиком ограждений и одобрен местным пожарным надзором.

Заключение и следующие шаги

Центр обработки данных с холодными и горячими коридорами — это не дань моде, а необходимость для современного бизнеса. Эта архитектура обеспечивает предсказуемость температурных режимов, снижает энергозатраты и повышает надежность IT-инфраструктуры. Переход от хаотичного охлаждения к управляемым воздушным потокам позволяет масштабировать мощности без пропорционального роста счетов за электричество.

Мы убедились на практике, что даже небольшие улучшения в организации airflow дают ощутимый результат. Начните с малого: проверьте наличие заглушек в стойках, убедитесь, что горячий и холодный воздух не смешиваются, и проанализируйте данные с датчиков температуры. Если вы видите возможности для оптимизации, не откладывайте модернизацию.

Если вы планируете строительство нового ЦОД или модернизацию существующего, наша команда готова помочь с проектированием, подбором оборудования и монтажом систем ограждения. Мы работаем с ведущими производителями и гарантируем соответствие проектов международным стандартам.

Узнать подробнее о решениях для охлаждения ЦОД

Свяжитесь с нами сегодня, чтобы получить бесплатную консультацию и предварительный расчет эффективности для вашего объекта.