Мировой рынок оборудования и систем охлаждения ЦОД. Технологии, производители, патенты, кейсы

Компания J’son & Partners Consulting проанализировала мировой рынок и технологии охлаждения ЦОД, под которыми в общем виде понимается совокупность способов, систем, методов и процессов, оборудования и инструментов, обеспечивающих требуемые уровни температуры и влажности в помещении ЦОД.

Технологии охлаждения ЦОД рассмотрены по 14 выявленным укрупненным сегментам:

• воздушное охлаждение (CRAC и CRAH);

• адиабатическое / испарительное охлаждение вытяжного воздуха из машинного зала;

• модульные решения по изоляции горячих и холодных проходов и оптимизированной производительности;

• рекуперация отводимого тепла;

• однофазные и двухфазные охлаждающие диэлектрические жидкости;

• жидкостное охлаждение непосредственно на кристалле;

• датчики интернета вещей;

• прямое распыление на микрочип минерального масла в виде микрокапельного тумана;

• энергоснабжение и управление энергопотреблением;

• контейнеризированный ЦОД и использование СПГ и геотермального охлаждения;

• управление инфраструктурой ЦОД и искусственный интеллект;

• абсорбционное охлаждение;

• серверные стойки и серверные шкафы;

• иммерсионное охлаждение (погружное).

Настоящее исследование является составной частью более масштабной работы J'son & Partners Consulting по анализу систем охлаждения центров обработки данных (ЦОД).

Трансформация инфраструктуры ЦОД под воздействием ИИ

Инфраструктура ЦОД по всему миру находится в процессе фундаментальной трансформации под воздействием ИИ: усиление концентрации вычислительных мощностей и систем хранения данных, рост плотности оборудования в стойках, крупномасштабное развертывание графических процессоров (GPU) и других ускорителей ИИ (сопроцессоров).  Приложения ИИ генерируют больше данных, чем другие типы рабочих нагрузок, и им требуется больше емкости для хранения данных. Энергоемкие и тепловыделяющие графические процессоры создают специфические проблемы для и без того перегруженных систем питания и охлаждения многих ЦОД. 

Чтобы обеспечивать работу с ИИ, многим операторам приходится постоянно наращивать площадь существующих дата-центров, а также строить новые ЦОД с нуля (а не дооснащать), поскольку инфраструктура предъявляет уникальные требования к охлаждению и мощности. 
Дата-центры имеют огромное количество систем и оборудования, работающих круглосуточно, которые потребляют много энергии. Чтобы избежать потенциальных сбоев и обеспечить бесперебойную работу оборудования, считается, что системы охлаждения центров обработки данных потребляют до 50% энергии любого центра обработки данных. 

Мощность, протекающая по центрам обработки данных, обычно классифицируется между мощностью, используемой ИТ-оборудованием, включая серверы, системы хранения данных и сети и мощностью, используемой инфраструктурными ресурсами, такими как системы охлаждения и кондиционирования питания.  
Многие центры обработки данных находятся на стадии планирования разработки долгосрочных стратегий развития искусственного интеллекта.  

По оценкам мировых консультантов, к 2030 году более 5 трлн долларов будет потрачено на модернизацию дата-центров для ИИ, при этом большая часть счетов будет оплачена гиперскейлерами, включая Amazon, Microsoft, Google и Meta. 

Традиционные дата-центры проектируются с мощностью 5-10 кВт на стойку, в то время как ЦОДы с искусственным интеллектом требуют 60 и более кВт на стойку. Это сигнализирует о росте числа центров обработки данных и еще большей мощности для работы этих центров. 

Мощность центров обработки данных является фундаментальной потребностью. Мощность глобальных центров обработки данных в настоящее время составляет 50 гигаватт (ГВт) и, как ожидается, удвоится до 100 ГВт в течение следующих 6-10 лет. 

При таком росте энергопотребления и прогнозе плотности на ближайшие годы отрасль должна удвоить усилия по улучшению управления воздушными потоками, герметизации и повышению эффективности и устойчивости. 

Анализ J'son & Partners Consulting показывает, что оценки объемов рынка систем охлаждения для ЦОД и темпов его роста варьируются в достаточно широком диапазоне из-за различий в методологии учета компонентов систем охлаждения (чиллеры, CRAH, DCIM-решения, диэлектрические жидкости и пр.) и сервисных услуг. Тем не менее, можно выделить устойчивый консенсус относительно темпов роста и масштаба рынка.

Мировой рынок

Объем мирового рынка систем охлаждения для ЦОД в 2025 году оценивается в диапазоне от 10,8 до 81,9 млрд долларов США. Среднегодовой темп прироста (CAGR) на горизонте 2023–2030 гг. по усредненным оценкам составит 12,5–13,5%.

Ожидается, что будет быстро развиваться жидкостное охлаждение, уже появляются недорогие китайские варианты. Одновременно ожидается усиление конкуренции на рынках прямого и иммерсионного охлаждения, что будет приводить к снижению цен.

Мировые производители оборудования для охлаждения ЦОД 

В рамках настоящего раздела отчета, под производителями оборудования будем понимать вендоров и оригинальных производителей деталей и оборудования (original equipment manufacturer, OEM), так или иначе задействованных в охлаждении ЦОД, в том числе поставщиков компонентов системы жидкостного охлаждения ЦОД. 

Как показал анализ J'son & Partners Consulting, рынок систем охлаждения ЦОД сильно фрагментирован (высококонкурентный рынок, где ни одна компания не доминирует над всем рынком), что подтверждается существенным отличием списков ТОП-компаний данного рынка, составленных разными маркетинговыми и консалтинговыми агентствами, а также представленным инфометрическим анализом¹, в части изучения упоминаемости компаний в патентных и непатентных документах, касающихся предмета исследования. Такая ситуация объясняется как отраслевой и продуктовой высокотехнологичностью, с присущими им широтой межотраслевого взаимодействия и высокой инновационной активностью, так и разной отраслевой принадлежностью компаний на данном рынке, которая предопределяет их специализацию, технические решения и продуктовую линейку для нужд рынка систем охлаждения ЦОД. В наиболее укрупненном виде это проявляется в дифференциации продукции и услуг, предлагаемых производителями систем воздушного охлаждения, жидкостного охлаждения, химической продукции, разработчиками ИТ-решений по оптимизации производительности и энергоэффективности ЦОД, провайдерами хостинга и облачными провайдерами, производителями полупроводников, компаниями, занимающимися экологическими решениями и другими компаниями, представленными на рынке «систем охлаждения ЦОД». В силу фрагментации рынка его участники используют такие стратегии, как партнерство, инновации, слияния и поглощения, чтобы улучшить свою продуктовую линейку и получить устойчивое конкурентное преимущество.

В целом, при проведении представленной части исследования в поле зрения попали более 80 компаний, так или иначе связанных с охлаждением ЦОД, как поставщики охлаждающего и вентиляционного оборудования, вендоры систем жидкостного охлаждения, систем энергоэффективности, силовых полупроводников, виртуализации серверов, прецизионного кондиционирования, интеллектуальных систем управления охлаждением, модульных решений, экологичных систем и пр. Для сравнения, в отчете Omdia упоминается 49 компаний производителей оборудования, чьи списки были расширены поставщиками компонентов жидкостного охлаждения. 

Анализ технологий охлаждения ЦОД

Чтобы лучше понять траекторию развития и вектор возможных будущих технологических разработок в области систем охлаждения ЦОД, данный раздел начинается с изучения патентных документов. Динамика патентной активности подтверждает высказывание о существенном стимулирующем влиянии мирового распространения COVID-19 на развитие рынка ЦОД, всплеск которого отмечен в 2020 году. Большинство патентных документов касается воздушного или жидкостного охлаждения. Примерно с 2015 года отмечается смещение исследовательского интереса к жидкостному охлаждению (прямое), которое всё в большей степени дополняет традиционные воздушные системы охлаждения (CRAC и CRAH), формируя класс так называемых гибридных систем охлаждения ЦОД, сочетающих в себе лучшие возможности воздушного, жидкостного и альтернативного охлаждения. Прямое жидкостное охлаждение в значимо большей степени выступало объектом исследований, чем иммерсионное охлаждение (погружное), сталкивающееся с рядом трудностей внедрения, в частности, во-первых, различные конструкции стоек требуют геометрически различных герметичных серверных шасси и более низких профилей серверных шкафов, во-вторых, использование специализированных охлаждающих жидкостей иногда могут представлять опасность для окружающей среды, в-третьих, работы по техническому обслуживанию серверов предполагают прямое взаимодействие человека с «грязным» хладагентом. В обоих способах жидкостного охлаждения (прямое и иммерсионное) основное внимание уделяется однофазным охлаждающим жидкостям, хотя двухфазные охлаждающие жидкости также оказываются четко просматриваемыми на патентной карте. По мере увеличения мощности серверных стоек и исчерпания потенциала их воздушного охлаждения, возрастает исследовательский интерес к инновационным техническим решениям, повышающим энергоэффективность ЦОД, в частности, за счет использования геотермального, солнечного, испарительного охлаждения, а также DCIM-продуктам.

Патентный ландшафт для технологий охлаждения ЦОД

Для целей настоящей работы был проведен анализ патентной² и научно-технической литературы, включая данные специализированных сервисов анализа предметной области, дающих представление об актуальном и потенциально перспективном направлениях развития технологий охлаждения ЦОД. Для проведения патентно-информационного исследования использовалось программное обеспечение для анализа интеллектуальной собственности Orbit Intelligence от компании Questel, а также такие ресурсы, как: платформа The Lens, Discovery, PatentScope, eLIBRARY.RU, Google Scholar, Scilit, Dimensions, ResearchGate, ACM Digital Library, Хабр, Google Patents, Яндекс.Патенты и другие.

Из публикаций [1, 2, 3, 4, 5, 6, 7, 8, 9, 10 и др.], собранных на указанных ресурсах по запросу «data center cooling», был сформирован список исходных ключевых слов (air flow, raised floor, aisle containment, computer room air conditioning / handler, green data center, server, thermal zone mapping, thermal design power, thermal interface material, liquid cooling, immersion cooling, computational fluid dynamics, PUE, RCI, RTI и многие другие), дополненный понятиями, содержащимися в стандартах для ЦОД (Tier Standard, TIA-942, BICSI 002 2010, ISO/IEC 30134, EN 50600, OSDA, Telcordia GR-3160 и GR-2930, Open Rack, ASHRAE TC 9.9, ГОСТ Р 58811-2020, ГОСТ Р 58812-2020) и в определениях классов IPC (H05K-007 «Конструктивные элементы общего назначения для различных электрических приборов и устройств, в части облегчения охлаждения и вентиляции», H01L «Полупроводниковые приборы, в части их конструктивных деталей, материалов или расположения, способствующих отводу тепла или охлаждению», G06F-001 «Конструктивные элементы вычислительных машин и устройств для обработки данных, в части средств охлаждения», F24F «Кондиционирование воздуха; увлажнение воздуха; вентиляция; использование воздушных потоков для экранирования»; G05D-023 «Регулирование температуры» и другие), которыми определены технологические области (technology domain), присущие предмету настоящего исследования (см. Рис. 1). На их основе был осуществлен поиск патентных документов в базе данных FamPat³, позволяющей сформировать глобальный взгляд на технологию (патентный ландшафт), сократив дублирование, присущее межстрановому распространению патентных документов из одного патентного семейства (в рамках конкурентной разведки и патентной защиты изобретений на территории разных стран). Динамика патентной активности за предшествующие 20 лет приведена на рисунке 2 (данные за 2023-2025 годы еще в процессе накопления).

Рис. 1. Технологические области по пяти основным группам

Источник: J’son & Partners Consulting

Под «audio-visual technology» здесь понимается область электротехники, связанная с разработкой, эксплуатацией и оптимизацией основных элементов электромеханического оборудования и технических систем, связывающих ИТ-инфраструктуру и инженерную инфраструктуру ЦОД, в части конструктивных элементов общего назначения для различных электрических приборов и устройств (корпусы, панели, выдвижные блоки электрических аппаратов), облегчающих охлаждение и вентиляцию, а также «печатные схемы»⁴, конструктивно связанные с непечатными электрическими деталями.

Рис. 2. Динамика патентной активности

Как видим на Рис. 2, в 2020 году по отношению к предыдущему году произошел значительный прирост числа новых патентных документов, так или иначе связанных с техническими решениям в области систем охлаждения ЦОД. Причиной этого стало мировое распространение COVID-19 и признание её в марте 2020 года пандемией. С массовым переводом сотрудников на дистанционный режим работы и, как следствие, резким ростом загрузки каналов передачи данных и глобальной IT-инфраструктуры (сетевые услуги и цифровые платформы), в частности, существенно усилилась важность бесперебойной работы действующих ЦОД (особенно на фоне заморозки начатого строительства новых ЦОД, например, компанией Facebook). Потребовались новые технические решения, предусматривающие ограничение доступа к стоечным шкафам и объектам инфраструктуры ЦОД, дополнительные защитные меры от непредвиденных ситуаций с электроснабжением, способность длительного функционирования ЦОД без присутствия оператора на объекте, повышение актуальности автономных (контейнерных) микро-ЦОД для распределенных вычислительных платформ, продление остаточного ресурса инженерного оборудования ЦОД и перенос сроков планового техобслуживания, связанные, в частности, с перебоями в цепочках поставок комплектующих (например, сетевых коммутаторов).

На рисунке ниже приведена частотная структура сформированного массива патентных документов (ось ординат) в зависимости от их релевантных значений (ось абсцисс). Оценка релевантности патентного документа (relevance score) определяется по алгоритму, основанному на сочетании следующих параметров: во-первых, тип поискового поля, содержащего ключевые слова (заголовок, аннотация, область техники, сущность изобретения, иллюстрации, технический результат от внедрения изобретения, претензии и исковые требования и др.), предопределяет разные весовые значения⁵, наибольшее из которых присваивается словам в заголовке; во-вторых, положение ключевого слова в предложении/абзаце и часть речи, которую представляет ключевое слово – существительное, прилагательное и др. (прилагательное, обозначающее признак предмета, а не сам предмет, имеет меньшую релевантность, чем существительное); в-третьих, частота использования, синонимы и комбинационная повторяемость слов в документе. Окончательная оценка релевантности для каждого патентного документа нормализуется исходя из 100%-й оценки наиболее значимого документа.

Рис. 3. Частотная структура массива патентных документов в зависимости от их релевантных значений

Отсутствие ярко выраженной высокой релевантности патентных документов на вышеприведенном рисунке, связано с тем, что некоторые ключевые слова в рассматриваемой области техники, по своей сути, близки скорее к такой части метаданных, как «теги» (ассоциированные ключевые слова, относящиеся к какой-либо информации), а в наименовании изобретения используются по отдельности, или в единичных комбинациях, или вообще не используются, возникая лишь в раскрытии сущности изобретения и описании технического результата от его внедрения, в соответствии с рекомендациями по оформлению патентных документов и принятыми в Международном патентном классификаторе названиями рубрик для соответствующих областей техники при указании вариантов применения технического решения. 

Для минимизации информационного шума в выборке патентных документов мы заимствовали из публикации сотрудников Штутгартского университета следующие критерии отнесения патентных документов к рассматриваемой тематике:

• Прямая ссылка на охлаждение ЦОД, т.е. патент должен охватывать технологии, оборудование, инструменты, методы или процессы, которые были разработаны для обеспечения достаточного охлаждения, вентиляции и контроля влажности систем и оборудования информационно-технологической инфраструктуры ЦОД (при этом техническая сущность изобретений, описываемая в патентных документах, может касаться как «самой природы или функции какого-либо технического объекта»⁶, так и «нового способа применения или использования технического объекта»);

• Отвод тепла осуществляется вблизи источника тепла (на уровне сервера, стойки или помещения), т.е. внимание акцентируется на системах охлаждения, охлаждающей среде, теплообменниках и других необходимых компонентах, расположенных внутри компьютерного зала;

• По возможности, упор делается на инновационные объекты изобретений, а не просто на «новые и неочевидные способы, продукты, устройства или материалы»⁷, применение которых связано с решением проблем рассеивания тепла и повышением эффективности систем охлаждения в ЦОД.

Помимо указанных критериев, при экспертном разборе массива патентных документов мы сделали акцент, во-первых, на таких категориях объектов техники, как «устройство» или «продукт» (в отношении ключевого словосочетания «data center»)⁸ и «способ воздействия» (в отношении слова «cooling»), во-вторых, на соответствующих технологических областях (technology domain), предопределенных наиболее часто используемыми индексами IPC, и, в-третьих, на ключевых показателях (key invention metrics)⁹ рассматриваемых патентных документов, что позволило уточнить массив данных, обновленная частотная структура которого (ось ординат) в зависимости от их релевантных значений (ось абсцисс) приведена на рисунке ниже (оранжевая диаграмма). За счет очистки от информационного шума и уменьшения количества патентных документов в массиве произошло существенное увеличение относительной частотности высокорелевантных документов. 

Рис. 4. Частотные структуры массивов патентных документов в зависимости от их релевантных значений

В общем виде, итоговый массив данных может быть представлен набором кластеров из совокупности ключевых слов (technical concepts), ранжированных с учетом упомянутого выше принципа relevance score, что и представлено на Рис. 4. Представленный рисунок в самом укрупненном виде характеризует технические области рассматриваемых патентных документов, что далее будет детально описано при интерпретации патентной карты.

Рис. 5.  Кластеры ключевых слов, представляющих собой значимые технические концепции

Упомянутая фрагментированность рынка систем охлаждения ЦОД подтверждается тем, что на ТОП-10 компаний приходится всего 24% от общего числа рассматриваемых патентных документов. К таким компаниям с наибольшим количеством тематических патентных документов относятся: Baidu, Nvidia, IBM, Schneider Electric, Google, Hewlett-Packard, Beijing Baidu Netcom Science and Technology, Zhengzhou Yunhai Information Technology, Hebei Qinhuai Data, Dell.

Отметим наличие очень существенных различий в технической значимости патентных документов (technical impact), представляющей собой многофакторный показатель, характеризующий значимость влияния патента в рассматриваемой отрасли / области знаний / технологической среде¹⁰. Например, при средней технической значимости рассматриваемых патентов 3,69 и среднем прямом цитировании (forward citations, fwd cit.), для сравнения можно упомянуть следующие ТОП-3 документа:

• патент EP3879410 компании Intel «Межкомпонентные соединения в многопроцессорных системах» (technical impact = 11,86 и fwd cit. = 572), с первичной публикацией в 2016 году, описывает технические решения, позволяющие устанавливать чипы, произведенные по разным технологическим процессам, на одной плате. Это основа для координирования совместной работы центрального, графического процессоров и памяти, позволяющая увеличить плотность полосы пропускания и реализовать методы энергосбережения, а также осуществлять интеллектуальное распределение вычислительной нагрузки. Данное техническое решение в дальнейшем развилось в такие способы межсоединений как Embedded Multi-Die Interconnect Bridge (EMIB), Universal Chiplet Interconnect Express (UCIe), Chip on Wafer on Substrate with silicon interposer (CoWoS).

• патент EP2270624 копании Schneider Electric «Серверный шкаф с улучшенным отведением тепла от размещенного в нем тепловыделяющего оборудования» (technical impact = 10,42 и fwd cit. = 487), с первичной публикацией в 2002 году, описывает технические решения, обеспечивающие должный уровень вентиляции и охлаждения активного оборудования и компонентов, с использованием охлаждающей жидкости. Данное техническое решение в дальнейшем, при сотрудничестве в области инженерной инфраструктуры компаний Schneider Electric и Nvidia, развилось в создание серверного шкафа GB200 NVL72 (с блоками распределения охлаждающей жидкости, узлами прямого охлаждения микросхем и рядом других устройств), состоящего из 36 центральных процессоров Nvidia Grace и 72 графических процессоров B200 на новейшей архитектуре Blackwell. Это «эталонный»¹¹ проект жидкостного охлаждения для вычислительных кластеров ИИ с высокой плотностью размещения оборудования, в которых мощность потребления стоек доходит до 132 КВт.

• патент US9772643 компании Viridity Energy Solutions (Ormat Technologies) «Система управления энергопотреблением» (technical impact = 9,82 и fwd cit. = 469), с первичной публикацией в 2012 году, описывает набор программных инструментов для управления энергопотреблением на основе непрерывного мониторинга, моделирования и оптимизации. Это программные и аппаратные средства для измерения, управления и снижения энергопотребления центров обработки данных – так называемое управление инфраструктурой центров обработки данных (Data center infrastructure management, DCIM).

При этом, у ряда компаний патентная активность в рассматриваемой области сфокусирована на однородных технических решениях, т.е. патенты таких компаний оказались лишь в одном-двух смежных секторах патентной карты, а не распределены по всей совокупности технических решений «систем охлаждения ЦОД». 

Например, патенты Nvidia, все датированные 2020-2022 гг., в значительной степени сконцентрированы в секторе «жидкостное охлаждение непосредственно на кристалле», что нашло логическое отражение в выпуске на рынок новейшего графического процессора NVIDIA Blackwell с его последующими усовершенствованиями под требования со стороны облачных провайдеров (Cloud Service Provider, CSP) и OEM-производителей серверов, для охлаждения которого используется жидкостная система. 

Рис. 6. Графический процессор Nvidia Blackwell

Источник: NVIDIA

Это дало импульс к развитию конструкторских решений по охлаждению серверных шкафов и блоков распределения охлаждающей жидкости (Coolant Distribution Units), являющихся основным компонентом системы жидкостного охлаждения, в частности на основе пластинчатых теплообменников типа «жидкость-жидкость» (использующих первичный и вторичный хладагенты). В частности, на фоне сообщений летом 2024 года о перегреве серверных стоек на 72 чипа Blackwell, компания CoolIT Systems представила на рынок свой компактный охлаждающий распределительный блок CHx1000; компания SuperMicro, интегрирующая графические процессоры NVIDIA Blackwell в конфигурацию стойки с жидкостным охлаждением, представила свое решение SuperCluster для генеративного ИИ, больших языковым моделей (large language model) и облачных вычислений; компания ZutaCore также поддержала высокопроизводительный чип от Nvidia своим инновационным решением двухфазного жидкостного охлаждения HyperCool. 

Патенты Baidu в значительной степени сконцентрированы в двух смежных секторах «Серверные стойки и серверные шкафы» и «Иммерсионное охлаждение (погружное)», что нашло свое отражение установкой в 2023 году первой погружной системы в Yangquan Data Center, а также представлением инновационной интеллектуальной системы прямого жидкостного охлаждения «Lingxi», которая использует распределенную архитектуру и позволяет на основании предиктивной аналитики адаптивно регулировать соотношение «воздух-жидкость» (в развитие последней технологии, осенью 2024 года компания Hewlett Packard анонсировала свою первую в отрасли архитектуру прямого жидкостного охлаждения, в составе которой вообще не используются вентиляторы).

Рис. 7.  Иммерсионная ванна для погружного охлаждения от компании Baidu

Источник: BAIDU

Кроме того, в 2021 году компания Baidu первой в мире внедрила в своем ЦОД трехфазную схему питания высоковольтным постоянным током (High Voltage Direct Current, HVDC), повысив КПД системы распределения электроэнергии ЦОД до 99,5%¹² и первой в Китае интегрировала компактный блок резервного питания в серверный шкаф, экономя место в машинном зале. Технологии оптимизации цикла преобразования электропитания от сети до микросхемы также развивались компанией Delta Electronics, которая представила в 2024 году инновационные решения для обеспечения высокоэффективного, надежного и плавного преобразования питания и его подачи на микросхемы – в виде серверной стойки высокой мощности ORv3 HPR, литийионные конденсаторы (lithium-ion capacitor), внутристоечные системы распределения охлаждающей жидкости с холодопроизводительностью до 1,5 МВт, преобразователи постоянного тока с регулируемой шиной мощностью 4000 Вт для питания GPU-серверов.  

Патенты Chemours в значительной степени сконцентрированы в секторе «однофазные и двухфазные охлаждающие диэлектрические жидкости», что нашло свое отражение в выходе данного поставщика химической продукции в 2023 году на рынок двухфазных погружных охлаждающих жидкостей с гидрофторолефиновой жидкостью Opteon™ 2P50 (с нулевым потенциалом разрушения озонового слоя и низким потенциалом глобального потепления), составив конкуренцию продукту Novec от лидера отрасли 3M. 

Рис. 8. Иммерсионное охлаждение двухфазной жидкостью

Источник: OPTEON

Данная жидкость имеет температуру кипения 49°C, температуру самовоспламенения 554°C, подтверждена по методикам Open Compute Project хорошая совместимость с большинством металлов (нержавеющая сталь, медь, латунь, алюминий), пластиков и эластомеров, может заменить собой поэтапно выводящиеся из использования по экологическим причинам перфторполиэфиры (PFPEs), гидрофторэфиры (HFEs), гидрофторуглероды (HFCs).  

Ниже на Рис. 9 представлена «предварительная патентная карта», в общем виде показывающая укрупненные технические области, к которым относятся патентуемые изобретения, связанные с технологиями охлаждения ЦОД. Многомерная визуализация, читаемая как естественный природный ландшафт, упрощает понимание невидимых связей в сложных и многомерных массивах данных. Самым многочисленным (по числу патентных документов) картированным сектором является «Воздушное охлаждение», а его центрированное расположение на карте показывает значимую связанность с другими техническими областями (соединенными поверхностью зеленого цвета, не синего цвета).

Рис. 9.  Патентная карта

Охлаждение воздухом, как процесс передачи тепла от оборудования к воздуху через конвекцию и последующей подачи охлажденного воздуха обратно в ЦОД через систему воздуховодов, осуществляется, как правило двумя способами – кондиционированием воздуха в компьютерном зале (computer room air conditioners, CRAC) и обработкой воздуха в компьютерном зале (computer room air handler, CRAH) – это две технологии поддержания необходимых требований температуры, влажности и чистоты воздуха в компьютерном зале или ЦОД, основанные на принципах термодинамики, гидродинамики и теплопередачи. 

Рис. 10.  Способы охлаждения воздухом CRAC и CRAH

Источник: https://www.mdpi.com/1996-1073/17/15/3615

Максимальная холодопроизводительность у таких устройств до 12 кВт на стойку, с использованием технологии холодных проходов – теплоотвод с одной стойки можно увеличить до 20 кВт. Но, в целом, это максимум, на который способны системы воздушного охлаждения – при увеличении плотности стоек охлаждение воздухом становится либо технически невозможным, либо экономически неоправданным. 

Теплый воздух от оборудования ИТ-инфраструктуры и инженерной инфраструктуры ЦОД собирается под потолком, охлаждается с помощью теплообменника и вентиляторами подается в специально организованные воздушные каналы (например, в пространство под фальшполом или в «холодные стены»), по которым выводится к передней части стоек (в зону холодных коридоров) или в само открытое пространство компьютерного зала.

Рис. 11.  Сравнение систем воздушного и жидкостного охлаждения по мощностям серверных стоек

Источник: https://www.vertiv.com/en-emea/solutions/learn-about/liquid-cooling-options-for-data-centers/

CRAC-устройства используют механическое охлаждение воздуха (как в бытовом холодильнике или кондиционере охлаждение происходит за счет циркуляции фреона по герметичному контуру труб, компрессии и циклу охлаждения с прямым расширением), CRAH-устройства для отвода тепла используют вентиляторы, змеевики охлаждения, регулирующие клапаны и систему водяного охлаждения (вода или раствор гликоля), где охлаждение жидкости осуществляется в чиллерной системе за пределами здания, с отводом тепла в атмосферу от градирни. 

Рис. 12.  Пример размещения «холодных стен» в компьютерном зале

Источник: https://ixcellerate.ru/news/ohlazhdenie-tsod-chto-takoe-holodnye-steny-i-kogda-eto-vygodno/

Третьим способом охлаждения воздухом является естественное охлаждение или фрикулинг (free-cooling), подразумевающим охлаждение оборудования ЦОД за счет более низких температур во внешней окружающей среде по сравнению с температурой в компьютерном зале и допускающим использование адиабатических охладителей, воздушных экономайзеров и дополнительных CRAH-устройств, доохлаждающих и доочищающих воздух, извне поступающий в ЦОД. К оборудованию для охлаждения компьютерных залов (серверных помещений) относят: прецизионные кондиционеры, инверторные кондиционеры, сплит-системы, приточные вентиляционные установки с заслонками, климатическая техника с непосредственным расширением (DX), климатическая техника на холодоносителе (CW), климатическая техника полного свободного охлаждения (FFC) и др.

Раньше, при средней удельной мощности 1-2 кВт на стойку (или 323-753 Вт/м2), эффективной была традиционная система кондиционирования воздуха, которая обеспечивала нужную холодопроизводительность и перемешивала воздух в помещении, чтобы довести его до однородной средней температуры, предотвращая возникновение горячих точек. 

Рис. 13.  Общий принцип охлаждения в помещениях, в рядах и в стеллажах

Источник: https://2nsystems.com/wp-content/uploads/2019/09/Choosing-Between-Room-Row-and-Rack-based-Cooling-for-Data-Centers.pdf

Но постоянное усовершенствование ИТ-оборудования (с высокой и переменной плотностью обработки данных) создало условия, для решения которых традиционное охлаждение ЦОД не предназначалось, в результате чего системы охлаждения начали становиться громоздкими, неэффективными и непредсказуемыми. Для решения этих проблем были разработаны три основные метода отведения теплого воздуха от ИТ-компонентов, выразившиеся в проектировании траектории воздушного потока и ее сокращении: комнатное, рядное и стоечное охлаждение (Room, Row, and Rack-based cooling). Гибридный способ воздушного охлаждения (hybrid cooling) сочетает в себе возможности каждого из трех указанных. 

В данном картированном секторе на ТОП-10 компаний приходится 16% патентных документов выборки: Baidu (2%), Gree Electric Appliances, Hebei Qinhuai Data, Hewlett-Packard, Google, Schneider Electric, Stulz, Daikin, IBM и др.

Адиабатическое / испарительное охлаждение вытяжного воздуха из ЦОД (adiabatic cooling, evaporative cooling) отличается от двух других систем кондиционирования воздуха (компрессорное охлаждение и абсорбционное/адсорбционное охлаждение) тем, что в его основе лежит использование большой удельной теплоты испарения воды – снижение температуры воздуха происходит когда вода переходит из жидкого состояния в газообразное, поглощая энергию. Это экологически безопасная, «зеленая» технология охлаждения, представляющая собой мелкодисперсное распыление очищенной воды в горячем потоке воздуха через множественные форсунки. При испарении вода охлаждает окружающий воздух. Этот же принцип испарительного охлаждения используется при охлаждении воды в градирне или охладительной башне – в мокрой градирне вода охлаждается потоком воздуха, продуваемого через ее поверхность. Обычно, говоря об испарительном охлаждении, подразумевают отведение тепла от технологической жидкости, а адиабатическое охлаждение отводит тепло от потока воздуха. Охлаждение происходит без применения парокомпрессионного холодильного цикла и существенных энергозатрат. 

Адиабатическое охлаждение осуществляется за счет того, что большой вентилятор пропускает теплый воздух через абсорбирующий материал (например, смоченная водой древесная стружка). При испарении воды из абсорбента, температура проходящего через него воздуха падает, и он направляется обратно в ЦОД, а вода, стекающая с абсорбента, собирается в нижней части охладителя и направляется обратно в верхнюю его часть для повторного смачивания. 

Такое охлаждение является наиболее энергоэффективным, дешевле в эксплуатации и обслуживании, не требует использования опасных хладагентов. Этот тип охлаждения ЦОД лучше всего работает в условиях сухого климата и низкой влажности.

Рис. 14.  Адиабатическое охлаждение для центров обработки данных

https://www.osp.ru/lan/2015/07/13046655

Для мониторинга эффективности адиабатического / испарительного охлаждения часто используется программное обеспечение для управления инфраструктурой центров обработки данных (DCIM). Система DCIM собирает с датчиков данные о температуре и влажности в компьютерном зале, учитывает прогноз погоды, температуру охлаждающей жидкости, и по заданным алгоритмам осуществляет управление тепловым режимом в ЦОД, позволяя экономно использовать электроэнергию и воду. На представленном Рис. 14. показаны альтернативные решения по кондиционированию воздуха, обеспечивающие снижение энергопотребления, в зависимости от диапазона климатических параметров (зеленая зона определена ASHRAE как допустимый диапазон климатических параметров, при которых ИТ-оборудование способно продолжать функционировать, однако надежность его работы при этом может снизиться, вследствие чего такие условия эксплуатации допустимы не более нескольких дней в году; в пределах диапазонов климатических параметров, очерченных оранжевой зоной, производители ИТ-оборудования должны тестировать свою продукцию для обеспечения требуемой надежности при эксплуатации).

В данном картированном секторе на ТОП-10 компаний приходится 27% патентных документов выборки: Xi'an Polytechnic University (8%), Zhengzhou Yunhai Information Technology (5%), Beijing Baidu Netcom Science and Technology, Wincooling Technology Shanghai, Nortek Air Solutions и др.

Модульные решения для инфраструктуры ЦОД (converged infrastructure, modular data center, performance optimized datacenter, POD), в части изоляции горячих и холодных проходов (aisle containment) и оптимизированной производительности, позволяют улучшить состояние среды в компьютерном зале за счет управления потоком воздуха, снизив эксплуатационные расходы и повысив холодопроизводительность, и объединяют в себе такие функции, как безопасность, надежность, энергоэффективность, быстрая сборка, модульность с высокой плотностью и др. 

Рис. 15.  Изолированный коридор в модульном ЦОД

Источник:https://www.ht-service.ru/shop/item43821.html

Такие решения с чередующимися горячим и холодным коридорами подразумевают попарное выстраивание в два ряда серверных стоек (dual-row solution), например, лицом друг к другу, образуя зону подачи воздуха (холодный коридор); пройдя через серверные стойки и охладив оборудование, уже горячий воздух выходит с тыльной стороны стоек в коридор, образуя зону с горячим воздухом (горячий коридор). При этом важно обеспечить надежную герметизацию коридоров, не допустив смешивания горячего и холодного воздуха. Принципиально существует два варианта установки модульных решений изоляции воздушных потоков в уже существующий ЦОД: изоляция холодного коридора, подходящая для небольших серверных помещений с нагрузкой до 5 кВт на стойку, или изоляция горячего коридора, подходящая для небольших и средних серверных помещений с нагрузкой до 10 кВт на стойку. 

Рис. 16.  Модульный ЦОД Delta

Источник: DELTA

Каждый из этих двух вариантов имеет свои особенности, плюсы и минусы. 

Благодаря продуманной и гибкой архитектуре в таких модульных решениях, интегрирующих системы электропитания, охлаждения, расположения серверных стоек, изоляцию холодного или горячего прохода, достигается оптимальное управление воздушными потоками. 

Рис. 17.  Варианты микромодульных решений

Источник: https://www.kstar.com/news/info/744.html

За счет специально спроектированных модулей и компонентов достигается масштабируемая емкость ЦОД. Поэтому модульные конструкции часто позиционируют как конвергентную инфраструктуру (сгруппировавшую несколько компонентов в единый оптимизированный по производительности комплекс), способствующую экономии масштаба и эффективному использованию электроэнергии. Кроме того, если на создание традиционного ЦОД уходит от 18 до 24 месяцев, то для развертывания модуля требуется всего несколько недель или месяцев. Модульные конструкции могут быть установлены как в помещении, так и на открытом воздухе.

Эффективность охлаждения в модульных ЦОД на 12% выше, чем в традиционных. При совместном использовании систем водяного и естественного охлаждения коэффициент эффективности энергопотребления можно уменьшить до 1,5 и ниже. Блок распределения охлаждающей жидкости (coolant distribution unit, CDU), являющийся неотъемлемой частью систем жидкостного охлаждения (отвечает за циркуляцию и перекачку охлаждающей жидкости по замкнутой системе внутри стойки и серверного корпуса), обеспечивает более широкий диапазон холодопроизводительности, более высокую эффективность и более гибкое решение по сравнению с традиционными вариантами воздушного охлаждения. Для экономии места в модулях в качестве охлаждения используются рядные или канальные кондиционеры, фреоновые либо жидкостные (с подключением к внешнему чиллеру). 

В данном картированном секторе на ТОП-10 компаний приходится 49% патентных документов выборки: Dell (20%), Google (15%), Hewlett-Packard (8%), Schneider Electric, Vertiv и др.  

Система рекуперации отводимого тепла ЦОД (waste heat recovery, WHR) предусматривает использование отводимой от ЦОД тепловой энергии, источником которой является отводимая теплая вода (до 50-60°C), отводимый горячий воздух (25-47°C) и хладагент конденсатора из кондиционеров (до 40-50°C), для нужд промышленных, сельскохозяйственных, коммерческих предприятий и жилых домов¹³, а также собственно для нужд самого ЦОД, во-первых, в части снижения затрат электроэнергии на охлаждение ИТ-инфраструктуры (за счет поглощения тепла без необходимости механического охлаждения или других методов его отвода, например, с помощью абсорбционного охлаждения, адсорбционного охлаждения, испарительного охлаждения и смешанных их видов), во-вторых, в части преобразования рекуперируемого тепла в электричество. Рекуперация отводимого тепла от ЦОД является элементом системы повышения эффективности охлаждения¹⁴, исследуемой специалистами по HVAC-технологиям, к которой также относят управление потоком воздуха и оптимизацию работы охлаждающего оборудования. 

Рост использования вычислительной техники и Интернета в мире привлек внимание исследователей и широкой общественности к проблеме углеродного следа ЦОД. В частности, Директива по энергоэффективности (Energy Efficiency Directive), принятая в ЕС в 2012 году и обновленная в 2018 и 2023 годах, подчеркивает растущее значение сектора информационно-коммуникационных технологий и обязывает операторов ЦОД ежегодно отслеживать ключевые показатели эффективности¹⁵ и вносить их в европейскую базу данных, чтобы снизить их энергопотребление. В 2018 году ЦОД в ЕС потребляли 76,8 ТВт*ч энергии, и ожидается, что к 2030 году этот показатель существенно возрастет. Прогнозы, сделанные в 2018 году, предполагали рост на 28% до 98,5 ТВт*ч, но с развитием технологий искусственного интеллекта в некоторых странах это потребление может удвоиться или даже утроиться. Например, Международное энергетическое агентство (International Energy Agency) прогнозирует, что к 2030 году спрос центров обработки данных на электроэнергию в Ирландии может вырасти почти в 2 раза, а в Дании – в 6 раз. В частности, ЦОД Германии преобразовали в тепло более 13 ТВт*ч электроэнергии в 2020 году (обычно при температуре 25-40°C), большая часть которого была выброшена в окружающую среду, практически не используясь [25], вызывая тепловое загрязнение. В некоторых источниках указывается, что фактическое потребление электроэнергии дата-центрами в 2023 году превысило 340 ТВт*ч. и составило 1,3% мирового потребления электроэнергии [26]. Возможности рекуперации и повторного использования отработанной тепловой энергии представляют потенциал для снижения эксплуатационных расходов ЦОД – по некоторым оценкам, до 70% отходящего тепла может быть утилизировано. Кроме того, рекуперация отработанного тепла сокращает выбросы CO2 и других вредных газов.

Отводимое CRAC-системой тепло от ЦОД относится к искусственному источнику низкопотенциальной теплоты с относительно низкой температурой (естественными источниками являются, например, слабоминерализованная геотермальная вода, солнечная энергия, грунт), качество которого может быть улучшено тепловыми насосами (heat pumps). Использование низкопотенциальных источников энергии для целей отопления и теплоснабжения¹⁶ является направлением в энергетике, достижения которой позволяют использовать отводимое от ЦОД тепло для отопления собственных помещений и централизованного теплоснабжения близлежащих зданий, для использования в сорбционных преобразователях теплоты (sorption heat converter)¹⁷ , для производства электроэнергии с использованием эффекта Зеебека и пьезоэлектрического эффекта, для производства топлива из биомассы в качестве катализатора с использованием органического цикла Ренкина и цикла Калины, для производства чистой воды путем опреснения.

Рис. 18.  Общий принцип рекуперации отводимого тепла ЦОД с системами CRAC и CRAH

Источник: https://doi.org/10.1016/j.rser.2023.113777

Чем выше температура теплоносителя, тем ценнее и универсальнее передаваемое им тепло. Поэтому использование в качестве теплоносителя воды (жидкости) вместо воздуха открывает гораздо больше возможностей для применения. В ЦОД с воздушным охлаждением (при температуре охлаждающей воды в холодильных генераторах CRAC-системы обычно 16-19°C на входе и 23-25°C на выходе) максимальный температурный уровень отводящей тепло воды составляет 25°С (в CRAH-системах температура горячего парообразного хладагента 40-50°C). Жидкостное охлаждение ИТ-оборудования, при котором отводящая тепло вода имеет более высокую температуру (например, 30-45°C в отличие от 20°C в чиллерных системах), делает рекуперацию тепла более эффективной. Кроме того, устраняется необходимость в теплообмене между воздухом и жидкостью, при котором часть энергии теряется. В серверах с прямым охлаждением жидкость, отводящая тепло от ИТ-инфраструктуры, может нагреваться до 50-60°C, что уже подходит для непосредственного использования. Ряд исследователей, со ссылкой на отчет Минобороны США о прогнозировании надежности электронного оборудования, отмечают, что повышение температуры чипов выше 75°C может привести к экспоненциальному увеличению частоты отказов (перегрев электронных компонентов приводит к снижению производительности, увеличению потребления энергии, снижению эффективности и необратимому повреждению).

В целом, рекуперация отводимого от ЦОД тепла находится в стадии развития и число таких проектов растет, приближаясь к 100 (например, Stockholm Data Parks в Швеции, Telehouse West Data Centre в Великобритании, Data Center beneath the Uspenski Orthodox Cathedral в Финляндии), особенно в Северной Европе (субарктические регионы), где распространены системы централизованного теплоснабжения. Но повторное использование тепла ЦОД требует дополнительных инженерных изысканий и значительных первоначальных вложений на оборудование, необходимое для передачи тепла клиентам, что вводит наличие близлежащих потенциальных потребителей отводимого тепла в качестве дополнительного приоритета при выборе площадки для размещения ЦОД. При этом достижения в области систем централизованного теплоснабжения, позволяющие использовать низкотемпературное тепло, рост плотности ИТ-оборудования, увеличивающий теплоотдачу от ЦОД, и внедрение жидкостного охлаждения, упрощающего подачу горячей воды потребителям, повышают жизнеспособность проектов рекуперации тепла.

Подчеркнем, что значимую роль в этом картированном секторе, помимо эффективного использования, отводимого от ЦОД тепла (отопление, теплоснабжение, охлаждение), играет технология использования низкопотенциальной отводимой теплоты для получения механической и электрической энергии. Одним из таких способов в теплотехнике является органический цикл Ренкина (organic rankine cycle), при котором используется органическая жидкость с высокой молекулярной массой и температурой испарения ниже, чем у воды (в качестве компонентов выступают хладагенты и углеводороды – например, хлорфторуглероды и гидрохлорфторуглероды¹⁸, гидрофторуглероды, легковоспламеняющиеся изобутан / пентан / пропан, фторуглероды), которая, испаряясь вращает турбину, соединенную с электрогенератором. Другой технологией получения электричества является использование топливных элементов на основе протонообменной мембраны / полимерно-электролитной мембраны (polymer-electrolyte membrane).

В данном картированном секторе на ТОП-10 компаний приходится 30% патентных документов выборки: Beijing Baidu Netcom Science and Technology (6%), Hebei Qinhuai Data (5%), Zhengzhou Yunhai Information Technology (3%) и др.

Охлаждающие жидкости, хладагенты являются одним из основных элементов системы охлаждения ЦОД и используются в фреоновых кондиционерах (с воздушным охлаждением) и системах водяного кондиционирования (получающих холод от чиллеров), а также к данному картированному сектору отнесены диэлектрические жидкости для иммерсионного охлаждения. Системы охлаждения на основе жидких хладагентов, как правило, обеспечивают более высокий уровень энергоэффективности, чем системы воздушного охлаждения, а в силу меньшего количества выделяемого теплового загрязнения они еще оказываются и более экологичными.

Фреон широко используется в качестве хладагента за счет своей способности переходить в разные агрегатные состояния (жидкость и газ). Промышленные кондиционеры на фреоне производят охлажденный воздух, который подается по «холодному коридору» под фальшполом к серверному оборудованию. Нагретый воздух, наоборот, отводится от оборудования, причем другими путями (по «горячему коридору»), и снова попадает в теплообменник кондиционера. Такие охлаждающие системы относительно просты и дешевы в установке, кондиционеры независимы друг от друга, что обеспечивает легкость масштабирования системы охлаждения. Но им присущи и недостатки в виде сравнительно малой допустимой энергетической плотности ЦОД (до 7-10 кВт на стойку), малой гибкости системы, низкой энергоэффективности и громоздкости оборудования по причине того, что на каждый внутренний блок кондиционера приходится его отдельный внешний блок (при этом есть ограничение по небольшому расстоянию от кондиционера до его внешнего блока), сложности совмещения с фрикулингом и сложности ремонта (у него внутри компрессоры, сложная система регулирования давления рабочего вещества, множество трубок и клапанов).

Водяная система охлаждения состоит из работающих сообща нескольких разнофункциональных аппаратов. Здесь отсутствуют понятие отдельно взятого кондиционера; речь идет именно о системе. Основным преимуществом такой системы охлаждения является ее энергоэффективность, совмещаемая с фрикулингом и системой холодного водоснабжения здания, более высокая допустимая энергетическая плотность ЦОД (до 15-20 кВт на стойку), отсутствие ограничений по удалению чиллеров от кондиционеров. К недостаткам такой системы относят ее дороговизну, наличие проблем работы чиллера при малой нагрузке, необходимость предусматривать дренаж воды из-под фальшпола и принимать усиленные меры по гидроизоляции перекрытий и стен из-за риска протечек, громоздкость чиллеров.    

Диэлектрические жидкости для иммерсионного охлаждения (dielectric liquids), в виде синтетических и минеральных белых масел, деионизированной воды, сложных эфиров, фторхимикатов – например, Novec и Fluorinert от компании 3M, представляют интерес для исследователей материалов для теплопередачи и теплообмена, а также материалов для производства тепла или холода разными способами (в т.ч. материалов, при использовании которых происходит или не происходит изменение физического состояния и материалов, при использовании которых происходят химические реакции). Различают иммерсионные диэлектрические жидкости однофазного и двухфазного охлаждения. Первые – постоянно находятся в жидком агрегатном состоянии, а вторые – изменяют свое агрегатное состояние во время цикла охлаждения оборудования (испаряясь из жидкого в газообразное состояние и обратно).

В данном картированном секторе на ТОП-10 компаний приходится 31% патентных документов выборки: Chemours (7%), 3M, Hewlett-Packard и SolvCor Technologies (по 5%), Beijing Baidu Netcom Science and Technology, Hebei Qinhuai Data и др.

Охлаждающие пластины (cold plate technology) или жидкостное охлаждение непосредственно на кристалле (direct-to-chip cooling) с использованием водоблока и помпы, или тепловой трубки (heat pipe), или испарительной камеры (vapor chamber) представляют собой совокупность технологических решений жидкостного охлаждения, использующих механизм целенаправленного теплоотвода с маленькой площади от ИТ-электроники (центрального и графических процессоров, модулей памяти, платы, элементов системы электропитания и др.) путем циркуляции жидкого теплоносителя (очищенная вода, деионизированная вода, водно-гликолевая смесь или однофазный / двухфазный диэлектрический хладагент) в водоблоке или вакуумной камере (медной трубке)¹⁹, внутренняя стенка которой представляет собой слой капиллярной структуры. 

Рис. 19.  Общий принцип жидкостного охлаждения на кристалле с испарительной камерой

Источник: https://www.nix.ru/computer_hardware_news/hardware_news_viewer.html?id=166198&page=3

Технологические платформы прямого жидкостного охлаждения (Direct Liquid Cooling, DLC), построенные на базе охлаждающих пластин, в некоторых источниках делятся на три типа: пластины с водяным охлаждением, пластины с однофазным диэлектрическим хладагентом, пластины с двухфазным диэлектрическим хладагентом.

Классическое жидкостное охлаждение (с водоблоком, помпой, шлангами, радиатором и вентилятором) отличается от воздушного только тем, что теплообмен в нем достигается за счет циркуляции жидкости по шлангам (жидкость не взаимодействует с охлаждаемыми компонентами напрямую и выполняет лишь роль доставщика тепла от процессора к радиатору). В более сложных системах с тепловыми трубками или испарительной камерой общий принцип циркуляции жидкого теплоносителя выглядит следующим образом: жидкость нагревается от GPU и при достижении определенной температуры начинает испаряться, пар поступает в область конденсации, где переходит из газообразного в жидкое состояние, при этом отдавая тепло радиатору, а конденсат поступает обратно в область контакта камеры с GPU. Отмечают существенно более высокую общую эффективность испарительной камеры по сравнению с группой теплотрубок той же площади (рост удельной теплопроводности в 1,4-2,8 раза, в зависимости от формы камеры), которая достигается благодаря тому, что испарительную камеру можно отлить / изготовить по форме и размерам, идеально подходящим под конфигурацию охлаждаемого устройства, обеспечив тем самым максимально эффективный отвод тепла, а также за счет цельной конструкции и использования большего внутреннего объёма. Оборотной стороной такого колоссального теплоотведения испарительной камеры является высокая цена её производства, связанная, в основном, с мелкосерийностью и индивидуальностью изготовления.

Методы прямого жидкостного охлаждения совершенствуются по мере удовлетворения требований клиентов и решения технических задач благодаря инновациям. Для этого есть ряд аргументов: во-первых, необходимость поддерживать работу стоек высокой плотности (с всё возрастающим использованием высокопроизводительных процессоров CPU, GPU, программируемых пользователем вентильных матриц FPGA и специализированных интегральных схем ASIC, которые позволяют решать задачи высокопроизводительных приложений – например, аналитика в реальном времени, транскодирование мультимедиа, облачные игры, инженерное моделирование, обучение сложных моделей искусственного интеллекта и машинное обучение на больших данных), во-вторых, понижение максимальных рабочих температур новых высокомощных чипов (с текущих 70-90°C до 55-60°C), в-третьих, необходимость повышения экологической устойчивости ЦОД (рекуперация тепла, снижение потребления электроэнергии и воды), в-четвертых, необходимость снижения операционных и капитальных расходов на функционирование ЦОД.

Рис. 20.  Значения PUE для центров обработки данных с различными методами охлаждения

Источник: https://www.stet-review.org/articles/stet/pdf/2024/01/stet20240005.pdf 

Но у этого метода охлаждения есть и ограничения в распространении: отсутствие стандартов для этой технологии, необходимость предварительного длительного тестирования всевозможных комбинаций контактирования охлаждающей жидкости с различными материалами серверных компонентов (медь, алюминий, сталь, пластмассы, эластомеры), необходимость гарантийной поддержки от производителей ИТ-оборудования при использовании их продукции в жидкостной, а не в воздушной среде, изменение технического и эксплуатационного обслуживания ЦОД и связанная с этим переподготовка инженерного персонала, высокая стоимость внедрения технологии. 

В данном картированном секторе на ТОП-10 компаний приходится 84% патентных документов выборки. Компании Nvidia принадлежит наибольшее количество патентных документов в этом картированном секторе (до 68%) и в некоторых из них приводится сравнение двух типов охлаждения для графического процессора Nvidia A100 PCIe – при жидкостном охлаждении требуется на 28% меньше электроэнергии и на 66% меньше серверных стоек, чем при воздушном охлаждении. Также можно отметить патенты Microsoft (до 3%), Hewlett-Packard, Hitachi, Honeywell, Intel, Schneider Electric.

Датчики интернета вещей (IoT-датчики) представляют собой датчики контроля температуры и влажности в компьютерном зале, стойке, на процессоре, источнике бесперебойного питания, задействованные в работе DCIM-системы. Сюда же отнесены карты сетевого управления, обеспечивающие необходимый и безопасный удаленный мониторинг, и управление критически важной инфраструктурой электропитания и охлаждения. 

В данном картированном секторе на ТОП-10 компаний приходится 50% патентных документов выборки: IBM (12%), Hewlett-Packard (8%), Amazon, Intel, Microsoft и др.

Прямое распыление на микрочип минерального масла в виде микрокапельного тумана (spray cooling) позволяет поглощать и рассеивать тепло непосредственно у источника его образования. Распылительное охлаждение отличается как от прямого жидкостного охлаждения (direct-to-chip liquid cooling), так и от иммерсионного охлаждения (immersion cooling). Испарение происходит под воздействием высокой температуры чипа, обеспечивая локальное и быстрое его охлаждение. Наклонная установка серверов обеспечивает стекание жидкости по материнской плате вниз в резервуар, откуда после фильтрации и отвода тепла подается для повторного использования (испарившаяся и избыточная жидкость циркулируют в закрытой системе). 

Рис. 21.  Механизм теплопередачи при распылительном охлаждении

Источник: https://www.researchgate.net/figure/The-heat-transfer-mechanisms-of-spray-cooling_fig8_221917320 

При этом не требуется использование вентиляторов, что снижает уровень шума и устраняет связанные с вентиляторами затраты на электроэнергию и техническое обслуживание. Точная регулировка температуры (до ±0,3°C) достигается за счет использования цифровой системы управления, контролирующей температуру чипа в режиме реального времени, давление, расход и площадь распыления масла. Такая система масляного распыления сочетает экономичность, экологичность и высокую точность охлаждения (наподобие нанесения термопасты в места плотного прилегания греющегося элемента компьютера радиатора). В отличие от него, воздушное охлаждение неэффективно при устранении «горячих точек» и имеет большой углеродный след, а погружное (иммерсионное) охлаждение требует более значительных капитальных затрат. Из публикаций 2024 года в этой области можно отметить работы Nanyang Technological University и PMC Technologies. 

В данном картированном секторе на ТОП-10 компаний приходится 51% патентных документов выборки: Vigilent (8%), Hewlett-Packard, Naver Corporation, Samsung Heavy Industries, Kyndryl, Nortek Air Solutions и др.

Энергоснабжение ЦОД (data center power) относится к инженерной инфраструктуре ЦОД, обеспечивающей бесперебойное энергоснабжение и управление энергопотреблением систем и оборудования ИТ-инфраструктуры ЦОД. Сюда входят системы распределения электропитания (power distribution unit, PDU), в частности, с ограничителем перенапряжения (surge protector), инвертором (power inverter), источником бесперебойного питания (uninterruptible power supply) как с однофазным, так и трехфазным решениями, и инструменты управления, обеспечивающие непрерывную и эффективную работу ЦОД. Одним из способов повышения энергоэффективности ЦОД и сокращения негативного воздействия на окружающую среду, в виде теплового загрязнения и углеродного следа, является устранение неэффективности ИТ-нагрузки. Повышение эффективности работы ИТ-оборудования и снижение потребления электроэнергии может быть достигнуто за счет усовершенствования силовых полупроводников и виртуализации серверов .

Ожидается, что главный прорыв в области силовых полупроводниковых приборов произойдет в результате замены кремния широкозонным полупроводником (wide-bandgap semiconductor), в частности на основе карбида кремния (SiC) или нитрида галлия (GaN), что позволило бы, по мнению Infineon Technologies на 10% сократить количество потребляемой электроэнергии ЦОД. ЦОД не работают на высоких напряжениях, поэтому полупроводники GaN, которые обычно используются в таком оборудовании, как зарядные устройства для ноутбуков, планшетов и телефонов, могут предложить больше преимуществ, чем полупроводники SiC, которые оптимизированы для таких отраслей, как передача электроэнергии и автомобилестроение. Такие полупроводники, за счет более эффективной работы в основном источнике питания сервера, могут помочь операторам ЦОД добиться: снижения потерь электроэнергии, снижения нагрузки на систему охлаждения и уменьшения занимаемого блоками питания пространства (в пользу дополнительных серверных стоек).

Виртуализация серверов позволяет эффективно распределять ресурсы облачной инфраструктуры, оптимизируя расходы за счет распределения нагрузки на физически одном устройстве между сервисами и клиентами. Это позволяет, в частности, снизить расходы на электроэнергию и охлаждение оборудования. Также, оптимизация кода Linux, используемого многими ЦОД для обработки пакетов сетевого трафика, позволяет добиться значительного снижения энергопотребления ЦОД. 

В данном картированном секторе на ТОП-10 компаний приходится 77% патентных документов выборки: Schneider Electric (56%), Hewlett-Packard и Nautilus Data Technologies (по 5%), Advanced Knowledge Lab, Avago Technologies, DCiM Solutions, DeepWater Desal и др.

Модульный контейнеризированный ЦОД (containerized data center) представляет собой частный случай концепции модульных ЦОД, размещаемый на открытом воздухе (в частности, в специальных модулях стандартного форм-фактора транспортных контейнеров длиной 20, 40 или 53 фута) и оборудованный всей необходимой инженерной инфраструктурой для обеспечения бесперебойного электроснабжения, отведения тепла, противопожарными системами, системами безопасности и диспетчеризации. Контейнеры могут иметь свою специализацию: ИТ-инфраструктура, контейнер электропитания, контейнер охлаждения. 

Рис. 22.  Устройство контейнеризированного ЦОД

Источник: https://habr.com/ru/companies/delta/articles/

Модуль в единственном исполнении является мобильным ЦОД. Такие ЦОД используются при строительстве крупных ЦОД с поэтапным вводом ИТ-инфраструктуры в эксплуатацию, при создании ЦОД на территориях с затрудненным или невозможным капитальным строительством, при наращивании мощности уже имеющегося ЦОД, при оперативном развертывании резервного ЦОД.

В зависимости от модели в таких ЦОД используется либо водяное охлаждение, либо комбинация воздушного охлаждения с прямым расширением (на основе хладагента).

К основным недостаткам контейнеризированного ЦОД относят ограниченный выбор конфигураций и масштабирования (исходя из набора типовых конфигураций с фиксированным числом стоек, ИТ-нагрузкой и характеристиками инженерных систем, предопределенных габаритами контейнера), пониженная сейсмоустойчивость, частое отсутствие фальшпола, усложнение транспортной логистики.

В данном картированном секторе на ТОП-10 компаний приходится 48% патентных документов выборки. Компании Hon Hai Precision Industries (Foxconn) принадлежит наибольшее количество патентных документов в этом картированном секторе (до 14%) и связаны они в основном с контейнерами, оснащенными солнечными батареями, блоком стабилизации мощности, ИБП, преобразователем напряжения и датчиками, которые контролируют мощность и могут переключаться на альтернативный источник электроэнергии, если солнечные панели вырабатывают недостаточно электроэнергии, а также есть патенты, описывающие методы охлаждения серверов внутри контейнера (оба имеют традиционные фальшполы и блоки кондиционирования CRAC). Также можно отметить патенты Zhengzhou Yunhai Information Technology (11%), Jiangsu Josun Air Conditioner (специализируется на производстве кондиционеров для морских судов, холодильных установок, чиллеров и пр.), Huawei, Microsoft, Munters, Alibaba, Baidu, Vertiv, Google.

Использование сжиженного природного газа (liquified natural gas, LNG) и геотермальное охлаждение в инженерной инфраструктуре ЦОД осуществляется для целей охлаждения IT-оборудования и снижения энергопотребления. По некоторым оценкам, использование энергии холода, генерируемой при регазификации СПГ (данный процесс поглощает огромное количество тепла из окружающей среды), позволит снизить годовое энергопотребление ЦОД на 60% в дополнение к значительному сокращению выбросов диоксида углерода (CO2). Кроме того, генераторы электроэнергии на природном газе (в том числе в модульном формате) являются альтернативой дизель-генераторам и могут выступить в качестве не только резервных, но и основных источников бесперебойного питания ЦОД. 

Рис. 23.  Общий принцип использования сжиженного природного газа для охлаждения ЦОД

Источник: https://www.adlittle.com/ja/node/24617

Такие решения оправдывают себя при размещении ЦОД недалеко от мест нефтедобычи (электрогенерация предлагается в качестве альтернативы факельному сжиганию попутного нефтяного газа) или недалеко от регазификационного терминала СПГ (использование избытка холода сжиженного природного газа при его регазификации, использование отводимого от ЦОД тепла для процесса испарения в терминалах СПГ, генерация электроэнергии при прохождении газа через электротурбину в момент преобразования криогенного газа из жидкого состояния в газообразное после его транспортировки). В этот же картированный сектор отнесены геотермальные способы охлаждения жидкости для системы охлаждения ЦОД.

В данном картированном секторе на ТОП-10 компаний приходится 57% патентных документов выборки: SolvCor Technologies (10%), IBM, Microsoft, DeepWater Desal, Honeywell, Natural Ocean Well и др.

Управление инфраструктурой ЦОД (data center-infrastructure management, DCIM) представляет собой интеграцию информационных технологий и дисциплин управления объектами (в частности, управление ИТ-услугами, IT Service Managemen, ITSM, системы управления зданием, Building Management System, BMS или BAS/IoT, SCADA-системы), как совокупность процессов, руководящих принципов, инструментов и методических рекомендаций, используемых для подготовки «связанной системы ИТ-инфраструктуры и инженерной инфраструктуры», руководства ею и общего управления с целью организации максимальной производительности и эффективности функционирования ЦОД. Благодаря внедрению специализированного программного обеспечения, аппаратного обеспечения и датчиков, DCIM (как автоматизированная система диспетчеризации и управления ЦОД) обеспечивает единую платформу мониторинга и управления в режиме реального времени для всех взаимозависимых систем в ИТ-инфраструктуре и инженерной инфраструктуре, что увеличивает время безотказной работы оборудования, помогает моделировать использование пространства для нового оборудования и управлять блоками распределения электропитания (power distribution unit, PDU) и контроля температурного режима, моделирует упреждающее управление инцидентами, представляет графическую визуализацию происходящих в реальном времени процессов. 

Значимая роль в управлении инфраструктурой ЦОД, в части сокращения эксплуатационных расходов и капитальных расходов на охладительное оборудование, отводится оптимизации системы охлаждения, т.к. на ее долю приходится до 40% потребляемой электроэнергии в ЦОД. Оптимизация системы охлаждения ЦОД, предусматривающая перекалибровку системных элементов управления (например, изменение температурного режима или скорости вращения вентилятора), нацелена на повышение энергоэффективности (с учетом рекуперации тепла) и улучшение таких критических метрик ЦОД, как эффективность энергопотребления (Power Utilization Efficiency, PUE) и индекс охлаждения стойки (Rack Cooling Index, RCI) [15, 16, 17]. Учитывая, что тепловая карта ЦОД постоянно меняется, в зависимости от меняющихся нагрузок, количества, мощности и местоположения IT- и вспомогательного оборудования, то процесс оптимизации системы охлаждения является динамическим и начинается он с вычислительной гидродинамики (computational fluid dynamics, CFD) – для прогнозирования сложных режимов воздушного потока в ЦОД. Алгоритмы CFD-анализа охватывают следующие параметры: температура подаваемого воздуха, объемная скорость потока, триггеры включения / выключения для каждого охлаждающего устройства; температура и расход охлажденной воды; температура и уровень относительной влажности окружающей среды (для систем, снабженных экономайзерами); тепловая нагрузка монтажных стоек с IT-оборудованием.

Отметим, что значительное место в системе поддержки принятия решений по управлению инфраструктурой ЦОД отводится такому способу машинного обучения, как обучение с подкреплением (Reinforcement Learning), в котором человек не принимает участия в развитии искусственного интеллекта машины (в имитации процесса управления объектом машина обучается методом проб и ошибок, данные не содержат метки и машина сама ищет закономерности). Из-за критичности рисков ошибки искусственного интеллекта в учебном управлении инфраструктурой ЦОД при воздействии на алгоритмы работы оборудования, обучение с подкреплением осуществляется на цифровых двойниках конкретного ЦОД или в виде системы поддержки решений человека-оператора, в виде предиктивного анализа условий работы оборудования (искусственный интеллект не заменяет собой SCADA-систему, а работает параллельно с ней, собирая статистические данные переменных, которые поступают в систему мониторинга). Статистический и корреляционный анализы позволяют делать обученной машине оценку показателей надежности инфраструктуры ЦОД.

В данном картированном секторе на ТОП-10 компаний приходится 28% патентных документов выборки: IBM (4%), Tsinghua University, Hewlett-Packard, Microsoft, Dell и др.

Абсорбционное охлаждение (absorption cooling) основано на физических свойствах двух веществ (хладагента и абсорбента) и на их способности поглощать друг друга. Такие системы работают за счет использования не электрической энергии, как в компрессорных системах охлаждения, а за счет тепловой энергии, которая отделяет пары хладагента от насыщенного раствора. 

Рис. 24.  Принцип абсорбционного охлаждения     

Источник: https://dizelnye-generatory.com/dop-oborudovanie/absorbtsionnye-kholodilnye-mashiny-abkhm-ebara/

Они используют принцип, что при уменьшении давления жидкости начинают испаряться уже при низких температурах. Две наиболее распространенные рабочие пары «абсорбент-хладагент» – это водно-аммиачный раствор (NH3-H2O) и раствор бромида лития с водой (LiBr-H2O). Применение абсорбционного чиллера для рекуперации отводимого от ЦОД тепла (в дополнение или на замену охлаждению от традиционных CRAC) сокращает затраты на охлаждение ЦОД, по сравнению с обычной системой охлаждения.

Исследователи работают над оптимизацией производительности абсорбционной системы охлаждения (в части моделей стохастического программирования), над энергетической эффективностью термодинамических циклов холодильных установок с одно- и многоступенчатыми процессами абсорбции и генерации (включая анализ влияния температуры греющего и охлаждающего источников на тепловой коэффициент), над гибридной системой охлаждения (например, с использованием топливных элементов, солнечной энергии (solar cooling), адсорбер на основе гидрофобной мембраны), над накопителями тепловой энергии (в частности, грунтовый теплообменник на основе усовершенствованной геотермальной системы с использованием заброшенных нефтяных скважин), над альтернативными рабочими средами (Carrol-вода, литий хлористый безводный LiCl-H2).  

К этому же картированному сектору отнесено адсорбционное охлаждение (adsorption cooling), при котором адсорбер адсорбирует пары хладагента в твердое тело, тогда как в абсорбционной системе абсорбер поглощает пары хладагента в жидкость. Адсорбционное охлаждение также включает в себя процесс генерации, в котором молекулы паров хладагента десорбируются из твердого тела. Наиболее распространенная рабочая пара «адсорбент-хладагент» – это силикагель-вода. Адсорбционное охлаждение способно работать с хорошей производительностью при более низких температурах отходящего тепла (около 60°C), чем абсорбционное охлаждение. 

В данном картированном секторе на ТОП-10 компаний приходится 54% патентных документов выборки: Google и Hewlett-Packard (по 12%), ENN Group (Fanneng), Amazon, IBM, ABB Group и др. 

Серверные стойки и серверные шкафы (data center rack and cabinet) представляют собой открытые и закрытые каркасные конструкции, в которые по вертикали устанавливаются серверы / блейд-серверы и сопутствующее оборудование, позволяющие решать задачи по экономии пространства в компьютерном зале, обеспечению удобства администрирования, исключению появления вибрации при работе оборудования, обеспечению надлежащего воздушного потока между серверами и другим оборудованием. 

Рис. 25.  Серверная стойка и шкаф

Источник: https://servergate.ru/articles/servernaya-stoyka-i-servernyy-shkaf-dlya-chego-oni-sluzhat-i-iz-chego-sostoyat/

По связанности механических конструкций и «конструктивных элементов для электрических приборов и устройств (корпусы, панели, выдвижные ящики)» к этому же картированному сектору отнесены серверные шасси или серверные корпуса (server chassis, server case, rackmount chassis), предназначенные для установки серверного оборудования в серверных стойках, и представляющие собой металлический каркас (закрывающий внешнюю часть сервера, образуя тем самым целостную серверную систему), играющий важную роль в защите внутреннего оборудования, обеспечивая при этом структуру для установки серверных компонентов, управления ими и обеспечения электропитанием аппаратных компонентов внутри. 

Рис. 26.  Пример серверного шасси Supermicro

Источник: https://kvan.tech/configurator/supermicro/server-supermicro-sys-1018r-wc0r/?kvs=t

Технические объекты в данном сегменте связаны с дизайнерскими решениями по учету конкретных потребностей заказчиков (монтажные направляющие, кабельные каналы, встроенные вентиляторы и регулируемые полки для улучшения воздушного потока и регулирования температуры), в частности, могут быть связаны с вопросами физической безопасности (создание шкафов с запирающимися дверцами и надежными механизмами блокировки и контроля доступа для предотвращения несанкционированного доступа) и вопросами распределения питания между подключенными устройствами в стойках и шкафах. Проблема ограниченной масштабируемости, гибкости и адаптивности стоек и шкафов нацеливает изобретателей на разработку модульных и настраиваемых решений с широким диапазоном опций и аксессуаров, которые могут легко адаптироваться к меняющимся потребностям ЦОД, способствуя оптимизации физической инфраструктуры ЦОД – повышению эффективности использования пространства, безопасности, охлаждению и распределению электроэнергии. 

Серверный шкаф в среднем используется в течение 15-20 лет, в то время как срок морального устаревания серверов составляет 3-5 лет. Поэтому проектировщики серверных шкафов уделяют большое внимание долговечности и надежности конструкции (прочности и устойчивости), масштабируемости и конфигурируемости, возможностям опционного усовершенствования существующей инфраструктуры средствами контроля доступа (в том числе ограничение возможности визуального доступа к установленному внутри оборудованию, что актуально при колокации, co-location, установке серверного шкафа на общей территории ЦОД), системы охлаждения (прецизионные кондиционеры, теплообменники и вентиляторы), герметизации (для обеспечения системы изоляции коридора), системы разводки и укладки кабеля (кабельный организатор может обеспечить оптимальное распределение нагрузки, повысить эффективность и производительность оборудования, уменьшить риск повреждения оборудования) и др.

По мере роста плотности размещения оборудования внутри серверных стоек и общего повышения мощности серверных систем проектировщики серверных шкафов предложили низкопрофильные теплообменники с непрямым жидкостным охлаждением RDHx (Rear-Door Heat Exchanger), которые встраиваются в заднюю дверцу серверного шкафа (увеличивая его глубину от 10 до 28 см) и подключаются к трубопроводу с холодной водой чиллерной системы охлаждения здания (или создаются решения на базе специализированных хладагентов). 

Рис. 27.  Принципы кондиционирования воздуха с непрямым и прямым жидкостным охлаждением

Источник: https://kvan.tech/configurator/supermicro/server-supermicro-sys-1018r-wc0r/?kvs=t

В этом случае тепло может продолжать сниматься с активных компонентов ИТ-оборудования воздухом с помощью традиционных средств, таких как воздушный радиатор, но затем нагретый воздух охлаждается в теплообменниках «воздух – жидкость» на задней дверце серверного шкафа. При этом нагрузка на стойку может быть повышена до 78 кВт (в исполнении direct-to-chip cooling, при температуре подаваемой воды 14°С и максимальной температуре воздуха в помещении 24°С). Использование модулей RDHx при создании нового ЦОД может упростить управление воздушными потоками за счет устранения необходимости в холодных / горячих коридорах и механизмах их изоляции.

В данном картированном секторе на ТОП-10 компаний приходится 88% патентных документов выборки. Компании Baidu принадлежит наибольшее количество патентных документов в этом картированном секторе (до 65%) и связаны они в основном с коммутаторами типа ToR для установки в верхней части серверной стойки, а также с системами охлаждения электронных серверных стоек высокой плотности (high-density server rack) от 8-10 кВт, в частности, с использованием двухфазных жидкостей. Также можно отметить патенты IBM (до 11%), Schneider Electric, APC, Inertech, Google.

Иммерсионное охлаждение (immersion cooling) представляет собой технологию охлаждения электронного оборудования (платы сервера, процессор, видеокарты, блоки питания и жесткие диски), погруженного в однофазную или двухфазную диэлектрическую жидкость (синтетические масла, деионизированная вода, сложные эфиры, фторхимикаты – например, Novec и Fluorinert от компании 3M), теплопроводность которой значительно выше, чем у воздуха (например, вода поглощает тепло примерно в 30 раз быстрее, чем воздух), которая имеет низкую вязкость и высокую теплоемкость, которая имеет гидродинамическую устойчивость (hydrodynamic stability) и возможность непосредственного охлаждения горячих точек, выравнивая температуру по всей поверхности. 

Рис. 28.  Принцип иммерсионного охлаждения в открытой ванне

Источник: https://doi.org/10.1016/j.aej.2022.02.059

Альтернативным вариантом является охлаждение погружением в открытую ванну (конструкция термоэлектрической сборки типа «жидкость-воздух»). Тепло отводится из системы путем прямого контакта охлаждающей жидкости с горячими компонентами и циркуляции нагретой жидкости через теплообменники. Погружное охлаждение снижает энергопотребление за счет отказа от инфраструктуры воздушного охлаждения, включая встроенные серверные вентиляторы, CRAC, компрессоры кондиционеров, вентиляторы для циркуляции воздуха, необходимые воздуховоды, устройства для обработки воздуха и другие активные вспомогательные системы, такие как осушители. Это позволило снизить средний коэффициент энергоэффективности ЦОД с 1,5 при воздушном охлаждении до 1,1 при погружном охлаждении. 

Рис. 29.  Сравнение размеров ЦОД воздушного и иммерсионного охлаждения одинаковой мощности

Источник: https://doi.org/10.1016/j.aej.2022.02.059

Помимо более эффективного использования электроэнергии иммерсионной системой охлаждения, чем CRAC/CRAH, она позволяет сэкономить место с компьютерном зале (не требует размещения вентиляторов, фальшпола и изолированных холодных коридоров), разместив большее количество герметичных стоек с системами прецизионного иммерсионного охлаждения серверов (или герметичные модули с иммерсионным охлаждением, которые вставляются в обычные стойки), она позволяет размещать сверхвысоконагруженные стойки (до 100 кВт на стойку), она проста в установке и обслуживании (особенно для системы охлаждения с погружением в открытый бассейн - отсутствуют трубопроводы, жидкостные соединители и закрытые оболочки), она экологична (низкий уровень шума и не использует хладагенты, которые повреждают озоновый слой и усиливают парниковый эффект), она обеспечивает равномерное распределение тепла и его отвод в окружающую среду (высокая температура жидкостного теплоносителя делает отводимое тепло от иммерсионной системы более ценным и универсальным для дальнейшего его использования, в случае организации системы рекуперации отводимого тепла).

Ряд экспертов полагает, что в ближайшее время применение иммерсионного охлаждения будет целесообразно лишь под определенные задачи: в сфере высокопроизводительных вычислений, при сверхплотном размещении мощностей в силу ограниченного пространства или для лабораторных исследований. 

Система однофазного иммерсионного жидкостного охлаждения (single-phase immersion cooling) предусматривает отсутствие фазового перехода охлаждающей жидкости, она циркулирует постоянно в жидкой фазе между стойкой и радиатором с помощью насоса или естественной конвекции. 

Рис. 30.  Система однофазного иммерсионного жидкостного охлаждения

Источник: https://www.gigabyte.com/Solutions/gigabyte-single-phase

Для таких систем выбирают жидкости с высокой точкой кипения (более 80°C). Технология позволяет охлаждать до 150 кВт чистой мощности на стойку. Резервуар для однофазной жидкости может быть открытым. Такие установки достаточно просты в эксплуатации, безопасны и эффективны (срок службы теплоносителя может составлять 10 лет).  

Система двухфазного иммерсионного жидкостного охлаждения (two-phase immersion cooling) предусматривает фазовый переход выкипающей охлаждающей жидкости в пар, с последующей конденсацией пара обратно в жидкое состояние. 

Рис. 31.  Система двухфазного иммерсионного жидкостного охлаждения

Источник: https://www.gigabyte.com/Solutions/liquidstack-two-phase

Переход жидкости в газообразное состояние эффективнее отводит тепло, но усложняет устройство системы (используются более дорогие теплоносители и серверные шкафы). Температура кипения таких жидкостей составляет около 56-60°C.

Технология позволяет охлаждать до 250 кВт чистой мощности на стойку. Когда процессы излучают тепло, жидкость нагревается и закипает, горячий пар поднимается вверх к крышке герметичного резервуара. В верхней части резервуара размещается охлаждающий змеевик (с водным охлаждением), на котором пар конденсируется и снова превращается в жидкость. Так жидкость повторно возвращается в резервуар без использования насосов (подобная система позволяет экономить до 95% энергии с минимальными потерями жидкости).

На рисунке ниже приведена сравнительная таблица различных типов охлаждения серверов, так или иначе использующих жидкость в качестве теплоносителя. 

Рис. 32.  Сравнительная таблица различных типов охлаждения так или иначе использующих жидкость в качестве теплоносителя

Источник: https://immersiya.com/technology/

В данном картированном секторе на ТОП-10 компаний приходится 41% патентных документов выборки: Baidu (13%), Dell (8%), Hewlett-Packard, Lenovo, Fujikura, Intel и др. 

Обзор глобальных проектов

В целом жидкостное охлаждение является всё еще относительно новой технологией, но уже появляются другие технологии охлаждения ЦОД, иногда называемые экспериментальными, которые призваны повысить эффективность охлаждения и энергоэффективность ЦОД. Например, геотермальные методы охлаждения, использование интеллектуальных систем в мониторинге и управлении охлаждением, испарительное охлаждение. Упомянутая в разделе 2.3 сильная фрагментированность рынка «систем охлаждения ЦОД» с присущими такому рынку стратегиями технологического сотрудничества и партнерства между лидерами и инновационными стартапами, обеспечивают апробацию и быстрое внедрение новых подходов.

Геотермальный способ охлаждения жидкости для системы охлаждения ЦОД использует тепло земли, которая выполняет роль радиатора благодаря тому, что температура земли на глубине ниже 6 метров примерно равна среднегодовой температуре воздуха в данной местности и слабо изменяется в течение года. Данный способ может быть дополнен использованием грунтовых холодных вод. В общем виде, для геотермального охлаждения ЦОД используется замкнутая система трубопроводов с водой или другим хладагентом, которая проходит через вертикальные скважины под землей. Такое охлаждение особенно эффективно в регионах с жарким и влажным климатом, где системы водяного и воздушного охлаждения менее продуктивны.

В качестве примеров использования геотермальной системы охлаждения можно упомянуть ЦОД в Пенсильвании WPA-1 (США), принадлежащий компании Iron Mountain; ЦОД компании Verne Global в Исландии; ЦОД компании Green Mountain в Норвегии. Схожим проектом является сотрудничество Google и энергетическим стартапом Fervo Energy, начавшееся в 2021 году в Неваде (США).

Список компаний, упомянутых в отчете

¹Инфометрия – научная дисциплина, предметом которой являются измерения количественных характеристик информации.

²Исследования Европейского патентного ведомства показывают, что до 70% информации, содержащейся в патентных документах, больше нигде не публикуются.

³Поиск патентов и заявок в Orbit Intelligence возможен либо по базе данных FamPat (группирующей в одно патентное семейство документы, защищающие одно и то же изобретение в разных странах), либо по базе данных FullPat (учитывающей каждый патентный документ обособленно).

⁴Термин «печатные схемы» здесь охватывает все виды механических конструкций, которые состоят из изолирующего основания или подложки, несущей проводники и конструктивно сопряженных с этими проводниками по всей своей длине, особенно в двухмерной плоскости, причем проводники прикреплены к подложке неразъемно. Этот термин также охватывает способы и устройства для изготовления указанных конструкций (например, формирование схем путем механической или химической обработки токопроводящей пленки, пасты или фольги на изолирующем основании).

⁵Ключевое слово (Concept) с низкой релевантностью – это слово, упоминающееся в документе небольшое число раз в «наименее интересных» частях патентного документа, например, в середине полнотекстового описания изобретения, где термин может использоваться контекстно – в описании чертежей, в описании технического результата при внедрении изобретения или описании альтернативных вариантов его исполнения/применения. Напротив, слово (даже с частотой 1), упомянутое в названии изобретения, области техники, аннотации, сущности изобретения, будет иметь более высокую релевантность.

⁶Например, способность жидкого азота поглощать тепло (при испарении 1 кг жидкого азота поглощается около 48 кКал тепла). Эту способность можно использовать для охлаждения различного оборудования и техники, но как хладагент жидкий азот не очень эффективен в механических холодильных установках (в отличии от фреонов).

⁷Приведена выдержка определения технических объектов изобретений из параграфа 81 Руководства к международной патентной классификации. Техническими объектами изобретений, или категориями объектов техники, могут быть новые и неочевидные способы, продукты, устройства или материалы (или способы их использования или применения). Статья 1350 ГК РФ «Условия патентоспособности изобретения» также определяет, что в качестве изобретения охраняется техническое решение в любой области, относящееся к продукту (в частности, устройству, веществу, штамму микроорганизма, культуре клеток растений или животных) или способу (процессу осуществления действий над материальным объектом с помощью материальных средств), в том числе к применению продукта или способа по определенному назначению.

⁸Инженерная инфраструктура ЦОД является «устройством», которое призвано обеспечить бесперебойное функционирование систем и оборудования ИТ-инфраструктуры ЦОД («устройство», как правило, предполагает его использование по определенному назначению или для определенной цели). Но ЦОД, как
«специализированный объект, представляющий собой связанную систему ИТ-инфраструктуры и инженерной инфраструктуры, оборудование и части которых размещены в здании или помещении, подключенном к внешним сетям», так же можно рассматривать в виде «продукта», как конечный результат процесса независимо от его последующей функции, в том смысле, что каждое устройство произведено в результате выполнения определенного процесса.

⁹В частности, учитывающих интенсивность последующих прямых цитирований каждого из рассматриваемых патентов. Последующие прямые цитирования (forward citations, fwd cit.) в наибольшей степени влияют на техническую значимость патента (technical impact), зависящего также от совокупного количества различных патентных классов и технологических областей, географии патентования, размера патентного семейства.

¹⁰Учитывается вклад последующего прямого цитирования патента forward citations, совокупное количество различных патентных классов и технологических областей Generality index (индекс общности) и Originality index (индекс оригинальности) [35], география патентования Geographic coverage, размер патентного семейства Family size и среднее количество лет действия патентов Average age.

¹¹По сравнению со шкафом NVIDIA H100 с воздушным охлаждением предыдущего поколения, шкаф GB200 с жидкостным охлаждением обеспечивает 25-кратное повышение производительности при том же энергопотреблении, одновременно эффективно сокращая потребление воды.

¹²Повышение КПД в модели электропитания, основывающейся на высоковольтных линиях электропередачи постоянного тока, происходит за счет сведения к минимуму потерь от многократных преобразований постоянного тока в переменный в источниках бесперебойного питания (Uninterruptible Power Supply, UPS).

¹³Примеры проектов использования отводимого от ЦОД тепла: передача в систему централизованного теплоснабжения для отопления жилых и коммерческих помещений (atNorth в Швеции, Stack Infrastructure в Норвегии, AmazonWeb Services в Ирландии, Yandex в Финляндии, Nikhef Housing в Нидерландах, Westin Building Exchange в США), непосредственное отопление близлежащих жилых и коммерческих помещений (Cloud&Heat Technologies в Германии, BIT в Нидерландах, National Renewable Energy Laboratory в США), использование в сельском хозяйстве (Equinix во Франции, Microsoft и Google в Нидерландах, QScale в Канаде), обогрев воды в бассейне (Deep Green в Великобритании, Digital Realty во Франции, NorthC в Нидерландах), использование при выращивании аквакультуры (Green Mountain в Норвегии, ScaleUp и Windcloud в Германии), сушка древесных брикетов (EcoDataCenter в Швеции).

¹⁴Повышение эффективности системы охлаждения ЦОД представлено двумя направлениями приложения усилий: во-первых, «источники охлаждения», которые могут заменить или дополнить подачу холода обычной системы кондиционирования воздуха (например, естественное охлаждение воздухом или фрикулинг, естественное охлаждение водой, охлаждение с изменением фаз хладагента, адиабатическое и испарительное охлаждение, «зеленые» ЦОД, использующие энергию гейзеров, океан в качестве охладителя и пр.), во-вторых,
«повышение энергоэффективности», к которому относят управление потоком воздуха, рекуперацию отработанного тепла, оптимизацию работы охлаждающего оборудования 

¹⁵Например, эффективность использования электроэнергии (Power Usage Effectiveness, PUE), коэффициент повторного использования энергии (Energy Reuse Factor, ERF), сокращение выброса парниковых газов (Greenhouse Gas, GHG).

¹⁶Существует  принципиальная  технологическая  разница  между  терминами  «отопление»  и «теплоснабжение». Под отоплением понимается обогрев помещения с помощью любого устройства или системы устройств, находящихся непосредственно в том здании, которое отапливается с их помощью. А под теплоснабжением понимают систему обогрева, когда источник тепла находится вне того здания (или помещения), которое им обогревается, т.е. теплоноситель (обычно это вода) по трубам транспортируется в обогреваемое строение. Централизованный обогрев многоквартирных домов уместно называть теплоснабжением.

¹⁷Сорбционные преобразователи теплоты могут работать в режиме охлаждения (абсорбционные и адсорбционные холодильные машины) или нагрева (тепловые насосы). Преимущество сорбционных машин заключается в том, что они не потребляют электроэнергию на реализацию холодильного цикла; электроэнергия расходуется только на перемещение холодных или теплых сред, то есть на работу насосов и вентиляторов.

¹⁸Хлорфторуглероды и гидрохлорфторуглероды представляют собой углеводороды, в которых все или часть атомов водорода замещены атомами галогенов (брома, хлора или фтора). Данные вещества разрушают озоновый слой планеты. Поэтому хлорфторуглероды запрещены Монреальским протоколом 1987 года к Венской конвенции об охране озонового слоя (например, вещества R11, R12), а гидрохлорфторуглероды поэтапно выводятся из использования к 2030 году (в т.ч. развивающимися странами) – по Копенгагенской поправке 1992 года к Монреальскому протоколу (например, вещества R22, R123).

¹⁹Помимо герметичности таких камер и трубок, также важно создать внутри них пониженное давление (чтобы жидкий теплоноситель закипал при более низких температурах).