Blog

Jun 11, 2023

El líquido y la inmersión son lo nuevo en Supercomputing '22 • The Register

SC22 Es seguro decir que la refrigeración líquida fue un tema candente en la Conferencia de Supercomputación en Dallas esta semana. Hasta donde alcanzaba la vista, la sala de exposiciones estaba repleta de servidores refrigerados por líquido,

SC22 Es seguro decir que la refrigeración líquida fue un tema candente en la Conferencia de Supercomputación en Dallas esta semana.

Hasta donde alcanzaba la vista, la sala de exhibición estaba repleta de servidores enfriados por líquido, tanques de enfriamiento por inmersión llenos de aceite y todos los accesorios, bombas y unidades de distribución de refrigerante (CDU) que podría necesitar para implementar la tecnología en un centro de datos. .

Dado que se trata de una conferencia sobre informática de alto rendimiento, el énfasis en la gestión térmica no debería ser una sorpresa. Pero con las CPU de 400 W y las GPU de 700 W ahora disponibles, no es un problema exclusivo de HPC o AI. A medida que más empresas buscan agregar sistemas con capacidad AI/ML a sus centros de datos, los sistemas de 3kW, 5kW o incluso 10kW ya no son tan locos.

Aquí hay un desglose del kit de refrigeración líquida que nos llamó la atención en la feria de este año.

La gran mayoría de los sistemas de refrigeración líquida que se muestran en SC22 son de tipo líquido directo. Estos intercambian disipadores de calor y ventiladores de cobre o aluminio por placas frías, tubos de goma y accesorios.

Si somos honestos, todos estos platos fríos se ven más o menos iguales. Básicamente son solo un bloque de metal ahuecado con una entrada y una salida para que pase el fluido. Tenga en cuenta que aquí utilizamos la palabra "fluido" porque los sistemas refrigerados por líquido pueden utilizar cualquier cantidad de refrigerantes que no necesariamente son agua.

Un servidor refrigerado por líquido de Supermicro equipado con placas frías CoolIT. - Click para agrandar

En muchos casos, los fabricantes de equipos originales obtienen sus placas frías de los mismos proveedores. Por ejemplo, CoolIT proporciona hardware de refrigeración líquida para varios fabricantes de equipos originales, incluidos HPE y Supermicro.

Sin embargo, eso no quiere decir que no haya oportunidad de diferenciación. El interior de estas placas frías está lleno de conjuntos de microaletas que se pueden ajustar para optimizar el flujo de fluido a través de ellas. Dependiendo del tamaño o de la cantidad de matrices que haya que enfriar, el interior de estas placas frías puede variar bastante.

La mayoría de los sistemas de refrigeración líquida que vimos en la exposición utilizaban algún tipo de tubo de goma para conectar las placas frías. Esto significa que el líquido solo enfría componentes específicos como la CPU y la GPU. Entonces, si bien se puede quitar la mayor parte de los ventiladores, aún se requiere algo de flujo de aire.

HPE demuestra sus últimos blades Cray EX refrigerados por líquido utilizando CPU Epyc 4 de 96 núcleos de AMD. - Click para agrandar

Los blades Neptune de Lenovo y EX de HPE Cray fueron la excepción a esta regla. Sus sistemas están diseñados específicamente para refrigeración líquida y están repletos de tubos de cobre, bloques de distribución y placas frías para todo, incluidas CPU, GPU, memoria y NIC.

Utilizando este enfoque, HPE logró meter ocho de las CPU Epyc 4 Genoa de 400 W de AMD en un chasis de 19 pulgadas.

Un servidor Lenovo Neptune con refrigeración líquida configurado con dos CPU AMD Genoa y cuatro GPU Nvidia H100. - Click para agrandar

Mientras tanto, Lenovo mostró un sistema Neptune 1U diseñado para enfriar un par de Epycs de 96 núcleos y cuatro GPU H100 SXM de Nvidia. Dependiendo de la implementación, los fabricantes afirman que sus sistemas de refrigeración líquida directa pueden eliminar entre el 80 y el 97 por ciento del calor generado por el servidor.

Una de las tecnologías de refrigeración líquida más exóticas expuestas en SC22 fue la refrigeración por inmersión, que ha vuelto a estar de moda en los últimos años. Estos sistemas pueden capturar el 100 por ciento del calor generado por el sistema.

En lugar de actualizar el servidor con placas frías, tanques de enfriamiento por inmersión, como este de Submer, sumérjalos en un fluido no conductor. Haga clic para ampliar

Por muy loco que parezca, hemos estado sumergiendo componentes de computadoras en fluidos no conductores para mantenerlos fríos durante décadas. Uno de los sistemas más famosos que utilizó refrigeración por inmersión fue la supercomputadora Cray 2.

Si bien los fluidos utilizados en estos sistemas varían de un proveedor a otro, los aceites sintéticos como Exxon o Castrol o los refrigerantes especializados de 3M no son infrecuentes.

Submer fue una de varias empresas de refrigeración por inmersión que mostraron su tecnología en SC22 esta semana. Los SmartPods de la compañía se parecen un poco a si llenaras un congelador con aceite y comenzaras a colocar servidores verticalmente desde la parte superior.

Submer ofrece tanques en varios tamaños que son aproximadamente equivalentes a los bastidores tradicionales de tamaño medio y completo. Estos tanques están clasificados para 50-100 kW de disipación térmica, lo que los coloca a la par con la infraestructura de refrigeración líquida y por aire montada en bastidor en términos de densidad de potencia.

El tanque de Submer admite factores de forma OCP OpenRack como estos sistemas Intel Xeon de tres hojas. Haga clic para ampliar

El tanque de demostración tenía tres servidores de 21 pulgadas, cada uno con tres blades Intel Sapphire Rapids de doble socket, así como un sistema AMD 2U estándar que había sido convertido para su uso en sus tanques.

Sin embargo, nos dicen que la cantidad de modificaciones necesarias, especialmente en el chasis OCP, es bastante insignificante, y los únicos cambios reales son cambiar las piezas móviles de cosas como las fuentes de alimentación.

Como era de esperar, el enfriamiento por inmersión complica el mantenimiento y es un poco más complicado que el aire o el enfriamiento líquido directo.

El giro de Iceotope sobre el enfriamiento por inmersión utiliza el chasis del servidor como depósito. - Click para agrandar

No todas las configuraciones de enfriamiento por inmersión en la sala de exhibición requieren galones de fluidos especializados. El sistema de enfriamiento por inmersión en el chasis de Iceotope fue un ejemplo. El chasis sellado del servidor de la empresa funciona como un depósito con la placa base sumergida en unos pocos milímetros de líquido.

Una bomba redundante en la parte posterior del servidor recircula el aceite a puntos de acceso como la CPU, las GPU y la memoria antes de pasar los fluidos calientes a través de un intercambiador de calor. Allí, el calor se transfiere a un sistema de agua de la instalación o a unidades de distribución de refrigerante (CDU) a escala de bastidor.

Independientemente de si utiliza refrigeración directa al chip o por inmersión, ambos sistemas requieren infraestructura adicional para extraer y disipar el calor. Para configuraciones con refrigeración líquida directa, esto puede incluir colectores de distribución, tuberías a nivel de bastidor y, lo más importante, una o más CDU.

Se pueden utilizar CDU de gran tamaño para enfriar una fila completa de gabinetes de servidores. Por ejemplo, Cooltera mostró varias CDU grandes capaces de proporcionar hasta 600 kW de refrigeración a un centro de datos. O, para implementaciones más pequeñas, se podría utilizar una CDU montada en bastidor. Analizamos dos ejemplos de Supermicro y Cooltera, que proporcionaron entre 80 y 100 kW de capacidad de refrigeración.

Una unidad de distribución de refrigerante montada en bastidor de Cooltera - Haga clic para ampliar

Estas CDU se componen de tres componentes principales: un intercambiador de calor, bombas redundantes para hacer circular el refrigerante por los bastidores y un sistema de filtración para evitar que las partículas obstruyan componentes críticos como las microaletas de la placa fría.

La forma en que se extrae realmente el calor del sistema de refrigeración depende en gran medida del tipo de intercambiador de calor que se utilice. Los intercambiadores de calor líquido-aire se encuentran entre los más simples porque requieren la menor cantidad de modificaciones en la instalación misma. La CDU Cooltera que se muestra aquí utiliza radiadores grandes para descargar el calor capturado por el fluido en el pasillo caliente del centro de datos.

Además de bombas y filtración, esta CDU Cooltera cuenta con un intercambiador de calor líquido-aire integrado. - Click para agrandar

Sin embargo, la mayoría de las CDU que vimos en SC22 utilizaban intercambiadores de calor de líquido a líquido. La idea aquí es utilizar un sistema de agua separado en toda la instalación para mover el calor recolectado por múltiples CDU a los refrigeradores secos en el exterior del edificio donde se disipa al aire. O, en lugar de arrojar el calor a la atmósfera, algunos centros de datos, como la última instalación de Microsoft en Helsinki, han conectado los sistemas de agua de sus instalaciones a sistemas de calefacción urbana.

La situación es prácticamente la misma para el enfriamiento por inmersión, aunque muchos de los componentes de la CDU, como las bombas, los intercambiadores de calor de líquido a líquido y los sistemas de filtración, están integrados en los tanques. Todo lo que realmente se requiere es que estén conectados al sistema de agua de la instalación.

Si bien la refrigeración líquida representa solo una fracción del gasto en gestión térmica de los centros de datos en la actualidad, los componentes más calientes y las mayores densidades de potencia de los racks están comenzando a impulsar la adopción de esta tecnología.

Según un informe reciente del Grupo Dell'Oro, se espera que el gasto en equipos de refrigeración líquida y por inmersión alcance los 1.100 millones de dólares o el 19 por ciento del gasto en gestión térmica para 2026.

Mientras tanto, el aumento vertiginoso de los precios de la energía y un mayor énfasis en la sostenibilidad están haciendo que la refrigeración líquida sea atractiva en otros niveles. Dejando de lado la practicidad de enfriar un servidor de 3 kW con aire, entre el 30 y el 40 por ciento del consumo de energía de un centro de datos se puede atribuir al aire acondicionado y al equipo de manejo de aire necesarios para mantener los sistemas a la temperatura de funcionamiento.

Entonces, si bien los proveedores de servidores han encontrado formas de refrigerar servidores de hasta 10 kW, en el caso del DGX H100 de Nvidia, con estas densidades térmicas y de potencia existen incentivos externos para reducir el consumo de energía que ahora se utiliza para la informática. ®

Envíanos noticias