Impulsada por el crecimiento explosivo de la IA generativa y las cargas de trabajo de entrenamiento de modelos a gran escala, la densidad de potencia de los racks de centros de datos ha entrado en una nueva era de rápida expansión. Los modernos racks de computación de densidad ultraalta, como las plataformas NVIDIA GB200 y AMD MI350, ya han superado los 120 kW de consumo por rack.
Las arquitecturas tradicionales de refrigeración por aire se aproximan cada vez más a sus límites físicos de disipación térmica. En estas circunstancias, la Unidad de Distribución de Refrigerante (CDU) se ha convertido en un centro indispensable de gestión de fluidos e intercambio térmico para las modernas infraestructuras de refrigeración líquida directa al chip.
Este artículo ofrece un análisis exhaustivo de las aplicaciones de las CDU en clústeres de computación de IA desde múltiples perspectivas, incluida la implementación de ingeniería, la selección de componentes principales, la configuración del sistema y la operación y el mantenimiento diarios.
Los sistemas tradicionales de refrigeración por aire utilizan el aire como medio de transferencia térmica. Debido a la baja capacidad calorífica específica y la baja conductividad térmica del aire, la capacidad máxima de refrigeración de un solo rack suele estar limitada aproximadamente a 10 kW–20 kW.
En los clústeres de GPU que consumen cientos de kilovatios de potencia, la refrigeración por aire no puede evacuar con suficiente rapidez el intenso calor instantáneo generado por los procesadores modernos.
Sin embargo, aunque la refrigeración líquida directa al chip mejora notablemente la capacidad de disipación térmica, también introduce varios desafíos de ingeniería:
El valor fundamental de ingeniería de una CDU consiste precisamente en abordar estos desafíos.
Mediante un diseño integrado que incluye:
la CDU logra el equilibrio óptimo entre un alto rendimiento de refrigeración y una fiabilidad operativa a largo plazo.
Desde la perspectiva de la ingeniería mecánica y térmica, una CDU es la plataforma central de control de fluidos que conecta el circuito de refrigeración de los equipos TI con la infraestructura de refrigeración de las instalaciones.
Su filosofía de diseño fundamental se basa en dos principios:
Aislamiento y control de precisión
Mediante la separación física, la CDU evita que el agua de las instalaciones, cuya calidad puede ser inferior, entre directamente en los estrechos y altamente sensibles canales de refrigeración situados dentro de las placas frías de los servidores.
Una CDU estándar completa integra seis subsistemas principales:
El intercambiador de calor de placas de acero inoxidable soldado mediante brasaje es el núcleo de transferencia térmica de una CDU líquido-líquido.
Durante la selección, los ingenieros deben equilibrar cuidadosamente el tamaño, el coste y el rendimiento de disipación térmica.
Los parámetros clave de diseño incluyen:
Las bombas de velocidad fija pueden provocar un consumo energético innecesario y una cizalladura excesiva del fluido en condiciones de funcionamiento con baja carga.
Al adoptar conjuntos de bombas de velocidad variable controlados mediante variadores de frecuencia (VFD), la CDU puede ajustar dinámicamente la velocidad de la bomba de acuerdo con la demanda térmica del chip en tiempo real, mantener una presión constante del sistema y reducir considerablemente el consumo energético operativo.
Comparación de arquitecturas habituales de bombas y compromisos de ingeniería:
Antes del despliegue del sistema, los ingenieros deben realizar pruebas de respuesta de presión de las bombas en condiciones de carga completa y carga parcial para garantizar una lógica fluida de conmutación entre las bombas principal y de reserva.
Los métodos de mecanizado tradicionales y los accesorios en T soldados pueden generar turbulencias internas, mientras que numerosos puntos de soldadura pueden sufrir envejecimiento por tensión y riesgos de fuga durante los ciclos prolongados de expansión y contracción térmica.
La industria adopta cada vez más la tecnología CNC de punzonado y abocardado de precisión, que forma directamente salidas derivadas sin costuras a partir de la pared de la tubería principal.
Este proceso de fabricación integrado proporciona:
Para los materiales de las tuberías, se debe dar preferencia al acero inoxidable de alta calidad, como el acero inoxidable 316L, o al cobre resistente a la descincificación, con el fin de minimizar los riesgos de corrosión electroquímica.
Las válvulas de control eléctrico, las válvulas de equilibrado estático y los sensores de caudal de alta precisión trabajan conjuntamente para garantizar una distribución precisa del refrigerante conforme a la demanda real de refrigeración.
Si la distribución del caudal no está equilibrada, varias filas de racks pueden experimentar acumulaciones térmicas localizadas, lo que reduce la eficiencia informática general del clúster de IA.
Experiencia de ingeniería en campo:
Durante los primeros 1–3 meses posteriores a la puesta en servicio de un sistema de refrigeración líquida recién construido, los residuos de soldadura y las partículas de mecanizado que quedan en el sistema de tuberías se liberan gradualmente. Durante este periodo, se debe aumentar la frecuencia de inspección y sustitución de los filtros.
El sistema integra:
Un PLC de grado industrial actúa como controlador central y ejecuta una regulación PID en tiempo real.
Cuando se detectan caídas anómalas de presión o eventos de fuga, el sistema puede activar rápidamente alarmas y ejecutar acciones de enclavamiento como:
Según el método de disipación térmica del disipador de calor del lado primario, las CDU se dividen principalmente en dos categorías:
El lado primario se conecta al circuito de agua refrigerada de las instalaciones o al circuito de agua de la torre de refrigeración, mientras que el lado secundario se conecta directamente al circuito de refrigeración de las placas frías de los equipos TI.
El lado secundario hace circular el refrigerante líquido, mientras que el lado primario disipa el calor mediante serpentines refrigerados por aire y conjuntos de ventiladores hacia el entorno circundante.
Sin embargo, la densidad máxima de potencia del rack está limitada por la capacidad de ventilación de la sala.
CDU compacta instalada directamente dentro de un rack de servidores individual.
Ventajas:
Limitaciones:
Aplicación típica:
Refrigeración de un solo rack de aproximadamente 100 kW.
CDU independiente instalada junto a los racks de servidores dentro de la misma fila.
Ventajas:
Desafíos:
Grandes sistemas CDU industriales montados sobre skid, instalados en salas mecánicas específicas o en áreas de soporte de las instalaciones.
Ventajas:
Para comprender claramente el papel de la CDU dentro de la arquitectura general de refrigeración del centro de datos, la siguiente comparación resume sus diferencias con los equipos tradicionales de refrigeración de centros de datos:
Los sistemas CRAC y CRAH están diseñados únicamente para la refrigeración por aire y no pueden conectarse directamente a las placas frías de los chips de los servidores.
Los sistemas de enfriadoras proporcionan fuentes de refrigeración a nivel del edificio.
La CDU es la única plataforma específica de aislamiento y distribución que presta servicio directo a los sistemas de placas frías de refrigeración líquida de equipos TI de alta densidad.
La selección de la CDU debe calcularse con precisión de acuerdo con la potencia térmica máxima y las características hidráulicas del clúster de racks.
El circuito de refrigeración secundario normalmente funciona con:
con inhibidores de corrosión cuidadosamente controlados.
Los equipos de operación deben tomar muestras y analizar periódicamente:
Una concentración excesiva de cloruros puede provocar:
Un valor de pH excesivamente bajo puede acelerar:
Todas las CDU estándar deben estar equipadas con puertos específicos para la toma de muestras de refrigerante.
Para evitar la formación de condensación en los chips y las superficies de las placas base, el sistema de control de la CDU debe garantizar que:
La temperatura de suministro del refrigerante del lado secundario se mantenga siempre por encima de la temperatura del punto de rocío de la sala.
El margen de diseño habitual es:
2℃–3℃ por encima de la temperatura del punto de rocío.
Cuando se producen condiciones anómalas de humedad en el entorno del centro de datos:
El PLC automáticamente:
Durante el diseño de las tuberías, los ingenieros deben controlar la velocidad máxima del refrigerante:
Normalmente por debajo de 1.5–2.5 m/s
para evitar:
En los puntos de conexión de los racks, los ingenieros deben utilizar:
acoplamientos rápidos de baja resistencia y desconexión en seco
para reducir las pérdidas de presión localizadas.
Para proporcionar la máxima protección al costoso hardware de GPU, los sistemas CDU deben incorporar varias capas de protección contra fugas:
Incluye:
Incluye:
Cuando el PLC recibe:
el sistema automáticamente:
Para garantizar la estabilidad y fiabilidad a largo plazo de la CDU y del circuito de refrigeración secundario, se recomienda el siguiente programa de mantenimiento estandarizado:
Realizar una inspección visual de:
Confirmar que no existan indicios de:
Inspeccionar:
Durante el funcionamiento inicial de los sistemas recién instalados:
Realizar el muestreo del refrigerante secundario y las pruebas de equilibrio químico:
Realizar pruebas funcionales de:
Realizar:
la eliminación de sedimentos microscópicos acumulados.
Al aumentar la temperatura del agua de suministro del lado primario:
32℃–45℃
las arquitecturas de refrigeración con agua templada pueden maximizar el aprovechamiento de las fuentes naturales de refrigeración exteriores (Free Cooling), reduciendo considerablemente el tiempo de funcionamiento de las enfriadoras mecánicas.
Mediante la combinación de:
los futuros sistemas de control de CDU podrán ajustar de forma proactiva la salida de las bombas de velocidad variable, eliminando los retrasos en la respuesta de temperatura.
Los sistemas CDU sobre skid integrados y probados en fábrica permiten:
Esto permitirá ensamblar los futuros centros de datos mediante un enfoque de bloques de construcción.
Mediante la creación de modelos completos de simulación térmica y de fluidos de la infraestructura de refrigeración, los sistemas de gemelo digital permitirán:
Las futuras infraestructuras de refrigeración líquida capturarán el calor residual de alta calidad de los servidores y lo reutilizarán para:
Una futura generación de hardware CDU podrá admitir múltiples tecnologías de refrigeración dentro de una plataforma unificada, entre ellas:
Esto permitirá una asignación flexible de los recursos de refrigeración en entornos de computación heterogéneos.
Dejar un mensaje
Si está interesado en nuestros productos y desea obtener más detalles, deje un mensaje aquí; le responderemos tan pronto como podamos.