Mientras Nvidia trabaja para instalar algunos de sus chips más nuevos en los centros de datos de Microsoft, un empleado del gigante de las GPU notó a principios de este otoño que el enfoque de enfriamiento de Microsoft parecía «fuera de lugar» en un solo lugar.
Nvidia está implementando su arquitectura GB200 Blackwell en Microsoft y otros gigantes tecnológicos a medida que aumenta la demanda informática para entrenar y ejecutar modelos de IA.
Blackwell, anunciado en marzo de 2024, es aproximadamente el doble de potente que el Hopper anterior, dijo al principio el director ejecutivo de Nvidia, Jensen Huang. El GB200 es parte de la ola anterior de implementaciones de Blackwell, con la generación GB300 ahora disponible.
A principios de este otoño, un correo electrónico interno enviado por un empleado del equipo de Especialistas en Infraestructura de Nvidia (NVIS) describía una instalación de Blackwell de bastidores de servidores para OpenAI, que respalda a Microsoft como su socio en la nube y su mayor inversor.
El correo electrónico describía la instalación de dos bastidores GB200 NVL72, cada uno con 72 GPU Nvidia. La configuración utiliza tecnología de refrigeración líquida, debido al calor generado por varias GPU que trabajan en estrecha colaboración.
El empleado escribió que «el enfoque del sistema de refrigeración y del centro de datos de Microsoft para implementar su GB200 parece frágil debido al tamaño de la instalación y al bajo uso de agua, pero proporciona mucha flexibilidad y tolerancia a fallos en comparación con la memoria».
Si bien se utiliza refrigeración líquida para los servidores, los centros de datos también utilizan un sistema secundario a nivel del edificio para eliminar el calor de las instalaciones, según Shaolei Ren, profesor de ingeniería eléctrica e informática de la Universidad de California.
El empleado de Nvidia puede haber mencionado un sistema a nivel de edificio que utiliza refrigeración por aire en lugar de agua, dijo Ren, quien estudia cómo los centros de datos usan el agua y otros recursos.
«Este tipo de sistema de refrigeración tiende a utilizar más energía», dijo, «pero no utiliza agua».
Un portavoz de Microsoft describió una configuración de enfriamiento que coincide con la descripción de dos fases de Ren.
«La unidad de intercambio de calor de refrigeración líquida de Microsoft es un sistema cerrado que implementamos en centros de datos refrigerados por aire existentes para aumentar la capacidad de refrigeración en plataformas propias y de terceros», dijo un portavoz de Microsoft a Business Insider en un comunicado.
«Estos sistemas garantizan que maximicemos la huella de escala de nuestro centro de datos global existente al tiempo que promovemos una disipación de calor eficiente y la optimización de la entrega de energía para satisfacer las demandas de la IA y los sistemas de hiperescala», agregó el portavoz.
Una «compensación» entre recursos
A medida que se expande la infraestructura de IA, el uso de energía y agua en la refrigeración de los centros de datos se ha convertido en puntos críticos en todo el mundo, provocando reveses en algunas áreas donde se están construyendo nuevas instalaciones.
Ren señaló que debido a que los centros de datos pueden utilizar refrigeración por aire a nivel del edificio, refrigeración por agua o un sistema híbrido, existe una «compensación» entre los recursos.
El aire acondicionado requiere más energía, pero puede «abordar algunas de las preocupaciones que la gente tiene con el consumo de agua, porque el agua es algo que la gente realmente puede ver», afirmó.
«Estas empresas son rentables», añadió, «evalúan el coste del agua, el coste de la energía y también el coste de las comunicaciones».
Microsoft, por su parte, dijo que será «carbono negativo, agua positiva y cero residuos» para 2030.
«También anunciamos un diseño de refrigeración por agua sin emisiones para centros de datos de próxima generación y avances en la refrigeración en chip», dijo el portavoz.
Dentro de la instalación de Blackwell
Un correo electrónico interno de un empleado de Nvidia describió algunos de los problemas logísticos que ocurrieron durante la instalación de Blackwell a principios de este otoño, que pueden ser típicos de los lanzamientos de hardware de nuevos centros de datos.
«Para esta actividad se necesitaba apoyo in situ», escribió el empleado. «Se dedicaron muchas horas a crear documentación del proceso de aprobación, así como a verificar los pasos realizados por personas que están menos familiarizadas con cómo se realizan normalmente las aprobaciones de grupos y sistemas».
Además, los procesos de entrega entre Nvidia y Microsoft «requieren mucho más esfuerzo que antes de la llegada».
Aun así, el memorándum sugería que la calidad del hardware de la producción de Blackwell había mejorado en comparación con las muestras iniciales.
El hardware de producción GB200 NVL72 «tiene buena calidad» según muestras calificadas enviadas a los clientes para pruebas tempranas, según el correo electrónico. En algunas pruebas de rendimiento informático, ambos bastidores obtuvieron una tasa de aprobación del 100 %.
Un portavoz de Nvidia dijo a Business Insider que sus sistemas Blackwell «ofrecen un rendimiento, confiabilidad y eficiencia energética excepcionales para una amplia gama de aplicaciones informáticas».
«Nuestros clientes, incluido Microsoft, ha implementado con éxito cientos de miles de sistemas Blackwell GB200 y GB300 NVL72 para satisfacer la creciente necesidad mundial de inteligencia artificial», dijo el portavoz.
