Si bien las GPU de la serie Blackwell de Nvidia han demostrado ser muy populares para cargas de trabajo de IA, la comunidad de supercomputadoras se ha sentido frustrada por la falta de rendimiento FP64 (doble tiempo real). De hecho, el nuevo chip B300 «Blackwell Ultra» de Nvidia prácticamente ignora el FP64 con su rendimiento anémico de 1,2 teraflops. Por contexto, la GPU A100 de Nvidia (a partir de 2020) ofrece casi ocho veces más rendimiento FP64 que la B300. Hopper H200 ofrece más de 28 veces más rendimiento que FP64.
En pocas palabras, los clientes de HPC quieren más métricas de rendimiento en las cargas de trabajo que les importan. Sí, la IA puede prosperar en cargas de trabajo de baja precisión. Sin embargo, las simulaciones complejas requieren cálculos más precisos. Por eso FP64 es importante para las cargas de trabajo de supercomputación, porque la precisión es importante.
(Rendimiento de las últimas GPU de Nvidia – vía Cable HPC)
Nvidia planea solucionar su problema FP64
Con su GPU B300, Nvidia ha ignorado a los clientes que buscan un rendimiento mejorado con FP64. Sin embargo, Dion Harris de Nvidia confirmó que la compañía planea agregar más capacidades FP64 a sus arquitecturas futuras.
El reciente enfoque de NVIDIA está en la IA, que prospera con una computación menos en tiempo real. Con sus arquitecturas Hopper y Blackwell, Nvidia logró sus ganancias de rendimiento más significativas utilizando operaciones sin tensor FP8 y FP4. En otras palabras, Nvidia aumentó el rendimiento al utilizar matemáticas menos precisas.
Definitivamente estamos buscando incorporar más capacidades en nuestra arquitectura de próxima generación. Nos tomamos muy en serio asegurarnos de que podemos ofrecer el rendimiento necesario para impulsar esas cargas de trabajo de simulación, que creemos que, en última instancia, serán un factor clave para implementar… esos enfoques de IA también, porque se necesita la simulación central como parte de esa carga de trabajo.
– Dion Harris, gerente senior de soluciones de infraestructura de hiperescala de IA y HPC de Nvidia
Cuando se trata de modelado climático, dinámica de fluidos computacional y ciencia de materiales, no hay sustituto para la energía bruta del FP64. Si Nvidia no puede proporcionar una ruta FP64 adicional, los científicos necesitarán encontrar otras formas de obtener los resultados exactos que desean utilizando el hardware de Nvidia. Esto incluye la emulación de FP64 utilizando haces tensoriales. De lo contrario, encontrarán hardware de un proveedor alternativo que proporcione el rendimiento FP64 que desean.
Puedes unirte a la discusión El plan de Nvidia para aumentar el rendimiento de FP64 en los foros OC3D.
