A Advanced Micro Devices Inc. introduziu hoje uma nova linha de chips de inteligência artificial que, segundo ele, pode superar o Blackwell B200 da Nvidia Corp. em algumas tarefas.
A série Instinct Mi350, como a família de produtos é chamada, inclui duas placas gráficas. Há o Mi355x de ponta, que depende do resfriamento líquido para dissipar o calor. Ele é acompanhado por um chip reduzido chamado Instinct Mi350x, que negocia algum desempenho para temperaturas operacionais mais baixas. Isso permite que ele use ventiladores em vez de resfriamento líquido, um arranjo muitas vezes mais simples para os operadores de data center.
“With flexible air-cooled and direct liquid-cooled configurations, the Instinct MI350 Series is optimized for seamless deployment, supporting up to 64 GPUs in an air-cooled rack and up to 128 in a direct liquid-cooled and scaling up to 2.6 exaFLOPS of FP4 performance,” Vamsi Boppana, the senior vice president of AMD’s Artificial Intelligence Group, detailed in a Postagem do blog.
Mais memória, chiplets mais rápidos
A série MI350 é baseada em um design tridimensional de 10 chipletos. Oito dos chiplets contêm circuitos de computação fabricados usando o mais recente processo de três nanômetros da Taiwan Semiconductor Manufacturing Co. Eles ficam no topo de dois chiplets de E/S de seis nanômetros que funcionam como a camada base do MI350 e também gerenciam o fluxo de dados dentro do processador.
Tanto o Mi355x quanto o MI350x nav em 288 gigabytes da memória HBM3E. Essa é uma variedade de RAM rápida e de alta capacidade amplamente usada em chips de IA. Como as novas placas gráficas da AMD, os dispositivos HBM3E apresentam um design tridimensional no qual camadas de circuitos são empilhadas em cima do outro.
Teoricamente, teoricamente suporta o HBM3E até 16 camadas de RAM em camadas verticalmente. Alguns dispositivos de memória com base na tecnologia também incluem recursos adicionais. Os mais recentes chips HBM3E da Micron Technology Inc., por exemplo, são enviados com o chamado módulo de autoteste embutido de memória. Reduz a quantidade de equipamentos especializados necessários para desenvolver chips de IA que incluem memória HBM3E.
De acordo com a AMD, a série MI350 apresenta 60% a mais de memória do que as placas gráficas Blackwell B200 da NVIDIA. A empresa também promete um desempenho mais rápido para algumas cargas de trabalho. A AMD diz que os chips MI350 podem processar números de ponto flutuante de 8 bits 10% mais rápido que os números de ponto flutuante B200 e 4 bits mais que duas vezes mais rápido.
Os números de ponto flutuante são as unidades básicas de dados que os modelos de IA usam para executar cálculos. As maiores unidades de dados contêm 64 bits, enquanto as menores têm 4. O suporte do MI350 para o ponto flutuante de quatro bits, ou FP4, os dados são uma das melhorias que introduz com as placas gráficas AMD anteriores.
Quanto menos bits houver em um número de ponto flutuante, mais rápido ele pode ser processado. Como resultado, os modelos de IA geralmente comprimem grandes pontos flutuantes em os menores para acelerar os cálculos. O suporte do MI350 para os menores pontos flutuantes de 4 bits facilitará o desempenho da compactação para acelerar as cargas de trabalho da IA.
Na prática, as novas otimizações de velocidade permitem que um único chip da série MI350 execute um modo AI com até 520 bilhões de parâmetros. A AMD também promete um aumento de 40% em tokens por dólar em comparação com os produtos concorrentes.
Novos servidores de IA
A AMD disponibilizará o MI350 nas configurações do servidor 8-chip. Segundo a empresa, as máquinas fornecerão até 160 petaflops de desempenho para algumas cargas de trabalho do FP4. Um Petaflop corresponde a 1.000 trilhões de cálculos por segundo.
Mais adiante, a AMD planeja lançar uma linha de sistemas de rack chamada Helios. Os sistemas combinarão chips da próxima série de chips Mi400 do Instinct, The Sce Sucessor to the Mi350, com as unidades centrais de processamento da empresa. A AMD também adicionará suas unidades de processamento de dados Pensando, que descarregarão as tarefas de gerenciamento de infraestrutura dos outros chips de um cluster de IA.
No lado do software, Helios enviará com a plataforma ROCM da empresa. É uma coleção de ferramentas de desenvolvedor, interfaces de programação de aplicativos e outros componentes que podem ser usados para programar placas gráficas AMD. A empresa estreou uma nova versão do ROCM em conjunto com a estréia do MI350 e Helios.
O ROCM 7.0, como a versão mais recente é chamada, permite que os modelos de IA realizem inferência mais de 3,5 vezes mais rápida do que antes. Também pode triplicar o desempenho das cargas de trabalho de treinamento.
Segundo a AMD, a aceleração é parcialmente fruto das otimizações que permitem que o ROCM 7.0 gerencie o movimento de dados com mais eficiência. O software também é melhor na inferência distribuída. Essa é a tarefa de espalhar uma carga de trabalho de inferência em várias placas gráficas para acelerar o processamento.
“No ano passado, o ROCM amadureceu rapidamente, oferecendo desempenho de inferência de liderança, expandindo os recursos de treinamento e aprofundando sua integração com a comunidade de código aberto”, escreveu Boppana.
Foto: AMD
Seu voto de apoio é importante para nós e nos ajuda a manter o conteúdo livre.
Um clique abaixo suporta nossa missão de fornecer conteúdo gratuito, profundo e relevante.
Junte -se à nossa comunidade no YouTube
Junte -se à comunidade que inclui mais de 15.000 especialistas em #Cubealumni, incluindo o CEO da Amazon.com, Andy Jassy, o fundador e CEO da Dell Technologies, Michael Dell, o CEO da Intel Pat Gelsinger e muito mais luminárias e especialistas.
OBRIGADO
