High Bandwidth Memory (HBM) é uma interface de memória de computador para DRAM síncrona empilhada em 3D (SDRAM) inicialmente da Samsung, AMD e SK Hynix. É usada em conjunto com aceleradores gráficos de alto desempenho, dispositivos de rede, ASICs de alto desempenho, como cache no pacote ou RAM no pacote em CPUs, e FPGAs e em alguns supercomputadores (como o NEC SX-Aurora TSUBASA e o Fujitsu A64FX).ISSCC 2014 Trends página 118 "High-Bandwidth DRAM" O primeiro chip de memória HBM foi produzido pela SK Hynix em 2013, e os primeiros dispositivos a usar HBM foram as GPUs AMD Fiji em 2015.
A HBM foi adotada pelo JEDEC como padrão da indústria em outubro de 2013.High Bandwidth Memory (HBM) DRAM (JESD235), JEDEC, outubro de 2013 A segunda geração, HBM2, foi aceita pelo JEDEC em janeiro de 2016. O JEDEC anunciou oficialmente o padrão HBM3 em 27 de janeiro de 2022, e o padrão HBM4 em abril de 2025.
Em 2025, os maiores fabricantes mundiais de HBM incluem SK Hynix, Samsung Electronics e Micron Technology.
A TSMC produz o dado base para HBM e está planejada para ser a fundição para várias empresas de HBM em 2026.
A HBM teve um aumento de demanda sem precedentes; e, em geral, o preço da DRAM (DDR4, DDR e memória flash/NAND) no início de 2026 "experimentou aumentos compostos, alguns excedendo 200%, desde o início de 2025 .. [devido a] demanda sem precedentes vinda do setor de IA .. A HBM está prejudicando a capacidade de DRAM de commodity. A Micron observou uma taxa de conversão de 3 para 1 entre a capacidade de wafer de HBM e DDR5, o que significa que cada aumento na HBM comprime diretamente o fornecimento de memória de uso geral."
Tecnologia Tipo Data deestabelecimentoda especificação Velocidademáx. detaxa de dadospor pino Empilhamento por Empilhamento capacidade máx. taxa de dados máx. HBM 1 Out 2013 1,0 Gb/s 8×128 bit 4 dies × 1 GB = 4 GB 128 GB/s HBM 2 Jan 2016 2,4 Gb/s 8 dies × 1 GB = 8 GB 307 GB/s HBM 2E Ago 2019 3,6 Gb/s 12 dies × 2 GB = 24 GB 461 GB/s HBM 3 Jan 2022 6,4 Gb/s 16×64 bit 819 GB/s HBM 3E Mai 2023 9,8 Gb/s 16 dies × 3 GB = 48 GB 1229 GB/s HBM 4 Abril de 2025 8 Gb/s 32×64 bit 16 dies × 4 GB = 64 GB 2048 GB/s A HBM atinge maior largura de banda do que DDR4 ou GDDR5 usando menos energia e em um formato substancialmente menor.HBM: Memory Solution for Bandwidth-Hungry Processors , Joonyoung Kim e Younsu Kim, SK Hynix // Hot Chips 26, agosto de 2014 Isso é alcançado empilhando até 32 DRAM dies e um dado base opcional que pode incluir circuitos de buffer e lógica de teste. O empilhamento é frequentemente conectado ao controlador de memória em uma GPU ou CPU através de um substrato, como um interposer de silício. Alternativamente, o dado de memória pode ser empilhado diretamente no chip da CPU ou GPU. Dentro do empilhamento, os dies são interconectados verticalmente por vias de silício através (TSVs) e microbumps. A tecnologia HBM é semelhante em princípio, mas incompatível com, a interface Hybrid Memory Cube (HMC) desenvolvida pela Micron Technology.Where Are DRAM Interfaces Headed? // EETimes, 18/4/2014 "The Hybrid Memory Cube (HMC) and a competing technology called High-Bandwidth Memory (HBM) are aimed at computing and networking applications. These approaches stack multiple DRAM chips atop a logic chip."
O barramento de memória HBM é muito largo em comparação com outras memórias DRAM, como DDR4 ou GDDR5. Um empilhamento HBM1 de quatro dies DRAM (4Hi) tem dois canais de 128bits por dado para um total de 8 canais e uma largura de 1024 bits no total. Uma placa gráfica/GPU com quatro empilhamentos HBM 4Hi teria, portanto, um barramento de memória com largura de 4096 bits. Em comparação, a largura do barramento das memórias GDDR é de 32 bits, com 16 canais para uma placa gráfica com uma interface de memória de 512bits.Highlights of the HighBandwidth Memory (HBM) Standard . Mike O'Connor, Sr. Research Scientist, NVidia // The Memory Forum – 14 de junho de 2014 HBM1 suportava até 4 GB por pacote.
O maior número de conexões com a memória, em relação ao DDR4 ou GDDR5, exigiu um novo método de conectar a memória HBM à GPU (ou outro processador). AMD e Nvidia usaram ambos chips de silício especialmente projetados, chamados interposeres, para conectar a memória e a GPU. Este interposer tem a vantagem adicional de exigir que a memória e o processador estejam fisicamente próximos, diminuindo os caminhos da memória. No entanto, como a fabricação de dispositivos semicondutores é significativamente mais cara do que a fabricação de placa de circuito impresso, isso adiciona custo ao produto final.
Interface thumb|upright=2|Corte de uma placa gráfica que usa High Bandwidth Memory. Veja through-silicon vias (TSV) A DRAM HBM é firmemente acoplada ao dado de computação hospedeiro com uma interface distribuída. A interface é dividida em canais independentes. Os canais são completamente independentes uns dos outros e não são necessariamente síncronos entre si. A DRAM HBM usa uma arquitetura de interface larga para alcançar operação de alta velocidade e baixa potência. A DRAM HBM1 usava um clock diferencial de 500 MHz CK_t / CK_c (onde o sufixo "_t" denota o componente "verdadeiro", ou "positivo", do par diferencial, e "_c" significa o componente "complementar"). Os comandos são registrados nas bordas de subida de CK_t e CK_c. Cada interface de canal mantinha um barramento de dados de 128bits operando nessa taxa de dados dupla (DDR). HBM1 suportava taxas de transferência de 1 GT/s por pino (transferindo 1 bit), produzindo uma largura de banda total do pacote de 128 GB/s.
HBM2 A segunda geração da High Bandwidth Memory, HBM2, também especificou até oito dies por empilhamento e taxas de transferência de pino duplicadas de até 2 GT/s. Mantendo acesso de 1024bits de largura, a HBM2 foi capaz de atingir 256 GB/s de largura de banda de memória por pacote. A especificação HBM2 permitia até 8 GB por pacote. A HBM2 foi prevista para ser especialmente útil para aplicações de consumo sensíveis ao desempenho, como realidade virtual.
Em 19 de janeiro de 2016, a Samsung anunciou a produção em massa inicial da HBM2, com até 8 GB por empilhamento. A SK Hynix também anunciou a disponibilidade de empilhamentos de 4 GB em agosto de 2016.
HBM2E No final de 2018, o JEDEC anunciou uma atualização para a especificação HBM2, prevendo maior largura de banda e capacidades. Até 307 GB/s por empilhamento (2,5 Tbit/s de taxa de dados efetiva) foi então suportado na especificação oficial, embora produtos operando nessa velocidade já estivessem disponíveis. Além disso, a atualização adicionou suporte para empilhamentos 12Hi (12 dies), tornando possíveis capacidades de até 24 GB por empilhamento.
Em 20 de março de 2019, a Samsung anunciou seu Flashbolt HBM2E, apresentando oito dies por empilhamento, uma taxa de transferência de 3,2 GT/s, fornecendo um total de 16 GB e 410 GB/s por empilhamento.
Em 12 de agosto de 2019, a SK Hynix anunciou sua HBM2E, apresentando oito dies por empilhamento, uma taxa de transferência de 3,6 GT/s, fornecendo um total de 16 GB e 460 GB/s por empilhamento. Em 2 de julho de 2020, a SK Hynix anunciou que a produção em massa havia começado.
Em outubro de 2019, a Samsung anunciou sua HBM2E de 12 camadas.
HBM3 No final de 2020, a Micron revelou que o padrão HBM2E seria atualizado e, juntamente com isso, revelou o próximo padrão então conhecido como HBMnext (mais tarde renomeado para HBM3). Este seria um grande salto geracional em relação ao HBM2 e o substituto do HBM2E. Este novo VRAM teria chegado ao mercado no quarto trimestre de 2022. Isso provavelmente teria introduzido uma nova arquitetura, como o nome sugere.
Embora a arquitetura pudesse ter sido reformulada, vazamentos apontavam para desempenho semelhante ao padrão HBM2E atualizado. Esta RAM provavelmente seria usada principalmente em GPUs de datacenter.
Em meados de 2021, a SK Hynix revelou algumas especificações do padrão HBM3, com velocidades de I/O de 5,2 Gbit/s e largura de banda de 665 GB/s por pacote, bem como soluções de até 16 camadas 2.5D e 3D.
Em 20 de outubro de 2021, antes do padrão JEDEC para HBM3 ser finalizado, a SK Hynix foi a primeira fabricante de memória a anunciar que havia concluído o desenvolvimento de dispositivos de memória HBM3. De acordo com a SK Hynix, a memória seria executada a até 6,4 Gbit/s/pino, o dobro da taxa de dados do HBM2E padrão JEDEC, que formalmente atingia o máximo de 3,2 Gbit/s/pino, ou 78% mais rápido que o próprio HBM2E da SK Hynix de 3,6 Gbit/s/pino. Os dispositivos suportavam uma taxa de transferência de dados de 6,4 Gbit/s e, portanto, um único empilhamento HBM3 poderia fornecer uma largura de banda de até 819 GB/s. As larguras de barramento básicas para HBM3 permaneceram inalteradas, com um único empilhamento de memória sendo de 1024 bits de largura. A SK Hynix ofereceria esta memória em duas capacidades: 16 GB e 24 GB, alinhando-se com empilhamentos de 8-Hi e 12-Hi, respectivamente. Os empilhamentos consistiam em 8 ou 12 DRAMs de 16 Gb que são cada um com 30 μm de espessura e interconectados usando Vias de Silício Atravessadas (TSVs).
De acordo com Ryan Smith da AnandTech, a memória HBM3 de primeira geração da SK Hynix tinha a mesma densidade que sua memória HBM2E de última geração, o que significa que os fornecedores de dispositivos que desejassem aumentar suas capacidades totais de memória para suas peças de próxima geração precisariam usar memória com 12 dies/camadas, acima dos empilhamentos de 8 camadas que normalmente usavam até então. De acordo com Anton Shilov do Tom's Hardware, GPUs ou FPGAs de computação de alto desempenho normalmente usavam quatro ou seis empilhamentos HBM, portanto, com os empilhamentos HBM3 de 24 GB da SK Hynix, eles obteriam, consequentemente, 3,2 TB/s ou 4,9 TB/s de largura de banda de memória. Ele também observou que os chips HBM3 da SK Hynix eram quadrados, não retangulares como os chips HBM2 e HBM2E. De acordo com Chris Mellor do The Register, com o JEDEC ainda não tendo desenvolvido seu padrão HBM3, isso pode ter significado que a SK Hynix precisaria adaptar seu design a um futuro e mais rápido.
O JEDEC anunciou oficialmente o padrão HBM3 em 27 de janeiro de 2022. O número de canais de memória foi duplicado de 8 canais de 128 bits com HBM2e para 16 canais de 64 bits com HBM3. Portanto, o número total de pinos de dados da interface ainda era 1024.
Em junho de 2022, a SK Hynix anunciou que havia iniciado a produção em massa da primeira memória HBM3 da indústria a ser usada com a GPU H100 da Nvidia, com envio esperado para o terceiro trimestre de 2022. A memória forneceria à H100 "até 819 GB/s" de largura de banda de memória.
Em agosto de 2022, a Nvidia anunciou que sua GPU "Hopper" H100 seria enviada com cinco locais HBM3 ativos (de seis a bordo) oferecendo 80 GB de RAM e 3 TB/s de largura de banda de memória (16 GB e 600 GB/s por local).
HBM3E Em 30 de maio de 2023, a SK Hynix revelou sua memória HBM3E com velocidade de processamento de dados de 8 Gbit/s/pino (25% mais rápida que HBM3), que entraria em produção no primeiro semestre de 2024. A 8 GT/s com barramento de 1024 bits, sua largura de banda por empilhamento aumentou de 819,2 GB/s como em HBM3 para 1 TB/s.
Em 26 de julho de 2023, a Micron anunciou sua memória HBM3E com velocidade de processamento de dados de 9,6 Gbit/s/pino (50% mais rápida que HBM3). A memória Micron HBM3E era uma HBM de alto desempenho que usava tecnologia de processo DRAM 1β e empacotamento avançado para alcançar o mais alto desempenho, capacidade e eficiência energética da indústria. Podia armazenar 24 GB por cubo de 8 camadas e permitia transferência de dados a 1,2 TB/s. Haveria um cubo de 12 camadas com capacidade de 36 GB em 2024.