La prochaine bataille de l’intelligence artificielle pourrait se jouer dans la hiérarchie des mémoires. Bernstein met en avant la mémoire flash à haute bande passante, appelée HBF, comme une solution possible au besoin croissant de capacité lors de l’inférence des modèles d’IA.

L’idée n’est pas de remplacer la mémoire HBM, très rapide mais coûteuse. La HBF fonctionnerait à un niveau inférieur dans une architecture à plusieurs étages. La HBM conserverait les données les plus souvent consultées et sensibles à la latence, tandis que la HBF accueillerait des paramètres moins sollicités et des données de cache réutilisables. Elle viserait une bande passante de lecture comparable à la HBM, avec une capacité huit à seize fois supérieure et un coût par gigaoctet plus faible.

Cette organisation pourrait réduire la quantité de mémoire GPU nécessaire pour faire fonctionner de grands modèles. Elle permettrait aussi de réutiliser certaines informations déjà calculées au lieu de mobiliser à nouveau des ressources coûteuses. L’enjeu devient plus important avec l’essor des agents d’IA, des fenêtres de contexte longues et des interactions complexes.

Pour les producteurs de mémoire NAND, le changement serait significatif. Selon Bernstein, chaque bit de HBF pourrait consommer environ 6,5 fois plus de capacité de tranches qu’une NAND TLC conventionnelle. Cette intensité vient notamment de l’utilisation de mémoire SLC plus performante et d’un emballage avancé. Une nouvelle demande premium pourrait donc resserrer l’offre et soutenir les prix du secteur.

Les projections de marge doivent toutefois être considérées avec prudence. Bernstein estime que certaines configurations pourraient atteindre des marges brutes supérieures à 86 %, mais seulement si les modules sont vendus à des prix proches de la HBM tout en conservant leur avantage de capacité. Les coûts de fabrication pourraient être environ dix fois supérieurs à ceux des SSD d’entreprise classiques.

Le principal risque est technologique. La HBF reste moins performante en latence, en écriture et en endurance. Elle exige aussi des modifications des processeurs, des logiciels et de la gestion des données. Nvidia ne lui apporte pour l’instant aucun soutien officiel et promeut d’autres architectures de stockage pour le cache.

SanDisk vise de premiers échantillons en 2027, tandis qu’Alphabet, Meta, SK hynix et Tenstorrent participent à l’écosystème. Pour l’investisseur, la HBF constitue donc une option de croissance pour SanDisk et certains fabricants de NAND, pas encore un marché établi. Les preuves décisives seront la validation du silicium, l’intégration par les clients et l’existence de commandes commerciales.