DeepSeek a publié V4, un modèle phare open-source qui prenait en charge une fenêtre de contexte d'un million de jetons, utilisait une conception d'attention économe en mémoire pour réduire les calculs et la mémoire pour les contextes longs, et était optimisé pour l'inférence sur des puces chinoises nationales telles que l'Ascend de Huawei.