minimax

MiniMax: MiniMax-01

MiniMax-01 объединяет MiniMax-Text-01 для генерации текста и MiniMax-VL-01 для понимания изображений. Модель предназначена для задач, где требуется работать с текстом и визуальными данными, а контекст может достигать 4 миллионов токенов. Текстовая часть использует гибридную архитектуру с Lightning Attention, Softmax Attention и Mixture-of-Experts (MoE). Визуальная часть построена по схеме ViT-MLP-LLM и обучена на основе текстовой модели. Всего в системе 456 миллиардов параметров, из которых при одном инференсе активируются 45,9 миллиарда.