moonshotai

MoonshotAI: Kimi K2 0711

Kimi K2 Instruct — языковая модель архитектуры Mixture-of-Experts (MoE), разработанная Moonshot AI. В ней 1 трлн параметров, из которых при каждом проходе активны 32 млрд. Модель предназначена для задач с агентным поведением, включая рассуждения, использование инструментов и генерацию кода. Её можно применять для написания и анализа кода, решения логических задач и работы с инструментами. Модель поддерживает контекст до 128 тысяч токенов. Для обучения использовался оптимизатор MuonClip, предназначенный для стабильного обучения крупных MoE-моделей.