bytedance

ByteDance: UI-TARS 7B

UI-TARS-1.5 — мультимодальная vision-language модель-агент для работы с графическими интерфейсами. Она предназначена для распознавания элементов на экране, планирования действий и взаимодействия с виртуальными средами: настольными системами, браузерами, мобильными устройствами и играми. В основе модели лежит подход с обучением с подкреплением для рассуждений и выполнения действий. Модель рассчитана на задачи автоматизации интерфейсов и игровые сценарии; её результаты оценивались на тестах OSworld, WebVoyager, AndroidWorld и ScreenSpot, а также в играх Poki и Minecraft. Во время вывода поддерживается декомпозиция рассуждений на отдельные этапы.