Технологический гигант Яндекс объявил о создании собственной большой языковой модели Alice AI Foundation с нуля. Новая разработка не использует сторонние иностранные компоненты, что подчеркивает стремление компании к технологическому суверенитету. Модель обладает внушительным объемом в 80 миллиардов параметров, при этом архитектура позволяет эффективно использовать лишь 3 миллиарда из них одновременно.
В основе Alice AI Foundation лежит передовая архитектура Mixture of Experts (MoE), обеспечивающая высокую производительность при сниженных затратах вычислительных ресурсов. Модель прошла масштабное обучение на колоссальном массиве данных объемом 18 триллионов токенов. Инженеры смогли вдвое ускорить процесс обучения благодаря оптимизации передачи данных между видеокартами и внедрению каскада классификаторов для отбора данных.
Разработчики открыли веса модели под лицензией Apache 2.0, что позволяет использовать её в коммерческих и исследовательских целях. Alice AI Foundation является экспериментальным фундаментом для будущей единой рассуждающей модели. В перспективе это позволит реализовать агентные возможности «Алисы AI», превращая голосового помощника в полноценного цифрового ассистента, способного выполнять сложные поручения пользователей.
«Модель показывает высокие результаты в задачах на программирование и рассуждение, а также превосходит ряд более крупных открытых моделей в тестах на знание фактов, актуальных для русскоязычных пользователей»,
Для верификации способностей ИИ Яндекс представил собственные бенчмарки WikiWebFacts и HardMultiQA. Первый набор тестов проверяет точность знаний о датах и персоналиях, а второй фокусируется на сложных областях, таких как медицина, право и IT. Эти инструменты вместе с эталонными ответами уже опубликованы в открытом доступе для мирового научного сообщества.
Запуск проекта происходит на фоне ужесточения законодательства в сфере искусственного интеллекта в России. Согласно закону № 243-ФЗ, вступившему в силу 1 сентября, суверенные модели должны состоять из полностью отечественных компонентов. Новинка от Яндекса полностью соответствует этим строгим государственным требованиям к происхождению технологий.
Комментарии (0)