Найден способ проверять качество ИИ без участия человека

Специалисты Центра практического искусственного интеллекта Сбербанка и НИУ ВШЭ разработали новую метрику Persistence, способную оценивать качество моделей искусственного интеллекте без участия человека и размеченных данных. Об этом сообщили в пресс-службе Сбера.

«До появления специализированной метрики аналитики данных выбирали архитектуру и момент остановки обучения модели вслепую или через ресурсозатратные эксперименты с разметкой. Это требовало сотен GPU-часов и замедляло вывод моделей в прод. Наша метрика автоматически оценивает качество эмбеддингов по их внутренней геометрии. Обучают несколько конфигураций — Persistence указывает лучшую. Или обучают одну модель — метрика определяет эпоху остановки, избегая переобучения», — приводятся в сообщении слова директора департамента развития ИИ-решений «Сбербанка» Сергей Рябов.

Ранее выбор лучшей модели эмбеддингов требовал тестирования каждой конфигурации на размеченных данных, что занимало значительное время и вычислительные мощности. Специализированная метрика позволяет оценивать качество модели без дополнительных задач и находить оптимальную эпоху обучения, когда эмбеддинги максимально структурированы. Предложенная метрика, как отмечается, решает ключевые задачи автоматически: подбирает оптимальный размер эмбеддинга, количество слоев и функцию потерь, а также указывает, на какой эпохе обучения нужно остановиться, чтобы модель не переобучилась и не осталась сырой.

Подчеркивается, что метрика российских ученых устойчиво превосходит зарубежных конкурентов по корреляции с качеством на прикладных задачах.

Уточняется, что решение позволит получать более точные рекомендации в онлайн-кинотеатрах и маркетплейсах, а также улучшит работу голосовых помощников и ускорит внедрение ИИ в медицину. Кроме того, снизится барьер применения моделей без учителя в областях с дефицитом разметки.