Инженеры Apple рассказали о модели ИИ, которая превосходит GPT-4

Научные специалисты из компании Apple разработали инновационную систему искусственного интеллекта под названием Realm (Reference Resolution as Language Modeling), которая значительно улучшает понимание голосовыми помощниками и увеличивает их реакцию на запросы.

Разработчики компании Apple описывают эту систему как способ решить проблему, связанную с разрешением ссылок, возникающую при использовании больших языковых моделей. Realm помогает искусственному интеллекту интерпретировать представленные пользователем описания объектов на экране, что позволяет ему лучше понимать контекст разговора.

В результате использования системы Realm, взаимодействие с устройствами становится более интуитивным и естественным. Разрешение ссылок помогает голосовым помощникам лучше понимать естественную речь, позволяя пользователям использовать местоимения и другие косвенные отсылки в разговоре с искусственным интеллектом.

Для голосовых помощников это была значительная проблема, но система Realm успешно решает ее на уровне языковой модели, а именно адекватно воспринимает отсылки к визуальным элементам на экране и интегрирует эти понятия в поток разговора.

Realm осуществляет восстановление визуального макета экрана путем создания текстовых представлений. Этот процесс включает анализ экранных объектов и их расположение с последующим переводом в текстовый формат, который отражает содержимое и структуру элементов на экране.

Исследователи компании Apple обнаружили, что данная методика, совместно с тонкой настройкой языковых моделей, превосходит традиционные методы, включая возможности нейронной сети OpenAI GPT-4.

Система Realm помогает пользователям легко описывать элементы экрана, а также помогает искусственным интеллектам-помощникам понимать такие описания. Эти возможности окажутся полезными, например, при управлении информационно-развлекательными системами автомобилей с помощью голосовых команд и повысят эффективность голосового интерфейса для людей с ограниченными возможностями.