Исследования Microsoft показывают, что можно сделать модели ИИ достаточно маленькими, чтобы они могли работать на телефонах или ноутбуках, без серьезных компромиссов для их интеллекта. Этот метод может открыть новые варианты использования ИИ.
Когда ChatGPT был выпущен в ноябре 2023 года, доступ к нему можно было получить только через облако, потому что модель, лежащая в его основе, была просто огромной.
Сегодня я запускаю аналогичную программу искусственного интеллекта на Macbook Air, и она даже не теплая. Сокращение показывает, как быстро исследователи совершенствуют модели ИИ, чтобы сделать их более компактными и эффективными. Это также показывает, что переход к все более крупным масштабам — не единственный способ сделать машины значительно умнее.
Модель, которая теперь наполняет мой ноутбук остроумием и мудростью, подобными ChatGPT, называется Phi-3-mini. Он является частью семейства небольших моделей ИИ, недавно выпущенных исследователями из Microsoft. Хотя он достаточно компактен, чтобы работать на смартфоне, я протестировал его, запустив его на ноутбуке и получив доступ к нему с iPhone через приложение под названием Enchanted, которое предоставляет интерфейс чата, похожий на официальное приложение ChatGPT.
В статье, описывающей семейство моделей Phi-3, исследователи Microsoft говорят, что модель, которую я использовал, хорошо подходит для GPT-3.5, модели OpenAI, лежащей в основе первого выпуска ChatGPT. Это утверждение основано на измерении его производительности с помощью нескольких стандартных тестов ИИ, предназначенных для измерения здравого смысла и рассуждений. В моем собственном тестировании он, безусловно, кажется таким же способным.
Microsoft анонсировала новую «мультимодальную» модель Phi-3, способную обрабатывать аудио, видео и текст, на своей ежегодной конференции разработчиков Build на этой неделе. Это произошло всего через несколько дней после того, как OpenAI и Google объявили о радикально новых помощниках ИИ, построенных на основе мультимодальных моделей, доступ к которым осуществляется через облако.
Семейство моделей искусственного интеллекта Lilliputian от Microsoft предполагает, что становится возможным создавать всевозможные удобные приложения ИИ, которые не зависят от облака. Это может открыть новые варианты использования, позволив им быть более отзывчивыми или конфиденциальными. (Автономные алгоритмы являются ключевой частью функции Recall, анонсированной Microsoft, которая использует искусственный интеллект, чтобы сделать все, что вы когда-либо делали на своем ПК, доступным для поиска.)
Но семейство Phi также раскрывает кое-что о природе современного ИИ и, возможно, о том, как его можно улучшить. Себастьен Бубек (Sébastien Bubeck), исследователь из Microsoft, участвующий в проекте, говорит, что модели были созданы, чтобы проверить, может ли более избирательный подход к тому, на чем обучается система ИИ, обеспечить способ тонкой настройки ее возможностей.
Большие языковые модели, такие как GPT-4 от OpenAI или Gemini от Google, которые обеспечивают работу чат-ботов и других сервисов, обычно скармливаются с ложечки огромными кусками текста, выкачиваемыми из книг, веб-сайтов и практически любых других доступных источников. Несмотря на то, что это вызывает юридические вопросы, OpenAI и другие компании обнаружили, что увеличение объема текста, передаваемого в эти модели, и количества вычислительной мощности, используемой для их обучения, может открыть новые возможности.
Бубек, который интересуется природой «интеллекта», демонстрируемого языковыми моделями, решил проверить, может ли тщательный отбор данных, передаваемых модели, улучшить ее способности без необходимости раздувать обучающие данные.
В сентябре прошлого года его команда взяла модель размером примерно в 1/17 от GPT-3.5 от OpenAI, обучила ее на синтетических данных «хрестоматийного качества», сгенерированных более крупной моделью ИИ, включая фактоиды из конкретных областей, включая программирование. Получившаяся модель продемонстрировала удивительные для своего размера способности. «И вот, мы увидели, что мы смогли превзойти GPT-3.5 в кодировании с помощью этой техники», — говорит он. «Это было действительно удивительно для нас».
Группа Бубека в Microsoft сделала и другие открытия, используя этот подход. Один эксперимент показал, что кормление очень крошечной модели детскими историями позволяет ей выдавать последовательный результат, даже несмотря на то, что программы ИИ такого размера обычно выдают тарабарщину при обучении обычным способом. Опять же, результат говорит о том, что вы можете сделать, казалось бы, недостаточно мощное программное обеспечение ИИ полезным, если обучите его правильным материалом.
По словам Бубека, эти результаты, по-видимому, указывают на то, что для того, чтобы сделать будущие системы искусственного интеллекта умнее, потребуется нечто большее, чем просто масштабирование их до еще больших размеров. Кроме того, вполне вероятно, что уменьшенные модели, такие как Phi-3, станут важной особенностью будущего вычислительной техники. Локальный запуск моделей ИИ на смартфоне, ноутбуке или ПК сокращает задержки или сбои, которые могут возникнуть, когда запросы должны передаваться в облако. Это гарантирует, что ваши данные останутся на вашем устройстве, и может открыть совершенно новые варианты использования ИИ, невозможные в облачной модели, такие как приложения ИИ, глубоко интегрированные в операционную систему устройства.
Ожидается, что Apple представит свою долгожданную стратегию искусственного интеллекта на конференции WWDC в следующем месяце, и ранее она хвасталась, что ее специальное оборудование и программное обеспечение позволяет машинному обучению происходить локально на ее устройствах. Вместо того, чтобы идти нога в ногу с OpenAI и Google в создании все более масштабных облачных моделей ИИ, компания может думать по-другому, сосредоточившись на сокращении ИИ, чтобы он соответствовал карманам своих клиентов.КНОПКА ВОСПРОИЗВЕДЕНИЯ/ПАУЗЫ