Согласно новому отчету Стэнфордского университета, компании, стоящие за ChatGPT и другими популярными и мощными системами искусственного интеллекта, недостаточно прозрачны в отношении своих обучающих данных и того, как они работают.

КОГДА OPENAI ОПУБЛИКОВАЛ подробности потрясающе мощной языковой модели искусственного интеллекта GPT-4, которая лежит в основе ChatGPT, в марте исследователи заполнили 100 страниц. Они также упустили несколько важных деталей — например, что-то существенное о том, как он был на самом деле построен или как он работает.

Конечно, это не было случайной оплошностью. OpenAI и другие крупные компании стремятся сохранить работу своих самых ценных алгоритмов в тайне, отчасти из-за страха, что технология может быть использована не по назначению, но также из-за опасений, что конкуренты получат преимущество.

Исследование, опубликованное учеными из Стэнфордского университета, показывает, насколько глубокой и потенциально опасной является секретность вокруг GPT-4 и других передовых систем искусственного интеллекта. Некоторые исследователи ИИ, с которыми я разговаривал, говорят, что мы находимся в разгаре фундаментального сдвига в том, как ИИ развивается. Они опасаются, что это приведет к снижению вероятности научных достижений в этой области, снижению подотчетности и снижению надежности и безопасности.

Команда из Стэнфордского университета рассмотрела 10 различных систем искусственного интеллекта. Среди них были:

1. Большие языковые модели, такие как те, что используются в ChatGPT и других чат-ботах, включая GPT-4 от OpenAI, PaLM 2 от Google и Titan Text от Amazon.
2. Модели, разработанные стартапами, такие как Jurassic-2 от AI21 Labs, Claude 2 от Anthropic, Command от Cohere и Inflection-1 от производителя чат-ботов Inflection.
3. Модели искусственного интеллекта с открытым исходным кодом, доступные для бесплатного скачивания, включая модель генерации изображений Stable Diffusion 2 и Llama 2, выпущенную Meta в июле текущего года.

Несмотря на то, что эти модели обычно доступны для скачивания бесплатно, они не всегда так «открыты», как могло бы показаться.

Команда из Стэнфорда оценивала открытость этих моделей по 13 различным критериям, в том числе по тому, насколько разработчик был прозрачен в отношении данных, используемых для обучения модели, например, раскрывая информацию о том, как они были собраны и аннотированы, а также о том, содержат ли они материалы, защищенные авторским правом. В исследовании также искали информацию об оборудовании, используемом для обучения и запуска модели, используемых программных платформах и энергопотреблении проекта.

По всем этим показателям исследователи обнаружили, что ни одна модель не набрала более 54 процентов по шкале прозрачности по всем этим критериям. В целом, Titan Text от Amazon был признан наименее прозрачным, в то время как Llama 2 от Meta была признана самой открытой. Но даже модель с открытым исходным кодом, такая как Llama 2, оказалась довольно непрозрачной, потому что Meta не раскрыла данные, используемые для ее обучения, как эти данные были собраны и отобраны, а также кто выполнил эту работу.

Натан Штраусс, представитель Amazon, сказал, что компания внимательно изучает индекс. «Titan Text все еще находится на стадии закрытой предварительной версии, и было бы преждевременно оценивать прозрачность базовой модели до того, как она будет готова к общедоступной версии», — говорит он. Meta отказалась комментировать отчет Стэнфордского университета, а OpenAI не ответила на запрос о комментарии.

Риши Боммасани, аспирант Стэнфордского университета, который работал над исследованием, говорит, что оно отражает тот факт, что ИИ становится все более непрозрачным, несмотря на то, что он становится все более влиятельным. Это сильно контрастирует с последним большим бумом в области ИИ, когда открытость способствовала значительному прогрессу в таких возможностях, как распознавание речи и изображений. «В конце 2010-х годов компании стали более прозрачными в своих исследованиях и опубликовали гораздо больше», — говорит Боммасани. «Именно по этой причине мы добились успеха в области глубокого обучения».

Стэнфордский доклад также предполагает, что модели не обязательно должны быть настолько секретными из соображений конкуренции. Кевин Климан, исследователь политики в Стэнфорде, говорит, что тот факт, что ряд ведущих моделей имеют относительно высокие оценки по различным показателям прозрачности, говорит о том, что все они могут стать более открытыми, не проигрывая конкурентам.

В то время как эксперты в области ИИ пытаются выяснить, куда приведет недавний расцвет определенных подходов к ИИ, некоторые говорят, что секретность рискует сделать эту область не столько научной дисциплиной, сколько дисциплиной, ориентированной на получение прибыли.

«Это поворотный момент в истории ИИ», — говорит Джесси Додж, научный сотрудник Института ИИ Аллена, или AI2. «Наиболее влиятельные игроки, создающие сегодня системы генеративного ИИ, становятся все более закрытыми, не в состоянии поделиться ключевыми деталями своих данных и процессов».

AI2 пытается разработать гораздо более прозрачную языковую модель ИИ, получившую название OLMo. Он обучается с использованием набора данных, полученных из Интернета, академических публикаций, кода, книг и энциклопедий. Этот набор данных, получивший название Dolma, был выпущен под лицензией AI2 ImpACT. Когда OLMo будет готов, AI2 планирует выпустить работающую систему искусственного интеллекта, а также код, лежащий в ее основе, что позволит другим развивать проект.

По словам Доджа, расширение доступа к данным, лежащим в основе мощных моделей искусственного интеллекта, особенно важно. Без прямого доступа, как правило, невозможно узнать, почему или как модель может делать то, что она делает. «Развитие науки требует воспроизводимости», — говорит он. «Без открытого доступа к этим важнейшим строительным блокам создания моделей мы останемся в «закрытой», стагнирующей и проприетарной ситуации».

Учитывая, насколько широко используются модели ИИ и насколько опасными они могут быть, как предупреждают некоторые эксперты, немного больше открытости может иметь большое значение.