Модели искусственного интеллекта прошли долгий путь. То, что начиналось как основанные на правилах программируемые механизмы или экспертные системы, превратилось в обученные модели, способные к автономному принятию решений или предсказаниям. Приложения искусственного интеллекта, в свою очередь, перешли от игровых программ к инструментам генеративного искусственного интеллекта (genAI), способным автоматизировать сложные рабочие процессы.
Давайте посмотрим, как изменились модели искусственного интеллекта и как они будут формироваться в будущем.
Классические типы моделей искусственного интеллекта никуда не делись
Традиционные модели искусственного интеллекта существуют десятилетиями. Две из этих фундаментальных парадигм включают классификационные модели и регрессионные модели. В то время как модели классификации предсказывают дискретные категории, регрессионные модели предсказывают непрерывные значения. Обе подпадают под контролируемое обучение, метод машинного обучения (ML), который использует помеченные данные для обучения модели.
Традиционные типы моделей ИИ сохраняют свою жизнеспособность благодаря многолетним исследованиям. Они совершенствовались с течением времени, а их зрелость и проверенные подходы соответствуют таким секторам, как финансы и здравоохранение, где детерминированным результатам часто отдается предпочтение перед вероятностными результатами более сложных моделей. Например, классификаторы случайного леса помогают в обнаружении мошенничества, отличая мошеннические транзакции от законных. Между тем, сверточные нейронные сети помогают в задачах компьютерного зрения, таких как классификация изображений, обнаружение объектов и сегментация изображений, позволяющая определить точное местоположение и границы опухолей на медицинских изображениях и определить, являются ли они доброкачественными или злокачественными.
Другие отрасли также продолжают внедрять классические модели машинного обучения. Маркетинговые команды могут применять классификаторы дерева решений для анализа настроений в социальных сетях, производственные компании могут использовать модели линейной регрессии для прогнозированияцепочки поставок, а ученые могут внедрять алгоритмы регрессии опорных векторов (расширение машины опорных векторов) для моделирования климата.
Типы моделей искусственного интеллекта возглавляют текущие графики
В течение последнего десятилетия или около того достижения в области искусственного интеллекта были в основном сосредоточены на глубоком обучении, подмножестве ML, которое имитирует процесс принятия сложных решений человеческим мозгом с помощью глубоких многослойных нейронных сетей. Это положило начало эпохе genAI, когда генеративные модели обучаются с использованием стратегий неконтролируемого обучения, позволяющих осмысливать немаркированные обучающие данные без вмешательства человека.
Генеративные типы моделей начались с вариационных автокодеров, которые способствовали дальнейшим прорывам в обнаружении аномалий и распознавании изображений. Затем появились генеративные состязательные сети и диффузионные модели для генерации изображений и видео.
Но по-настоящему кардинальным изменением игры стала модель-трансформер. Эта архитектура нейронной сети превосходно справляется с последовательными наборами данных, что делает ее идеально подходящей для обработки естественного языка (NLP). Трансформеры произошли от рекуррентных нейронных сетей (RNN) и теперь поддерживают модели большого языка (LLM), стоящие за популярными виртуальными помощниками и чат-ботами, такими как ChatGPT от OpenAI (поддерживаемые генеративными предварительно обученными трансформерами), инструментами искусственного интеллекта, такими как Midjourney для генерации изображений, помощниками по программированию на базе искусственного интеллекта, такими как GitHub Copilot, и даже недавним всплеском агентов искусственного интеллекта.
Инновации были быстрыми: transformers перешли от поддержки в основном задач NLP к множественным модальностям, таким как vision transformers для моделей языка видения (VLM). Абрахам Дэниелс, старший технический менеджер по продуктам пакета foundation models от IBM Granite, называет эти усилия “консолидацией возможностей моделей”, которые могут улучшить пользовательский опыт. “С точки зрения пользователя, речь идет о подборе подходящей модели для работы”.
Модели продолжают развиваться. Модели рассуждений, например, точно настроены для решения сложных проблем с применением методов обучения с подкреплением, которые стимулируют эти LLM генерировать меньшие промежуточные “шаги рассуждения” перед тем, как прийти к выводу. Тем временем модели мира изучают вычислительные представления реального мира, включая причинно-следственные связи, физическую динамику и пространственные характеристики. Эти алгоритмы обучения могут помочь физическим системам искусственного интеллекта, таким как роботы и самоуправляемые автомобили, лучше воспринимать окружающую среду и ориентироваться в ней в режиме реального времени.
Для Дэниэлса подход объединения экспертов (MoE) является основой на данный момент. MoE разделяет модель глубокого обучения на “экспертов” — подсети, специализирующиеся на обработке определенных входных данных, — затем выборочно задействует определенных экспертов для выполнения конкретной задачи. “Модели MoE по-прежнему остаются типами моделей де-факто, которые демонстрируют высочайшую производительность при сохранении уровня эффективности обучения и вывода”, - говорит он.
Однако модели пространства состояний, в частности модели Mamba, которые могут эффективно обрабатывать длинные последовательности, набирают популярность и вскоре могут свергнуть MoE. Например, в IBM Research Дэниелс и его команда работают над гибридной моделью, сочетающей лучшее из Mamba и MoE. “Мы извлекаем большую эффективность из сочетания модели в стиле экспертов и возможностей модели пространства состояний с длиной контекста”.
Куда движется следующее поколение моделей искусственного интеллекта
Быстрые темпы развития искусственного интеллекта означают, что продолжают появляться различные типы моделей искусственного интеллекта, что затрудняет прогнозирование того, чего ожидать в ближайшие годы. Но Дэвид Кокс, вице-президент по моделям искусственного интеллекта в IBM Research, заметил обнадеживающую тенденцию к тому, что модели на малых языках (SLM)превосходят свои более крупные аналоги, при этом вычислительные и энергоемкие модели сокращаются “почти в 10 раз каждые шесть-девять месяцев”, - замечает он.
Такая усадка делает SLM более быстрыми и эффективными для запуска на компактном оборудовании. “Это получит гораздо большее распространение, потому что мы сможем упаковывать больше в меньшие пакеты”, - добавляет Кокс.
Дэниелс разделяет это мнение, отмечая, что “с точки зрения предприятия вы хотите иметь возможность использовать эти модели для своей собственной предметной области или данных. Настройка этих моделей намного проще и экономичнее. С этими небольшими моделями вы сможете экспериментировать намного быстрее.”
Еще одно направление, в котором, по мнению Дэниэлса, развиваются модели искусственного интеллекта, предполагает модульность, когда компании “могут использовать модель, но использовать конкретную функцию или возможности как часть своего варианта использования, без необходимости загружать новую модель”. Этот навык динамического переключения стал возможен благодаря технологии искусственного интеллекта, известной как активированный низкоуровневый адаптер (LoRa).
По словам Кокса, активированный LoRa позволяет модели изменять свои веса во время вывода. “Мы можем использовать ее веса для решения различных задач во время выполнения. Он может стать лучшей RAG системой, когда это необходимо, или лучшим агентом, вызывающим функции, когда это необходимо. И не имеет значения, каковы другие его навыки, потому что он может опереться таким образом ”, - говорит он. “Здесь будет большая гибкость. Модель будет делать свои собственные выводы, и это будет действительно захватывающе ”.
Меньшие по размеру и более динамичные типы моделей могут означать, что индустрия ИИ преодолеет то, что Дэниелс называет “стеной масштабирования” с точки зрения вычислительной мощности моделей. “Мы должны изменить представление о том, что будет дальше”, - говорит он.
Следующим шагом может стать подход, известный как генеративные вычисления. Идея состоит в том, чтобы рассматривать модели как вычислительные функции, во многом подобные программам, составляющим любое другое программное обеспечение. Вместо оперативного проектирования и вызовов интерфейса прикладного программирования (API), в генеративных вычислениях используется среда выполнения, оснащенная программными абстракциями, такими как структурированные требования, ограждения безопасности и проверки достоверности.
“Мы фокусируемся на том, как обеспечить более программный или определенный опыт работы с моделью, чтобы мы могли более детерминированно относиться к тому, что входит и что выходит”, - говорит Дэниелс. “Что касается того, что получается в результате использования модели, мы можем организовать ее таким образом, чтобы получать воспроизводимые и точные результаты, соответствующие реальной задаче”.
Один из способов подумать об этом, отмечает Кокс, заключается в том, чтобы рассматривать память модели как новый тип данных, а саму модель - как своего рода процессор для обработки этих данных. “Это как новое представление, новый формат, а затем становится естественным выполнять такие действия, как загрузка программ, чтобы изменить поведение системы ”.
Кокс добавляет, что генеративные вычисления обладают “огромным потенциалом для того, чтобы сделать эти модели более предсказуемыми и заслуживающими доверия — и все это за счет использования их по-другому и иной интеграции в качестве программного обеспечения. Мы надеемся, что эта тенденция будет набирать обороты. Мы видим отдельные элементы по всей экосистеме, но объединение всего этого воедино направляет усилия по-другому ”.
Независимо от того, что ожидает будущее моделей искусственного интеллекта, Дэниелс считает, что успех любой существующей или появляющейся модели зависит от ответов на эти три вопроса: высока ли производительность модели? Рентабельно ли их использование? Соответствует ли модель бизнес-обоснованию?
“Если вы смогли ответить на эти три вопроса и у вас есть хорошая модель, значит, у вас есть основания двигаться вперед”, - говорит Дэниелс.
Исследование IBM
Перевод KolerskyAI
