В последнее время большой скачок в развитии получили большие языковые модели (Large Language Model, LLM), они обладают большим перечнем знаний из различных сфер человеческой жизни, так как обучались на содержимом интернет пространства[источник], знают множество языков, как естественных, так и искусственных, и способны дать совет практически в любом вопросе, что, надо признать, полезно использовать начинающим специалистам[ссылка на полезность модели в образовании]. В целом, сейчас большие языковые модели считаются передовой искусственного интеллекта.
Сегодня хотел бы вам предложить взглянуть на концепцию, которая, по моему мнению окажется будущим развития искусственного интеллекта. Для этого упомянем минусах текущих моделей:
- большой контекст, долго и дорого поддается обучению
- LLM обладают знаниями из широкого круга сфер нашей жизни и не точна в своих ответах
- потребность в большом обучающем наборе данных под каждый случай
- легко получить низкое качество на тесте после обучения
- плохо решает специфичные задачи
Тут, можно заметить, что мы пытаемся возложить на одну модель все знания что имеются у нас. Если провести аналогию с человеком - пытаемся взрастить человека, который будет знать ответы на все вопросы. На самом деле в мире процесс устроен иначе - мы не пытаемся узнать все, а делегируем наше образование на институты и взращиваем из себя узконаправленных специалистов.
Гипотеза состоит в том, что стоит создавать языковые модели только с ограниченным, узконаправленным набором знаний, так мы
- ускорим обучение одной модели
- обогатим ее специальными знаниями, как врача или экономиста
- сделаем точнее результат в специфичных задачах Важно заметить, что нужно именно отказаться от дообучения, и растить модель после получения базового набора знаний только в одной, необходимой сфере знаний. Так мы взрастим из модели того самого узконаправленного специалиста, как например адвоката, или врача.
Один из вариантов, близкий к предлагаемому - использование RAG (Retrieval Augmented Generation) системы, где одна, хорошо обученная и имеющая представление о всех сферах жизни LLM использует векторную базу, постронную на узком наборе данных. Если снова провести аналогию с человеком - хорошо обученный человек пользуется справочником при ответах на вопросы. Такой подход сильно лучше решает специфичные кейсы
После создания узконаправленных моделей встанет вопрос о их оркестрации - как управлять множеством независимых моделей. Современные технологии позволяют организовать мультиагентную систему, с множеством агентов, где каждый агент общается с другими и передает им обращание если сам не может ответить на вопрос.
В такой системе необходима следующая архитектра
- агенты представлют собой связный граф
- есть мастер-агент, которому запрос попадет в первую очередь, он переадресует на одного из узконаправленных агентов-специалистов
- необходимо средство связи агентов между собой, подойдет любая служба для координации распределенных систем
Для доказательства гипотезы воспользуемся системой Zookeeper и вручную написанными агентами, которые будут иметь специфичный для себя набор инструкций