Как устроены ИИ-сервисы

Большая языковая модель — по-английски Large Language Model, или LLM — только одна часть ИИ-сервиса. Продукт дополняет её интерфейсом, историей чата, памятью, работой с файлами, веб-поиском, другими инструментами и собственными правилами. Поэтому одна и та же модель в разных сервисах может отвечать по-разному. Упрощённо: ИИ-сервис = модель + контекст + память + инструменты + правила продукта.

Когда вы общаетесь с ИИ-сервисом вроде ChatGPT, кажется, что модель помнит разговор. Но сама модель не хранит разговор между запросами — у неё нет собственной памяти. Каждый раз, когда вы нажимаете «Отправить», сервис заново собирает доступный контекст: новое сообщение, часть текущего чата, файлы, внутренние инструкции и сохранённые сведения о вас. Модель видит только то, что сервис включил в текущий запрос.

Получив контекст, модель начинает генерировать ответ слово за словом. Она предсказывает следующее слово, добавляет его к ответу и повторяет процесс. Думайте о ней как об очень мощном автодополнении, способном продолжать не одно слово, а целые абзацы.

(На самом деле модель работает не со словами, а с токенами — фрагментами текста. Токеном может быть целое слово, часть слова, знак препинания или другая последовательность символов. Для простоты будем говорить «слово за словом».)

Модель обучают на больших объёмах текста: веб-страницах, книгах, статьях, коде и других материалах. Во время обучения она не складывает прочитанное в библиотеку точных фактов, а усваивает закономерности языка: какие слова идут за какими, как строятся предложения, переводы, объяснения и программный код. Благодаря этим закономерностям модель может писать, пересказывать, переводить, объяснять и работать с кодом. Всё это вытекает из одной способности: предсказывать наиболее вероятное следующее слово.

У модели есть предел текста, который она может обработать за один запрос, — окно контекста. Если диалог, документы и инструкции вместе в него не помещаются, сервис может отбросить ранние сообщения или заменить их кратким пересказом. Тогда модель может упустить детали, забыть ограничения или начать противоречить предыдущим ответам. Длинный чат в интерфейсе ещё не означает, что модель видит его целиком.

Даже если весь контекст помещается, связный ответ может быть неверным. Модель создаёт правдоподобное продолжение текста, а не проверяет истинность каждого утверждения. Если в контексте нет нужного факта, она может вместо «не знаю» сгенерировать убедительную дату, имя, цитату или объяснение. Такой выдуманный фрагмент называют галлюцинацией. Уверенный тон ничего не говорит о надёжности ответа.

Сама языковая модель генерирует текст: без инструментов она не открывает сайты и не может надёжно выполнять точные вычисления. Поиск — один из таких инструментов: он находит существующие документы и передаёт их содержание модели как часть контекста. Сервис также может предоставить модели калькулятор, выполнение кода и средства для работы с файлами. Инструменты расширяют возможности сервиса, но не гарантируют правильный результат.