Что LLM делает хорошо — а где ошибается

Черновик письма, переписать короче, длиннее, формальнее или непринуждённее, сменить тон под другого читателя. Это родная стихия модели — выдавать связный, естественно звучащий текст — ровно то, на что заточено предсказание следующего слова (см. «Как работают LLM»). Слова она складывает легко — но не понимает, стоит ли это сообщение действительно отправлять.

Сжать длинный транскрипт в пункты, превратить черновые заметки в таблицу, вытащить ключевые даты из контракта, перевести между основными языками. С этой задачей модель справляется хорошо, и риск выдумки ниже, потому что модель опирается на текст, который вы дали ей в промпте.

Десять вариантов темы письма, пять названий для нового проекта, три разных способа начать непростое письмо. Вот здесь отсутствие у модели суждения становится силой: она быстро выдаёт правдоподобные варианты, не озабоченная тем, какой из них лучший. Породить много — легко; выбрать из них лучший — ваша ответственность.

Провести вас по незнакомому жаргону, упростить экспертный текст, ответить на вопрос «как работает X?» или сыграть роль, чтобы вы отрепетировали сложный разговор. Для широко известных тем — тех, о которых в обучающих данных написано много, — она будет справляться лучше. Чем более нишевая тема, тем непредсказуемее результат.

Модель знает мир только до своей даты отсечения знаний — момента, на котором обрываются обучающие данные (вы встречали это в «Как работают LLM»). Всё, что позже, она просто не видела. Спросите про новости этой недели — она может не сказать «не знаю» и ответить уверенно, даже если факты устарели или недоступны. (Продукт с веб-поиском это обходит — но это уже продукт, а не модель.)

Имена авторов, названия статей, номера страниц, судебные дела — модель может выдать факты, которые выглядят совершенно правдоподобно, но на самом деле не существуют. Она не достаёт данные из библиотеки; она генерирует то, что звучит как цитата, ровно так же, как генерирует любое другое предложение.

Многошаговая арифметика, проценты, подсчёт слов, подсчёт символов — задачи, где не стоит полагаться только на текстовый ответ модели. Модель — предсказатель текста, а не калькулятор: она выдаёт цифры, которые правдоподобнее всего выглядят как ответ, вместо того чтобы его вычислить. Часто она попадает близко — и в этом-то и опасность.

План со множеством взаимосвязанных ограничений, длинное доказательство, логика, где десятый шаг зависит от второго, — это сложная задача для модели. На длинных цепочках вероятность ошибки растёт: модель может потерять раннее ограничение или начать противоречить себе.