Модуль 1 · Основы

Что LLM делает хорошо — а где ошибается

Теперь вы знаете, как устроен ИИ-сервис и какую роль в нём играет языковая модель (LLM). В этой теме мы рассмотрим возможности самой модели — без веб-поиска, калькулятора и других инструментов. Она может за секунды обобщить тридцатистраничный отчёт, а затем ошибиться в арифметике внутри него. Разберём, в каких задачах языковая модель сильна, а в каких часто ошибается.

Что LLM делает хорошо

LLM сильна в языковых задачах

01

Писать и переписывать

Написать черновик письма, сократить текст, сделать его формальнее или непринуждённее, изменить тон под другого читателя. Это родная стихия языковой модели: создавать связный текст по выученным закономерностям. Слова она складывает легко — но не решает за вас, стоит ли это сообщение действительно отправлять.

02

Обобщать и переформатировать

Сжать длинный транскрипт в несколько пунктов, превратить заметки в таблицу, выделить ключевые даты из документа, перевести текст. С этими задачами модель справляется хорошо, и риск выдумки ниже, потому что она опирается на текст, который ей передали.

03

Предлагать варианты

Десять вариантов темы письма, пять названий для проекта, три способа начать непростой разговор. Модель быстро создаёт много правдоподобных вариантов и не устаёт от повторений. Сгенерировать варианты — её работа; определить, какой из них уместен и соответствует вашей цели, — ваша.

04

Объяснять и тренировать

Помочь разобраться в незнакомых терминах, упростить экспертный текст, ответить на вопрос «как работает X?» или сыграть роль собеседника для репетиции разговора. С широко известными темами модель обычно справляется лучше: в обучающих данных о них было больше материала. Чем тема новее или нишевее, тем непредсказуемее результат.

Где LLM ошибается

Некоторые ответы нужно проверять

05

Свежие или текущие факты

Модель знает мир только до своей даты отсечения знаний — момента, на котором обрываются обучающие данные. Всё, что позже этой даты, она просто не видела и ничего об этом не знает. Если свежих данных нет в контексте, на вопрос о новостях этой недели она может не сказать «не знаю», а уверенно ответить устаревшими сведениями или выдумать недостающее.

06

Конкретные цитаты и источники

Имена авторов, названия статей, номера страниц, судебные дела и цитаты могут звучать убедительно, даже если модель их придумала. Она не достаёт данные из библиотеки; она генерирует то, что звучит как цитата, ровно так же, как генерирует любое другое предложение.

07

Точная математика и подсчёт

Многошаговая арифметика, проценты, подсчёт слов и символов — задачи, в которых текстовый ответ модели ненадёжен. Модель генерирует числа так же, как другой текст: она может выдать цифры, которые правдоподобно выглядят как ответ. Часто результат оказывается близким к правильному — и поэтому ошибку трудно заметить.

08

Длинные многошаговые рассуждения

План со множеством взаимосвязанных ограничений, длинное доказательство или решение, где десятый шаг зависит от второго, остаются рискованными задачами для модели. На длинных цепочках вероятность ошибки растёт: модель может потерять раннее ограничение или сделать неверное предположение, которое повлияет на весь дальнейший ход рассуждений.

Эта карта не высечена в камне. Модели меняются, и задача, которая сейчас находится в колонке «где ошибается», с выходом новой модели может перейти на другую сторону. Это положение дел на сегодня, а не приговор навсегда.

БЕСПЛАТНЫЙ ВЕБИНАР

Легче разобраться вместе

Та же программа «ИИ для начинающих» — в живом эфире с автором курса.

  • Разберитесь в непонятном

    Задайте вопросы по курсу и расскажите, что не получилось на практике. Разберём вместе.

  • Весь курс за 2 часа

    Пройдём десять тем курса за одну встречу — с живыми демонстрациями и ответами на вопросы.

  • PDF-памятки и сертификат

    После участия в эфире получите памятки по всем темам курса и сертификат участника.