Модуль 3 · Грамотная работа

Избегать галлюцинаций

Что вы научитесь делать: снижать риск галлюцинаций — проверять, подтверждают ли источники утверждения ИИ, и не использовать то, что подтвердить не удалось.

Зачем это нужно

Полностью исключить галлюцинации нельзя. ИИ может придумать информацию, неверно пересказать настоящий источник или применить верные сведения не к той ситуации. Например:

  • взять цену для другого тарифа;
  • показать старое расписание;
  • применить правила одной страны к другой;
  • назвать возможную причину события как установленный факт.

Поэтому наличие ссылки ещё не означает, что ответ верен.

Полезное правило:

Откройте источник и найдите в нём подтверждение. Только потом используйте информацию.

Ниже — три коротких рецепта. Все они тренируют один навык: не принимать утверждение ИИ на веру.

Рецепт №1: явно попросить использовать поиск

Современные ИИ-приложения могут искать информацию в интернете. Но наличие поиска не означает, что он использован в каждом ответе. Если поиск не был выполнен, модель может ответить по памяти — даже когда вопрос касается актуальной цены, правила, расписания или характеристики продукта.

Поэтому не полагайтесь на то, что приложение само выберет поиск. Попросите об этом прямо:

Используй веб-поиск и укажи источники.

Явная просьба повышает вероятность, что ответ будет опираться на актуальную информацию. Но сам факт поиска ещё не доказывает, что ответ верен: предложенные источники нужно открыть и сравнить с утверждениями ИИ.

Ситуация

Вы хотите узнать часы работы музея на ближайшую субботу.

Рискованный запрос: без явного поиска

До скольки открыт [музей] в ближайшую субботу?

Что может пойти не так

ИИ может ответить по памяти или привести обычные часы работы, не заметив изменения в расписании.

Улучшенный запрос: с явным поиском

Используй поиск.
До скольки открыт [музей] в ближайшую субботу?
Дай ссылку на страницу с информацией.

Когда откроете источник, проверьте:

  • относится ли страница к нужному месту, продукту или событию;
  • совпадают ли дата, регион, тариф и другие условия;
  • сказано ли в источнике именно то, что утверждает ИИ.

Если ссылка не открывается или нужной информации на странице нет, утверждение использовать нельзя.

Практика

Выберите музей, магазин, клинику или другое место, которое хотите посетить.

Спросите ИИ, открыто ли оно в нужный день и время. Явно попросите использовать поиск и дать ссылку. Откройте ссылку и проверьте расписание.

Проверяемый результат: время работы подтверждено открытой страницей или отмечено как неподтверждённое.

Рецепт №2: отделить подтверждённое от предположений

Один связный и уверенный ответ может смешивать разные вещи: сведения из источников, выводы и рекомендации модели, а также прогнозы, которые подтвердить не удалось. Из-за гладкой формулировки они выглядят одинаково надёжными.

Ситуация

Вы с друзьями хотите сходить в музей или на выставку в субботу после определённого времени. Вам нужны варианты, цены и рекомендация.

Неудачный запрос

Какие музеи или выставки открыты в городе [ГОРОД]
в субботу после [ВРЕМЯ]? Узнай цены и порекомендуй, куда лучше пойти.

Что может пойти не так

ИИ может в одном ответе смешать подтверждённые часы работы и цены, собственный вывод о «лучшем» варианте и неподтверждённый прогноз, например о размере очереди. Читателю трудно понять, где данные из источника, а где рассуждение модели.

В этом рецепте используйте ровно три отметки:

  • Подтверждено источником — вы открыли источник, и он прямо поддерживает утверждение;
  • Не удалось подтвердить — проверяемое сведение о внешнем мире, для которого подходящего источника нет или открытый источник его не поддерживает;
  • Вывод — оценка или рекомендация, сделанная на основе подтверждённых данных: например, какой вариант удобнее по времени или дешевле.

Улучшенный запрос

Используй поиск.

Какие музеи или выставки открыты в городе [ГОРОД]
в субботу после [ВРЕМЯ]? Узнай цены и порекомендуй, куда лучше пойти.

Отдельно укажи:
- что подтверждено источниками;
- что подтвердить не удалось;
- что является твоим выводом.

Дай ссылки на источники.

Разметка ИИ предварительная. Если источник не подтверждает фактическое утверждение, перенесите его в «Не удалось подтвердить». В разделе «Вывод» оставьте только оценки и рекомендации, основанные на подтверждённых данных.

Практика

Подставьте свой город и время в улучшенный запрос.

Выберите один вариант из ответа и проверьте:

  1. Подтверждает ли источник часы работы.
  2. Подтверждает ли источник цену билета.
  3. Основана ли рекомендация на этих подтверждённых данных.

Если источник не подтверждает часы или цену, перенесите утверждение в «Не удалось подтвердить». Если рекомендация опирается на неподтверждённые сведения, исправьте или удалите её.

Проверяемый результат: для выбранного варианта часы работы и цена подтверждены источниками или отмечены как неподтверждённые. Рекомендация опирается только на подтверждённые данные.

Рецепт №3: проверить предпосылку вопроса

Иногда недостоверное утверждение уже скрыто в самом вопросе. Особенно внимательно проверяйте вопросы, начинающиеся со слов «почему», «когда перестали», «из-за чего отменили» или «зачем изменили».

Ситуация

Вы услышали, что музей отменил бесплатный вход по четвергам, и хотите узнать причину.

Неудачный запрос

Почему [музей] отменил бесплатный вход по четвергам?

Что может пойти не так

Вопрос уже предполагает, что отмена произошла. ИИ может принять это за факт и придумать правдоподобную причину.

Улучшенный запрос

Используй поиск.
Проверь, правда ли, что [музей] отменил бесплатный вход по четвергам.
Если это подтверждено источником, найди подтверждённую причину.
Если подтвердить не удалось, так и скажи и не придумывай объяснение. Дай ссылки на источники.

Практика

Возьмите вопрос, который уже предполагает, что какое-то событие произошло. Например:

Почему [сервис] повысил цену?
Почему [магазин] перестал доставлять в мой город?
Почему [место] отменило бесплатный вход?

Отправьте улучшенный запрос и сначала проверьте само событие.

Если событие подтверждено, проверьте источник, в котором названа причина. Если событие или причина не подтверждены, остановитесь и не дополняйте ответ догадками.

Проверяемый результат: если причина появилась в ответе, источники подтверждают и событие, и его объяснение. Если подтверждения нет, ответ останавливается без догадок.

Если событие не подтверждено, хороший ответ может быть очень коротким:

Не удалось подтвердить, что бесплатный вход по четвергам отменён.

Остановка лучше уверенного объяснения события, которого могло не быть.

Самопроверка

Проверьте пункт для рецепта, который вы выполнили:

  • Рецепт №1: я открыл источник и подтвердил время работы — либо отметил, что подтвердить его не удалось.
  • Рецепт №2: для одного выбранного варианта я проверил часы работы и цену. Рекомендация опирается только на подтверждённые данные.
  • Рецепт №3: я сначала проверил само событие. Причина указана только в том случае, если источник подтверждает и событие, и его объяснение.

В завершение курса

Полезная работа с ИИ начинается не с формулировки промпта, а с решения, какую часть задачи ему можно поручить. Перед отправкой вы определяете границу ответственности и решаете, какие данные можно передать. После ответа — проверяете факты, обещания и выводы. ИИ помогает подготовить результат, но решение о передаче данных, проверка и ответственность остаются у человека.

БЕСПЛАТНЫЙ ВЕБИНАР

Легче разобраться вместе

Та же программа «ИИ для начинающих» — в живом эфире с автором курса.

  • Разберитесь в непонятном

    Задайте вопросы по курсу и расскажите, что не получилось на практике. Разберём вместе.

  • Весь курс за 2 часа

    Пройдём десять тем курса за одну встречу — с живыми демонстрациями и ответами на вопросы.

  • PDF-памятки и сертификат

    После участия в эфире получите памятки по всем темам курса и сертификат участника.