Как создать тест или опрос нейросетью: вопросы, ответы и проверка

Обозреватель: ИИ в работе
Содержание

Объяснение у всех наготове: нейросеть плохо составляет тесты, потому что не понимает предмет. Я тоже так думала, пока не прочитала, как эти тесты проверяли на практике. Модели ошибаются не в фактах — фактических вопросов они как раз дают много и точно. Они ошибаются в устройстве вопроса: ставят два правильных варианта, подсказывают ответ формулировкой, теряют заданный уровень сложности. В одном исследовании 2023 года вопросы, написанные GPT-4, содержали два верных варианта в 4,9% случаев. У людей в том же наборе таких было 1,1%. Разница в четыре с половиной раза, и искать её надо в логике задания, а не в знаниях модели. Эта статья о том, как проверить тест до того, как его увидят ученики.
Что именно делает модель, когда создаёт тест
Тест — это набор коротких текстов с одним правильным ответом. Модель пишет их так же, как любой другой текст: предсказывает следующий кусок, опираясь на то, что видела раньше. Вопросы с четырьмя вариантами ответа встречаются в интернете миллионами, и форма у модели отработана до автоматизма: вопрос, четыре варианта, один отмечен правильным.
Отсюда и главное следствие. Форма выходит сразу и почти всегда аккуратной, а вот связка «вопрос, варианты, ответ» держится на смысле, которого у модели нет. Она не проверяет, действительно ли только один вариант верен. Она пишет варианты, которые выглядят как правильный и неправильные, потому что в учебных текстах они всегда так выглядели.
Вторая особенность — источник. Если вы дали модели текст, она опирается на него, и вопросы получаются привязанными к материалу. Если вы задали только тему, модель достаёт факты из памяти и может придумать деталь, которой в программе нет. Это не обязательно ошибка: для викторины на эрудицию такой вопрос годится, для контрольной по параграфу — нет.
Какой тест модели даётся легко, а какой — с трудом
Не все типы заданий устроены одинаково, и здесь разница между ними больше, чем между моделями.
Выбор одного ответа из четырёх — самый привычный и самый обманчивый тип. Форма проста, а логика нет: нужно ровно один верный вариант и три правдоподобных неверных. Модель хорошо справляется с первой частью и хуже со второй. Именно в этом типе и появляются два верных ответа и подсказывающие варианты.
Несколько правильных ответов — тип, где модель ошибается чаще всего, потому что проверка становится сложнее: нужно точно знать, сколько вариантов верны, и не ошибиться в каждом. Ошибка в одном варианте ломает весь ключ.
Открытый вопрос — здесь формального ключа нет, и модель справляется лучше. Вопрос получается ясным, а вот эталонный ответ стоит писать самому: модель даст хороший, но не тот, который вы ждёте от ученика.
Верно или неверно — самый лёгкий тип и самый полезный для разогрева. Ошибочное утверждение модель придумывает охотно, но иногда делает его настолько нелепым, что ответ виден без знания предмета.
На соответствие — тип, где модель путается в порядке вариантов чаще других. Проверять такой тест надо целиком, сверяя каждую пару.
Практический вывод простой. Если тест нужен быстро, берите открытые вопросы и «верно или неверно»: их проще проверить и в них меньше скрытых ошибок. Если нужен тест с выбором ответа — планируйте на него вдвое больше времени на проверку.
Что нужно дать модели
Запрос «сделай тест по истории» модель выполнит, но результат придётся переделывать. Работает другой набор из пяти пунктов.
Материал. Текст параграфа, конспект или хотя бы точная тема с границами: «Древний Рим, период республики, до Пунических войн». Без границ модель возьмёт то, что ей кажется очевидным, и это редко совпадает с программой.
Количество и тип. «Пять вопросов с четырьмя вариантами, один правильный» — конкретно и проверяемо. Если просто попросить «тест», модель выберет удобный ей формат, чаще всего смесь.
Уровень. Здесь есть ловушка, о которой ниже. Формулировать лучше через действие: «вопросы на узнавание фактов» или «вопросы, где надо применить правило». Класс модель понимает приблизительно, действие — точнее.
Язык и аудитория. Класс, студенты или сотрудники, и что им уже знакомо. Это влияет на лексику и на то, какие варианты будут правдоподобными.
Формат вывода. Попросите сразу и тест, и ключ: «после каждого вопроса укажи номер верного варианта». Отдельно просить ключ потом — лишний шаг и лишний шанс, что ответы разойдутся с вопросами.
И ещё один пункт, который экономит больше всего времени: попросите для каждого вопроса короткое объяснение, почему верный вариант верен, а остальные нет. Объяснения дают вам вторую проверку логики. Если модель не может объяснить, почему вариант неверен, скорее всего он не так уж неверен.
Сколько модель держит уровень сложности
Это самое слабое место, и данные здесь конкретные. В исследовании 2023 года учителя оценили 612 вопросов, написанных InstructGPT: релевантность материала 0,97, грамматика 0,96, но соответствие заявленной категории по таксономии Блума только 0,67. То есть вопросы были по теме и написаны чисто, а вот обещанный уровень («запомнить», «понять», «применить») модель держала примерно в двух случаях из трёх.
Более крупная работа 2024 года это подтвердила: пять моделей написали 2550 вопросов по шести уровням Блума, и качество между моделями различалось заметно. Авторы отдельно отметили, что автоматическая оценка вопросов не заменяет экспертную.
Что это значит на практике. Если в тесте нужен определённый уровень — не полагайтесь на слово «сложный» в запросе. Проверяйте по действию: вопрос на «запомнить» спрашивает факт, на «применить» требует перенести правило на новый пример. Если все пять ваших вопросов устроены как «что называется…», уровень у них один, какой бы вы ни просили.
Типичные ошибки в вопросах
Два правильных варианта. Самый частый и самый неприятный промах. В работе 2023 года он встретился в 4,9% вопросов от GPT-4 против 1,1% у людей, и причина обычно в формулировке. Вопрос спрашивает «одну из причин», а верных причин две. Модель этого противоречия не замечает.
Подсказка в самом вопросе. В той же работе 4% вопросов содержали вариант, который выдавал ответ формулировкой: единственный, написанный грамматически иначе, длиннее остальных или повторяющий слова вопроса. У людей так было в 0,9%. Проверка простая: закройте варианты и перечитайте вопрос — если ответ уже можно угадать, вопрос сломан.
Слабые отвлекающие ответы. Если три неверных варианта нелепы, тест проверяет внимательность, а не знание. Авторы того же исследования назвали это главной проблемой сгенерированных вопросов. Правило, которое они использовали: неверный вариант должен быть связан с вопросом и с верным ответом, но очевидно ошибаться по существу.
Нет правильного ответа. Встречается реже, но найти труднее: все четыре варианта выглядят похоже, а верного среди них нет. Находится только сверкой с материалом.
Двусмысленность. Вопрос допускает два прочтения, и при одном чтении верен один вариант, при другом — другой. Ученик отвечает по своему прочтению и получает ноль, хотя фактически прав. Найти такое можно только чтением вслух.
Ошибка в ключе. Ответ отмечен не тот, что вы имели в виду. Самая обидная ошибка, потому что при машинной проверке её замечают уже ученики.
Полезно держать в голове, откуда эти ошибки. Есть давно известные правила написания тестовых вопросов: обзор 2002 года свёл их в 31 правило, выведенное из 27 учебников и 27 исследований. Модель эти правила не нарушает принципиально — она их просто не знает. Её учили на текстах тестов, а не на методике их составления. Поэтому и ошибки у неё те же, что у начинающего преподавателя, только чаще.
Как проверить ключ ответов
Проверка идёт в четыре прохода, и каждый ловит свой тип ошибки.
Первый — пройти тест самой. Молча, как ученик, отвечая на каждый вопрос до того, как смотреть ключ. Если ответ разошёлся с ключом, вопрос уже под подозрением. Это ловит ошибки в ключе и двусмысленности, но требует честности: соблазн «я же имела в виду» велик.
Второй — сверить каждый вариант с материалом. Каждый вариант по отдельности: этот верен по тексту, этот нет, этот тоже нет. Так находятся два правильных ответа и варианты, которые «почти верны».
Третий — попросить модель объяснить. Для каждого вопроса: почему верный вариант верен и почему неверен каждый из остальных. Объяснение, в котором модель путается или отвечает общими словами, — сигнал переписать вопрос.
Четвёртый — дать пройти коллеге. Не учителю этого предмета, если возможно: человек без контекста вашего урока увидит двусмысленности, которые вы уже не замечаете.
Полный проход по десяти вопросам занимает минут двадцать. Меньше, чем разбор жалоб после контрольной.

Иллюстрация GPThub
Где модели доверять нельзя
Есть задачи, где модель делает похожую работу, но результат нельзя принимать на веру.
Оценка эссе. Считается, что модель хорошо оценивает тексты. Это верно только наполовину. В одном исследовании судья-модель совпадала с людьми более чем в 80% случаев, но предпочитала длинные ответы и ответы, написанные в её собственном стиле. На раздутом повторяющимся списком ответе модель GPT-3.5 ошиблась в 91% случаев, а её старшая версия — в 9%. Ответ длиннее и повторы — не то же самое, что ответ лучше.
Субъективные критерии. Оценка сочинения по рубрике работает, если рубрика подробная. В работе по китайским экзаменационным работам модель с детальными критериями совпадала с учителями на уровне около 0,85, а без них давала заметно более слабое согласие. Вывод простой: дайте модели рубрику в запросе, иначе согласие с вашим пониманием будет случайным.
Мотивация и обратная связь. Отзыв, который модель даёт ученику, звучит ровно и доброжелательно, но он общий. Ученик с трудностью в конкретном шаге получит тот же отзыв, что и все остальные.
Итоговая отметка. Ставить оценку по сгенерированному ключу без проверки — способ получить апелляцию. Модель годится как первый оценщик, а не как судья.
Тест по фотографии страницы
Самый удобный путь, и самый рискованный. Фотографию страницы учебника читает почти вся сегодняшняя витрина моделей: ChatGPT 6 Luna, ChatGPT 6.1 Sol, GPT-5 Nano, Claude Haiku 5.5, Gemini 3.8 Flash, Grok 4.7, Kimi K2.6 и Kimi K3. В чате GPThub на бесплатном тарифе с фото работает ChatGPT 6 Luna.
Риск в распознавании. Модель читает текст с картинки и может ошибиться в слове, дате или числе — особенно на плохом снимке, с бликом или под углом. Ошибка распознавания уходит в вопрос, а оттуда в ключ, и найти её потом труднее, чем исходную.
Порядок, который снимает большую часть риска. Сначала попросите модель распечатать распознанный текст, без вопросов. Прочитайте его и сравните с фотографией: так ошибка видна сразу. Потом, уже на проверенном тексте, просите вопросы. Если снимок плохой, переснимите его, а не просите модель «угадать» — она угадает уверенно и неправильно.
Второй вариант — копировать текст вручную, если он есть в электронном виде. Скучно, зато ошибок распознавания нет вовсе.
Опрос для сотрудников — это другой жанр
В HR тот же инструмент делается иначе, и разница здесь в задаче. В тесте есть правильный ответ, и вся проверка сводится к логике вопроса. В опросе правильного ответа нет, и проверять нужно другое.
Первое — вопрос не подсказывает, какой ответ вы ждёте. «Насколько вам нравится наш новый формат встреч?» уже намекает на оценку. Модель такие формулировки выдаёт охотно: в обучающих текстах опросы часто пишутся заинтересованной стороной. Просьба «сформулируй нейтрально, без намёка на ожидаемый ответ» помогает, но проверить всё равно надо вам.
Второе — варианты ответов покрывают весь диапазон. «Согласен, скорее согласен, не знаю, скорее не согласен, не согласен» — пять вариантов, в которых есть место и для тех, кто просто не сталкивался. Модель иногда делает четыре, и человеку без мнения некуда нажать.
Третье — вопрос стоит один, а не два в одном. «Насколько вам удобен формат и полезно ли содержание?» невозможно ответить одним вариантом: формат может нравиться, содержание нет. Такие склейки модель делает часто, и находить их проще всего по союзу «и» в середине вопроса.
И четвёртое, уже про результат. Длинные опросы отвечают небрежно, и модель это не учитывает. Десять вопросов — верхняя граница, после которой доля заполненных до конца заметно падает.
Как устроен хороший вопрос
Есть правило, которое стоит держать перед глазами при любой правке. Вопрос должен проверять одно знание, и ответ на него должен быть единственным для человека, который материал знает.
Разберём на примере. Плохой вопрос: «Что из перечисленного относится к причинам Куликовской битвы?» — потому что причин несколько, и при четырёх вариантах две из них легко оказываются верными. Хороший: «Кто возглавлял русское войско в Куликовской битве?» — один факт, один ответ, три неверных имени.
Второе правило — неверные варианты должны быть того же вида, что верный. Если верный ответ — имя человека, остальные три должны быть именами, а не «всё перечисленное» и не «ни один из вариантов». Модель иногда смешивает виды, и такой вариант выдаёт себя сразу.
Третье — не подсказывать формой. Самый длинный вариант, единственный, написанный с заглавной буквы, единственный с числом — всё это подсказки. В исследовании 2023 года такие варианты встречались в 4% сгенерированных вопросов и почти в 1% написанных людьми. Проверка простая: прочитайте варианты по отдельности, не видя вопроса. Если один из них явно выделяется оформлением, вопрос надо переписать.
Четвёртое — избегать отрицаний в формулировке. «Что НЕ относится…» требует от ученика двойной работы, и модель сама в таких вопросах путается: ставит верным ответ, который как раз относится. Отрицание годится только тогда, когда проверяется именно различение.
Сколько времени это занимает
Честный расклад по этапам на тест из десяти вопросов с выбором ответа.
Запрос и генерация — одна-две минуты. За это время модель выдаёт десять вопросов с вариантами и ключом, и это самая быстрая часть работы.
Проход теста самой — пять минут. Прочитать десять вопросов и ответить на каждый, не глядя в ключ. Уже здесь всплывают двусмысленности: на два-три вопроса хочется ответить «смотря как понимать».
Сверка с материалом — ещё десять минут, если материал перед глазами. Каждый вариант каждого вопроса. Это самая скучная часть и самая важная.
Объяснения от модели — минута. Просьба объяснить каждый вопрос обычно даёт понятную картину, где логика хромает.
Правка — от пяти до десяти минут в зависимости от того, сколько нашлось.
Итого — от двадцати до тридцати минут на тест, который пойдёт в класс без риска апелляции. Написать такой тест с нуля занимает в среднем сорок минут: быстрее только для человека, который делает тесты каждый день.
Экономия есть, но она не в десятки раз, как обещает реклама генераторов тестов. Модель убирает самый долгий этап — придумывание вариантов. Проверка и правка остаются вашими.
Как хранить и переиспользовать тесты
Тест, который прошёл проверку, — капитал. Потратив двадцать минут на проверку десяти вопросов, вы получаете банк, из которого следующие тесты собираются без модели.
Удобно хранить три вещи: тест с ключом, пометку об уровне каждого вопроса и материал, по которому он сделан. Уровень важен, потому что через месяц вы забудете, какие вопросы на узнавание, а какие на применение, и новый тест может выйти перекошенным: десять лёгких вопросов вместо трёх лёгких и семи сложных.
Второе — варианты ответов. Если в тесте есть вопрос, который хорошо различает сильных и слабых, варианты к нему стоит сохранить отдельно. Модель при генерации нового теста часто «портит» удачную формулировку вариантов, а она-то и делает вопрос хорошим.
Третье — переиспользование через модель. Когда у вас есть три проверенных теста по теме, дайте модели все три и попросите новый в той же манере и с тем же распределением уровней. С двумя-тремя образцами получается заметно лучше, чем с одним описанием требований. Модель копирует форму точнее, чем выполняет абстрактную просьбу.
И последнее. Раз в семестр перечитывайте свой банк вопросов. Факты устаревают, формулировки, казавшиеся ясными, оказываются двусмысленными, а некоторые варианты выдают ответ внимательному ученику. Это та же работа, что и с любым другим учебным материалом.
Что делать с готовым тестом
Готовый тест — это черновик, и у него есть свой путь.
Сохраните запрос вместе с текстом, по которому делали тест: на следующую тему его хватит, если поменять материал. Это экономит больше, чем любая настройка модели.
Отметьте, какие ошибки встретились: если в каждом тесте у вас два правильных варианта, добавьте в запрос прямой запрет — «ровно один верный вариант, остальные три однозначно неверны». Модель исполняет такие запреты лучше, чем общие просьбы о качестве.
Соберите свой набор из проверенных вопросов. После третьего теста по одной теме у вас будет банк, который модели уже не нужен: вопросы на узнавание готовы, а новые нужны только на применение.
И последнее. Тест, который прошёл проверку, стоит сохранить как образец. В следующий раз можно дать его модели вместе с новым материалом и попросить сделать вопросы в той же манере. Образец работает лучше описания: модель точнее повторяет форму, чем понимает требование к ней.
Вопросы и ответы
Может ли нейросеть создать тест по параграфу учебника?
Да, если вставить текст параграфа в чат или загрузить его фотографией. Во втором случае сначала проверьте, как модель распознала текст: ошибка в одном слове может сделать вопрос некорректным. Текст лучше копировать, а фото использовать, когда другого варианта нет.
Как проверить, что в тесте нет ошибок?
Четыре прохода: пройти тест самой, сверить каждый вариант с материалом, попросить модель объяснить каждый вопрос и дать пройти коллеге. Ни один из них не гарантирует полной чистоты, но вместе они ловят почти все промахи из этой статьи.
Можно ли доверить модели оценку эссе?
Как первую оценку да, как итоговую нет. Модель согласуется с людьми примерно в 80% случаев и при этом предпочитает длинные ответы. Если оценка идёт в журнал, её должен подтверждать человек, а рубрика для модели должна быть подробной.
Какая модель лучше для школьных тестов?
Заметной разницы между крупными моделями на коротких тестах нет, а разница между хорошим и плохим запросом есть. Возьмите модель со своего тарифа, дайте ей материал, количество, тип и уровень — и сравните две-три попытки. Выбирайте ту, где меньше вопросов с подсказкой в формулировке.
Можно ли использовать тест как опрос сотрудников?
Можно, и здесь ошибки других. В опросе нет правильного ответа, поэтому ловушки теста не работают; главная проблема — двусмысленные или наводящие формулировки. Прочитайте вопросы вслух с точки зрения человека, который не знает, что вы хотите услышать: это ловит больше половины.
Связанные модели
Связанные гайды
- Как писать промпты
Базовая схема промпта в GPThub: роль, задача, формат ответа и запреты. Готовые шаблоны и типичные ошибки — без воды.
Похожие статьи
- Нейросеть для учителя
Нейросеть для учителя годится на черновик урока. Готовый ответ ученику на самостоятельной лучше не отдавать.
- ИИ в школе
Что меняется, когда нейросети приходят в класс и домой: правила UNESCO, планы Минпросвещения, ЕГЭ и как отличить помощь от списывания.
- Галлюцинации нейросети
Что такое галлюцинации нейросети, почему чат пишет правдоподобную ложь и как проверять даты, имена и ссылки перед сдачей работы.
- 20 задач для работы
Двадцать рабочих задач, которые можно отдать нейросети, и что проверить в ответе перед отправкой коллегам и клиентам.
- ИИ для рекрутера
Где нейросеть ускоряет отбор резюме, где ломает найм и что проверить до автоматического отказа.
- Нейросеть для писателя
Нейросеть для писателя ускоряет черновик и часто стирает голос. Где отдать правку, что сверить и почему книгу целиком лучше не отдавать.
Источники
- Doughty J. и др. A Comparative Study of AI-Generated (GPT-4) and Human-crafted MCQs in Programming Education
- Elkins S. и др. How Useful are Educational Questions Generated by Large Language Models?
- Scaria K., Chenna S., Subramani D. Automated Educational Question Generation at Different Bloom's Skill Levels using Large Language Models
- Zheng L. и др. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Zhang X. и др. Evaluating the Performance of Large Language Models on GAOKAO Benchmark
- Haladyna T., Downing S., Rodriguez M. A Review of Multiple-Choice Item-Writing Guidelines for Classroom Assessment
Об авторе
Сделать тест в чате GPThub
Доступ из России без VPN. Модели, гайды и тарифы — в одном продукте.