Как ИИ повлиял на оценку успеваемости студентов

Центр макроэкономических исследований «Сбера» и экономический факультет МГУ исследовали, как выполнение домашних заданий при помощи ИИ влияет на оценку общей успеваемости студентов.

После появления в 2023 году общедоступных LLM корреляция между оценками за домашние и очные работы снизилась, показало исследование. Если в период 2019–2022 годов корреляция составляла 0,63, то в 2023–2025 годах она снизилась до 0,43. Чем ближе корреляция к 1, тем точнее домашние задания предсказывают результаты очных работ, объясняют авторы исследования.

До 2023 года студенты с высоким баллом за домашние задания писали очные работы в среднем на 2,6 балла (из 10) лучше студентов с низким баллом, с 2023-го эта разница сократилась до 1,6 балла. Это привело к тому, что студенты с одинаковыми оценками за домашние задания теперь сильнее различаются по результатам очных работ.

Оценки за домашние задания у всех групп сдвинулись так, как если бы связь ослабла у всех одинаково. Это, по мнению авторов, указывает на то, что генеративным ИИ пользуются студенты с любыми оценками, а не только отстающие.

Оценки за домашние задания приблизились к средним по потоку у самых слабых и у самых сильных студентов. Ранее слабейшие 20% студентов получали за домашние задания на 21 п.п. меньше среднего, а теперь — на 12. Сильнейшие 20% раньше получали на 15 п.п. больше среднего, а теперь — на 11, отмечают авторы исследования. Это приводит к тому, что по оценкам за домашние задания стало труднее выявить студентов, которые хуже всех напишут очные работы.

Как считали: расчет охватывает 755 студентов шести потоков курса «Поведенческая и экспериментальная экономика» экономического факультета МГУ. Поток — все студенты, которые проходили курс в один учебный год. В расчет вошли потоки 2019 и 2021–2025 годов.

Поскольку домашнее задание больше не гарантирует, что студент выполнил его сам, преподаватель хуже видит, кто отстает, показал анализ данных результатов студентов экономфака.

При этом результаты контрольных и экзаменов согласуются между собой так же хорошо, как и раньше. Корреляция между контрольной и экзаменом составила 0,65 в 2019–2022 и 0,67 в 2023–2025 годах, показало исследование.

Как можно изменить подход к домашним заданиям

Повысить эффективность домашних заданий в новых условиях, по мнению авторов исследования, можно было бы за счет привязки балла за домашнее задание к короткой задаче-близнецу на следующем семинаре. Например, через неделю после сдачи студенты десять минут решают в аудитории задачу, похожую на домашнюю, а балл за домашнее задание умножается на коэффициент от 0,5 до 1 по результату этой задачи. «Главная проблема не в ИИ, а в том, что задание стало слишком легким для автоматизации. Мы можем не менять саму домашнюю работу, а добавить к ней «задачи-близнецы» на ближайшем семинаре. Студент знает, что если он просто скопировал ответ в ИИ, он не сможет воспроизвести логику решения у доски. Это возвращает ценность самостоятельной работы», — сказал РБК старший управляющий директор, руководитель Центра макроэкономических исследований «Сбера» Александр Исаков.

Еще один способ — вызывать на устную защиту домашнего задания заранее объявленную долю студентов. Долю и порядок выбора в этом случае лучше объявить в начале семестра, а вызовы действительно проводить, чтобы каждый студент осознал, что объяснять решение может выпасть ему. Для потока из 130 студентов защита займет у преподавателя от одного до двух с половиной часов на задание, подсчитали авторы исследования.

Также можно дать студентам ИИ-репетитора, который подсказывал бы решение, но не решал за них. Собственный репетитор с такими функциями потребует от вуза разработки, сравнимой с системой управления обучением, предупреждают авторы исследования, поэтому более дешевый вариант — общий ИИ-ассистент курса.

Полностью отказаться до домашних заданий нельзя, уверен Александр Исаков. «Домашнее задание — это дисциплина и стимул. Лекция — это пассивное потребление контента, домашнее задание — единственный способ заставить студента сесть и «погрызть гранит науки» самостоятельно. Без этого стимула большинство просто посмотрит лекцию и быстро забудет ее. К тому же практика — это и есть обучение», — объясняет он. Организовать очную проверку всего, продолжает Исаков, это колоссальные затраты времени преподавателя. «Домашние задания — это эффективный «массовый» фильтр. И даже с учетом того, что сигнал стал «шумным», он все равно лучше, чем отсутствие контроля вовсе», — резюмирует руководитель Центра макроэкономических исследований «Сбера».

Развитие технологий искусственного интеллекта может привести к изменению подходов к оценке знаний студентов в вузах, говорил ранее ректор МГТУ имени Н.Э. Баумана Михаил Гордин. Он тоже обращал внимание на то, что использование нейросетей снижает эффективность проверки домашних заданий и других письменных работ, выполняемых вне аудитории. Учитывая это, контроль знаний целесообразно переносить в формат очных экзаменов, зачетов и личного общения преподавателя со студентом, уверен Гордин.

В июне министр науки и высшего образования Валерий Фальков допустил, что из-за развития искусственного интеллекта вузам придется отказаться от письменных работ в пользу устного экзамена.