Forbes 19 августа собрал два свежих исследования о том, что происходит с головой студента, который делает задания через нейросеть. Обе работы показывают одно: оценки идут вверх, знания вниз. Различаются они только тем, через сколько месяцев это становится заметно.
Тест через сорок пять дней
Андре Баркауи поделил студентов бакалавриата на две группы случайным образом. Одна готовилась с ChatGPT, вторая привычным способом: конспекты, учебники, задачи руками. По ходу курса разницы между группами не было видно, обе сдали работы одинаково. Через сорок пять дней им устроили внезапную проверку. Группа с нейросетью ответила правильно на 57,5% вопросов, группа без неё на 68,5%. Работа называется «ChatGPT как костыль для мышления» и вышла в рецензируемом журнале. Одиннадцать процентных пунктов разницы набрались на материале, который обе группы формально освоили одинаково: курс закрыт, работы сданы, в ведомости всё в порядке.
Двадцать шесть тысяч школьников и два года
Второе исследование, «Штраф за генеративный ИИ», ещё не прошло научную проверку и выложено авторами в открытый доступ. Оно построено на данных по 26 811 китайским школьникам с седьмого по двенадцатый класс за тридцать месяцев. Авторы Дэвид Стрёмберг, Виктор Лей и Яньхуэй У сопоставили четыре показателя: ежемесячные контрольные, которые школьники пишут в классе без учебников и конспектов, результаты выпускных экзаменов, оценки за домашнюю работу и время, которое на неё уходит.
Картина такая. Домашние работы после появления ИИ стали лучше на 18% и быстрее на 30%. Результаты ежемесячных контрольных за полгода упали на 20%, на выпускных экзаменах падение составило 18 и 24%, причём полностью эффект проявился примерно через два года. Сильнее всего просели гуманитарные предметы, следом точные науки, следом языки. Отдельно авторы отмечают, что разрыв копится незаметно: первые полгода расхождение между домашними работами и контрольными списывают на случайность.
Что об этом говорят
Писатель Тед Чан сравнивал учёбу с нейросетью с попыткой качаться в спортзале при помощи автопогрузчика: вес поднят, мышцы ни при чём. Журналистка Роуз Хоровиц весной выпустила в The Atlantic текст о том, что студенты перестали читать длинные книги, а преподаватели Калифорнийского университета жалуются на дыры в школьной математике у поступивших.
Джеймс Флинн, открывший рост IQ на протяжении XX века, объяснял этот рост усложнением среды: мозг тренировался, потому что жизнь требовала. Сейчас среда впервые за сто лет упрощается.
Задание существует ради усилия, которое человек на него тратит: поиск нужного куска в учебнике, попытка сформулировать мысль своими словами, тупик и выход из него. Нейросеть убирает именно эту часть и оставляет чистовик. В китайских данных это видно по времени: домашняя работа стала занимать на треть меньше, а выглядеть лучше. Сэкономленная треть времени и есть та самая тренировка, которой больше нет.
