Аквариум номер 7, или формирование результатов обучения

Аквариум, день второй 

или каким был бы мир, если бы Колумб не открыл Америку в 1492 году

И снова мы в "Аквариуме" (см. нашу статью от 05.10.2018, в которой мы рассказываем, что такое "Аквариум"). Как и в предыдущий раз дебаты шли о критериях оценивания студенческих работ. Почему преподаватель ставит за работу 95 баллов, а не 97 или не 93 балла? Как оценивать объективно и что вообще такое "объективная оценка": конвенция между студентом, преподавателем и университетом или свод научно обоснованных правил, технологий?!

В ролике ниже в комичной форме представлен пример оценивания в университетской аудитории (спасибо Альмире Даулбаевой за этот прекрасный пример).

Понятно, что в этой аудитории всё наперекосяк, но что именно?! Большей части студентов понятно, как происходит оценивание и они с этим согласны, цели обучения им тоже понятны, чтобы обосновать оценки они прибегают к вполне "взрослым" аргументам, но... Как и я вы скорее всего сочувствовали студенту, который пришёл в аудиторию последним. А почему, собственно, ему?! Потому что 3 умножить на 3 действительно 9. А может всё гораздо сложнее и мы чего-то не понимаем?! Давайте разберёмся - выберите один из вариантов ответов в опросе по этой ссылке: результатами я поделюсь в следующем посте.

- - - - - - - - - - - - - - - - - - -

В этот раз на "Аквариуме" нас было вдвое больше. От этого и общение получилось более насыщенным вопросами и мнениями. Обсуждали

? почему система нагрузок в вузе не учитывает столь трудоёмкий процесс, как планирование системы оценивания и как переделать систему распределения нагрузок - есть ли готовые решения;
? стоит ли оценивать посещаемость студентами занятий или это только приведёт к тому, что студенты будут пассивно "высиживать" лекции;
? стоит ли вводить в качестве критерия использование студентами корпоративного стиля презентации или это ограничивает креативность студентов;
? как оценивать активность студентов в аудитории и для чего это стоит делать;
? как можно сделать критерии оценивания измеримыми и насколько далеко надо заходить в этом процессе, в первую очередь, в связи с несовершенством системы распределения нагрузок (см. п. №1 в этом списке).

Много чего обсуждали - форум были очень плодотворным.

Дебаты начались после презентации системы критериев оценивания дисциплины "Академическое письмо", которую проходят все или почти все студенты Университета Нархоз. Нам была представлена целая система критериев. Одни касались письменных работ студентов: здесь оценивается и содержание (например, 10 баллов можно получить за актуальность темы и полное её раскрытие в работе), и верное оформление списка используемой литературы (например, 7 баллов можно получить за использование литературы с высоким индексом цитируемости), и структура работы (например, 5 баллов студент получает за наличие в работе введения, основной части и заключения), и даже использование языка (например, 5 баллов можно лишиться за орфографические ошибки). (Эх, последние пять баллов мне как ушей своих не видать!).

Критерии оценивания были разработаны и для презентаций и публичных выступлений студентов. Например, 30 баллов студенты получают за обоснованность выводов презентации. Ещё 30 баллов за раскрытие темы и 40 баллов за успешные ответы на вопросы после публичного выступления с презентацией.

Презентация доступна по этой ссылке (ссылка доступна только членам "Аквариума").

Слов нет, структура проработана очень глубоко и осознанно - есть что позаимствовать. Но не всех это полностью удовлетворило. Споры вызвала глубина проработки отдельных критериев. Например, насколько измерим такой критерий оценивания, как "раскрытие темы"?!

Рассмотрим гипотетический пример - открытие Христофором Колумбом Америки. Что в случае этой темы должен рассказать или написать студент, чтобы преподаватель мог оценить его усилия по раскрытию темы на предусмотренные аж 30 баллов? Сколько баллов выставить, если студент забыл название одного из кораблей экспедиции Колумба, название первого острова, на который высадилась экспедиция, или, упаси Бог, год открытия Америки? А эти факты вообще важны?!

Как бы вы решили эту задачу?! Напишите в комментариях, пожалуйста.

- - - - - - - - - - - - - - - - - - -

Наши коллеги из Технологического университета Сиднея советуют при определении критериев оценивания начинать с результатов обучения. Преподаватель
⏩определяет результаты обучения
⏩описывает действия студента, которые приведут к освоению результатов
⏩ формирует материалы, которые безусловно помогут студенту произвести эти действия и
⏩разрабатывает критерии успеха, то есть описывает условия, при которых студент освоил результаты обучения.

Жизнь богаче логики и студент может прийти к результату множеством разных путей. Поэтому для одного и того же результата советуется создавать множество критериев. Единственный вопрос, как много и, пожалуй ещё, насколько детально их описывать. А это можно определить, рассказав студентам о критериях: если они могут верно пересказать своими словами, как успешно выполнить задание, скорее всего годятся именно те критерии, которые они цитировали.

- - - - - - - - - - - - - - - - - - -

И правда, можно ли судить критерии оценивания, не зная результатов обучения?!

По теме открытия Америки важно знать год, который общепринято считается годом открытия Америки, примерные (+/- месяц) дата отплытия Колумба из Европы и прибытия на первый остров Карибского бассейна.

Однако помимо этого важным для темы могут быть также личные и общественные причины, побудившие Колумба отправиться в экспедицию; трудности, с которыми столкнулся Колумб в пути; эффект, который имело открытие Америки на Европу и весь мир и многое другое. Как же тогда оценить раскрытие темы студентом, если тема включает в себя безмерное количество данных, информации, знаний? Не зная целей обучения, видимо, никак.

В связи с этим маленький offtopic. А что будет, если студентам дать здание с таким вопросом: "Опишите мир, в котором в 1492 году Колумб не открывает Америку". Для каких результатов обучения задание с такой формулировкой вопроса? Как сформулировать критерии оценивания такого задания?

ИТОГИ

➤ Процесс дизайна системы оценивания начинается с результатов обучения.
➤ Универсальных рецептов мало: многое достигается экспериментальным путём.
➤ Экспериментальным, потому что критерии должны быть понятны студентам - обсудите критерии со студентами: пускай они вам расскажут, как они понимают успешное выполнение задания.