Системные и математические аспекты оценки качества рейтингов

Руководители семинара – Кузьминов Ярослав, Фрумин Исак, Абанкина Ирина, Болотов Виктор. Подробное описание семинара: https://ioe.hse.ru/announcements/211218902.html Тема доклада: «Системные и математические аспекты оценки качества рейтингов (систем сравнительной оценки)» Презентация доклада: https://goo.gl/xZLdxc Аннотация: Рейтинговые системы получили широкое распространение, в том числе в области высшего образования. Однако их использование порождает ряд вопросов относительно их содержательной и формальной корректности. Для решения части этих вопросов в рамках IREG были разработаны и приняты «Берлинские принципы ранжирования высших учебных заведений» (Berlin Principles for Ranking Higher Education Institutions) и «Правила аудита рейтингов» (IREG Ranking Audit Rules). Несмотря на их очевидную полезность, следует отметить, что по существу они в большей степени являются рекомендациями, нежели основаниями для объективной оценки конкретного рейтинга. Более того, Берлинские принципы и Правила аудита не отвечают на вопросы соответствия рейтинга задачам конкретной системы образования и вопросы математической корректности использованных при его реализации методик и алгоритмов. В докладе представлена методология комплексной оценки рейтинга. С позиции системного анализа рейтинг рассматривается как подсистема системы управления в образовании. Предложена методика оценки соответствия рейтинга требованиям программных документов, определяющих образовательную политику и результаты использования методики для оценки ряда рейтингов. С позиции формально-математического анализа оцениваются: соответствие рейтинга требованиям согласованного выбора (включая принципы Эрроу); внутренняя согласованность рейтинга (в частности, степень влияния частных показателей на интегральный рейтинг и степень независимости частных показателей); устойчивость результатов ранжирования относительно колебаний весовых коэффициентов (включая ситуацию исключения отдельных показателей); устойчивость результатов ранжирования относительно колебаний значений показателей объектов ранжирования (включая влияние ошибок измерения значений показателей). Обсуждаются результаты сравнительного анализа наиболее распространенной процедуры формирования рейтинга ‒ взвешенной суммы и альтернативной процедуры, основанной на ранговом подходе. Формулируется совокупность формализованных требований к «хорошему» рейтингу (в дополнение к Берлинским принципам и Правилам аудита), приводятся результаты оценки рейтингов THE, QS, ARWU, RUR предложенными методами, а также результаты моделирования потенциального продвижения ведущих российских университетов в этих рейтингах. Докладчики: Владимир Куклин, ведущий научный сотрудник Центра экономики непрерывного образования Института прикладных экономических исследований РАНХиГС; Виктор Виноградов, научный сотрудник Центра экономики непрерывного образования Института прикладных экономических исследований РАНХиГС. Дискуссанты: - Сергей Беляков, главный научнный сотрудник Центра экономики непрерывного образования Института прикладных экономических исследований РАНХиГС; - Алексей Макаров, заведующий кафедрой высшей математики НИУ ВШЭ; - Фарида Загирова, аналитик ПУЛ «Развитие университетов».