Некоторые идеи о рейтингах академического качества маргерит кларк




НазваНекоторые идеи о рейтингах академического качества маргерит кларк
Дата канвертавання23.01.2013
Памер265.11 Kb.
ТыпДокументы

Высшее образование в Европе Том XXVII, №4, 2002


НЕКОТОРЫЕ ИДЕИ О РЕЙТИНГАХ АКАДЕМИЧЕСКОГО КАЧЕСТВА

 

МАРГЕРИТ КЛАРК

 

Рейтинги – популярный механизм сравнения качества вузов, завоевавший прочные позиции в системе высшего образования. Однако споры о том, какие показатели использовать для сравнения и в каком формате представлять информацию, не утихают. В статье содержатся некоторые предложения по обоим вопросам, а также подчеркнуты отдельные моменты, заслуживающие внимания в процессе подготовки рейтинга.

 

Демократия – наихудший способ правления, за исключением всех остальных, утверждал Уинстон Черчилль. Равным образом рейтинги качества являются наихудшим способом сравнения качества… колледжей и университетов, за исключением всех остальных (Webster, 1986, p. 6)

Можно спорить о том, насколько рейтинги академического качества украшают образовательный ландшафт, но деваться от них некуда. В основе споров вокруг рейтингов в первую очередь лежит вопрос о том, возможно ли в принципе количественно охарактеризовать качество вуза или программы. С этим согласны не все (Casper, 1996). Однако деваться от них действительно некуда: на сегодняшний момент не существует другого привлекательного для широкой публики метода сравнения вузов (Sanoff, 1998). В связи с отсутствием достойных альтернатив большинству заинтересованных лиц (отнюдь не всем) пришлось смириться с существованием и использованием рейтингов, но до сих пор ведутся оживленные споры о том, как же надлежит ранжировать вузы (Hattendorf, 1993).

Эта статья в основном и посвящена вопросу «о том, как», и в ней приводятся некоторые общие соображения о рейтингах академического качества, условно разделенные на три части и проиллюстрированные примерами из американской системы высшего образования. В первой части статьи объясняются концептуальные категории, лежащие в основе различных рейтингов, и описываются достоинства и недостатки различных методик сбора данных по каждой категории. Предлагаются некоторые рекомендации по подбору показателей рейтинга. Во второй части рассматривается популярный метод взвешивания и суммирования для преобразования информации в формат рейтинга и перечисляются некоторые недостатки этого метода с точки зрения оценки качества образования (Вторая часть, скорее, отвечает на вопрос: «как не надо?» – тем не менее в ней содержатся некоторые важные положения, которые имеет смысл учесть вне зависимости от того, какая методика применяется для рейтинга). В третьей части формулируются выводы из двух первых разделов и приводится перечень моментов, на которые необходимо обратить внимание на каждом этапе подготовки рейтинга.

Прежде чем начать, целесообразно дать определение понятию «рейтинг академического качества». Согласно толковому словарю Уэбстера (1986), рейтинг академического качества

«составляется согласно некоторому показателю или набору показателей, которые составители рейтинга считают отражающими или измеряющими академическое качество. Рейтинг представляет собой перечень лучших колледжей, университетов или кафедр в некоторой области знания, расположенных в порядке убывания или возрастания качества. При этом каждый вуз или кафедра имеет свой собственный рейтинговый балл, а не объединяется с другими вузами в группы, однотипные по уровню качества» (с. 5).

Это определение указывает на две ключевые характеристики рейтинга академического качества. Первая заключается в том, что показатели рейтинга выбираются его разработчиками. Следовательно, хотя существуют некоторые традиционные стандарты академического качества, в целом набор показателей в значительной степени зависит от субъективных приоритетов и ценностей данной конкретной группы разработчиков рейтинга. Вторая особенность заключается в том, что вузы необходимо расположить в определенном порядке в зависимости от значений показателей. Таким образом, если применяется более одного показателя, приходится либо объединять информацию каким-то образом, чтобы составить единый рейтинг, либо готовить отдельные рейтинги по каждому показателю. В следующем разделе мы обсудим первую характеристику рейтингов.

 

КОНЦЕПЦИЯ АКАДЕМИЧЕСКОГО КАЧЕСТВА И ЕГО ИЗМЕРЕНИЕ

Показатели качества, на которых строится большинство рейтингов, можно сгруппировать в три категории: успехи студентов, достижения преподавательского состава и академические ресурсы вуза. Эти категории вошли в табл. 1 вместе с описанием некоторых методов, традиционно используемых для сбора сведений по этим категориям. На основе собранных таким образом данных рассчитываются численные значения показателей. К примеру, информация, полученная по результатам исследования репутации, обычно преобразуется в некую оценку для каждого вуза. Вместе эти оценки образуют показатель «репутация», который можно использовать – отдельно или в сочетании с другими показателями - для ранжирования вузов.

Таблица 1. Категории академического качества

Категория

Метод/показатель

Преимущества

Достижения преподавательского состава

Опросы и исследования репутации (например, рейтинг репутации программ или преподавательского состава факультетов)

Позволяет получить очень наглядные результаты, т.е. результаты, практически полностью совпадающие с представлением образованной публики об иерархии колледжей и университетов.

Недостаток:

репутация вуза в целом может повлиять на оценки отдельной кафедры (или кафедр)

 

Подсчет наград, отличий и призов, полученных преподавателями

Весьма полезен для ранжирования самых лучших вузов.

Недостаток:

очень трудно получить сиюминутную информацию: данные обычно даются по предыдущим или последующим годам

 

Число упоминаний

Весьма полезен для оценки влиятельности и важности публикаций преподавателей, а не только их объема.

Недостаток:

индекс ссылок, на основе которого готовятся рейтинги, не оценивает характера упоминаний – «плохой», «хороший» или «нейтральный»

Успехи студентов

Наиболее выдающиеся выпускники и судьба выпускников по окончании обучения

Поскольку лишь немногие колледжи и университеты ведут обширную исследовательскую деятельность, большинство вузов старается подготовить студентов к успешной карьере.

Недостаток:

информация обычно имеет значительную давность

 

Оценки абитуриентов на стандартных вступительных экзаменах

Эти данные легко получить. По этому показателю можно оценивать большинство вузов.

Недостаток:

успехи абитуриентов на экзаменах определяются уровнем подготовки, полученной до поступления. Поэтому по ним нельзя судить о качестве обучения в вузе

Академические ресурсы вуза

Сочетание ряда показателей, характеризующих ресурсы вуза, в т.ч. затраты на обучение одного студента, отношение числа преподавателей к численности студентов, библиотечные ресурсы

Эти данные легко получить. По этим показателям можно сравнивать деятельность всех вузов.

Недостаток:

не содержат информации о том, насколько часто и эффективно студенты пользуются этими ресурсами.

Источник: заимствовано из Webster (1986).

 

В третьей колонке табл. 1 описаны достоинства и недостатки каждого показателя, которые необходимо учитывать, принимая решение о целесообразности его использования (см. также Hattendorf, 1993). Например, исследования репутации позволяют получить весьма достоверные рейтинги, однако и здесь возможна путаница, когда репутация вуза в целом не позволяет адекватно оценить репутацию отдельной кафедры (представим себе, что в сильном университете существует отдельная слабая кафедра, которая в таком случае может получить незаслуженно высокую оценку).

Достоинством исследований репутации является то, что они позволяют выявить самые сильные программы в определенной области знаний. К примеру, исследование репутации будет наилучшим подходом к отбору 10 лучших школ бизнеса. Однако если необходимо оценить все программы в определенной области, то метод исследования репутации неприменим, так как не все школы широко известны и пользуются определенной репутацией. Следовательно, такой подход не позволит сравнить все 352 программы изучения бизнеса, аккредитованные в США, поскольку составители рейтинга могут просто не знать о существовании отдельных программ. Приходим к выводу, что каждый показатель имеет свои достоинства и недостатки, которые необходимо учесть в процессе принятия решения о включении этого показателя в перечень используемых для данного рейтинга.

Набор показателей, вошедших в табл. 1, не отражает последних перемен в области высшего образования (в частности, возникновение сектора дистанционного обучения и компьютеризацию высшего образования), которые следует принимать во внимание при оценке качества. Поэтому при выборе показателей целесообразно будет руководствоваться общими соображениями действенности (действительно ли показатель характеризует тот аспект, который он должен характеризовать?), надежности (свободен ли показатель от погрешности?) и возможности сравнения (понимается ли показатель единственным образом вне зависимости от типа программы или вуза?) (Linn, 1993). В целом если показатель включается в рейтинг, то необходимо каким-то образом доказать его пригодность для достижения запланированных целей (например, на основе существующих данных или на основе данных, собранных разработчиками рейтинга), т.е., его действенность, надежность и возможность сравнения. Не так уж просто однозначно определить пригодность показателей – возможны противоречивые свидетельства и мнения. Например, среди показателей, отраженных в табл. 1, имеется показатель оценок абитуриентов на стандартных вступительных экзаменах. Этот показатель качества вуза в течение ряда лет подвергается суровой критике, поскольку отражает уровень подготовки студентов до поступления в вуз, а никак не качество знаний, которые вуз дает студентам (Seaman, 1998). Однако есть и противоположное мнение, что это действенный, хотя и косвенный показатель качества вуза, поскольку «высококачественные» вузы привлекают наиболее одаренных абитуриентов. В качестве одного из способов оценки этой способности привлекать наиболее способных студентов предлагается показатель оценок абитуриентов на стандартных вступительных экзаменах (Morse and Flanigan, 2001).

Возможен и другой подход к подбору показателей – с точки зрения вложений, процесса и результатов. При прочих равных условиях предпочтение отдается показателям, описывающим процесс (т.е. качество преподавания) и результаты (например, успешность трудовой деятельности выпускников вуза). Показатели в табл. 1 можно отнести к вложениям (например, оценки абитуриентов на вступительных экзаменах, библиотечные ресурсы) и результатам (упоминания и награды преподавателей). В эту таблицу не вошли показатели, описывающие процесс. Это можно объяснить тем, что показатели, описывающие процесс, труднее подобрать, и сбор информации по ним обходится дороже. Однако если есть возможность охарактеризовать процесс, то можно получить очень полезную информацию по таким аспектам, как учебная среда и эффективность преподавания. До недавнего времени рейтинги британских университетов «Приложения по высшему образованию к газете «Таймс» включали в себя показатель «качество преподавания» на различных кафедрах дипломной подготовки в университетах Соединенного Королевства (см. http://www.thesis.co.uk/).

При подборе показателей следует также оценить их объективность или субъективность. Объективными показателями считаются те, которые не зависят от того, кто производит подсчет. Например, если попросить двоих человек рассчитать отношение числа студентов к численности преподавателей или подсчитать количество томов в библиотеке, они получат одинаковые результаты (если воспользуются одинаковыми формулами и не сделают ошибок). Субъективные показатели могут меняться в зависимости от респондента. Например, если двоих людей попросить оценить общее академическое качество данного вуза (в процессе исследования репутации) по одному и тому же набору показателей, то присвоенные ими оценки могут быть весьма различны – в зависимости от субъективного мнения каждого. Вполне понятно, что надежность рейтинга в достаточной степени зависит от использования субъективных показателей.

Есть и другие проблемы, но приведенный выше перечень охватывает наиболее важные. Осталось только добавить, что для сбора, хранения, обработки и представления информации следует использовать стандартные процедуры, поскольку ошибка на любом этапе может привести к уменьшению полезности показателя как потенциальной меры академического качества. В следующем разделе мы рассмотрим второй важный момент составления рейтингов, упомянутый в начале этой статьи, а именно подбор методов перевода информации в формат рейтинга.

 

ПЕРЕВОД ИНФОРМАЦИИ В ФОРМАТ РЕЙТИНГА

После подбора показателей необходимо выбрать метод перевода данных в формат рейтинга. Существуют разные методы, некоторые из них упомянуты в других статьях этого выпуска. Чтобы не повторяться, мы рассмотрим популярный метод взвешивания и суммирования, имеющий свои недостатки с точки зрения сравнения качества вузов и программ (см. также Clarke, 2002а, b; Clarke в периодике). При этом мы обсудим некоторые общие вопросы, которым имеет смысл уделить внимание при подготовке рейтинга.

 

Метод взвешивания и суммирования

Метод взвешивания и суммирования подразумевает, что каждому показателю присваивается вес в соответствии с придаваемой ему важностью, а затем все показатели суммируются с учетом весовых коэффициентов для получения итогового балла (Scriven, 1991). В результате получается одно простое для понимания число. Этот метод подвергается критике в связи с тем, что значения весов присваиваются на основе субъективных суждений экспертов, т.е. зависят от того, кто принимает решение (Camilli and Firestone, 2000). В зависимости от числа показателей и присвоенных им весов один из показателей может превалировать над остальными или несколько менее важных показателей могут перевесить один, но критически важный (Evaluation News, 1981). Тем не менее этот метод уже много лет успешно применяется для оценки качества продукции (см., например, на <www.consumerreports.org>).

Несмотря на популярность этого метода для оценки автомобилей и тостеров, мнения о том, насколько он пригоден для оценки качества образования, разделились (Hattendorf, 1993; Scriven, 1991). Недостаток консенсуса отчасти объясняется тем, что для сравнения потребительской продукции используются наглядные и легко оцениваемые количественно показатели (например, в случае автомобилей: экономия топлива, условия гарантии, скорость, системы безопасности). Показатели, характеризующие качество образования, менее наглядны (например, такие, как репутация и наиболее выдающиеся выпускники), и их труднее количественно измерить. Следовательно, выбрать и определить количественные значения показателей сравнения академического качества гораздо сложнее, чем показателей сравнения качества автомобилей.

Даже в отсутствие концептуальных возражений против использования метода взвешивания и суммирования для ранжирования вузов есть другие проблемы, связанные с тем, что до сих пор не полностью изучены характер взаимозависимости различных показателей академического качества и их относительная важность для комплексной оценки качества вуза и программы. Поэтому не вполне ясен алгоритм присвоения весовых коэффициентов для расчета итогового балла. Эта проблема не столь насущна при сравнении потребительской продукции, поскольку в этом случае обычно достаточно ясно, насколько важен тот или иной аспект качества товара. Кроме того, составить формулу для подсчета рейтингов товаров гораздо проще, поскольку существуют весьма наглядные показатели результатов (например, действительно ли машины, имеющие высокий рейтинг, работают лучше, т.е. реже ломаются?).

 

Недостатки метода взвешивания и суммирования с точки зрения оценки качества образования (С рейтингами колледжей можно ознакомиться по адресу: <http://www.usnews.com/usnews/edu/college/rankings/rankindex.htm>. Рейтинги вузов размещаются на http://www.usnews.com/usnews/edu/beyond/bcrank.htm). В различных рейтингах сравнение проводится по разным показателям, но методика остается неизменной, а именно: выбранным показателям присваиваются веса, с учетом которых проводится суммирование для вычисления итогового балла рейтинга школ или программ (Garrett, 2002; Morse and Flanigan, 2001). Выбор показателей и значений весов не имеет теоретического обоснования; равным образом не проводилось никакого исследования характера показателей и существующих между ними взаимозависимостей.

Таблицы 2 и 3 наглядно доказывают важность обоснованного присвоения значений весовых коэффициентов и изучения характера взаимозависимости между показателями. В таблицы вошли данные рейтингов 50 лучших бизнес-школ и 50 лучших педагогических вузов США, подготовленных U.S. News and World Report в 2001 г. (обычно публикуемые рейтинги ограничиваются 50 лучшими школами). В каждой таблице приведены показатели рейтинга. Числа выражают размер корреляции (взаимосвязи) между показателями. Величина корреляции меняется от 0 до 1, причем 1 – наиболее сильная корреляция, 0 – наиболее слабая. Кроме того, корреляция может быть положительной или отрицательной. Положительная корреляция означает, что при увеличении значения одного показателя значение второго тоже растет. Отрицательная корреляция указывает на то, что при увеличении значения одного показателя второй уменьшается. Для определения величины корреляции между любыми двумя показателями табл. 2 или 3 необходимо найти ячейку, находящуюся на пересечении колонки, в которой стоит первый показатель, с рядом, в котором расположен второй. Например, в табл. 2 корреляция между «Начальной зарплатой» и «Средним баллом GMAT (GMAT – международный тест на математические и аналитические способности для желающих поступить на аспирантские программы бизнес-школ (прим. перев.))» составляет 0,8. Это означает, что выпускники вузов с более высоким средним баллом GMAT получат более высокую начальную зарплату. Корреляция между «Средним баллом GMAT» и «Процентом принятых» равна –0,69, т.е. в школы, зачисляющие меньше абитуриентов, обычно идут студенты, получающие на вступительных экзаменах более высокий средний балл (обратите внимание, что во втором случае модуль корреляции меньше, чем в первом, а следовательно, взаимозависимость выражена менее отчетливо).

 

Таблица 2. Корреляция показателей рейтинга бизнес-школ за 2001 г. (На основе сведений по 50 лучшим школам. Данные приведены с точностью до 2 знаков после запятой)

 

Академическая репутация

Репутация у работодателей

Начальная зарплата

% выпускников, нашедших работу к моменту окончания

 

% выпускников, нашедших работу не позднее 3 месяцев с момента окончания

 

Средний балл GMAT

Средний балл при поступлении

Процент принятых

Академическая репутация

 

1

,90

,90

,32

,24

,81

,57

-,73

Репутация у работодателей

 

 

1

,86

,32

,18

,70

,50

-,68

Начальная зарплата

 

 

 

1

,52

,43

,80

,49

-,68

% выпускников, нашедших работу к моменту окончания

 

 

 

 

1

,49

,30

,03

-,20

% выпускников, нашедших работу не позднее 3 мес. С момента окончания

 

 

 

 

 

1

,24

,04

-,05

Средний балл GMAT

 

 

 

 

 

 

1

,66

-,69

Средний балл при поступлении

 

 

 

 

 

 

1

-,58

Процент зачисленных

 

 

 

 

 

 

 

 

1

 

Таблица 3. Корреляция показателей рейтинга педагогических вузов за 2001 г. (На основе данных по 50 лучшим вузам, округленных до 2 знаков после запятой)

 

Академическая репутация

Репутация (у директоров школ)

Устные оценки GRE

 

Количественные оценки GRE

Процент принятых

Отношение числа студентов к численности преподавателей

Число присужденных докторских степеней

Доля докторских программ

 

Всего на исследования

Объем финансирования исследований на одного преподавателя

Академическая репутация

 

1

,78

,27

,45

-,28

,16

,39

,44

,30

,001

Репутация (у директоров школ)

 

 

1

,21

,23

-,15

,13

,21

,39

,16

,05

Устные оценки GRE

 

 

 

1

,61

-,46

,14

-,29

-,04

-,08

,14

Количественные оценки GRE

 

 

 

 

1

-,41

,01

-,10

,10

,09

,04

Процент принятых

 

 

 

 

 

1

-,34

-,11

,04

-,48

-,46

Отношение числа студентов к численности преподавателей

 

 

 

 

 

1

,10

,02

,09

,19

Число присужденных докторских степеней

 

 

 

 

 

 

 

1

,21

,49

,01

Доля докторских программ

 

 

 

 

 

 

 

1

-,12

-,13

Всего на исследования

 

 

 

 

 

 

 

 

1

,63

Объем финансирования исследований на одного преподавателя

 

 

 

 

 

 

 

 

 

1

 

GRE (Graduate record examination) – экзамены для поступления в аспирантуру по всем специальностям, кроме медицины, бизнеса, права (прим. перев.)

 

Наиболее значительная разница между табл. 2 и 3 заключается в величине значений корреляции. Корреляция показателей для бизнес-школ несколько больше, чем корреляция для педагогических вузов. Это означает, что показатели, по которым оценивается качество бизнес-школ, зависят друг от друга сильнее. То есть если бизнес-школа имеет хорошую оценку по одному из показателей, то можно ожидать, что и по остальным показателям оценки будут хорошими. В случае педагогических вузов нельзя с уверенностью сделать подобное утверждение. К примеру, педагогический вуз, имеющий высокий показатель «Количественные оценки GRE», может также иметь значительный показатель «Всего на исследования», описывающий общий объем финансирования НИР, ведущейся в университете, а может и не иметь. Предсказать это очень трудно, поскольку корреляция очень мала – всего 0,09. Причина такого различия величин корреляции пока не ясна. Возможно, она заключается в том, что в школах бизнеса и в педагогических институтах качество понимается по-разному. Возможен и другой вариант: в школах разных типов имеется различное количество сведений о качестве.

В любом случае эти корреляции определенным образом влияют на величину весов отдельных показателей. К примеру, для бизнес-школ соотношение весов отдельных показателей имеет меньшее значение с точки зрения итогового балла рейтинга, т.к. показатели бизнес-школ, как правило, аналогичны (т.е. если школа имеет один высокий показатель, то и остальные будут высокими). Следовательно, для итогового балла неважно, будет ли наибольшей вес присвоен показателю «Академическая репутация» (т.е. оценке качества школы академиками) или показателю «Начальная зарплата», в связи с тем что оба показателя ведут себя аналогично друг другу (r = 0,9). В случае педагогического вуза эти рассуждения будут неверны. Итоговый балл в значительной степени зависит от того, какому показателю будет придан наибольший вес. Например, в зависимости от того, имеет ли наибольший вес показатель «Репутация у директоров школ» (т.е. оценка репутации вуза руководством школ) или показатель затрат на исследования «Всего на исследования», рейтинги будут совершенно различны, поскольку показатели ведут себя по-разному (r = 0,16).

Эти различия опять приводят к вопросу о подборе показателей. Следует ли стремиться к максимальному снижению корреляций между показателями? Является ли высокая корреляция свидетельством действенности (т.е. того, что все показатели оценивают качество) или она доказывает избыточность показателей (т.е. то, что все показатели характеризуют одно и то же, а следовательно, не нужны)? И напротив, свидетельствует ли малая корреляция о недействительности показателей (т.е. о том, что не все или ни один из показателей не оценивает качество) или является признаком уникальности показателей (т.е. того, что все показатели относятся к разным аспектам качества образования)? К тому же в случае высокой корреляции всех показателей, не следует ли опустить часть из них, что, очевидно, не повлияет на итоговый балл рейтинга, зато позволит повысить эффективность? Например, показатель «Академическая репутация» значительно коррелирован с остальными показателями рейтинга бизнес-школ. Поэтому теоретически можно опустить семь остальных показателей и все равно получить в итоге весьма сходный рейтинг.

Из данных табл. 2 и 3 можно сделать вывод о зависимости результатов рейтинга от изменений в формуле рейтинга. U.S. News and World Report, как и другие организации, участвующие в подготовке рейтингов, достаточно часто вносит изменения в применяемую формулу рейтинга: добавляет новые показатели или изымает старые, меняет смысл/метод определения показателей, придает весовым коэффициентам новые значения. Эти изменения имеют целью усовершенствование рейтинга и могут повлиять на взаимное расположение вузов в рейтинговой таблице, причем характер этого влияния не отражает реального соотношения уровней качества отдельных вузов. Это влияние еще усиливается благодаря применению метода взвешивания и суммирования, особенно при использовании слабо коррелированных показателей, поскольку метод предполагает вычисление единого итогового балла рейтинга.

Сравним, например, рейтинги журнала U.S. News and World Report за 1995 и 2001 гг. Между рейтингами бизнес-школ за эти два года существует корреляция в 0,88, а между рейтингами педагогических вузов – только 0,78. Таким образом, перечень лучших 50 школ в 1995 г. очень похож на такой же перечень 2001 г., в то время как рейтинги педагогических вузов за эти два года различаются весьма значительно. В течение шести лет (1995–2001) в формулу рейтинга педагогических вузов было внесено 20 изменений, формула рейтинга бизнес-школ менялась всего 8 раз.

Итак, значительные подвижки в рейтинге объясняются изменениями, внесенными в формулу подсчета итоговых баллов рейтинга, но не только ими. Например, применяемая U.S. News and World Report формула рейтинга для школ права также подверглась в упомянутый период значительным изменениям (ее исправляли 14 раз), однако рейтинг 50 лучших юридических вузов 1995 г. очень похож на рейтинг 2001 г. (r = 0,92). Это объясняется высокой корреляцией показателей, используемых для оценки качества юридических вузов. В таком случае изменения формулы итогового балла рейтинга не оказывают значительного влияния на взаимное расположение вузов в рейтинговой таблице.

Метод взвешивания и суммирования представляет собой попытку сравнения качества вузов по единому интегрированному баллу, который, однако, не всегда адекватно характеризует качество вузов. Тому есть несколько причин. Во-первых, итоговый балл рейтинга представляет собой единую оценку различных аспектов качества колледжей и программ, подвергающихся ранжированию. Однако не всегда имеется достаточно данных, чтобы равномерно охватить различные стороны многогранного образовательного процесса (Lombardi et al., 2001). К тому же используемые показатели не всегда достаточно надежны и действенны для целей сравнения высших школ (Cantor, 1996). Все эти проблемы еще усиливаются при расчете итогового балла с применением весовых коэффициентов (Casper, 1996). Достоверность рейтинга становится еще более сомнительной, если учесть многократные изменения формулы расчета рейтинга. В таком случае не всегда можно понять, объясняются ли годичные подвижки в рейтинге реальным изменением уровня качества, или изменением формулы.

В табл. 4 и 5 эта неопределенность истинного смысла итогового балла проявляется очень отчетливо. Данные в таблицах рассчитаны по формуле, которая описана в пояснении после таблиц. (Подробности см. в Clarke, 2002). В целом в таблицах показано, как меняются итоговые баллы, присвоенные вузам журналом U.S. News and World Report, в результате незначительных изменений показателей и весовых коэффициентов. Разница в оценках из-за этих изменений позволяет оценить «интервал погрешности» оценки. Затем на основе этого интервала погрешности можно провести t-тест, который позволит оценить, насколько значительна статистическая разница между итоговыми баллами отдельных школ.

Результаты сравнения отдельных школ для двух рейтингов (бизнес-школ и педагогических вузов) приведены в табл. 4 и 5. В каждой таблице вузы расположены в порядке убывания итоговой оценки, присвоенной им рейтингом U.S. News and World Report (оценка приводится в скобках после названия вуза). Для сравнения двух вузов надо найти пересечение ряда, в котором находится один вуз, с колонкой, где указано название второго. Символы в ячейках означают следующее: стрелка вверх – итоговый балл вуза, расположенного по горизонтали, значительно выше, чем итоговый балл вуза, расположенного по вертикали; стрелка вниз - итоговый балл вуза, расположенного по горизонтали, значительно ниже, чем итоговый балл вуза, расположенного по вертикали; заштрихованная ячейка с кружочком – статистически значительной разницы не наблюдается. Пустые клетки по диагонали означают, что вуз сравнивается сам с собой.

 

Табл. 4 (здесь). Рейтинг бизнес-школ в 2001 г., подсчитанный по методике U.S. News and World Report

Табл. 5 (здесь) Рейтинг педагогических вузов в 2001 г., подсчитанный по методике U.S. News and World Report

 

Пояснения к табл. 4 и 5. Метод выкидного ножа

Формула U.S. News and World Report заменяется регрессивной моделью за счет использования итоговых баллов вузов в качестве значений функции, а показателей в качестве значений переменных (процесс в общем заключается в замене одной линейной модели другой). Процедура заключается в том, что из регрессивной модели каждый раз исключается по одному показателю, и итоговый балл подсчитывается по оставшимся показателям. Затем цикл повторяется поочередно со всеми другими показателями. На основе полученных значений рассчитывается стандартная погрешность для одной школы по формуле (Efron and Tibshirani, 1993): (формула),

где n – число моделей, которые предстоит оценить, а (символ) – прогнозируемый балл школы по i-й регрессионной модели с исключением одного показателя.

Эта стандартная погрешность может быть использована в t-тесте для того, чтобы оценить наличие статистически значительного различия между итоговыми баллами вузов. Из-за многочисленных сравнений вероятность ошибки типа I (обнаружение значительной разницы там, где ее нет) растет. Для контроля роста вероятности применяется метод многочисленных сравнений Bonferroni (см. Glass and Hopkins, 1996).

Если бы значения итоговых баллов были свободны от погрешностей, табл. 4 и 5 были бы заполнены только стрелками, направленными вверх или вниз, за исключением случаев, когда два вуза имеют одинаковый рейтинг. Однако заштрихованные ячейки в каждой таблице свидетельствуют об обратном. В табл. 5 заштрихованных ячеек больше, следовательно, «фактическую» разницу итоговых баллов педагогических вузов вычислить труднее, поскольку они значительно зависят от используемых показателей и весовых коэффициентов. В табл. 4 заштрихованных ячеек меньше. Этот факт свидетельствует о том, что «фактическую» разницу итоговых баллов бизнес-школ найти легче, т.к. итоговые баллы бизнес-школ, как правило, достаточно стабильны. Совершенно очевидно, что «фактических различий» между бизнес-школами гораздо меньше, чем следует из рейтинговых баллов, присвоенных этим вузам журналом U.S. News and World Report (Поскольку группировка в табл. 4 и 5 зависит от числа вузов, подвергшихся анализу (если бы в таблицы вошли данные по всем обследованным вузам из 341, то они расположились бы иным образом), она демонстрирует «ложную точность» итогового балла, рассчитанного методом взвешивания и суммирования).

 

ЗАКЛЮЧЕНИЕ

Любые начинания в области рейтингов академического качества неминуемо наталкиваются на сложности, связанные с необходимостью количественно охарактеризовать не имеющий четких границ комплекс сложных процессов преподавания, обучения и исследований и ресурсы, на которых базируются эти процессы. Совершенно очевидно, что подбор показателей не должен осуществляться произвольно. Необходимо разумно оценивать достоинства и недостатки каждого показателя, а также их действенность, надежность и возможность сравнения для целей ранжирования вузов или учебных программ. При выборе метода перевода этой информации в формат рейтинга следует руководствоваться пониманием природы качества вузов или программ, подлежащих ранжированию, а также взаимозависимостями между используемыми показателями. Помимо этих общих соображений, для решения методологических проблем, возникающих на каждом этапе подготовки рейтинга, имеет смысл задаться следующими вопросами:

Что необходимо ранжировать?

Что подвергаются ранжированию: вузы, отдельные кафедры или учебные программы? От ответа на этот вопрос зависит подход к выбору показателей и единицы измерения. К примеру, при составлении рейтинга бизнес-школ показатели должны характеризовать именно бизнес-школы, а не университеты, в состав которых они входят, т.е. для вычисления, скажем, отношения числа студентов к численности преподавательского состава необходимо воспользоваться данными, относящимися к бизнес-школе, а не ко всему университету. Кроме того, следует учесть, что даже школы, специализирующиеся в одной области знаний, могут значительно различаться, и не стоит пытаться втиснуть их в один рейтинг. Так, миссия некоторых педагогических вузов заключается в первую очередь именно в подготовке учителей, в то время как другие ставят перед собой научно-исследовательские цели. В таком случае достаточно трудно сравнивать качество этих вузов. Лучше подготовить два отдельных рейтинга.

 

Зачем готовится рейтинг? Для кого он предназначен?

Рейтинг может преследовать самые различные цели – информировать общественность, установить стандарты или дать толчок к усовершенствованию. Соответственно меняются и потенциальные потребители рейтинга, среди которых могут быть студенты, их родители, вузы или широкая общественность. Подбор показателей и выбор методики также зависит от целей рейтинга и его потенциальных потребителей. Очевидно, что рейтинг колледжей, который должен помочь школьникам определиться с дальнейшим образованием, существенно отличается от рейтинга, предназначенного для руководителей колледжей или разработчиков политики в области высшего образования.

 

Как повысить достоверность показателей?

Помимо всего вышесказанного, использование данных за несколько лет способствует повышению полезности и надежности информации. Этот подход позволяет исключить любые аномалии (например, пики или провалы), искажающие рейтинг вуза. Предпочтительнее также пользоваться не точечными значениями, а интервальными оценками, которые достовернее отражают разброс качества конкретного вуза или программы.

Достоверность показателей зависит от того, как вузы манипулируют собранной информацией. К примеру, вуз может занизить число зачисленных, чтобы показатель селективности выглядел солиднее. Избежать этого поможет внедрение стандартных процедур сбора, обработки и предоставления данных. Однако, самая значительная проблема, несомненно, вызвана стремлением вузов любой ценой улучшить свой рейтинг.

 

В каком виде представить информацию потребителям?

Выбор методов рейтинга зависит от целей и условий подготовки рейтинга. Тем не менее ценность рейтинга возрастет, если он будет понятен всем, даже случайным пользователям. Например, можно разместить данные по показателям в Интернете, с тем, чтобы пользователь мог сам выбрать формулу расчета рейтинга с учетом своих собственных нужд. Можно дать пользователю возможность самому выбирать показатели и присваивать им определенную важность (вес) в итоговом балле. Кроме того, пользователь может сам задавать минимальное требуемое значение каждого показателя.

 

Как часто публиковать рейтинги?

Частота публикации рейтингов всецело зависит от желания его составителей. Однако, поскольку вузы в целом являются достаточно стабильными системами, и их качество с течением времени меняется медленно, весьма сомнительно, что с точки зрения рядового потребителя есть необходимость публикации рейтингов чаще, чем раз в год.

 

Как часто менять подход?

Рейтинги должны реагировать на изменения в области образования. Соответственно, если меняется образование, должны меняться и показатели рейтинга. Возникновение дистанционного обучения и виртуальных аудиторий - примеры начинаний, которые коренным образом изменили концепцию и количественные показатели оценки академического качества. Однако, необходимо из года в год сохранять определенный набор показателей, по которым потребители смогут оценить стабильность качества данного вуза.

И в заключение хотелось бы заметить, что непременным успехом любого начинания в области рейтинга является его полная информационная открытость. Необходимо четко и достоверно освещать методы подбора показателей, способ перевода информации в формат рейтинга и обеспечить всем желающим возможность доступа к исходным данным.

 

БИБЛИОГРАФИЯ

Cantor, G. “Universities Increasingly Question the Criteria of College Rankings”, The Detroit News (1 December 1996): 3.

 

Camilli, G., and Firestone, W. A. “Values and State Ratings: An Examination of the State-by-State Education Indicators in Quality Counts”, Educational Measurement: Issues and Practice 18 4 (2000): 17-25.

 

Casper, G. “Letter to the editor of U.S. News and World Report” (23 September 1996). Retrieved 17 February 1999 from
.

 

Clarke, M. “Quantifying Quality: What Can the U.S. News and World Report Rankings Tell Us about the Quality of Higher Education?”, Education Policy Analysis Archives 10 16 (2002a). Available at: .

 

Clarke, M. “News or Noise: An Analysis of U.S. News and World Report’s Ranking Scores”, Educational Measurement: Issues and Practice 21 4 (2002b).

 

Efron, B., and Tibshirani, R. J. An Introduction to the Bootstrap. New York: Chapman and Hall, 1993.

 

Evaluation News 2 1 (February 1981): 85-90.

 

Garrett, G. “Our Method Explained”, U. S. News and World Report Best Graduate Schools 2003 Edition. Washington, DC: U.S. News and World Report, 2002, pp. 34, 35.

 

Glass, G. V., and Hopkins, K. D. Statistical Methods in Education and Psychology. 3rd ed. Needham Heights, Massachusetts: Simon and Shuster, 1996.

 

Hattendorf, L. C., ed. Educational Rankings Annual. Detroit, Michigan: Gale Research Inc., 1993.

 

Linn, R., ed. Educational Measurement. 3rd ed. Washington, D.C.: American Council on Education, 1993.

 

Lombardi, J., Craig, D., Capaldi, E., Gater, D., and Mendon, S. The Top American Research Universities. Gainesville, Florida: The Center, University of Florida, 2001.

 

Morse, R. J., and Flanigan, S. M. “How We Rank Schools”, U.S. News and World Report America’s Best Colleges. 2002 edition. Washington, D.C.: U.S. News and World Report, 2001, pp. 67-70.

 

Sanoff, A. “Rankings Are Here to Stay: Colleges Can Improve Them”, The Chronicle of Higher Education 45 2 (4 September 1998): A96.

 

Scriven, M. Evaluation Thesaurus. 4th ed. Newbury Park, California: Sage, 1991.

 

Seaman, B. “What Makes a Good college”, Time 152 17 (26 October 1998): 1-2.

 

Webster, D. S. Academic Quality Rankings of American Colleges and Universities. Springfield, Illinois: Charles C. Thomas, 1986.

Дадаць дакумент у свой блог ці на сайт

Падобныя:

Некоторые идеи о рейтингах академического качества маргерит кларк iconПлан мероприятий инновационного молодёжного марафона «Сибирский характер: от идеи до продукта!»
Всероссийская научно-методическая конференция «Нравственная составляющая качества профессиональной деятельности и ее формирование...

Некоторые идеи о рейтингах академического качества маргерит кларк iconДело №5-78-12. 15. 4/10 постановление
Мировой судья судебного участка №220 Академического района г. Москвы Перова С. Ю., исполняющий обязанности мирового судьи судебного...

Некоторые идеи о рейтингах академического качества маргерит кларк iconДорожно-транспортное пришествие
На прошлой неделе Владимир Путин на заседании Госсовета поручил правительству изыскать дополнительные средства для повышения качества...

Некоторые идеи о рейтингах академического качества маргерит кларк iconПрограмма курса «Специалист по smm»
Параллельно с этим изменяется и образ успешного pr-специалиста. Разносторонние знание, наличие четкой позиции, нестандартное мышление,...

Некоторые идеи о рейтингах академического качества маргерит кларк iconОсновные свойства бумаги санитарно-гигиенического назначения
Некоторые параметры качества тиссью, а также основные приборы, с помощью которых можно проверить их соответствие, мы рассмотрим в...

Некоторые идеи о рейтингах академического качества маргерит кларк iconАвторы идеи: Н. Крайнер, Гала Рубинштейн, Макс Фрай Координатор, оракул, составитель и автор комментариев Макс Фрай
При составлении комментариев были использованы некоторые материалы цикла лекций Е. Н. Колесова "Таро Тота" и результаты личных наблюдений...

Некоторые идеи о рейтингах академического качества маргерит кларк iconБудайские паши – дети Кавказа
Естественно, некоторые из них, проявившие особые бойцовские качества, руководящие способности и доказавшие абсолютную преданность...

Некоторые идеи о рейтингах академического качества маргерит кларк iconО. М. Гладенко к ю. н., доцент кафедры
Особое внимание уделено вопросу развития федеративной идеи на примере положений Лиссабонского договора 2007 г. Изложены выводы относительно...

Некоторые идеи о рейтингах академического качества маргерит кларк iconРепертуар Краснодарского академического

Некоторые идеи о рейтингах академического качества маргерит кларк iconНам, на память их произведения
Отсюда многие наnравлялись на руководящие должности в партийные и советские органы, nромышленные министерства и главки, унося на...

Размесціце кнопку на сваім сайце:
be.convdocs.org


База данных защищена авторским правом ©be.convdocs.org 2012
звярнуцца да адміністрацыі
be.convdocs.org
Галоўная старонка