Статьи по экономическим темам
  • Регистрация
1 1 1 1 1 1 1 1 1 1 Рейтинг 0.00 (0 Голоса)

КОМБІНУВАННЯ РЕЙТИНГОВИХ ОЦІНОК  ВИЩИХ НАВЧАЛЬНИХ ЗАКЛАДІВ.

Відомо, що наука та вища школа визначають рівень і темпи науково-технічного, економічного, культурного і соціального прогресу суспільства, збагачують його інтелектуальний потенціал, спрямовують всебічний розвиток людини як найвищої суспільної цінності.

Діяльність системи освіти в цілому та окремого вищого навчального закладу (ВНЗ) періодично стикається з необхідністю здійснення принципових змін, адже змінюються економічні умови в державі, розвиваються наука і техніка, трансформуються підприємства та цілі галузі.

Найбільшу важливість тут набуває проблема компромісу між кількістю та якістю. Адже розширення обсягів послуг, які надаються, має забезпечуватися виконанням високих стандартів.

Механізм ліцензування та державної акредитації ВНЗ сприяє, на нашу думку, встановленню порогу мінімально допус-
тимої якості підготовки фахівців. Фахові ради та Міністер-
ство освіти та науки України нагромадили достатньо інформації, яка може бути використана для з’ясування тенденцій, у
тому числі й прихованих, у галузі вищої освіти. Тут є сенс послуговуватися методологією рейтингового оцінювання та управ­ління.

На важливості методики визначення рейтингу конкретного ВНЗ серед їх вибірки наголошують ряд авторів [1; 2; 3].

Сама по собі проблема добору показників для оцінки такого багатогранного комплексу, яким є вищий навчальний заклад, справа не з легких. Необхідні інструменти, що відображають складність цього «організму», який постійно змінюється, але одночасно є достатньо функціональними та практичними, простіше кажучи — зручними для розуміння процесів, що відбуваються в ВНЗ, або тенденцій його розвитку, а отже, стану системи вищої освіти в цілому.

Процес визначення рейтингу складається з таких основних кроків (етапів):

1) збір, систематизація та аналітична обробка інформації (статистичної чи/та експертної) протягом обраного для аналізу ретроспективного періоду;

2) вибір та обґрунтування системи показників, які використовуються для кількісного обчислення рейтингової оцінки, їх струк­туризація та шкалювання (девербалізація);

3) розроблення методики та інструментарію щодо обчислення інтегрованого показника рейтингової оцінки;

4) ранжування ВНЗ (елементів вибірки) згідно з кількісними значеннями інтегрованого показника для кожного елементу ви-
бірки.

У [2] пропонується підхід, згідно з яким необхідно сформувати матрицю з елементів aij (i = 1…n; j = 1…m), рядки якої (i = 1…n) означають номери відповідних деталізованих показників якості освітніх послуг ВНЗ, а стовпчики (j = 1…m) — номери з вибірки ВНЗ, рейтинг яких визначається. Тут також зазначається, що побудова інтегрованого показника, згідно з яким здійснюватиметься рейтингова оцінка, формується (у більшості випадків) з урахуванням вагомості (пріоритетності, важливості) окремих деталізованих показників чи їх підмножин. Серед низки альтернативних показників, що наводяться в [2], можна, зокрема, виокремити такі, як та :

, (1)

де — інтегрований кількісний показник якості освітніх послуг j-го ВНЗ, j = 1 … m; xij — нормалізоване значення кількісної оцінки i-го показника для j-го ВНЗ; ki — ваговий коефіцієнт i-го показника.

Якщо i-й показник оцінки якості освітніх послуг має додатний інгредієнт, тобто, чим більше його значення, тим краще, то:

, (2)

де І1 — підмножина показників, які мають додатний інгредієнт;

— мінімальне кількісне значення і-го показника у вибірці ВНЗ,

,

де — максимальне кількісне значення і-го показника у вибірці ВНЗ,

.

Якщо ж і-й показник оцінки якості освітніх послуг має від’ємний інгредієнт, тобто, чим менше його значення, тим краще, то:

, (3)

де І2 — підмножина показників, які мають від’ємний інгредієнт.

, (4)

де — інтегрований кількісний показник якості освітніх послуг та умов їх надання (рейтингова оцінка) j-го ВНЗ, .

Зазначимо, що вагові коефіцієнти , , , які містяться у формулах (1) та (4), можуть бути нормалізованими, тобто

, (5)

де 0 < v <1, зокрема, якщо n £ 225 то .

Необхідно також приділити певну увагу питанню визначення вагових коефіцієнтів обраних критеріїв оцінювання якості освітніх послуг ВНЗ, умов або результатів їх надання.

Існує ряд методів отримання вагових коефіцієнтів. У рамках даного дослідження пропонуємо звернутися до різноманітних методів експертних оцінок з метою визначення вагових коефіцієн­тів кожного з деталізованих показників, оскільки безпосередньо виміряти їх неможливо. На практиці це вимагає послідовної реалізації наступних етапів:

·  формулювання мети визначення рейтингу ВНЗ;

·  вибору одного чи кількох методів експертного оцінювання та розробки процедури опитування;

·  формування груп експертів (розглянемо експерта як людину, яка робить пріоритетний вибір або встановлює логічний зв’язок, що об’єктивно існує між якістю освітньої діяльності ВНЗ та запропонованими критеріями її оцінювання (між причиною та наслідком));

·  проведення опитування експертів;

·  аналізу та обробки інформації, яка отримана від експертів.

Широта розв’язуваної проблеми зумовлює потребу залучення фахівців різного профілю до експертного визначення вагових коефіцієнтів показників. Важливим є ставлення обраних експертів до експертизи — негативне, пасивне або заангажоване ставлення експерта істотно відіб’ється на результаті його роботи. Пропонується формування трьох незалежних одна від одної груп експертів, які використовують різні методи експертних оцінок для визначення вагових коефіцієнтів показників.

Перша група експертів може використати метод аналізу ієрар­хій [4; 5]. До складу даної групи експертів, на нашу думку, мають входити члени середньої та вищої ланок управління різних ВНЗ. Загальна кількість експертів, які входять до її складу, може бути 5—7 осіб. Другій групі пропонується використати безпосередньо метод експертних оцінок для визначення вагових коефіцієнтів кожного з деталізованих показників ієрархії. До її складу можуть залучатися керівники різноманітних підприємств та установ (тобто потенційні роботодавці), співробітники Міністерства освіти та науки України, безпосередні користувачі освіт­ніх послуг тощо (5—7 осіб). До третьої групи пропонується залучити висококваліфікованих фахівців-аналітиків у галузі оброб­ки експертної інформації (3—5 експертів). Вони визначають значущість кожного з описаних методів при їх комбінуванні й остаточно обраховують вагові коефіцієнти деталізованих показників.

Використання методу аналізу ієрархій першою групою експер­тів передбачає виконання таких кроків [6].

Крок 1. Аналіз багаторівневої ієрархічної структури, яка містить на верхньому рівні інтегрований (синтезований) показник, згідно з яким визначається рейтингова оцінка ВНЗ, нижче — част­кові критерії (блоки показників) і т. д. На найнижчому рівні ієрархії розташовані деталізовані показники, для яких немає сенсу подальша їх деталізація.

Крок 2. Побудова матриць попарних порівнянь елементів ієрархічної структури, що перебувають на певному рівні ієрархії (окрім інтегрованого) з погляду критерію безпосередньо вищого рівня, який деталізують порівнювані елементи.

Крок 3. Обчислення значень вагових коефіцієнтів (векторів) кожного з елементів ієрархічної структури (окрім інтегрованого), з погляду елемента, який перебуває на безпосередньо вищому рівні ієрархії.

Необхідно зауважити, що після реалізації третього кроку є сенс здійснити перевірку органічності та адекватності кількісної оцінки пріоритетів.

Крок 4. Обчислення вектора вагових коефіцієнтів деталізованих показників якості освітніх послуг, які розташовані на найнижчому рівні ієрархічної структури з погляду інтегрованого показника, що перебуває на вершині ієрархічної структури.

Тобто обчислюються кількісні значення вагових коефіцієнтів деталізованих показників та проводиться їх нормалізація. Отримані коефіцієнти повинні задовольняти умові (5).

Експертам, які входять до першої групи, надаються такі робочі матеріали: ієрархія показників; таблиця, що містить перелік критеріїв, коментарі та їх ідентифікатори; матриці та шкала попарних порівнянь вагомості показників.

Детальніше спосіб обробки інформації, отриманої від експертів, за допомогою методу аналізу ієрархій описано, зокрема, в [4; 5].

Розглянемо процедуру визначення вагових коефіцієнтів запропонованих критеріїв експертами другої групи.

Кожному деталізованому критерію надається відповідна, на думку експерта, якісна оцінка.

На основі оцінок окремих експертів здійснюється перехід до розрахунку колективної оцінки важливості обраних критеріїв. Адже вважається, що оцінка групи експертів надійніша за думку окремого експерта, оскільки вона відображає узагальнену та більш представницьку думку. Розглянемо алгоритм її визначення.

З урахуванням оцінки кожного експерта визначимо абсолютну вагу і-го критерію:

, , (6)

де — абсолютна (сумарна) вага, що присвоюється усіма експертами другої групи і-му критерію, L — кількість залучених експертів.

У формулу (6) можна ввести коефіцієнт компетентності експерта. В даному випадку його можна проігнорувати.

Групова оцінка може вважатись достатньо надійною тільки за умови чіткої узгодженості відповідей експертів. Тому при обробці думок експертів необхідно враховувати їх узгодженість або коефіцієнт конкордації та виявляти й аналізувати причини можливої розбіжності оцінок.

Оберемо наступний спосіб аналізу узгодженості оцінок експер­тів. Позначимо через ваговий коефіцієнт i-го критерію l-м експертом. У результаті обробки цих оцінок можуть бути отримані наступні показники:

— середня оцінка вагового коефіцієнта і-го показника (точкова оцінка для даної групи експертів), яка характеризує узагальнену думку експертів. Обчислимо її за формулою

, . (7)

Дисперсія оцінок, яка характеризує розкид думки окремих експертів відносно середнього значення оцінки вагового коефіцієнта і-го показника, обчислюється за формулою

. (8)

Коефіцієнт варіації, який подає розкид (варіацію) оцінок експертами вагового коефіцієнта і-го показника (і = 1 … n), визначимо за формулою

. (9)

Звичайно, середня оцінка, дисперсія та коефіцієнт варіації несуть певну інформацію про ступінь узгодженості думок експертів, але найбільш прозорим та інформативним є коефіцієнт конкордації, який розраховується наступним чином.

Як і раніше — — ваговий коефіцієнт, що присвоюється
і-му критерію l-м експертом, де і = 1 … n, l = 1 … L.

Знайдемо абсолютну вагу i-го критерію за формулою (6).

Далі визначимо середнє абсолютне значення вагового коефіцієнта усіх критеріїв ():

. (10)

Використовуючи формулу (10), розрахуємо суму квадратів відхилень (S) абсолютної ваги кожного критерію від середнього значення за формулою

. (11)

Після цього визначається коефіцієнт конкордації (K) за формулою

. (12)

Коефіцієнт конкордації, обчислений за формулою (12), приймає значення від 0 до 1. Чим більше його значення наближається до 1, тим більше ступінь узгодженості думок експертів. Якщо коефіцієнт конкордації дорівнює 1, то думки експертів повністю збігаються, якщо ж він дорівнює 0 — узгодженість оцінок експертів абсолютно відсутня. В останньому випадку необхідно, щоб кожний експерт дав розгорнуту аргументацію своїх оцінок, з якою повинні ознайомитись всі експерти, після чого експертиза повторюється з початку. Процес триває до отримання узгодженої (з наперед заданим значенням коефіцієнта конкордації) колективної оцінки по кожному з критеріїв.

У результаті отримаємо вагові коефіцієнти, які обчислюються за формулою (7).

Третя група експертів працює з результатами, наданими першими двома групами. Ця група самостійно обирає вагу значущості першого (l) та другого (1 – l) методів і пропонує узгоджений остаточний варіант вагових коефіцієнтів показників якості освітніх послуг за формулою

, , де .

Для визначення кількісної оцінки значущості l можна, знову ж таки, скористатися методом аналізу ієрархій, порівнюючи між собою два наведені способи отримання вагових коефіцієнтів та надаючи першому з них відповідного значення пріоритету за обраною шкалою.

У [2], окрім та , наводяться формули інших інтегрованих показників. Існують й інші підходи до побудови критеріїв, за якими здійснюється рейтингова оцінка.

Отже, маємо низку відмінних між собою інтегрованих показників, згідно з якими відбувається рейтингове оцінювання. Постає питання: обрати один з альтернативних показників чи здійснити їх комбінування?

Загальна картина, що склалася в результаті огляду відповідної наукової літератури, свідчить, що теоретичні переваги від комбінування рейтингів не завжди реалізуються на практиці. Жоден з методів комбінування не переважає інші в усіх конкретних випад­ках. Але якщо відібрано кілька альтернативних критеріїв рейтингової оцінки для їх включення до комбінації, це робиться для того, щоб дещо знизити завжди присутній у рейтинговому оцінюванні елемент суб’єктивізму. Оскільки немає абсолютно точного шляху визначення доброго чи поганого рейтингу, залишається деякий елемент суб’єктивізму.

Існує широке поле для подальших досліджень, зокрема й емпіричних, ефективності різних способів комбінування, а також і щодо надання практичних рекомендацій стосовно вибору методів комбінування.

Опишемо один, на нашу думку, досить ефективний підхід. Нехай обрано Sальтернативних інтегрованих показників , s = 1 … S. Можна здійснити їх комбінування, використовуючи просте середнє, тобто:

, (13)

де — комбінований кількісний показник рейтингового оцінювання.

Можна також скористатися методом аналізу ієрархій, який дає можливість оцінити вагові коефіцієнти ms, s = 1 … S, за якими здійснюється комбінування окремих інтегрованих показників. Нехай це буде адитивна згортка :

. (14)

Зазначимо, що

. (15)

Приймемо наступні гіпотези:

1. Трактуватимемо величини , (вагові коефіцієнти комбінованої рейтингової оцінки , ) як випадкові величини, що розподілені на інтервалах , для тих , для яких , і на інтервалах , для яких .

2. Вважатимемо, що випадкові величини xs мають рівномірні закони розподілу (виходячи з принципу недостатніх підстав чи з принципу максимальної ентропії).

Звідси маємо, що комбінована рейтингова оцінка також може трактуватися як випадкова величина.

Далі можна скористатися методами імітаційного моделювання та врахуванням ризику, які описані, зокрема в [6], адаптуючи ці методи для здійснення рейтингового оцінювання на базі комбінування низки альтернативних показників рейтингового оцінювання.

Література

1. Васильев Ю. С., Глухов В. В., Федоров М. П. Экономика и организация управления вузом: Учебник. 2-е изд., испр. и доп. / Под ред. В. В. Глухова. — СПб.: Лань, 2001. — 544 с.

2. Вітлінський В. В., Оболенська Т. Є., Жигоцька Н. В. Моделювання рейтингової оцінки вищого навчального закладу // Економічна кібернетика. — 2000. — № 3—4. — С. 64—73.

3. Михеева Н. А., Галенская Л. Н. Менеджмент в социально-куль­турной сфере: Учеб. пособие. — СПб.: Изд-во Михайлова В. А., 2000. — 170 с.

4. Андрейчиков А. В., Андрейчикова О. Н. Анализ, синтез, планирование решений в экономике. — М.: Финансы и статистика, 2000. — 368 с.: ил.

5. Saaty T. The analytic hierarchy process // Me Graw-Hill, New York. 1980.

6. Вітлінський В. В. Аналіз, оцінка і моделювання економічного ризику. — К.: ДЕМІУР, 1996. — 212 с.

Н. В. Жигоцька, ст. наук. співробітник
Науково-дослідний інститут розвитку економіки КНЕУ

Добавить комментарий


Защитный код
Обновить