Оценка согласованности оценок экспертов

Групповое ранжирование объектов, полученное на основе близких индивидуальных ранжирований, вызывает обычно большее доверие, чем ранжирование, полученное на основе существенно различающихся индивидуальных ранжирований. Количественная оценка согласованности экспертных ранжирований и выяснение причин имеющихся расхождений очень важны для анализа результатов экспертизы. Такой анализ позволяет обнаружить ошибки расчета, а в ряде случаев выявляет существенное различие в подходах экспертов к оценке некоторых объектов. Экспертные оценки нельзя считать случайными величинами, если экспертами являются компетентные (по вопросам данной экспертизы) специалисты.

Для оценки согласованности двух экспертных ранжирований можно использовать коэффициент ранговой корреляции Кендалла %%r_k%%. Коэффициент ранговой корреляции %%r_k%% , как и обычный коэффициент корреляции, принимает значения от – 1 до + 1. При полном совпадении экспертных ранжирований %%r_k%% = 1, а при строго противоположных ранжированиях %%r_k%% = – 1.

В качестве показателя согласованности группового ранжирования М. Кендалл ввел коэффициент конкордации %%W%% (англ. concord – согласие), оценивающий относительную величину суммы квадратов разности рангов. При этом рассматривается разность между суммой рангов %%\sigma_i%% , приписываемых всеми экспертами %%i%%- му объекту, и средним значением такой суммы %%\sigma_{ср}%%.

При решении практических задач близость показателя согласованности экспертных ранжирований к одному из крайних значений считаются нежелательной. Если величина показателя согласованности близка к нулю, то это обычно свидетельствует либо о недостаточной компетентности по крайней мере части экспертов, либо о нечеткой формулировке организаторами экспертизы того качественного признака, по которому объекты сравниваются между собой. Сложный качественный признак может пониматься экспертами по-разному, в этом случае они могут оценивать объекты на основе несовпадающих частных признаков.

Величина показателя согласованности оказывается близкой к единице чаще всего в случаях, когда задача ранжирования объектов тривиальна и в действительности нет необходимости в создании экспертной группы для ее решения.