Точность и надежность процедуры ранжирования сильно зависит от количества объектов ранжирования. Чем меньше таких объектов, тем легче эксперту их различать. Поэтому количество ранжируемых объектов не должно быть больше 20, а желательно, чтобы их было меньше 10. При малом числе объектов возможно их непосредственное ранжирование, а при числе объектов 7 ± 2 эксперт может иметь заметные трудности в выборе наилучшего объекта.
Дело в том, что человек в состоянии выбрать наилучший объект, не прибегая к парным сравнениям только когда число объектов не больше емкости его кратковременной памяти, которая не превышает 9 единиц информации. Иначе результат непосредственного ранжирования становится ненадежным.
При большом числе объектов интуитивные оценки экспертов становятся ненадежными, и приходится прибегать к формализованным процедурам экспертного оценивания. В этом случае эксперт должен представить для дальнейшей обработки результаты проведенных им парных сравнений объектов. В зависимости от типа решаемой задачи эксперт должен либо определить более предпочтительный объект каждой рассматриваемой пары (или признать объекты пары равноценными по рассматриваемому признаку), либо указать, во сколько раз один из объектов предпочтительнее другого. Полученная таким образом исходная информация обрабатывается формальными логически обоснованными методами.
Сравнивая два объекта, эксперт может определить более предпочтительный из них, либо признать эти объекты эквивалентными. В методе парных сравнений от эксперта не требуется последовательности в суждениях, т.е. предпочтения эксперта не обязательно должны быть транзитивными. Это условие особенно существенно при большом числе оцениваемых объектов, когда эксперту даже при желании трудно запомнить высказанные им ранее суждения о предпочтениях.
Нетранзитивность экспертных предпочтений отнюдь не является редким событием. Установлено, что число таких суждений велико и может достигать 30 % от их общего количества, особенно при сравнении нечетких множеств.
Основная причина этого явления заключается в способе мышления человека, который обычно стремится заменить сложную проблему последовательностью более простых задач. Выбор по сложному качественному признаку также может быть представлен как выбор по совокупности нескольких более простых признаков. А далее может происходить следующее: эксперт, сравнивая одну пару объектов, принимает за решающий один частный признак, а сравнивая другую пару объектов, может посчитать более важным другой частный признак. Это и приводит к противоречивости его суждений.
Метод ранжирования редко используется в чистом виде. Обычно его сочетают с другими методами, облегчающими различимость альтернатив для экспертов. К примеру, сначала может быть произведена оценка величин, а уж затем их ранжирование.
Для установления более тесной связи между оценками, приписываемыми экспертами отдельным объектам, их зачастую нормируют. Нормирование любой меры означает, что представляющее ее число для всего множества в целом принимается равным единице. Для нормирования каждой конкретной оценки сначала суммируются оценки по всем объектам, а затем каждая из них делится на полученную сумму.
Когда в экспертизе участвуют несколько экспертов, обычно стремятся получить усредненную оценку (вес) для каждого объекта. Для этого нормированные оценки каждого объекта суммируются, а затем полученная сумма делится на число экспертов.
Метод последовательных предпочтений | Оценка согласованности оценок экспертов |