Метод экспертных оценок предполагает ряд процедур, направленных на получение необходимого и достаточного набора суждений специалистов, их интеграции в общий практический вывод. Различают очные и заочные (как правило, анонимные) опросы, а также одноразовые и многоразовые (в несколько туров) опросы.
Основными разновидностями очного опроса являются «мозговая атака», которая достаточно подробно была описана выше, «метод комиссии» и «метод отнесенной оценки». Основные заочные техники – разовый анонимный опрос и метод Дельфи.
Одним из широко распространенных методов групповой оценки является метод Дельфи (Дельфы – греческий город, мудрецы которого славились предсказаниями будущего). Этот метод был разработан О. Хелмером и Т. Гордоном (США) в середине 50-х годов ХХ в. для составления всевозможных прогнозов. В основу метода положена идея о потенциальной возможности самообучения экспертов при проведении заочного опроса в несколько туров. Гарантируется соблюдение анонимности респондентов (во избежание «давления авторитетов» и опасения «потерять лицо» при неудачном ответе). Респондентам предоставляется возможность знакомиться с материалами предыдущего тура и последовательно уточнять свои оценки по мере изучения новых аргументов.
Основные предпосылки применения метода Дельфи:
Технология проведения экспертизы методом Дельфи помогает экспертам избавиться от сковывающих факторов (мнения руководителей, господствующих взглядов большинства, эмоционального воздействия оппонентов, затруднительности публичного отказа от ранее высказанного мнения и т.п.). Вместе с тем сохраняется ценная возможность не только высказывать оригинальные суждения, но и менять их с учетом новой информации без риска для своей репутации.
Процедуры, используемые в методе Дельфи, характеризуются тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом.
Эксперты заполняют анонимные анкеты или подключаются к компьютерной сети, что повышает скорость опроса при сохранении анонимности. Анонимность опроса позволяет уменьшить влияние отдельных доминирующих экспертов.
Регулируемая обратная связь обеспечивается за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам. Статистическая обработка осуществляется так, чтобы уменьшить разброс индивидуальных оценок и получить групповой ответ, в котором правильно отражено мнение каждого эксперта. Регулируемая обратная связь позволяет уменьшить случайные отклонения, вызванные влиянием индивидуальных и групповых интересов, не связанных с решаемой проблемой. Введение обратной связи вносит элемент объективности и делает оценки более надежными.
Проведение опросов в несколько туров, в течение которых осуществляется ряд последовательных итераций (экспертов информируют о результатах предыдущих этапов опроса и предлагают в ряде случаев обосновать свое мнение), позволяет уменьшить колебания в индивидуальных ответах, ограничивает внутригрупповые колебания.
Это не значит, конечно, что частные заключения меньшинства или одиночек не должны приниматься во внимание. Напротив, их стоит исследовать особенно тщательным образом. Но для рекомендаций в сфере планирования и управления прежде всего важны максимально надежные оценки. В этом отношении согласованное мнение большой группы первоклассных экспертов имеет важное значение.
Обычно опрос проводится в четыре тура, если, конечно, эксперты не пришли к согласию ранее. Во время каждого тура эксперт должен выразить свое мнение в виде числа на заранее подготовленной шкале оценок. Аналитики обрабатывают полученные оценки и рассчитывают медиану и квартили.
После первого тура каждому эксперту сообщается значение медианы и размах между крайними квартилями. По существу после первого тура эксперты знакомятся с итоговыми характеристиками позиции группы в целом. Экспертов, чьи оценки оказались в крайних квартилях, просят обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы и возражения, как и во время любой дискуссии. Они могут пересмотреть свои мнения и при желании исправить оценки. С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они.
Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого тура опроса.
Во втором туре эксперты получают возможность либо сблизить свое мнение с позицией большинства, либо изучить и обсудить причину отклонения. В последующих турах участников просят учесть возражения и прокомментировать их.
Практика показывает, что типичным для первого тура опроса является широкий разброс индивидуальных ответов. По мере применения итерации и обратной связи сходимость индивидуальных ответов увеличивается. Эксперименты позволяют предполагать, что при использовании метода Дельфи наличие в группе менее компетентных экспертов оказывает меньшее влияние на групповую оценку, чем при простом усреднении оценок, поскольку итерация помогает этим экспертам улучшить свои оценки за счет информации, получаемой от более компетентных специалистов.
С другой стороны, компетентные специалисты все же не располагают той полнотой информации, которая имеется у всех входящих в группу экспертов, что позволяет и им улучшать свои оценки в процессе опроса.
К недостаткам метода Дельфи следует отнести значительные затраты времени на процедуру экспертизы, а также невозможность прямого столкновения мнений экспертов, что не всегда стимулирует генерирование идей, возникающее при личных контактах специалистов.
| Экспертные оценки | Проблемы и ограничения при использовании экспертов в качестве источников информации |