Экспертные оценки. Оценка экспертная: особенности, методы проведения и результат Вывод по методу экспертных оценок

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .

Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

· открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

· закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

2. Определение способа количественной оценки показателей;

3. Определение допустимых границ изменения показателей;

4. Выбор метода поиска наилучшего варианта;

5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

Или , (2.18)

где - весовые коэффициенты, характеризующие значимость критерия . Численные значения определяются экспертами, при этом, желательно соблюдение следующего условия:

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:

Валовый внутренний (региональный) продукт;

Уровень занятости населения;

Среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

1. Агропромышленного комплекса;

2. Предприятий пищевой промышленности;

3. Отраслей социально-культурной сферы;

4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Таблица 2.3

Ожидаемые значения основных социально-экономических показателей развития региона

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ; .

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода "Дельфи":

а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

Как показала практика, метод «комиссий» имеет существенные недостатки:

Ольшое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

Нежелание экспертов публично отказываться от ранее высказанных ими мнений;

При работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.

Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

ЭКСПЕРТНЫЕ МЕТОДЫ ПРИНЯТИЯ РЕШЕНИЙ

Принимать решения можно либо на основе объективных данных (в том числе с помощью оптимизационных методов и вероятностно-статистических моделей), либо на основе мнений специалистов (экспертов). В задачах стратегического и оперативного управления, технико-экономического анализа, обеспечения экологической безопасности, управления природопользованием и охраны окружающей природной среды и т.п. постоянно используются разнообразные методы экспертных оценок. О них рассказывается в настоящей главе.

Основные идеи методов экспертных оценок

Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, менеджеры, экономисты, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина - теория и практика экспертных оценок.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов . Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

Экспертные оценки бывают индивидуальные и коллективные . Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

Другой простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже увидим, что такой подход некорректен с точки зрения теории измерений).

В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

Экспертные оценки часто используются при выборе, например:

Одного варианта технического устройства для запуска в серию из нескольких образцов,

Группы космонавтов из многих претендентов,

Набора проектов научно-исследовательских работ для финансирования из массы заявок,

Получателей экологических кредитов из многих желающих,

При выборе инвестиционных проектов для реализации среди представленных, и т.д.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).

Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики.

Один из наиболее известных методов экспертных оценок - это метод "Дельфи" . Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников. По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.

Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Несколько в стороне от основного русла экспертных оценок лежит метод сценариев , применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. Вполне очевидно, что после первого тура президентских выборов 1996 г. о дальнейшем развитии событий можно было говорить лишь в терминах сценариев: если во втором туре победит Б.Н. Ельцин, то будет то-то и то-то, если же победит Г.А. Зюганов, то события пойдут так-то и так-то.

Метод сценариев необходим не только в социально-экономической или экологической области. Например, при разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения.

Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

Построение исчерпывающего, но обозримого набора сценариев;

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям.

Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события - прилет инопланетян, падение астероида, массовые эпидемии ранее неизвестных болезней, и т.д. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария.

Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

Как известно, при принятии решений на основе анализа ситуации (как говорят, при ситуационном анализе ), в том числе анализе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

Еще один вариант экспертного оценивания - мозговой штурм . Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Основные стадии экспертного опроса. Более подробно рассмотрим отдельные этапы экспертного исследования. Как показывает опыт, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР.

2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело секретаря - ведение документации экспертного опроса, решение организационных задач.

3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса . На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется Рабочая Группа, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.

4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже). Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный опыт, информация используется не более чем на 1-2%.

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования..

6) Формирование экспертной комиссии . На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК). Возможно, часть намеченных РГ экспертов не может войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или отказывается по тем или иным причинам (занятость, условия контракта и др.). ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК , подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты - таково и качество заключения экспертной комиссии.

Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем обсуждать проблему существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика (или таблицы) псевдослучайных чисел.

Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают определенное количество (обычно 5 - 10) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, лиц из этого же "клана". Мнения и аргументы других "кланов" будут упущены. (Здесь речь идет о том, что сообщество специалистов реально разбито на группы, названные выше "кланами", и общение идет в основном внутри "кланов". Неформальная структура науки, к которой относятся "кланы", достаточно сложна для изучения. Отметим здесь, что "кланы" обычно образуются на основе крупных формальных центров (вузов, научных институтов), научных школ.)

Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели ". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун " может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Необходимо подчеркнуть, что подбор экспертов – одна из основных функций Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

О разработке регламента проведения сбора и анализа экспертных мнений. Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.

В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения на классификацию методов экспертных оценок может принести лишь вред.

Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки.

Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов.

ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.

ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР. Математические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

ДОГМА СОГЛАСОВАННОСТИ. Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в академическом Институте проблем управления (автоматики и телемеханики)).

Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР).

Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации (т.е. - в переводе - согласия) на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы по дурной традиции толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных ). Группы экспертов с близкими методами можно выделить эконометрическими методами кластер-анализа.

МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов , т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели (см., например, учебное пособие ).

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур . Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.

ДОГМА ОДНОМЕРНОСТИ. В устаревшей, а иногда и в современной научно-технической литературе распространен довольно спорный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом . Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках . Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости". Практически все реальные объекты достаточно сложны, а потому сколько-нибудь точно описать их можно лишь с помощью многих и многих чисел, а также математических объектов нечисловой природы.

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:

расход бензина на 100 км пути (в среднем);

надежность (в том числе средняя стоимость ремонта за год);

экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;

маневренность (в том числе радиус поворота);

быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;

длительность сохранения в салоне положительной температуры при низкой наружной температуре (например, минус пятьдесят градусов по Цельсию) и выключенном двигателе;

дизайн (привлекательность и "модность" внешнего вида и отделки салона);

вес, и т.д.

Можно ли свести оценки по этим показателям вместе? Ясно, что определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных служб государственного управления, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.

РАЗВИТИЕ И ПРИМЕНЕНИЕ ЭКСПЕРТНЫХ МЕТОДОВ

В СОЦИОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ

В исследовании социально-экономических и политических сис­тем управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью исследуемых проблем, отсутстви­ем надежных экспериментальных или нормативных инструментов.

Экспертиза ¾ это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаний предмета исследования и технологиях качественного анализа. Слово «эксперт» образовано от латинского «опытный». Эксперт должен обладать соот­ветствующим профессиональным опытом и развитой на его основе интуицией.

Экспертные методы завоевывают популярность по мере увели­чения доли качественных критериев в отображении и оценке соци­альных процессов. Одной из причин, вызвавших эту тенденцию, явля­ется необходимость учета интуиции опытных экспертов, выносящих заключения о целесообразности принятия того или иного варианта решения в процессе разработки и реализации программы.

Факт проникновения субъективных подходов в плоскость объек­тивной оценки рассматриваемых альтернатив, лежащий в основе ме­тодологии экспертных методов, призван обеспечить более точное и адекватное отображение свойств и признаков оцениваемого объек­та. Особую роль экспертные методы начинают играть в условиях не­стабильной экономики, когда возрастает неопределенность решения различных социально-экономических ситуаций.

Методология экспертных оценок применяется в решении следу­ющих задач:

Обоснование выбора варианта управленческого решения на ос­нове заложенных в основу оценки критериев;

Определение перспективных направлений использования име­ющихся в организации технологий;

Согласование мнений между различными уровнями управле­ния;

Проведение полной и адекватной оценки ситуации, сложившей­ся на предприятии, в отрасли и пр.

Основу методологии экспертных оценок составляют экспертные методы анализа. Экспертные методы анализа - это исследование па­раметров исследуемого объекта, основанное на принципах организа­ции коллективной мыследеятельности с использованием технологии экспертного опроса. Цель экспертного анализа заключается в пред­варительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследова­теля. Благодаря методам экспертного анализа собирается необходи­мый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохож­дение ряда этапов.

1. Подготовка экспертов.

2. Выделение критериев и условий принятия экспертных реше­ний.

3. Выбор оптимального метода экспертной оценки.

Эксперты не всегда способны дать количественные оценки зна­чений оцениваемых показателей. Поэтому важнейшим элементом эк­спертной оценки является способ качественной оценки объектов экс­пертизы.

Таким образом, своеобразие качественных методов проведения экспертной оценки заключается в таком представлении объекта эк­спертизы, которое позволит увидеть в нем скрытые до этого свой­ства.

СТЕПЕНЬ ДОСТОВЕРНОСТИ ЭКСПЕРТИЗЫ.

ТРЕБОВАНИЯ К ПРОФЕССИОНАЛЬНОЙ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ

Экспертные исследования могут иметь как самостоятельное зна­чение, так и использоваться при проверке истинности (верификации) логических исследований и моделирования.

Прогнозные экспертные оценки отражают индивидуальность суж­дения специалистов относительно эффективности, расхода ресурсов, безопасности, а также перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции.

Интуитивные (экспертные) методы исследований используются в следующих случаях:

Для анализа, диагностики состояния, последующего прогнозирования вариантов развития объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

В условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

В условиях большой неопределенности среды функционирова­ния объекта, рыночной среды;

При средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках;

В случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать пробле­му с применением формальных моделей;

При отсутствии необходимых технических средств моделиро­вания, например вычислительной техники с соответствующими харак­теристиками;

В экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолют­ной частоте, с которой оценка эксперта в конечном итоге подтвержда­ется последующими событиями.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией. К эксперту предъявляют следующие требования:

Высокий уровень общей эрудиции;

Стабильность во времени оценок эксперта;

Наличие дополнительной информации о прогнозируемых при­знаках лишь подтверждает оценку эксперта; богатый практический и исследовательский опыт, репутация признанного специалиста в данной области знаний;

Наличие психологической установки на будущее;

Способность к адекватному отображению тенденций развития исследуемого объекта;

Незаинтересованность в конкретном результате прогноза.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки пер­вого вида известны в технике измерений как систематические, ошиб­ки второго вида - как случайные. Эксперт, склонный к систематичес­ким ошибкам, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошиб­ки этого вида связаны со складом ума экспертов. Для коррекции сис­тематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.

Случайные ошибки изменяются от одной экспертной оценки к другой и характеризуются величиной дисперсии.

Исходя из анализа основных видов ошибок при вынесении экс­пертных суждений, можно добавить к рассмотренному выше перечню требований к экспертам еще одно. Смысл его состоит в том, что следу­ет предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожале­нию, заранее определить способность человека делать правильные эк­спертные оценки невозможно.

Организация форм работы эксперта может быть программирован­ной или непрограммированной. Деятельность эксперта может осущест­вляться в устной (интервью) либо в письменной форме. Программирование работы эксперта предполагает следующее:

1) построение граф-модели объекта на базе ретроспективного анализа данных прошедшего периода;

2) определение структуры таблиц экспертных оценок или про­граммы интервью на базе граф-модели объекта и целей экспертизы;

3) определение типа и формы вопросов в таблицах экспертных оценок или интервью;

4) определение типа шкалы для вопросов в названных таблицах;

5) учет психологических особенностей экспертизы при опреде­лении последовательности вопросов в таблицах экспертных оценок;

6) учет верифицируемых вопросов;

7) разработка логических приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация и стимулирование работы эксперта состоит в раз­работке эвристических приемов и способов, облегчающих поиск про­гнозной экспертной оценки; правовых норм, гарантирующих экспер­ту оформление приоритета в авторстве, а также неразглашение всех научно-технических идей, выдвигаемых им в процессе экспертизы; форм моральной, профессиональной и материальной заинтересован­ности эксперта в экспертных оценках; организационных форм работы эксперта.

При решении задачи формирования экспертной группы необхо­димо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной облас­ти. К нему обращаются с просьбой назвать десять наиболее компетен­тных, по его мнению, специалистов по данной проблеме. Затем обра­щаются одновременно к каждому из десяти названных специалистов с просьбой указать десять наиболее крупных коллег-ученых. Из полу­ченного списка специалистов вычеркивают десять первоначальных, а остальным рассылают письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь на­званных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специали­стов, компетентных в области прогнозируемой проблемы. Однако в си­лу ряда практических ограничений оказывается нецелесообразным привлечение всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупно­сти экспертов. Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.

Анкета для опроса специалистов является важнейшим инструмен­том экспертного прогнозирования. Подготовка и проведение эксперт­ного прогнозирования включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Содержание вопросов определяется спецификой объекта прогнозиро­вания, методикой прогнозирования и верификации прогноза.

Формулировка вопросов в анкете должна отвечать следующим требованиям:

Общепринятая терминология;

Исключение всякой смысловой неопределенности;

Обеспечение достижения целей прогноза;

Соответствие структуре объекта прогнозирования;

Обеспечение единого и однозначного толкования результатов анкетирования;

Обеспечение использования конкретного способа верификации результатов прогнозирования.

По форме вопросы анкеты могут быть открытыми и закрытыми, прямыми и косвенными. Открытым называют вопрос, ответ на кото­рый не регламентирован. Закрытым называют вопрос, в формулиров­ке которого содержатся альтернативные варианты ответов. При от­вете на закрытый вопрос эксперт должен остановить свой выбор на одном из вариантов ответа, содержащегося в бланке. Косвенные во­просы используют, когда требуется замаскировать цель экспертизы или есть основания предполагать неискренность эксперта при ответе на во­прос.

Таким образом, методы экспертных оценок в исследовании соци­ально-экономических и политических процессов часто применяют в предшествующих прогнозных и плановых исследованиях.

ЭКСПЕРТНЫЕ МЕТОДЫ АНАЛИЗА ДАННЫХ

В целом можно выделить две группы экспертных оценок: инди­видуальные и коллективные. Индивидуальные экспертные мето­ды используют при прогнозировании в относительно узких областях науки и практики. Коллективные экспертные оценки применяют при прогнозировании объектов и процессов, имеющих междисциплинар­ный характер.

Ряд экспертных методов трудно отнести к индивидуальным или коллективным. Кроме того, в процессе их применения также исполь­зуются как качественные, так и количественные критерии. Таким об­разом, можно выделить особую группу эвристических методов, значе­ние которых заключается в мобилизации творческого мышления на решение сложных комплексных задач.

Индивидуальные методы основаны на использовании мнений экспертов, независимых друг от друга. Информация, которую получа­ет заказчик от эксперта, отличается уникальностью и ориентацией на проблему, имеющую локальный характер.

1.Метод гирлянд и ассоциаций, разработанный в 70-е гг. XX в. советским ученым Г. Бушем, предполагает изучение объекта, схожего по свойствам, на базе сличения их выявляются особенности, характерные для исследуемого объекта.

Метод предполагает прохождение следующих этапов:

Определение аналогов объекта;

Выбор случайных объектов;

Составление комбинаций из элементов гирлянд аналогов объек­та и случайных объектов;

Составление перечня или таблицы признаков случайных объек­тов;

Развитие идей посредством поочередного присоединения к объекту и его аналогам признаков случайных объектов;

Генерирование гирлянд ассоциаций (поочередно из каждого признака случайных объектов вырабатывается гирлянда «вторичных» понятий и признаков);

Развитие новых идей путем попыток комбинирования элемен­тов гирлянды ассоциаций по признакам с элементами гирлянды ана­логов объекта;

Выбор альтернативы, т.е. анализ полученного множества идей и принятие решения о прекращении генерирования гирлянд ассоциа­ций и комбинирования понятий;

Оценка и отбор рациональных вариантов идей;

Выбор предпочтительного варианта.

Сферой применения названного метода может стать сложная про­блемная ситуация, слабо изученная, в отношении которой нет сложив­шегося мнения. Метод может быть реализован только при условии большой предварительной работы, заключающейся в глубоком изуче­нии свойств аналогов исследуемого объекта, целесообразности их при­влечения, формировании психологической установки экспертов и т.д.

2. Метод парных сравнений основан на простом сопоставлении экспертом альтернативных вариантов, из которых он должен выбрать наиболее предпочтительный. Метод позволяет учитывать равноцен­ность или принципиальную несравнимость представленных альтерна­тив, в связи с чем они исключаются из анализа. В ходе такого сравне­ния эксперт не только отбирает лучшие варианты, но и формулирует критерии, позволяющие осуществить такой выбор, подчеркивая свой­ства и признаки отобранной альтернативы.

3.При использовании метода векторов предпочтений эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого из них указать, сколько альтернативных ему вариантов он опережает. Полученную информацию можно изоб­разить в виде вектора, одним из компонентов которого является число альтернативных вариантов, превосходящих первый, вторым компонен­том - число альтернатив, которые превосходят второй, и т.д. Исполь­зовать этот метод можно и при коллективной экспертизе, представляя коллективный взгляд на соотношение рассматриваемых альтернатив.

4. Метод фокальных объектов, разработанный в 50-е гг. XX в. аме­риканским ученым Ч. Вайтингом, заключается в перенесении призна­ков случайно отобранных аналогов на исследуемый объект. Отличительным признаком данного метода является то, что он совершенно исключает количественный подход и нацелен главным образом на кон­центрацию внимания исследователя на так называемом фокальном объекте, служащем основой сопоставления с объектами, составляющими поле направленного случайного поиска. Процедура применения метода предполагает прохождение следующих этапов;

Выбор фокального объекта;

Выбор трех-пяти случайных объектов;

Составление списков признаков для каждого случайного объекта;

Генерирование идей посредством присоединения к фокально­му объекту признаков случайных объектов;

Развитие полученных сочетаний путем свободных ассоциаций;

Оценка полученных идей и отбор полезных решений.

5. Индивидуальный экспертный опрос возможен в форме интервью или в виде анализа экспертных оценок.

Метод интервью означает беседу заказчика с экспертом, в ходе которой заказчик в соответствии с разработанной программой ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает инди­видуальное заполнение экспертом (экспертами) разработанного заказ­чиком формуляра, по результатам которого производится всесторон­ний анализ проблемной ситуации и выявляются возможные пути в ее решении. Свои соображения эксперт выносит в виде отдельного до­кумента, составленного на основе тщательного обследования объекта.

6. Метод средней точки используется при большом количестве альтернативных решений. Для этого формулируются два альтернативных варианта решения, один из которых наименее предпочтителен, второй - наиболее. После этого эксперту предлагается подобрать третий альтернативный вариант, оценка которого расположена между значениями первой и второй альтернативы. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

7. Метод Черчмена-Акоффа. В соответствии с этим методом все альтернативные варианты ранжируются по предпочтительности, и каж­дому из них эксперт назначает количественные оценки. Преимуще­ством данного метода является допущение экспертами корректировок в ходе обсуждения альтернативных вариантов.

8. Метод лотерей. В соответствии с методом имеющиеся альтер­нативы распределяются в порядке убывания предпочтительности, для обозначения которой эксперт указывает такую вероятность (р), при которой альтернативный вариант (а 2) равноценен лотерее; альтерна­тивный вариант (а,) встречается с вероятностью (р), альтернативный вариант (а 3) встречается с вероятностью (1 - р).

Коллективные методы (методы организации коллективной мыследеятельности) являются наиболее эффективными с точки зре­ния достижения максимальной объективности экспертной оценки, поскольку предполагают использование широкого и представительно­го круга специалистов. В целом методы организации коллективной генерации идей можно разделить на несколько видов.

1. «Мозговой штурм». Главная цель «мозгового штурма» заклю­чается в стимулировании творческого процесса генерации идей, воз­можного в условиях коллективного обсуждения. Метод позволяет в условиях неопределенной ситуации разработать максимальное ко­личество возможных решений, концентрируя внимание участников на обсуждаемой проблеме. Характерной чертой данного метода является процедура отделения стадии генерации идей от стадии их оценки. Глав­ным преимуществом метода «мозгового штурма» является нацелен­ность на нахождение нестандартных решений, способных реализовать­ся при максимально открытом и свободном режиме обсуждения проблемы. Такой режим обсуждения позволяет не только обозначить возможные направления в решении актуальных проблем, но и сфор­мировать группу людей, обладающих высокими креативными способ­ностями, что чрезвычайно важно для организации любого типа. Метод «мозгового штурма» является очень эффективной технологией генерирования новаторских идей.

2. Методика судов. Суть методики заключается в такой организа­ции обсуждения проблемной ситуации в группе, когда одна сторона разрабатывает самостоятельные предложения, а другая дает критику всем этим предложениям. Использование этой методики воспроизводит сценарий суда, в котором происходит состязание между обвинением и защитой. Цель методики заключена в выявлении наиболее аргументированного и оптимального решения, полученного в ходе обстоятельной экспертизы.

Характерной чертой методики судов является ее ролевое испол­нение, которое позволяет участникам обсуждения наиболее полно про­явить себя в организационном процессе, осознавая в нем не только собственное место, но и место других служб и должностных функций.

3.Метод «черного ящика». Главным достоинством метода «чер­ного ящика» является минимизация возможного влияния заинтере­сованных лиц на принятие неэффективных решений. Метод нацели­вает на выделение специального аналитического центра, который делает заключение исключительно по разработкам независимых экс­пертов, оценивающих перспективы принятия решений по определен­ному перечню проблем.

4.Метод эвристического прогнозирования. Использование данного метода предполагает привлечение к работе экспертов узкой специали­зации, которые на основе предварительно разработанных анкет и таб­лиц должны выработать общую модель исследуемого объекта. Основ­ной трудностью в использовании этого метода является процедура подбора экспертов, поскольку их специализация и профиль должны обеспечить возможность целостного представления объекта. Успеш­ное выполнение этой задачи позволит сформулировать ряд норматив­ных характеристик объекта, которые могут послужить базой для опре­деления вероятных путей их достижения.

Таким образом, методом эвристического прогнозирования назы­вают метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифи­цированных специалистов (экспертов) в узкой области науки, техни­ки или производства.

Область применения рассматриваемого метода включает научно-технические объекты, рынки и проблемы, развитие которых либо полностью, либо частично не поддается формализации, т.е. для которых трудно разрабатывать адекватную модель.

В основе метода лежат три теоретических допущения:

1) существование у эксперта психологической установки на бу­дущее, сформулированной на основе профессионального опыта и ин­туиции;

2) тождественность процесса эвристического прогнозирования или процесса решения научной или рыночной проблемы с однотипно­стью получаемого знания в форме эвристических правдоподобных умозаключений, требующих верификации;

3) возможность адекватного отображения тенденции развития объекта прогнозирования в виде системы прогнозных моделей, синте­зируемых из прогнозных экспертных оценок.

Следовательно, назначение метода эвристического прогнозиро­вания - выявление объективизированного представления о перспек­тивах развития узкой области науки, техники, рынка на основе систе­матизированной обработки прогнозных оценок репрезентативной группы экспертов.

5. Синектический метод. Одним из преимуществ синектического метода является возможность достижения консолидации между различными уровнями управления, задействованными в процессе вынесения экспертной оценки. Применение метода является целесообразным в силу того обстоятельства, что в ходе принятия экспертных оценок обсуждение проблем проходит между представителями одного уровня, что позволяет им высказываться откровенно и взвешенно. При этом необходимо учитывать мнение не только представителей высших звеньев управления, которые зачастую могут иметь весьма
общее представление об объекте оценки, но и рядовых исполнителей, чьи знания об объекте являются очень ценными и практически значимыми.

Синектический метод является значимым в практике японских предприятий, где фактору причастности персонала к принятию реше­ний придается большое значение. Благодаря консолидации интересов между экспертными уровнями достигается не только социальная ста­бильность, но выявляется уникальный способ осознания и разреше­ния актуальных проблем.

6. Метод дневников. Характерным признаком этого метода является его обезличенность и предельная объективность. Реализация метода возможна лишь при наличии документальных источников, по которым исключительно и проводится акт экспертизы. Чаще всего
метод используется в структуре управления с жестко регламентированной системой должностных инструкций. Объектом экспертной оценки выступают, как правило, вахтовый журнал, инструктивные документы, на основе которых вырабатываются рекомендации по со­вершенствованию деятельности предприятий.

7. «Метод Делъфи» является самым популярным из экспертных методов, и его популярность напрямую связана с эвристическими воз­можностями самого метода, позволяющими решать сложные комплек­сные задачи.

«Метод Дельфи» был разработан в 1964 г. сотрудниками научно-исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном.

Сущность метода заключается в последовательном анкетирова­нии мнений экспертов по интересующей организаторов экспертизы проблеме.

Метод предполагает серию опросов экспертов, не имеющих воз­можности вступать друг с другом в непосредственный контакт и полу­чающих информацию о заключениях других лишь по их письменным отчетам. Цель метода заключается в вынесении объективной и точной оценки существующих альтернатив с целью принятия оптимальных и социально приемлемых решений.

На первом этапе экспертам предлагают дать заключение о целесо­образности выбора того или иного варианта решения проблемы, осно­ванного на логике доказательства такого выбора и интуиции эксперта.

На втором этапе (обсуждения) эксперты обмениваются заключе­ниями через координатора экспертизы, учитывая во втором варианте собственного отчета доводы и аргументацию своих коллег.

Процесс экспертизы может продолжаться до тех пор, пока не бу­дет получена максимально консолидированная оценка экспертами сло­жившейся проблемной ситуации и предложен оптимальный и наибо­лее обоснованный способ ее решения.

Использование метода возможно лишь при соблюдении ряда ус­ловий, способных оказать влияние на его эффективное применение в отборе наилучшей альтернативы.

Организационные требования к использованию «метода Дельфи» таковы.

1. Группы экспертов должны быть стабильными, и численность их должна удерживаться в определенных рамках. Минимальное чис­ло экспертов можно вычислить по формуле

N min = 0,5 (3: b+5)

где b - ошибка результата, измеряемого в диапазоне экспертной оценки от 0 до 1.

2. Время между этапами опроса должно составлять не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров (этапов) должно быть достаточным, чтобы все уча­стники имели возможность ознакомиться с причиной той или иной оценки и критиковать ее.

5. Необходимо иметь самооценку компетенции экспертов по рас­сматриваемым проблемам.

6. Необходима формула согласованности оценок, основанная на данных самооценок.

7. Следует установить влияние различных видов передачи инфор­мации экспертам по каналам обратной связи.

8. Необходимо установить влияние общественного мнения на эк­спертные оценки и на сходность этих оценок.

9. В ходе реализации метода должен проводиться систематиче­ский отбор экспертов, основанный на данных экспертизы по турам и са­мооценкам.

Важнейшим достоинством метода является использование в нем количественных показателей, позволяющих делать точные и аргумен­тированные заключения.

«Метод Дельфи» целесообразно применять в следующих случаях:

Имеющиеся в распоряжении или доступные данные непригод­ны для анализа существующей проблемы;

В распоряжении нет нужных данных;

Нет достаточного времени для сбора данных;

Процесс получения и анализа необходимых данных слишком дорог.

В «Дельфи» предусматривается создание условий, обеспечива­ющих эффективную работу экспертной комиссии. Это достигается ано­нимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мне­ния - с другой. Еще одно важное свойство - обратная связь, позволя­ющая экспертам корректировать свои суждения с учетом промежуточ­ных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирова­ния. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в их распоряжение, после чего эксперты уточняют первоначальные ответы. Такая процедура повторяется несколь­ко раз до достижения приемлемой согласованности всей совокупно­сти высказанных мнений.

На первом туре экспертам сообщается цель экспертизы и форму­лируются вопросы, ответы на которые составляют основное содер­жание экспертизы. Успеху способствует предоставление эксперту до­полнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку проме­жуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усред­ненное мнение экспертов - медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых рас­положены 25% численных значений оценок. Расстояние между квар­тилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Степень согласованности мнений экспертов определяют коэффициентом вариации n, который не должен превышать 33%. Он рассчитывается по формуле:

n = s/х * 100%

Где s – среднее квадратическое отклонение оценок.

Где х – среднее значение оценки

х i – оценка каждого эксперта

n – число экспертов.

Медиана - значение оценки, которое находится в середине ран­жированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «край­ние» точки зрения. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями постав­ленных оценок снова направляется каждому участнику. На основе по­лученной информации эксперты пересматривают предыдущие оцен­ки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргумента­цией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждый эксперт распределяет оценки третьего тура, и он должен снова представить на рассмотрение пересмот­ренную оценку, учтя полученную информацию. Как показывает прак­тика, желаемое согласие наступает к четвертому туру.

Рассмотрим применение «метода Дельфи» на примере прогноза величины валового сбора зерна в К* области в 2004 г.

Пусть в подготовке решения участвовало 14 экспертов. Коорди­натором экспертизы был сделан доклад о состоянии и основных на­правлениях развития сельского хозяйства в рассматриваемом регио­не, приведена статистика валового сбора зерна в 1913-2003 гг. (рис.). Опрос проводился в три тура.

Экспертами были приведены следующие аргументы за минималь­ный объем сбора зерна:

1) прогнозируемые синоптиками на 2004 г. неблагоприятные по­годные условия - дожди во время уборки;

2) высокая степень износа сельскохозяйственной техники;

3) недостаточное финансирование производящих отраслей агро­промышленного комплекса;

4) недостатки управления сельским хозяйством: низкая квалифи­кация кадров управления, неэффективность организационных струк­тур управления, отсутствие системы непрерывного прогнозирования и планирования на производящих организациях и т.д.

За максимальный объем валового сбора зерна экспертами были высказаны следующие аргументы:

1) увеличение объемов производства сельскохозяйственной про­дукции в фермерских хозяйствах области;

2) увеличение посевных площадей;

3) тенденции увеличения производства зерна в регионе за послед­ние годы;

4) политика органов регионального управления, направленная на стабилизацию кризисных явлений в сельском хозяйстве области.

Первый тур. Для проведения экспертизы экспертам предостави­ли анкеты; в каждой содержался вопрос и место для ответа. Результа­ты обработки анкет на первом туре представлены ниже (табл.).

Среднее значение оценки:

Х = 1/14(1000 + 1100 + 1100 + 1200 + 1200 + 1500 + 1700 + 2100 +

2200 + 2400 + 2500 + 2600 + 2600 + 2900) = 1864,3.

Результаты анкетирования (первый тур)

Статистические характеристики второго тура

`х = 1517,18 Q 0.25 = 1100 s = 511.16

Мe = 1350 Q 0.75 = 2000 n = 33.6%

Третий тур экспертной оценки аналогичен. Каждому эксперту предлагается пересмотреть свои предыдущие ответы и, при желании, исправить их. Все исправления сопровождаются объяснениями, поче­му увеличиваются или уменьшаются объемы валового сбора (табл.).

Статистические характеристики третьего тура экспертизы

`х = 1221,4 Q 0.25 = 1100 s = 160,9

Мe = 1200 Q 0.75 = 1350 n = 13,1%

При необходимости экспертиза может продолжаться далее.

Общие результаты экспертизы по турам

В нашем случае экспертиза завершена после третьего тура, так как мнения экспертов стали согласованными (коэффициент вариации v = 13,1%).

В результате применения «Дельфи» состоялся прогноз о том, что валовой сбор зерна в регионе ожидается в объеме 1200 тыс. т.

Таким образом, рассмотрев две группы экспертных оценок, мож­но сделать вывод. Индивидуальные экспертные методы мало пригод­ны для прогнозирования наиболее общих стратегий из-за ограничен­ности знаний одного эксперта о развитии смежных областей науки и практики, тогда как методы коллективных экспертных оценок осно­вываются на принципах выявления коллективного мнения экспертов о параметрах и перспективах развития объекта, где в основе лежит ги­потеза о наличии у экспертов умения с достаточной степенью досто­верности оценить важность и значение исследуемой проблемы.

Методы экспертных оценок - это способ прогнозирования и оценки будущих результатов действий на основе прогнозов специалистов.

При применении метода экспертных оценок проводится опрос специальной группы экспертов (5-7 человек) с целью определения определенных переменных величин, необходимых для оценки исследуемого вопроса. В состав экспертов следует включать людей с разными типами мышления - образное и словесно-логическое, что способствует успешному решению проблемы.

Привлеченные эксперты могут высказать свое мнение о лучших способов мобилизации резервов, привлечения инвестиций, сроков достижения поставленных задач, критериев отбора оптимальных вариантов решения и тому подобное.

Необходимым условием эффективного применения методов экспертной оценки есть достаточное знание эксперта по исследуемой проблеме, высокий уровень эрудиции, способность его давать четкие исчерпывающие ответы, к тому же экспромтом. Кроме того, эксперт не должен быть заинтересован в том или ином варианте решения поставленной перед ним проблемы. Эксперты подбираются по признаку их формального профессионального статуса - должности, ученой степени, стажа работы и др. Такой подбор способствует тому, что в число экспертов попадают высокопрофессиональные, с большим практическим опытом в данной области специалисты.

Таким образом, методы экспертной оценки требуют тщательной подготовки экспертов, работа которых содержит:

1) четкое определение целей и задач, а в некоторых случаях объединение и систематизация выводов;

2) набор достаточно компетентных независимых экспертов в области соответствующих объектов;

3) обсуждение вопроса в группе экспертов или исключения непосредственного общения между ними;

4) предоставление участникам экспертизы на каждом следующем этапе результатов и выводов предыдущего этапа. Это позволяет сделать определенные выводы, которые разделяют большинство экспертов;

5) выбор оптимальной подходящих методов обработки выводов экспертов;

6) точную формулировку итоговых выводов в экспертной работе.

Метод экспертных оценок - это фактически метод прогнозирования, основополагающим критерием которого является достижение согласия всех членов экспертной группы. Организационно это выглядит так. Эксперты, знакомые в взаимосвязанных сферах деятельности, подробно отвечают на вопросы анкеты, связанной с изучаемой проблемой. Каждый из них фиксирует свое мнение о проблеме, а затем сообщает об ответе своим коллегам. В случае расхождения его прогноза с мнением других, эксперт обязан объяснить причину такого несоответствия. Далее процедура повторяется до тех пор, пока мнения экспертов не совпадут. При этом нужно соблюдать анонимности, что помогает избежать возможности групповых размышлений над проблемной ситуацией.

Благодаря применению экспертных оценок получают два вида информации, на основании которой решаются два вида задач различной значимости и на разных уровнях управления:

1. Информация о единичных причинно-следственные связи в конкретных условиях места и времени. В основном эту информацию получают в результате опроса руководителей производственных подразделений предприятия (бригадиры, руководитель отделения, начальник цеха) и рабочих. Она предназначена для поиска направлений повышения эффективности производства и реализации продукции путем установления причин непродуктивного использования ресурсов и формирования действенных мер по их устранению.

2. Информация о типичных взаимосвязи исследуемых экономических явлений и процессов. Такую информацию способны предоставить только эксперты высокого класса, профессионалы, глубоко знающие сути и закономерностями проявления указанных явлений в различных условиях хозяйствования.

Основными задачами, которые чаще всего решаются на практике на основе полученной от экспертов информации, являются:

Ранжирование (упорядочение, размещенные в порядке возрастания или убывания) факторов и соответствующих показателей, которые характеризуют, по их значимости в развитии исследуемого явления, процесса;

Ранжирование предприятий или их структурных производственных подразделений (бригад, цехов, участков) по рейтингу, в основу которого положена совокупность различных показателей, характеризующих результаты финансово-хозяйственной деятельности или отдельных ее видов (финансовое состояние, рентабельность, платежеспособность и т.п.);

Предварительная оценка выполнения плана по определенному показателю.

Целевой анализ, основанный на результатах экспертных оценок, осуществляется в несколько этапов:

1. Определение цели исследования.

2. Определение необходимого количественного и качественного состава группы.

3. Создание группы.

4. Определение способа опроса.

5. Составление программы обследования и анкеты (листа) опрос.

6. Проведение опроса.

7. Сведения, группировка и анализ полученной от экспертов информации.

8. Обобщение результатов экспертизы и разработка возможных вариантов решений для достижения поставленной цели.

Все экспертные методы делятся на две группы - индивидуальные и коллективные - и подгруппы (рис. 14.3).

Индивидуальные экспертные методы - это использование мнений экспертов, которые сформулированы лично каждым из них самостоятельно без учета мнений других экспертов. К индивидуальным экспертных методов относятся: интервью и анкетирования.

Сущность метода интервью состоит в организации собеседования аналитика с экспертом, в ходе которой эксперт дает ответа на вопрос аналитика о факторах влияния на исследуемый объект, ожидаемых результатов хозяйствования, неиспользованных резервов, путей выхода из кризиса, направлений повышения эффективности производства и тому подобное.

Метод анкетирования (аналитического экспертного оценивания) заключается в предоставлении экспертом письменных ответов на вопросы анкеты. Однако этот метод имеет определенные недостатки, в частности эксперт может не понять вопросы анкеты, проявить субъективизм, нежелание критиковать руководство и оставлять свою письменный ответ и тому подобное.

Рис. 14.3. Основе виды методов экспертных оценок

Основными преимуществами индивидуальных методов экспертных оценок является простота организации обследования, понятность, учет и использование приобретенных знаний и опыта каждого эксперта. Ограничением применения этих методов выступает ограниченность знаний, информации экспертов из смежных сфер деятельности. Исходя из этого, большее распространение на практике получили коллективные экспертные методы.

Коллективные экспертные методы - это методы, которые обеспечивают формирование единой общему мнению в результате взаимодействия привлеченных специалистов-экспертов.

Среди коллективных методов экспертной оценки выделяют: метод комиссии (в том числе проведение производственных совещаний, конференций, семинаров, дискуссий за "круглым столом"), методы Дельфи, отстраненного оценки, конференция идей и др.

Метод комиссии заключается в выработке экспертами лучшего варианта достижения поставленной цели с учетом всех высказанных на совещании предложений, идей.

Положительной особенностью этого метода является возможность привлечения для экспертизы специалистов с широким диапазоном знаний из смежных областей науки и практики. Негативным возможен субъективизм, имеющиеся стереотипы мышления, которые сложились у экспертов, их склонность к компромиссу.

Метод отстраненного оценки заключается в выборе оптимального независимого решения из числа высказанных экспертами на совещании. Работа совещания разделена на две части: выдвижение идей и их критический анализ.

Метод Дельфи - один из методов коллективной экспертной оценки, который предусматривает проведение экспертного опроса среди группы специалистов в несколько туров (чаще в 3-4 туры) для выбора лучшего из решений. Метод Дельфи, или как его еще называют дельфийский метод, метод дельфийского оракула, получил свое название из названия городка Дельфи в Древней Греции, в котором жили оракулы-провидцы при храме бога Аполлона. Слово главного оракула не подлежавшее сомнения и принималось за истину.

Целью применения метода Дельфи является совершенствование группового подхода к решению задачи разработки прогноза, оценки за счет взаимной критики взглядов отдельных специалистов, высказываемых без непосредственных контактов между ними и при сохранении анонимности мнений или аргументов в их защиту.

В одном из вариантов этого метода прямое обсуждение заменяется обменом информацией с использованием специально разработанных вопросников. Возможно также применение особых приемов опроса через ЭВМ.

Согласно методу Дельфи участников просят высказать свои мысли, обосновать их, а в каждом последующем туре опроса им выдается новая, уточненная, информация о высказанных мыслей, которую получают в результате расчета совпадения мнений по ранее выполненными этапами работы. Этот процесс продолжается до практически полного совпадения мнений. После этого фиксируются мысли, которые не совпадают.

Этот метод успешно применяется в маркетинге. Его используют для того, чтобы сделать экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.

Конференция идей подобная мозгового штурма, но отличается от него темпом проведения совещаний и разрешенной короткой доброжелательной критикой идей в форме реплик и комментариев. При этом стимулируется сочетание нескольких предложений, фантазирование, что способствует повышению качества идей.

Все выдвинутые идеи записываются в протоколе без указывание их авторов. В состав участников конференции идей включаются не только высококвалифицированные специалисты, но и новички, неспециалисты - незаангажированные и способны выдвигать свежие, новые, неординарные подходы.

Таким образом, методы экспертных оценок играют важную роль в экономических исследованиях, особенно в проведении стратегического и функционально-стоимостного анализа. Применение этих методов позволяет определить, например, объем и структуру потребления продуктов питания, товаров или услуг населением за значительным кругом показателей, тогда как применение других методов анализа затруднено из-за отсутствия необходимой информации.

В практических маркетинговых исследованиях метод экспертных оценок можно использовать для разработки средне- и долгосрочных прогнозов структуры спроса на товары широкого потребления; прогнозирования указанной структуры на следующий год; определение групп потенциальных потребителей; а также для оценки объема неудовлетворенного спроса по группам и видам товаров. Например, метод экспертной оценки потребительской стоимости товара и цены на него - метод из группы нормативно-параметрических методов ценообразования. Он базируется на результатах опроса или результатах суждений коллектива экспертов о возможной ценность товара на рынке, спроса на него и выдвижении предложений о его цене.

Есть также много методов экспертной оценки, связанных с прогнозированием экономических и общественных явлений и процессов.

В большинстве рассмотренных видов исследовании предметом изучения является точка зрения потребителей (частных или корпоративных). Однакосуществуют также исследования, которые проводятся с учетом всех факторов, оказывающих влияние на тот или иной рынок, - это конкуренция, аффилированность, общие тенденции, изменения в законодательстве, текущие и запланированные проекты игроков, отраслевое регулирование, риски и т. д. И ни в публикации, ни в отраслевую статистику эти исследования не попадают. Здесь как элемент могут применяться и кабинетное исследование, и потребительские опросы, но основной инструмент в данном случае экспертные интервью с игроками рынка, независимыми аналитиками, руководителями ассоциаций, журналистами, людьми, занимающимися конкурентной разведкой, и т. д.

Метод экспертной оценки - это разновидность исследования, в котором респондентами являются эксперты - специалисты в определенной области деятельности.

Основное назначение метода экспертной оценки - выявление сложных аспектов исследуемой проблемы, повышение надежности информации, выводов.

Отличительная особенность метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования.

Экспертиза - процедура получения информации от экспертов. Экспертные оценки - это суждения экспертов о различных сферах человеческой деятельности, предполагающие процедуру сравнения объектов и их свойств по выделенным критериям.

Специфика опроса экспертов состоит в следующем.

Нет необходимости применять в анкете косвенные или контрольные вопросы.

Программа опроса экспертов не детализирована и носит концептуальный характер.

В анкете предпочтительней использовать открытые вопросы с полной свободой выбора формы ответа.

Основные нормативные требования к проведению экспертной оценки :

тщательность подбора экспертов;

оценка надежности представленной экспертами информации;

создание условий для продуктивного использования экспертов в ходе исследования;

учет факторов, влияющих на суждения экспертов;

сохранение информации экспертов без искажения на всех этапах исследования.

Качество и надежность экспертных оценок снижает неупорядоченный подбор экспертов.

Критерии подбора экспертов таковы:

степень компетентности, показателями которой могут служить наличие у эксперта ученой степени, ученого звания, стаж работы по специальности, служебное положение, число опубликованных работ и т. д.;

способность ориентироваться в последних достижениях современной науки в тех областях, которые являются предметом экспертизы;

сочетание узкой специализации и общего кругозора эксперта;

способность к анализу и синтезу изучаемых проблем,

умение перерабатывать и усваивать качественно новую информацию;

высокие моральные качества;

сочетание психологически приемлемых друг для друга в группе экспертов различного возраста, различных научных школ и т. д.

Экспертная группа не может быть многочисленной. Методы отбора экспертов выделим объективный - использование специальных методик отбора - и субъективный - привлечение к процедуре отбора самих потенциальных экспертов.

Объективный подход имеет два варианта :

а) документальный метод - подбор экспертов на основе социально­демографических данных.

б) экспериментальный метод - отбор на основе тестирования кандидата.

Субъективный подход также имеет несколько вариаций ;

а) аттестация - подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы (может проводиться в несколько туров);

б) метод взаимной оценки в баллах или ранжированием;

в) метод самооценки компетентности.

Экспертный опрос может иметь разные формы :

разовый индивидуальный опрос (анкетирование или интервью);

однократный коллективный опрос (совещания, мозговой штурм);

индивидуальный опрос в несколько туров (дельфийская техника);

коллективный опрос в несколько туров (дискуссия, совещание, мно­гоступенчатый отбор).

Еще одна форма экспертного опроса - традиционная дискуссия - метод беседы с небольшой группой экспертов на тему исследования. Целью дискуссии является выработка группового коллективного мнения. Предпосылкой успешной групповой дискуссии является четкая формулировка предмета дискуссии и знакомство с ней подавляющего большинства участников.

В значительной мере успех дискуссии зависит от культуры, подготовки, проведения и оформления коллективного мнения экспертов.

Метод «отнесенной оценки» - повторение нескольких циклов дискуссии с выявлением сущности наметившихся разногласий и постепенной выработкой единого мнения всех или большинства участников экспертизы, при этом за несогласными остается право на частное заключение.

Методы экспертизы при коллективной работе ее участников имеют много явных преимуществ, но одновременно обладают и рядом недостатков. Главный недостаток связан с воздействием экспертов друг на друга. Этот недостаток преодолевается с помощью индивидуального опроса в несколько туров. Заочный вариант метода «отнесенной оценки» приобрел название метода Дельфи, или дельфийской техники (от названия древнегреческого города, получившего известность как центр предсказаний оракулов).

Дельфийская техника гарантирует соблюдение анонимности респондентов: эксперты друге другом не встречаются, они заполняют анонимные анкеты или подключаются непосредственно к работе с компьютером.

После первого тура эксперты знакомятся с итоговыми характеристиками позиции группы в целом. Во втором туре они получают возможность либо сблизить свое мнение с позицией большинства, либо изучить причину отклонения. В третьем туре новая информация открывает возможность еще раз пересмотреть свою точку зрения.

Упрощенные вариации дельфийской техники («мини дельфи») позволяют

собрать экспертные оценки по 2-3 турам за несколько часов или дней.

К недостатки метода Дельфи относятся :

сложность подготовки, проведения и обработки результатов,

сравнительно большие затраты времени и средств.

Несмотря на недостатки, дельфийская техника получила значительное распространение; По масштабам применения во многих странах она оказалась в первой пятерке наиболее популярных методов социального прогнозирования.

Экспертный опрос в современном виде часто строится на совместном использовании различных методов, форм и процедур. Так, на основе использования дельфийской техники построена одна из американских систем прогнозирования - «Паттерн», которая позволяет создать систему информационных моделей в виде дерева целей. Работа по созданию системы начинается с создания сценария, т. е. описания состояния и направления развития исследуемого объекта. На следующем этапе строится дерево целей, для всякой цели разрабатываются необходимые и достаточные подцели, являющиеся условием достижения общей цели. На третьем этапе определяются коэффициенты относительной важности критериев и целей на всех уровнях. Далее определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления. Самая длинная цепочка есть время исполнения всего комплекса работ.