Как составить экспертную оценку

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений, а само экспертное оценивание — процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод

простой ранжировки

заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a_ij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
Затем, подсчитывается S_i — среднее значение важности признака.

Метод задания весовых коэффициентов (a_ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В

парном сравнении

не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n_xn, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка

. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также

балльным методом

.

А теперь, самое вкусное…

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики. Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x_j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана, за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования

обобщенной оценки

тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода

парных сравений

.

Метод анализа иерархий
Парадокс Кондорсе
Правило Борда
ELECTRE

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики –

меры разброса

или статистическая вариация.
Итак, способы вычисления меры разбрса:
Вариационный размах

Среднее линейное отклонение

Среднеквадратическое отклонение

Дисперсия

Коэффициента ранговой корреляции Спирмэна

Коэффициент (величина ) может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
x_ij – ранг (важность), присвоенный i-му объекту j-ым экспертом, x_ik – ранг, присвоенный i-му объекту k-ым экспертом, d_i – разница между рангами, присвоенными i-му объекту.

Коэффициент конкордации Кенделла
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Ссылки:

Википедия — свободная энциклопедия
www.rae.ru
emm.ostu.ru
teorver-online.narod.ru
www.habarov.spb.ru

Экспертная оценка необходима для ведения практически любой деятельности. Человек с профильным образованием и опытом в области исследования, считается экспертом. Его знания и навыки помогают принять объективное решение относительно положения продвигаемых товаров или услуг. Экспертные оценки используются, когда требуется консультация стороннего специалиста, чтобы взглянуть на положение дел под другим углом.

Что такое экспертная оценка

Это заключение, которое дает человек или группа лиц, наделенные экспертностью. Специалисты выступают источниками информации, помогая владельцам компаний скорректировать бизнес-процессы, чтобы устранить недостатки и проблемы.

Виды экспертных оценок

Виды различаются числом людей, участвующих в проверке. Их количество обычно отличается, исходя из принципов формирования экспертной группы.

Индивидуальные

Такие оценки основываются на мнении одного или нескольких экспертов, работающих отдельно друг от друга. Принимаемые таким образом решения могут быть характерны и для коллективной экспертизы, но в этом случае вердикт основывается на заключении лидера мнения.

Коллективные

Итоговая оценка группы представляет собой объединенное мнение нескольких экспертов. Она формируется в результате предварительного согласования внутри коллектива.

Требования к экспертной группе

От оценки экспертной группы зависит не только положение определенного продукта, но и бизнес компании. Поэтому отбор специалистов — сложная, многогранная задача, успешный результат которой определяет эффективность используемых методов и решений. Эксперт должен обладать:

• компетентностью в необходимой сфере;
• знаниями в смежных областях, напрямую не относящимся к исследуемому вопросу;
• опытом практической работы, академическими и научными достижениями;
• объективностью при формировании оценки;
• способностью нестандартно мыслить в тех случаях, когда это требуется.

Методы экспертных оценок

Экспертное оценивание базируется на нескольких методах. Среди наиболее популярных можно выделить:

• Ассоциативный. Заключается в изучении объекта, имеющего схожие свойства.
• Парные сравнения. Сопоставляет альтернативы одного решения с целью изучения наиболее предпочтительных вариантов развития событий.
• Фокальные объекты. Метод основывается на перенесении свойств и признаков случайно выбранных аналогов на объект исследования.
• Средняя точка. В процессе оценивания выделяют два пути решения проблемы: наиболее и наименее предпочтительный. Между ними находится «средняя точка» — альтернатива, учитывающая особенности первого и второго варианта.

Выбор конкретного метода зависит от назначения экспертной оценки и выбирается после общения с заказчиком.

Достоинства метода экспертных оценок

Экспертное оценивание дает массу преимуществ для бизнеса, позволяя владельцам компаний улучшать положение фирмы на рынке. К основным достоинствам такого метода можно отнести:

• возможность посмотреть на ситуацию более широко, чтобы увидеть потенциальное решение;
• получение исчерпывающей информации по заявленной проблеме;
• надежность предлагаемых оценок и решений;
• получение рекомендаций от специалистов со знаниями и опытом в определенной сфере.

Этапы экспертного оценивания

Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.

Постановка цели исследования

Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить. В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.

Выбор формы исследования, определение бюджета проекта

Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.

Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.

После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.

Подготовка информационных материалов

Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.

Подбор экспертов

Эксперты должны быть не только компетентные и опытные. Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса. Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.

Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.

Проведение экспертизы

Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.

Анализ результатов

На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.

Подходы к экспертным оценкам

Экспертное оценивание помогает установить степень актуальности и сложности представленных проблем, выявить факторы, влияющие на ситуацию, выбрать альтернативы. Обширный спектр задач определяет существующие подходы к экспертным оценкам:

• прогнозирующие — предназначены для оценки возможных вариантов развития событий, выявления принципов предпочтительного распределения ресурсов и перспектив развития изучаемого объекта;
• интуитивные — предполагают мобилизацию знаний и опыта экспертов в тех случаях, когда не достает исходных данных для оценки состояния объекта.

Подходы применяются как с коллективом, так и при формировании индивидуальной оценки одного эксперта.

Экспертные ошибки

В заключениях иногда встречаются ошибки. Зачастую они происходят не из-за отсутствия необходимых компетенций у эксперта, а по причине возникающих заблуждений. Это может не зависеть от проверяющего субъекта, или быть субъективным фактором, обусловленным особенностями мышления эксперта. Выделяют две разновидности экспертных ошибок.

Систематические

Это ошибки, которые повторяются у одного и того же специалиста из раза в раз. В результате значение показателей отклоняется через преувеличение или преуменьшение реальной картины, складывающейся в бизнесе. Чтобы систематические ошибки не так сильно влияли на бизнес-процессы, следует использовать поправочные коэффициенты.

Случайные

Это тот тип ошибок, который случается у экспертов в любых сферах. Они могут изменяться от одной оценки к другой, поэтому для избегания этих ошибок стоит проводить дополнительную проверку.

Повторная экспертная оценка

Повторная экспертиза поможет найти ошибки и предотвратить неприятные последствия внедрения в бизнес-процессы неверных решений. Те же вопросы могут исследоваться на протяжении того же срока, но для этого приглашаются уже другие эксперты. Это подтвердит достоверность и объективность полученных результатов.

Применимость метода экспертных оценок

Оценки от экспертов находят свое применение в любой сфере бизнеса на разных этапах проверок. Такие исследования могут проводиться при выходе компании на рынок, в случае застоев и кризисов, при необходимости расширения и поиска новых рынков сбытов. Чаще всего к таким методам прибегают, если при выборе конкретного пути нельзя оперировать точными расчетами.

Заключение

Экспертная оценка помогает собственнику бизнеса объективно взглянуть на происходящие процессы и скорректировать некоторые области. Если вовремя выявить проблему и оперативно решить ее, можно избежать ощутимых потерь в бизнесе.

Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 16 сентября 2021 года; проверки требуют 2 правки.

Экспе́ртное оце́нивание — процесс получения оценки чего-либо, на основе мнения экспертов, с целью последующего принятия решения или выбора.

Виды экспертных оценок[править | править код]

Существует две группы экспертных оценок:

• Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
• Коллективные оценки основаны на использовании коллективного мнения экспертов.

Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. Данный метод применяют для получения количественных оценок качественных характеристик и свойств. Например, оценка нескольких технических проектов по их степени соответствия заданному критерию, во время соревнования оценка судьями выступления фигуриста.

Известны следующие методы экспертных оценок:

• Метод ассоциаций. Основан на изучении схожего по свойствам объекта с другим объектом.
• Метод парных (бинарных) сравнений. Основан на сопоставлении экспертом альтернативных вариантов, из которых надо выбрать наиболее предпочтительные.
• Метод векторов предпочтений. Эксперт анализирует весь набор альтернативных вариантов и выбирает наиболее предпочтительные.
• Метод фокальных объектов. Основан на перенесении признаков случайно отобранных аналогов на исследуемый объект.
• Индивидуальный экспертный опрос. Опрос в форме интервью или в виде анализа экспертных оценок. Означает беседу заказчика с экспертом, в ходе которой заказчик ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути её решения. Свои соображения эксперт выносит в виде отдельного документа.
• Метод средней точки. Формулируются два альтернативных варианта решения, один из которых менее предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена между значений первой и второй альтернативы.

Этапы экспертного оценивания[править | править код]

1. Постановка цели исследования.
2. Выбор формы исследования, определение бюджета проекта.
3. Подготовка информационных материалов, бланков анкет, модератора процедуры.
4. Подбор экспертов.
5. Проведение экспертизы.
6. Анализ результатов (обработка экспертных оценок).
7. Подготовка отчета с результатами экспертного оценивания.

Постановка цели исследования[править | править код]

Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

• Выбор лучшего варианта решения среди имеющихся.
• Прогнозирование развития процесса.
• Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил;

• Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.
• Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.
• Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Выбор формы исследования, определение бюджета проекта[править | править код]

Существующие виды экспертных оценок можно классифицировать по признакам:

• По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
• По количеству итераций (повторов процедуры для повышения точности) — одношаговые и итерационные.
• По решаемым задачам: генерирующие решения и оценивающие варианты.
• По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
• По способу обработки мнений экспертов: непосредственные и аналитические.
• По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 — 12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

Подготовка информационных материалов[править | править код]

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает своё мнение.

Подбор экспертов[править | править код]

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение экспертизы[править | править код]

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

• Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
• Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

Анализ результатов (обработка экспертных оценок)[править | править код]

Основные этапы обработки экспертных оценок:

• определение компетенции экспертов;
• определение обобщенной оценки;
• построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив;
• определение зависимостей между ранжировками;
• оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);
• оценка ошибки исследования;
• построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
• подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

См. также[править | править код]

• Экспертиза
• Метод Дельфи
• Метод анализа иерархий
• Мозговой штурм
• Экспертный опрос

Литература[править | править код]

• Орлов А. И. Экспертные оценки. Учебное пособие. М.: ИВСТЭ, 2002
• Орлов А. И. Экспертные оценки. — Журнал «Заводская лаборатория». 1996. Т.62. No.1. С.54-60
• Т. Саати. Метод анализа иерархий. М.: «Радио и связь», 1993.
• Азгальдов Г. Г., Райхман Э. П. Экспертные методы в оценке качества товаров. — М.: Экономика, 1974. — 151 с.
• Орлов А. И. Экспертные оценки : учебное пособие. — М.: Ай Пи Ар Медиа, 2022. — 57 c. — ISBN 978-5-4497-1420-6 [1]
• Орлов А. И. Искусственный интеллект: экспертные оценки : учебник. — М.: Ай Пи Ар Медиа, 2022. — 436 c. — ISBN 978-5-4497-1469-5[2]

Добавлено в закладки: 0

Что такое экспертная оценка? Описание и определение понятия.

Экспертная оценка –  это оценка параметров процессов или предметов, которые невозможно непосредственно измерить, либо применить любые точные науки, поэтому оценка проводится на основании профессионального опыта специалиста, как одного, тогда экспертная оценка будет индивидуальной, так и нескольких, тогда экспертная оценка будет коллективной. Экспертная оценка может быть описательная, качественная, приблизительная, количественная и так далее. Помимо констатирования существующих фактов экспертная оценка может содержать прогноз дальнейшего развития или изменения ситуации, процесса, предмета.

Рассмотрим, более детально, что значит экспертная оценка .

Экспертная оценка – это диагностический метод измерения, процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения(выбора).

Виды экспертных оценок

Выделяют две группы экспертных оценок:

• Индивидуальные оценки (основываются на использовании мнения независимых друг от друга отдельных экспертов).
• Коллективные оценки (основываются на использовании только коллективного мнения экспертов).

Совместное (коллективное) мнение, безусловно, обладает наибольшей точностью, по сравнению с индивидуальным мнением каждого отдельного специалиста.

Этот метод применяется для получения количественных оценок и качественных характеристик и свойств.

Методы экспертных оценок

Существует несколько методов экспертных оценок:

1. Метод ассоциаций. Этот метод основывается на изучении похожего по свойствам объекта с другим объектом.
2. Метод парных (или бинарных) сравнений. Это метод основывается на том, что эксперт четко сопоставляет альтернативные варианты, из которых надо выбрать наиболее подходящие или предпочтительные.
3. Метод векторов предпочтений. Это метод, при котором эксперт анализирует весь возможный набор альтернативных вариантов и выбирает наиболее предпочтительные из них.
4. Метод фокальных объектов. Этот метод основывается на перенесении признаков случайно (рандомно) отобранных аналогов на исследуемый объект.
5. Индивидуальный экспертный опрос. Это своего рода интервью или опрос в виде анализа экспертных оценок. Индивидуальный экспертный опрос подразумевает диалог между экспертом и заказчиком, в ходе которого заказчик ставит перед экспертом вопросы, ответы на которые очень существенны для достижения программных целей.
6. Под анализом экспертных оценок подразумевается, что эксперт заполняет индивидуально разработанный заказчиком формуляр, по результатам которого и производится всесторонний анализ проблемной ситуации, а также рассматриваются все возможные пути её решения. Эксперт выносит все свои соображения по данному вопросу в виде отдельного письменного документа.
7. Метод средней точки. Это метод основывается на том, что в процессе экспертной оценки формулируются два альтернативных варианта решения, один из которых менее предпочтителен, а другой, наоборот более предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена посередине, то есть между значений первой и второй альтернативы.

Этапы экспертного оценивания

Выделяют несколько этапов:

• Ставится цель исследования.
• Выбирается форма исследования и определяется бюджет проекта.
• Подготовительный этап ( в него включается процесс сбора всего необходимого: информационных материалов, бланков анкет, модератора процедуры и так далеее).
• Тщательно подбираются компетентные эксперты.
• Проведение самой экспертизы.
• Проводится полный анализ результатов (то есть обрабатываются экспертные оценки).
• Подготавливается и составляется отчет с результатами экспертного оценивания.

Постановка цели исследования

Перед тем как начать экспертное исследование, очень важно четко определить его цель (или проблему) и сформулировать соответствующий вопрос для экспертов.

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по разным признакам:

1. По форме участия экспертов: заочное или очное. Если говорить о достоверности результатов, то очный метод экспертной оценки считается более качественным, так как он позволяет сосредоточить все внимание экспертов на решаемой проблеме, однако заочный метод тоже имеет свой огромный плюс – он может быть значительно дешевле, чем очный метод.
2. По количеству итераций (или повторов процедуры для повышения точности экспертной оценки) — различают итерационные (то есть много повторов) и одношаговые.
3. По решаемым задачам экспертные оценки подразделяются на генерирующие решения и оценивающие варианты.
4. По типу ответа экспертные оценки делятся на: ранжирующие, идейные, оценивающие объект в относительной или абсолютной (численной) шкале.
5. По способу обработки мнений экспертов: непосредственные и аналитические экспертные оценки.
6. По количеству привлекаемых экспертов: ограниченные или без ограничения. Обычно на практике используется от пяти до двенадцати человек экспертов.

Перечислим наиболее известные методы экспертных оценок:

• метод Дельфи,
• мозговой штурм и
• метод анализа иерархий.

У каждого метода существуют свои сроки проведения, а также потребность в экспертах. После того, как был выбран метод экспертного оценивания можно уже определять затраты на процедуру экспертной оценки – сюда включается оплата услуг экспертов, аренда помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы и так далее, тому подобное.

Подготовка информационных материалов

Эксперты перед вынесением суждения должны тщательно и с разных сторон рассмотреть представленную проблему. Для этого необходимо подготовить информационные материалы с описанием проблемы, уже имеющиеся статистические данные, справочные материалы, бланки анкет, а также инвентарь.

Стоит избегать следующих ошибок: упоминать разработчиков материалов, каким-то образом выделять тот или иной вариант решения или намекать на него, выражать (прямо или косвенно) отношение руководства к ожидаемым результатам. Данные должны быть разносторонние, а мнения и суждения экспертов непредвзятые и нейтральные. Необходимо заранее разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или же в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который обязательно контролирует соблюдение регламента, раздает необходимые материалы и анкеты, но сам своё мнение не высказывает.

Подбор экспертов

Эксперты должны быть компетентными в данных вопросах, а также должны обладать определенным опытом в областях, соответствующих решаемым задачам. При подборе экспертов желательно учитывать момент личной заинтересованности, который может стать очень существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран весь необходимый коллектив. При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией.

Обычно к эксперту предъявляются такие требования:

1. уровень общей эрудиции должен быть высокий;
2. оценки эксперта должны быть стабильны во времени;
3.  эксперт должен владеть дополнительной информацией, что будет только подтверждать его оценку по данному вопросу;
4. у эксперта должен быть богатый исследовательский и практический опыт, а также репутация признанного специалиста в данной области знаний;
5.  далеко не последнюю роль играет наличие психологической установки на будущее;
6.  эксперт должен обладать способностью к адекватному отображению тенденций развития исследуемого объекта;
7.  и последнее — эксперт не должен быть незаинтересован в каком-то определенном или конкретном результате прогноза.

Проведение экспертизы

Проведение экспертизы может отличаться от случая к случаю в зависимости от того, какой метод был выбран для использования. Общие рекомендации по этому вопросу следующие:

• Необходимо препятствовать давлению авторитетов (эксперт, как правило, часто боится противоречить мнению большинства или, например, наиболее уважаемого специалиста).
• Необходимо установить и жестко соблюдать установленный регламент. Замечено, что увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
• Анализ результатов (или обработка экспертных оценок).

Основные этапы обработки экспертных оценок:

1. определение компетентности приглашенных экспертов;
2. определение их обобщенной оценки;
3. построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив;
4. определение зависимостей между ранжировками;
5. оценка степени согласованности мнений экспертов. Если значимая согласованность экспертов отсутствует, то необходимо во-первых выявить причины несогласованности, а во-вторых – признать отсутствие согласованного мнения (это так сказать ничтожные результаты);
6. оценка ошибки исследования;
7. построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
8. подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

Подходы к  экспертным оценкам

Основное содержание метода экспертных оценок заключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой с регистрацией и последующей обработкой полученных данных.

Методы экспертных оценок основаны на использовании экспертной информации. Они помогают установить степень сложности и актуальности проблемы, определить основные цели и критерии, выявить важные факторы и взаимосвязи между ними, выбрать наиболее предпочтительные альтернативы.

Прогнозные экспертные оценки – они отражают индивидуальность суждения каждого из специалистов относительно эффективности, безопасности, расхода ресурсов, а также перспектив развития объекта. Основаны прогнозные экспертные оценки как правило на мобилизации профессионального опыта и интуиции экспертов.

Интуитивные (или экспертные) методы исследований используются для анализа и диагностики состояния, для последующего прогнозирования вариантов развития объектов (особенно в тех случаях, где обьект не поддается предметному описанию или математической формализации;

Также интуитивные методы используются когда нет достаточной и достоверной статистики по характеристикам исследуемого объекта, или в условиях большой неопределенности среды функционирования объекта, например,рыночной среды или в экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.

Кроме того, известны два подхода к использованию экспертов: индивидуальные оценки и групповые.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения проблемы, которая решается.

Методы получения индивидуального мнения членов экспертной группы основываются на том, что сначала получают предварительную информацию от экспертов, которых опрашивают независимо друг от друга, а потом полученные данные обрабатываются.

Индивидуальные мнения экспертов состоят в том, что каждый из них дает оценку независимо от других, а затем с помощью какого-либо приема эти оценки объединяются в одну общую оценку. Представляются индивидуальные экспертные оценки в виде оценок типа интервью или в виде аналитических записок.

Коллективные методы экспертизы основываются на групповой работе экспертов и получении суммарной оценки от всей группы специалистов в целом. Среди коллективных методов самым распространенным является метод мозговой атаки (это метод коллективной генерации идей или же метод группового рассмотрения с отнесенной оценкой), а также и метод Дельфи.

Следует заметить, что основной задачей экспертной оценки является максимальное приближение к истине. Экспертное оценивание становится способом получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты и некачественно организована их работа.

После того, как эксперты выносят свою оценку, исследователь проверяет индивидуальные суждения экспертов, анализирует совокупности мнений экспертов с целью установления степени согласованности их между собой, а   в случае наличия существенных расхождений в оценках выявляет причины разных мнений и определяет влияние компетентности экспертов на содержание их оценок и обоснований.

Экспертные ошибки

Реальность такова, что экспертные ошибки встречаются довольно часто. Но все же стоит помнить, что экспертные ошибки — это результат добросовестного заблуждения эксперта. Причины экспертных ошибок могут быть объективными, то есть не зависящими от эксперта как субъекта экспертного исследования, и субъективными, то есть коренящимися в образе мышления и (или) действиях самого эксперта. Ошибки могут быть обнаружены самим экспертом в ходе работы, комиссией экспертов при обсуждении результатов исследования или руководителем экспертного учреждения.

Характеризуя экспертов, стоит учитывать, что в результате выработки оценок могут иметь место ошибки двух видов:

1.  систематические ошибки. Если эксперт склонен к систематическим ошибкам, он выдает значения, которые устойчиво отличаются от истинного в сторону или увеличения или уменьшения. Предполагается, что такие ошибки связаны в первую очередь со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.
2.  случайные ошибки. Случайные ошибки могут изменяться от одной экспертной оценки к другой и характеризуются они величиной дисперсии.

Повторная экспертная оценка

Если возникает потребность в проведении повторной экспертизы, то стоит учесть некоторые моменты. Например, при повторной экспертизе решаются те же самые вопросы и исследуются те же самые объекты, что и при первичной, но уже другими экспертами. Оценка заключения повторной экспертизы проходит те же этапы, что и оценка первичной экспертной оценки. Причем как само заключение, так и выводы повторной экспертизы не имеют абсолютно никаких преимуществ по отношению к первичной, несмотря на возможные расхождения как в применяемых методах, средствах, методиках, так и в полученных результатах и в сформулированных выводах. И то, и другое заключения должны быть все также оценены с позиций относимости, допустимости, достоверности и достаточности.

Применимость метода экспертных оценок

Экспертные оценки применяются на любом этапе исследования: в определении цели и задачи самого исследования, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации какиех-либо процессов, событий или фактов, для обоснования адекватности используемого инструментария, в процессе выработки рекомендаций и т.д. Экспертные методы оценки применяют в ситуациях, когда выбор, обоснование и оценка  решений не могут быть выполнены на основе точных расчетов.

Мы коротко рассмотрели экспертная оценка, ее этапы, методы и виды, а также ошибки

Оставляйте свои комментарии или дополнения к материалу.

Методы
экспертных оценок
– это методы организации работы со
специалистами-экспертами и обработки
мнений экспертов. Они используются для
анализа и оценки результатов опросов,
представленных экспертами, для
прогнозирование хода развития событий
и явлений в будущем, для выдачи заключений
на маркетинговые исследования. «Эксперт»
в дословном переводе с латинского языка
означает «опытный».

Область применения
экспертных методов:

–
в условиях отсутствия достаточно
представительной и достоверной статистики
характеристики объекта;

–
в условиях большой неопределенности
среды функционирования объекта;

– при средне- и
долгосрочном прогнозировании объектов;

– в условиях дефицита
времени или экстремальных ситуациях.

Экспертная
оценка необходима, когда нет надлежащей
теоретической основы развития объекта.
Информация, полученная в процессе
экспертного опроса, не является готовой
экспертизой, она должна быть обработана,
и лишь после этого ее можно рассматривать
как решение поставленной задачи.

Различают
индивидуальные и коллективные экспертные
оценки. В
состав индивидуальных экспертных оценок
входят:

–
метод «интервью», при котором осуществляется
непосредственный контакт эксперта со
специалистом по схеме «вопрос – ответ»;

–
аналитический метод, при котором
осуществляется логический анализ
какой-либо прогнозируемой ситуации,
составляются аналитические докладные
записки;

– метод написания
сценария, который основан на определении
логики процесса или явления во времени
при различных условиях.

Методы
коллективных экспертных оценок включают
в себя метод «комиссий», «коллективной
генерации идей» («мозговая атака»),
метод «Дельфи», матричный метод. Эта
группа методов основана на том, что при
коллективном мышлении, во-первых, выше
точность результата, во-вторых, при
обработке индивидуальных независимых
оценок, выносимых экспертами, по меньшей
мере могут возникнуть продуктивные
идеи.

Прямые
экспертные оценки строятся по принципу
получения и обработки независимого
обобщенного мнения коллектива экспертов
(или одного из них) при отсутствии
воздействия на мнение каждого эксперта
мнения другого эксперта и всего
коллектива. Экспертные оценки с обратной
связью в том или ином виде реализуют
принцип обратной связи на основе
воздействия на оценку экспертной группы
(одного эксперта) мнениями, полученными
ранее от этой группы (или от одного из
экспертов).

Технологические
этапы осуществления
экспертизы включают:

– принятие решения
о необходимости проведения экспертного
опроса и формулировка цели экспертизы;

– постановка
проблем;

– определение круга
вопросов;

– формирование
группы (набор) специалистов-аналитиков;

– отбор квалифицированных
экспертов;

– разработка
инструментария и сценария интервью;

– инструктаж и
тренинг для интервьюеров;

–
определение метода обработки и
интерпретации информации, полученной
от экспертов

– анализ и обработка
информации экспертов;

–
синтез объективной информации и
информации, полученной в результате
экспертизы, с целью приведения их в
форму, удобную для принятия решения.

– контроль исполнения
качества работы интервьюеров;

– составление
аналитического отчета;

– демонстрация
заказчику презентации отчета.

Основой
выбора целей экспертизы
является описание предыстории и текущего
состояния проблемы. Выбор целей и
характер экспертизы в значительной
степени определяются существом проблемы,
предполагаемыми конечными результатами
и возможными способами их представления.

Набор
и отбор квалифицированных экспертов
включат
следующие действия.

1.
Разработка способа отбора экспертов.
Для этого
необходимо:

–
сформулировать критерии отбора (кто
может выступать в качестве эксперта по
данной проблеме?);

– определить
процедуры отбора (как установить
соответствие эксперта необходимым
требованиям?).

Сложной
проблемой процедуры отбора является
формирование системы характеристик
эксперта, существенно влияющих на ход
и результаты экспертизы. Эти характеристики
должны описывать специфические свойства
специалиста и возможные отношения межу
людьми, влияющие на экспертизу. Для
описания экспертов с точки зрения оценки
качества решения проблемы вводятся
следующие характеристики: компетентность,
креативность, конформизм, аналитичность
широта мышления, самокритичность др.
Перечисленные характеристики в основном
оцениваются качественно.

В качестве основных
критериев отбора можно назвать следующие:

1.
Уровень компетентности эксперта в
данной предметной области, показателями
которого в совокупности являются:

– уровень и профиль
образования;

– профиль работы
(связь с данной предметной областью);

–
опыт работы по профилю (общий стаж работы
по профилю и стаж работы непосредственно
в данной предметной области);

–
уровень решаемых проблем (соответствие
занимаемой должности характеру и уровню
возникшей проблемы);

–
количество и качество ранее выполненных
экспертиз, например, сбывшиеся прогнозы.

2.
Степень объективности и беспристрастности
эксперта при анализе и оценке явлений
в данной предметной области
(незаинтересованность эксперта в
принятии определенного решения).

3.
Умение работать в команде (это особенно
важно для группового экспертного
опроса), т.е.:

– коммуникативные
навыки,

– способность к
совместному творчеству,

– гибкость ума;

– нонконформизм.

При
оценивании экспертов по названным
критериям могут использоваться следующие
процедуры:

– самооценка
экспертов по объективным параметрам;

– взаимная оценка
экспертов;

– оценка экспертов
независимыми специалистами;

–
оценка уровня компетентности экспертов
с учетом качества ранее проведенных
экспертиз (данная оценка производится
самой исследовательской командой на
основе анализа ретроспективных данных
о работе эксперта).

Наиболее
предпочтительным является отбор
экспертов на основе независимой
квалифицированной оценки с поправкой
на качество ранее сделанных экспертиз.

Пример метода выбора экспертной
группы. На основе анализа литературы
по прогнозируемой проблеме выбирается
любой специалист, имеющий несколько
публикаций в данной области. К нему
обращаются с просьбой назвать 10 наиболее
компетентных, по его мнению, специалистов
по данной проблеме. Затем обращаются
одновременно к каждому из десяти
названных специалистов с просьбой
указать 10 наиболее крупных их коллег-ученых.
Из полученного списка специалистов
вычеркиваются 10 первоначальных, а
остальным рассылаются письма, содержащие
указанную выше просьбу. Данную процедуру
повторяют до тех пор, пока ни один из
вновь названных специалистов не добавит
новых фамилий к списку экспертов, т. е.
пока не стабилизируется сеть экспертов.
Полученную сеть экспертов можно считать
генеральной совокупностью специалистов,
компетентных в области прогнозируемой
проблемы. Однако в силу ряда практических
ограничений оказывается нецелесообразным
привлекать всех специалистов к экспертизе.
Поэтомунеобходимо сформироватьрепрезентативную выборкуиз
генеральной совокупности экспертов.

2.
Разработка сценария
экспертизы
включает в себя конкретный вид информации,
которая будет получена от экспертов
(например, тексты (слова), условные
градации, числа, ранжирования, разбиения
или иные виды объектов нечисловой
природы ). Так, довольно часто экспертов
просят высказаться в свободной форме,
ответив при этом на некоторые количество
заранее сформулированных вопросов.
Кроме того, их просят заполнить формальную
карту, в каждом пункте выбрав одну из
нескольких градаций. Сценарий должен
содержать и конкретные методы анализа
собранной информации.

3.
Организация взаимодействия экспертов
с
исследователями
зависит от выбранного метода сбора
экспертной информации. Организация
форм работы эксперта
может быть программированной или
непрограммированной, а деятельность
эксперта может осуществляться в устной
(интервью) либо в письменной форме (ответ
на вопросы специальных таблиц экспертных
оценок или свободное изложение по
заданной теме). Методы экспертизы в этом
контексте могут быть классифицированы
следующим образом:

– индивидуальные
методы экспертизы;

– групповые методы
экспертизы.

При
индивидуальные методы экспертизы может
быть задействован один эксперт, если
его квалификации достаточно для снятия
информационной неопределенности по
проблеме, однако обычно привлекают
несколько экспертов для повышения
надежности экспертизы. Индивидуальность
заключается в том, что эксперты не
собираются вместе, не знакомятся с
оценками других экспертов, разных
экспертов могут опрашивать относительно
разных аспектов одной проблемы, также
могут быть различны и процедуры опроса
разных экспертов. Чаще всего при
индивидуальном экспертном опросе
используются следующие методы:

1.
Стандартизированный экспертный опрос.
Данный метод требует от исследовательской
команды предварительного четкого
структурирования проблемы и определения
перечня всех вопросов, на которые должны
быть получены однозначные ответы. Для
реализации опроса разрабатывается
стандартизированная анкета с вопросами
закрытого типа (с предложением вариантов
ответа). Анкетирование может проводиться
как при личной беседе интервьюера с
экспертом, так и путем “самозаполнения”.

Важное
значение имеет формулировка вопросников
(анкет), которая должна обеспечить их
единственное толкование и выражение
ответа на каждый вопрос в виде
количественной оценки. В случаях, когда
отдельным качественным признакам трудно
приписать количественную оценку, нужно
оценивать сравнительную интенсивность
признака с помощью методов упорядочения.

Все вопросы анкеты
в зависимости от их содержания можно
разделить на три группы:

-объективные
анкетные данные о самом эксперте;

-мотивы, которыми
руководствуется эксперт при оценке;

-основные вопросы, касающиеся существа
исследуемой проблемы.

Серьезного
внимания требует подбор признаков
(вопросов), которые желательно включить
в анкету. Различают три вида вопросов,
по которым дается экспертная оценка:

–
вопросы, ответы на которые содержат
количественную оценку;

–
вопросы, требующие содержательного
ответа в сжатой форме;
.

–
вопросы, требующие содержательного
ответа в развернутой форме.

Чтобы
уточнить содержание, формулировки
вопросов, их последовательность,
выяснить, не утомляет ли анкета
опрашиваемых, не нужно ли включить
дополнительные и исключить «неработающие»
вопросы, заменить вопросы, допускающие
двойное толкование, производится ее
проверка. Для этого подбираются
«разноплановые» эксперты (по стажу
работы, по специализации и т. п.). Проверка
осуществляется в форме личного интервью.

2.
Нестандартизированный экспертный
опрос. Метод
представляет собой личное интервью с
экспертом по определенной проблеме.
Степень формализации интервью может
быть различной. Низкий уровень формализации
опроса – неформальная беседа, для которой
определяется только тема, а далее эксперт
сам решает, как ее освещать (интервьюер
при этом задает уточняющие или наводящие
вопросы). Высокий уровень формализации
предполагает разработку четко
структурированного опросника с вопросами
открытого типа.

3.
Метод «индивидуального блокнота».
Метод представляет собой заочную работу
эксперта без непосредственного общения
с исследователями. Эксперт получает
блокнот, на первой странице которого
описана проблема, и затем в течение
оговоренного периода времени (определяемого
сложностью проблемы и срочностью ее
решения) заносит в этот блокнот все свои
мысли, идеи, замечания, касающиеся
поставленной задачи, после чего сдает
блокнот исследователям. Существенную
сложность представляет последующая
обработка информации и ее интерпретация.

Групповые
методы предполагают
коллективную работу экспертов (очную
или заочную), они требуют согласования
мнений всех экспертов и разработку
общего экспертного вывода на основе
консенсуса. Групповые методы
предпочтительнее с точки зрения повышения
надежности экспертизы, однако они весьма
сложны по подготовке и проведению.

Групповые
методы формирования экспертизы в
зависимости от характера и направленности
обсуждения подразделяют
на аналитические и креативные.
Аналитические
методы
нацелены преимущественно на исследование
характеристик изучаемого объекта.
Креативные
имеют своей целью коллективную генерацию
идей или выработку решения проблемы.
Соответствующим образом классифицируют
и экспертные группы:

– обсуждающие
группы (основная цель работы аналитическая);

– созидательные
группы (основная цель креативная).

Существуют
следующие групповые методы формирования
экспертизы:

1.
Метод номинальных групп.
Метод представляет собой некую переходную
разновидность от индивидуального опроса
к групповому. При реализации этого
метода сначала производится индивидуальный
опрос одних экспертов, а затем результаты
данных интервью так же автономно и
независимо друг от друга обсуждаются
другими экспертами. Эксперты могут
выразить согласие или несогласие с
ранее прозвучавшими мнениями, необходимо,
чтобы критика или выражение солидарности
были четко аргументированы.

2.
Мозговой штурм.
Метод представляет собой совместное
очное обсуждение проблемы группой
экспертов. Метод реализуется в два
этапа. Первый этап носит название
“конференции идей”, его длительность
составляет примерно 1-1,5 часа. В ходе
этого этапа эксперты выдвигают различные
идеи, касающиеся трактовки анализируемой
ситуации и или прогноза развития явления.
Идеи протоколируются, но не обсуждаются,
не критикуются. При этом идеи могут быть
самыми разными, в том числе и “бредовыми”.
Главенствует принцип: чем больше идей,
тем лучше. После перерыва, на втором
этапе, идеи обсуждаются, оцениваются,
и выбираются те из них, которые признаются
наиболее верными. Окончательный вердикт
по проблеме может быть принят путем
явного или неявного голосования.
Процедуры генерации и обсуждения идей
могут быть в большей ими меньшей степени
формализованы.

3.
Метод “635”.
Метод представляет собой достаточно
формализованную вариацию метода
мозгового штурма. Этот метод подразумевает
следующую регламентацию работы экспертной
команды: в группу входят 6 человек, каждый
из которых в течение 5 минут должен
выдвинуть три предложения или высказать
три гипотезы по поводу некоторого
аспекта решаемой задачи или анализируемой
ситуации. Идеи каждого эксперта заносятся
в специальные формуляры, которые
передаются по кругу. После того как были
рассмотрены все аспекты поставленной
задачи и все эксперты получили возможность
высказаться, происходит обсуждение и
оценка решений и выбор наиболее верного.

4.
Критическая атака (“разносная”
атака). Метод
также представляет собой вариацию
метода мозгового штурма, принципиальное
отличие – в критической направленности
обсуждения. Реализация метода включает
несколько этапов. На первом этапе каждый
участник экспертной группы предлагает
свое решение поставленной задачи (свою
интерпретацию при анализе ситуации)
или свою версию развития событий (при
прогнозе). Решение должно предлагаться
с подробной аргументацией. Далее каждый
эксперт должен ознакомиться с мнениями
своих коллег и найти и аргументировать
в предлагаемых решениях максимально
возможное число слабостей. На следующем
этапе эксперты собираются вместе и по
очереди обсуждают все выдвинутые
решения. Задача каждого автора – отстоять
свою версию решения, задача оппонентов
– “разнести ее в пух и прах”. По
итогам дискуссии эксперты выбирают то
решение, которое вызвало меньше всего
нареканий и было наиболее обоснованным.

5.
Экспертное фокусирование.
Метод представляет собой одну из форм
совместного очного обсуждения проблемы.
Эксперты всесторонне рассматривают
исследуемую ситуацию, “фокусируются”
на ней. Основная цель – выявить структуру
данной проблемы, определить по возможности
все факторы, определяющие данную
ситуацию, установить взаимосвязи между
ними. Обсуждение носит более деловой
характер, чем при классической версии
мозгового штурма, то есть проходит без
излишнего “бреда”.

6.
Метод комиссий.
Метод также заключается в совместном
обсуждении проблемы. Основное отличие
от фокусирования – стремление выяснить,
в чем состоит противоречие между разными
вариантами предлагаемых решений, найти
максимальное число “точек согласия”
и прийти к консенсусу.

7.
Метод интеграции решений.
Метод в своей основе аналогичен методу
комиссий, однако в большей степени
формализован. Метод заключается в
выработке совместного решения проблемы
на основе выявления сильных сторон
отдельных решений и их объединения.
Метод реализуется в несколько этапов.
На первом этапе экспертам предлагается
задача, и они рассматривают и решают ее
независимо друг от друга. Затем в заранее
подготовленный формуляр эксперты
заносят свои индивидуальные решения,
т.е. трактовку анализируемой ситуации
или прогноз развития событий. На следующем
этапе эксперты совместно обсуждают
задачу и все предложенные решения с
целью выявить сильные стороны каждого
отдельного решения, которые также
фиксируются в формуляре. При представлении
индивидуальных решений возможны вариации
– либо каждое решение презентуется
автором и подробно аргументируется,
либо соблюдается анонимность решений,
чтобы избежать давления авторитетов.
После того как обсуждены все решения и
определены сильные стороны каждого из
них, вырабатывается синтезированное
решение на основе комбинирования
преимуществ отдельных решений.

8.
Деловая игра.
Метод может быть реализован в разных
формах. Наиболее распространенная форма
– моделирование анализируемых процессов
и/или будущего развития прогнозируемого
явления в разных вариантах и рассмотрение
полученных данных. Разработка процедуры
проведения деловой игры – достаточно
сложная задача, и ей должно быть уделено
серьезное внимание. Должны быть четко
определены и формально описаны следующие
элементы игры: цели и задачи, роли
участников, сюжет и регламент. Важным
этапом любой деловой игры является
рефлексия – разбор хода игры и подведение
итогов. В данном случае рефлексия
заключается не только в анализе самого
игрового процесса, но и в анализе
результатов моделирования исследуемого
явления.

9.
Метод “суда”.
Метод представляет собой одну из
разновидностей деловых игр. Обсуждение
поставленной задачи реализуется в виде
судебного процесса: моделируется
“процесс над проблемой”. Выбираются
“адвокат”, “прокурор”, “суд”,
“присяжные” и др. участники
“процесса”. Каждый отстаивает свою
точку зрения, касающуюся анализируемого
или прогнозируемого явления, аргументируя
свои высказывания. Окончательный вердикт
об исследуемой проблеме определяется
в два этапа: голосование “присяжных”
и конкретизация решения “судьями”.

10.
“Консилиум”. Эксперты
исследуют проблему подобно тому, как
врачи обследуют пациента: определяются
“симптомы” проявления проблемы,
вскрываются причины возникновения
проблемы, производится анализ, ставится
“диагноз”, и дается прогноз развития
ситуации.

11.
“Коллективный блокнот”. Метод
в основе своей аналогичен “индивидуальному
блокноту”, однако в данном случае
блокноты получают несколько экспертов,
каждый из которых знает, что он является
участником экспертной группы. Возможен
вариант, когда в начале работы все
эксперты собираются вместе и им
рассказывают о сущности возникшей
проблемы и формулируют задачу. Далее
каждый эксперт работает со своим
блокнотом в течение определенного
времени (при этом также возможно, что
разные эксперты сосредотачиваются на
разных сторонах проблемы). Второй этап
реализации экспертизы заключается в
том, что блокноты собираются, информация
систематизируется (исследовательской
командой или руководителем экспертной
группы) и далее в очном совместном
обсуждении накопленного и систематизированного
материала эксперты приходят к решению
проблемы.

12.
Метод Дельфи.
Метод представляет собой заочный и
анонимный опрос экспертной группы в
несколько туров с согласованием мнений
экспертов. Экспертам предлагаются
опросные листы по исследуемой проблеме.
Степень стандартизированности вопросов
может быть различна (они могут быть как
закрытыми, так и открытыми, подразумевать
как количественный, так и качественный
ответ). Возможны вариации и в плане
аргументации и обоснования экспертных
оценок (что может быть обязательным или
нет). Как правило, метод Дельфи реализуется
в 2-3 тура, причем при повторных опросах
экспертам предлагается ознакомиться
либо с мнениями и аргументами каждого
эксперта, либо со средней оценкой.

Существуют
различные методики согласования
экспертных оценок (с учетом (или без)
квалификации экспертов (как весовых
коэффициентов), с отбрасыванием (или
без) крайних оценок и другие). Метод
Дельфи имеет весьма существенные
достоинства, которые иногда делают его
незаменимым. Во-первых, заочность и
анонимность позволяют избежать
конформизма или ориентации на авторитеты,
что могло бы возникнуть, если бы экспертов
собрали вместе и они должны были бы
обнародовать свое мнение. Во-вторых,
эксперты имеют возможность изменить
свое мнение без риска “потерять лицо”.

Метод
Дельфи может быть применен в процессе
группового принятия управленческого
решения посредством выбора наилучшей
альтернативы. Информация, полученная
в процессе экспертного опроса, не
является готовой экспертизой, она должна
быть обработана, систематизирована,
оценена с точки зрения качества,
подвергнута анализу и целенаправленной
интерпретации, и лишь после этого ее
можно рассматривать как решение
поставленной задачи.

Согласование
экспертных мнений
может быть сделано на основе одного из
следующих правил:

–
правило большинства – выбирается та
оценка явления или то решение задачи,
которых придерживается большинство
экспертов (однако, надо заметить, нередки
ситуации, когда эксперты, дающие более
достоверные оценки, оказываются в
меньшинстве);

– правило авторитета
– выбирается то решение, к которому
склоняются самые авторитетные эксперты
(в этом случае каждому эксперту должен
быть приписан “вес”, учитывающий
его уровень компетентности);

–
правило средней оценки – мнения экспертов
приводятся к некому общему знаменателю.
Для количественных оценок это сделать
достаточно просто: определяется либо
простая, либо взвешенная средняя оценка,
для качественной информации такое
согласование более сложно. При согласовании
количественных оценок также может
использоваться отбрасывание наименьшей
и наибольшей оценок и усреднение
оставшихся.

Достоинство
метода –
возможность получения уникальной
информации, которая не может быть
почерпнута ни из каких других источников.
Недостатки:

– сложность
организации экспертизы: отбора экспертов
в достаточном количестве и “качестве”
и проведения опроса;

–
сложность формирования окончательной
экспертизы: согласования полученных
данных, их анализа и интерпретации;

–
возможная субъективность экспертов:
эксперты могут находиться в плену своих
представлений и неохотно пересматривать
свою точку зрения, даже если она
неправильная.

–
возможное влияние на результат выбранной
формы проведения экспертного опроса
(при открытом опросе высока опасность
конформизма).

–
высокая стоимость проведения опроса,
т.к. высока как оплата труда экспертов,
так и расходы на организацию и проведение
экспертизы.

В
связи с дороговизной и сложностью
проведения экспертного опроса выбор
этого метода должен быть строго
оправданным. Имеет смысл привлекать
экспертов только для решения нетривиальных
масштабных задач, для которых требуется
получение независимой, объективной
оценки ситуации, а также для выработки
решений, которые не могут быть получены
никаким другим способом.

Организация
стимулирования работы эксперта
состоит в разработке:

–
эвристических приемов и способов,
облегчающих поиск прогнозной экспертной
оценки; правовых норм, гарантирующих
эксперту оформление приоритета и
авторства, а также неразглашения всех
научно-технических идей, выдвигаемых
им в процессе экспертизы;

–
форм моральной, профессиональной и
материальной заинтересованности
эксперта в экспертных оценках;
организационных форм работы эксперта
(включение в план работы и т. п.).