Реферат Экспертные оценки в управлении организацией
Работа добавлена на сайт bukvasha.net: 2015-10-28Поможем написать учебную работу
Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
от 25%
Подписываем
договор
СОДЕРЖАНИЕ
| ВВЕДЕНИЕ………………………………………………………………. | 3 |
| | |
| ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОНЯТИЯ ЭКСПЕРТНЫХ ОЦЕНОК В УПРАВЛЕНИИ…………………………………………………... | 5 |
| 1.1. Содержание методов экспертных оценок…………………………. | 5 |
| 1.2. Роль экспертов в управлении организацией………………………. | 20 |
| 1.3. Организация процесса экспертного оценивания…………………. | 24 |
| | |
| ГЛАВА 2. ЭКСПЕРТНАЯ ОЦЕНКА В УПРАВЛЕНИИ ООО «ЛОГИСТИКА-ТРЕЙД»………………………………………………… | 31 |
| 2.1. Компетентность и мнение группы экспертов……………………. | 31 |
| 2.2. Проверка согласованности показаний экспертов………………… | 33 |
| 2.3 Определение коэффициентов относительной важности элементов………………………………………………………………… | 39 |
| | |
| ЗАКЛЮЧЕНИЕ………………………………………………………….. | 42 |
| | |
| СПИСОК ЛИТЕРАТУРЫ………………………………………………. | 44 |
ВВЕДЕНИЕ
Подъем производства, рост валового внутреннего продукта в условиях становления рыночной экономики невозможны без реализации новых крупномасштабных (национальных) проектов, инвестиций и инноваций. В связи с этим экономическое прогнозирование приобретает большое значение для развития теории и практики управления народным хозяйством, его отраслями и предприятиями.
Подобная постановка проблемы требует формализации социально-экономических систем, процессов, явлений по возможности с учетом большего количества факторов, что возможно при использовании экономико-математических методов и моделей. Выбор форм и методов проведения экспертных опросов зависит от конкретной задачи и условий проведения экспертизы.
Возможность использования экспертных оценок, обоснование их объективности базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от группы экспертов и что обобщенное коллективное мнение является достоверным.
Актуальность работы состоит в том, что экспертная оценка как процесс получения необходимой информации о потенциале организации справедливо считается важнейшим компонентом управления, обеспечивающим достижение целей организации. В русле данного направления исследований и консультационной практики особое значение придается поиску надежных методов оценки, а также разработке соответствующих оценочных технологий и процедур.
На сегодняшний день одним из наиболее эффективных способов получения достоверной информации о предприятии является комплексная оценка, в которую наряду с традиционными методами диагностики включена экспертная оценка как процедура сбора информации о способах и средствах деятельности организации. При таком понимании комплексности оценочной технологии особую важность приобрело изучение механизмов, лежащих в основе управления предприятия в целом.
В последние годы в современном российском обществе произошли кардинальные экономические, политические и социальные перемены. Интенсификация труда, изменение содержания большинства видов трудовой деятельности, появление новых профессий увеличили значение оценки предприятия определенным критериям.
Цель работы заключается в рассмотрении экспертных оценок в управлении организацией.
Предметом выступает процесс оценки наблюдателями моделируемой хозяйственной деятельности и содержание представлений наблюдателей относительно причин успешности деятельности.
Объектом являются сами наблюдатели при проведении ими процедуры оценки.
В соответствии с целью были сформулированы следующие задачи:
- Рассмотреть сущность и содержание методов экспертной оценки;
- Выявить роль экспертов в управлении предприятием;
- Изучить организацию процесса оценки предприятия;
- Провести экспертную оценку на примере ООО «Логистика-Трейд».
Методологическую основу работы составили основные положения существующих подходов к оценке организации В.С. Агеева, Т.Ю. Базарова, А.П. М.В. Грачева, А.Л. Журавлева, В.С. Манькова, В.Л. Пугачева и др.).
ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПОНЯТИЯ
ЭКСПЕРТНЫХ ОЦЕНОК В УПРАВЛЕНИИ
1.1. Содержание методов экспертных оценок
Опираясь на конструктивные подходы отечественных и зарубежных исследователей к оценке организации (Н.А. Батурин, МН. Берулава, О.В. Бернович, Т.Ю. Базаров, А.П. Волгин, Н.В. Грачев, Л.Г. Дадиверин, Г. Десслер, М. Спул, А. Пинтер, К. Вейк и др.) можно определить процесс оценки как «сквозной» вид работы для получения необходимой информации об организации при разработке хозяйственных программ.
Задачи прогнозирования, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возможных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.
1. Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проблемной ситуации. Наличие обратной связи позволяет концентрировать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, искусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оценку вариантов, не ограничивая при этом их числа.
Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию следующих шести этапов.
Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная численность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор:
1) из лиц примерно одного ранга, если участники знают друг друга;
2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников присвоением ему номера с последующим обращением к участнику по номеру).
Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обязательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладающие высоким уровнем общей эрудиции и понимающие смысл проблемной ситуации.
Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проблемной ситуации и включает описание этого метода и описание проблемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причины возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гиперболизировать последствия, с тем, чтобы острее ощущалась необходимость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуации, формулировку проблемной ситуации в виде центрального вопроса с иерархией подвопросов.
Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки:
1) высказывания участников должны быть четкими и сжатыми;
2) скептические замечания и критика предыдущих выступлений не допускаются;
3) каждый из участников имеет право выступать много раз, но не подряд;
4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее.
Пересказывая содержание проблемной ситуации, ведущий концентрирует внимание участников на основном вопросе. Свое выступление ведущий должен строить таким образом, чтобы пробудить психологическую восприимчивость участников, заставить их почувствовать потребность сделать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблемной ситуации.
Активная деятельность ведущего предполагается только в начале «мозговой атаки». После того как участники достаточно возбудились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глубже охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:
- сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;
- не объявлять ложной, не осуждать и не прекращать исследование ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;
- приветствовать усовершенствование или комбинацию идей, предоставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;
- оказывать поддержку и поощрение участникам, столь необходимые для того, чтобы освободить их от скованности;
- создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.
Продолжительность мозгового штурма рекомендуется не менее 20 минут и не более 1 часа в зависимости от активности участников. Целесообразно вести запись высказываемых идей.
Четвертый этап - систематизация идей, высказанных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комплексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным признакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к частным, дополняющим или развивающим более общие идеи).
Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каждая из них подвергается всесторонней критике со стороны участников мозговой атаки).
Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают доводы, опровергающие систематизированную идею. Особенно ценным является то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая прещщложение о возможности снятия этих ограничений.
Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, численность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магнитофон.
Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:
1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.
2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья – показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.
3. Оценивается каждое критическое замечание и контридея:
а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;
б) не вычеркивается, если оно не опровергается ни одним показателем.
4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.
Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь компромиссов, когда единое мнение нельзя считать результатом беспристрастного анализа проблемы.
2. Дельфийский метод. В последние два десятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мнения. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.
Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.
Метод «Дельфи» позволяет обобщать мнения отдельных экспертов в согласованное групповое мнение. Ему присущи все недостатки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность прогнозирования.
Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экспертов. К таким особенностям относятся:
- анонимность экспертов;
- использование результатов предыдущего тура опроса;
- статистическая характеристика группового ответа.
Анонимность заключается в том, что в ходе проведения процедуры экспертной оценки прогнозируемого явления, объекта участники экспертной группы неизвестны друг другу. При этом взаимодействие членов группы при заполнении анкет, полностью устраняется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.
Использование результатов предыдущего тура опроса заключается в следующем: поскольку групповое взаимодействие осуществляется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извлекает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функционирования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возможность группе специалистов концентрировать свои усилия на первоначальных задачах, а не предполагать каждый раз что-то новое.
Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертом, т.е. такую точку зрения, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени различия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характеристики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квартилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оценки которого одной половиной членов группы были больше этого числа, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.
Метод «Дельфи» осуществим и эффективен при получении преимуществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство трудностей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.
В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество связанных и переходящих друг в друга путей развития.
Представив прогноз научно-технических сдвигов как Д1, Д2, …, Дn, а соответствующие им вероятности как Р1, Р2, …, Рn и полагая Р1=100% , находят изменения значений Р2, …, Рi, …, Рn.
При введении перекрестной корреляции значения каждого события за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего соответствия модели реальным условиям в модель могут быть введены элементы случайности.
Сущность методов экспертных оценок для разработки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).
Содержание методов экспертных оценок заключается в следующем:
I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данной отрасли. Количество экспертов, привлекаемых для разработки прогноза, может колебаться от 10 до 150 человек, в зависимости от сложности объекта.
II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, необходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и средства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для достижения цели. При этом направления научных исследований и разработок не должны пересекаться друг с другом.
III. Разработка анкеты. Заключается в разработке вопросов, которые будут предложены экспертам. Форма вопроса может быть разработана в виде таблиц, но содержание их должно определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структурно-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.
При проведении опроса экспертов необходимо обеспечить однозначность понимания отдельных вопросов, а также независимость суждений экспертов.
IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экспертных оценок, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.
Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:
1) метод простой ранжировки (или метод предпочтения);
2) метод задания весовых коэффициентов;
3) метод парных сравнений;
4) метод последовательных сравнений.
Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.
Таблица 1
Экспертные оценки признаков (направлений исследований)
Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение Sj j-го признака:
где mkj - количество экспертов, оценивающих j-й признак (mk
i - номер эксперта; i = 1,…,m;
j - номер признака, j = 1,2,…,n.
Определяется средний ранг каждого признака. Чем меньше величина Sj, тем больше важность этого признака.
Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации
Определяется средний ранг совокупности признаков:
Вычисляется отклонение dj среднего ранга j-го признака от среднего ранга совокупности:
Определяется число одинаковых рангов, назначенных экспертами j-му признаку – tq.
Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:
Коэффициент
По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти – противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.
Достоинства метода простой ранжировки:
1) сравнительная простота процедуры получения оценок;
2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.
Недостаток же его в том, что:
1) заведомо считают распределение оценок равномерным;
2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.
Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:
1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.
Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 – 2.5).
Метод последовательных сравнений заключается в следующем:
1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An ;
2) присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3) сравнивает значение первого признака с суммой всех последующих.
Возможны три варианта:
A1 >A2 + A3 + … + An
A1 = A2 + A3 + … + An
A1 < A2 + A3 + …+ An
Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого события.
4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака.
Приводит оценку первого признака в соответствие с выбранным из трех вариантов неравенством:
A1 > A2 + A3 + … + An-1
A1 = A2 + A3 + … + An-1
A1 < A2 + A3 + … + An-1
5) процедура повторяется до сравнения A1 с A2 + A3.
После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:
A1 > A2 + A3
A1 = A2 + A3
A1 < A2 + A3
Он переходит к уточнению оценки второго признака A2 по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.
Преимущество его состоит в том, что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов возникает творческий процесс создания этих коэффициентов.
Недостатки метода таковы:
1) сложность его; неподготовленный эксперт будет с трудом справляться с этой процедурой; вместо того, чтобы уточнять свои первоначальные оценки, он будет путаться в них;
2) громоздкость; на оценку одного и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).
Метод парных сравнений. Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.
Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.
Таблица 2
Сравнительная таблица признаков
Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим и т.д.
Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:
После ряда математических преобразований мы получаем оценки каждого признака А1, А2, … ,Аn с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.
Суммарная матрица имеет вид
m – число экспертов, оценивающих данный набор признаков;
Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.
Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.
В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:
где
Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:
0 - эксперт не знаком с вопросом;
1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;
4,5,6 - эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса;
7,8,9 – эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;
10 – вопрос входит в круг узкой специализации эксперта.
Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент.
Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 3 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.
Определив коэффициент компетентности, умножают на него значение оценок экспертов.
Таблица 3
Значения коэффициента аргументированности
1.2. Роль экспертов в управлении организацией
Современное общество развивается под постоянно усиливающимся воздействием научно-технической революции, которая вызывает коренные преобразования в производстве, глубокие изменения в структуре и экономике народного хозяйства. Происходящая научно-техническая революция по своему влиянию далеко выходит за пределы сферы материального производства, захватывая все стороны жизнедеятельности общества, предопределяя большинство решений, направленных на его рациональное экономическое и социальное развитие.
Особое значение в управлении сейчас приобретают методы оптимизации, основанные на применении формальных, чаще всего математических моделей, обеспечивающих экономию времени и средств при решении многих практических задач. Построение моделей помогает привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решений, в логически стройную схему, определить, какие данные необходимы для оценки и выбора альтернатив.
В процессе управления возникает естественное стремление к отысканию решения, которое объективно является наилучшим из всех возможных. В качестве инструмента оптимизации сейчас широко используется математическое программирование. Успехи в применении математического программирования к решению различного рода хозяйственных, научных, технических и военных задач породили методологические воззрения, согласно которым кардинальное решение проблем управления возможно только тогда, когда все его аспекты отображаются в системе взаимосвязанных математических моделей.
Однако, формализация технико-экономических и управленческих решений осложняется рядом особенностей современного этапа научно-технического прогресса. Жизнь общества настолько сложна, что трудно рассчитывать на появление моделей, которые полностью отражали бы природу и количественные взаимосвязи социально-экономических процессов. Реальная действительность всегда сложнее самых тонких математических моделей, а ее развитие часто опережает формальное познание. Задачи управления требуют в качестве неотъемлемого элемента решения участия людей. И, наконец, сам процесс управления всегда предполагает ориентацию не только на числовые данные, но и на обычный здравый смысл. Использование математического программирования и вычислительной техники позволяет принимать решения, основанные на более полной и надежной информации. Но, несомненно и то, что при любых условиях для выбора рационального решения требуется нечто большее, чем хорошая математическая модель.
Принимая решения, мы обычно предполагаем, что информация, используемая для их обоснования, достоверно и надежна. Но для многих экономических и научно-технических задач, являющихся по своему характеру качественно новыми и неповторяющимися, это предположение либо заведомо не реализуется, либо в момент принятия решения его не удается доказать.
Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины, например, предположения о возможных решениях и их результатах. Практика показывает, что основные трудности, возникающие при поиске и выборе деловых решений, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся информации.
Основные трудности, связанные с информацией, возникающие при выработке сложных решений, можно подразделить на следующие группы.
Во-первых, исходная статистическая информация зачастую бывает недостаточно достоверной.
Во-вторых, некоторая часть информации имеет качественный характер и не поддается количественной оценке. Так, нельзя точно рассчитать степень влияния социальных и политических факторов на реализацию планов, оценить экономический эффект будущих изобретений и т.д. Но, поскольку эти факторы и явления оказывают существенное влияние на результаты решений, их нельзя не учитывать.
В-третьих, в процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств.
В-четвертых, существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.
В-пятых, одна из наиболее существенных трудностей при выборе решений состоит в том, что любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации, а любое экономическое действие может приводить к многочисленным исходам. Проблема выбора наилучшего варианта решения может возникнуть и потому, что обычно существуют ограничения в ресурсах, а следовательно, принятие одного варианта всегда связано с отказом от других решений.
В-шестых, при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов. Многозначность, многомерность и качественное различие показателей являются серьезным препятствием для получения обобщенной оценки относительной эффективности, важности, ценности или полезности каждого из возможных решений.
В связи с этим одна из главных особенностей решения сложных проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых, специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Закономерность развития науки и техники состоит в том, что новые знания, научно-техническая информация накапливаются в течение длительного периода времени. Нередко это накопление идет в скрытой форме в сознании ученых и разработчиков. Они, как никто другой, способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют.
Опыт показывает, что использование несистематизированных суждений отдельных специалистов оказывается при решении многих сложных научных и технических проблем недостаточно эффективным вследствие многообразия взаимосвязей между основными элементами таких проблем и невозможности охвата их всех. При использовании традиционных процедур подготовки решений нередко не удается рассмотреть широкий диапазон факторов, учесть весь спектр альтернативных путей решения проблем.
Все это заставляет прибегать к комплектованию групп специалистов, представляющих в качестве экспертов различные области знаний. Применение групповой экспертизы позволяет не только рассмотреть множество аспектов и факторов, но и объединить различные подходы, с помощью которых руководитель находит наилучшее решение.
1.3. Организация процесса экспертного оценивания
К основным этапам процесса экспертного оценивания относятся:
- формирование цели и задач экспертного оценивания, принятие решения на проведение экспертного оценивания;
- формирование группы управления;
- выбор метода получения экспертной информации и способов ее обработки;
- подбор экспертной группы;
- формирование анкет-опросников;
- экспертиза (опрос экспертов);
- обработка и анализ результатов экспертизы;
- интерпретация полученных результатов;
- составление отчета.
Цель и задачу проведения экспертного оценивания формулирует предприниматель (заказчик), и он же принимает решение о том, когда, где и как ее проводить, какие результаты должны быть получены, в какой форме представлены. Для подготовки решения и руководства всей дальнейшей работой экспертной группой лучше назначить специального руководителя. Это должен быть спокойный, уравновешенный человек, хорошо знакомый с положением дел в организации, имеющий право постоянного доступа к предпринимателю. Обычно это один из заместителей или первых помощников предпринимателя. От него следует потребовать докладывать руководству промежуточные и окончательные экспертизы без всяких прикрас. Он при необходимости определяет круг своих помощников по решению задачи экспертного оценивания, т.е. состав группы управления.
Группа управления осуществляет непрерывную связь с экспертами. На нее возлагается вся организационно-плановая работа по обеспечению эффективной творческой деятельности экспертов. По возможности, в состав группы управления следует включать специалистов из разных областей, чтобы снизить давление «ведомственных интересов». Лучше, если в ней будет специалист-социолог или психолог, математик и специалист по математическому обеспечению для ЭВМ. Руководитель группы управления распределяет функциональные обязанности между членами группы управления. К числу таких функций относят аналитическую работу по подбору экспертов, определение перечня методов получения и обработки информации, составление анкет-опросников, содержательную интерпретацию получаемых результатов и пр.
Работа эксперта является престижной, интересной, свободной и при этом весьма неплохо оплачивается. Предприниматель заинтересован, чтобы в составе группы оказались лучшие из лучших. Предварительный отбор экспертов обычно проводят на основе анализа доступной информации о профессиональности кандидатов в экспертную группу. Это личный стаж практической деятельности, авторитетность (ученое звание и степень, должность, количество публикаций, участие в других экспертизах и т.п.).
Желательно, чтобы кандидат в экспертную группу имел широкий кругозор и эрудицию. Все это входит в понятие «компетентность эксперта», под которой в утилитарном смысле понимают его способность помочь в решении конкретной проблемы в области предпринимательских рисков. Для окончательного принятия решения о включении того или иного из кандидатов в экспертную группу руководитель может организовать и провести отборочное тестирование. Для этого просто проводят контрольную экспертизу по вопросу, на который у предпринимателя есть ответ или свое сформировавшееся мнение.
Когда группа сформирована, переходят к экспертизе. Заочный опрос при этом более предпочтителен. И не только ввиду снижения психологического давления на эксперта со стороны группы управления, но и для уменьшения затрат на получение информации. Вопросы заносят в анкету-опросник и раздают (или рассылают) экспертам. Психолог может оказать руководителю неоценимую помощь в выборе способа постановки вопросов и посоветует, как регламентировать свободу в ответах на них. Однако при отсутствии психолога в группе управления руководитель группы сам сможет определиться в форме постановки вопросов, если будет знать некоторые важные особенности. Например, если требуется получить конкретный ответ на интересующий вопрос, но есть серьезные подозрения, что сам эксперт по каким-то причинам не захочет это сделать искренне, то следует использовать процедуру так называемого закрытого вопроса. Эта процедура предусматривает специальную формулировку вопросов, которая сопровождается перечнем альтернативных ответов. В простейшей форме альтернатив — в «чисто закрытом» вопросе — могут быть только два возможных ответа: «да» или «нет».
Более сложная форма предлагает «веер» возможных ответов (обычно более трех). При этом следует помнить, что навязывание экспертам вариантов ответов стесняет возможность выражения ими своего собственного оригинального мнения в том случае, если оно не совпадает с альтернативными ответами, и снимает с эксперта моральную ответственность за качество ответа. Альтернативная форма — так называемый открытый вопрос, когда вопрос ставится в наиболее общей форме, отражая лишь существо задачи. Экспертам предоставляют полную свободу в выражении собственного мнения по обсуждаемому вопросу. Однако обработать результаты такой экспертизы значительно труднее.
Теперь подробнее разберем суть и приемы одного из основных способов получения информации для решения задачи оценивания — выражения элементарных суждений. Для этого будем иметь в виду следующее. Все, что интересует руководителя, в отношении чего у него может быть собственное мнение или его интересует мнение экспертов, все, что требуется оценить, измерить, сопоставить с чем-то другим и т.п., — все мы будем называть термином «объект оценивания» (или иногда для краткости просто «объект»), а иногда, если это удобнее, — «альтернатива». Объект обладает набором свойств, что делает его подобным одним и отличным от других альтернатив. Но интенсивность проявления одних и тех же свойств у разных альтернатив, естественно, разная.
Объекты можно сравнивать между собой в отношении некой внешней для них цели, преследуемой руководителем. Например, если целью предпринимателя является уберечь свободные деньги от инфляции в течение ближайших трех лет, то он может сравнивать в отношении этой цели такие альтернативы, как финансовые инструменты (валюту, акции, облигации и др.), паевые инвестиционные фонды, а также объекты недвижимости. Альтернативы можно сравнивать по интенсивности проявления у них какого-то одного конкретного свойства, например, разные акции — по доходности, рискованности.
Термин «элементарное суждение» будем употреблять для сравнения пары, т.е. двух объектов по предпочтительности. При этом рассматривается предпочтение в отношении, например, какой-то общей внешней для объектов цели или какого-то общего для них свойства. Для определенности будем один из объектов в паре (не важно, какой именно) именовать «первым», а другой — «вторым». Для элементарного суждения предпочтение между «первым» и «вторым» объектами в паре выражается в строго определенной шкале с тремя градациями:
- «первый объект в паре лучше второго»;
- «объекты равноценны» (одинаковы по предпочтительности);
- «второй объект в паре лучше первого».
Таким образом, для выражения элементарного суждения берут только два объекта для сравнения, независимо от того, сколько их вообще надо будет сравнить в ходе экспертного оценивания. При этом или они оцениваются только по одному присущему им свойству, или оба они анализируются в отношении одной общей внешней цели.
У экспертизы в форме элементарного суждения есть очень важное положительное свойство — у нее высокая конфиденциальность. То есть вы задаете эксперту веерный вопрос с тремя взаимоисключающими ответами («первый объект в паре лучше второго», «объекты равноценны», «второй объект в паре лучше первого») и совершенно не обязаны ему объяснять, зачем, когда и как вы собираетесь использовать полученную от него информацию. Следовательно, если вам нужно соблюсти конфиденциальность, постарайтесь вопросы формулировать таким образом, чтобы их можно было бы анализировать методом выражения элементарного суждения.
Чтобы извлечь из массы данных именно тот результат, на который нацелилось руководство, нужно будет провести процедуру обработки полученных результатов подобной серии попарных сравнений, а затем еще и содержательно проанализировать полученные данные, чтобы принять какое-то решение. С целью облегчения и ускорения работы, а также чтобы можно было бы применить математические методы обработки и анализа результатов экспертизы, все вербальные (т.е. словесные) оценки по методу элементарного суждения переводят в числовую форму. Шкала преобразования может быть самой разнообразной, но чаще всего это градации либо {1; 0,5; 0}, либо {100, 50, 0}, либо {с, 1, 1/с}, где с — целое число, как правило, имеющее значения в диапазоне от 2 до, максимум, 9. Например, шкала значений величины с для осуществления сравнения может состоять из пяти нечетных градаций, обозначенных так: 1 — «объекты равноценны»; 3 — «слабое предпочтение первого объекта над вторым»; 5 — «среднее предпочтение первого объекта над вторым»; 7 — «сильное предпочтение первого объекта над вторым»; 9 — «абсолютное предпочтение первого объекта над вторым». А если эксперт сомневается в точности выбора градации из числа представленных, он может назначить четное значение между ближайшей меньшей и большей по предпочтительности градациями.
Элементарные суждения редко используют непосредственно без дополнительной обработки и анализа. Чаще элементарные суждения рассматриваются как некий первичный продукт в достаточно длинной технологической цепочке экспертного оценивания.
Такая транзитивная модель построена (говорят, что построено транзитивное замыкание), нужно проанализировать ее с целью вынесения суждения о точности приближения к истинным предпочтениям эксперта. Если такое решение будет положительным, то транзитивной моделью можно будет пользоваться при принятии управленческих решений.
Например, была проведена групповая экспертиза и получен набор в общем случае оригинальных суждений. Мало того, что каждое из суждений в отдельности может оказаться нетранзитивным, оно еще по-своему рисует картину отношений между оцениваемыми объектами из множества предъявления. Так, согласно мнению одного из экспертов среди оцениваемых объектов {<3,, а2, а3,..., а6} лучшей является альтернатива а1, а худшей — а2; другой полагает, что а6 — лучшая, а альтернатива а, — худшая; у третьего эксперта вообще предпочтение отдано объекту а2 и т.п.
В подобной ситуации надо, во-первых, по крайней мере, сопоставить транзитивные модели индивидуальных предпочтений. Во-вторых, попытаться понять, насколько близки мнения отдельных экспертов, есть ли среди этих мнений очень близкие, а какие — весьма оригинальные и отличаются от всех остальных. Иными словами, нужно оценить степень близости мнений экспертов в группе и выделить подгруппы экспертов с очень близкими мнениями.
Таким образом, обработка и анализ результатов экспертизы имеют в качестве конечной цели получение информации для принятия решения о направлении дальнейших действий в ходе завершения экспертного оценивания. При этом для групповой экспертизы основной задачей можно считать получение информации о степени близости мнений экспертов по рассматриваемому вопросу. Но этого мало. Важно также определить «оригинальные» (резко выделяющиеся из остальных) суждения.
Для выявления «оригинальных» экспертов используют либо методы теории распознавания образов, либо прием последовательного исключения участников экспертизы и вычисления для оставшейся группы коэффициента их согласия («конкордации»). При плохой согласованности мнений экспертов придется также подумать о причинах рассогласования и, может быть, даже принять решение об изменении состава экспертной группы или о повторном обсуждении содержания вопросов анкет. А в лучшем случае потребуется выработать проект решения по результатам проведенного экспертного оценивания. Это практически реализует обратную связь между группой управления и заказчиком. Следовательно, действительно обработка полученной экспертной информации проводится с целью приведения ее к виду, удобному для подготовки предложений заказчику и придания ей характера знаний о наиболее важных характеристиках проблемной ситуации. Что касается конкретных способов обработки результатов экспертизы, то выбор здесь зависит от природы исследуемых факторов и типа шкалы результатов.
Анализ результатов является творческим процессом, в ходе которого обработанные данные осмысливаются, выносятся суждения и формируются рекомендации относительно дальнейших действий. К таким действиям относятся следующие: оформить полученные результаты и представить их заказчику; провести дополнительные исследования и привлечь других (например, независимых) экспертов; сделать промежуточный доклад заказчику с целью принятия решения об организации параллельных исследований; вынести предложение об окончании экспертного оценивания.
ГЛАВА 2. ЭКСПЕРТНАЯ ОЦЕНКА В УПРАВЛЕНИИ
ООО «ЛОГИСТИКА-ТРЕЙД»
2.1. Компетентность и
мнение группы экспертов
Экспертный метод применяется в различных областях человеческой деятельности. В общем случае работа экспертов может оцениваться как процесс создания на основе имеющейся информации предполагаемой модели причинно-следственных связей анализируемого явления или процесса и выборке рекомендаций для принятия оптимального решения.
С точки зрения теории вероятности и математической статистики показания, выдаваемые каждым из экспертов, могут рассматриваться как варианты некоторой выработки из генеральной совокупности. Следовательно, коллективное мнение представляет собой среднее арифметическое по каждому из факторов:
где
m – число экспертов.
Оценки, выдаваемые экспертами, могут выражаться в виде рангов, приписываемых каждому из факторов, или в виде баллов. Под рангом принимают место фактора в ранжированном ряду. При оценке в баллах доминирующим считается фактор, получивший наибольший балл.
На ООО «Логистика-Трейд» была выбрана проблема: Какому из ниже перечисленных регионов продаж алкогольной продукции вы отдаете наибольшее предпочтение?
1) Елабуга;
2) Менделеевск;
3) Мензелинск;
4) Нижнекамск;
5) Чистополь;
6) Агрыз.
Была проведена взаимная групповая оценка компетентности экспертов, когда три эксперта оценивают каждого четвертого эксперта. Результаты оценки сведены в таблицу 4.
Таблица 4.
Взаимные оценки экспертов
| № эксперта | № оцениваемого эксперта | |||
| 1 | 2 | 3 | 4 | |
| 1 | – | 3 | 2 | 1 |
| 2 | 3 | – | 1 | 2 |
| 3 | 3 | 2 | – | 1 |
| 4 | 3 | 1 | 2 | – |
| Коллективное мнение группы, Кэi | 3 | 2 | 1,666 | 1,333 |
| Место эксперта в ранжированном ряду | 1 | 2 | 3 | 4 |
Оценки четырех экспертов в рангах по каждому элементу сведены в таблицу 5. При этом искусственно вводится условие, что, по крайней мере, в двух строчках должны быть одинаковые оценки двух или нескольких элементов (но не всех).
Таблица 5
Оценки экспертов в ранге
| № экс | Элементы (факторы) | Сумма рангов | |||||
| Елабуга | Менделеевск | Мензелинск | Нижнекамск | Чистополь | Агрыз | ||
| 1 | 6 | 3 | 2 | 1 | 4 | 5 | 21 |
| 2 | 6 | 4 | 1 | 2 | 4 | 3 | 20 |
| 3 | 5 | 3 | 2 | 1 | 6 | 4 | 21 |
| 4 | 6 | 6 | 2 | 1 | 5 | 4 | 24 |
Искусственно введенное условие привело к повторению рангов у двух экспертов. Это значит, что в оценках этих экспертов нарушено условие нормировки, когда сумма рангов по отдельным экспертам должна быть одинаковой и равной сумме членов натурального ряда, т.е.:
Для исправления этого положения произведем нормировку рангов. Для этого: складывают места, которые занимают эксперты, имеющие одинаковые ранги, и полученную сумму делят на количество этих рангов. Полученные результаты сведены в таблицу 6.
Таблица 6
Оценки экспертов в ранге
| № эксперта | Элементы (факторы) | Сум-ма ран-гов | |||||
| Елабуга | Менделеевск | Мензелинск | Нижнекамск | Чистополь | Агрыз | ||
| 1 | 6 | 3 | 2 | 1 | 4 | 5 | 21 |
| 2 | 6 | 4,5 | 1 | 2 | 4,5 | 3 | 21 |
| 3 | 5 | 3 | 2 | 1 | 6 | 4 | 21 |
| 4 | 4,5 | 4,5 | 2 | 1 | 5 | 4 | 21 |
| Среднее арифметическое мнение группы экспертов (хjср), ранги | 5,375 | 3,75 | 1,75 | 1,25 | 4,875 | 4 | 21 |
| Место элемента в ранжированном ряду | 6 | 3 | 2 | 1 | 5 | 4 | |
2.2. Проверка согласованности
показаний экспертов
Групповая экспертная оценка может считаться надежной лишь при условии достаточной согласованности экспертов.
1. Проверка согласованности показаний экспертов с помощью коэффициентов ранговой корреляции Спирмена.
Порядок проверки:
1. Вычисляют отклонения между показаниями двух экспертов по каждому из сравниваемых элементов
2. Определяют квадрат указанных отклонений и их сумму
3. Вычисляют опытный коэффициент ранговой корреляции по формуле:
Проверка согласованности производится по следующему соотношению:
Если
При этом:
где t = 2,78.
Полученные результаты сведены в таблицы 7, 8, 9, 10, 11 и 12.
Таблица 7
Попарная согласованность экспертов №1 и №2
| № эксперта | Элементы (факторы) | Сумма | |||||
| Елабуга | Менделеевск | Мензелинск | Нижнекамск | Чистополь | Агрыз | ||
| 1 | 6 | 3 | 2 | 1 | 4 | 5 | 8,5 |
| 2 | 6 | 4,5 | 1 | 2 | 4,5 | 3 | |
| | 0 | -1,5 | 1 | -1 | -0,5 | 2 | |
| | 0 | 2,25 | 1 | 1 | 0,25 | 4 | |
