ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО
ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
РОССИЙСКИЙ ГОСУДАРСТВЕННЫЙ ПЕДАГОГИЧЕСКИЙ

УНИВЕРСИТЕТ им. А.И.ГЕРЦЕНА
Факультет управления
Кафедра социального менеджмента
КУРСОВАЯ РАБОТА
По дисциплине: «Управленческие решения»
Тема: «Многокритериальный выбор и оценочные системы»
Работу выполнила: Научный руководитель:

студент IV курса, доцент кафедры социального менеджмента,

группы МО кандидат военных наук

Волгин Евгений Начкин Александр Иванович


Подпись____________ Подпись_____________

Дата защиты

Санкт-Петербург ­

2011 год

СОДЕРЖАНИЕ

Введение…………………………………………………………………….…..3

Глава 1. Многокритериальные оценки, требования к системам критериев..4

Глава 2. Методы «стоимость-эффективность» и «затраты-прибыль»...........8

Глава 3. Оценочные системы...........................................................................13

Глава 4 Обобщенные критерии........................................................................19

Глава 5 Шкалы………………………………………………………………...23

Глава 6 Количественные и качественные экспертные оценки…………….28

Заключение…………………………………………..………………………...38

Список использованной литературы………………………………………...40
Введение

При разработке управленческих решений важно правильно оценить сложившуюся ситуацию и альтернативные варианты решений с целью выбора наиболее эффективного решения, соответствующего целям организации и ЛПР.

Правильная оценка способствует достижению поставленных целей, в то время как ошибочная оценка и как следствие неверно принятое решение затрудняют или вообще делают его невозможным.

Ниже мы обсудим технологии оценивания при принятии управленческих решений.

Оценочный процесс при принятии решений является прерогативой человека-управленца. Поэтому мы будем говорить прежде всего о технологиях экспертного оценивания, поскольку основным субъектом оценочного процесса в нашем случае чаше всего является высококвалифицированный специалист в области управления — эксперт.

А поскольку в разных случаях будут осуществляться оценки достаточно широкого круга проблем, начиная oт весьма разнообразных ситуаций, встречающихся в управленческой деятельности, и кончая не менее разнообразными альтернативными вариантами управленческих решений, обсуждая инструментарий оценивания, мы будем говорить об объекте оценивания, или об объекте экспертизы.
МНОГОКРИТЕРИАЛЬНЫЕ ОЦЕНКИ,

ТРЕБОВАНИЯ К СИСТЕМАМ КРИТЕРИЕВ

В практике оценивания все большее значение приобретают многокритериальные оценки объектов экспертизы, которые во многих случаях обеспечивают получение более достоверной экспертной информации.

Действительно, во многих случаях объект характеризуется не одним критерием, а несколькими. Скажем, при оценке конкурентоспособности число таких критериев может доходить до ста и более.

Наряду с термином "критерий" могут использоваться также термины "фактор", "показатель", "частный критерий" и т. д.

Если говорить о многокритериальном оценивании при принятии решений, то мы, прежде всего, хотим отметить связь, существующую между критериями и целями.

Организация, ЛПР при принятии решений руководствуются целями, которые они стремятся достигнуть. Каждой цели, как уже говорилось выше, должен соответствовать критерий, с помощью которого может быть оценена степень достижения цели.

Так, например, если целью является обеспечение высокого качества выпускаемого предприятием изделия, то в роли интегрального критерия может выступать качество изделия, а в роли частных критериев — показатели, характеризующие функциональные возможности изделия, экономические, экологические, эргономические, а также показатели надежности, безопасности и др.

Естественно, что, оценив предварительно значения частных критериев для объекта, мы с большей достоверностью можем говорить об оценке качества объекта в целом.

Иногда единственный критерий, используемый для оценки объекта экспертизы, называют скалярным, а совокупность критериев, характеризующих объект экспертизы, — векторным критерием [1].

Цели ЛПР при принятии решений относительно как простых, так и в большей степени достаточно сложных объектов экспертизы нередко представляют в виде дерева целей, отражающего иерархическую структуру системы целей ЛПР.

А поскольку для оценки степени достижения каждой цели используется соответствующий ей критерий, то для представления системы критериев, предназначенных для оценки объекта, также целесообразно использовать дерево критериев, отражающее структуру их иерархической подчиненности. Более детально проблемы формирования деревьев цели и деревьев критериев обсуждались нами ранее. Если вернуться к рассмотренному выше примеру, дерево критериев для интегрального критерия "качество изделия" схематически может быть представлено следующим образом.


Качество изделия



Показатели

Функциональные возможности



2

1

Эконом

Эргоном

Эколог



1

2

1

2

2

1

Рис. 1. Дерево критериев для интегрального критерия

"качество изделия"

Критерии третьего иерархического уровня дерева, приведенногона рис. 1, образуют показатели, непосредственно характеризующие функциональные возможности изделия, экономические показатели и т. д.

Для того чтобы рассчитать для оцениваемого объекта значения критериев более высокого иерархического уровня, необходимо предварительно рассчитать значения критериев более низкого иерархического уровня.

Способы расчета значения критерия по значениям критериев более низкого иерархического уровня в настоящее время достаточно хорощо разработаны.

Набор критериев, предназначенный для оценки объекта экспертизы, должен обладать рядом свойств, делающих его использование оправданным. В литературе по принятию управленческих решений они хорошо известны.

1. Полнота. Критерии, входящие в набор, должны обеспечивать адекватную оценку объекта экспертизы либо оценку степени достижения цели, стоящей перед ЛПР, если набор критериев предназначен для этого.

Иными словами, в наборе критериев должны быть представлены критерии, характеризующие все основные аспекты оценки объекта экспертизы либо степени достижения стоящей перед ЛПР цели.

Получив значения оценок эксперта по каждому из критериев, входящих в состав набора, мы должны иметь возможность определить требуемую оценку объекта экспертизы.

2. Действенность (операционность). Поскольку критерии предназначены для оценок объектов при принятии решений, они должны быть однозначно понимаемы как экспертами, так и ЛПР и способствовать выработке и принятию эффективных решений, т. е. характеризовать основные аспекты анализируемой ситуации и быть доступными для получения оценок по ним.

3.
Разложимость. Принцип разложимости отражает тот факт, что эксперту либо ЛПР удобнее работать с небольшим числом критериев. Если анализируемая ситуация такова, что она должна оцениваться с помощью слишком большого числа критериев, а, по оценке некоторых авторов, критериев должно быть не более 7, то целесообразно разбить их (разложить) на более мелкие группы для удобства одновременной работы с ними.

4. Неизбыточность. Критерии должны быть неизбыточны, чтобы избежать дублирования при оценке анализируемой ситуации. Бывает, что избыточность возникает за счет одновременного рассмотрения как критериев, характеризующих получаемые результаты, так и средств их достижения либо одновременного рассмотрения как входных характеристик системы, так и выходных.

5. Минимальная размерность. Этот принцип также направлен на то, чтобы процедура многокритериального оценивания не была без необходимости слишком громоздкой. В набор критериев для оценки анализируемой ситуации целесообразно включать лишь те критерии, без которых такая оценка невозможна. Решение многих стратегических задач определения наиболее важных направлений деятельности организации, установление приоритетности финансирования проектов и работ, оценка перспективности проектов и т. д. невозможны без использования систем многокритериального экспертного оценивания.

Ниже мы приведем описание методов, используемых при многокритериальном экспертном оценивании, при формировании оценочной системы и в конечном счете при определении сравнительной предпочтительности альтернативных вариантов решений.
МЕТОДЫ

"СТОИМОСТЬ — ЭФФЕКТИВНОСТЬ"

И "ЗАТРАТЫ — ПРИБЫАЬ"

При решении указанных выше задач ЛПР приходится сталкиваться с необходимостью согласования подчас противоположных целей.

В качестве примера приведем один из методов поиска компромиссных решений, известный под названием "стоимость — эффективность" и используемый при принятии как важных стратегических, так и тактических решений.

Остановимся на основных особенностях практического применения анализа "стоимость — эффективность".

Как показывает опыт, наиболее эффективные проекты нередко оказываются и наиболее дорогостоящими. Естественно, что если бы среди рассматриваемых ЛПР предложений оказался проект, ожидаемая эффективность которого превосходит ожидаемую эффективность других проектов, а стоимость — меньше стоимости других проектов, то стоящая перед ЛПР проблема выбора решалась бы просто. Такой проект и является наиболее предпочтительным.

Однако в реальной практике принятия решений этот случай крайне редкий. Поэтому, для того чтобы ЛПР мог выбрать действительно наиболее предпочтительный альтернативный вариант, необходим дополнительный анализ — дополнительная многокритериальная, а в рассматриваемом случае двух- критериальная оценка.

Отметим, что в анализе "стоимость — эффективность" не делается попытка найти одну общую меру, единственную количественную оценку, которая позволила бы сопоставить по предпочтительности (ранжировать) рассматриваемые ЛПР альтернативные варианты проектов.

Не менее часто в практике принятия решений используется так называемый метод "затраты — прибыль", при котором рассматриваются различные виды "прибыли".

Под различными видами "прибыли" здесь понимаются различные критерии, характеризующие проект, причем необязательно экономической природы. Одно из основных требований этого метода, заложенное в алгоритме принятия решения, — возможность складывать различные виды "прибыли" с фиксированными числовыми коэффициентами, получая единую составную величину — "прибыль", характеризующую проект.

В частности, поскольку даже с экономической точки зрения проекты могут характеризоваться различными критериями, составную "прибыль" могут образовывать такие показатели, как потоки платежей, внутренняя норма окупаемости, срок окупаемости и т. д.

Наиболее трудным при использовании данного метода является надежное определение коэффициентов, отражающих степень вклада каждого из показателей в составную "прибыль".

После того как составные "прибыли" для проектов определены, мы получаем двухкритериальную задачу выбора. Этот прием позволяет сводить многокритериальную задачу при числе критериев, большем двух, к двухкритериальной.

Одним из возможных способов практического решения задач многокритериального оценивания в методах "стоимость — эффективность" и "затраты — прибыль" является назначение желательных уровней получаемых прибылей, достигаемых при условии, что необходимые при этом затраты не превосходят заданный уровень.

Наиболее предпочтительные проекты определяются с помощью варьирования желательных уровней получаемых "прибылей" при фиксированном объеме затрат.

Как уже говорилось выше, для метода "затраты — прибыль" более характерно стремление к получению числовых характеристик, позволяющих сопоставлять по предпочтительности предлагаемые проекты.

Здесь имеется в виду стремление не только определить составную "прибыль", т. е. количественное значение, характеризующее в некотором смысле эффективность проекта, но и ранжировать проекты по предпочтительности на основании количественных оценок.

В методе "затраты — прибыль" для каждого проекта с номером к, рассчитав значение составной прибыли B_k и требуемых затрат C_k, можно рассчитать и величину отношения B_k/ C_k , характеризующую ожидаемое значение составной "прибыли" на единицу затрат.

Далее, упорядочив проекты по убыванию значения отношения B_k/ C_k, мы получим ранжирование рассматриваемых проектов по степени предпочтительности, имея в виду, что наиболее предпочтительным проектом является проект с наибольшей ожидаемой составной "прибылью", получаемой на единицу затрат.

Вторым по предпочтительности является проект, обладающий вторым по величине значением ожидаемой составной "прибыли", получаемой на единицу затрат, и т. д.

Для того чтобы сформировать портфель проектов, обладающих максимальной ожидаемой составной "прибылью", необходимо последовательно включать в такой перечень проекты по убыванию отношения B_k/ C_k до тех пор, пока не будет исчерпан выделенный на финансирование проектов объем средств С.

Если проекты, включенные в перечень согласно изложенному выше алгоритму, полностью исчерпывают С, то мы получаем оптимальное решение задачи распределения ресурсов.

В противном случае необходимо дополнительно учитывать возможное наиболее эффективное использование остатка выделенного объема финансирования.

Для введения более сильной системы предпочтений для проектов в методе "стоимость — эффективность" прибегают к дополнительному содержательному анализу степени предпочтительности сравниваемых проектов.

При использовании метода "затраты — прибыль" мы можем воспользоваться аналогичными рассуждениями. Однако, в отличие от метода "стоимость — эффективность", в методе затраты — прибыль" мы получаем возможность сделать более определенные заключения относительно сравнительной предпочтительности рассматриваемых проектов, привлекая дополнительные соображения.

Возможны также более сложные процедуры принятия решений, связанные с оценкой сравнительной предпочтительности альтернативных вариантов проектов.

Рассмотрим более детально одну из них, основанную на анализе ожидаемой полезности или ценности проектов. В соответствии с этой процедурой ЛПР формирует дерево решений, отражающее его структурное представление проблемы.

Дерево решений может иметь два типа вершин, соответствующие двум принципиально различным элементам ситуации принятия решения. Первый тип вершин, обозначаемый квадратиком, соответствует акту принятия решения со стороны ЛПР — его выбору.

Второй тип вершин отражает ситуации, не находящиеся полностью под контролем ЛПР (рис. 2).

В соответствии с данной процедурой осуществляется оценка вероятностей альтернативных вариантов развития ситуации, а также оценка полезности того или иного возможного варианта последствия, определяемого ветвью дерева решений — принятыми управленческими решениями.

Проведение такой структуризации и оценок способствует оптимизации решений, принимаемых ЛПР. В рассмотренной теме описаны методы многокритериального оценивания при принятии управленческих решений, и в частности при организации и проведении инвестиционных конкурсов, экспертиз и т. д.

Практическая реализация многих процедур выработки и принятия управленческого решения возможна лишь с использованием в той или иной степени развитых оценочных систем.



Рис. 2. Схематическое изображение дерева решений
ОЦЕНОЧНЫЕ СИСТЕМЫ

Значительная роль при проведении процедур многокритериального экспертного оценивания принадлежит оценочным системам.

Приведем их описание.

Структура оценочной системы

Оценочная система, используемая при многокритериальном экспертном оценивании, включает такие важные составляющие, как:

1. Перечень критериев, характеризующих объект принятия управленческого решения;

2. Оценка сравнительной важности критериев;

3. Шкала для оценки проектов по критериям;

4. Формирование принципа выбора.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие какой-либо из перечисленных выше составляющих либо недостаточное качество какой- либо из них делают невозможным получение адекватной оценки проекта и как следствие затрудняют процесс выработки и принятия эффективных решений.

Остановимся подробнее на каждой из составляющих оценочной системы.

Формирование перечня критериев

Перечень критериев, характеризующих сравнительную предпочтительность объектов принятия управленческого решения, должен удовлетворять ряду естественных требований.

Как уже говорилось выше, само понятие "критерий" тесно связано с таким понятием, как "цель". ЛПР привычно рассуждает в терминах стоящих перед ним целей. Например, целью может быть повышение доходности предприятия. Однако степень достижения цели может быть измерена лишь с помощью специальных критериев. В качестве таких критериев могут быть использованы экономические критерии: поток платежей, прибыль, срок окупаемости, внутренняя норма окупаемости…

Нередко наряду с критериями чисто экономического характера приходится учитывать и критерии другой природы:

1. Критерии, характеризующие технические возможности продукции, выпуск которой становится осуществимым благодаря реализации проекта;

2. Критерии, характеризующие экологическую безопасность производства;

3. Критерии, характеризующие степень риска при реализации проекта, и т. д.

Основная цель использования многокритериальной оценки состоит в переходе от таких понятий, как "полезность объекта принятия управленческого решения", "ценность", "важность", которые, как правило, достаточно сложны при практической работе с ними, к более понятным критериям, характеризующим указанные понятия и гораздо более пригодным для оценки экспертами.

Сформулированная ЛПР цель может оказаться неоцениваемой количественно.

Как правило, цель, стоящая перед организацией, или то более общее понятие, которое мы используем для оценки объекта принятия решения, заменяется совокупностью критериев.

К этой совокупности критериев предъявляется ряд требований.

Как уже говорилось выше, лишь совокупность критериев, удовлетворяющая необходимым требованиям, может входить в состав оценочной системы.

К числу таких требований относится полнота совокупности критериев, иными словами, совокупность критериев должна всесторонне характеризовать цель. В частности, при выборе проекта должны оцениваться такие критерии, как возможность успешной реализации проекта, полезность проекта и т. д., т. е. должен адекватно характеризоваться объект экспертизы.

Так, например, критерий "срок окупаемости" недостаточно полно характеризует экономическую целесообразность проекта. Если мы его дополним критерием "прибыль за рассматриваемый период", картина будет более полной.

А как мы помним, совокупность критериев полна, если по оценкам их значений ЛПР может адекватно судить о степени достижения цели.

При этом формируемая оценочная система должна быть удобной для практического использования и, следовательно, не слишком громоздкой. Поэтому совокупность критериев должна определять основные характеристики объекта экспертизы. Критерии, используемые при формировании оценочной системы, должны быть измеримыми, т е. должна иметься возможность оценки любого рассматриваемого объекта экспертизы по каждому из критериев.

Отметим, что не все критерии могут допускать объективную оценку, хотя все критерии должны быть измеримыми. В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, мы говорим о субъективных критериях, имея в виду прежде всего, что для оценки объектов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально-числовых шкал.

Естественно, что такие критерии, как "объем продукции", "себестоимость производства", "срок окупаемости", могут быть отнесены к объективным. В то же время такие критерии, как "гудвилл", связанный с оценкой интеллектуальной собственности, "имидж фирмы", "социа-тьная значимость проекта" и другие, могут быть измерены лишь субъективно.

Отметим в то же время, что многие из объективных критериев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объемы производства продукции, которые станут возможными после реализации проекта, ожидаемая цена единицы продукции и др. часто во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Но первым шагом в процессе экспертного оценивания является формирование адекватной оценочной системы.

Мы обсудили некоторые требования, предъявляемые к совокупности критериев, включаемых в состав оценочной системы.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную процедуру. Эго могут быть 2—3-туровые экспертизы, когда предварительно сформулированный перечень критериев уточняется экспертами [2|.

При формировании совокупности критериев должно быть обращено внимание на такие моменты, как четкое понимание смысла каждого из критериев ЛПР и экспертами.

Иногда целесообразно агрегирование критериев. Этим может быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и общее уменьшение количества критериев, что важно для снижения трудоемкости работы с оценочной системой.

К этой проблеме, нередко возникающей при формировании оценочной системы, примыкает и проблема формирования иерархически упорядоченной совокупности критериев.

Иерархическая структура критериев отражает, как правило, иерархическую структуру целей, стоящих перед ЛПР, методы формирования которой были обсуждены нами ранее.

Конечно, структурирование целей и критериев можно продолжать, формируя все новые и новые более низкие иерархические уровни, соответствующие большей степени детализации целей и критериев.

Однако и здесь следует помнить, что в конечном счете формируемая оценочная система лишь удобный инструментарий, позволяющий осуществлять оценку полезности объектов по многим критериям.

Поэтому чрезмерная детализация может привести к противоположному результату — усложнить процесс оценки, что, в свою очередь, не способствует получению адекватной оценки объекта.

Во многих случаях целесообразным при определении состава критериев является использование наряду с методами экспертного оценивания методов, соединяющих возможности экспертного оценивания и формализованные математико-статистические подходы.

К числу таких математико-статистических подходов могут быть отнесены факторный и корреляционный анализы.

Дополнительные возможности при определении состава критериев, предназначенных для оценки объектов, возникают при эффективном сочетании методов экспертного оценивания и многомерного неметрического либо метрического шкалирования.

Завершать процедуру формирования перечня критериев должен содержательный анализ полученной совокупности критериев, предназначенных для формирования оценочной системы объектов, представляемых на экспертизу.

Определение сравнительной важности критериев

Когда альтернативы оцениваются не по одному, а по нескольким факторам, признакам, критериям, сложность анализа и обработки результатов экспертиз существенно возрастает.

Более трудоемким становится определение их сравнительной предпочтительности, предполагающее знание того, какие критерии и в какой степени влияют на оценку альтернатив при выработке и принятии управленческих решений как при сравнительных оценках альтернатив, имеющих явно выраженный количественный характер, так и при их качественных оценках.

После выявления критериев, определяющих оценки альтернатив, часто возникает задача формирования обобщенного критерия, с помощью которого можно рассчитать оценки альтернатив по оценкам значений частных критериев.

Далее будут более детально рассмотрены методы формирования линейных обобщенных критериев и обобщенных критериев более сложного вида. В их основе лежат различные предположения о природе обобщенных критериев и характере анализируемой информации.
ОБОБЩЕННЫЕ КРИТЕРИИ

При принятии управленческих решений проблемы сравнительной оценки многомерных альтернативных вариантов играют особую роль.

Приведем общие правила, согласно которым может быть осуществлено сравнение объектов экспертизы, характеризующихся соответствующими векторами оценок.

Альтернативный вариант (объект) a_i- недоминируем, если не существует альтернативного варианта a_j, превосходящего (не уступающего) a_j. по всем компонентам (частным критериям).

Естественно, что наиболее предпочтительный среди сравниваемых альтернативных вариантов а_l, ...,a_n относится к числу недоминируемых.

Недоминируемые альтернативные варианты, как уже говорилось выше, образуют множество Парето.

При выборе наиболее предпочтительных альтернативных вариантов, как правило, недостаточно ограничиться лишь указанием множества Парето, которому может принадлежать слишком много объектов.

Например, частные критерии К_l, ..., К_s могут принимать лишь два значения: l, если альтернативный вариант обладает соответствующим свойством, и О — в противном случае.

Тогда число альтернативных вариантов, половина оценок которых по частным критериям равна 1, может уже при s = 20 стать больше 100 тыс.

Очевидно, что ни один из этого множества альтернативных вариантов не доминируем другими, ему принадлежащими, и все они могут одновременно принадлежать множеству Парето.

В этом случае число альтернативных вариантов, признанных наилучшими, слишком велико.

Поэтому часто используются другие, более тонкие методы сравнительной оценки альтернативных вариантов. Рассмотрим некоторые из них.

Пусть частные критерии К_l, ..., К_s, по которым оцениваются объекты принятия управленческих решений, таковы, что К₁, существенно важнее всех остальных частных критериев, K₂ существенно важнее всех остальных частных критериев, за исключением К_l, и т. д.

В этом случае если альтернативный вариант a_i предпочтительнее альтернативного варианта a_l по частному критерию К_l, то независимо от оценок a_i, a_j по остальным частным критериям a_i более предпочтительна, чем a_j.

Если же оценки альтернативных вариантов совпадают по первым /-частным критериям и различаются по (r + 1)-му частному критерию, то более предпочтительным в этом случае является альтернативный вариант по (г + 1)-му частному критерию.

Такое упорядочение альтернативных вариантов — объектов принятия управленческих решений по предпочтениям называется лексикографическим.

Легко заметить, что при лексикографическом упорядочении все альтернативные варианты оказываются строго проранжированными. Одинаково предпочтительными могут оказаться лишь альтернативные варианты с совпадающими векторами оценок.

В случае лексикографического упорядочения задача выбора заданного числа наиболее предпочтительных для эксперта или ЛПР альтернативных вариантов оказывается легко решаемой. Для этого достаточно выбрать нужное число первых альтернативных вариантов — объектов принятия управленческого решения в их лексикографическом упорядочении.

Однако далеко не всегда частные критерии оценки альтернатив К_l, ..., К_s настолько неравноценны, настолько несоизмеримы по важности, что одни из них настолько более важны, чем другие.

Более типична ситуация, когда относительная важность критериев, по которым осуществляется сравнительная оценка объектов принятия управленческого решения, является сопоставимой.

В этом случае прибегают, если возможно, к различным методам свертки — построению обобщенного критерия, позволяющего дать единую численную оценку каждому из сравниваемых альтернативных вариантов.

Различные подходы к формированию обобщенного критерия будут обсуждены ниже. Одним из наиболее важных предположений о характере частных критериев при установлении факта их сопоставимости является предположение об их независимости.

Для случая 5 = 2 (двух критериев) свойство независимости критериев может быть сформулировано следующим образом:

(Х_il, Х_i2) < (Х_i1, Х_j2) => (Х_i1, X_j2) < (Х_j1, X_j2), (1.1)

(Х_il, Х_i2) < (Х_i1, Х_j2) => (Х_j1, X_i2) < (Х_j1, X_j2), (1.2)

где Х_il, и X_j1, — значения оценок альтернативных вариантов a_i и a_j по частному критерию К_l, а Х_i2, и X_j2 — значения оценок альтернативных вариантов a_i и a_j по K₂.

Соотношение (1.1) показывает, что предпочтения альтернатив сохраняются при любых одинаковых значениях оценок по частному критерию K₂ и определяются оценками по К₁, а соотношение (1.2) показывает, что предпочтения альтернативных вариантов сохраняются при любых одинаковых значениях по частному критерию К₁, и определяются оценками по K₂.

Однако сформулированные условия независимости критериев оказываются необходимыми, но недостаточными для существования обобщенных критериев.

Линейные обобщенные критерии строятся в предложениях аддитивности частных критериев и сопоставимости их по относительной важности. Случай, когда одни из частных критериев существенно важнее других, приводит к лексикографическому упорядочению критериев, рассмотренному выше.

Заметим, что сравнивать по предпочтительности целесообразно лишь однородные критерии, измеряющие интенсивность свойств одной и той же природы.

Непротиворечивость частных критериев позволяет получать непротиворечивую информацию о сравнительной предпочтительности альтернативных вариантов при экспертном оценивании.

Измерение частных критериев в шкале порядка не позволяет корректно вводить операции сложения оценок по различным частным критериям, например по К и К , взятым соответственно с коэффициентами с и с .

Один из широко используемых методов сравнительной оценки многокритериальных объектов принятия управленческих решений в практике управления — метод обобщенных линейных критериев.

В этом методе предполагается определение весовых коэффициентов c₁ ..., с_s частных критериев К_p, ..., К_q, содержащих большую информацию о сравнительной важности критериев, чем их измерение в шкале порядка [3, 4].

Измеримость оценок важности частных критериев в шкале отношений делает корректной процедуру сравнительной оценки многокритериально оцениваемых альтернативных вариантов с помощью обобщенного линейного критерия
ШКАЛЫ

Это даже необязательно должны быть количественные измерения в привычном для нас понимании. Это могут быть и качественные оценки, позволяющие судить о происходящих изменениях, об их динамике.

Поэтому, когда мы говорим об оценках экспертов, мы понимаем под этим количественные или качественные измерения соответствующих показателей.

Отметим сразу, что экспертные измерения, т. е. оценки, которые даются экспертами при выработке и принятии управленческих решений, обладают некоторыми особенностями.

Обсудим их более подробно. Для этого нам придется вспомнить основные положения теории измерений. Любое измерение производится, как правило, в определенной шкале. Например, если мы измеряем температуру, то обязательно производим это либо в шкале Цельсия, либо в шкале Фаренгейта, либо в шкале Кельвина и т. д.

Один и тот же объект в один и тот же момент времени в одной и той же точке пространства имеет, естественно, определенную температуру, которая, будучи измерена в различных шкалах, даст различные численные значения.

Измерения веса также могут производиться в различных калах, но между шкалами, в которых измеряется температура, шкалами, в которых измеряется вес, есть одна существенная разница. Если для второго типа шкал значение имеет только отношение значений веса измеряемых объектов, то для первого типа шкал к этому добавляются и различные точки отсчета.

Более детальное изложение основ теории измерений читатель может найти в работе [3].

Характер произведенных экспертных измерений необходимо принимать во внимание и при проведении процедур экспертного оценивания, выработке и принятии управленческих решений, определении коллективных решений.

Эксперты должны однозначно понимать, что именно и в какой шкале они оценивают, чтобы избежать ситуаций, когда эксперты оценивают один и тот же показатель, характеризующий объект исходя из различных предпосылок.

В зависимости от целей экспертизы эксперты могут оценивать стоимость объекта, ожидаемую инфляцию, ожидаемые изменения валютного курса, степень удовлетворительности достигнутого уровня по тому или иному показателю, приоритетность финансирования, кредитные лимиты, устойчивость фирмы, рейтинг банка и т. д.

Оцениваемые показатели, как и объекты оценки, достаточно разнообразны.

Если эксперт должен оценить значение количественного показателя, он может это сделать, указав соответствующее численное значение либо интервал, в котором, по его мнению, лежит значение оцениваемого показателя.

При коллективной экспертной оценке значения показателя, указанные экспертами, либо усредняются, либо обрабатываются с помощью других специальных методов.

Могут использоваться также различные методы получения экспертной информации — методы экспертных измерений, которые мы обсудим ниже.

Если критерии, по которым оцениваются проекты, носят экономический характер и измеряются в рублях (долларах), годах (месяцах), процентах и т. д., то мы, как правило, пользуемся соответствующими общеизвестными шкалами.

Однако нередко при оценивании проектов возникает необходимость в использовании критериев, оценки по которым могут быть получены лишь с помощью специально разрабатываемых вербально-числовых шкал.

Вербально-числовые шкалы применяются преимущественно в тех случаях, когда оценки по критерию носят субъективный характер.

Например, субъективный характер, в основе которого опыт и знания эксперта, носят оценки степени риска, ожидаемой конкурентоспособности продукции, сравнительной значимости того или иного фактора и многие другие.

Смысл вербально-числовых шкал в том, что они позволяют измерить степень интенсивности критериального свойства, имеющего субъективный характер.

В состав вербально-числовых шкал входят, как правило, содержательное описание градаций шкалы и числовые значения, соответствующие каждой из градаций шкалы.

В качестве примера вербально-числовой шкалы, имеющей достаточно широкое применение, мы приведем шкалу Харрингтона, характеризующую степень выраженности критериального свойства и имеющую универсальный характер (см. табл. 6.2).

Таблица 1

ВЕРБАЛЬНО-ЧИСЛОВАЯ ШКАЛА ХАРРИНГТОНА

№	Содержательное описание градаций	Численное значение
1	Очень высокая	0,8— 1,0
2	Высокая	0,64 — 0,8
3	Средняя	0,37 — 0,64
4	Низкая	0,2 — 0,37
5	Очень низкая	0,0 — 0,2

Отметим, что численные значения градаций шкалы Харрингтона получены на основе анализа и обработки большого массива статистических данных.

Однако при оценке объектов принятия управленческих решений по критериям, допускающим лишь субъективную оценку специалистов, целесообразны разработка и использование специальных шкал, отражающих специфику того или иного критерия, той или иной группы объектов при выработке и принятии управленческого решения.

Можно использовать следующую процедуру для формирования вербально-числовых шкал, специально предназначенных для оценки проектов по критериям, для которых общепринятые вербально-числовые шкалы отсутствуют.

Формирование вербально-числовой шкалы можно разбить на два этапа:

1. Выбор градаций (делений) шкалы,

2. Определение численных значений градаций шкалы.

Очень важно при определении набора градаций шкалы выбрать такие, содержательные интерпретации которых одинаково или почти одинаково (с незначительными разногласиями, не превышающими заданного порога) принимаются всеми экспертами, участвующими в выработке управленческих решений.

Для получения численных значений, соответствующих содержательно описанным градациям шкалы, могут быть использованы специальные методы. Ознакомиться с алгоритмами формирования вербально-числовых шкал можно, например, в работе [3].

Таким образом, нами рассмотрены основные проблемы формирования оценочной системы, предназначенной для выработки и принятия управленческих решений.

Самостоятельный интерес при формировании оценочной системы представляет определение принципа принятия решения, на основании которого по значениям критериев оцененных альтернативных вариантов решений устанавливается их сравнительная предпочтительность.

Некоторые методы и правила определения принципа принятия решений — выбора наиболее предпочтительного альтернативного варианта — были обсуждены нами в предыдущей теме.
КОЛИЧЕСТВЕННЫЕ И КАЧЕСТВЕННЫЕ

ЭКСПЕРТНЫЕ ОЦЕНКИ

Остановимся теперь на основных способах экспертных измерений — методах получения экспертных оценок, играющих во многих случаях определяющую роль при принятии важных управленческих решений.

Методы получения

количественных экспертных оценок

1. Непосредственная количественная оценка

Непосредственная количественная оценка используется как в случае, когда надо определить значение показателя, измеряемого количественно, так и в случае, когда надо оценить степень сравнительной предпочтительности различных объектов.

В первом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Это может быть конкретное численное значение показателя для оцениваемого объекта, например стоимость жилой квартиры; цена единицы продукции, при которой она может иметь конкурентоспособный спрос; предполагаемая емкость рынка; оптимальный объем производства и т. д.

Если эксперт затрудняется указать конкретное значение показателя, он может указать диапазон, в котором лежит значение оцениваемого показателя.

Во втором случае, когда оценивается сравнительная предпочтительность объектов по тому или иному показателю, количественная оценка, указываемая экспертом, определяет степень их сравнительной предпочтительности.

Заранее необходимо условиться, что, скажем, большее значение оценки соответствует более предпочтительному альтернативному варианту. Иногда количественную оценку сравнительной предпочтительности объектов целесообразнее производить в баллах, используя специально разработанные балльные шкалы.

2. Метод средней точки

Метод используется, когда альтернативных вариантов достаточно много. Если через f(a₁) обозначим оценку первого альтернативного варианта значения показателя, относительно которого определяется сравнительная предпочтительность объектов, через f(a₂) — оценку второго альтернативного варианта, то далее эксперту предлагается подобрать третий альтернативный вариант a₃, оценка которого f(a₃) расположена в середине между значениями f(a₁), f(a₂) и равна f(a₁) + f(a₂)/2 .

При этом в качестве первого и второго альтернативных вариантов целесообразно выбирать наименее и наиболее предпочтительные альтернативные варианты.

Далее эксперт указывает альтернативный вариант a₄, значение которого f(a₄) расположено посередине между f(a₁) и f(a₃) , и альтернативный вариант a₅ значение которого f(a₅) расположено посередине между значениями f(a₁) и f(a₄)

Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

Этот метод может быть использован также при экспертной оценке численных значений показателей, имеющих количественный характер.

3. Метод Черчмена — Акофа

Метод Черчмена — Акофа используется при количественной оценке сравнительной предпочтительности альтернативных вариантов и допускает корректировку оценок, даваемых экспертами.

В методе предполагается, что оценки альтернативных вариантов — неотрицательные числа, что если альтернативный вариант а₁, предпочтительнее альтернативного варианта a₂ , то f(a₁) больше, чем f(a₂) оценка одновременной реализации альтернативных вариантов а₁, и а₂ равняется f(a₁)+ f(a₂)

Все альтернативные варианты ранжируются по предпочтительности,

и каждому из них эксперт назначает количественные оценки, как правило, в долях единицы.

Далее эксперт сопоставляет по предпочтительности альтернативный вариант а₁, и сумму остальных альтернативных вариантов. Если он предпочтительнее, то и значение f(a₁) должно быть больше суммарного значения остальных альтернативных вариантов, в противном случае — наоборот. Если эти соотношения не выполняются, то оценки должны быть соответствующим образом скорректированы.

Если а₁ менее предпочтителен, чем сумма остальных альтернативных вариантов, то он сравнивается с суммой остальных альтернативных вариантов, за исключением последнего.

Если альтернативный вариант а₁ на каком-то шаге оказался предпочтительнее суммы остальных альтернативных вариантов и для оценок это соотношение подтверждается, то а₁ из дальнейших рассмотрений исключается.

Этот процесс продолжается до тех пор, пока последовательно не будут просмотрены все альтернативные варианты.

При практическом применении в случае достаточно большого числа сравниваемых альтернативных вариантов в метод могут быть внесены некоторые коррективы, снижающие его трудоемкость.

Так, например, сразу может определяться сумма наибольшего числа альтернативных вариантов с отбрасыванием менее предпочтительных вариантов, которая меньше, чем f(a₁) и т. д.

4. Метод лотерей

Согласно этому методу, для любой тройки альтернативных вариантов а₁, a₂, a₃, упорядоченных в порядке убывания предпочтительности, эксперт указывает такую вероятность р, при которой альтернативный вариант a₂ равноценен лотерее, при которой альтернативный вариант a₁, встречается с вероятностью р, а альтернативный вариант a₃ — с вероятностью 1 — р.

На основании последовательной оценки сравнительной предпочтительности некоторого числа троек альтернативных вариантов рассчитываются числа u₁, u₂, u₃ с помощью которых формируется линейная функция полезности:

U₁P₁ + U₂P₂ + … + U_nP_n

где p₁, p₂ … p_n — вероятности, с которыми рассматриваются альтернативные варианты a₁, a₂ … a_n

Эта формула позволяет сравнивать по предпочтительности различные лотереи, характеризующиеся различными вероятностями реализации альтернативных вариантов a₁, a₂ … a_n

Методы получения

качественных экспертных оценок

Иногда специфика объектов экспертного оценивания такова, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

В этих случаях нередко существенно более оправданным является использование методов качественной оценки объектов экспертизы.

Бывают также ситуации, когда характер экспертной информации таков, что количественные оценки в привычном смысле практически невозможны. Примеры таких ситуаций приводились выше.

Поэтому далее мы приведем описание методов, которые могут быть использованы именно для получения качественных оценок объектов или показателей, их характеризующих.

1. Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и принятым к использованию классам, категориям, уровням, сортам и т. д. (далее — классы).

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Может быть заранее не определено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь после завершения процедуры классификации.

Если эксперту необходимо отнести каждый из альтернативных вариантов к одному из заранее установленных классов, то наиболее распространена процедура последовательного предъявления эксперту альтернативных вариантов.

В соответствии с имеющейся у него информацией об оцениваемом объекте и используемой им оценочной системе эксперт определяет, к какому из классов оцениваемый объект принадлежит.

После завершения процедуры последовательного предъявления оцениваемых атьтернативных вариантов эксперту может быть предъявлен результат его оценки в виде распределения всех оцененных им альтернативных вариантов по классам.

На этом этапе эксперту, как правило, предоставляется возможность, исходя из общего результата классификации, внести коррективы в данные им оценки.

Если проводится коллективная экспертиза, то результаты экспертной классификации, указанные каждым из экспертов, обрабатываются с целью получения результирующей коллективной экспертной оценки.

В зависимости от целей экспертизы может возникнуть необходимость отнесения альтернативных вариантов к упорядоченным классам.

Скажем, необходимо отнести оцениваемые объекты к соответствующим категориям, причем так, чтобы более предпочтительные объекты были отнесены к более предпочтительным категориям.

Естественно, это отражается на процедуре экспертной классификации. Но главное, чтобы эксперт однозначно понимал поставленную перед ним задачу.

Если число классов, на которое должны быть разбиты альтернативные варианты, заранее не оговаривается, то целесообразно использование следующей процедуры.

Эксперту предъявляется пара альтернативных вариантов и предлагается определить, относятся ли они к одному классу или к разным.

После этого эксперту последовательно предлагаются оцениваемые альтернативные варианты и выясняется, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени к,аассов или необходимо для данного альтернативного варианта образовать новый класс. Процедура завершается после того, как эксперту будут предъявлены все альтернативные варианты.

2. Метод парных сравнений

Метод парных сравнений является одним из наиболее распространенных методов оценки сравнительной предпочтительности альтернативных вариантов.

При методе парных сравнений эксперту последовательно предлагаются пары альтернативных вариантов, из которых он должен указать более предпочтительный.

Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравниваемые альтернативные варианты равноценными либо несравнимыми.

После последовательного предъявления эксперту всех пар альтернативных вариантов определяется их сравнительная предпочтительность по оценкам данного эксперта.

В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые альтернативные варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству.

Если эксперт признал некоторые альтернативные варианты несопоставимыми, то в результате будет получено лиг11ь их частичное упорядочение.

В практике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок эксперта.

В этих случаях необходимо проведение специального анализа результатов экспертизы.

Отметим также, что при достаточно большом числе оцениваемых альтернативных вариантов процедура парного сравнения всех возможных их пар становится трудоемкой для эксперта.

В этом случае целесообразно применение соответствующих модификаций метода парных сравнений.

Например, если предположить непротиворечивость оценок эксперта, то практически достаточно однократного предъявления каждого альтернативного варианта в паре с каким-либо другим.

3. Ранжирование альтернативных вариантов

Достаточно распространенной процедурой является также непосредственное ранжирование экспертом по предпочтительности оцениваемых альтернативных вариантов.

В этом методе эксперту предъявляются отобранные для сравнительной оценки альтернативные варианты, но желательно не более 20—30 для их упорядочения по предпочтительности.

Если альтернативных вариантов больше, то целесообразно использование соответствующих модификаций метода ранжирования.

Например, ранжированию альтернативных вариантов может предшествовать их разбиение на упорядоченные по предпочтению классы с помощью метода экспертной классификации.

Ранжирование сравниваемых объектов эксперт может осуществлять различными способами. Приведем два из них.

В соответствии с первым эксперту предъявляется весь набор альтернативных вариантов, и он указывает среди них наиболее предпочтительный. Затем эксперт указывает наиболее предпочтительный альтернативный вариант среди оставшихся и т. д., пока все оцениваемые альтернативные варианты не будут им проранжированы.

При втором способе эксперту первоначально предъявляются два альтернативных варианта или больше, которые ему предлагается упорядочить по предпочтениям.

Если эксперту первоначально предлагается несколько альтернативных вариантов для упорядочения по предпочтениям, то он на этом этапе может воспользоваться первым способом ранжирования.

После проведения первоначального ранжирования эксперту последовательно предлагаются новые, еще не оцененные им альтернативные варианты. Эксперт должен определить место вновь предъявленного альтернативного варианта среди про- ранжированных ранее.

Процедура завершается после предъявления и оценки последнего альтернативного варианта.

4. Метод векторов предпочтений

Этот метод чаще используется при необходимости получения коллективного экспертного ранжирования. Эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого альтернативного варианта указать, сколько, по его мнению, других альтернативных вариантов превосходит данный.

Эта информация представляется в виде вектора, первая компонента которого — число альтернативных вариантов, которые превосходят первый, вторая компонента — число альтернативных вариантов, которые превосходят второй, и т. д.

Если оценивается 10 альтернативных вариантов, то вектор предпочтений может выглядеть так:

( 3 , 7 , 0 , 4 , 8 , 6 , 1,9,5,2).

Если в векторе предпочтений каждое число встречается ровно один раз, то экспертом указано строгое ранжирование альтернативных вариантов по предпочтениям.

В противном случае полученный результат не является строгим ранжированием и отражает затруднения эксперта при оценке сравнительной предпочтительности отдельных альтернативных вариантов.

Метод векторов предпочтений отличается сравнительной нетрудоемкостью и может использоваться с учетом характера экспертизы.

Этот метод может быть применен и в случае, когда у эксперта имеются затруднения при использовании других методов оценки сравнительной предпочтительности альтернативных вариантов.

При коллективной экспертизе, проводимой с использованием метода векторов предпочтений, целесообразно рассчитать результирующее коллективное ранжирование, отражающее коллективную точку зрения всех экспертов [3|.

5. Дискретные экспертные кривые

Если целью является разработка прогнозов или анализ динамики изменения показателей, характеризующих объект выработки и принятия управленческого решения, то целесообразно воспользоваться дискретными экспертными кривыми. При построении дискретной экспертной кривой определяется набор характерных точек, в которых наблюдается или ожидается смена тенденции изменения значений показателя от рассматриваемого параметра, а также значения показателя в характерных точках.

На участках между характерными точками предполагается, что значения показателя изменяются линейно, т. е. две соседние характерные точки кривой могут быть соединены отрезками прямой линии.

Если есть достаточно веские основания для того, чтобы определить нелинейные изменения значений показателя на участках кривой между соседними характерными точками, имеет смысл от дискретных экспертных кривых перейти к экспертным кривым.

При построении экспертных кривых отрезки прямых линий могут быть заменены отрезками нелинейных кривых либо кривых, построенных непосредственно экспертами.

Заметим, однако, что далеко не всегда мы располагаем информацией, позволяющей надежно судить о поведении кривой на участках между характерными точками.

К тому же обработка результатов экспертных оценок, и в частности определение результирующей коллективной экспертной оценки, более надежна для дискретных экспертных кривых.

Использование экспертных кривых позволяет более наглядно и надежно представить различные сценарии развития ситуации, что часто бывает необходимым при разработке прогнозов.

В качестве примера дискретной экспертной кривой приведем экспертную кривую ожидаемого изменения темпов инфляции в период с октября 1995 по март 1996 г., разработанную экспертами в июне 1995 г. (рис. 3).


8

6

4

2

0 Месяц

0 1 2 3 4 5 6 7 8 9

Рис. 3. Экспертная кривая ожидаемого изменения темпов инфляции

Экспертные кривые могут эффективно использоваться как при анализе ситуации принятия решения, так и непосредственно при выработке и принятии управленческих решений.
ЗАКЛЮЧЕНИЕ

Значительная роль при проведении процедур многокритериального экспертного оценивания принадлежит оценочным системам. Оценочная система, используемая при многокритериальном экспертном оценивании, включает такие важные составляющие, как:
- перечень критериев, характеризующих объект принятия управленческого решения;
- оценка сравнительной важности критериев; шкала для оценки проектов по критериям;
- формирование принципа выбора.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие какой-либо из перечисленных выше составляющих либо недостаточное качество какой-либо из них делают невозможным получение адекватной оценки проекта и как следствие затрудняют процесс выработки и принятия эффективных решений.

Перечень критериев, характеризующих сравнительную предпочтительность объектов принятия управленческого решения, должен удовлетворять ряду естественных требований.

Как уже говорилось выше, само понятие "критерий" тесно связано с таким понятием, как "цель". ЛПР привычно рассуждает в терминах стоящих перед ним целей. Например, целью может быть повышение доходности предприятия.

Однако степень достижения цели может быть измерена лишь с помощью специальных критериев. В качестве таких критериев могут быть использованы экономические критерии: поток платежей, прибыль, срок окупаемости, внутренняя норма окупаемости и т. д.

Нередко наряду с критериями чисто экономического характера приходится учитывать и критерии другой природы:
- критерии, характеризующие технические возможности продукции, выпуск которой становится осуществимым благодаря реализации проекта;
- критерии, характеризующие экологическую безопасность производства;
- критерии, характеризующие степень риска при реализации проекта.

Основная цель использования многокритериальной оценки состоит в переходе от таких понятий, как "полезность объекта принятия управленческого решения", "ценность", "важность", которые, как правило, достаточно сложны при практической работе с ними, к более понятным критериям, характеризующим указанные понятия и гораздо более пригодным для оценки экспертами.

Как правило, цель, стоящая перед организацией, или то более общее понятие, которое мы используем для оценки объекта принятия решения, заменяется совокупностью критериев.

К этой совокупности критериев предъявляется ряд требований. Как уже говорилось выше, лишь совокупность критериев, удовлетворяющая необходимым требованиям, может входить в состав оценочной системы.

К числу таких требований относится полнота совокупности критериев, иными словами, совокупность критериев должна всесторонне характеризовать цель. В частности, при выборе проекта должны оцениваться такие критерии, как возможность успешной реализации проекта, полезность проекта и т. д., т. е. должен адекватно характеризоваться объект экспертизы.

А как мы помним, совокупность критериев полна, если по оценкам их значений ЛПР может адекватно судить о степени достижения цели. При этом формируемая оценочная система должна быть удобной для практического использования и, следовательно, не слишком громоздкой.

Поэтому совокупность критериев должна определять основные характеристики объекта экспертизы. Критерии, используемые при формировании оценочной системы, должны быть измеримыми, т е. должна иметься возможность оценки любого рассматриваемого объекта экспертизы по каждому из критериев.

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

1. 
   Балабанов И. Т. Риск-менеджмент. М.: Финансы и статистика, 1996.
   
2. 
   Виханский О. С, Наумов А.И. Менеджмент. М.: Фирма Гардарика, 1996.
   
3. 
   Короткое Э. М. Концепция менеджмента. М.: ДеКа, 1996.
   
4. 
   Короткое Э. М. Программа по курсу "Разработка управленческого решения". М.: ИМПЭ, 1995.
   
5. 
   Морз Ф. М., Кимбелл Дж. Е. Методы исследования операций. М.: Сов. радио, 1956.
   
6. 
   Ларичев О. И. Наука и искусство принятия решений. М.: Наука, 1979.
   
7. 
   Литвак Б. Г. Экспертные оценки и принятие решений. М.: Патент, 1996.
   
8. 
   Мескон М. X., Альберт М., Хедоури Ф. Основы менеджмента. М.: Дело, 1998.
   
9. 
   Румянцева 3. П., Саломатин Н. А., Акбердин Р. 3. и др. Менеджмент организации: Учеб. пособие. М.: Инфра-М., 1997.
   
10. 
    Рейльян Я. Р. Аналитическая основа принятия управленческих решений. М.: Финансы и статистика, 1989.
    
11. 
    Франчук В. И. Основы современной теории организации. М.: Академия организационных наук, 1995.
    
12. 
    Ховард К., Короткое Э. Принципы менеджмента: Управление в системе цивилизованного предпринимательства. М.: Инфра-М, 1996.
    
13. 
    Цыгичко В. Н. Руководителю о принятии решений. М.: Инфра-М, 1996.
    
14. 
    Шапиро В. Д. и др. Управление проектами. СПб.: ДваТрИ, 1996.
    
15. 
    Эддоус М., Стэнсфилд Р. Методы принятия решений. М.: Аудит, ЮНИТИ, 1997.