Федеральное агентство по образованию

Федеральное образовательное бюджетное учреждение

Высшего профессионального образования

Югорский государственный университет

Юридический факультет

Кафедра менеджмента
Курсовая работа

по разработке управленческих решений

на тему: «Методы проведения экспертиз при разработке управленческих решений»


Выполнила: студентка группы 7452

Волкова Н.С.

Руководитель: старший преподаватель

Дубровская С.В.


Ханты-Мансийск – 2009


Содержание
Введение

1. Проведение и организация экспертизы

1.1 Основные понятия и виды экспертизы

1.2 Формирование экспертной комиссии

1.3 Основные стадии экспертного опроса

2. Основные методы проведения экспертиз при разработке управленческих решений

2.1 Методы организации экспертиз

2.2 Метод «Дельфи» и метод мозговой атаки

3. Организация экспертизы в государственных органах власти на примере Департамента лесного хозяйства Ханты-Мансийского автономного округа – Югры

3.1 Полномочия Департамента лесного хозяйства Ханты-Мансийского автономного округа – Югры

3.2 Экспертиза проектов освоения лесов в Ханты-Мансийского автономного округа – Югры

Заключение

Список использованных источников

Приложение


Введение
В настоящее время при принятии важных управленческих решений большое внимание уделяется экспертизам. Актуальность данной темы заключается в том, что вся хозяйственная деятельность человека, а также производство различных товаров, реализация проектов, предоставление услуг должны соответствовать определенным государственным стандартам, поэтому необходимы методы, с помощью которых можно выявить законность данных видов деятельности. Методы экспертиз позволяет снизить риск принятия ошибочного решения. Эксперт – это компетентное лицо, имеющее глубокие знания о предмете или объекте исследования. Надежность и достоверность решений, принимаемых на основе суждений экспертов, в значительной мере зависит от организации проведения экспертиз, от объективности и независимости экспертов.

Цель курсовой работы – изучить методы проведения экспертиз при разработке управленческих решений.

Достижение поставленной цели требует решения следующих задач:

1) определить основные понятия и виды экспертиз;

2) рассмотреть формирование экспертной комиссии;

3) выявить основные стадии экспертного опроса;

4) определить основные методы проведения экспертиз;

5) рассмотреть организацию экспертизы в государственных органах власти на примере Департамента лесного хозяйства Ханты-Мансийского автономного округа – Югры.

6) рассмотреть проведение государственной экспертизы проектов освоения лесов Департамента лесного хозяйства Ханты-Мансийского автономного округа – Югры.

В первой главе работы «Проведение и организация экспертиз» раскрыты основные понятия и виды экспертиз, формирование экспертной комиссии и стадии экспертного опроса. Экспертиза представляет собой исследование сложных специальных вопросов на стадии выработке управленческого решения лицами, обладающими специальными знаниями, опытом с целью получения выводов, мнений, рекомендаций, оценок. Задача эксперта состоит в том, чтобы, используя специальные знания в той или иной области, прошлый опыт и интуицию, применить общие законы и частные закономерности для разработки конкретных управленческих решений и обеспечить этим их оптимальность.

Во второй главе «Основные методы проведения экспертиз при разработке управленческих решений» раскрыты следующие методы организации экспертиз: метод анкетирования, метод комиссий, метод прогнозного графа, метод сценариев, экспертиза по методу суда, метод «Дельфи» и метод мозговой атаки.

В третьей главе «Организация экспертизы в государственных органах власти на примере Департамента лесного хозяйства ХМАО-Югры» раскрыты полномочия Департамента лесного хозяйства ХМАО-Югры в проведение экспертиз и организации государственной экспертизы проектов освоения лесов.

При написании курсовой работы были использованы нормативно-правовые акты органов государственной власти Российской Федерации, труды известных специалистов таких как Б.Г. Литвак, А.И. Орлов, Ю.В. Вертакова, Л.И. Лукичева, Д.Н. Егорычев, В.Н. Эйтингон, М.А. Кравец и др.


1. Проведение и организация экспертизы
1.1 Основные понятия и виды экспертизы
В настоящее время практически все виды трудовой деятельности так или иначе связаны с проведением экспертиз.

Экспертиза – исследование какого-либо объекта, ситуации, вопроса, требующего специальных знаний, с предоставлением мотивированного заключения.[1]

Экспертиза позволяет снизить риск принятия ошибочного решения. Типичные проблемы, требующие проведения экспертизы: определение целей, стоящих перед объектом управления (поиск новых рынков сбыта, изменение структуры управления); прогнозирование; разработка сценариев; генерирование альтернативных вариантов решений; принятие коллективных решений и т.д. Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертиз и без него и т. д.

Известны различные определения слова «эксперт» (от лат. еxpertus – опытный). Эксперт – высококвалифицированный специалист в некоторой области деятельности, владеющий технологиями проведения экспертиз и соответствующей нормативно-правовой базой, принимающий участие в проведении экспертиз. [2]

Специалисты выделяют следующие основные этапы экспертизы:

1) формулировка цели экспертизы;

2) построение объектов оценивания или их характеристик (этого этапа может и не быть, но это означает, что он уже просто выполнен);

3) формирование экспертной группы;

4) определение способа экспертного оценивания и способа выражения экспертами своих оценок;

5) проведение экспертизы;

6) обработка и анализ, ее результатов;

7) повторные туры экспертизы, если есть необходимость уточнения или сближения мнения экспертов;

8) формирование вариантов рекомендаций[3] Орлов А.И. Высокие статистические технологии: Экспертные оценки: Учебник/ А.И.Орлов – М.: Издательство «Экзамен», 2007. – 372с

Классифицировать основные виды экспертной деятельности можно по областям конкретной профессиональной деятельности, а также по тем задачам, которые решают с помощью экспертных исследований.

По областям конкретной профессиональной деятельности выделяют, в частности, следующие виды экспертиз:

- строительная,

- медицинская,

- судебная,

- экологическая, в том числе объектов недропользования,

- товароведческая,

- экспертиза качества товаров,

- патентная,

- страховая,

- аудит,

- экспертиза при оценке имущества, бизнеса, нематериальных активов, и т.д.

Экспертная деятельность в конкретных областях обычно регулируется соответствующими нормативными актами и осуществляется в соответствии с теми или иными методическими материалами.

При классификации по решаемым задачам выделяют оценочные и управленческие экспертизы.

Результатами оценочных экспертиз являются:

а) численные оценки объектов (значений показателей, параметров, характеристик объектов);

б) отнесение объектов экспертизы к тому или иному виду объектов, классу объектов, сорту;

в) ранжирования объектов по тому или иному свойству, качеству, показателю, критерию;

г) рейтинги, позволяющие определить численные значения, характеризующие сравнительную предпочтительность объектов экспертизы;

д) индексы, позволяющие оценить (характеризующие) состояние объектов экспертизы,

е) иные объекты числовой или нечисловой природы, используемые для оценивания объектов экспертизы (конкретные виды объектов рассматриваются в следующих главах учебника).

Примерами результатов оценочных экспертиз, в частности, являются:

- результаты определения победителей конкурсов, тендеров, подрядных торгов, иных соревнований;

- рейтинги организаций (промышленных предприятий, вузов, банков, страховых компаний), ценных бумаг, политических деятелей, бизнесменов и спортсменов;

- индексы (Доу-Джонса и др.), характеризующие движение курсов ценных бумаг на биржах.

Результатом управленческих экспертиз является подготовка рекомендаций и заключений на всех этапах цикла выработки, принятия и реализации управленческих решений. К их числу относятся экспертизы при:

- выработке стратегии и тактики (определении стратегических целей, приоритетов деятельности, планов, организационных структур, разработке бизнес-планов и т.д.);

- подготовке аналитических материалов и проведении ситуационного анализа, включая разработку прогнозов и сценариев;

- генерировании и отборе альтернативных вариантов решений;

- оценке альтернативных вариантов решений и определении наиболее предпочтительного из них;

- контроле хода реализации принятых решений;

- корректировке принятых ранее управленческих решений на основании оценки хода реализации принятых решений.

Конечно, эти перечни не являются исчерпывающими. Они позволяют составить представление о том, насколько разнообразны задачи экспертных оценок и области их практического применения.[4]

Таким образом, экспертиза является важным инструментом при разработке управленческих решений. Экспертизы применяются в различных сферах и являются неотъемлемым условием для осуществления различных видов деятельности.
1.2 Формирование экспертной комиссии
Проблема подбора экспертов является одной из наиболее сложных. Формирование экспертной группы заключается в определении ее профессионального состава, структуры, количества экспертов и подборе экспертов. Эта задача требует разработки обоснованных принципов по подбору экспертов, оценке их компетентности, формированию экспертной группе.

В число экспертов не должны попасть специалисты, субъективно заинтересованные в тех или иных результатах экспертизы. Если исключить такого эксперта нельзя, ввиду его высокой компетентности, то ему не следует задавать таких вопросов, в ответах на которые он лично заинтересован и может провести «свою линию».

Если специалисты знакомы друг с другом, то они должны быть одного ранга. Если же эксперты не знакомы, они могут быть разного ранга и положения, но тогда их участие в группе должно оставаться анонимным.

Профессиональный состав специалистов, входящих в экспертную группу, обеспечивает всесторонний анализ решаемой задачи. Они должны одинаково понимать цели и задачи оценивания, удовлетворять требованиям по компетентности, заинтересованности в участии в работе экспертной комиссии, деловитости и объективности. В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества, коммуникабельность, умение взаимодействовать, вести переговорный процесс и др.[5]  К основным требованиям, предъявляемых к экспертной комиссии относятся:  1. Независимость и объективность экспертов - требования закона, обязательные как для государственной, так и общественной экспертизы. В частности, независимыми следует считать экспертов, не связанных экономическими интересами с инициатором деятельности (заказчиком). Заинтересованность эксперта в реализации проекта, как прямая, так и косвенная, может являться основанием для того, чтобы поставить под сомнение выводы данной экспертизы.

2. Компетентность. Участникам экспертной комиссии придется работать с достаточно сложной документацией, делать научно обоснованные выводы, принимать в качестве наблюдателей участие в работе государственной экспертной комиссии, вникать в ее ход. Это требует от всех участников комиссии определенного уровня компетентности. Без такого уровня общественная экспертиза может служить лишь "общественной трибуной" для заявления отношения к проекту, что явилось бы явно некорректным и недостаточным использованием этого инструмента общественного участия. Требование компетентности, конечно, не означает, что в состав комиссии должны входить только инженерно-технические специалисты и ученые-естественники. Напротив, участие "гуманитариев" может оказаться чрезвычайно полезным. Представители населения, не обладающие специальными познаниями, но хорошо знакомые с местными условиями, могут также внести значительный вклад в работу комиссии. Однако необходимым качеством любого эксперта является способность к конструктивному диалогу, умение прислушиваться к чужому мнению.   3. Комплексный подход. Довольно часто экспертная комиссия формируется исходя из того, какими человеческим ресурсами располагает инициатор экспертизы или организация, проводящая экспертизу. При этом состав комиссии может оказаться недостаточным даже для рассмотрения технических аспектов рассматриваемого проекта. Например, готовится проект крупного предприятия. Предприятие такого профиля и масштаба может оказать серьезное воздействие на грунтовые воды, и группа гидрогеологов решает провести общественную экспертизу проекта. Скорее всего, основным содержанием такой экспертизы будет оценка воздействия на грунтовые воды, сделанная на основе данных, содержащихся в проектной документации. Такой подход не является оптимальным по нескольким причинам.  Во-первых, может быть уделено недостаточное внимание другим типам воздействия на окружающую среду, некоторые из воздействий могут оказаться более опасными, а ссылка на них может явиться более убедительной для государственной экспертной комиссии и общественности. Во-вторых, экспертиза, осуществляемая с позиции предметника, может пройти мимо чисто формальных или процедурных изъянов в проектной документации. Важные выводы могут быть сделаны и на основе такой документации (например, может быть установлено нарушение процедуры ОВОС).   4. "Нетехнический" подход. Но самый главный довод в пользу комплексного подхода к формированию комиссии состоит в том, что вопрос о допустимости осуществления намеченной деятельности вообще не является вопросом научно-техническим. Ответ на этот вопрос не следует автоматически из полученных параметров воздействий (по крайней мере, если из этих параметров не следует прямое нарушение установленных нормативов). К примеру, если объектом экспертизы является проект строительства атомной станции, в экспертную комиссию включаются специалисты в области атомной энергетики, радиоэкологии, иногда - геологи и гидрогеологи, а также специалисты в области радиобиологии и радиационной медицины. Но для адекватного рассмотрения вопроса о "допустимости", выходящего за рамки научно-технических и инженерных проблем, необходимо привлекать более широкий круг специалистов.  Безусловно, в состав комиссии должны войти эксперты, знакомые с проблемами отрасли. Необходимы люди, предметно знакомые с предлагаемыми технологиями, вопросами обеспечения безопасности намечаемой деятельности, экономикой данной отрасли. Полезно также включить в экспертную комиссию специалистов, знакомых с альтернативными технологиями.[6]

При организации экспертизы желательно, чтобы окончательный состав комиссии формировался уже после знакомства с документацией - объектом экспертизы. Только после того, как стал известен состав этой документации, ее содержание и качество, то только после этого можно принять окончательное решение о том, какие эксперты необходимы для эффективной работы комиссии. Такой "динамический" подход к формированию комиссии особенно важен при ограниченных ресурсах на проведение экспертизы.   Поскольку, согласно Закону, состав комиссии должен быть указан в заявлении о регистрации экспертизы, и только регистрация дает право на получение документации, полезно указать в заявлении, что состав комиссии может быть изменен (расширен) при необходимости.   Если на проведение общественной экспертизы выделена определенная сумма денег, неразумно "расписывать" все эти средства между экспертами еще до регистрации экспертизы и получения ее объекта. Следует оставить возможность для маневра уже на основе знакомства с документацией - приглашения новых экспертов или заказа небольших исследований.   Особую важность при таком подходе приобретает фигура руководителя экспертизы - практически ему приходится определять стратегию экспертизы уже в ходе ее проведения.  С самого начала формирования комиссии следует иметь в виду, что кому-то из членов комиссии или ее руководителю нужно будет готовить сводное заключение на основе частных заключений экспертов.  Специалисты-предметники могут быть включены в состав комиссии и позже, уже на основе первичного знакомства с документацией. В любом случае, подбор предметников определяется набором возможных воздействий хозяйственного объекта на окружающую среду. Поэтому перед принятием решения организатор экспертизы должен получить представление о типах таких воздействий. Задача облегчается, если одно из них является наиболее опасным или вызывает наибольшее беспокойство общественности.   Безусловно, приглашение в состав комиссии известных общественных деятелей и крупных специалистов способствует повышению авторитета экспертизы. Но такие деятели часто не имеют времени, достаточного для полномасштабного участия в экспертной комиссии. Поэтому они должны приглашаться не вместо тех членов комиссии, которые готовы выполнять кропотливую работу над документацией, а в дополнение к ним.[7]   Таким образом, формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений, возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов.
1.3 Основные стадии экспертного опроса
Как показывает практический опыт, с точки зрения менеджера - организатора экспертного исследования целесообразно выделять следующие стадии проведения экспертного опроса.

1) Принятие решения о необходимости проведения экспертного опроса и формулировка его цели Лицом, Принимающим Решения (ЛПР). Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР. Цель экспертного исследования ЛПР может сформулировать по-разному, и от этой формулировки зависит выбор процедуры экспертизы.

2) Подбор и назначение ЛПР основного состава рабочей группы. (обычно - научного руководителя и ответственного секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и подготовку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому эксперту (вместе с ЛПР или его представителем). Он сам - высококвалифицированный эксперт и признаваемый другими экспертами формальный и неформальный руководитель экспертной комиссии. Дело ответственного секретаря - ведение документации экспертного опроса, решение организационных задач. Назначение научного руководителя и ответственного секретаря оформляется распорядительным документом (приказом, постановлением и т.п.). Остальной состав РГ обычно формируется позже, в процессе развертывания исследования, причем по предложениям научного руководителя и ответственного секретаря.

3) Разработка рабочей группой (точнее, ее основным составом, прежде всего научным руководителем и ответственным секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется костяк рабочей группы со своей внутренней структурой. Обычно в рабочей группе выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. (Конечно, возможно совмещение ролей – один и тот же сотрудник может и отвечать за выбор метода анализа экспертных мнений, и сам же проводить этот анализ.) Очень важно для успеха, чтобы все перечисленные позиции были включены в техническое задание и утверждены ЛПР.

4) Разработка аналитической группой рабочей группы подробного сценария (т.е. регламента, правил) проведения сбора и анализа экспертных мнений (оценок). Термин «сценарий» имеет примерно тот же смысл, что и в театре и кинематографе. Сценарий включает в себя, прежде всего, анкеты и опросные листы (планы интервью), определяющие конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций .

Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает печальный практический опыт, информация используется не более чем на 1-2%. Причины в том, что в большом ворохе беспорядочно собранных фактов, как правило, отсутствует необходимая упорядоченность. А именно, значения отдельных показателей собраны с пропусками, способы измерения меняются от одного эксперта к другому, от одного объекта экспертизы к другому (как говорят, определения «плывут»), сам перечень показателей не позволяет ответить на интересующие ЛПР вопросы. Сценарий утверждается научным руководителем экспертной комиссией.

5) Подбор экспертов в соответствии с их компетентностью. На этой стадии рабочая группа составляет список возможных экспертов и оценивает степень их пригодности для планируемого исследования. Итоговый перечень должен включать по крайней мере в 1,5 раза больше потенциальных экспертов, чем то количество, которое планируется реально привлечь к работе.

6) Формирование экспертной комиссии. На этой стадии рабочая группа проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии. Возможно, часть намеченных рабочей группой (на стадии 5) экспертов не сможет войти в экспертную комиссию (болезнь, отпуск, командировка и др.) или откажется по тем или иным причинам (занятость, условия контракта и др.). В обязательном порядке ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям рабочей группы. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты. На этой же стадии завершается формирование рабочей группы.

7) Проведение сбора экспертной информации в соответствии с разработанным на стадии 4 сценарием. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в рабочую группу.

8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует компьютеризация экспертных мнений, т.е. создание и наполнение соответствующих баз данных или электронных таблиц.

9) При применении (согласно сценарию) экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой рабочей группы и подготовка заключительного документа экспертной комиссии для ЛПР. Форма заключения экспертной комиссией обычно задается в техническом задании.        

11) Официальное окончание деятельности экспертной комиссии и рабочей группы, в том числе утверждение ЛПР заключительного документа экспертной комиссии, подготовка и утверждение научного и финансового отчетов рабочей группы о проведении экспертного исследования, оплата труда экспертов и сотрудников рабочей группы, официальное прекращение деятельности (роспуск) экспертной комиссии и рабочей группы.

Научный отчет рабочей группы должен позволять восстанавливать все подробности деятельности экспертной комиссии на основе документов. В частности, в него должны быть включены все полученные от экспертов материалы и протоколы компьютерной обработки данных. Этот отчет может быть использован в суде и арбитражном суде в случае, если заинтересованные организации и лица сочтут нужным оспорить выводы экспертной комиссии в судебном порядке.[8]

Таким образом, экспертиза проводиться в несколько стадий, которые помогают детально проанализировать объект исследования и принять необходимое управленческое решение.

В заключение данной главы можно отметить, что для проведения качественной экспертизы и получения объективных результатов важным является ее правильная организация и подбор экспертов.




2. Основные методы проведения экспертиз при разработке управленческих решений
2.1 Методы организации экспертиз
Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.

Характер экспертной информации, которую предполагается использовать при принятии решений, налагает определенные требования на выбор конкретного метода экспертизы.

Рассмотрим основные методы организации экспертиз:  1. Метод анкетирования. Анкетирование - один из широко используемых методов в практике анализа управленческой деятельности для получения информации об анализируемом объекте Профессионально проведенное анкетирование позволяет получить представление о состоянии объекта управления до и после реализации управленческих решений, об использованных управленческих технологиях и их результатах.   По результатам анкетирования могут быть сделаны выводы и рекомендации, с тем чтобы руководитель мог более четко представлять преимущества и недостатки, области рационального применения тех или иных управленческих технологий.

Анкета - это определенным образом организованный набор вопросов, ответы на которые позволяют получить информацию об объекте экспертизы, необходимую для проведения управленческого анализа. От вида анкеты, ее структуры, сформулированных в ней вопросов, во многом зависит характер информации, получаемой в результате анкетирования.  Фактографические анкеты - это анкеты, в которых запрашивается объективная информация об объекте экспертизы. Такого типа анкеты используются, например, когда предполагается систематизация данных, разработка банков и баз данных. Они могут быть использованы также для получения статистических данных об объектах экспертизы.  Тематические анкеты - это анкеты, в которых определяется мнение экспертов в конкретной области по определенному кругу проблем. Целевые анкеты - это анкеты, предназначенные для анализа управленческих технологий или их элементов. Анкеты решений - это анкеты, в которых представляются варианты решений тех или иных управленческих проблем.  Тематические, целевые и анкеты решений могут принадлежать к классу оценочных, если в них присутствуют специальные графы, в которых должна даваться оценка объекта управления, управленческой технологии и т.д. по тому или иному критерию по оговоренной в анкете шкале.

Наиболее распространены критерии, по которым производятся оценки, - сравнительная важность оцениваемого альтернативного варианта решения. Оценочные анкеты могут быть и неявного типа, т.е. в них может требоваться указание не точной количественной оценки, а качественной оценки, по которой при обработке анкеты может быть восстановлена необходимая количественная оценка.

Иногда вместо указания точной количественной оценки в анкете может требоваться лишь указание диапазона значений, в которых находится оценка.   Анкеты бывают открытого и закрытого типа. В анкете закрытого типа на каждый вопрос даны варианты ответа, а в анкете открытого типа ответы могут быть выражены в произвольной форме. Анкетирование может проводиться непосредственно интервьюером, а может быть заочным.

2. Метод комиссий – это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Также метод комиссий обладает и недостатками: отсутствует анонимность, что может привести к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

3. Экспертиза по методу суда характеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая группа объявляется ее противниками и пытается выявить отрицательные стороны. Возможна и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссий.

4. Метод прогнозного графа создан авторским коллективом во главе с В.М. Глушковым. Качество прогнозов зависит от корректно проведенной экспертизы и обработки ее результатов. Известным методом экспертиз сложных систем является метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. На втором туре подвергаются анализу промежуточные цели. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда больше не требуется дополнительных анализов и детализации.

5. Метод сценариев. Сценарий означает сюжетную схему, т.е. заранее подготовленный детальный план осуществления чего-либо. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий.

Каждый сценарий может быть реализован в нескольких вариантах. Вариант – небольшие (незначительные) изменения каких-либо параметров системы в рамках сценария.

Разработка сценариев способствует предвидению потенциальной опасности, с которой сопряжены варианты управленческих воздействий и неблагоприятное развитие событий. Использование специальных компьютерных систем, а также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа альтернативных вариантов в составе сценариев и выбор наиболее эффективного.[9]

Таким образом, каждый метод организации экспертизы обладает своими преимуществами и недостатками, поэтому при проведении экспертизы следует правильно определить способ взаимодействия экспертов для получения наиболее точного результата.
2.2 Метод «Дельфи» и метод мозговой атаки
В составе экспертных методов, наиболее активно используемых в настоящее время при выборе вариантов решений, наиболее известны метод «Дельфи» и метод мозговой атаки.

Метод «Дельфи» разработан и применен в США впервые в 1964 г. сотрудниками научно-исследовательской корпорации «РЭНД» О. Хелмером и Т. Гордоном. Один из основных методов проведения экспертиз. В настоящее время он представляет собой по существу группу методов, объединенных общими требованиями к организации экспертных процедур и форме получения экспертных оценок.

В методе Дельфи предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, с другой стороны. Ещё одно важное свойство - обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказывавших крайние точки зрения. Метод «Дельфи» целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующее проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.

Экспертизы по методу Дельфи проводятся чаще всего в 4 тура.  В первом туре экспертам сообщают цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы для эксперта предъявляются в виде анкеты, иногда с пояснительной запиской. Информация, полученная от эксперта, поступает в распоряжение аналитической группы.

Во втором туре экспертам предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние оценки. Указания представляются анонимно. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. Третий и четвертый туры не отличаются от второго.

Характерная особенность метода «Дельфи» - уменьшающийся от тура к туру разброс оценок, их возрастающая согласованность.

В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго и третьего тура. При некоторых экспертизах требуется проведение не менее пяти туров.  Основные особенности метода «Дельфи»: анонимность суждений, обоснование точек зрения экспертов, давших крайние оценки, обратная связь, реализуемая с помощью многотуровой процедуры.

В методе «Дельфи» сделана попытка усовершенствовать групповой подход к решению задач прогноза или оценки путем взаимной критики субъективных взглядов, высказываемых отдельными специалистами, без непосредственных контактов между ними и при сохранении анонимности мнений или аргументации в защиту этих мнений. Это позволяет исключить влияние авторитетных и «напористых» участников на суждение остальных, а также уменьшить или исключить явление «сдвига риска».

Характерными особенностями методов экспертных оценок и моделей их реализации как инструмента научного решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация всех этапов экспертизы, обеспечивающая эффективность работы на каждом из этапов и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов на основе формальной групповой обработки результатов их мнений. Эти особенности отличают методы экспертных оценок от обычной давно известной экспертизы, применяемой в различных сферах человеческой деятельности.

При использовании метода «Дельфи» полезно учитывать следующее:

1.   Группы экспертов должны быть стабильными.

2.   Время между турами опросов не должно быть более месяца.

3.   Вопросы в анкетах должны быть тщательно продуманны и однозначно сформулированы.

4.   Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления оценки, а также для критики этих причин.

5.        Должен проводиться систематический отбор экспертов.

6.        Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7.        Нужна формула согласованности оценок, основанная на данных самооценок.

8.        Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

После первой апробации метода «Дельфи» были разработаны различные его модификации. Все модификации могут быть охарактеризованы следующим образом:

- составление классификатора событий, которые экспертам предстоит анализировать;

- предварительное описание прогнозного фона;

- уменьшение числа туров опроса;

- характер вопросов, задаваемых экспертам, и соответствующие математические процедуры получения групповых прогнозных оценок.

Модифицирование метода «Дельфи» было связанно с расширением области его применения. Классический метод «Дельфи», созданный для прогнозирования научных открытий и времени их свершения, стал использоваться для оценки приоритетности направлений прикладных исследований, а также для анализа перспективности технических (конструкторских и технологических) решений и даже для оценки количественных показателей разрабатываемых технических объектов, технологических процессов и т.д.[10]

Метод мозговой атаки, известный также под названиями «мозговой штурм» и «конференция идей», был предложен американским ученым А. Осборном в 1955 году. Основная направленность метода – выявление новых идей и решений.

Метод мозговой атаки характеризуется открытым высказыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два условия:

1) запрещается критика чужих суждений;

2) предполагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации.

Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. Достоинством метода мозговой атаки является возможность принятия решения за сравнительно короткий срок.

При реализации метода мозговой атаки может применяться принцип Парето. После регистрации идей из всей их совокупности каждым экспертом отбирается 20% идей, с их точки зрения заслуживающих наибольшего внимания. Далее из их состава отбираются те, которые получили наибольшее количество очков. Применение этого метода устраняет эффект конформизма, т.е. приспособленчества, позволяет получить продуктивные результаты за короткое время, вовлечь всех экспертов в активный творческий процесс.

Мозговая атака может иметь различные модификации. При решении проблем численность людей, как генераторов, так и экспертов, обычно не превышает шести человек, продолжительность штурма не более 20 минут.

Весь процесс «атаки» можно разделить на шесть этапов:

1.       Формируется группа экспертов (10 - 15 человек). Состав группы предполагает их целенаправленный подбор.

2.       Составляется проблемная записка. Для подготовки записки предварительно формируется группа анализа проблемной ситуации.

3.       Генерация идей. Продолжительность штурма может составлять 20 – 60 минут (в зависимости от активности участников).

4.       Систематизация идей, высказанных на третьем этапе (генерации).

5.       Деструктурирование (разрушение) систематизированных идей. Каждая из систематизированных идей изучается на возможность ее осуществления.

6. Оценка критических замечаний и составление списка практически применимых идей.[11]  Таким образом, метод «Дельфи» и метод мозговой атаки являются коллективными процедурами принятия решений. Разнообразие экспертных методов предоставляют возможность организаторам экспертиз выбрать наиболее походящий метод для проведения конкретной экспертизы.  


3. Организация экспертизы в государственных органах власти на примере Департамента лесного хозяйства Ханты-Мансийского автономного округа - Югры
3.1 Полномочия Департамента лесного хозяйства Ханты-Мансийского автономного округа – Югры в проведение экспертиз
Департамент лесного хозяйства создан 1-го января 2007 года постановлением Губернатора Ханты-Мансийского автономного округа - Югры № 159. 28 декабря 2006 года постановлением Правительства автономного округа № 315-п утверждено положение о Департаменте. Департамент лесного хозяйства Ханты-Мансийского автономного округа - Югры является исполнительным органом государственной власти Ханты-Мансийского автономного округа - Югры, осуществляющим управление в области лесных отношений в пределах своей компетенции и переданных полномочий в соответствии с федеральными законами, а также по соглашениям (договорам) с федеральными органами исполнительной власти.

Департамент возглавляет директор, назначаемый на должность и освобождаемый от должности Губернатором Ханты-Мансийского автономного округа - Югры по согласованию с уполномоченным федеральным органом исполнительной власти.[12] В настоящее время директором является Платонов Евгений Петрович. В 2008 году Департамент начал своё функционирование с окончательно утверждённой структурой. Департамент лесного хозяйства как орган исполнительной власти автономного округа с 20 территориальными управлениями – лесничествами на местах, 85 территориальными отделами – участковыми лесничествами. В составе центрального аппарата – 8 отделов. Одним из отделом Департамента является отдел проектирования и предоставления лесных участков, введение государственного лесного реестра и экспертизы проектов освоения лесов (см. приложение).

Основными задачами Департамента являются:

1. Осуществление в пределах своих полномочий управления лесами, сохранения биологического разнообразия лесов, повышения их потенциала.

2. Обеспечение многоцелевого, рационального, непрерывного, неистощительного использования лесов для удовлетворения потребностей общества в лесах и лесных ресурсах.

3. Организация охраны и защиты лесов, воспроизводства лесов в пределах своих полномочий.

Для выполнения возложенных на него задач в пределах своей компетенции Департамент имеет право организовывать проведение экспертиз целевых проектов, программ автономного округа по вопросам компетенции Департамента, создавать в установленном порядке рабочие группы и комиссии, научно-консультативные и экспертные советы с привлечением в установленном порядке представителей других государственных органов власти, а также иных организаций. За счет субвенций из федерального бюджета Департамент проводит государственную экспертизу проектов освоения лесов. [13]

По данным Т.А. Фроловой, главного специалиста отдела экспертизы проектов освоения лесов и информационно-аналитической работы Департамента лесного хозяйства Ханты-Мансийского автономного округа - Югры, в 2007 году в отдел для экспертизы было сдано 36 проектов освоения лесов. В основном эти проекты связаны с арендой лесов в целях разработки месторождений полезных ископаемых, строительства, реконструкции и эксплуатации линий электропередач, линий связи, дорог, трубопроводов и других линейных объектов.

В процессе проведения экспертизы были выявлены следующие замечания: не соблюден принятый регламент, обнаружены ошибки в расчетах площадей, при составлении проектов использованы устаревшие правила или распоряжения.

После исправлений все проекты прошли государственную экспертизу и получили положительное заключение.

В 2008 году было принято к рассмотрению 2056 проектов освоения лесов, из них прошло экспертизу 1958 проектов, выдано 1872 положительных экспертиз , 86 - отрицательных.

Таким образом, Департамент лесного хозяйства Ханты-Мансийского автономного округа – Югры наделен полномочиями в области проведения экспертиз. Департамент имеет право организовывать проведение экспертиз целевых проектов, программ автономного округа создавать в установленном порядке рабочие группы и комиссии, проводить государственную экспертизу проектов освоения лесов.
3.2 Экспертиза проектов освоения лесов в Ханты-Мансийском автономном округе
Согласно Лесному Кодексу РФ, лица, которым в постоянное (бессрочное) пользование или в аренду предоставлены лесные участки, составляют проект освоения лесов. Основная цель этого проекта - обеспечение многоцелевого, рационального, непрерывного, неистощительного освоения лесов и их использования в соответствии с разрешенными видами деятельности.

Для лесного хозяйства России это дело новое. Необычна сама постановка дела, когда лесопользователь составляет план своей работы на арендуемом участке на весь срок аренды, до того момента, когда этот участок будет сдан арендодателю в надлежащем виде. И освоение арендованного участка леса будет производиться на основании этого документа - проекта освоения лесов.

Состав проекта освоения лесов и порядок его разработки утвержден приказом Министерства Природных Ресурсов РФ от 6 апреля 2007 №77.

Проект содержит сведения о разрешенных видах и проектируемых объемах использования лесов мероприятия по охране, защите и воспроизводству лесов, по созданию объектов лесной и лесоперерабатывающей инфраструктуры, по охране объектов животного мира и водных объектов, а в случаях, предусмотренных частью 1 статьи 21 Лесного кодекса РФ, - также о мероприятиях по строительству, реконструкции и эксплуатации объектов, не связанных с созданием лесной инфраструктуры.

Невыполнение гражданином, юридическим лицом, осуществляющим использование лесов, проекта освоения лесов является основанием для досрочного расторжения договора аренды лесного участка, а также принудительного прекращения права постоянного (бессрочного) пользования лесным участком.

В Департаменте лесного хозяйства ХМАО - Югры в соответствии со статьей № 89 Лесного Кодекса проводится государственная экспертиза проектов освоения лесов. [14]Сотрудники Департамента проверяют соответствие целей, задач и способов освоения лесов, запланированных лесопользователем в данном проекте.

Департаментом разработан и утвержден состав экспертной комиссии для проведения государственной экспертизы, регламент прохождения документов при проведении экспертизы проектов освоения лесов, а также утверждены методические рекомендации по разработке проекта. Заявление на проведение экспертизы с приложением проекта освоения лесов в трех экземплярах поступают в Департамент от лесопользователя или его представителя и регистрируются в установленном порядке. Полномочия представителя должны быть оформлены надлежащим образом (доверенность или другой документ, подтверждающий полномочия).

Начальник отдела в течение 3 рабочих дней со дня регистрации материалов, проверяет их комплектность. Некомплектные материалы возвращаются лесопользователю.

Согласно регламенту, на проведение экспертизы отводится 30 дней с даты поступления материалов. Срок проведения экспертизы может быть продлен в зависимости от содержания проекта освоения лесов, но не более чем на 10 дней. В процессе проведения экспертизы у лесопользователя может быть запрошена дополнительная информация и разъяснения по мероприятиям, предусмотренным проектом освоения лесов. Отдел экспертизы проектов освоения лесов и информационно-аналитической работы в течение 6 рабочих дней с даты регистрации материалов готовит проект приказа на проведение экспертизы проекта освоения лесов, в котором определяется состав экспертной комиссии.

Члены экспертной комиссии: изучают материалы, представленные на экспертизу, подготавливают проект экспертного заключения.

При необходимости организуется выезд членов экспертной комиссии на место проектируемого освоения лесов для получения дополнительной информации.

В процессе проведения экспертизы может быть запрошена дополнительная информация и разъяснения по мероприятиям, предусмотренным проектом освоения лесов. На срок получения дополнительной информации срок проведения экспертизы приостанавливается.

В целях разъяснения проектных решений председатель экспертной комиссии может приглашать лесопользователя для участия в рабочих заседаниях экспертной комиссии.

Заключение экспертизы может быть положительным либо отрицательным. Положительное заключение оформляется при соответствии предусмотренных проектом освоения лесов мероприятий по использованию, охране, защите и воспроизводству лесов целям и видам освоения лесов, лесохозяйственному регламенту лесничества, лесному плану субъекта Российской Федерации, законодательству Российской Федерации. Положительное заключение экспертизы не должно содержать замечаний. Выводы могут содержать рекомендации, если они не меняют существа представленного лесопользователем проекта освоения лесов.

Срок действия положительного заключения экспертизы устанавливается на срок действия проекта освоения лесов.

Отрицательное заключение оформляется в случае несоответствия предусмотренных проектом освоения лесов мероприятий по использованию, охране, защите и воспроизводству лесов целям и видам освоения лесов, лесохозяйственному регламенту лесничества (лесопарка), лесному плану субъекта Российской Федерации, законодательству Российской Федерации и должно содержать указание о необходимости соответствующей доработки. Использование лесов при наличии отрицательного заключения экспертизы на проект освоения лесов не допускается.[15]

Проект заключения экспертизы обсуждается на заключительном заседании экспертной комиссии. Руководитель экспертной комиссии докладывает о результатах работы экспертной комиссии и выводах проекта заключения экспертизы.

Каждое заседание экспертной комиссии оформляется протоколами, которые подписываются руководителем экспертной комиссии и ответственным секретарем.

При наличии замечаний по проекту заключения экспертизы он дорабатывается, после чего подписывается руководителем, ответственным секретарем экспертной комиссии и всеми ее членами.

Заключение экспертизы считается принятым, если оно подписано квалифицированным большинством членов комиссии, составляющим не менее двух третей ее списочного состава.

В случае несогласия члена экспертной комиссии с выводами заключения, эксперт формулирует особое мнение и оформляет его в виде записки, которая прикладывается к заключению. При этом эксперт подписывает заключение экспертной комиссии с отметкой "особое мнение", которое принимается к сведению.

Заключение экспертизы не может быть изменено без согласия лиц, его подписавших.

Один экземпляр материалов, представленных на экспертизу проекта освоения лесов, после ее завершения остается в Департамент, остальные материалы и заключение экспертизы направляются или передаются лесопользователю в течение 7 дней после утверждения заключения.

Изменения и дополнения, вносимые в проект освоения лесов, подлежат экспертизе в соответствии с требованиями, установленными настоящим регламентом.

В случае не подписания заключения квалифицированным большинством членов комиссии, а также при подписании заключения со ссылкой на "особое мнение" экспертов, составляющих более одной трети списочного состава комиссии, создается новая экспертная комиссия из экспертов, не участвовавших в предыдущей экспертизе.

В случае если заключение вновь созданной экспертной комиссии не подписано квалифицированным большинством голосов ее списочного состава, данная экспертиза считается завершенной с отрицательным заключением. Отрицательное заключение экспертизы должно содержать указание о необходимости соответствующей доработки.

При отрицательном заключении экспертизы проекта освоения лесов лесопользователь вправе доработать документацию в соответствии с изложенными в заключении замечаниями и предложениями и вновь представить материалы на экспертизу.

Основанием для повторной экспертизы являются:

- доработка материалов по замечаниям и предложениям, изложенным в уведомлении Департамент, проводившего первоначальное рассмотрение материалов, направленных на экспертизу, или содержащихся в отрицательном заключении экспертизы;

- изменения и дополнения, внесенные в проект освоения лесов;

- истечение срока действия положительного заключения экспертизы;

- решение суда.

Повторная экспертиза проводится экспертной комиссией, как правило, в первоначальном (ранее осуществлявшем экспертизу этого проекта) составе в соответствии с настоящим регламентом.

При несогласии заказчика, общественных организаций и других заинтересованных лиц с заключением экспертизы результаты экспертизы могут быть оспорены в судебном порядке.

Лесопользователь имеет право приступить к использованию лесного участка, после представления арендодателю в установленном порядке разработанного проекта освоения лесов с положительным заключением государственной экспертизы или муниципальной экспертизы.

При возникновении прав использования лесов лесопользователю необходимо подать лесную декларацию в территориальное управление (лесничество), на территории которого будет работать лесопользователь. Порядок заполнения и подачи лесной декларации разработан Министерством Природных Ресурсов РФ, приказ №74 от 02.04.2007.

Таким образом, Департамент лесного хозяйства Ханты-Мансийского автономного округа – Югры проводит государственную экспертизу освоения лесов. Департаментом разработан и утвержден состав экспертной комиссии для проведения государственной экспертизы, регламент прохождения документов при проведении экспертизы проектов освоения лесов, а также утверждены методические рекомендации по разработке проекта.




Заключение
В ходе работы поставленная цель достигнута, задачи выполнены, что подтверждается нижеследующими выводами и положениями. В работе рассмотрены основные понятия и виды экспертиз, формирование экспертной комиссии, выявлены основные стадии экспертного опроса, определены основные методы проведения экспертиз, рассмотрена организацию экспертизы в государственных органах власти на примере Департамента лесного хозяйства Ханты-Мансийского автономного округа – Югры, рассмотрено проведение государственной экспертизы проектов освоения лесов Департамента лесного хозяйства Ханты-Мансийского автономного округа – Югры.

Экспертиза является важным инструментом при разработке управленческих решений. Экспертизы применяются в различных сферах и являются неотъемлемым условием для осуществления различных видов деятельности.

Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений, возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов. Экспертиза проводиться в несколько стадий, которые помогают детально проанализировать объект исследования и принять необходимое управленческое решение.

Для проведения качественной экспертизы и получения объективных результатов важным является ее правильная организация и подбор экспертов.

Каждый метод организации экспертизы обладает своими преимуществами и недостатками, поэтому при проведении экспертизы следует правильно определить способ взаимодействия экспертов для получения наиболее точного результата. Метод «Дельфи» и метод мозговой атаки являются коллективными процедурами принятия решений. Разнообразие экспертных методов предоставляют возможность организаторам экспертиз выбрать наиболее походящий метод для проведения конкретной экспертизы.

Департамент лесного хозяйства Ханты-Мансийского автономного округа – Югры наделен полномочиями в области проведения экспертиз. Департамент имеет право организовывать проведение экспертиз целевых проектов, программ автономного округа, создавать в установленном порядке рабочие группы и комиссии.

Департамент лесного хозяйства Ханты-Мансийского автономного округа – Югры проводит государственную экспертизу освоения лесов. Департаментом разработан и утвержден состав экспертной комиссии для проведения государственной экспертизы, регламент прохождения документов при проведении экспертизы проектов освоения лесов, а также утверждены методические рекомендации по разработке проекта.

Таким образом, проведением экспертиз занимаются органы государственной власти для выявления соответствия объектов, проектов нормам законодательства, используя при этом методы организации экспертиз.




Список использованных источников
1. Лесной кодекс Российской Федерации от 4 декабря 2006 года N 200-ФЗ

(принят Государственной Думой 8 ноября 2006 года), (в ред. Федеральных законов от 13.05.2008 N 66-ФЗ, от 22.07.2008 N 141-ФЗ, от 22.07.2008 N 143-ФЗ, от 23.07.2008 N 160-ФЗ, от 25.12.2008 N 281-ФЗ).

2. Приказ Министерства природных ресурсов РФ от 14 мая 2007 г. №125 «Об утверждении порядка государственной и муниципальной экспертизы проекта освоения лесов» .

3. Приказом Министерства Природных Ресурсов РФ от 6 апреля 2007 №77

«Об утверждении состава проекта освоения лесов и порядка его разработки».

4. Положение о Департаменте лесного хозяйства Ханты-Мансийского автономного округа-Югры (в ред. постановлений Правительства ХМАО – Югры от 01.03.2007 N 48-п, от 29.08.2007 N 212-п, от 20.12.2007 N 329-п, от 29.01.2009 N 16-п).

5. Вертакова Ю.В. Управленческие решения: разработка и выбор: учебное пособие / Ю.В. Вертакова, Н.А. Козьева, Э.Н. Кузьбожев; под общ. Ред. Проф. Э.Н. Кузьбожева. – М.: КНОРУС, 2005. – 357 с.

6. Литвак Б.Г. Разработка управленческого решения: Учебник. – 5-е изд., испр. и доп. – М.: Дело, 2004. – 416 с.

7. Лукичев Л.Н., Егорычев Д.Н. Управленческие решения: учебник по специальности «Менеджмент организации» / Л.Н. Лукичев, Д.Н. Егорычев; под ред. Ю.П. Анискина. – 4-е изд., стер. – М.: Издательство «Омега-Л», 2009. – 386 с.

8. Орлов А.И. Высокие статистические технологии: Экспертные оценки: Учебник/ А.И.Орлов – М.: Издательство «Экзамен», 2007. – 372с.

9. Орлов А.И. Теория принятия решений. Учебное пособие. – М.: Экзамен, 2006. – 576с.

10. Эйтингон В.Н., Кравец М.А., Панкратова Н.П. Методы организации экспертизы и обработка экспертных оценок в менеджменте. – Воронеж, 2004.

---