Основной инструментарий экспертных опросов - анкета или бланк-интервью, разработанные по специальной программе. При его составлении некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опро­се такой специфической аудитории, как эксперты. Так, например, нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имею­щие своей целью выявить "скрытые" позиции респондента. Более то­го, использование подобных приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова - активный участник научного исследования, и попытка скрыть от не­го цель исследования, превратив таким образом в пассивный источ­ник информации, чревато потерей его доверия к организаторам ис­следования.

Ориентация опроса на экспертный или массовый должна гарантироваться формулировкой вопросов, инструкцией интер­вьюеру и т.п., а также контролироваться при кодировке вариантов вопросов. В зависимости от того, какая ориентация опроса призна­на основной, зависит и включение получаемой информации в схему обработки и анализа. В противном случае в рамках одного опроса можно получить разнохарактерную информацию, не приводимую к од­ному основанию. Ориентация на массовый или экспертный опрос существенно влияет на постановку проблемы надежности полученной информации, в особенности, если последняя носит оценочный характер.
Структура и функции экспертных оценок.



Как справедливо указывает В. А. Ядов, если мы имеем дело с массовыми опросами, а не с опросами экспертов, необоснованные оценки при фактической осведомленности о данном предмете столь же "надежны", как и обоснованные. В этом смысле проверка компе­тентности опрашиваемого сводится к тому, чтобы уяснить, извести ли ему оцениваемые события. Такова типичная ситуация при опросе общественного мнения. Оно может быть справедливым и объективным несправедливым и ошибочным с точки зрения непредвзятого и серьезного анализа проблемы. Однако знание о мнении и оценках общест­венности, какими бы ни были эти мнения и оценки, - это объективная и достоверная информация, если опрашиваются люди, знакомые с тем, о чем их спрашивают, если они сталкиваются с данными со­бытиями и фактами в своей повседневной жизни.

Иначе обстоит дело, если проводится экспертный опрос, где опрашиваемые - специалисты, и их компетентность должна не вызы­вать сомнений. В этом случае важна не только объективно обусловленная возможность респондента судить по данному предмету, но и реальная способность высказать обоснованное мнение. Поэтому для экспертных опросов тщательнейшим образом отбирают только тех, кто вполне заслуживает статуса компетентного лица в данной области. Например, экспертный опрос в сфере организации досуга может охватить ответственных работников отделов культуры народных со­ветов, клубных работников, актив общественных организаций, а экспертизу по проблемам организации труда следует, конечно, осуществлять с помощью специалистов совершенно иного профиля[3].

Основные функции экспертного опроса в социологии связаны с оцениванием социального качества общественных систем и их элементов, вариантов социально значимых решений, достоверности данных (в том числе полученных в ходе массового опроса), социальных последствий реализации проектов и рекомендаций; прогнозированием общественных процессов, аттестацией коллектива и его членов.

Однако социологические функции экспертного опроса не сводятся лишь к решению перечисленных задач. В.В. Чередниченко справедливо указывает на потенциальные возможности использования экспертов практически на всех этапах социологического исследования[4]. Данное предположение подтверждается анализом накопленного в это области практического опыта.

Законченное социологическое исследование состоит, как из­вестно, из четырех основных этапов: разработки программы иссле­дования, полевого этапа - обора информации, ее обработки и ана­лиза результатов. Каждый из этих этапов в свою очередь распада­ется на более мелкие части. Так, в программе должны быть пред­ставлены теоретический и процедурный разделы, а также обоснова­ние выборки.

При подготовке теоретического раздела программы, как пра­вило, применяются очные методы опроса экспертов. Формулировка проблемы, определение целей, задач, предмета и объекта исследо­вания требуют возможно более широкого подхода к проблеме. Это достигается, помимо всего прочего, с помощью привлечения специалистов. В. А. Ядов, например, рекомендует на этом этапе работы опрашивать экспертов в форме свободного интервью - для проверки полноты библиографии, поиска дополнительной информации, ориги­нальных идей, используемых, в частности, для набросков первичных гипотез[5]. Поскольку при подготовке теоретического раздела про­граммы помощь специалистов состоит, прежде всего, в выработке про­дуктивных идей, наиболее эффективным здесь являются методы очно­го опроса.

Процедурный раздел программы - наиболее сложная и ответственная часть работы. Все теоретические положения на этом этапе должны быть переведены на язык эмпирического исследования. Необходимо подобрать эмпирические референты понятиям, на основе которых строится концептуальная схема объекта, провести их операциональную интерпретацию, сформулировать систему рабочих гипотез, наметить процедуры их провер­ки, воплотить процедуры в конкретные методики сбора информации, т.е. создать систему показателей, соответствующих основным поня­тиям теории и, если возможно, построить шкалы для измерения эмпирических величин показателей. Наконец, нужно провести логичес­кую проверку и практическую апробацию подготовленных методичес­ких документов (анкет, планов-интервью, бланков наблюдений и т.п.) с тем, чтобы устранить возможные ошибки. Успех работы по этому разделу программы во многом зависит от опыта исследовате­ля, его интуиции. В данном случае обращение к экспертам более чем оправдано. Метод опроса экспертов определяется конкретными задачами каждой операции.

При эмпирической операционализации понятий основная задача состоит в достижении согласованного мнения по поводу явлений ре­альной действительности, через которые может быть описано то или иное теоретическое понятие. Например, как мы можем установить степень общественной активности респондента? Наиболее эффек­тивным способом работы экспертов при решении задач подобного рода является очный опрос методом обмена мнениями ("отнесенной оценки"). Так, в исследования социальных потребностей молодежи этот метод использовался для эмпирической интерпретации понятий относящихся к характеристике потребностей молодежи, в частности эстетических. Опрос экспертов позволил установить эмпирические референты, по которым можно судить, проявляются ли у респонден­тов изучаемые потребности[6]. Полученное операциональное опреде­ление эстетической потребности, явилось в дальнейшем основой для разработки измерительной шкалы.

Выдвижение рабочих гипотез - многоступенчатый процесс логического вывода: от теоретических положений концептуальной моде­ли к эмпирически проверяемым суждениям. Безусловно, этот процесс может быть интенсифицирован коллективной работой экспертов. На­ибольший эффект достигается применением методов обмена мнениями и стимулированного наблюдения.

Разработка методики сбора информации, предназначенной для проверки гипотез, включает построение системы показателей и шкал, на основе которых затем составляются методические докумен­ты (анкеты, карточки наблюдения, планы-интервью, макеты статис­тических таблиц и т.д.). В этой части процедурного раздела про­граммы наиболее широки возможности применения экспертных мето­дов. Например, в упоминавшемся исследовании по изучению и про­гнозированию социальных потребностей молодежи, опросы экспертов применялись для разработки системы показателей и шкал измерения потребностей, а также шкалы, учитывающей прогностический фон - влияние на потребности других социальных процессов.

В соответствии с операциональным рассмотрением художественно-эстетической потребности в процессе мозговых атак было составлено более ста утверждений, свидетельствующих о наличии или отсутствии художественно-эстетической потребности, которые легли в основу составленного опросника[7].

Построение шкалы измерения потребностей по методу экстремальных групп явилось результатом семи этапов работы, один из кото­рых - составление списка вопросов и определение числа и вида ответов на них, причем таких, которые обладали бы различительной способностью, т.е., делали возможной корреляцию их с уровнем paзвития потребности респондента. Это, как правило, требует допол­нительной информации о характере избранной потребности, о фактоpax, влияющих на нее, о видах проявления данной потребности в поведении, сфере сознания, эмоциональной жизни респондентов. В целях возможно большего разнообразия вопросов применялся метод "мозговой атаки", которая расширяет ассоциативную основу коллективной интеллектуальной деятельности[8].

Построение с помощью экспертных оценок шкалы - одна из двух возможных процедур измерения активности фона наряду с математико-статистической обработкой данных по показателям базовой модели за период основания прогноза.

Применение процедур второго типа возможно в том случае, когда исследователь располагает полными и достаточно надежными данными, характеризующими динамику как профиля так и фона. Если же таких данных в распоряжении исследователя нет - а это типичная ситуация для прогнозирования в социологии, - ему приходится прибегать к опросу экспертов. Кроме того, экспертные оценки необходимы как вспомогательный, контрольный метод и в том случае, когда возможно применение математико-статистических процедур.

Шкалированный опрос экспертов был использован в работе Б.С. Батыгина для построения системы показателей образа жизни. Выбор экспертного метода обосновывается применением эм­пирического определения значимости показателей, разработанных в современной социологии и статистике и основанных на построении многомерных моделей, на данном этапе построения системы затруд­нено. Экспертные оценки используются, как правило, в ситуациях, когда точность информации, необходимой для принятия решения, относительно невелика. Притом, при выборе данного метода сы­грали определенную роль соображения экономичности и простоты экспертизы.

Опрос экспертов обнаружил гораздо больше нерешенных теоре­тических и методологических проблем, чем достоверных решений, однако, несмотря на приблизительность оценок он удобнее и экономичнее более сложных техник статистического определения значимости показателя[9].

При рассмотрении роли экспертного метода в разработке методики сбора информации необходимо подчеркнуть также тот факт, что шкалы высшего для социологического измерения типа - интервальные - строятся исключительно на основе экспертных оценок в технике парных сравнений (шкала Терстоуна), равных интервалов и последовательных категорий[10]. Работа с экспертами широко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы.

Различные процедуры с использованием экспертных оценок все чаще применяются при разработке методике ГОЛ (групповой оценки личности). В качестве примера можно привести исследование, проведенное социологической лабораторией Киевского университета, при состав­лении банка шкал для измерения творческой активности был использован один из вариантов экспертного опроса, разработанный в рам­ках подхода к изучению частоты поступков.

Процедура состояла в том, что от группы экспертов (21 чело­век) требовалось указать личностные свойства и поступка своих знакомых и друзей, которых, по их мнению, можно назвать творчес­ки активными личностями. Эти черты и поступки должны были служить примером проявления творческой активности или отражать ее нали­чие у данного человека. Затем группе экспертов (31 человек) предлагалось оценить по полученному списку качеств известных им творчески активных людей, используя следующую шкалу: 5 - качество, присущее полностью; 4 - присуще отчасти; 3 - выражено очень сла­бо; 2 - отсутствует полностью. Кроме того, эксперты могли ука­зать на неприменимость качества для оценки конкретного человека или на отсутствие достаточных знаний о его проявлении. Получен­ные ретроспективные оценки усреднялись, что давало возможность вычленить те качества личности, по которым наблюдалась высокая согласованность мнений экспертов.

На втором этапе исследования экспертам было предложено из списка качеств отобрать такой необходимый и достаточный их под-набор, который, по их мнению, наилучшим образом характеризует творческую активность личности. Чаще всего (более чем в 50% случаев) назывались следующие качества: наличие собственного взгляда на вещи, разносторонность интересов, критическое отношение к себе, упорство и целеустремленность, способность оставит след в духовном мире другого человека; постоянная готовность дойти до самой сути; постоянное переосмысление известного; целостность личности; постоянное самообразование; способность пожертвовать отдыхом ради работы.

После того, как методические документы подготовлены, они должны пройти стадию логической проверки и практического апробирования - пилотажа. Перед социологом встает задача определить, насколько методика соответствует целям исследования, позволяет ли она проверить выдвинутые рабочие гипотезы, направлена ли именно на тот аспект предмета исследования, которого касаются гипотезы, например, измеряет ли шкала потребностей в общественно-политической деятельности именно эту потребность, не смешивая ее с потребностью в лидерстве, стремлением к достижению карьерист­ских целей и т.п. Проверка готовой методики на надежность, ус­тойчивость и обоснованность выполняется параллельно двумя способами: о помощью логического анализа и пробного использования ее на микровыборке - пилотажа. В первом случае можно с успехом применять опрос экспертов: в форме консультаций по поводу под­готовленных методик (свободное интервью, реже - "мозговая атака" и обмен мнениями), а также с помощью заочных методов - от сбора мнений до дельфийской техники. Наиболее эффективны здесь обмен мнениями и формализованный заочный опрос экспертов[11].

В процессе пилотажа методик применение экспертных методов ограничено, поскольку здесь подготовленные и логически проверенные документы проходят практическую апробацию. Однако и тут возможно привлечение экспертов, во-первых, для определения числен­ности и состава пилотажных групп, во-вторых, для обсуждения, итогов пилотажа, внесения исправлений и дополнений в документы. Но наиболее эффективен здесь обмен мнениями.

В упомянутом исследовании по изучению и прогнозированию социальных потребностей молодежи экспертный метод применялся для проверки на обоснованность подготовленного опросника. В соответствии с требованиями метода "известной группы" по установленной на одной из сессий "мозговых атак" выборке были определены две группы респондентов - с высоким и низким уровнем изучаемой художественно-эстетической потребности[12].

Обоснование выборки завершает разработку программы. На этом этапе необходимо принять решение о том, каким будет исследование - сплошным или выборочным. Затем, если исследование выборочное, надо определить способ и соответственно ему объем выборки. Что касается последнего, то тут роль экспертов минимальна: для определения объема выборки существуют детально разработанные статистические процедуры. Однако эксперты могут быть полезны для определения способа отбора - операции, требующей учета многих осо­бенностей предмета исследования и связей в нем. Коллективное решение этой задачи, безусловно, поможет избежать ошибок репре­зентативности и, следовательно, систематических ошибок в результатах исследования. К сожалению, этот момент учитывается далеко не всегда. Обоснование выборки остается пока одним из слабых звеньев в практике наших социологических исследований.

Когда программа готова, наступает этап полевого исследования, состоящий из двух последовательных частей - отбора единиц наблюдения и сбора информации. Процесс отбора проходит без участия экспертов, которые уже определили наилучший его способ. Что же касается сбора эмпирических данных, то здесь вновь открываются широкие возможности применения экспертных методов. Очень часто оказывается: ту информацию, которая собирается в ходе массового анкетного опроса или интервьюирования, со значительно меньшими затратами средств, сил и энергии можно получить, используя другие методы, в том числе экспертные. Так, при изучении социальной активности в различных ее формах (трудовой, обществен политической, познавательной, творческой и т.д.), а также дисциплинированности, ответственности экспертные оценки с успехом могут заменить громоздкие анкеты, с помощью которых зачастую получают ненадежную и трудно интерпретируемую информацию.



Область применения.



Экспертный опрос наряду с традиционными методами сбора ин­формации может широко применяться и в других областях социологических исследований. Так, например, В.З. Докторов справедливо указывает, что использование данного приема весьма эффективно при изучении общественного мнения[13].

Чем обусловлено обращение к экспертам? Заключения специалистов, связанных в силу своей повседневной профессиональной дея­тельности с изучением состояния и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.

Поскольку общественное мнение всегда предметно, поскольку в нем всегда содержится отношение к той или иной проблеме, по­стольку статусом эксперта могут быть (при известных ограничени­ях) наделены, во-первых, специалисты, занимающиеся исследование различных аспектов этой проблемы, во-вторых, представители социальных институтов, призванных решать ее в интересах всего общества,и, в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.

В основе изучения рациональной составляющей общественной мнения лежит идея сопоставления суждений  профессионального, специализированного сознания и сознания массового. Поскольку первые выступают в качестве эталона рационалистического, научного отношения к проблеме, постольку степень близости ответов населения к реакциям экспертов служит индикатором компетентности, развитости общественного мнения.

Экспертные оценки были использованы в исследовании актуальных проблем внутритеатрального управления в связи с проведением комплексного социального эксперимента по перестройке театрального дела. Прежде чем приступить к нововведениям, группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры РФ. Целью опроса было выяснить, что именно и каким образом они хотели бы усовершенствовать.

Поскольку социально-культурные цели театра достигаются при ограничениях, заданных финансовым планом, постольку существует два вида его деятельности: художественно-творческая и производственно-экономическая. Первой руководит главный режиссер, главный художник, режиссеры-постановщики, помощники главного режиссера по литературной части и по труппе, второй - директор, его заместители, заведующий художественно-постановочной частью. Первая группа именовалась "художественными", а вторая - административными руководителями.

В восемнадцати театрах Москвы было опрошено 13 главных режиссеров, 16 директоров, 9 их заместителей, 11 режиссеров-постановщиков, 12 заведующих художественно-постановочной частью, 13 помощников главного режиссера по литературной части, 5 помощников главного режиссера по труппе, 6 главных художников. Группа «художественных» руководителей была представлена 48, а группа "административных" - 37 респондентами.

Эксперты - участники опроса - высказывали свое мнение от­носительно роли директора и главного режиссера в решении основных вопросов деятельности театров, оценивали целесообразность различных моделей внутритеатрального управления, перспективы создания театральных объединений и др.

На третьем этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение имеет определение оптимальной стратегии обработки. Как проверить гипотезы, с помощью каких статистичес­ких методов? Какие статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы исследователь должен раньше, чем массив информации будет переведен на машинные носители и введен в компьютер. Строго говоря, страте­гия обработки данных, хотя бы в общих чертах, должна быть ясна еще во время подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым непосредственным образом связаны с методами обработки собранной с их помощью информации. Участие экспертов в определении путей решения этой задачи должно оказаться чрезвычайно полезным, од­нако пока наша социологическая практика таким опытом не располагает. Можно лишь предположить, что наиболее эффективным в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями.

На этапе ручной обработки и кодирования возможностей использования эксперта гораздо меньше. Но и здесь следует обращаться к специалистам, например, при выборе способа кодирова­ния или в спорных случаях, когда вероятна различная интерпрета­ция записей, содержащихся в методических документах. Форма опросов экспертов в этом случае - свободное интервью и в отдельных случаях "обмен мнениями".

Завершающий этап исследований - анализ результатов. Он на­чинается с проверки гипотез: подтвердились ли они эмпирическими данными. Иногда для этого достаточно просмотреть соответствую­щие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод "обмена мнениями" ("отнесенной оценки").

Затем следует интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались в терминах эмпирического следования, следовательно, нужно перевести результаты их проверки на язык теории. В программе присутствует концептуальная мо­дель предмета исследования. Теперь настало время решить, что в этой модели соответствует эмпирической действительности, что - нет, в каких направлениях надо ее развить, дополнить, в каких пересмотреть, а то и вовсе сократить. Эта работа может быть эффективно проведена с помощью экспертов. Наиболее подходящими здесь представляются методы очного опроса: "мозговая атака" и "обмен мнениями"[14].

Параллельно с интерпретацией результатов разрабатывается прогноз, даже если перед исследованием не стоят специально про­гностические задачи. Роль экспертов в прогнозировании трудно переоценить. Причем на этом этапе могут быть использованы практи­чески все экспертные методы. Наиболее подходящими для социологического прогнозирования являются "стимулирование наблюдения", формализованный опрос, шкалированные оценки, "метод Дельфи"[15].

Анализ информации, а с ним и все исследование, завершается формулированием выводов и рекомендаций. Нужно определить, выполнены ли поставленные перед исследованием задачи и насколько полно, какие из них решены, а какие нет, рассмотреть причины, по которым некоторые задачи остались нерешенными. Необходимо пока­зать, какой вклад   исследование внесло в теорию изучавшейся проблемы и в поиск путей ее практического решения, сформулиро­вать практические рекомендации по управлению изучавшимися соци­альными процессами.

На заключительном этапе работы привлечение экспертов более чем оправдано. При этом желательно более широкое включение в ее состав экспертов практических работников, хорошо знакомых с конк­ретными условиями внедрения рекомендаций. Наиболее приемлемой формой работы в данном случае является опрос экспертов по методу коллективной генерации идей. Для уточнения полученных таким пу­тем рекомендаций может также использоваться опрос экспертов ме­тодом комиссии[16].

Итак, экспертный опрос наряду с массовым представляет собой важнейшее подразделение опросного метода. Его отличительные черты касаются задач, для решения которых он используется, функций выполняемых в социологическом исследовании, технических и мето­дических приемов подготовки инструментария и проведения опроса, кодировки вопросов, включения получаемой информации в схему об­работки и анализа, постановки проблемы достоверности и репре­зентативности и т.п.

Функции экспертного метода в социологическом исследовании не сводятся лишь к получению первичной социологической инфор­мации. Как показывает теоретический анализ и практические ре­зультаты, эксперты могут использоваться практически на каждом этапе организации и проведения социологического исследования.