РЕФЕРАТ

Тема: лингвистическое обеспечение искусственного интеллекта

Содержание
1.                Введение --------------------------------------------------------------------- 1
2.                Искусственный интеллект ------------------------------------------------ 2
Ø    Задачи искусственного интеллекта ------------------------------------- 2
Ø    История разработки систем искусственного интеллекта ---------- 2
Ø    Связь искусственного интеллекта с другими дисциплинами----- 3
Ø    Направления критики искусственного интеллекта ----------------- 4
Ø    Информатика в обществе ------------------------------------------------- 4
3.                Психолингвистика ---------------------------------------------------------- 5
Ø    История развития психолингвистики ---------------------------------- 6
Ø    Модели творческой деятельности -------------------------------------- 7
4.                Лингвопсихология --------------------------------------------------------- 8
5.                Теория интерпретации ---------------------------------------------------- 9
Ø    Общие понятия теории интерпретации ----------------------------- 9
Ø    Знание как основа интерпретации ------------------------------------ 11
Ø    Принципы интерпретации ---------------------------------------------- 12
6.                Вычислительная лингвистика ------------------------------------------ 13
Ø    Обработка естественного языка (ОЕЯ) ----------------------------- 13
Ø    История ОЕЯ -------------------------------------------------------------- 15
Ø    Система, «понимающая» естественный язык ----------------------- 16
7.                Заключение ----------------------------------------------------------------- 19
8.                Использованная литература -------------------------------------------- 20

Введение
Информацией люди оперировали уже задолго до появления компьютеров. Начиная с древнего абака, дожившего до наших дней в виде конторских счетов, создавались приспособления для обработки числовой информации. Механические устройства типа арифмометров, счетные электрические клавишные машины, счетно-аналитическая техника и многие другие приборы были нацелены на решение тех же задач, которые в полном объеме стали реализовываться в компьютерах.
Но чтобы эффективно использовать технику человеку необходимо найти с ней «общий язык» или научить ее говорить на своем.
Целью данной работы является рассмотрение лингвистического обеспечения искусственного интеллекта.
Объектом данного исследования является искусственный интеллект, поэтому считается целесообразным рассмотреть историю развития, основные направления разработки, предпринимавшиеся ранее и предпринимаемые в настоящее время, и общие вопросы, касающиеся проблем создания искусственного разума. Так как искусственный интеллект является результатом исследований, проводимых в рамках такой науки как информатика или компьютерология, также является закономерным рассмотрение взаимодействия данной области знаний с другими дисциплинами, в частности с лингвистикой и психологией.
В работе будут также затронуты общие вопросы лингвистики и психолингвистики, поскольку данные именно этих наук необходимы для исследования проблем лингвистического обеспечения искусственного интеллекта. Таким образом, так как проблема лингвистического обеспечения искусственного интеллекта лежит в области пересечения таких дисциплин как информатика (и разработка искусственного интеллекта в частности), лингвистика и психолингвистика, будут рассмотрены точки их соприкосновения.
Также во введении я считаю целесообразным дать определения некоторых основных терминов, которые будут использованы в данной работе:

Искусственный интеллект (Artificial Intelligence; Kьnstliche Intelligenz; intelligence artificielle) – раздел компьютерологии / информатики (computer science), разрабатывающий "разумные" компьютерные системы, т.е. системы, проявляющие характеристики разумности в человеческом поведении (понимание языка, обучение, рассуждение, решение задач и т.п., а также этические аспекты) [Born, Born-Lechleitner 1987: viii], а также результат исследований в данной области знаний (то есть способность компьютера осуществлять операции, аналогичные процессам обучения и принятия решений человеком [Webster’s Dictionary]).

Лингвистика (linguistics, Linguistik, linguistique) – наука о языке, его общественной природе и функциях, его внутренней структуре, закономерностях функционирования, его историческом развитии и классификации отдельных языков.

Психолингвистика (psycholinguistics; Psycholinguistik; psycholinguistique) – наука о речевой деятельности людей в психологических и лингвистических аспектах, включая экспериментальное исследование психологической деятельности субъекта по усвоению и использованию системы языка как организованной и автономной системы.

Лингвопсихология – исследование предмета психологии (человеческой ментальности, эмоций, сознаний, перцепции) лингвистическими методами, через призму обыденного языка.

Вычислительная лингвистика – дисциплина, занимающаяся коммуникативными процессами в наиболее абстрактном виде, в функции которой входит установление общего вида и общих принципов построения процессоров естественного языка, доказательство теорем относительно равносильности или неравносильности двух различных формальных грамматик одного и того же языка и т.п.

Искусственный интеллект

Искусственный интеллект состоит в моделировании когниции человека, в воспроизведении человеческой деятельности и человеческой когниции в целом и опирается на исследование биологических оснований переработки информации человеком (при этом главной является когнитивная адекватность), на научный анализ и автоматизацию интеллектуальных функций человека. В основе искусственного интеллекта лежит убежденность в принципиальной возможности моделирования механизмов человеческой обработки информации на ЭВМ. В связи с этим понятие интеллекта рассматривается как отношения между мозгом и духовной деятельностью, как высококвалифицированной информационной переработки знания, при которой вербальный аспект играет особую роль: интеллект состоит не только в умении пользоваться опытом, но и передавать этот опыт на языке (о требованиях к системам искусственного интеллекта, использующим естественный язык). Поэтому искусственный интеллект иногда отождествляют с исследованием интеллектуальных функций. Антропоморфизм искусственного интеллекта заключается в стремлении к достижению сходства между моделью и человеческими процедурами. Так, по Шанку, поскольку люди являются концептуальными, интенциональными и семантичными системами, взаимодействующими в определенных обстоятельствах, предлагаемые модели также должны быть понятийными, интенциональными и семантичными (semanticallybased). Однако именно эти ожидания исследователей еще не оправдывались полностью.
Название «искусственный интеллект» отнюдь не предполагает сравнения естественного интеллекта с искусственным. Системы искусственного интеллекта называются так по другой причине. Они призваны достигать результатов, которые получил бы человек, если бы выполнял интеллектуальную работу.
Задачи искусственного интеллекта – развитие, поддержка и использование формального аппарата, интерпретируемого компьютером, для представления знания. Информационно-поисковая парадигма когнитивных наук состоит в ориентации на ЭВМ как на инструмент исследования: моделирование (описание и объяснение, в частности, языковых явлений) на базе теорий информации и реализация в форме работающих систем. Как развитие теорий когнитивной переработки и эксперименты с компьютерными реализациями этих теорий, искусственный интеллект основное внимание уделяет процедурной стороне. Цель искусственного интеллекта – повысить эффективность использования ЭВМ, понять принципы, на которых покоится человеческий интеллект, имитировать на компьютере разумное поведение человека – его восприятие, понимание, принятие решения, обучение и т.п. – как в теоретическом плане, так и экспериментально. Практическими реализациями являются экспертные системы, построенные на основе баз знаний, и системы общения человека и ЭВМ. В область искусственного интеллекта входят разделы информатики (распознавание естественного языка, автоматический перевод, экспертные системы, распознавание зрительных образов, генерация доказательств в математике, управление роботами, компьютерные игры) и технические системы решения интеллектуальных задач.
История разработки искусственного интеллекта
По времени возникновения это направление в информатике — самое молодое. Время его появления как научной дисциплины — начало 70-х гг. XX столетия. Но сейчас, пожалуй, именно искусственный интеллект определяет стратегические направления развития данной науки.
Термин "искусственный интеллект" появился в 1956 г., однако его основы были заложены значительно раньше: логика Д. Буля и машинное моделирование исчисления у Ч. Беббиджа подготовили почву для "теории вычисления" А. Тьюринга и теории коммуникации Шеннона, а затем для кибернетики Н. Винера и теории автоматов фон Нейманна.
С появлением первых ЭВМ стало ясно, что инженеры и математики создали не просто быстро работающее устройство для вычислений, а нечто более значительное. Оказалось, что с помощью ЭВМ можно решать различные головоломки, логические задачи, играть в шахматы, создавать игровые программы, сочинять музыкальные мелодии, стихотворения и даже сказки. Появились программы для перевода с одного языка на другой, для распознавания образов, доказательства теорем. Все это привело к выводу о том, что с помощью ЭВМ и соответствующих программ можно автоматизировать такие виды человеческой деятельности, которые называются интеллектуальными и считаются доступными лишь человеку.
Но, несмотря на большое разнообразие невычислительных программ, созданных к началу 60х гг., программирование в сфере интеллектуальной деятельности находилось в гораздо худшем положении, чем решение расчетных задач, т.к. оно опиралось на соответствующую теорию — вычислительную математику, на основе которой было разработано довольно много методов решения задач. Ничего подобного для невычислительных задач не было. Любая программа была здесь уникальной, т.к. еще не были открыты методы для решения однотипных невычислительных задач. Компьютер «не отличал» вычислительные программы от невычислительных, поскольку в памяти компьютера не было знаний о том, что он на самом деле делает.
Об интеллекте компьютера можно было бы говорить, если бы он сам, на основании собственных знаний сумел составить шахматную программу или, например, синтезировал музыкальное или литературное произведение.

Связь искусственного интеллекта с другими дисциплинами
Искусственный интеллект тесно связан со многим дисциплинами, например, с теоретической информатикой, откуда он заимствовал многие модели и методы. Столь же прочны связи этого направления с кибернетикой. И конечно, работы в области создания интеллектуальных систем (чем, собственно, и занимаются специалисты, работающие в области искусственного интеллекта) немыслимы без развитых систем программирования.
Основная цель работ в области искусственного интеллекта — стремление проникнуть в тайны творческой деятельности людей, их способности к овладению навыками, знаниями и умениями. Для этого необходимо раскрыть те глубинные механизмы, с помощью которых человек способен научиться практически любому виду деятельности. Если суть этих механизмов будет разгадана, то есть надежда реализовать их подобие в искусственных системах, т. е. сделать их по-настоящему интеллектуальными.
Такая цель исследований в области искусственного интеллекта тесно связывает их с достижениями психологии — науки, одной из задач которой является изучение интеллекта человека. В психологии сейчас активно развивается особое направление — когнитивная психология, исследования в котором направлены на раскрытие тех закономерностей и механизмов, которые интересуют специалистов в области искусственного интеллекта.
Кроме психологических исследований, в сферу интересов специалистов в области искусственного интеллекта входят те лингвистические исследования, которые тесно связаны с психологией. Эту пограничную область активно исследует психолингвистика. Ее результаты касаются моделирования общения не только с помощью естественного языка, но и с использованием иных средств (жестов, мимики, интонации и т. п.).
Существует много способов описать и представить разнообразные знания о мире. И естественный язык лишь один из них. Специальная наука, которая изучает общие свойства различных систем, способных описывать явления окружающего мира и его законы, называется семиотикой. Понятно, что к семиотике специалисты по искусственному интеллекту проявляют не меньший интерес, чем к психологии или лингвистике.
Современные ЭВМ уже мало удовлетворяют специалистов по искусственному интеллекту. Они не имеют ничего общего с тем, как устроен человеческий мозг. Поэтому в настоящее время большое внимание уделяется исследованиям, связанным с созданием нейроподобных искусственных сетей.
Искусственный интеллект — наука не чисто теоретическая. Она занимается и прикладными вопросами, связанными с построением реально действующих интеллектуальных систем, например роботов.
Направления критики искусственного интеллекта:
1. Искусственный интеллект покоится на гипотезе об аналогии знания языка и знания вообще. Знание вообще опирается на знание дискретных единиц и отношений. Однако знание языка не столь прямолинейно. Об этом свидетельствуют трудности в выражении. Языковое и внеязыковое знания на самом деле очень различны. В частности, у знания вообще нет "семантической структуры". По [Herskovits 1986], никакая из концепций, существующих на данный момент, не объясняет, как человек использует лексические знания. Не случайно существующие системы искусственного интеллекта, использующие естественный язык, не могут продуцировать высказывание так, как это делает человек: эти системы способны только в некотором смысле "общаться" с человеком.
2. Ментальность не сводится к формальной, "синтактической", обработке, есть еще и семантические аспекты – в этом состоит отличие естественного разума от компьютера. Понимание языка, в частности, основано на интерпретации символов – чего нет у компьютера. "Сильный" искусственный интеллект следует отличать от "слабого", или осторожного подхода, для которого компьютер – главным образом инструмент исследования (позволяющий формулировать и проверять гипотезы). "Слабый" искусственный интеллект несомненно ценен. Но для "сильного" искусственного интеллекта компьютер – полное повторение мышления, и это-то и вызывает сомнения: компьютер не обладает интенциональностью, потому не может он обладать и пониманием. "Сильный" искусственный интеллект невозможен, поскольку человек может обладать некоторой программой действий, не будучи в соответствующих ментальных состояниях.
3. По [Karpatschof 1982], обычно в фокусе искусственного интеллекта – представление (репрезентирование) внешнего мира и внутреннего состояния самой системы, а также модифицирование системы по ходу работы. Но отсутствуют черты, присущие человеческому интеллекту, как то: социальность, филогенетичность, историчность и становление с возрастом, по ходу взросления человека.

Информатика в обществе.

Сегодня мы живем в информационном обществе, в котором огромную роль играют системы распространения, хранения и обработки информации. Широкое внедрение компьютеров во все сферы человеческой деятельности наряду с использованием интеллектуальных роботов значительно влияет на традиционную среду обитания людей, изменяя ее под свои нужды. Растет количество людей, профессионально занятых сбором, накоплением, обработкой, распространением и хранением информации, которая является товаром, имеющим большую ценность, в связи с чем индустрия информации в обществе становится весьма значимым явлением.

Последние 20 лет в центре внимания вычислительной лингвистики находится вопрос о моделировании той деятельности человека, результатом которой является речь. Однако если в начале этого периода больший интерес, как правило, вызывали исследования, исходящие из точки зрения говорящего, то, начиная с 1970-х годов и вплоть до настоящего времени все чаще и чаще делаются попытки построить модель понимания. Такое изменение интересов связано с тем, что подход к пониманию как к простой перекодировке поверхностных (наблюдаемых) структур в «смысловые репрезентации» стал представляться все менее и менее вероятным. Произошел постепенный переход от «лингвистики говорящего» к «лингвистике понимающего», что, в свою очередь, объясняет тенденцию к интерпретационистскому объяснению.
При всем многообразии современных концепций общение стали характеризовать как то, что связывает двух иди большее число личностей, говорящих и одновременно интерпретирующих как чужую, так и собственную речь. Интерпретация – это процесс, в конечном итоге расцениваемый как понимание, недопонимание, недоразумение и т.д.; шкала такой оценки непрерывна и не ограничивается полярными точками. Причем процесс этот заключается не в «переводе» выражения-объекта в смысловую структуру, а в построении и проверке гипотез о такой структуре, о том, насколько одни структуры более вероятны по сравнению с другими, и даже о том, стоит ли дальше пытаться интерпретировать поступающие сообщения. В «перекодировочной» концепции обычно исходят из неизменности ключа к шифру, в интерпретирующем же подходе вполне допускается случай, когда по ходу понимания речи воспринимающая сторона постепенно меняет ту базу знаний, на которую она опирается.
Возможные перспективы теории интерпретации представляются следующим образом:
Коммуникация в рамках теории интерпретации обладает многими аспектами, среди которых – столкновение намерений и их интерпретация каждой из общающихся сторон. Намерение может быть связано как с мотивами поведения говорящего (при понимании намерений), так и с тональностью понимания.
Намерение в речевом поведении обладает следующими параметрами:
а) степень преднамеренности в выполнении заранее запланированного действия
б) выбор действий
в) психологическое состояние, интерпретируемое как «желание» или «воля»
г) предвидение результатов данного речевого действия;
д) степень контролируемости действий, их привычность, главным образом, связанная с навыками речи, а не со знаниями.
Стратегический комплекс (замысел) говорящего – это осознанный комплекс намерений, имеющийся еще до их реализации и используемый по ходу речевых действий. Это означает преднамеренности в выборе вполне определенного набора действий, на фоне конкретного же и постоянно меняющегося набора психологических состояний, что сопровождается «просчитыванием» последствий будущих действий, при презумпции той или иной степени контролируемости постоянно меняющейся ситуации общения. Ясно, что стратегические комплексы не всегда лежат за речевыми действиями. Кроме того, можно уже до осуществления стратегического замысла оценить свои будущие действия как дурные или благие, запланировать требуемую дозу искренности (или, наоборот, наигранности) и даже отказаться от выполнения своих замыслов.
Осуществление же стратегий в реальном общении обладает двумя важными аспектами:
а) стадиальность осуществления (начало, воплощение, завершение и т.д.);
б) соотнесенность «атакующих» и «оборонительных» действий.
Стратегический комплекс взаимодействует, как минимум, с тремя другими – внестратегическими – комплексами при каждом конкретном акте общения: с комплексом конвенций данного социума, с комплексом личности говорящего и с комплексом личности партнеров по общению с данным говорящим в оценке последнего.
В различных эпизодах осуществления стратегического замысла в речи параметры намерения проявлены бывают в разной степени. Намерение, понимаемое в рамках теории интерпретации, позволяет выйти за пределы одного отдельно взятого высказывания и даже группы высказываний: то, что можно назвать «речевой жизнью» человека, может быть проинтерпретировано как смена стратегических и внестратегических комплексов, с их внутренней организацией. Моделирование модулей понимания и речевых намерений – это одна из ближайших задач теории интерпретации в рамках вычислительной лингвистики.

Знание как основа интерпретации

Интерпретация охватывает как понимание, так и произведение («продуцирование») высказывания. Нейтрально это понятие также и по отношению к осознанию буквального смысла и расширенного, дополнительного смысла. Последний вид смысла вовлекает знание, основанное на логическом выводе. Существенно привлечение внеязыковых знаний и при интерпретации неоднозначных высказываний.
Понятие интерпретации издавна неформально используется в качестве термина для обозначения того, что можно извлечь из какого-либо рассматриваемого объекта и не совпадает с этим объектом буквально, т.е. не тождественно ему либо по форме (случай буквального перифразирования, с сохранением смысла), либо по содержанию (случай интерпретации, связанной с вовлечением «побочных», т.е. индивидуальных, не чисто языковых знаний интерпретатора). При конкретной интерпретации объект рассматривается на определенном фоне: например, в привязанности к конкретной ситуации появления объекта, в контексте более крупного высказывания, предшествующих высказываний того же автора и т.п. Характеристики этого фона отражаются в рамках и получаемой интерпретации. Абстрактная интерпретация, т.е. та, которая осуществляется вне такого фона, как бы в пустоте, – случай довольно редкий; приблизительное представление об этом случае могут дать, пожалуй, только предложения-примеры в грамматических пособиях (типа Мама мыла Машу. Дети пошли в сад. Наступила весна, – в сборнике упражнений по русскому языку для начальной школы).
В основе понятия модели как объекта математической логики (теории моделей) интерпретация связана с тем углом зрения, под которым объект рассматривается. Там термин модель является синонимом термина интерпретация. Однако такое понимание не единственно. Столь же широко, если не более распространенно, понимание интерпретации как процесса: в последние годы в лингвистике все большую популярность получает взгляд на интерпретацию как на то, что определяет природу речевой деятельности вообще (о концепции «интерпретационизма»).
Принципы интерпретации
Большая часть информации неоднозначна. Но, тем не менее, в подавляющем большинстве случаев человек успешно (верно) интерпретирует высказывания. Появляется вопрос: каковы же принципы, которыми пользуется человек, интерпретируя высказывания? В поисках ответа было предложено довольно большое число кандидатов на звание «ведущего» принципа. Вот только некоторые из них:
Наиболее почтенное место занимает «принцип Фреге» (принцип композиционности). В обобщенном виде он формулируется так: значение целого предложения есть функция от значений его частей. Для поверхностной структуры предложения этот принцип, взятый буквально, не совсем справедлив: достаточно проследить его действие в случае синтаксической неоднозначности. В концепции «компонентного анализа» предложения этот принцип действителен только для «исходной синтаксической структуры» предложения; именно на этом принципе и основана работа «правил семантической проекции» в такой концепции семантики [Katz, Fodor 1963]. Даже при такой трактовке, тем не менее, указанный принцип наталкивается на трудность, связанную с интерпретацией цитат.
Принцип минимальной интерпретации [Th.R.Hofmann 1979,] относится к другой стороне вопроса: каждое предложение интерпретируется таким образом, чтобы добавить по возможности меньший объем новой информации, т.е. чтобы максимальным было ее пересечение с предыдущим контекстом (речь не идет о тех случаях, когда вводится новый сюжет, фокус контраста и т.п.). Этот принцип справедлив для прямого толкования предложения, а не для вытекающих из предложения следствий.
Другой количественный принцип – «модифицированная бритва Оккама» [P.Grice 1978]: при интерпретации смыслы выражения не должны множиться больше необходимости. В частности, множество контекстнообусловленных значений («суппозиций») слов в предложении должно быть ровно в той степени широким, какая определяется необходимостью интерпретации; выход за пределы минимума допускается только тогда, когда предложению трудно иначе приписать осмысленную интерпретацию.
Принцип идентифицируемости [K.Stenning 1980] может рассматриваться как связанный с предыдущими двумя; он формулируется так: к интерпретации целого, по мере поступления новых языковых выражений, необходимо добавлять такой минимум, который логически не противоречит самому высказыванию. Аналогичен этому принципу, не обращен на контекст, «принцип локальной интерпретации»: интерпретатор не должен конструировать (а точнее, оценивать) контекст более крупный, чем тот, который ему необходим для получения какой-либо интерпретации. Так, если Джону говорят: Закрой дверь, – то он поймет, что речь идет о ближайшей двери, а не о той, которая находится в соседнем доме на третьем этаже. Такой принцип можно в райках ОЕЯ связать с требованием о минимальной работе анализатора.
Принцип аналогии [Ц.Dahl 1976], взятый с точки зрения интерпретатора, может быть сформулирован так: имей в виду, что говорящий стремится упоминать только те вещи, которые изменились, а о тех, которые остаюсь без изменения, обычно умалчивает.
Наконец, «принцип обычности» можно сформулировать так: если нет никаких для этого оснований, не подозревай, что у интерпретируемых слов имеется какой-либо еще дополнительный, скрытый смысл.

Вычислительная лингвистика
Что же такое «теория лингвистических вычислений»? Это дисциплина, занимающаяся коммуникативными процессами в наиболее абстрактном виде. В ее функции входит установление общего вида и общих принципов построения процессоров естественного языка, доказательство теорем относительно равносильности или неравносильности двух различных формальных грамматик одного и того же языка и т.п. Видимо, именно к теории лингвистических вычислений относится круг задач, традиционно относимый к ведению математической лингвистики, а также к моделированию общения с ЭВМ на естественном языке. Другая же часть теории лингвистических вычислений связана с наиболее глубинными процессами обработки информации человеком и их моделированием на ЭВМ.
Предметом «вычислительной лингвистики» является разработка и применение систем обработки естественного языка в качестве части более крупных систем, например, промышленных информационно-поисковых систем. Задача таких систем – поиск информации в базе данных и автоматическое пополнение базы данных. Другое, смежное направление – построение систем, решающих задачи, сформулированные на естественном языке.
К информационным задачам вычислительной лингвистики относятся:
1. Автоматическое установление по конкретному тексту тех правил и единиц данного языка, которые участвовали в построении этого текста (при этом соответствующая система использует свою базу данных о грамматике и единицах языка). В расширенной формулировке речь здесь идет о том, чтобы установить по конкретному образцу речи (тексту) все те законы логического вывода (в широком смысле) и все те аксиомы («элементарные пропозиции»), которые придают речи осмысленность и делают ее правильным текстом на данном языке.
2. Установление информационных связей, которые имеются между двумя образцами текстов (например, между запросом к информационной системе и информацией, хранимой в системе, или информацией, заданной в виде текста). Так, в запросе может содержаться задание выяснить, описывается ли в тексте искомое приспособление для выполнения конкретных работ.
В обоих случаях требуется установить связи между различными образцами речи. Решение этой задачи связано с представлением и использованием знаний при оперировании речью. Каково же место вычислительной лингвистики в «искусственном интеллекте»?
Р. Шенк указывает, что вычислительная лингвистика – это «проблема наделения машин способностью общаться с человеком на естественном языке. Наш метод состоит в том, чтобы попытаться понять, как люди общаются друг с другом, и исследовать эти процессы». Н. Черконе пишет: «Вычислительная лингвистика должна построить общую теорию понимания естественного языка в качестве основы для таких программ ЭВМ, которые понимают естественный язык».
По мнению Томпсона, теоретическая вычислительная лингвистика представляет собой попытку охарактеризовать природу языка с точки зрения «лингвистических вычислений» – процедур над речью, аналогичных тем, которые выполняются по ходу собственно вычислительных работ. В американской вычислительной лингвистике на сегодняшний день было предложено несколько концепций теоретической вычислительной лингвистики: «функциональная грамматика» М.Кея [M.Kay 1979], «когнитивная грамматика» [Lakoff, Thompson 1975], «лексическая функциональная грамматика» [J.Bresnan ed. 1982] и др.

Обработка естественного языка (ОЕЯ)

 

Область построения систем, обрабатывающих (или «перерабатыващих») естественный язык, точнее было бы назвать переработкой речи (текстов) на естественных языках. Эта область, в том виде, какой она приобрела в последние годы, занята построением и проверкой концепций (и технических их воплощений) общения с ЭВМ на естественном языке. В частности, сюда относится задача построения таких программ для ЭВМ, которые позволяют организовать диалог с ЭВМ. В отличие от задачи «распознавания устной речи», где решается проблема акустического распознавания сигналов, ОЕЯ занимается операциями более абстрактного, более символического порядка: операциями над значениями и логическим выводом, необходимыми для распознавания речи.
Объектом ОЕЯ обычно считается текст. В системе же, претендующей на перспективность, ставится задача не просто распознать этот текст, а выяснить те обычно скрытые движущие силы, которые его сформировали. Напомним, что текст в его становлении называют дискурсом.
Система обработки текста, по Фридману, решает две проблемы: 1) выясняет истоки информации, из которой «композиционным» путем может быть выведена конкретная семантическая информация для каждого отдельного предложения текста (т.е. выявляет семантику предложения исходя из структуры целого текста), и 2) устанавливает роль и функции этой информации высокого порядка в рамках целого дискурса.
Вообще говоря, система ОЕЯ должна: а) планировать высказывания, необходимые для достижения конкретных коммуникативных целей, что находится в зависимости от знаний, мнений и намерений пользователей такой системы, и б) распознавать в высказываниях пользователя те планы, которые могут быть сообщены в результате нескольких высказываний или которые, по замыслу пользователя, могут быть логически выведены из презумпций общающихся сторон (человека и ЭВМ). Один из возможных путей достижения этого – следующий цикл:
1. Рассмотреть текущее высказывание (предложение).
2. Основываясь на наклонении этого предложения (повествовательное, вопросительное, повелительное), приписать эффект высказывания намерению пользователя.
3. Используя алгоритмы распознавания, а также базу общих презумпций, вывести, если это возможно, каким образом наблюдаемые действия укладываются в план достижения цели, которую, как ожидается, преследует пользователь. Если этот план не может быть однозначно выявлен, выработать цель системы, направленную на вскрытие цели пользователя.
4. Выработать задачи системы для тех целей, которые пользователь намеревался активизировать в системе.
5. Используя частные (т.е. не общие) презумпции, определить препятствия, которые могут помешать осуществлению планов пользователя, а также пункты, в которых пользователю потребуется помощь.
6. Принять отрицания для некоторых из препятствий в качестве целей системы.
7. Пользуясь частными презумпциями, построить план достижений целей системы, особенно целей для преодоления препятствий для пользователя. В зависимости от этих целей план может включать в себя такие коммуникативные действия, как вопросы, проясняющие намерения пользователя.
8. Выполнить результирующую последовательность действий.
9. Перейти к пункту 1.
Разумеется, этот цикл не обладает статусом идеала: это скорее пример того, в каких терминах могут формулироваться общие планы построения системы обработки естественного языка. Более узко ставится проблема в том направлении, которое связано с именем Р.Шенка: 1) отображение предложений в их смысловое представление; 2) хранение в памяти и осуществление умозаключений относительно полученного смысла; 3) перевод смыслового представления на естественный язык. Основные режимы работы в этом направлении – перифразирование и умозаключение.
Необходимо учитывать то, что ОЕЯ с помощью ЭВМ («искусственная ОЕЯ») отлична от ОЕЯ человеком (т.е. «естественной ОЕЯ») в следующих отношениях:
а) последняя не может ограничиться анализом и синтезом вне контекста ситуации во всех ее деталях;
б) последняя не только преодолевает неоднозначности естественного языка, но и эксплуатирует их в своих целях.
Языковой процессор, разрабатываемый коллективом Р.Шенка, функционируя в интерактивном режиме, должен находить наиболее вероятную для данного предложения интерпретацию, а не просто выявлять все возможные способы истолкования предложений: человек обычно не замечает тех неоднозначностей в тексте, которые чересчур скрупулезная система обработки естественного языка способна, в принципе, выявить. Анализ происходит пословно, от начала к концу предложения, в результате однократного, а не многократного «прохода» по предложению: обычно же число проходов достигает пяти. Кроме того, система обработки естественного языка обладает знаниями о мире в той мере, какая необходима для решения проблем анализа.
Система ОЕЯ, разумеется, – не самоцель. Ее задачи упорядочены и определяют «уровни ОЕЯ». Так, неязыковым целям подчинены процедуры, направляющие любой вид ОЕЯ; этим процедурам, в свою очередь, подчинен уровень речевых актов (при интерпретации или порождении отдельных высказываний). Самый низкий уровень составляют процедуры собственно языковой обработки (языковой анализ).
Общими для предложенных систем ОЕЯ являются следующие компоненты: ЕЯ -> ФР -> ИНТ -> СОД -> БД. А именно, естественно-языковой вход (ЕЯ) переводится в форму репрезентации (ФР) знаний; интерпретатор (ИНТ) устанавливает связь между репрезентацией для положений дел в (ФР) и, посредством языка системы обработки данных (СОД), банком данных (БД). В рамках этих систем операции, связанные с обработкой текста («лингвистические вычисления» обладают различными свойствами; анализ проведенных на сегодняшний день разработок показывает скорее не то, в чем они состоят, а то, чем эти операции не являются: они работают не исключительно аддитивно, не исключительно одна за другой (последовательно), не исключительно на микроуровне и не статистическим образом.

 

История ОЕЯ

Предыстория ОЕЯ определена многими факторами, из которых можно выделить в особенности два: 1) попытки моделирования нейронов в виде логического устройства, связанные с именами МакКаллоу и Питтса; 2) зарождение «информационной» парадигмы – взгляда на числа и на текст как на то, что представляет общее понятие «информации» (Шеннон), обладающее количественными характеристиками, со всеми вытекающими последствиями для математической теории информации. Понятие «информативность» принадлежит указанной парадигме.
Собственно же историю ОЕЯ иногда представляют как состоящую из трех этапов:
1. Начало 1950-х – начало 1960-х годов. Идея «информации» привела к концепции «машинного перевода» как установления той информации, которая скрыта за предложением на естественном языке, и выражения ее на другом – целевом языке. Язык информационного содержания был назван «языком-посредником». На этом этапе была введена и идея эвристического поиска, а также языка программирования для решения задач ОЕЯ (наиболее популярным языком, начиная с этого времени, был ЛИСП, введенный и описанный впервые в работе.
2. «Эпоха обработки семантической информации» (примерно 1962-1973 гг.). Ее основные идеи: а) необходимо использовать ограниченные содержательные области для моделирования ОЕЯ; б) следует построить как можно больше систем для обработки ограниченных подъязыков, присвоив этим системам статус «экспертов» в таких областях, а затем объединить все эти системы в одну, в рамках «крупного эксперта», определяющего, какой из подчиненных должен начать работать на конкретном этапе обработки, при решении конкретной задачи – концепция «крупного переключения»; в) использование «ключевых слов», управляющих выбором конкретных действий по ходу обработки текста; г) перевод естественного языка на формальные языки (некоторые из формальных языков при этом обладают собственными исчислениями, типа исчисления предикатов формальной логики; имеются языки поиска в базе данных. Эту эпоху иногда называют эрой «инженерного подхода»: основной упор делался на решение конкретных (как правило, прикладных) задач, без попытки моделировать психологическую реальность.
Начало 1970-х годов ознаменовалось интересом к обработке семантической информации; появились даже первые ростки интереса ж «когнитивной науке» (названной в те же годы «когитологией»).
В результате исследований этой «эпохи» выяснилось: а) даже в очень простых ситуациях (использование языка гораздо более разнопланово, чем можно было бы ожидать; б) специализация той или иной системы ОЕЯ и перспектива расширения этой системы находятся в серьезном конфликте между собой; в) репрезентации для языковых выражений, используемые в рамках таких систем (скажем, формальные языки), весьма неточны и неадекватны выразительным способностям естественного языка; г) приходится поступиться очень многими типами выражений, реально используемых на естественном языке (в частности, выражениями для физических событий и действий, описаниями сцен, карт, путей, предписаниями; реальными разговорами, спорами, дебатами, обсуждениями, эмоционально окрашенными высказываниями и высказываниями об эмоциональных состояниях; метаописаниями теорий; поэтическим языком, юмором, иронией, ложью и т.п. – т.е. всем, что требует гораздо более богатого метаязыка, чем тот, который могут на сегодняшний день предоставить в наше распоряжение существующие нотации логики).
3. Современная эпоха (1970-1995 гг.). В это время в центре внимания находятся следующие проблемы: а) соотнесенность речевых актов, фокусов внимания и общих (для ЭВМ и человека) презумпций; б) использование «новаторского» потенциала языка (в частности, интерпретация метафор); в) постройте прикладных систем, понимающих естественный язык (а не просто его обрабатывающих), г) обработка высказываний о пространственных событиях; д) введение факторов «здравого смысла» в состав логического вывода систем ОЕЯ, в частности, учет степени правдоподобности при интерпретировании высказываний.

Система, «понимающая» естественный язык

Смоделировать понимание и обработку естественного языка – это не одно и то же. Так, мы можем (не понимая полностью или частично) манипулировать символами, повторить сказанное на чужом (и непонятном нам) языке и т.п. Все это, пусть огрубление, соответствует ситуации ОЕЯ без понимания. С другой стороны, сам факт того, что мы нечто понимаем, равносилен тому, что мы над выражением производим определенные лингвистические операции. Таким образом, понимание естественного языка – специальный случай ОЕЯ. Многие из построенных систем ОЕЯ не понимают естественного языка в том смысле, который разумно вкладывать в термин «понимание».
Прежде всего, не все такие системы обладают целенаправленностью: выработка собственных целей, планирование, воплощение стратегий в виде тех или иных тактических приемов, «прослеживание» результатов этих приемов и предсказание (предвидение) дальнейших результатов – все это пока еще не более чем проект хорошей системы ОЕЯ. Так, система SHRDLU обладает системой планирования, но цели в ней достигаются не посредством высказываний; и кроме того, эта система не в состоянии распознавать цели человека: в диалоге с ЭВМ именно человек обладает инициативой. Несколько более замаскировано отсутствие целенаправленности в системах ЭЛИЗА и ДОКТОР. Только сравнительно недавно целенаправленность и моделирование намерений вошли в круг интересов разработчиков ОЕЯ.
Другое временное упущение: понять новое высказывание в диалоге или в тексте – значит, кроме прочего, связать его с тем, что было сказано раньше. В системах «искусственного интеллекта» эта задача решается, в основном, опосредованно, в два шага:
1) сначала, на основании протокола анализа предшествующего диалога или текста, активируются «фреймы», или «скрипты» (т.е., неформально говоря, те схемы из базы знаний, в которые можно уложить поступившую новую информацию), а затем
2) новое, текущее сообщение сопоставляется с этими схемами (но не с предшествующими предложениями непосредственно).
В результате, в частности, упускается такая возможность, реально используемая на самом деле в общении между людьми, как «ловля на слове», непоследовательность в употреблении терминов и т.п.
Третье отличие состоит в слабой реализованности влияния контекста непосредственно на направление работы анализатора. Так, в большинство систем ОЕЯ имеется две отдельные подсистемы: а) анализатор («парзер») перерабатывает входной текст в некоторую промежуточную форму (на язык синтаксических деревьев – как в системах типа, на упрощенный естественный язык – как в работе или на язык понятийных примитивов – как у Шенка), а затем б) подсистема логического вывода строит репрезентацию для значения входного текста (посредством заполнения недостающих деталей в репрезентации, полученной на выходе из анализатора); тогда включаются те неупомянутые события, которые связывают в единое целое факты, упоминаемые в тексте. Часто представленные другие компоненты (система ответа на вопросы и система построения аннотации к статье) скорее демонстрируют достигнутость понимания, чем являются частью процесса понимания. Назначение промежуточного представления для значения текста всегда одно и то же: защитить систему логического вывода от «капризов» естественного языка. Однако эта направленность не выдержана последовательно: логический вывод всегда бывает при этом связан с дополнительным анализом – на основе теперь уже промежуточной репрезентации. Но на работе анализатора никак не сказывается (в названных системах) то, к каким выводам придет система логического вывода. Попытка восполнить это упущение сделана разработчиками системы FRUMP, где знания о мире отделены от чисто языковых сведений, не где, тем не менее, контекстная информация влияет на процесс анализа, В этой системе содержатся, среди прочего, два модуля: Предсказыватель (предсказывает ограничения на то, что может дальше появиться в тексте) и Выяснитель (верифицирует эти гипотезы Предсказывателя). Однако эта система находится в стадии проектирования.
Другой вид проблем: отношение между синтаксисом и семантикой в рамках анализа предложения. Имеем здесь, как минимум, три возможности:
1) при переходе от предложения к представлению его значения сначала полностью восстанавливается синтаксическая структура предложения; на втором же этапе эта структура переводится в семантическое представление;
2) между синтаксисом и семантикой нет никаких барьеров, семантическая структура получается прямо, исходя из текстового вида предложения;
3) построение частичных синтаксических репрезентаций перемежается установлением частичных же семантических репрезентаций (т.е. синтаксис и семантика различаются, не в анализа взаимодействуют не прямолинейным образом). Третье решение является компромиссным между первыми двумя; в особенности оно удовлетворяет противников последовательного анализа, которые считают, что при ОЕЯ необходимо допускать возможность той ситуации, когда различные типы информации и процедур вызываются более одного раза на различных этапах обработки входного выражения.
В обобщенном виде компромиссный подход может быть охарактеризован как «модульная концепция ОЕЯ». Одно из достоинств этого подхода – организационное упрощение: можно разделить всю задачу на несколько подзадач, которые поручаются разным исследователям или группам исследователей; получаемые же в результате «модули» работают во взаимодействии друг с другом, но не «вмешиваясь» во внутреннюю технику операций друг друга.
Несомненно, переработка естественного языка в целях создания лингвистического обеспечения искусственного интеллекта представляет собой процесс, сложность которого трудно переоценить. Попытки создать «естественный язык для искусственного интеллекта» предпринимаются снова и снова, так что представляется вполне возможным, что в ближайшем будущем появится система языка для искусственного разума, идентичная естественной.

Заключение
Последние 20 лет в центре внимания разработчиков искусственного интеллекта находится вопрос о моделировании той деятельности человека, результатом которой является речь.
Описание процессов получения, переработки, хранения и передачи информации затрудняется тем, что данные процессы происходят в мозге человека и недоступны для непосредственного исследования.
Высказывается мнение, что, изучая процесс обработки языка в мозге человека, исследователь мысленно прослеживает тот путь, который проходит этот человек, воспринимая и интерпретируя какой-либо текст.
Исследования процессов обработки языка непосредственно связаны с прикладными задачами. На их основе разрабатываются модели лингвистического обеспечения искусственного интеллекта.
В данной работе я не стала останавливаться на всех методиках анализа и обработки естественного языка, так как вопрос лингвистического обеспечения искусственного интеллекта весьма обширен. По той же причине в предложенном подходе были рассмотрены исключительно общие положения и некоторые примеры к ним. Был затронут только синтаксический подход, кроме которого существует также, например, морфологический и лексический.

Использованная литература:
1.                Демьянков В.З. Основы теории интерпретации и ее приложения в вычислительной лингвистике, М.: Изд-во Моск. ун-та, 1985
2.                Краткий словарь когнитивных терминов, М.: Филологический факультет МГУ им. М.В. Ломоносова, 1996
3.                Мышление, когнитивные науки, искусственнный интеллек,т М.: Центральный совет философских (методологических) семинаров при Президиуме АН СССР, 1988.