Курсовая на тему Компьютерная лингвистика
Работа добавлена на сайт bukvasha.net: 2014-12-11Поможем написать учебную работу
Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
от 25%
Подписываем
договор
КУРСОВАЯ РАБОТА
по дисциплине «Информатика»
по теме: «Компьютерная лингвистика»
Содержание
ВВЕДЕНИЕ
1. Место и роль компьютерной лингвистики в лингвистических исследованиях
2. Современные интерфейсы компьютерной лингвистики
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА
Введение
В жизни современного общества важную роль играют автоматизированные информационные технологии. С течением времени их значение непрерывно возрастает. Но развитие информационных технологий происходит весьма неравномерно: если современный уровень вычислительной техники и средств связи поражает воображение, то в области смысловой обработки информации успехи значительно скромнее. Эти успехи зависят, прежде всего, от достижений в изучении процессов человеческого мышления, процессов речевого общения между людьми и от умения моделировать эти процессы на ЭВМ.
Когда речь идет о создании перспективных информационных технологий, то проблемы автоматической обработки текстовой информации, представленной на естественных языках, выступают на передний план. Это определяется тем, что мышление человека тесно связано с его языком. Более того, естественный язык является инструментом мышления. Он является также универсальным средством общения между людьми – средством восприятия, накопления, хранения, обработки и передачи информации. Проблемами использования естественного языка в системах автоматической обработки информации занимается наука компьютерная лингвистика. Эта наука возникла сравнительно недавно – на рубеже пятидесятых и шестидесятых годов прошлого столетия. За прошедшие полвека в области компьютерной лингвистики были получены значительные научные и практические результаты: были созданы системы машинного перевода текстов с одних естественных языков на другие, системы автоматизированного поиска информации в текстах, системы автоматического анализа и синтеза устной речи и многие другие. Данная работа посвящена построению оптимального компьютерного интерфейса средствами компьютерной лингвистики при проведении лингвистических исследований.
1. Место и роль компьютерной лингвистики в лингвистических исследованиях
В современном мире при проведении различных лингвистических исследований все более активно используется компьютерная лингвистика.
Компьютерная лингвистика – это область знаний, связанная c решением задач автоматической обработки информации, представленной на естественном языке. Центральными научными проблемами компьютерной лингвистики являются проблема моделирования процесса понимания смысла текстов (перехода от текста к формализованному представлению его смысла) и проблема синтеза речи (перехода от формализованного представления смысла к текстам на естественном языке). Эти проблемы возникают при решении ряда прикладных задач и, в частности, задач автоматического обнаружения и исправления ошибок при вводе текстов в ЭВМ, автоматического анализа и синтеза устной речи, автоматического перевода текстов с одних языков на другие, общения с ЭВМ на естественном языке, автоматической классификации и индексирования текстовых документов, их автоматического реферирования, поиска документов в полнотекстовых базах данных.
Лингвистические средства, создаваемые и применяемые в компьютерной лингвистике, можно условно разделить на две части: декларативную и процедурную. К декларативной части относятся словари единиц языка и речи, тексты и различного рода грамматические таблицы, к процедурной части – средства манипулирования единицами языка и речи, текстами и грамматическими таблицами. Компьютерный интерфейс относится к процедурной части компьютерной лингвистики.
Успех в решении прикладных задач компьютерной лингвистики зависит, прежде всего, от полноты и точности представления в памяти ЭВМ декларативных средств и от качества процедурных средств. На сегодняшний день необходимый уровень решения этих задач пока еще не достигнут, хотя работы в области компьютерной лингвистики ведутся во всех развитых странах мира (Россия, США, Англия, Франция, Германия, Япония и др.).
Тем не менее, можно отметить серьезные научные и практические достижения в области компьютерной лингвистики. Так в ряде стран(Россия, США, Япония, и др.) построены экспериментальные и промышленные системы машинного перевода текстов с одних языков на другие, построен ряд экспериментальных систем общения с ЭВМ на естественном языке, ведутся работы по созданию терминологических банков данных, тезаурусов, двуязычных и многоязычных машинных словарей (Россия, США, Германия, Франция и др.), строятся системы автоматического анализа и синтеза устной речи (Россия, США, Япония и др.), ведутся исследования в области построения моделей естественных языков.
Важной методологической проблемой прикладной компьютерной лингвистики является правильная оценка необходимого соотношения между декларативной и процедурной компонентами систем автоматической обработки текстовой информации. Чему отдать предпочтение: мощным вычислительным процедурам, опирающимся на относительно небольшие словарные системы с богатой грамматической и семантической информацией, или мощной декларативной компоненте при относительно простых компьютерных интерфейсах? Большинство ученых считают что, второй путь предпочтительнее. Он быстрее приведет к достижению практических целей, так как при этом меньше встретится тупиков и трудно преодолимых препятствий и здесь можно будет в более широких масштабах использовать ЭВМ для автоматизации исследований и разработок.
Необходимость мобилизации усилий, прежде всего, на развитии декларативной компоненты систем автоматической обработки текстовой информации подтверждается полувековым опытом развития компьютерной лингвистики. Ведь здесь, несмотря на бесспорные успехи этой науки, увлечение алгоритмическими процедурами не принесло ожидаемого успеха. Наступило даже некоторое разочарование в возможностях процедурных средств.
В свете вышеизложенного, представляется перспективным такой путь развития компьютерной лингвистики, когда основные усилия будут направлены на создание мощных словарей единиц языка и речи, изучение их семантико-синтаксической структуры и на создание базовых процедур морфологического, семантико-синтаксического и концептуального анализа и синтеза текстов. Это позволит в дальнейшем решать широкий спектр прикладных задач.
Перед компьютерной лингвистикой стоят, прежде всего, задачи лингвистического обеспечения процессов сбора, накопления, обработки и поиска информации. Наиболее важными из них являются:
1. Автоматизация составления и лингвистической обработки машинных словарей;
2. Автоматизация процессов обнаружения и исправления ошибок при вводе текстов в ЭВМ;
3. Автоматическое индексирование документов и информационных запросов;
4. Автоматическая классификация и реферирование документов;
5. Лингвистическое обеспечение процессов поиска информации в одноязычных и многоязычных базах данных;
6. Машинный перевод текстов с одних естественных языков на другие;
7. Построение лингвистических процессоров, обеспечивающих общение пользователей с автоматизированными интеллектуальными информационными системами (в частности, с экспертными системами) на естественном языке, или на языке, близком к естественному;
8. Извлечение фактографической информации из неформализованных текстов.
Подробно остановимся на проблемах, наиболее относящихся к теме исследования.
В практической деятельности информационных центров есть необходимость решения задачи автоматизированного обнаружения и исправления ошибок в текстах при их вводе в ЭВМ. Эта комплексная задача может быть условно расчленена на три задачи – задачи орфографического, синтаксического и семантического контроля текстов. Первая из них может быть решена с помощью процедуры морфологического анализа, использующей достаточно мощный эталонный машинный словарь основ слов. В процессе орфографического контроля слова текста подвергаются морфологическому анализу, и если их основы отождествляются с основами эталонного словаря, то они считаются правильными; если не отождествляются, то они в сопровождении микроконтекста выдаются на просмотр человеку. Человек обнаруживает и исправляет искаженные слова, а соответствующая программная система вносит эти исправления в корректируемый текст.
Задача синтаксического контроля текстов с целью обнаружения в них ошибок существенно сложнее задачи их орфографического контроля. Во-первых, потому, что она включает в свой состав и задачу орфографического контроля как свою обязательную компоненту, а, во-вторых, потому, что проблема синтаксического анализа неформализованных текстов в полном объеме еще не решена. Тем не менее, частичный синтаксический контроль текстов вполне возможен. Здесь можно идти двумя путями: либо составлять достаточно представительные машинные словари эталонных синтаксических структур и сравнивать с ними синтаксические структуры анализируемого текста; либо разрабатывать сложную систему правил проверки грамматической согласованности элементов текста. Первый путь нам представляется более перспективным, хотя он, конечно, не исключает и возможности применения элементов второго пути. Синтаксическая структура текстов должна описываться в терминах грамматических классов слов (точнее – в виде последовательностей наборов грамматической информации к словам).
Задачу семантического контроля текстов с целью обнаружения в них смысловых ошибок следует отнести к классу задач искусственного интеллекта. В полном объеме она может быть решена только на основе моделирования процессов человеческого мышления. При этом, по-видимому, придется создавать мощные энциклопедические базы знаний и программные средства манипулирования знаниями. Тем не менее, для ограниченных предметных областей и для формализованной информации эта задача вполне разрешима. Она должна ставиться и решаться как задача семантико-синтаксического контроля текстов.
Проблема автоматизации индексирования документов и запросов является традиционной для систем автоматизированного поиска текстовой информации. Поначалу под индексированием понимали процесс присвоения документам и запросам классификационных индексов, отражающих их тематическое содержание. В дальнейшем это понятие трансформировалось и термином «индексирование» стали называть процесс перевода описаний документов и запросов с естественного языка на формализованный, в частности, на язык «поисковых образов». Поисковые образы документов стали, как правило, оформляться в виде перечней ключевых слов и словосочетаний, отражающих их тематическое содержание, а поисковые образы запросов – в виде логических конструкций, в которых ключевые слова и словосочетания соединялись друг с другом логическими и синтаксическими операторами.
Автоматическое индексирование документов удобно проводить по текстам их рефератов (если они имеются), поскольку в рефератах основное содержание документов отражается в концентрированном виде. Индексирование может проводиться с контролем по тезаурусу или без контроля. В первом случае в тексте заголовка документа и его реферата ищутся ключевые слова и словосочетания эталонного машинного словаря и в ПОД включаются только те из них, которые нашлись в словаре. Во втором случае ключевые слова и словосочетания выделяются из текста и включаются в ПОД независимо от их принадлежности к какому-либо эталонному словарю. Был реализован еще и третий вариант, где наряду с терминами из машинного тезауруса в ПОД включались еще и термины, выделенные из заголовка и первого предложения реферата документа. Эксперименты показали, что ПОДы, составленные в автоматическом режиме по заголовкам и рефератам документов, обеспечивают большую полноту поиска, чем ПОДы, составленные вручную. Объясняется это тем, что система автоматического индексирования более полно отражает различные аспекты содержания документов, чем система ручного индексирования.
При автоматическом индексировании запросов возникают примерно те же проблемы, что и при автоматическом индексировании документов. Здесь также приходится выделять ключевые слова и словосочетания из текста и нормализовать слова, входящие в текст запроса. Логические связки между ключевыми словами и словосочетаниями и контекстуальные операторы могут проставляться вручную или с помощью автоматизированной процедуры. Важным элементом процесса автоматического индексирования запроса является дополнение входящих в его состав ключевых слов и словосочетаний их синонимами и гипонимами (иногда также гиперонимами и другими терминами, ассоциированными с исходными терминами запроса). Это может быть сделано в автоматическом или в интерактивном режиме с помощью машинного тезауруса.
Проблему автоматизации поиска документальной информации мы уже частично рассматривали в связи с задачей автоматического индексирования. Наиболее перспективным здесь является поиск документов по их полным текстам, так как использование для этой цели всякого рода заменителей (библиографических описаний, поисковых образов документов и текстов их рефератов) приводит к потерям информации при поиске. Наибольшие потери имеют место тогда, когда в качестве заменителей первичных документов используются их библиографические описания, наименьшие – при использовании рефератов.
Важными характеристиками качества поиска информации являются его полнота и точность. Полнота поиска может быть обеспечена путем максимального учета парадигматических связей между единицами языка и речи (словами и словосочетаниями), а точность – путем учета их синтагматических связей. Существует мнение, что полнота и точность поиска находятся в обратной зависимости: меры по улучшению одной из этих характеристик приводят к ухудшению другой. Но это справедливо только для фиксированной логики поиска. Если эту логику совершенствовать, то обе характеристики могут улучшаться одновременно.
Процесс поиска информации в полнотекстовых базах данных целесообразно строить как процесс диалогового общения пользователя с информационно-поисковой системой (ИПС), при котором он последовательно просматривает фрагменты текстов (абзацы, параграфы), удовлетворяющие логическим условиям запроса, и отбирает те из них, которые для него представляют интерес. В качестве окончательных результатов поиска могут выдаваться как полные тексты документов, так и любые их фрагменты.
Как видно из предыдущих рассуждений, при автоматическом поиске информации приходится преодолевать языковый барьер, возникающий между пользователем и ИПС в связи с имеющим место в текстах разнообразием форм представления одного и того же смысла. Этот барьер становится еще более значительным, если поиск приходится вести в разноязычных базах данных. Кардинальным решением проблемы здесь может быть машинный перевод текстов документов с одних языков на другие. Это можно делать либо заранее, перед загрузкой документов в поисковую систему, либо в процессе поиска информации. В последнем случае запрос пользователя должен переводиться на язык массива документов, в котором ведется поиск, а результаты поиска – на язык запроса. Такого рода поисковые системы уже работают в системе Internet. В ВИНИТИ РАН была также построена система Cyrillic Browser, которая позволяет производить поиск информации в русскоязычных текстах по запросам на английском языке с выдачей результатов поиска также на языке пользователя.
Важной и перспективной задачей компьютерной лингвистики является построение лингвистических процессоров, обеспечивающих общение пользователей с интеллектуальными автоматизированными информационными системами (в частности с экспертными системами) на естественном языке или на языке, близком к естественному. Поскольку в современных интеллектуальных системах информация хранится в формализованном виде, то лингвистические процессоры, выполняя роль посредников между человеком и ЭВМ, должны решать следующие основные задачи: 1) задачу перехода от текстов входных информационных запросов и сообщений на естественном языке к представлению их смысла на формализованном языке (при вводе информации в ЭВМ); 2) задачу перехода от формализованного представления смысла выходных сообщений к его представлению на естественном языке (при выдаче информации человеку). Первая задача должна решаться путем морфологического, синтаксического и концептуального анализа входных запросов и сообщений, вторая – путем концептуального, синтаксического и морфологического синтеза выходных сообщений.
Концептуальный анализ информационных запросов и сообщений состоит в выявлении их понятийной структуры (границ наименований понятий и отношений между понятиями в тексте) и переводе этой структуры на формализованный язык. Он проводится после морфологического и синтаксического анализа запросов и сообщений. Концептуальный синтез сообщений состоит в переходе от представления элементов их структуры на формализованном языке к вербальному (словесному) представлению. После этого сообщениям дается необходимое синтаксическое и морфологическое оформление.
по дисциплине «Информатика»
по теме: «Компьютерная лингвистика»
Содержание
ВВЕДЕНИЕ
1. Место и роль компьютерной лингвистики в лингвистических исследованиях
2. Современные интерфейсы компьютерной лингвистики
ЗАКЛЮЧЕНИЕ
ЛИТЕРАТУРА
Введение
В жизни современного общества важную роль играют автоматизированные информационные технологии. С течением времени их значение непрерывно возрастает. Но развитие информационных технологий происходит весьма неравномерно: если современный уровень вычислительной техники и средств связи поражает воображение, то в области смысловой обработки информации успехи значительно скромнее. Эти успехи зависят, прежде всего, от достижений в изучении процессов человеческого мышления, процессов речевого общения между людьми и от умения моделировать эти процессы на ЭВМ.
Когда речь идет о создании перспективных информационных технологий, то проблемы автоматической обработки текстовой информации, представленной на естественных языках, выступают на передний план. Это определяется тем, что мышление человека тесно связано с его языком. Более того, естественный язык является инструментом мышления. Он является также универсальным средством общения между людьми – средством восприятия, накопления, хранения, обработки и передачи информации. Проблемами использования естественного языка в системах автоматической обработки информации занимается наука компьютерная лингвистика. Эта наука возникла сравнительно недавно – на рубеже пятидесятых и шестидесятых годов прошлого столетия. За прошедшие полвека в области компьютерной лингвистики были получены значительные научные и практические результаты: были созданы системы машинного перевода текстов с одних естественных языков на другие, системы автоматизированного поиска информации в текстах, системы автоматического анализа и синтеза устной речи и многие другие. Данная работа посвящена построению оптимального компьютерного интерфейса средствами компьютерной лингвистики при проведении лингвистических исследований.
1. Место и роль компьютерной лингвистики в лингвистических исследованиях
В современном мире при проведении различных лингвистических исследований все более активно используется компьютерная лингвистика.
Компьютерная лингвистика – это область знаний, связанная c решением задач автоматической обработки информации, представленной на естественном языке. Центральными научными проблемами компьютерной лингвистики являются проблема моделирования процесса понимания смысла текстов (перехода от текста к формализованному представлению его смысла) и проблема синтеза речи (перехода от формализованного представления смысла к текстам на естественном языке). Эти проблемы возникают при решении ряда прикладных задач и, в частности, задач автоматического обнаружения и исправления ошибок при вводе текстов в ЭВМ, автоматического анализа и синтеза устной речи, автоматического перевода текстов с одних языков на другие, общения с ЭВМ на естественном языке, автоматической классификации и индексирования текстовых документов, их автоматического реферирования, поиска документов в полнотекстовых базах данных.
Лингвистические средства, создаваемые и применяемые в компьютерной лингвистике, можно условно разделить на две части: декларативную и процедурную. К декларативной части относятся словари единиц языка и речи, тексты и различного рода грамматические таблицы, к процедурной части – средства манипулирования единицами языка и речи, текстами и грамматическими таблицами. Компьютерный интерфейс относится к процедурной части компьютерной лингвистики.
Успех в решении прикладных задач компьютерной лингвистики зависит, прежде всего, от полноты и точности представления в памяти ЭВМ декларативных средств и от качества процедурных средств. На сегодняшний день необходимый уровень решения этих задач пока еще не достигнут, хотя работы в области компьютерной лингвистики ведутся во всех развитых странах мира (Россия, США, Англия, Франция, Германия, Япония и др.).
Тем не менее, можно отметить серьезные научные и практические достижения в области компьютерной лингвистики. Так в ряде стран(Россия, США, Япония, и др.) построены экспериментальные и промышленные системы машинного перевода текстов с одних языков на другие, построен ряд экспериментальных систем общения с ЭВМ на естественном языке, ведутся работы по созданию терминологических банков данных, тезаурусов, двуязычных и многоязычных машинных словарей (Россия, США, Германия, Франция и др.), строятся системы автоматического анализа и синтеза устной речи (Россия, США, Япония и др.), ведутся исследования в области построения моделей естественных языков.
Важной методологической проблемой прикладной компьютерной лингвистики является правильная оценка необходимого соотношения между декларативной и процедурной компонентами систем автоматической обработки текстовой информации. Чему отдать предпочтение: мощным вычислительным процедурам, опирающимся на относительно небольшие словарные системы с богатой грамматической и семантической информацией, или мощной декларативной компоненте при относительно простых компьютерных интерфейсах? Большинство ученых считают что, второй путь предпочтительнее. Он быстрее приведет к достижению практических целей, так как при этом меньше встретится тупиков и трудно преодолимых препятствий и здесь можно будет в более широких масштабах использовать ЭВМ для автоматизации исследований и разработок.
Необходимость мобилизации усилий, прежде всего, на развитии декларативной компоненты систем автоматической обработки текстовой информации подтверждается полувековым опытом развития компьютерной лингвистики. Ведь здесь, несмотря на бесспорные успехи этой науки, увлечение алгоритмическими процедурами не принесло ожидаемого успеха. Наступило даже некоторое разочарование в возможностях процедурных средств.
В свете вышеизложенного, представляется перспективным такой путь развития компьютерной лингвистики, когда основные усилия будут направлены на создание мощных словарей единиц языка и речи, изучение их семантико-синтаксической структуры и на создание базовых процедур морфологического, семантико-синтаксического и концептуального анализа и синтеза текстов. Это позволит в дальнейшем решать широкий спектр прикладных задач.
Перед компьютерной лингвистикой стоят, прежде всего, задачи лингвистического обеспечения процессов сбора, накопления, обработки и поиска информации. Наиболее важными из них являются:
1. Автоматизация составления и лингвистической обработки машинных словарей;
2. Автоматизация процессов обнаружения и исправления ошибок при вводе текстов в ЭВМ;
3. Автоматическое индексирование документов и информационных запросов;
4. Автоматическая классификация и реферирование документов;
5. Лингвистическое обеспечение процессов поиска информации в одноязычных и многоязычных базах данных;
6. Машинный перевод текстов с одних естественных языков на другие;
7. Построение лингвистических процессоров, обеспечивающих общение пользователей с автоматизированными интеллектуальными информационными системами (в частности, с экспертными системами) на естественном языке, или на языке, близком к естественному;
8. Извлечение фактографической информации из неформализованных текстов.
Подробно остановимся на проблемах, наиболее относящихся к теме исследования.
В практической деятельности информационных центров есть необходимость решения задачи автоматизированного обнаружения и исправления ошибок в текстах при их вводе в ЭВМ. Эта комплексная задача может быть условно расчленена на три задачи – задачи орфографического, синтаксического и семантического контроля текстов. Первая из них может быть решена с помощью процедуры морфологического анализа, использующей достаточно мощный эталонный машинный словарь основ слов. В процессе орфографического контроля слова текста подвергаются морфологическому анализу, и если их основы отождествляются с основами эталонного словаря, то они считаются правильными; если не отождествляются, то они в сопровождении микроконтекста выдаются на просмотр человеку. Человек обнаруживает и исправляет искаженные слова, а соответствующая программная система вносит эти исправления в корректируемый текст.
Задача синтаксического контроля текстов с целью обнаружения в них ошибок существенно сложнее задачи их орфографического контроля. Во-первых, потому, что она включает в свой состав и задачу орфографического контроля как свою обязательную компоненту, а, во-вторых, потому, что проблема синтаксического анализа неформализованных текстов в полном объеме еще не решена. Тем не менее, частичный синтаксический контроль текстов вполне возможен. Здесь можно идти двумя путями: либо составлять достаточно представительные машинные словари эталонных синтаксических структур и сравнивать с ними синтаксические структуры анализируемого текста; либо разрабатывать сложную систему правил проверки грамматической согласованности элементов текста. Первый путь нам представляется более перспективным, хотя он, конечно, не исключает и возможности применения элементов второго пути. Синтаксическая структура текстов должна описываться в терминах грамматических классов слов (точнее – в виде последовательностей наборов грамматической информации к словам).
Задачу семантического контроля текстов с целью обнаружения в них смысловых ошибок следует отнести к классу задач искусственного интеллекта. В полном объеме она может быть решена только на основе моделирования процессов человеческого мышления. При этом, по-видимому, придется создавать мощные энциклопедические базы знаний и программные средства манипулирования знаниями. Тем не менее, для ограниченных предметных областей и для формализованной информации эта задача вполне разрешима. Она должна ставиться и решаться как задача семантико-синтаксического контроля текстов.
Проблема автоматизации индексирования документов и запросов является традиционной для систем автоматизированного поиска текстовой информации. Поначалу под индексированием понимали процесс присвоения документам и запросам классификационных индексов, отражающих их тематическое содержание. В дальнейшем это понятие трансформировалось и термином «индексирование» стали называть процесс перевода описаний документов и запросов с естественного языка на формализованный, в частности, на язык «поисковых образов». Поисковые образы документов стали, как правило, оформляться в виде перечней ключевых слов и словосочетаний, отражающих их тематическое содержание, а поисковые образы запросов – в виде логических конструкций, в которых ключевые слова и словосочетания соединялись друг с другом логическими и синтаксическими операторами.
Автоматическое индексирование документов удобно проводить по текстам их рефератов (если они имеются), поскольку в рефератах основное содержание документов отражается в концентрированном виде. Индексирование может проводиться с контролем по тезаурусу или без контроля. В первом случае в тексте заголовка документа и его реферата ищутся ключевые слова и словосочетания эталонного машинного словаря и в ПОД включаются только те из них, которые нашлись в словаре. Во втором случае ключевые слова и словосочетания выделяются из текста и включаются в ПОД независимо от их принадлежности к какому-либо эталонному словарю. Был реализован еще и третий вариант, где наряду с терминами из машинного тезауруса в ПОД включались еще и термины, выделенные из заголовка и первого предложения реферата документа. Эксперименты показали, что ПОДы, составленные в автоматическом режиме по заголовкам и рефератам документов, обеспечивают большую полноту поиска, чем ПОДы, составленные вручную. Объясняется это тем, что система автоматического индексирования более полно отражает различные аспекты содержания документов, чем система ручного индексирования.
При автоматическом индексировании запросов возникают примерно те же проблемы, что и при автоматическом индексировании документов. Здесь также приходится выделять ключевые слова и словосочетания из текста и нормализовать слова, входящие в текст запроса. Логические связки между ключевыми словами и словосочетаниями и контекстуальные операторы могут проставляться вручную или с помощью автоматизированной процедуры. Важным элементом процесса автоматического индексирования запроса является дополнение входящих в его состав ключевых слов и словосочетаний их синонимами и гипонимами (иногда также гиперонимами и другими терминами, ассоциированными с исходными терминами запроса). Это может быть сделано в автоматическом или в интерактивном режиме с помощью машинного тезауруса.
Проблему автоматизации поиска документальной информации мы уже частично рассматривали в связи с задачей автоматического индексирования. Наиболее перспективным здесь является поиск документов по их полным текстам, так как использование для этой цели всякого рода заменителей (библиографических описаний, поисковых образов документов и текстов их рефератов) приводит к потерям информации при поиске. Наибольшие потери имеют место тогда, когда в качестве заменителей первичных документов используются их библиографические описания, наименьшие – при использовании рефератов.
Важными характеристиками качества поиска информации являются его полнота и точность. Полнота поиска может быть обеспечена путем максимального учета парадигматических связей между единицами языка и речи (словами и словосочетаниями), а точность – путем учета их синтагматических связей. Существует мнение, что полнота и точность поиска находятся в обратной зависимости: меры по улучшению одной из этих характеристик приводят к ухудшению другой. Но это справедливо только для фиксированной логики поиска. Если эту логику совершенствовать, то обе характеристики могут улучшаться одновременно.
Процесс поиска информации в полнотекстовых базах данных целесообразно строить как процесс диалогового общения пользователя с информационно-поисковой системой (ИПС), при котором он последовательно просматривает фрагменты текстов (абзацы, параграфы), удовлетворяющие логическим условиям запроса, и отбирает те из них, которые для него представляют интерес. В качестве окончательных результатов поиска могут выдаваться как полные тексты документов, так и любые их фрагменты.
Как видно из предыдущих рассуждений, при автоматическом поиске информации приходится преодолевать языковый барьер, возникающий между пользователем и ИПС в связи с имеющим место в текстах разнообразием форм представления одного и того же смысла. Этот барьер становится еще более значительным, если поиск приходится вести в разноязычных базах данных. Кардинальным решением проблемы здесь может быть машинный перевод текстов документов с одних языков на другие. Это можно делать либо заранее, перед загрузкой документов в поисковую систему, либо в процессе поиска информации. В последнем случае запрос пользователя должен переводиться на язык массива документов, в котором ведется поиск, а результаты поиска – на язык запроса. Такого рода поисковые системы уже работают в системе Internet. В ВИНИТИ РАН была также построена система Cyrillic Browser, которая позволяет производить поиск информации в русскоязычных текстах по запросам на английском языке с выдачей результатов поиска также на языке пользователя.
Важной и перспективной задачей компьютерной лингвистики является построение лингвистических процессоров, обеспечивающих общение пользователей с интеллектуальными автоматизированными информационными системами (в частности с экспертными системами) на естественном языке или на языке, близком к естественному. Поскольку в современных интеллектуальных системах информация хранится в формализованном виде, то лингвистические процессоры, выполняя роль посредников между человеком и ЭВМ, должны решать следующие основные задачи: 1) задачу перехода от текстов входных информационных запросов и сообщений на естественном языке к представлению их смысла на формализованном языке (при вводе информации в ЭВМ); 2) задачу перехода от формализованного представления смысла выходных сообщений к его представлению на естественном языке (при выдаче информации человеку). Первая задача должна решаться путем морфологического, синтаксического и концептуального анализа входных запросов и сообщений, вторая – путем концептуального, синтаксического и морфологического синтеза выходных сообщений.
Концептуальный анализ информационных запросов и сообщений состоит в выявлении их понятийной структуры (границ наименований понятий и отношений между понятиями в тексте) и переводе этой структуры на формализованный язык. Он проводится после морфологического и синтаксического анализа запросов и сообщений. Концептуальный синтез сообщений состоит в переходе от представления элементов их структуры на формализованном языке к вербальному (словесному) представлению. После этого сообщениям дается необходимое синтаксическое и морфологическое оформление.
Для машинного перевода текстов с одних естественных языков на другие необходимо располагать словарями переводных соответствий между наименованиями понятий. Знания о таких переводных соответствиях накапливались многими поколениями людей и оформлялись в виде специальных изданий – двуязычных или многоязычных словарей. Для специалистов, владеющих в той или иной мере иностранными языками, эти словари служили ценными пособиями при переводе текстов.
В традиционных двуязычных и многоязычных словарях общего назначения переводные эквиваленты указывались преимущественно для отдельных слов, для словосочетаний – значительно реже. Указание переводных эквивалентов для словосочетаний было более характерно для специальных терминологических словарей. Поэтому при переводе отрезков текстов, содержащих многозначные слова, у обучаемых часто возникали затруднения.
Ниже приведены переводные соответствия между несколькими парами английских и русских фраз по «школьной» тематике.
1) The bat looks like a mouse with wings – Летучая мышь похожа на мышь с крыльями.
2) Children like to play in the sand on the beach – Дети любят играть в песке на берегу моря.
3) A drop of rain fell on my hand – Капля дождя упала мне на руку.
4) Dry wood burns easily – сухие дрова хорошо горят.
5) He divtended not to hear me – Он делал вид, что не слышит меня.
Здесь английские фразы не являются идиоматическими выражениями. Тем не менее, их перевод на русский язык лишь с некоторой натяжкой можно рассматривать как простой пословный перевод, так как почти все входящие в них слова многозначные. Поэтому здесь обучаемым способны помочь только достижения компьютерной лингвистики.
Ниже будут рассмотрены основные системы машинного перевода, способные помогать обучаемым при изучении языка.
2. Современные интерфейсы компьютерной лингвистики
Первые эксперименты по машинному переводу, подтвердившие принципиальную возможность его реализации, были проведены в 1954 г. в Джорджтаунском университете (г. Вашингтон, США). Вскоре после этого в промышленно развитых странах мира были начаты исследования и разработки, направленные на создание систем машинного перевода (систем МП). И хотя с тех пор прошло полстолетия, проблема машинного перевода все еще не решена на должном уровне. Она оказалась значительно сложнее, чем это представляли себе пионеры и энтузиасты МП конца пятидесятых – начала шестидесятых годов прошлого века.
Из достижений компьютерной лингвистики следует выделить, прежде всего, систему под названием RETRANS. Первая промышленная версия этой системы была разработана в 1993 году и стала использоваться в ряде государственных учреждений России, Франции, США и Англии. После этого было создано еще несколько версий системы. До 1998 г. все они были предназначены для работы в среде операционной системы MS DOS, а в 1998-2000 г.г. были адаптированы для операционных систем Windows 9x/NT и различных вариантов UNIX (Linux, Solaris и др.).
В 2001 г. тем же авторским коллективом была разработана новая версия системы фразеологического машинного перевода RETRANS. Эта версия реализована в нескольких модификациях:
1. Система, работающая в среде текстового процессора MS Word-2000.
2. Система, работающая в среде Web-браузера MS Internet Explorer.
3. Система, работающая с любыми Windows-приложениями, способными копировать текст в «Буфер Обмена» (Clipboard).
Первая модификация системы обладает тем достоинством, что человек, имеющий опыт работы с редактором типа Word, может с помощью этой. При этом он может пользоваться всеми возможностями редактора Word.
Вторая модификация системы может служить эффективным средством общения с системой Internet для лиц, знающих русский язык, но не знающих английского, или, наоборот, знающих английский язык, но не знающих русского. Она может также использоваться для перевода любых документов, представленных в виде Web-страниц (например, электронной версии Британской Энциклопедии). При этом во всех случаях сохраняется внешний вид переведенной страницы.
Третья модификация системы может быть полезна при работе с простыми программами типа MS Notepad, MS Wordpad, MS Paint и им подобными, а также при обработке различных электронных форм.
В случае необходимости, на одной ЭВМ могут устанавливаться несколько модификаций системы RETRANS одновременно. При этом ядро процедурных средств и словарные средства системы будут представлены только в одном экземпляре.
Основные политематические машинные словари системы Retrans (русско-английский и англо-русский) включают в свой состав терминологию по естественным и техническим наукам, экономике, бизнесу, политике, законодательству и военному делу.
Кроме основных политематических машинных словарей в состав системы RETRANS входят двенадцать дополнительных тематических словарей, включающих лексику родственных тематик. Эти словари содержат словарные статьи только тех слов и словосочетаний из политематических словарей, которые в рамках каждой тематической группы имеют приоритетные переводные эквиваленты, отличные от приоритетных переводных эквивалентов основных словарей. В дополнительных тематических словарях лексические единицы (слова и словосочетания)могут иметь не более двух переводных эквивалентов (в политематическом словаре их может быть до пяти).
Средства автоматизированного пополнения и настройки машинных словарей, созданные на начальных этапах разработки системы RETRANS, сыграли большую роль в ее дальнейшем развитии. Но опыт практической эксплуатации этой системы выявил необходимость введения некоторых изменений в структуру словарей. Наряду с основными политематическими и дополнительными тематическими словарями системы были введены еще и дополнительные словари пользователей. При этом имелось в виду, что при переводе текстов с одного языка на другой одновременно используются три словаря: основной политематический словарь, один из дополнительных тематических словарей и один из словарей пользователей.
Словарь пользователя (СП) служит для тонкой настройки системы машинного перевода, выполняемой самим пользователем при переводе текстов по конкретной тематике. Кроме того, СП дает возможность использовать при переводе ранее накопленные словарные массивы. В отличие от основного политематического словаря и дополнительных тематических словарей, содержимое которых может изменяться только разработчиками системы машинного перевода, словарь пользователя может создаваться и изменяться пользователем по своему усмотрению.
По структуре словарных статей словарь пользователя аналогичен основному политематическому и дополнительным тематическим словарям, но он отличается от них количеством возможных вариантов перевода, указываемых для входных наименований понятий. Здесь для каждого входного наименования понятия может указываться только один вариант перевода. Отличается словарь пользователя также и способом его хранения в файле. Это связано с необходимостью оперативного изменения содержимого словаря, и тем, что его объем значительно меньше, чем объем словарей других типов.
Каждая запись СП описывает наименование одного понятия исходного языка, которое может иметь длину от одного до 17-тислов. Его переводной эквивалент также может иметь длину от одного до 17-ти слов. Словарь может включать до 65 тысяч словарных статей.
Пользователь системы RETRANS может создавать практически неограниченное количество своих словарей по различным тематикам, но в процессе перевода конкретного текста используется только один словарь. При необходимости, можно объединить несколько словарей в один словарь.
В интерактивном режиме работы пользователь имеет возможность просматривать все варианты перевода слов и словосочетаний содержащиеся в словарях, изменять их приоритет, добавлять новые переводные эквиваленты, а также выполнять другие операции над промежуточными результатами перевода. В промежуточных результатах перевода эквивалент, выбранный из СП, будет стоять первым в списке возможных вариантов перевода наименования понятия. Затем будут располагаться варианты перевода, выбранные из дополнительного тематического словаря, в том порядке, в котором они записаны в словаре. За ними – варианты перевода из основного политематического словаря.
Тем же авторским коллективом разработана новая версия системы фразеологического машинного перевода, получившая название «система Vista». Эта версия реализована в нескольких модификациях:
1. Система, работающая в среде текстового процессора MS Word 2000 (система Word Vista).
2. Система, работающая в среде Web-браузера MS Internet Explorer5.0 и выше (система Web Vista).
3. Система массового обслуживания, устанавливаемая на сервере IIS 4.0 и выше и используемая в режиме удаленного доступа стандартными Windows-клиентами (например, MS Word, MS Internet Explorer и любыми другими приложениями, способными копировать текст в «Буфер Обмена») на основе протоколаHTTP (т.е. работающая как в среде Internet, так и в среде Intranet).Эта система получила название Net Vista.
4. Система, работающая с любыми Windows-приложениями, способными копировать текст в «Буфер Обмена» (Clipboard). Эта система получила название Clip Vista.
Система Word Vista обладает тем достоинством, что человек, имеющий опыт работы с редактором типа Word, может с помощью этой системы начать перевод текстов практически без предварительной подготовки. При этом он может пользоваться всеми возможностями редактора Word.
Система Web Vista может оказаться незаменимым средством общения с системой Internet для лиц, знающих русский язык, но не знающих английского, или, наоборот, знающих английский язык, но не знающих русского. Она может также использоваться для перевода любых документов, представленных в виде Web-страниц (например, электронной версии Британской Энциклопедии). При этом во всех случаях сохраняется внешний вид переведенной страницы.
Система Net Vista позволяет пользователям, расположенным в любой точке земного шара, осуществлять перевод текстов с русского языка на английский и с английского на русский в режиме удаленного доступа к этой системе. При этом сами текстовые документы могут храниться в любой другой точке земного шара, а перевод выполняться в третьей точке.
Система Clip Vista может быть полезна при работе с простыми программами типа MS Notepad, MS Wordpad, MS Paint и им подобными, а также при обработке различных электронных форм, например, при заполнении резюме или вводе поискового запроса, если требуется использовать другой язык.
В случае необходимости, на ЭВМ пользователя могут устанавливаться несколько модификаций системы Vista одновременно. При этом ядро процедурных средств и словарные средства системы будут установлены только в одном экземпляре.
Основные политематические машинные словари системы Vista (русско-английский и англо-русский) включают в свой состав терминологию по естественным и техническим наукам, экономике, бизнесу, политике, законодательству и военному делу.
Кроме основных политематических машинных словарей в состав системы Vista входят двенадцать дополнительных тематических словарей, включающих лексику родственных тематик. Эти словари содержат словарные статьи только тех слов и словосочетаний из политематических словарей, которые в рамках каждой тематической группы имеют приоритетные переводные эквиваленты, отличные от приоритетных переводных эквивалентов основных словарей. В дополнительных тематических словарях лексические единицы (слова и словосочетания)могут иметь не более двух переводных эквивалентов (в политематическом словаре их может быть до пяти).
В процессе перевода текстов поиск переводных эквивалентов лексических единиц, входящих в их состав, ведется в политематическом словаре и в одном из дополнительных тематических словарей (по выбору пользователя). При синтезе выходного текста переводные эквиваленты дополнительного словаря считаются более приоритетными, чем переводные эквиваленты политематического словаря.
Машинные словари системы VISTA могут корректироваться и пополняться в процессе перевода текстов в интерактивном режиме. В этом режиме есть возможность обнаруживать слова и словосочетания, для которых в словаре не указаны переводные эквиваленты или эти эквиваленты не соответствуют контексту или указано несколько эквивалентов, но на первом месте стоит эквивалент, не соответствующий контексту. В случае отсутствия переводных эквивалентов у некоторых слов они могут быть указаны человеком; если эквиваленты не соответствуют контексту, они могут быть заменены; если их несколько, то есть возможность выбрать только те из них, которые соответствуют контексту.
В составе системы VISTA есть пакет программ, который позволяет обнаруживать редакционные правки, сделанные переводчиком, формировать на их основе словарные статьи и вводить их в дополнительные словари соответствующей тематики. Таким образом, систему машинного перевода можно настраивать на различные предметные области.
Системы фразеологического перевода RETRANS и VISTA следует рассматривать лишь как первые шаги в развитии систем подобного типа. Предстоит еще большая работа по совершенствованию их процедурных и декларативных средств. Особенно трудной является задача создания достаточно мощных фразеологических словарей.
Заключение
В системах автоматической обработки текстовой информации важную роль играет компьютерная лингвистика. Центральными научными проблемами компьютерной лингвистики являются проблема моделирования процесса понимания смысла текстов (перехода от текста к формализованному представлению его смысла) и проблема синтеза речи (перехода от формализованного представления смысла к текстам на естественном языке).
Важной методологической проблемой компьютерной лингвистики является правильная оценка необходимого соотношения между декларативной и процедурной компонентами систем автоматической обработки текстовой информации. При решении прикладных задач компьютерной лингвистики основной акцент следует делать на декларативные средства, но процедурные средства, в том числе грамотный компьютерный интерфейс тоже играют не последнюю роль.
Традиционные методы преодоления языковых барьеров – это обучение иностранным языкам и переводческая деятельность. Но с ростом экономических, политических и культурных связей между странами и повышением интенсивности информационных потоков между ними эти методы становятся недостаточными. Возникла необходимость искать альтернативные пути решения проблемы. И одним из них может явиться создание систем фразеологического машинного перевода.
Систему фразеологического машинного перевода RETRANS следует рассматривать лишь как первый шаг в указанном направлении. Предстоит еще большая работа по совершенствованию ее процедурных и декларативных средств. Особенно трудной является задача создания достаточно мощных фразеологических словарей, которые могут иметь объем несколько сотен миллионов словарных статей.
Литература
1. Белоногов Г.Г., Калинин Ю.П., Хорошилов А.А. Компьютерная лингвистика и перспективные информационные технологии. М., 2004.
2. Белоногов Г.Г., Зеленков Ю.Г., Новоселов А.П., Хорошилов Ал-др А., Хорошилов Ал-сей А. Системы фразеологического машинного перевода. Состояние и перспективы развития. Сб. «Нано-техническая информация» сер. 2, N 12, ВИНИТИ,1998 г .
3. Белоногов Г.Г., Зеленков Ю.Г., Новоселов А.П., Хорошилов Ал-др А., Хорошилов Ал-сей А. Метод аналогии в компьютерной лингвистике. Сб. «Научно-техническая информация» сер. 2, N 1, ВИНИТИ,2000 г .
4. Панов Д.Ю., Ляпунов А.А., Мухин И.С. Автоматизация перевода с одного языка на другой: Сессия по научным проблемам автоматизации производства.– М.: изд. АН СССР, 1956.
5. Убин И.И. Современные средства автоматизации перевода: надежды, разочарования и реальность. Сб. «Перевод в современном мире». ВЦП, 2001.
В традиционных двуязычных и многоязычных словарях общего назначения переводные эквиваленты указывались преимущественно для отдельных слов, для словосочетаний – значительно реже. Указание переводных эквивалентов для словосочетаний было более характерно для специальных терминологических словарей. Поэтому при переводе отрезков текстов, содержащих многозначные слова, у обучаемых часто возникали затруднения.
Ниже приведены переводные соответствия между несколькими парами английских и русских фраз по «школьной» тематике.
1) The bat looks like a mouse with wings – Летучая мышь похожа на мышь с крыльями.
2) Children like to play in the sand on the beach – Дети любят играть в песке на берегу моря.
3) A drop of rain fell on my hand – Капля дождя упала мне на руку.
4) Dry wood burns easily – сухие дрова хорошо горят.
5) He divtended not to hear me – Он делал вид, что не слышит меня.
Здесь английские фразы не являются идиоматическими выражениями. Тем не менее, их перевод на русский язык лишь с некоторой натяжкой можно рассматривать как простой пословный перевод, так как почти все входящие в них слова многозначные. Поэтому здесь обучаемым способны помочь только достижения компьютерной лингвистики.
Ниже будут рассмотрены основные системы машинного перевода, способные помогать обучаемым при изучении языка.
2. Современные интерфейсы компьютерной лингвистики
Первые эксперименты по машинному переводу, подтвердившие принципиальную возможность его реализации, были проведены в 1954 г. в Джорджтаунском университете (г. Вашингтон, США). Вскоре после этого в промышленно развитых странах мира были начаты исследования и разработки, направленные на создание систем машинного перевода (систем МП). И хотя с тех пор прошло полстолетия, проблема машинного перевода все еще не решена на должном уровне. Она оказалась значительно сложнее, чем это представляли себе пионеры и энтузиасты МП конца пятидесятых – начала шестидесятых годов прошлого века.
Из достижений компьютерной лингвистики следует выделить, прежде всего, систему под названием RETRANS. Первая промышленная версия этой системы была разработана в 1993 году и стала использоваться в ряде государственных учреждений России, Франции, США и Англии. После этого было создано еще несколько версий системы. До 1998 г. все они были предназначены для работы в среде операционной системы MS DOS, а в 1998-2000 г.г. были адаптированы для операционных систем Windows 9x/NT и различных вариантов UNIX (Linux, Solaris и др.).
В 2001 г. тем же авторским коллективом была разработана новая версия системы фразеологического машинного перевода RETRANS. Эта версия реализована в нескольких модификациях:
1. Система, работающая в среде текстового процессора MS Word-2000.
2. Система, работающая в среде Web-браузера MS Internet Explorer.
3. Система, работающая с любыми Windows-приложениями, способными копировать текст в «Буфер Обмена» (Clipboard).
Первая модификация системы обладает тем достоинством, что человек, имеющий опыт работы с редактором типа Word, может с помощью этой. При этом он может пользоваться всеми возможностями редактора Word.
Вторая модификация системы может служить эффективным средством общения с системой Internet для лиц, знающих русский язык, но не знающих английского, или, наоборот, знающих английский язык, но не знающих русского. Она может также использоваться для перевода любых документов, представленных в виде Web-страниц (например, электронной версии Британской Энциклопедии). При этом во всех случаях сохраняется внешний вид переведенной страницы.
Третья модификация системы может быть полезна при работе с простыми программами типа MS Notepad, MS Wordpad, MS Paint и им подобными, а также при обработке различных электронных форм.
В случае необходимости, на одной ЭВМ могут устанавливаться несколько модификаций системы RETRANS одновременно. При этом ядро процедурных средств и словарные средства системы будут представлены только в одном экземпляре.
Основные политематические машинные словари системы Retrans (русско-английский и англо-русский) включают в свой состав терминологию по естественным и техническим наукам, экономике, бизнесу, политике, законодательству и военному делу.
Кроме основных политематических машинных словарей в состав системы RETRANS входят двенадцать дополнительных тематических словарей, включающих лексику родственных тематик. Эти словари содержат словарные статьи только тех слов и словосочетаний из политематических словарей, которые в рамках каждой тематической группы имеют приоритетные переводные эквиваленты, отличные от приоритетных переводных эквивалентов основных словарей. В дополнительных тематических словарях лексические единицы (слова и словосочетания)могут иметь не более двух переводных эквивалентов (в политематическом словаре их может быть до пяти).
Средства автоматизированного пополнения и настройки машинных словарей, созданные на начальных этапах разработки системы RETRANS, сыграли большую роль в ее дальнейшем развитии. Но опыт практической эксплуатации этой системы выявил необходимость введения некоторых изменений в структуру словарей. Наряду с основными политематическими и дополнительными тематическими словарями системы были введены еще и дополнительные словари пользователей. При этом имелось в виду, что при переводе текстов с одного языка на другой одновременно используются три словаря: основной политематический словарь, один из дополнительных тематических словарей и один из словарей пользователей.
Словарь пользователя (СП) служит для тонкой настройки системы машинного перевода, выполняемой самим пользователем при переводе текстов по конкретной тематике. Кроме того, СП дает возможность использовать при переводе ранее накопленные словарные массивы. В отличие от основного политематического словаря и дополнительных тематических словарей, содержимое которых может изменяться только разработчиками системы машинного перевода, словарь пользователя может создаваться и изменяться пользователем по своему усмотрению.
По структуре словарных статей словарь пользователя аналогичен основному политематическому и дополнительным тематическим словарям, но он отличается от них количеством возможных вариантов перевода, указываемых для входных наименований понятий. Здесь для каждого входного наименования понятия может указываться только один вариант перевода. Отличается словарь пользователя также и способом его хранения в файле. Это связано с необходимостью оперативного изменения содержимого словаря, и тем, что его объем значительно меньше, чем объем словарей других типов.
Каждая запись СП описывает наименование одного понятия исходного языка, которое может иметь длину от одного до 17-тислов. Его переводной эквивалент также может иметь длину от одного до 17-ти слов. Словарь может включать до 65 тысяч словарных статей.
Пользователь системы RETRANS может создавать практически неограниченное количество своих словарей по различным тематикам, но в процессе перевода конкретного текста используется только один словарь. При необходимости, можно объединить несколько словарей в один словарь.
В интерактивном режиме работы пользователь имеет возможность просматривать все варианты перевода слов и словосочетаний содержащиеся в словарях, изменять их приоритет, добавлять новые переводные эквиваленты, а также выполнять другие операции над промежуточными результатами перевода. В промежуточных результатах перевода эквивалент, выбранный из СП, будет стоять первым в списке возможных вариантов перевода наименования понятия. Затем будут располагаться варианты перевода, выбранные из дополнительного тематического словаря, в том порядке, в котором они записаны в словаре. За ними – варианты перевода из основного политематического словаря.
Тем же авторским коллективом разработана новая версия системы фразеологического машинного перевода, получившая название «система Vista». Эта версия реализована в нескольких модификациях:
1. Система, работающая в среде текстового процессора MS Word 2000 (система Word Vista).
2. Система, работающая в среде Web-браузера MS Internet Explorer5.0 и выше (система Web Vista).
3. Система массового обслуживания, устанавливаемая на сервере IIS 4.0 и выше и используемая в режиме удаленного доступа стандартными Windows-клиентами (например, MS Word, MS Internet Explorer и любыми другими приложениями, способными копировать текст в «Буфер Обмена») на основе протоколаHTTP (т.е. работающая как в среде Internet, так и в среде Intranet).Эта система получила название Net Vista.
4. Система, работающая с любыми Windows-приложениями, способными копировать текст в «Буфер Обмена» (Clipboard). Эта система получила название Clip Vista.
Система Word Vista обладает тем достоинством, что человек, имеющий опыт работы с редактором типа Word, может с помощью этой системы начать перевод текстов практически без предварительной подготовки. При этом он может пользоваться всеми возможностями редактора Word.
Система Web Vista может оказаться незаменимым средством общения с системой Internet для лиц, знающих русский язык, но не знающих английского, или, наоборот, знающих английский язык, но не знающих русского. Она может также использоваться для перевода любых документов, представленных в виде Web-страниц (например, электронной версии Британской Энциклопедии). При этом во всех случаях сохраняется внешний вид переведенной страницы.
Система Net Vista позволяет пользователям, расположенным в любой точке земного шара, осуществлять перевод текстов с русского языка на английский и с английского на русский в режиме удаленного доступа к этой системе. При этом сами текстовые документы могут храниться в любой другой точке земного шара, а перевод выполняться в третьей точке.
Система Clip Vista может быть полезна при работе с простыми программами типа MS Notepad, MS Wordpad, MS Paint и им подобными, а также при обработке различных электронных форм, например, при заполнении резюме или вводе поискового запроса, если требуется использовать другой язык.
В случае необходимости, на ЭВМ пользователя могут устанавливаться несколько модификаций системы Vista одновременно. При этом ядро процедурных средств и словарные средства системы будут установлены только в одном экземпляре.
Основные политематические машинные словари системы Vista (русско-английский и англо-русский) включают в свой состав терминологию по естественным и техническим наукам, экономике, бизнесу, политике, законодательству и военному делу.
Кроме основных политематических машинных словарей в состав системы Vista входят двенадцать дополнительных тематических словарей, включающих лексику родственных тематик. Эти словари содержат словарные статьи только тех слов и словосочетаний из политематических словарей, которые в рамках каждой тематической группы имеют приоритетные переводные эквиваленты, отличные от приоритетных переводных эквивалентов основных словарей. В дополнительных тематических словарях лексические единицы (слова и словосочетания)могут иметь не более двух переводных эквивалентов (в политематическом словаре их может быть до пяти).
В процессе перевода текстов поиск переводных эквивалентов лексических единиц, входящих в их состав, ведется в политематическом словаре и в одном из дополнительных тематических словарей (по выбору пользователя). При синтезе выходного текста переводные эквиваленты дополнительного словаря считаются более приоритетными, чем переводные эквиваленты политематического словаря.
Машинные словари системы VISTA могут корректироваться и пополняться в процессе перевода текстов в интерактивном режиме. В этом режиме есть возможность обнаруживать слова и словосочетания, для которых в словаре не указаны переводные эквиваленты или эти эквиваленты не соответствуют контексту или указано несколько эквивалентов, но на первом месте стоит эквивалент, не соответствующий контексту. В случае отсутствия переводных эквивалентов у некоторых слов они могут быть указаны человеком; если эквиваленты не соответствуют контексту, они могут быть заменены; если их несколько, то есть возможность выбрать только те из них, которые соответствуют контексту.
В составе системы VISTA есть пакет программ, который позволяет обнаруживать редакционные правки, сделанные переводчиком, формировать на их основе словарные статьи и вводить их в дополнительные словари соответствующей тематики. Таким образом, систему машинного перевода можно настраивать на различные предметные области.
Системы фразеологического перевода RETRANS и VISTA следует рассматривать лишь как первые шаги в развитии систем подобного типа. Предстоит еще большая работа по совершенствованию их процедурных и декларативных средств. Особенно трудной является задача создания достаточно мощных фразеологических словарей.
Заключение
В системах автоматической обработки текстовой информации важную роль играет компьютерная лингвистика. Центральными научными проблемами компьютерной лингвистики являются проблема моделирования процесса понимания смысла текстов (перехода от текста к формализованному представлению его смысла) и проблема синтеза речи (перехода от формализованного представления смысла к текстам на естественном языке).
Важной методологической проблемой компьютерной лингвистики является правильная оценка необходимого соотношения между декларативной и процедурной компонентами систем автоматической обработки текстовой информации. При решении прикладных задач компьютерной лингвистики основной акцент следует делать на декларативные средства, но процедурные средства, в том числе грамотный компьютерный интерфейс тоже играют не последнюю роль.
Традиционные методы преодоления языковых барьеров – это обучение иностранным языкам и переводческая деятельность. Но с ростом экономических, политических и культурных связей между странами и повышением интенсивности информационных потоков между ними эти методы становятся недостаточными. Возникла необходимость искать альтернативные пути решения проблемы. И одним из них может явиться создание систем фразеологического машинного перевода.
Систему фразеологического машинного перевода RETRANS следует рассматривать лишь как первый шаг в указанном направлении. Предстоит еще большая работа по совершенствованию ее процедурных и декларативных средств. Особенно трудной является задача создания достаточно мощных фразеологических словарей, которые могут иметь объем несколько сотен миллионов словарных статей.
Литература
1. Белоногов Г.Г., Калинин Ю.П., Хорошилов А.А. Компьютерная лингвистика и перспективные информационные технологии. М., 2004.
2. Белоногов Г.Г., Зеленков Ю.Г., Новоселов А.П., Хорошилов Ал-др А., Хорошилов Ал-сей А. Системы фразеологического машинного перевода. Состояние и перспективы развития. Сб. «Нано-техническая информация» сер. 2, N 12, ВИНИТИ,
3. Белоногов Г.Г., Зеленков Ю.Г., Новоселов А.П., Хорошилов Ал-др А., Хорошилов Ал-сей А. Метод аналогии в компьютерной лингвистике. Сб. «Научно-техническая информация» сер. 2, N 1, ВИНИТИ,
4. Панов Д.Ю., Ляпунов А.А., Мухин И.С. Автоматизация перевода с одного языка на другой: Сессия по научным проблемам автоматизации производства.– М.: изд. АН СССР, 1956.
5. Убин И.И. Современные средства автоматизации перевода: надежды, разочарования и реальность. Сб. «Перевод в современном мире». ВЦП, 2001.
