Книга Машины, которые говорят и слушают
Работа добавлена на сайт bukvasha.net: 2015-10-25Поможем написать учебную работу
Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
от 25%
Подписываем
договор
УДК 621.391
Рассмотрены современныэ тенденции развития систем автоматического распознавания и синтеза речевых сигналов. Освещены проблемы построения алгоритмов распознавания в неадаптивных системах речевого управления. Описаны эксперименты по созданию систем автоматического речевого запроса экономической информации с элементами автоматического обучения.
Книга рассчитана на научных работников, инженеров и студентов, специализирующихся по технической кибернетике и теории информации.
Работу рецензировали и рекомендовали к изданию:
академик АН СССР А.А.Дородницын кандидат физико-математических наук М.Н.Маричук© Издательство "Штиинца",1985 г.
О I5Q3000000 - 62 39-85 M755(I2) - 85
ВВЕДЕНИЕ
Проблема реализации речевого диалога человека и технических средств - актуальная задача современной кибернетики. В настоящее время пользователями вычислительных машин и средств, оснащенных вычислительными машинами, становятся люди, не являющиеся специалистами в области программирования. Особенно актуальной стала задача общения человека и ЭВМ с появлением микропроцессоров и больших интегральных схем. Новая технология оказала прогрессивное влияние на психологию как разработчиков современных многопроцессорных ЭВМ .так и неспециалистов-пользователей,не подготовленных к тому, чтобы пользоваться сложной функциональной клавиатурой, языком программирования, комплексными средствами управления техникой. Проблема речевого управления возникла, кроме того,в связи с тем, что в некоторых областях применения речь стада единственно возможным средством оощения с техникой (в условиях перегрузок, темноты или резкого изменения освещенности,при занятости рук, чрезвычайной сосредоточенности внимания на объекте, который не позволяет отвлечься ни на секунду, и т.д.).
Массовое внедрение различных бытовых технических средств, содержащих микропроцессоры и другие большие интегральные схемы, в частности, сложных микрокалькуляторов, пег-зональных ЭВМ, также требует упрощения, "демократизации" систем управления такими средствами. Мы должны пользоваться новой сложной техникой так же, как пользуемся часами, радиоприемником, стиральной машиной.Приближается время, когда будут созданы "механические слуги" человека - роботы, помогающие в быту, выполняющие работу по уборке помещения, оказывающие помощь в сельскохозяйственных и строительных работах и т.д. Безусловно, человек будет заинтересован в голосовом управлении сложной бытовой техникой и в конечном счете такими роботами.
Ближайшие перспективы развития вычислительной техники, создание высокопроизводительных ЭВМ пятого поколения, надеденных способностью анализировать зрительные и звуковые образы, также
3
требуют того, чтобы задачи автоматического распознавания и синтеза речевых сигналов не оставались без внимания. Невозможно предположить, чтобы вычислительные системы обладали производительностью в десятки и сотни миллионов операций в секунду и в качестве вводных устройств использовали традиционную клавиатуру дисплея, перфоленты или перфокарты.
В первой главе рассматривается современное состояние автоматического распознавания и синтеза речевых сигналов (по публикациям до 1981 г. включительно). Отмечается возрастающий поток публикаций по этим проблемам, причем многие работы посвящены вопросам практического построения систем распознавания и синтеза речи на специализированных микроЭВМ. В настоящей монографии не нашли отражение работы, опубликованные после 1981 г., так как материалы к публикации готовились в основном до бтого времени. (южно лишь отметить, что за 1982 и 1983 гг. практическое направление работ в области автоматического распознавания и синтеза речи интенсифицировалось. В нашей стране появились первые промышленные системы автоматического ввода/вывода речевой информации - "ИКАР", разработанная в НИИСчетмаше (г.Москва), СРД-1,изготовленная в ОКБ Института кибернетики АН УССР им. В.М.Глушко-ва, и Марс, созданная Минским отделением ЦНИИС. Эти системы,широко демонстрировавшиеся на ВДНХ и других промышленных выставках, обладают примерно сходными техническими характеристиками -они обучаются, настраиваются на голос конкретного пользователя и словарь, достигающий йОО слов, и обеспечивают точность распознавания около 95& и реальное время распознавания. В качестве метода, обеспечивающего нелинейное сравнение входных реализации и эталонов, используется динамическое программирование. Большие успехи в области создания систем такого рода достигнуты также в QUA и Японии. В США с 1982 г. начал выходить специальный журнал Speech Technology (Речевая технология), в котором описываются области применения промыиленных систем распознавания и синтеза речи, их тестирование, технические характеристики и технологические особенности.
В монографии основное внимание уделяется описанию систем распознавания речи, работающих без предварительной настройки на диктора. Авторы в течение ряда лет совместно работали над этой проблемой в Вычислительном центре Академии наук СССР.Идеология неадаптивных систем распознавания сложилась еще в 60-е гг.-в совместных разработках Вычислительного центра и Института проблем передачи информации АН СССР. Но основные результаты, описанные в книге, получены авторами в конце 70-х - начале 80-х гг.
Глава 1
СОВРЕМЕННЫЕ ТЕНДЕНЦИИ РАЗВИТИЯ ПРОБЛЕМЫ РЕЧЕВОГО ВЗАИМОДЕЙСТВИЯ «ЧЕЛС ВЕК - ЭВМ»
§ I.I. Некоторые аспекты исследования речевых сигналов на современном этапе
В 70-х гг. повысился интерес к проблемам исследования речи. Это связано с возросшими успехами дискретной обработки сигналов на современной микроэлектронной технике и широким распространением микроЭВМ и мультимикроцессорньк систем, появление которых означало революцию в информатике. Научные достижения в области автоматического распознавания и синтеза речи поставили вопрос о практическом общении человека с миром мощных по своей производительности и возможностям микроЭВМ на языке, близком к естественному. Сложнейшая техника приблизилась к пользователю-неспециалисту, и пользователь "потребовал", чтобы общение о ЭВМ (в частности, с информационными и управляющими ЭВМ) производилось на более привычном ему естественном языке.
В связи с этим привлекли внимание работы по созданию первых промышленных устройств ограниченного речевого ввода и вывода информации, а также достаточно широко разрекламированных систем автоматического понимания естественной, слитной речи, над которыми работали в ОДА в течение I972-I976 гг. по проекту айра.
Следует отметить, что автоматическое распознавание и синтез речи - не единственное в речевых исследованиях, что привлекает внимание специалистов и возможных потребителей.
Наряду с автоматическим распознаванием смысла сообщения и синтезом речи (проблемами, которым в основном и посвящена настоящая монография), исследователи речевых сигналов успешно решают задачи: автоматического распознавания личности говорящего (т.е. решают задачу, кто это сказал), автоматической верификации говорящего (подтверждение, тот ли конкретный человек произнес эту фразу), оценки по голосу эмоционального состояния оператора,распознавания речи, произносимой в другой воздушной среде (гелиевая речь), определения по речевому сигналу патологии органов речеобразования, разработки более совершенных методов преподавания иностранных языков (выработка правильного акцента и интонации по картине "эталонных" параметров речевого сигнала ), помощи лицам
с дефектами органов слуха и речеобразования, очистки и анализа затупленной речи, создания систем узкополосной помехоустойчивой связи, а также ряд других задач. Рассмотрение всех этих проблем не входило в планы авторов, которые ограничиваются здесь простым их перечислением.
В данной главе кратко рассматриваются основные публикации по проблемам автоматического распознавания и синтеза речи, появившиеся в I976-I98I гг. Сведения о более ранних работах в этой области можно получить из [58,79,8б].
В СЮ9] приводятся основные лаборатории США, Великобритании, Франции и Западной Германии, тематика которых связана с автоматическим распознаванием и синтезом речи. В [127] сообщается, что проблема построения машин, способных воспринимать речь человека (желательно с использованием пра' л естественного языка), остается главным направлением речевых исследований, одной из ключевых проблем кибернетики. В [144] отмечается возрастающий интерес к этой проблеме, связанный с увеличением спроса на малые устройства распознавания слов и появлением новых компаний, активно участвующих в создании промышленных систем автоматического распознавания речи на новой технологической базе.
В нашей стране наблюдается широкий интерес к проблеме исследования речевых сигналов. Регулярно проводятся всесоюзные школы-семинары по проблеме автоматического распознавания слуховых образов (APGO). В каждой союзной республике существуют лаборатории или группы, решающие эти задачи.
Стало традиционным классифицировать системы автоматического распознавания речи на адаптивные, работающие с подстройкой под диктора и словарь, и неадаптивные, обеспечивающие работу с произвольным диктором-носителем нормы произношения данного языка. К практическим системам первого типа относятся vip- юо, WRS и ИКАР, СРД-1, МАРС, к неадаптивным - экспериментальные системы лаборатории Bell, ВЦ и ИППИ АН СССР, устройство фирмы Dialog Systems . Следует отметить, что системы автоматического распознавания речи пока не получили широкого распространения, хотя и выпускаются с 1973 г. серийно.
Более доведенными до уровня коммерческих образцов являются системы автоматического речевого ответа, т.е. системы, основанные на автоматическом синтезе речи. Промышленность США и Японии выпускает большими партиями синтезаторы речи, ориэнтированные на самое разнообразное применение, - от детских игрушек,оснащенных голосовым выводом, до мощных информационных систем, отвечающих голосом по речевому запросу пользователя. В основе современных
б
коммерческих систем речевого ответа лежат три основных способа синтеза - непосредственное кодирование речевой волны (дискретизация и сжатие), формантный синтез и синтез, основанный на линейном предсказании [5]. (Подробное описание достижений науки и промышленности в области автоматического синтеза речи дано
в § 1.4).
В пятой главе подробно рассматриваются особенности разработанной авторами экспериментальной запросной системы речевого ввода, работающей с проблемно-ориентированным языком, словарный запас которого составляет 120 слов. Система базируется на аппаратурно-программном методе распознавания, использующем информативные признаки речевых отрезков ^23,13,9?].
§ I.<i. Современные тенденции построения практических систем распознавания речи
В середине 70~х гг. получили распространение системы распознавания речи, предназначенные для промышленного использования. Важнейшие требования к таким системам - высокая точность и реальное время распознавания высказывания. Постепенно стал накапливаться опыт эксплуатации подобных систем, который определил их дальнейшее развитие. Первые практические системы автоматического речевого ввода информации обладали рядом положительных свойств, необходимых для пользователей. Мартин [&8] отмечает, что к таким свойствам можно отнести мобильность и возможность совмещения работ оператора, гибкость словаря, 100% точность распознавания (при использовании обратной связи), стабильность эталонных данных и уверенность оператора, контактирующего с системой, обладающей высокой точностью распознавания. Главными недостатками первых систем можно считать длительную подстройку под диктора и словарь, малый объем словаря, отсутствие помехозащищенности от слов, не входящих в рабочий словарь, проблемы фонового шума и шумов дыхания, высокую стоимость и т.д.
Первым широко внедренным устройством систем автоматического речевого ввода данных можно считать vip-ioo, подробно описанное в [58,134] .
В [13б] отмечается использование VXP-100 в конфигурации Threshold -500, которая дает возможность вводить информацию голосом в ЭВМ одновременно трем операторам. Указывается,что средняя точность распознавания слов в этих системах колеблется от 96,5 (для словаря из 35 слов и высокого уровня шумов) до 99,5%
(для словаря из 15 слов и тихого помещения). В [136] рассматривается использование vip - 100 для речевого ввода информации в ЭВМ станков с программным управлением. Отмечается, что для этих целей разработаны три специальные систейн: vw - 50, vno- 100 и virc - 200 с использованием соответственно 31 слова и слитного словосочетания, 4Ь и 65 слов.
Системы VHC -200 применяются для управления четырехшиин-дельными сверлильными станками и лазерами, iопользующимися для обработки полупроводников и сверхтвердых материалов, а также для управления токарными станками. Кроме того, эта система применяется для взаимодействуя с системой искусственного интеллекта и управления голосом.
Данная система используется для технической диагностики компрессоров холодильных установок и при распределении посылок.про-ходящих по конвейеру [П9].
й[П7] описывается использование одной из систем фирмы Threshold Technology для автоматического ввода голосом по телефону гидрографических данных исследования морских акваторий.
Еще одной американской промышленной системой автоматического распознавания изолированных слов является v/RS [l40] . Система предназначена для практического использования в армии и обеспечивает прямую двустороннюю связь между персоналом на передней линии фронта и армейскими информационными системами, использующими автоматическое распознавание слов, идентификацию диктора и его верификацию (подтверждение, тот ли человек разговаривает с системой).
Мини-ЭВМ этой армейской системы полностью обеспечивает автоматизированную обработку сигналов в реальном времени, трансляцию (т.е. автоматическое распознавание) сообщения и синтезированный речевой ответ на три сети связи одновременно для любых трех из 64 пользователей. Рабочий словарь системы 250 слов. Полевой оператор-разведчик оснащ'ен переносным блоком записи донесений для точной записи тактических данных и возможного ввода их по радио или телефонным линиям в армейскую тактическую информационную систему. Для удаленного оператора используются передатчики с частотной модуляцией. Система распознавания слов таз, воспринимая дискретные речевые сообщения (фразы, произносимые в жестком формате пословно), "подсказывает" оператору на каждом шаге, какого рода информацию ждет она от него далее, предварительно подтвердив правильную запись предыцущего донесения.
Жесткий формат фраз определяется специализированным языком точного описания тактических условий в поле деятельности оператора и управления артиллерийским огнем.
Для голосового ответа в «'/КЗ используется программно-управляемый звуковой синтезатор фирмы Vocal Interf;ice Division, который позволяет получать цепочки фонем и фонемоподобных звуков в соответствии со смыслом речевого ответа; при этом обеспечивается необходимая модуляция основного тона для большей естественности звучания. Если какой-либо оператор хочет ввести в армейскую тактическую информационную систему донесение после того, как wrs обучалась его речевьм характеристикам, он должен обнаружить канал связи, а затем ввести шесть слов, представляющих' шифр (код) используемой сети, код пользователя и слова завершения.
Хотя система распознавания способна работать автоматически, на стороне v/RS всегда присутствует оператор. Он следит за экраном буквенно-цифрового дисплея, где отражаются донесения,поступающие с трех линий связи. По мере распознавания донесений появляется их буквенный текст. Если донесения полностью удовлетворяют оператора, он передает их для исполнения (и для получения "твердой копии" на бумаге), нажимая на пульте соответствующую клавишу. Оператор может с пульта отредактировать любое . донесение, прежде чем выдать его для исполнения. Оператор может также с пульта управления в тобой момент связаться по радио или телефонному каналу с каждым разведчиком-пользователем (или со всеми сразу). Если при распознавании донесения, поступающего от пользователя, возникают трудности, то оператор должен сделать вое. чтобы донесение было принято. Для этого он может,например,переучить систему на голос этого пользователя.
Автономный блок системы, предназначенный для связи с пользователями, возбуждается без вмешательства оператора при одном из трех "условий":
а) распознано слово "оператор";
б) последовательно прошло неверное распознание двух слов подряд;
в) во время трансляции шифра диктор идентифицирован как злоумышленник .
Точность распознавания слов превышает 95% при передаче речи по несекретной радиолинии с отношением сигнад/шум, равным 10 дБ. При использовании более совершенной радиолинии точность,трансляции донесения достигала 9'?%.
Зак.480
В 1977г. Оыло выпущено устройство Heuristics $299 Speuchlab, требующее ддя реализации системы распознавания дополнительной ЭВМ. Точность распознавания слов в системах, использующих это устройство, была относительно низкой (около 90%), однако из-за невысокой стоимости оно оказалось в настоящее время наиболее распространенным. В 19УО г. этой же фирмой была выпущена система 7000, соединенная со стандартными видеотерминальными RS -232 [903 • Система, выпускаемая в автономном корпусе, включает цифровой спектроанализатор и блок распознавания. Она может быть обучена распознаванию 64 слов или фраз, длительность аву-чания каждой из которых до 3 с.
Система 7000 дает возможность вводить информацию голосом в ЭВМ, не набирая ее на клавиатуре видеотерминала, однако позволяет также пользоваться клавиатурой (по очереди или одновременно).
В [69J сообщается, что фирмой Interstate Electronics Inc. выпускается сходный по техническим характеристикам с системой 7000 одноплатный модуль распознавания речи VRK - Voice recognition module, реализованный на базе микропроцессора и представляющий "интеллектуальным" терминалам и небольшим вычислительным системам средства автоматического речевого ввода. Отмечается, что 'это устройство обеспечивает распознавания более 99% при вариантах с объемом словаря в 40, 70 или 100 слов. На входе устройства используется 16-канальный аналоговый спектроанализатор, информация с которого далее преобразуется в цифровую форму и уплотняется до размера эталонов, хранящихся в памяти van .В настоящее время фирма выпускает одноплатное устройство распознавания слов vrt-зоо, которое полностью позволяет дублировать клавишную систему управления видеоматериалом.
В [45J рассматриваются вопросы использования устройств автоматического распознавания и синтеза речи в системах военного назначения. Указывается, что в настоящее время автоматический анализ и синтез речи испытывается в тренажерах для подготовки специалистов (например, летчиков или диспетчеров управления воздушным движением), а также в устройствах ддя автоматизации ввода данных в ЭВМ при дешифрации аэрофотоснимков в процессе составления карт местности. Предполагается, что в перспективе устройства распознавания речи будут использоваться для ввода команд в систему оружия или в систему управления полетом.О необходимости заполнить пробел между относительно простыми,, настраивающимися на диктора и словарь, промышленными устройствами автоматического распознавания речи и громоздкими экспериментальными сис-
10
темами понимания речи, основанными на моделях естественных языков, Ли и Шоуп писали еще в [ 144] .
Одной из самых совершенных коммерческих систем автоматического распознавания речи является система распознавания изолированных слов и слитной речи CSRS японской фирмы NEC [47] . Технологической базой этой системы служит микропроцессорная техника. (В системе используются пять микропроцессоров.) CSRS обеспечивает надежное автоматическое распознавание в действительно шумных средах ^до 90 дБ) с 0,2% ошибок и 0,7^, отказов на материале 120 слов. Система csrs , как и vip -100 и wrs, является адаптивной, настраиваемой на диктора и словарь. При распознавании слитно произносимых словосочетаний (до пяти слов одновре-* менно) система использует методику распознавания, основанную на так называемом двухступенчатом согласовании эталонных реализации и входной последовательности словосочетаний с использованием аи-г 'итмов динамического программирования. Блок автоматического распознавания включает цифровой анализатор спектра, преобразующий входной сигнал, который поступает с АЦП в 46-мерные векторы через каждые 18 мс, память эталонных реализации,позволяющих хранить до 120 эталонов слов, процессор динамического программирования , представляющий собой мультимикропроцессорную ЭВМ, и интерфейсную микроЭВМ, обеспечивающую управление всей системой.gsrs осуществляет распознавание практически в реальном масштабе времени. Систему можно приспособить, несколько изменив программу динамического согласования эталонов и выходного высказывания, для распознавания 1000 слов, произносимых изолированно.
На выставке в Москве (декабрь 1976 г.) демонстрировалась система gsrs , позволяющая подключать к одному блоку двух пользователей, работающих одновременно в режиме диалога с csrs [29]» За счет более совершенного распознавания система обеспечивает более простое обучение, допуская одно- или двукратное произнесение каждого слова.
В [16] рассматривается отечественная система,предназначенная для распознавания набора слов, число которых около 400.Сяо-варь представлен в памяти фонемными кодами, что позволяет после этапа подстройки системы -юд диктора (сводящейся к однократному произнесению специального словаря, содержащего фонемы русского языка в различных словосочетаниях) заменять,корректировать и пополнять словарь без участия диктора. В системе используется'пять параметров речевого сигнала, которые служат цля распознавания слов - логарифм полной энергии сигнала и логарифмы отношения • Полной энергии сигнала к энергиям сигнала в четырех полосах.
II
Из-за использования относительно медленной машины и чисто программной реализации алгоритмов анализа сигнала время обработки около I мин на слово, время принятия решения ~ W/8 с, где И - объем словаря.
В более поздней работе этого же коллектива рассматриваются системы признаков, основанные на модеси линейного предсказания С 17] и психоакустическом эффекте маскировки более схабых составляющих речевого сигнала более сильными.При использовании данного подхода точность распознавания изолированных слов для одного диктора составила при лексиконе из 100 слов - 97%,а при лексиконе из 300 первых слов русского частотного словаря - 94^.
В Институте кибернетики АН УССР в 1977 г. разработана адаптивная система распознавания слов, работающая в реальном масштабе времени [1б] . Система создана на основе ЭВМ БЭСМ-6, но может быть реализована на других ЭВМ или в специализированном устройстве на микропроцессорах. В процессе предварительной обработки речевого сигнала вычисляется последовательность 48-разрядных двоичных кодов, каждый из которых определяет знак производной по частоте амплитудного спектра речи, вычисленных на участках в 15 мс. Обработка введенного речевого сигнала длительностью I с происходит за 0,3 с, время распознавания одного слова для словаря из 100 слов - не более I с. Точность распознавания словаря из 500 слов - 98%. Методика принятия решения в системе более подробно рассмотрена в С20].
В [21] описывается разработанная в ИК АН УССР система распознавания речи, настроенная на голос нескольких дикторов и обеспечивающая надежность распознавания изолированных слов около 98^ для словаря из 500 слов.
Интересная адаптивная система распознавания изолированных слов, использующая параметры клиппироваяного речевого сигнала, разработана Н.П.Бусленко, В.В. Деевым и Г.Д.Фроловым [8].В этой системе для формирования эталонов и автоматического распознавания предложен оригинальный математический подход к анализу последовательности чисел, соответствующей интервалам между нулевыми перечислениями сигнала. Обобщенные эталоны формируются после нескольких for 2 до Ь) произнесений слова. При распознавании происходит сравнение поступившего на вход слова с этими эталонами. В системе реализован речевой ответ, также основанный на формировании клиппированного речевого сигнала. Ццеи,рассмотренные в [в] , нашли свое дальнейшее развитие в системе, реализованной на мини-ЭВМ.
12
В ряде кибернетических систем массового пользования целесообразно использовать автоматический речевой ввод без предварительной настройки на голос оператора. В таких системах распознавание должно базироваться на универсальных фонологических правилах, а в дальнейшем - на использовании синтаксиса и семантики естественных языков. Другой путь построения неадаптивных систем распознавания речи - сбор эталонных реализации от большого (до 500) числа дикторов, кластеризация эталонов и использование того факта, что каждый новый диктор произносит слова так, как этр делал один из тех дикторов, который участвовал в обучении системы распознавания. В настоящее время не достигнуто высокой точности распознавания слов в неадаптивных системах (кроме системы Dialog Systems , где весьма небольшой словарь и используются эталоны, полученные от 500 дикторов). Однако исследования, проведенные в этой области, а также феномен человека, воспринимающего слитную речь произвольного диктора без предварительной настройки на его голос, доказывают, что технические средства,направленные на распознавание речи любого пользователя, несомненно, будут созданы.
Первой системой автоматического распознавания речи, выпускаемой нашей промышленностью, стала адаптивная микропроцессорная система распознавания изолированных слов,разработанная в НШЮчетмаше.Система содержит блок аналоговой обработки сигнала - предпроцессор (он включает микрофонный усилитель, 16-канальный спектроанализа-тор с рабочей полосой до Ь кГц, индикаторы уровня основного тона и огибающей, блоки клиппирования, наличия устной команды, вторичной обработки и управления), микропроцессор К580ИК80, специализированную подсистему для вычисления меры сходства между входной и эталонной реализациями слов, оперативное запоминающее устройство, интерфейсный блок и пульт инженера-оператора .Поток информации о речевом сигнаде (1250 байт в секунду) поступает с процессора для последующей обработки в микроЭВМ, которая одновременно управляет отдельными узламг и блоками всэй системы. Следует отметить, что система [72J по своей структуре и возможностям занимает промежуточное положение между коммерческими системами V IP-100 (США) и dp фирмы яёс (Япония).От VIP-IOO наши разработчики позаимствовали бинарное представление информации о слове на уровне вторичной обработки сигнала, а от системы нес - использование динамического программирования при нелинейном сравнении входной и эталонной реализации. Такой подход позволил производить распознавание в реальном масштабе времени и с высокой надежностью, используя отечественную элементную
13
базу. Для обучения новому словарю требуется однократное произнесение каждого слова. Надежность распознавания для группы из четырех дикторов, каждый из которых работал со своим словарем,превысила 96%; время распознавания для словаря из 200 слов - близкое к реальному (не превышающее 1с).
В [б33 описано автономное адаптивное устройство распознавания ограниченного набора слов, разработанное во Всесоюзном сельскохозяйственном институте заочного образования. Устройство выполнено на базе микросхем 155-й серии и состоит из 16 плат размером 140 х 150 мм. На вход устройства с аппаратуры первичного анализа подаются 16 бинарных признаков, один аналоговый, представленный четырехразряд очным двоичным кодом, и признак конца речевого сигнала. Память устройства вмещает до 256 отсчетов эталонов сигнала. Речевая информация поступает для последующей обработки с частотой 100 Гц, но в дальнейшем сжимается (в среднем до 16 отсчетов на слово) так, что в память можно записать лишь 16 эталонов. Нелинейное сравнение с эталоном осуществляется методом динамического программирования. Устройство [вз] может работать в двух режимах - обучения и распознавания.Точность распознавания (для одного диктора) зависит от словаря, объем которого не превышает 16 слов, и колеблется в пределах 96-99%.
Система [l] , разработанная в МВТУ им. Н.Э.Баумана и ориентированная на речевое управление движущимися объектами, была испытана десятью дикторами на словарях иг 32 слов и слитных словосочетаний на русском, английском и немецком языках ( каждый диктор имел свои эталоны).На материале 3200 реализации было получено 9Ё% правильных ответов, 1% отказов от распознавания и 1% ошибок. Система позволяла работать в трех режимах - обучения, распознавания и управления. В режиме речевого управления словарь включал всего 14 слов; надежность распознавания команд управления составила при этом 99,5№.
Интересная адаптивная система распознавания и синтеза речи была разработана на устройстве аналогового типа и ЭВМ ЕС-1030 М.Г.Демковым [35] . Словарь системы, работающей в близком к реальному времени, составлял 300 слов и словосочетаний. В результате аппаратной и программной обработки три обучающие реализации каждого слова преобразовались в эталонную последовательность длиной в 10 - 20 символов. Эксперименты по определению надежности системы проводились в условиях акустических шумов 75 -60 дБ на голосе одного оператора. При однократном произнесении словаря в объеме 300 слов точность распознавания составляла 97,2%,при одном повторении - 98,6%, при двух повторениях ошибочно
распознанного слова - 99,3%.
14
В [2b] сообщается, что фирма Dialog Systems (США) подготовила к коммерческому производству первую неадаптивную систему распознавания слов, построенную на бсль'"их интегральных схемах. Особенностью этой системы является метод сравнения, основанный на анализе большого статистического материала. Эталонные реализации формировались после изучения 500 образцов произнесения мужчинами и женщинами каждого словаря: статистика собиралась по всей территории США. Из каждого слова берется 12 выборок;на каждом отчете измеряется общая амплитуда сигнала и вычисляется спектр сигнала в диапазоне телефонного канала(300 - 3400 Гц) в 31 точке. Таким образом, каидому слову соответствует 384 числа. Обучающая выборка включала обработанные реализации 500 слов. Неизвестное слово, поступающее на вход системы, подвергается такой же обработке и сравнивается с эталонами. Система использует речевой ответ. Базовый словарь состоит из 12, слов - 10 цифр и слов "да" и "нет". Система позволяет добавлять специализированные словари. Например, для банковских работников предусмотрено включение 30 дополнительных слов, включая такие, как "баланс","итог", "взнос". В [52] сообщается, что эта фирма разработала систему продажи билетов на самодеты, откликающуюся на голос любого диктора. Однако для нее возможны и другие применения. С ее помощью служащий, находящийся в другом городе, легко может вызвать любого абонента внутренней сети. Для этого он набирает номер коммутатора фирмы, называет свой идентификационный номер и телефонный номер, который он хочет вызвать. Система обрабатывает устные команды с точностью, превышающей 95№.
В [102, 147, 146, 150, I6b - 168] описана экспериментальная система автоматического распознавания 127 слов, произносимых несколькими дикторами. Проблема особенностей произношения решается таким образом, что каждый диктор имеет набор своих эталонов, поэтому в строгом смысле слова систему Bell Laboratories нельзя считать неадаптивной. Словарь был выбран с учетом того, чтобы произвольный пользователь мог заказывать по телефону билеты на авиарейсы, используя ЭВМ с речевым вводом. Отмечается, что использование синтаксиса языка понижает ошибки распознавания слов с 11,7 до 0,4%/
В [170,172] рассматривается распознавание словаря, включающего название английских букв, цифры и три служебных слова редактирования ("стоп", "ошибк^.", "повторяю"). Словарь позволяет произносить произвольные слова, в частности фамилии,по буквам. При испытаниях системы, в которых участвовали шесть мужчин и четыре женщины, при средней точности распознавания слов словаря в
15
60% средняя точность распознавания слов, произносимых по буквам (50 случайных фамилий сотрудников Bell Laboratories ), составила 96%. Каждый диктор, как и в [25] , имел собственные эталоны. В [166,167] используется около 12 эталонов на каждое слово словаря, причем каждый эталон характеризует особенности некоторой группы дикторов. Эталоны получаются методом кластерного анализа;
при этом используется 100 обучающих реализации на каждое слово. Точность распознавания 10 цифр приближается к точности их распознавания в адаптивных системах и колеблется (для различных дикторов) от 97,5 до 100%.
В [125] предлагается для повышения точности распознавания слов ввести дополнительный уровень распознавания, который автоматически определяет пол диктора и уже дальнейшее распознавание производит с учетом этого. Введение предварительного автоматического распознавания пола диктора повысило точность распознавания цифр.
В СССР проблеме построения неадаптивных систем автоматического распознавания речи также уделяется большое внимание [10,13,33, 38, 57, 66, 76, 77, 87, йб] . Как правило, системы работают с проблемно-ориентированными языками, словарный запас которых составляет несколько десятков словоформ [40] . В [1.0,12] описана опытная эксплуатация одной из таких систем. Сейчас существуют некоторые промежуточные экспериментальные системы распознавания, работающие со множеством дикторов, часть из которых можно отнести к адаптивным, например систему МВТУ [l] .которая по своей идеологии и принципам близка к типичным настраивающимся на диктора системам - лишь память ЭВМ ограничивает число дикторов, каждый из которых имеет свою систему эталонов. Рассматриваемые же ниже системы обладают рядом особенностей, характеризующих именно неадаптивные системы: попытка пользоваться универсальными признаками фонем, использование синтаксиса и семантики рабочего языка, верификация диктора до того, как система обратилась к его эталонам, и т.д. В этом смысле к неадаптивным системам распознавания речи можно отнести две интересные системы распознавания фраз, произносимых с паузами между словами. Эти систрмы были созданы в Институте систем управления АН ГрузССР.
Одна из этих систем [ 77] была предназначена для оперативного управления объектами путем распознавания фраз-команд, произносимых предварительно верифицированными дикторами. Ьможество фраз, составленных из 134 слов,включало 75 типовых синтаксических конструкций. Каждая фраза содержала не более 14 слов и произносилась полным стилем с паузами между словами. Параметрами
16
первичного описания были: энергия с 6 полосовых фчльтров, дедек-торы плотности нулевых пересечений сигнала, общая энергия сигнала и признак звонкости - гдухости. (Параметры измерялись и вводились в память ЭВМ каждые 20 мс.) На первом этапе анализа определялась (по динамике параметров первичного описания) макро-временная структура фразы и слов. Полученная грубая структура кодировалась и вместе с данными о положении локальных максимумов скорости изменения значений параметров первичного описания служила основой для получения посегментного (кваэифонетичес-кого) описания слов во фразе. В результате каждое слово фразы представлялось в виде матрицы чисел Ц3'17! > W l•/•л-номера соответственно признака, сегмента в слове и слова во фразе.
Процесс распознавания слов начинался с выбора эталонов -претендентов, идентичных входной реализации, и кодов макровре-ненной структуры и отличных от нее числом квазифонетичвских сегментов на величину не более заданного порога. Наиболее вероятные пары гипотез о слове принимались методом динамического программирования. При этом учитывались лексические ограничения на место слова во фразе. Далее блок семантико-синтаксического анализа принимал решение об истинной последовательности слов во фразе. При работе с шестью операторами и обучении системы на каждом из них надежность распознавания слов составила 8836,а надежность распознавания фраз за счет блока лингвистического анализа - 95%. Точность верификации диктора по произвольной фразе - 96%. Система устойчива к внешним шумам до 65 дБ.
Другая система, разработанная в Институте систем управления АН ГрузССР,способна работать при более высоком урочне шумов (до 100 дБ и выше) СЗб]. Основной особенностью этой системы распознавания фраз, произносимых с паузами между словами, было наличие комплекса помехозащищенных датчиков, который обеспечил приемлемое отношение сигнал/шум на входе системы распознавания. В качестве приемника речевой информации применялся ларингофон ЛЭМ-3, а также дополнительные помехозащитные признаки устной речи, в качестве которых использовались артикуляционные характеристики ре-чеобразования. Бесконтактные датчики позволяли выделять:
- признак, отражающий изменение величины раствора ротовой щели во время произнесения неогубя°нных звуков;
- признак степени огубяения;
- признак скорости воздушного потока у потового отверстия [42].
Зак.480
17
Изучение свойств речевого сигнала в пространстве выбранных признаков позволило разработать процедуру описания слов, обеспечивающую восстановление как макровременной (имеется в виду пос-хедовательность звонких и глухих участков, а также пауз),так и квазифонемной структуры речи. При испытании систем [ЗЬ,??] выявилась высокая точность распознавания фраз. К сожалению,обе системы реализованы на ЭВМ Ы-200, обладающей малым объемом оперативной памяти и слабым быстродействием, из-за чего время распознавания фраз было в 30 - 50 раз больше реального.
В ранках традиционного аппаратурно-программного направления автоматического распознавания речи ведутся работы в ВЦ и Институте проблем передачи информации АН СССР [13,67,6?] .В основе метода лежит алгоритмическая обработка выделяемых специальной аппаратурой информативных параметров коротких отрезков речевого сигнала (сегментов длительностью 10-20 мс). Последовательность этих отрезков и составляет высказывание, которое требуется дешифрировать. Параметры (признаки) сегментов характеризуют (в большей или меньшей степени) параметры речеобразующего тракта человека, определяющие особенности порождаемых звуков.
В Cl3] рассмотрены алгоритмы распознавания названий чисел от нуля до ста, причем система предусматривает реальное время распознавания и произвольного диктора. Алгоритм распознавания двухступенчатый и состоит из блоков распознавания и подтверждения фонетической структуры (верификации). Если гипотезируемое слово не подтверждается (блоком верификации), то входная реализация сравнивается с другими словами, близкими к ней в пространстве признаков, или подается сигнал переспроса. При распознавании двухсловных сочетаний второе слово анализируется с конца в направлении к его началу. Варианты произношения, на основании которых создавался алгоритм, исследовались на материале около 2200 реализации названий чисел, произносимых 20 дикторами. В результате анализа получены варианты произношения двузначных чисел. Многие из них произносятся сравнительно единообразно и различаются степенью редукции безударных гласных, степенью аффрицирова-ния мягких взрывных, наличием или отсутствием смычек перед аффрикатами и т.д. В других числах может существенно нарушаться фонетическая структура, пропуски отдельных согласных.В условиях, когда возможно множество вариантов произнесения, алгоритм должен использовать лишь наиболее употребительные варианты, в которых сохраняются "оперные" звуки - ударные гласные, щелевые, взрывные, а также начальные и конечные звуки.
I&
В OS?] рассмотрено использование речевого Управления в подсистеме АСУП на базе мини-ЭВМ. Аппаратурно-программная система, разработанная в Львовском ордена Ленина государственном университете им. И.Франко, уже эксплуатируется. Система использует мини-ЭВМ ЕС-1010 в режиме реального времени и параллельной работы около 90 производственных задач. Это налагает жесткие условия на объем оперативной памяти, используемой для программ обработки речевого сигнала (всего 10 Кбайт). Словарь системы 40 слов, которые могут быть организованы в командные фразы (5 слов во фразе). Используется девять типов запроса, примерами которых могут быть: "оперативная сводка выпуска", "ресурсы смены", "выходные характеристики участка первой настройки" и т.п. Из-за жест-' ких ресурсов памяти система ориентирована на работу с одним диктором, сформировавшим свои эталоны и имеющим свой пароль. Работа системы в помещении машинного зала с уровнем шумов 68-75 дБ показала надежность распознавания фраз, превышающую У0%, а после переспроса - более 9Ь%.
Недостаточная надежность распознавания с первого ^^произнесения обусловлена в основном упрощениями алгоритма распознавания, на которые пришлось пойти ради экономии'места и оперативной памяти.
Аппаратурно-программное направление представлено также системой [33] , которая на первом уровне распознавания обнаруживала в словах сегменты и классифицировала их по способу образования звуков на гласные, щелевые, аффрикаты, дрожащие , а также глухие и звонкие. На втором этапе некоторые звуки классифицировались внутри данной группы по месту их образования. В результате каждому сегменту присваивалась Кодовая последовательность,занимающая I байт. Четыре старших разряда этого кода указывали групповую принадлежность данного звука, четыре младших разряда определяли тип звука внутри данной группы.
Для распознавания слов образуется элементарная последовательность псевдослогов, сравнивающаяся с эталонами последовательности. При экспериментальной проверке работы система распознавания на материале 50 и 200 слов с участием трех дикторов она показала 93 и 84% точности распознавания соответственно.Анализ ошибок показал, что в большей части они вызвали неправильными формированиями сегментов контрольной реализации или эталонов, возникающими при срабатывании системы до начала произнесения от посторонних шумов или шумов дыхания.
Интерес к построении систем распознавания речи, работающих с множеством дикторов,стали проявяять и исследователи, тради-
19
ционно работавшие с одним диктором. Т.К.Винцюк и соавторы [21] показали, что в рамках существующей однодикторной системы фонемного распознавания речи может быть создана многодикторная система распознавания, которую авторы назвали кооперативной,поскольку система предварительно обучается по выборке кооператива дикторов. Основные результаты экспериментов:
при индивидуальном обучении системы распознавания речи средняя надежность распознавания по чужим дикторам не превышает 80% (на словаре из 100 слов);
- при кооперативном обучении средняя надежность распознавания для четырех членов кооператива составляем 98^, что вполне приемлемо для практического использования;
- кооперативное обучение способствует существенному превышению надежности распознавания речи лиц, не участвовавших в получении обучающей выборки (для двух новых дикторов средняя надежность распознавания 97 и 92%).
S 1.3. Развитие систем распознавания/понимания слитной речи
Задача общения человека и ЭВМ с помощью естественной,слитной речи оказалась гораздо более сложной, чем построение систем распознавания изолированных слов. Одной из первых практических систем распознавания последовательности слитных словосочетаний (пять слов исходного словаря) явилась система фирмы KdC .описанная ранее.
В дальнейшем будем различать системы распознавания *и системы понимания слитной речи. В первых, как правило, рассматриваются фразы, составленные из последовательности слов, между которыми синтаксическая и семантическая связь либо отсутствует,либо слишком жесткая (используется автономная грамматика).Системы понимания, в отличие от систем распознавания, при декодировании входного высказывания используют высшие лингвистические уровни языков, близкие к естественным, работая с фразами, в которых допустимы стилистические ошибки, бессмысленные звуковые сочетания, произвольные паузы и междометия.
При построении систем понимания речи необходимо в большей степени, чем при создании систем распознавания слитной речи, использовать опыт специалистов по искусственному интеллекту, а также привлекать специальные знания о синтаксисе, семантике и прагматике языка общения. В то же время отметим, что деление на системы автоматического распознавания и понимания является 20
достаточно условным и фактически определяется коэффициентом ветвления, который показывает, сколько возможных слов допускается после каждого слова высказывания. В современных системах распознавания слитной речи средний коэффициент не превышает,как правило, 30 (в системе Nac-ISQ), а в системах понимания этот коэффициент достигает 200-300 (бессмысленные звукосочетания типа цмм ... , эээ ... и т.д., а также паузы и междометия можно рассматривать в СПР как возможные варианты слов).
Так как автоматическое распознавание 300 - 300 слов в непрерывном речевом потоке - сложная задача, веди использовать обычные математические методы распознавания, то для ее решения и привлекаются высшие уровни знания о языке (синтаксис, сематика и прагматика), а также другие способы, обеспечивающие сужение числа альтернатив на каждом шаге принятия решения о слове, используемые обычно в задачах искусственного интеллекта (ИИ). В связи с этим в системах понимания говорят о семантической точности распознавания смысла фразы, когда не все составляющие (слова) могут быть распознаны правильно.
Перейдем к рассмотрению систем распознавания слитной речи. Как правило, такие системы работают по принципу фонемного распознавания, от точности которого зависит общая надежность работы системы. Одной из наиболее интересных отечественных систем с обучением на конкретного диктора и словарь является система, построенная в Институте кибернетики АН УССР им. В.М.Гяуи-кова [l9,20] , развитием которой стала кооперативная система распознавания рвчи[213.
В основу этой системы положена математическая модель речевого сигнала, в которой каждой фонеме соответствует полученный алгоритмически (на основе анализа текущей автокорреляции сигнала, параметров линейного предсказания и текущего энергетического спектра) определенный набор бинарных признаков ( двоичный код). Модель учитывает коартикуляционныв эффекты, изменение длительности фонем и динамику интенсивности сигнала. Модель автоматического распознавания Института кибернетики АН СССР использует анализ сигнала посредством синтеза.
Некоторый процеср порождает из элементарных эталонных сигналов по определенным правилам эталонную слитную речь (общий для всех слов алфавит эталонных элементов содержит около 80 элементов кодов). Распознавание слитной рччи сводится к необходимости нахождения наиболее правдоподобного эталонного сигнала слитной речи.
21
В этой модели автоматически находятся границы отдельных фонем, паузы, тип и общее количество фонем в распознаваемой последовательности о учетом априорной вероятности частоты встречаемости фонем. Эталонный сигнал слитной речи формируется из эталонных сигналов отдельных слов путем нелинейного преобразования исходных словесных эталонов. При этом эталонные сигналы слов складывались в эталонную слитную речь так, что паузы между словами имели различную длительность (в том чис/ie и нулевую),а длительность элементов фразы изменялась плавно. Параметрами грамматики, порождающей эталонные фразы, являлись: алфавит эталонных элементов, акустике-фонетические транскрипции слов, правила стыковки слов во фразе, правила нелинейной деформации сигналов вдоль оси времени и некоторые другие параметры.
Для экспериментов по распознаванию слитной речи ( словарь включал 200 слов) были получены 1000 реализации этих слов, произнесенных одним диктором (обучающая выборка). При испытаниях система дала 0,5% ошибок и 3% отказов при распознавании слов в слитном потоке. Расширение словаря до 300 слов увеличило количество ошибок до 1%, причем отказов было 3,5%. При экспериментах со словарем из 100 слов удалось получить время распознавания (на ЭВМ БЭСМ-6), равное I с на I слово [193 • Отметим, что близкий к этому метод используется в системах распознавания слитной речи (СРСР), разработанных в Отделе вычислительной науки исследовательского центра фирмы 1УЫ. В связи с тем, что данная фирна (так же, как и фирма Sperry Univac ) активно занимается исследованиями по распознаванию слитной речи после завершения проекта arpa , рассмотрим эти работы более подробно.
В С39] описана СРСР, в основе которой лежит модель акустического канала, обеспечивающая автоматическое порождение всех возможных поверхностных форм предполагаемого высказывания совместно с вероятностями их порождения. Это порождение осуществляется с помощью акустико-фонологических правил (АФП).приложенных к базовой цепочке высказывания. АФП учитывают в слитной речи такие фонологические явления, как пропуски, вставки и замены отдельных фонем внутри слов, повышенный тон речи, диалектные особенности, изменения на стыках слов и т.д.
Удобной структурой для выражения поверхностных форд высказывания явился направленный граф, дуги которого помечены возможными звуками. Каждому узлу графа соответствует распределение вероятностей, указанных на выходящих дугах. Дуги на концах графа, соответствующего совокупности всех поверхностных форм произнесен-
22
ного слова, имеют связанные с начальными и конечными состояни-яни условия соединения, определяемые фонологическими явлениями на стыках слов.
Язык системы определяется автоматной грамматикой, представленной графом и включающей 250 слов. Для распознавания использовался лингвистический декодер-алгоритм последовательного декодирования, обеспечивающий нахождение предложения о максимальной апостериорной вероятностью по последовательности цепочки фонем, поступающих с выхода специального акустического процессора. Точность декодирования высказываний на контрольной выборке составила (по данным на август 1977 г.) 95% при 6% ошибочной интерпретации, которые были вызваны 0,6% ошибок неправильного распознавания слов. Следует отметить, что рассматриваемая система была сияьно модифицирована за последние три года: упрощен акустический процессор, с которого быви сняты функции фонемной сегментации и маркировки. Сказалось возможным, используя алфавит из 33 фонем, маркировать ими десятимиллисвкундные отрезки речевого сигнала непосредственно по акустическим данным.Преимущество такого представления авторы работы [Ю5Д видят в том, что, во-первых, информация о звуке,распределенная по длине фонем, оказывается более полезной для распознавания, так как при этом возрастает количество информации, поступающей от акустического процессора к лингвистическоу декодеру. Во-вторых, сегментация и маркировка (принятие решения о звуке) разнесены во времени, и лингвистический декодер может, основываясь на структуре отдельных слов, во время сравнения решить, представляет ли короткая маркированная цепочка десятимиллисекунцных сегментов истинный звук или же это - ошибочная ложная ставка.
Дальнейшее совершенствование сантисенундного акустического процессора ( asAJ ) за счет использования 45 эталонных фонетических меток вместо 33 позволило повысить точность классификации (на языке со словарем из 250 слов) до 98,8% на контрольном материале 100 предложений [l07] . Следует отметить, что еще более совершенный процессор ( wbap ), на котором получены наилучшие результаты распознавания (0% ошибок), использует лишь пять параметров, один из котррых - кратковременные изменения общей энергии сигнала, а четыре - отражают параметры гласных и описаны ранее в [l4l] . Этот процессор осуществляет акустическое сравнение непосредственно, используч величины акустических параметров, а не фонетические метки, связанные с сантисекундными отрезками. Для каждого слова используется модель с конечным числом состояний, которая порождается алгоритмически из отображенного
23
произношения. Число состояний модели равно длине этого произнесения в сантисекундах. В модели обеспечиваются переходы из состояния к этому же состоянию, к соседнему и через одно.С каждым переходом связано пятимерное гауссовское распределение в пространстве первичных параметров. Средние значения и дисперсии выходных распределений, а также переходные вероятности формируются автоматически при обучении на дополнительных реализациях слов при формировании обобщенных эталонов с помощью алгоритма Вктер-би [39].
В процессоре wbap используемая статистика основана скорее на особенности слов, чем на особенности звуков.
Следует отметить, что за I976-I978 гг. предпринимались попытки увеличить объем используемого в СРСР фирмы IBh словаря до 1000 слов (тезаурус лазерных патентов). Предварительные результаты испытаний этой системы описаны в [106} . На тестовом множестве фраз, куда входило 486 слов, ошибка распознавания слов составила 33,1%, причем ни одна из й0 контрольных фраз не была определена правильно - программа распознавания делала ошибку хотя бы в одном слове каждой фразы. Развитие этой системы [107] позволило за счет увеличения числа фонетических меток до 52 снизить ошибки в распознавании слов до 20%.
В [108,109] рассмотрены дальнейшие улучшения этой системы, позволившие уменьшить число ошибок при распознавании слов за счет использования более совершенного сантисекундного акустического процессора сзар-зоо, в котором число эталонных фонетических меток было расширено до двухсот. При распознавании 50 п"едл°жений, включающих 980 слов, неверно распознано 87 слов, в числе которых 34 слова, составившие односложные слова типа "of", " а ", " are ","as" и др. Переход к работе этой системы с множеством дикторов описан в [l59]. Работа с новыми дикторами реализована за счет использования автоматической селекции акустических эталонов, выполняющейся двумя различными способами.Один из методов, в основе которого лежит процедура Витерби С 39], реализован с помощью сантисекундного акустического процессора TPIVIAI [l07], а другой, основанный на алгоритме кластеризации, использует акустический процессор autociust. (В первом методе использовалось 85 эталонов, во втором - 20D.) Точность распознавания слов составила при использовании первого алгоритма 65%, а второго - 90%. В 1983 г. была публикация одной фирмы о распознавании словаря деловой переписки общим объемом 5000 слов.
Над проблемами распознавания слитной речи продолжает работать фирма Sperry Univas, участвовавшая в проекте АЙРА. Эта
24
фирма разработала с"стему автоматического распозньвания слов,словосочетаний и естественных предложений {l74] . На основе спектрального анализа и линейного предсказания в спектральной об-дасти звуки классифицировались по способу и месту образования. Система была испытана на словаре из 31 слова двумя дикторами. Точность распознавания изолированных слов при использовании синтаксиса задачи составила 95%. Предварительные результаты по распознаванию слитной последовательности слов, произносимые тремя дикторами, составили от 54 до 74% для задачи с ограничечным порядком следования слов. Предполагалось, что в дальнейшем будут использованы акустико-фонетичзские и фонологические правила, нормализация дикторских произношений, просодические характеристики речи. Предполагалось также, что будут использованы более сложные процедуры для синтаксического и семантического анализа. В 1977 г. система работала с двумя словарями - из 36 (алфавит-но-цифровой словарь) и 64 слов (словарь речевого управления) [123, 153] . Для обоих словарей точность распознавания составила 95^, а средней точности распознавания слитялс словосочетаний - 88%.Дальнейшие разработки включали расширение словарного состава системы, числа типов предложений, использование правил фонетической и словесной верификации.
В [l54] сообщается, что система Sperry Univac. была модернизирована для поиска и верификации ключевых слов в потоке слитной речи. В этой системе использовались измеряемые на деся-тимиллисекундных интервалах параметры речевого сигнала, проведшего через телефонный канал. Исследователями был выбран достаточно мощный набор параметров- Непосредственно по речевой волне определилась частота основного тона. Спектральный анализ с помощью быстрого преобраэозания Фурье (БПД) позволял получить следующие признаки речевых отрезков: общую энергию в полосе 100 -8600 Гц, энергию сонорных (100 - 3000 Гц), высокочастотную энергию сонорных (650 - 3000 Гц), низкочастотную энергию (JOO - 600 Гц), разность энергий низких и высоких частот <100 - 900 Гц) - (3000 - 3600 Гц), частоту максимума спектральной амплитуды в полосе 100 - 3600 Гц, спектральную производную на этой частоте и энергии в 15 полосах частот телефонного канала. Кроме того, линейное предсказание в спектрадьной области давило возможность получить и использовать коэффициенты линейного предсказания и частоты первой и третьей формант.
Система содержит компоненты просодического и фонетического анализа, которые обеспечивают последующее сегментное структурирование высказывания (получение цепочки кваэифонетическюс сегментов)
Зак.480 26
для лексического сравнения. Сравнение осуществляется с помощью блоков словесного гипотезирования и верификации. Верификация слов производится методом динамического программирования. При построении системы обнаружения ключевых слов была использована обучающая выборка - разговорная речь, продолжительностью 13 мин. Предложения произносили 8 дикторов. Контрольная выборка составляла II мин разговорной речи 10 дикторов (из которых двое участвовали в обучении).
При контрольном эксперименте точность обнаружения 10 ключевых слов была невысока, но все же испытания следует считать обнадеживающими. В [124] отмечается, что в течение 1978 г. отдел речевой связи Jperry nnivac работал над созданием более совершенного блока фонетического анализа, который фактически стал лексически-управляемым фонетическим верификатором (а не автономным фонетическим анализатором, как раньше ),что лучше учитывает коартакуля-циокные эффекты внутри слова. Модернизация счстемы позволила [I55J получить более удовлетворительные результаты по обнаружению и верификации ключевых слов в потоке слитной речи. На тестовых предложениях (16,7 мин разговорной речи 14 дикторов, не принимавших участия в обучении системы) ключевые слова были обнаружены в 30% случаев.
В [l87] описана система распознавания слитно произносимых цифр, разработанная фирмой Bell laboratories. Систэма состоит из двух взаимодействующих блоков. Первый осуществляет пословную сегментацию всего высказывания на отдельные цифры, а второй производит распознавание этих цифр по результатам сегментации. При распознавании использовались признаки сеп/^нтов речевого сигнала:
р - параметр, логарифм анергии, кооффициенты линейного предсказания и ошибка предсказания .и коэффициента автокорреляции.Для пословной сегментации слитных словосочетаний учитывалось то обстоятельство, что для этого конкретного словаря (английские названия цифр) шумные участки и паузы (глухие смычки) могли находиться только в начале или конце слов. &ти участки и являлись в основном опорными границами между словами. Точность пословной сегментации составляла 99% (при произнесении словосочетаний как в тихой комнате, так и в условиях машинного зала). Точность распознавания словосочетаний (названий семизначных телефонных номеров) составила 91% для 10 дикторов (5 мужчин и 5 женщин), произносивших фразы в тихой комнате, и QT% для тех же дикторов, находившихся а машинной зале. В [149] отмечается, что получены обнадеживающие результаты по распознаванию слитной речи, использующей словарь в 1й*7 слов, аналогичный словарю [ 147,148] . Дальнейшее развитие этих систем описано в [156,1693.
26
Система Hearsay-П создавалась на базе разработанных ранее систем распознавания слитной речи Dragon и Hearsay-I.Аналогично Hearsay-I главным принципом Hearsay-д было выдвижение гипотезы (о звуке, слове, фразе) и ее подтверждение с помощью всех возможных источников знаний (ИЗ) о речевом сигнале .
Описания высказываний, которые должны анализироваться в этой системе понимания речи, имеют унифицированную трехмерную структуру, причем размерностями являются: уровни представления (акустический, фонетический, слоговой, лексический, синтаксический и семантический), время и вероятностные альтернативы (на каждом уровне для каждого временного отрезка). Ьта структура содержится в памяти системы как единая информационная база (ВИБ),подвергающаяся исследованиям и модификациям с помощью различных программ, реализующих ввод в систему необходимых источников знаний.
Работа комплекса программы на единой информационной базе (которую называют "классной доской") и есть интерпретация слитно произнесенного высказывания на различных лингвистических уровнях - от фонетического до семантического.
Общая информационная память, построенная как единая многоуровневая информационная структура с внутренними связями, представлена в системе Hearsay-П в виде графа. Основная единица этой информационной структуры - узел графа, являющийся гипотезой о существовании в высказывании некоего частичного элемента. Структурные отношения между узлами графа (гипотезами) представляются дугами графа, обозначающего связи. Существует два наиболее важных типа структурных отношений - "последовательность элементов" и "выбор элементов".
Последовательность - это структурное отношение, означающее, что гипотеза верхнего уровня поддерживается "юследовательныы рядом гипотез на нижнем уровне (например, слово представляется последовательностью непересекающихся во время звуков речи). Выбор - отношение, определяющее гипотезой альтернативную поддержку от двух и более гипотез , причем каждая от них существенно перекрывает тот же временной отрезок (т.е., например, гипотезой, допускающей на данном временном интервале несколько различных слов примерно одинаковой фонетической структуры).
Распространение идеи "выдвижение гипотезы - ее подтверждение" на все уровни знаний о речевом сигнале требует организации системы передачи информации между уровнями. В связи б двумя видами, структурных отношений между узлами графа можно рассматривать и два типа гипотез - горизонтальные и вертикальные, подт-
27
верхдаемые соответствующими источниками знаний. Гипотеза считается горизонтальной, если источник знаний использует контекстуальную информацию на данном уровне для подтверждения гипотезы того хе уровня. Вертикальная гипотеза определяется как гипотеза,требующая для своего подтверждения информации, получаемой источниками знаний на других уровнях.
Основная функция источников знаний - устранить ошибки, возникающие при обработке слитной речи. При этом источники знаний должны вовремя добавить какую-то новую информацию, внести что-то полезное для более надежного распознавания. Источники знаний должны уметь распределять эти знания через механизм выработки гипотез, оценивать цобавку от других источников знаний,т.е. подтверждать иди отвергать гипотезы, сделанные другими источниками знаний. Источники знаний необходимо создавать таким образом, чтобы их можно было приспособить к новым участкам анализа высказывания и вообще к новым задачам автоматического понимания слитной речи.
Для нормальной работы СПР Нвагаау-11 необходимо реализовать:
1) достаточно общую, структурно-полную информационную базу, анализируя которую, источники знаний могут вводить новые гипотезы,' проверять и изменять гипотезы, размещенные в этой базе другими источниками знаний;
2) средства для описания разнообразных источников знаний и обеспечения их внутренней обрабатывающей способности;
3) возможность управлять действиями источников знаний ин-фовмационко-направленным способом (необходим способ, с помощью которого определяется ряд предварительных условий, запускающих необходимый источник знаний);.
4) признаки, по которым обнаруживается удовлетворение этих условий и локализуется часть информационной базы, в которой заинтересованы соответствующие источники знаний.
Для реализации п.4 необходимы два механизма: мониторный руководящий механизм, обнаруживающий изменение общей информационной базы и оценивающий природу этих изменений, и ассоциативный механизм повторных испытаний и восстановления частей информационной базы, когда это необходимо. Таковы самые общие сведения о Hearsay-П. Переедем к более детальному рассмотрению этой системы.
Параметрическое представление высказывания в Неагвау-П сводится к использованию двухступенчатой системы признаков. Несмотря на то, что в последнее время большое внимание уделяется
28
точным методам нахождения параметров речеобраэующего тракта (в частности, с помощью линейного предсказания), неапау-11 используется лишь на втором этапе. Но прежде чем использовать коэффициенты линейного предсказания, авторы Неагвау-П получают гораздо более простые и дешевые обобщенные параметры,которые назвали параметрами zapbash (Zero Orosetng and PeaHs at Differenced and Smooth Vaweform). Эти параметры обеспечивают грубую сегментацию речевого потока по способу образования звуков, т.е. обеспечивают сегментацию и маркировку I уровня. После локализации в высказывании фонетических элементов применяют сегментацию и маркировку П уровня, основанную на использовании коэффициентов линейного предсказания, обеспечивающего более точную идентификацию сегментов.
zapdash - параметры речевого сигнала, определяющие интегральные характеристики звуков в низкочастотном (< I кГц) и высокочастотном ( >1 кГц) диапазонах. Эти параметры выделяются в реальном масштабе времени из сигнале, поступающего с АЦП в мини-ЭВМ, которая обладает средним быстродействием 600 тыс. операций в I с. Параметры (число нулевых пересечений и амплитудное значение сигнала на интервале анализа для каждого из диапазонов) формируются программно, и их значения дают возможность грубо классифицировать сегменты на 10 различных типов - пауэы (глухая смычка), наличие звонкой смычки, характеризующие звонкие взрывные б, д,г, сонорный согласный, глухой фрикативный (переднеязычный или заднеязычный), носовой, свистящий, гласный высокого иди низкого подъема. В дальнейшем производится пере классификация сегментов на 59 классов, некоторые из них пересекаются в пространстве признаков.
На второй стадии к среднему участку сегментов применяют сравнение с эталонами (этих эталонов для каждого класса сегментов может быть до 100). При сравнении средний участок сегмента по-ступившей на вход реализации сравнивается с множеством эталонов, которые подучены от специально обученных дикторов. Использование сегментации I уровня позволяет, как отмечается в [l79], ускорить общую сегментацию в пять раз по сравнению с унифицированной, основанной .исключительно на коэффициентах линейного предсказания.
Как уже отмечалось, ключевой проблемой систем понимания Речи является верификация сдоврсиьк гипотез.подожданных различ-иыми источниками знаний. Блок словесной верификации должен оце-нвдь, насколько акустические данные входной реализации соответствуют фонетической транскрипции гипотезируеного слова.
2S
В соответствии с оценкой, словесный верификатор отбрасывает большее числе гипотезированных слов, сохраняя возможные пра~ вильные, чтобы впоследствии отобрать единственное с помощью инфор~ мации высших уровней.
В Hearsay -П слова порождаются либо словесным гипотезато-ром снизу вверх (блоком POMOW), либо преде называются сверху вниз семантико-синтаксическим блоком sass . Блок словесной верификации wizard обрабатывает гипотезы о словах снизу вверх, используя акустическую информацию и результаты автоматической сегментации. Каждый сегмент высказывания представлен вектором фонемных вероятностей (т.е. с каждым отрезком высказывания связываются определенные звуки, которым присваиваются некие веса), Каждое слово словаря записывается эталонным графом возможных фонетических произнесений, учитывающим все альтернативные варианты произнесений. Однородная модель, используемая блоком словесной верификации, дает возможность найти оптимальное совпадение одного из эталонов (соответствующее пути на одном из эталонных графов) и участка входной реализации, соответствующего слову.
В системе Hearsay-П при словесной верификации стыки между словами не рассматриваются, делается лишь их внутренняя обработка. wizard пытается верифицировать слова, как будто они находятся в изоляции.
При верификации слова обрабатываются снизу вверх следующим образом: предсказанные моменты начала и конца слова связываются с соответствующими сегментами высказывания bseg и eseg. Исследуются все пути в эталонных графах возможных слов, которые совпадают с отрезками и входной реализацией. Сравниваются с эталонами отрезки, которые начинаются в (baeg-I: beeg +I ) и заканчиваются в jeseg -I I eeeg +I(, т.е. параллельно рассматриваются девять возможных участков высказывания, что приводит к девяти оптимальным путям на эталонных графах, из которых выбирается тот. оценки которого наибольшие, или наиболее соответствуют рассматриваемому участку. Сдвиг на один сегмент вправо или влево позволяет избегать ошибок при представлении входного, высказывания (акустических данных) различными источниками знаний. В результате блок словесной верификации может изменять время словесных гипотез, а также их оценки. Следует отметить, что если в проектах ВШ (Speechlis и HWIM) идет непосредственный переход от фонетического описания к словесному, то в Hearsay-П используется еще промежуточный, слоговый уровень между словами и звуковыми сегментами. Для поддержки словесных гипотез используются так называемые типовые слоги, слоготипы (syltypes).
Ццея слоготипов сводится к тому, что слоги, имеющие похожие сегменты (например "та", " па"), относятся к одному типу. Никаких попыток различать слова с одинаковыми слогами в Нвагвау-П не делается. Каждый слоготип характеризуется слоговым ядром, определяемым эвристически присвоенными сегментными метками и положением максимума энергии на отрезке. Для каждого слоготипа гипотези-руются слова, в которых встречается данный слог; многосложные слова отбрасываются, если плохо согласовываются о последовательностью слоготипов. Подробное описание слогового гипотезатора pokow содержится в С 1783.
В Неагаау-П содержится еще один гипотезатор - гипотеза-тор словесных последовательностей wozeq. В сравнении со стратегией однословных "островков надежности" многословная последовательность желательна по двум причинам:
1) доверие к гипотезе о последовательности сдов более высоко, чем в однословной гипотезе;
<;) правильность оценки (в очках) для последовательности слов выие, чем для одного слова. (Последовательность слов использует избыточность языка, йероятность того, что гилотияируемая последовательность правильна, может превосходить вероятность того, что правильно одно слово. Сравнение оценок, основанных на средних оценках нескольких составляющих, статистически более надежно, чем сравнение, основанное на оценке одной составляющей.)
Синтаксический и семантический источники знаний в Неагвау-п представляются блоком sass . Этот блок имеет дело с гипотезами, представляющими слова, словосочетания или фразы, воспринятые или предложенные. Задача sass - найти наиболее правдоподобное предложение по последовательности смежных слов. Правдоподобие определяется достоверностью словесных гипотез и грамматической правильностью и осмысленностью предложения. Как уже отмечалось, в и«эаг-aay-il многочисленные альтернативы представляются в общей информационной базе и обрабатываются параллельно независимыми информационно направляемыми программными блоками - модулями источников знаний, которые создают, проверяют и переписывают гипотезы о высказывании, запоминая их на доске. Одна размерность доски - уровень представления, другая - время, третья - вероятность правильности гипотезы, оцениваемая в очках. С точки зрения sass общую информационную базу ("классную доску") можно рассматривать как схему гипотезированных слов, порождаемых различными источниками знаний. Вертикальные измерения - это очки (в диапазоне - 100 * -» +100), оценивающие достоверность словесных гипотез.
31
30
Проблемы, стоящие перед семантико-синтаксическиы блоком -неопределенный комбинаторный поиск, слабое (например, предложение заполнить пробелы на временной оси гипотезами о словах) и сильное (например, совсем отвергнуть какую-либо гипотезу) вмешательство, необходимость использовать частичную информацию (частичные грамматические конструкции), способность динамически менять свои критерии достоверности - общие проблемы многих больших систем,основанных на информационном управлении.
Уффективное решение этих проблем, по-видимому,потребует построения такой системы, в которой последовательность процедур заключительной обработки чувствительна к различным сотрудничающим и конкурирующим отношениям между гипотезами, ато означает, что семантико-синтаксическая обработка облегчается на гипотезах, поддержанных одновременно несколькими источниками знаний, и задерживается на гипотезах, которые конкурируют, не согласуются с очень надежной гипотезой. Задержка гипотезы должна быть достаточно гибкой, недетерминистской, неокончательной, так как и слабая гипотеза при интерпретации высказывания может оказаться верной. Гибкая задержка осуществляется в Hearsay- П механизмом фокусировки внимания, который распределяет ресурсы так, чтобы в первую очередь рассмотреть наиболее обещающие гипотезы.
Синтаксические и семантические знания о проблемно-ориентированном языке Hearsay-П выражаются в компактной, легко читаемой грамматике» которая задается параметрическими структурными представлениями (PSR), являющимися множеством пар типа "определение - объект". psr используются для определения класса слов и фраз, которые могут выполнять синтаксические и семантические функции проблемно-ориентированного языка, состоящего для Hearsays И из простых вопросов. Например, psr:
($СЪА35: $QUEPY, $HAME: "PAPSED QUEPY", 6 : $QinME + $flfHAT,
El ТЕ L Ь +'$ ME + $ПЕ + ФТОПСЗ, 6 » WHAT + HAPPENED + $ АЮТ AY, e s WHAT + ф BE + THE + $N EWS+tRE + ^TOPICS
ЦСТЮМ t PASS, $LEV EL ! 300)
определяет класс возможных вопросов в терминах их альтернативных синтаксических реализации, аначок ® обозначает принадлежность к классу. Каждая член класса - это последовательность эталонов, составляющие которых, разделенные знаком "+", слова или фразы. «разовые сосгааяяшеи» помечаются значком $ и определяются в
32
свою очередь другими psr. faction pass означает, что реакция блока ЗАЗЗна распознавание люоого из пяти эталонов в классе должна трактоваться как признак вопроса ( $query ) .»level оценивает относительную завершенность частичного грамматического разбора, лежащего в основе гипотезируемой фразы PSR:
6 : $CL ASS ! $TOPICS,
ЈPL АСЕ,
$FOOD,
$TECHNOL ОСУ,
$ С OVER NT.IE:IT,
ФР01Т1Т1С,
$PEOPL E,
e ; $TOPICS + SCONJUN CTICOT + 3>TOPIG S, 6 : CACTIOH : PASS, LEVEL : 40)
и определяет класс возможных предметов разговора (.Topice) в терминах их семантических подклассов.
Как уже упоминалось, sass имеет набор сильных и слабых средств, представляющих различные виды обработки информации на синтаксическом и семантическом уровнях.
1.Правило распознавания порождает гипотезу о фразе по достаточно надежным гипотезам о составляющих фразы. sass рассматривает слова распознанными, если их оценки (в очках), определенные другими источниками знанчй, превышают некий порог. Составляющие фразы должны также удовлетворять некоторым структурным требованиям - например, таким, как временная смежность между составляющими. Правила распознавания ведут обработку снизу вверх, двигаясь от частичного грамматического разбора к полному. Они представляют собой сильные средства обработки (сила оценивается вероятностью того, что последовательность распознанных составгчющих может как-то осмысленно интерпретироваться) .
2. Правила предсказания гипотезируют сио-во или фразу в зависимости от вероятности контекста, определенного на предыдущих этапах распознавания высказывания. Правила предсказания выполняют обработку, перекрывая временной ин-Тврвая "островками надежности". Эти правила необходимы потому, что не все слова в произнесенном высказывании могут быть рас-чознаны снизу вверх, т.е. источниками знаний нижних уровней. ^ияа правила предсказания определяется условной вероятностью того, что предсказанные составляющие могут быть в высказывании при
Денном (распознанном ранее) контексте, ата сила обратно пропор-'тонаяьна числу составляющих,которые могут появиться в этом контексте.
Зак.480
3. Правила повторного разбора ( res-pelling rules ) производят обработка7 сверху вниз и численно оценивают составляющие предскапанной фразы, разбивая гипотезируемое предложение на гипотезы для последовательных составляющих или же "расщепляя" гипотезируемый класс на альтернативные гипотезы для различных составляющих высказывания. Правила повторного разбора (прочтения) проводят обработку, возвращаясь к словесному уров. ню, так что предсказание (о фразе) верхнего уровня может быть подвергнуто испытанию (слово за словом) источниками знаний нижнего уровня, если на верхнем уровне что-то не сходится.
4. Правила постдикции несЭходимы для того, чтобы уже после сформирования понятия подтвердить его большим числом "очков доверия", дать ему более высокую оценку, подтвердив существующую гипотезу о фразе другими гипотезами. Правила постдикции как более сильные включают правила предсказания и повторного прочтения, которуе слишком слабы, чтобы подтвердить создание гипотезы, но могут внести полезный вклад, когда гипотеза уже существует. Правила постдикц^и выполняют три функции:
а) позволяют объединять выводы, поддерживающие оцениваемую гипотезу на основе различных источников знаний;
б) дают воамсвность гилотеэирсвать слова и фразы с низкими первоначальными оценками за счет их распознавания на основе контекста»
в) способствуют фокусированию внимания на главных направлениях, определяемых возрастанием очков гипотез тех слов, которые контекстуально возможны (и таким ооразом могут считаться правильными), так что обработка высказывания в этих направлениях происходит по списку приоритетов в первую очередь.
Автоматическое превращение описательной информации о грамматике языка -Hearsay- П , заданной параметрическими структурными представлениями ( psr), в процедурную форму осуществляет ком-пиллятор суытет , который транслирует эти представления в правила распознавания, предсказания, повторного прочтения и постдикции. cvshet разбивает последовательности слов, составляющих высказывания и представленных PSR, на пары последовательных эталонов, формируя новые подпоследовательности и порождая для них соответствующие правила [ 13Й 3 .
Одна из самых интересных систем автоматического распознавания слитной речи - система harfy, разработанная по проекту arpa (США, Питсбург). Эта система по сравнению с другими разработками, проводившимися по этому проекту [l5lj,наиболее близка к практическому использованию. Словарь harpy составляет ЮН словоформ - слов телефонной информацион-
34
но-справочной службы о новостях. При испытаниях harpy была получена точность распознавания фраз, равная 95% на обучающей выборке и 92^ на контрольной. Система воспринимает слитную речь, не содержащую стилистических ошибок. В harpy информация о языке представлена фонетическим графом - интегральной сетью переходов с конечным числом состояний, не учитывающей априорные вероятности переходов. Распознавание осуществляется сравнением входной реализации, представленной маркированными сегментами, с этой сетью.
Система содержит несколько эвристических процедур для улучшения ее характеристик: выделение подсетей и сжатие их для уменьшения общего объема сети, автоматическое составление описания коартикуляционных явлений на стыках слов и т.д. Время распознавания системы в период испытания составляло 2D с на 1 с речи (есть сведения, что в настоящее время оно снижено до Зс на I с речи).
Синтаксические значения в hahpy однозначно определяются независимым от контекста рядом выработанных правил, формализующих проолемно-ориентированный язык. Лексические знания представлены словарем, который содержит символическую фонемную транскрипцию всех альтернативных произнесений. Правила стыков, как и в системах IBM, учитывают фонетические явления при соединении слов в слитно произносимое словосочетание. В качестве первичных параметров используются коэффициенты автокорреляции и линейного предсказания. У системе Нлару в процессе работы осуществляется адаптивная подстройка под диктора с помощью десяти обобщенных эталонов, характеризующих усредненный вокальный тракт группы дикторов. На базе harp? был разработан голосовой ввод в картографическую систему ( vigs), позволяющий дублировать клавиатуру при вводе картографической информации [l3l].B настоящее время система harpy переводится на мультимикропроцессорную базу [36].
перейдем к краткому описанию систем "понимания" речи. Их разработка началась после появления отчета [161] , в котором известные американские специалисты в области искусственного интеллекта, распознавания речи, системного программирования, математической лингвистики изложили взгляды на проблему построения систем, воспринимающих слитную речь, произносимую на естественном языке. Основные положения отчета [161] легли в основу пятилетней программы arpa.
Достаточно подробные обзоры по начальному этапу работ над системами понимания речи содержатся в [79,85] . Поэтому здесь рассмотрим лишь итоги проекта arpa в области построения
35
конкретных СПР. Можно считать законченными (в большей или меньшей степени) системы понимания речи трех американских организаций -ОЫП, 3RI и ввн [179, 162, 187, 189].
Основные усилия c:,?J были направлены на построение системы понимания речи Неагаау-1 "^основанной на принципе: "Выдвижение гипотезы и ее подтверждение различными независимыми источниками знаний о языке". Отдельные элементы этой системы подробно освещены в [79, 85, 8b, I2U, 179].
Система Псагвву-п была испытана на IOU предложениях, составленных из IUH словоформ, аналогичных словарю системы harpy, описанной ранее (система HARPY имела грамматику с гораздо более простым синтаксисом). Ошибки при распознавании фраз в Неагаау-п составляди 16%, а время распознавания превышало время распознавания системы harfx в 2 - 33 раз.
В фирме вен на I этапе разрабатывалась система понимания речи Speeohlis, в качестве языка которой использовался упрощенный вариант языка ИПС lunar; система Ь^-паг давала возможность анализировать образцы лунных пород[?9,Уб1В дальнейшем была усовершенствована этой же фирмой новая система понимания речи нули (Hear what I mean ) С учетом недостатков Speechlia.
.Язык системь. hwim относится ^ области бухгалтерских расчетов. Вместо раздельных синтаксического и семантического блоков системы Speechlis , нздш имеет единый, семантико-синтакси-ческий модуль, реализующий так называемый блок "прагматической грамматики". Эта грамматика представлена здесь в виде сети и основывается не на таких синтаксических категориях, как подлежащее, сказуемое, определение,а на семантических - "поездка","ли ад", "расстояние". Словарь itvim включает 1100 словоформ [185, I8yJ
Прагматическая грамматика, хотя и жестко связана с проблемно-ориентированным языком, очень удобна длк обеспеченля простых принципов использования синтаксических, семантических и прагматических ограничений языка, которые необходимо делать для повышения точности интерпретации высказывания. По-видимому,на перво» этапе построения автоматических систем понимания речи целесообразно так и поступать, т.е. разделить задачи использования словарями (например, при автоматическом машинном переводе текстов) и использованием синтаксиса и семантики для построения СПР. dc ьтором случае задача несколько иная - и более сложная, и боле( простая. С одной стороны, нет уверенности в правильном распоэ навании всех составляющих высказывания; неясно, существуют я'
36
вообще пробелы (паузы, междометия и т.д.) на временной оси,где искать ключевые слова и пр. Но с другой стороны, мы ограничиваемся достаточно простым проблемно-ориентированным языком с относительно небольшим словарем и упрощенными грамматическими конструкциями.
В системе нто,1 акустическая информация используется блоками акустико-фонетического распознавания ( apr) и периметри-чеокой верификации слов ( ?та ). Результатом работы APR является фонетическая транскрипция "снизу-вверх".
Блок pvw осуществляет верификацию "сверху-вниз", води словесная гипотеза поддерживается акустическим уровнем. Основной программный модуль верификатора - программа синтеза слов по правилам.
Отдичие системы h.'.'im от Speechlia заключается также и в характере акустико-фонетического распознавания - в наличии у системы HWIM блока селективной модификации ( зМ), дающего возможность реализовать двухступенчатую сегментацию и маркировку. Программа SM на выходе порождает решетку сегментов, представляющую возможные альтернативы фонам. Каждый из сегментов первоначально маркируется одной меткой. Затем в зависимости от этой предварительной классификации вычисляются некоторые величины аку-отичаских параметров и модифицируются оценки данных фонем. Функции пяотности вероятностей, используемые блоком сеяективной модификации sM, поступают в бяок агер ( Acoustic Rionetic Experiments Facility ), который содержит модули, позволяющие моделировать звуки речи и проверять параметрические многомерные распределения вероятностей для ряда фонетических классов, что дает возможность полнее использовать многие независимые параметры одновременно.
Программа ан? выделяет не только грубые классы фонем, но и производит идентификацию внутри классов. Характеристики фонам в слитной речи сильно зависят от контекста, т.е. наблюдается наличие нескольких аллофонов, для которых оценки сильно перекрываются. Поэтому в hv/im для каждого класса фонем устанавливается ряд фонетических признаков и используется таблица, в которой показано ранжирование этих признаков для аллофонов каждого класса.
После сегментации высказывания и построения сегментной решетки, перекрывающей высказывайте отрезками, соответствующими фонемам, блок управления вызывает процедуру лексического поиска для сканирования вдоль всей сегментной решетки и поиска Ib наиболее подходящих слов. Из-за большой неопределенности на стыках
37
слов эту процедуру проделывают слева направо и справа налево. Сяова, отобранные процедурой лексического поиска, образуют словесную решетку, где они используются при последующей обработке. Блок управления, выбрав из УО отобранных при сканировании слов одно с наибольшим весом (получившее наибольшую оценку).пытается, основываясь на прагматической грамматике, строить гипотезу о большем отрезке сигнала. Если расширение гипотезы не получается, блок управления берет следующее (по вес^) слово словесной решетки; если это слово подходит, то расширяют двухсловную гипотезу, если же нет, то подбирают новое ключевое слово.так продолжают до тех пор, пока не будет построена гипотеза обо всем высказывании.
Если система не в состоянии сформировать правильную гипотезу о фразе или если исчерпаны ресурсы, то считается,что система не смогла интерпретировать высказывание. При расширении гипотезы блок управления вызывает синтаксическую компоненту, которая дает возможность оценить гипотезу и предсказать новые слова. Синтаксическая компонента помечает каждое слово словесной решетки, которое можно использовать для расширения гипотезь', и устанавливает, какие еще слова требуются для подтверждения этой гипотезы ("подсказка" сверху). В связи с последним могут быть произведены дополнительные сравнения с эталонами для проверки, нет ли в текущей реализации высказывания необходимых слов.
После того, как синтаксическая компонента ("прагматическая грамматика") сделала свои предположения слов слева направо, она вызывает процедуру лексического поиска для проверки новых гипотез о словах. Оценки слов, оценки гипотез об отрезках фразы и оценки фраз ("событий", как их называют разработчики Wi'iu ) влияют на общую стратегию интерпретации высказывания. Событиям присваиваются очки, приблизительно равные сумме очков слов подтвержденной гипотезы и слов, требуемых для расширения этой гипотезы,
Попробуем рассмотреть пример, из которого станет ясно, как работает механизм анализа предположения, основанный на так называемой "островковой стратегии". Пусть на вход системы поступила фраза:
"What Is the total budget figure ?"(Какова общая сумма бюджета?). При просмотре фразы справа налево процедура лексического поиска формирует таблицу:
17 17
24
22 11
182
178 174
-38
-10
-R
-d
-R
1. FIGURE
2. FIGURE
3. TOTAL
38
4. FIGURE1723169-535. YEAR2023107-23б. УСУ2022100-317. IS3596-318. ABOVE10149409. BUDGET111781-1610. IT6880-1611. IS2576-3112, ТО7973-4613^ WOULD0372-3114. -34572015, FIGURE172169-38Слева направо16. TOTAL - ED71?1971017. FIGURE1724182018. WHAT03178019. PIOURE1722178-3820. TOTAL711174-1021, FIGURE1723169-5322. HJDGET1117154-1623. VKAH2023107-2324. YOU2022100-3125. IS3596-3126. FIGURE - ED172389-3827. FIGURE172883028. BUDGET111781-1629. IT6880-1630. HIS2576-31
Список представляет 30 возможных слов при сканировании справа и слева, позиции правой и левой конечных сегментов слова, очков, которые получило данное слово при сравнении эталонов с участками входной реализации на местах между начальной и конечной точками гипотезируемого слова, логарифма вероятности произнесения данного слова. Список может описывать некие специфические свойства, связанные с произношением (здесь всюду пропуски - -), а также показывать, справа или слева производилось сравнение с эталоном (здесь показатели R и L).
Анализ списка гипотезируемых слов показывает, что больше всего очков набрало слово totaled (при сканировании слева направо). Бто слово занимает в словесной решетке позицию от сегмента 7 до сегмента 12 и имеет вес 197. Для этого слова соа-
39
дается однословная гипотеза, которую должна расширить синтаксическая процедура. Но прагматическая грамматика не позволяет формировать фразу с этим словом в прошедшем времени. Следовательно, никакого предсказания о возможном контексте с этим словом сделано Сыть не может. Следует перейти к следующему (по оцен. не в очках) слову figure . Отметим, что существует семь различных сравнений с этим словом примерно в гом же месте высказывания, немного отличающихся очками.(Это объясняется различными фонологическими эффектами на концах слова, возможностями различной сегментации в сегментной решетке и различными возможными произнесениями этого слова, отраженными в эталонном фонетическом графе; в кашем случае все связано с неопределенностями сегментации этого слова в конце.) Вообще говоря, то, что одно слово встречается в списке вероятных кандидатов несколько раз, является хорошим признаком того, что это слово действительно присутствует в высказывании,
Чтобы избежать избыточной обработки, авторы вводят понятие "нечеткого словесного сравнения", которое обобщает сравнение с эталоном одного и того же слова, появившегося примерно в том же месте. Всегда, когда слово-кандидат подобно figure встречалось несколько раз, при расширении гипотезы используются нечеткие границы. Итак, для слова figure предлагается расширить гипотезу.
При обработке предложенного слова (с примерно известными границами) процедура Syntax подбирает слово виос-зт, заканчивающееся позицией 17. В прагматической грамматике hwim слово budget может использоваться лишь в словосочетании budget figure и, так как это словосочетание находится в конце предложения, никаких слов справа больше не будет. Блок управления использует далее найденное словосочетание в качестве расширенного "островка надежности" для поиска слов от позиции II до начала высказывания.
Обращаясь к синтаксической процедуре, блок управления обнаруживает, что прагматическая грамматика допускает еще несколько слов, кроме слов из списка, рассмотренного ранее, для расширения этой гипотезы. 9то связано с тем, что служебные слова,которые могут стоять перед словосочетанием budget. figure , имеют слишком небольшой вес (очки). В результате сравнения сегментов, расположенных слева от слова budget , и эталонов слов, допускаемых прагматической грамматикой, получают новый список, расширяющий предыдущий (в списке остаются лишь слова, оценки которых превышают <DU очков):
40
33. OF 10 11 4 , - 16 - - Н
34. А 10 11 4 - 16 - - R
35. THE 911 -105 - 16 - - R
36. THE 9 11 -105 - 16 - - R
37. OUR 10 11 -123 - 31 - - R 3°. THE 9 11 -135 - 16 - - R
39. - S 10 11 -140 0 - - R
40. ANO 9 11 -163 - 26 - - R
41. OUR 911 -169 - 46 - - R
42. ME 9 11 -189 - 46 - - R
Каждое из этих слов может расширить гипотезу budget figure слева. Посмотрим, что выберет блок управления. Наиболее подходящим (см. позиции 3 и ЯО) оказывается слово total ,которое используется лишь с определенным артиклем THE. Таким образом, -удалось объединить уже четыре слова THE TOTAL budget figure, для которых синтаксическая процедура в словесной решетке отмечает слова "is" и " s ", найденные при первоначальном сканировании ( - s- укороченный глагол-связка, допускаемый правилами произношения). Синтаксис также предлагает и некоторые другие слова, но их оценки (очки) меньше 100, тогда как is имеет вео 96 (см. позицию 7). Поэтому переходим к новой гипотезе IS the total budget figure и пытаемся ее расширить. При расширении гипотезы синтаксическая процедура "подсказывает" слова what и но'.'? ыасн. Процедура лексического поиска выбирает для начального участка высказывания слово v/hat с оценкой 176 очков и формирует окончательную гипотезу what IS the total budget figure. Процедура "синтаксис" производит в заключение полный грамматический разбор этой фразы.
Описанная "островковая" стратегия интерпретации высказывания одна из нескольких, реализованных в системе hwim . Другие стратегии используют словесную верификацию на параметрическом Уровне, предсказание слов на уровне диалога, просодическую информацию и т.д.
Испытание системы hwim производилось на двух словарях: из 409 и 1097 словоформ, 124 предложения произносили трое дикторов" "ужчин. Точность интерпретации высказывания составила 52% в первом случае и 44% во втором. Процент высказываний, близких к пра-видьным, составил 23 и 20% соответственно.
Основное отличие системы VDMS (Voioe-Controlled Date Manage-roent Sis.) от ранее рассмотренных СПР Speeohlis.HWIM и Неаг-^-И заключается в тим, что в ее основе лежит синтаксис спон-
Зак.480
41
тайного английского диалога [182] ; это позволяет использовать при общении с системой сильно "усеченные" эллиптические выражения СПР. Система vdms использует проблемно-ориентированный язщ доступа к информационно-поисковой системе данных о подводном фаоте США, Великобритании и СССР. Общий словарь языка составлял 450 слое. Система имела возможность запонинать информацию о ранее произнесенных фразах и декодировать текущие, имея результаты рас познавания предыдущих высказываний. В системе vdms при интерпретации предложений наиболее полно использована идеология искусственного интеллекта.
Общая структура vdms включает три основь-ле компоненты:
1) акустико-фонетический процессор, в результате работы которого формируется массив данных, содержащих информацию о фонетическом строении высказывания (А-матрица);
2) процедуру лексического сравнения, которая производит сравнения предсказываемых слов, опираясь на слоговой уровень и используя акустико-фонологические правила;
3) лингвистический процессор, который содержит блок грамматического разбора (парсер) и управляющий блок диалогового уровня (discourse level controller )> вктоочающий модель пользова-теяя и семантическую память.
Эксперименты с vdms показали, что речевой сигнал ограничивается по полосе на частоте 9 кГц и поступает на 12-разрядный аналого-цифровой преобразователь, где квантуется с частотой 30 кГц. Затеи оцифрованная речь проходит через ЦАП и результирую щая аналоговая речь поступает на три полосовых фильтра, имеющих полосы пропускания I&0 - 190, 990 - 2200 и 8000 - 5000 Гц. Через интервалы в 10 мс с фильтров снимались два параметра - максимальная амплитуда и число нулевых пересечений. Полученные шесть параметров использовались для грубой акустической маркировки каждого десятимиллисекувдного отрезка.
Как только слово поступает в систему, формируется и хранится в памяти информахцж о нем, в частности, отмечается, сколько высказываний тому назад это слово было произнесено и былс ли оно использовано, насколько вероятно, что это слово повторится еще раз. В системе учтено, что различные контекстные слова предсказанные тематической памятью, "стареют" от высказывания ч высказывании и вероятности их использования уменьшаются. Вел* вероятность предсказанного слова Падает ниже заданного нaпepe^ порога, то это слово какое-то время не рассматривается.Все эт' в vdms выполняет блок диалогового уровня Discourse , являющийся наиболее оригинальным блоком системы. Процедуры, которые
42
реализует Discourse, основаны на изучении,диаюга между двумя людьми, совместно выполняющими некоторую работу. Ьыло найдено и Досмаяизовано влияние контекста на характер диалога,причем рассматриваются два вида контекстного влияния. Глобальный контекст обеспечивает один вид ограничений при интерпретации высказывания. Эти ограничения используются при идентификации группы существительных. Второй вид ограничений связан с текущим контекстом соседних высказываний. Они используются при интерпретации сокращенных, эллиптических выражений и, в частности, добавляют дополнительные фрагменты к сокращенному высказыванию. В качестве примера высказывания, которое может воспринять система VDl'iS , ыож" но привести такое: "Напечатайте типы подводных лодок, на которых больше семи ракет".
СПР vdms - spi построена на базе проблемно-ориентированного языка,доступного информационно-поисковой системе данных о подводном флоте США, Великобритании и СССР. Общий словарь системы составляет 450 слов [ 182] , Система использует синтаксис спонтанного английского диалога, что позволяет запоминать информацию о ранее произнесенных фразах и декодировать текущие, используя предыдущие высказывания. Система vdms-sri наиболее полно использует идеологию искусственного интеллекта при интерпретации устных высказываний, которые могут быть сильно "усеченными".
Для испытания системы была проделана серия опытов, которые должны были определять наилучшую структуру СПР подобного типа. Было испытано 16 экспериментальных систем, которые дали точность интерпретации высказываний от 46,7 до 73,3%, причем если итерировать несущественные оаибки распознавания, то точность (для наилучшей конфигурации системы) возрастает до 81,7%. В [1в2~\ отмечается, что наиболее эффективной помощью при реализации речевого диалога оказались использование и проверка контекста.
Начиная с 1976 г. начали появляться работы о построении СПР в Западной Европе (Франция, Италия, ФРГ), Японии и СССР.Уровень исследований по СПР в этих странах (объем словаря,сложность языка) пока ниже, чем работ, выполненных в США по проекту arpa. Сяедует, впрочем, отметить, что разработка "малых" СПР производится в соответствии с тенденцией [145] , которая заклта-в»оя в том, чтобы "заполнить пропасть" между практическими сис-^мами распознавания слов и относительно громоздкими СПР, выполнившимися по проекту arpa.
В С142]приведена таблица, которая, по мнению автора, характеризует действительное состояние и будущее развитие коммерческих систем распознавания/ понимания речи до 3000 г.:
431982 - БИС для системы распознавания речи.
1985 - Высокоточные системы распознавания изолированных слов с большими словарями.
1990 - Системы автоматической диктовки с ограниченным словарем, управляемые синтаксисом языка.
I&95 - Системы понимания речи с неограниченным словарем, но с ограничениями на синтаксис.
2000 - Системы распознавания слитной речи с неограниченным словарем и без ограничений на синтаксис.
§ 1.4. Системы автоматического речевого ответа
1.4.1. Коммерческие системы автоматического синтеза речи. В системах автоматического речевого общения "человек-ЭВМ" важную роль играет автоматический речевой вывод, позволяющий человеку получать необходимую ему информацию в привычной форме речевого сигнала. Проблема автоматического речевого вывода считается более простой, чем автоматическое распознавание речи (в первом случае речь воспринимает человеческий мозг, -; а во втором - автомат). Поэтому работы по построению систем автоматического речевого ответа (САРО) промышленность получила раньше, чем работы по автоматическому распознаванию/ пониманию речи. Синтезаторы речи,являющиеся главными узлами таких систем, уже изготовляются промышленностью США, Японии и некоторых других стран [30, 46, 51, 52, 100, 142] . В саязи с появлением микропроцессоров и специализированных БИС, а также в связи с тем, что пользователи потребовали, чтобы информационные, управляющие и другие подобные системы, основанные .на использовании ЭВМ, "говорили", фирмы, выпускающие ЭВМ или отдельные узлы ЭВМ, начали выпуск оборудования дея систем речевого ответа. Построены первые промышленные системы, который обеспечивают одновременное автоматическое распознавание (автоматический речеэой запрос" с использованием ограниченного лексикона) и речевой ответ. Первое применение такие системы нашли в "интеллектуальных" терминалах больших ЭВМ (или сетей ЭВМ), в некоторых системах военного назначения, в приборах бытовой электроники [52, 60, I40t .
Следует отметить также, что продолжают развиваться научные исследования в области создания систем автоматического синтеза. Эти работы, направленные в основном на повышение качества (разборчивости и естественности) синтезируемой речи (без существенного повышения объема информации, требуемой для управления син-
44
