Московский Государственный Университет Путей сообщения

(МИИТ)

Кафедра АСУ

Курсовой проект

«Разработка программных средств конвертирования
HTML
текстов в семантическую сеть»
Выполнила:

Студентка 5-го курса группы УИС-511 Болотова Е.А.

Проверил: Саркисян Р.Е.

Москва 2001

Содержание:

Что такое семантическая сеть …………………………..3

Основные сведения о языке HTML …………………….3

        1.Введение ………………………………………….3

        2.Сруктура HTML-документа ……………………..4

Что такое фреймы ……………………………………….7

Возможности представления знаний на базе

языка HTML ……………………………………………...8

TextAnalyst 2.0 – персональная система

автоматического анализа текста ………………………..14

Принцип работы HTML-конвертора …………………...17

Список использованных источников …………………..21


Что такое семантическая сеть
Семантическая сеть – структура для представления знаний в виде ориентированного графа, в котором вершины – это понятия, а дуги - отношения. Термин семантическая означает "смысловая", а сама семантика – это наука, устанавливающая отношения между символами и объектами, которые они обозначают, что есть наука, определяющая смысл знаков.

Самые первые семантические сети были разработаны в качестве языка-посредника для систем машинного перевода. Однако последние версии семантических сетей стали более мощными и гибкими и составляют конкуренцию логическому программированию, фреймовым системам и другим языкам представления.

На сегодняшний день существует множество вариантов семантических сетей. Их терминология и структура различаются, но существуют сходства, присущие всем семантическим сетям:

1.                      Узлы семантических сетей представляют собой концепты предметов, событий, состояний

2.                      различные узлы одного концепта относятся к различным значениям, если они не помечены как относящиеся к одному концепту

3.                      дуги семантических сетей создают отношения между узлами-концептами (пометки над дугами указывают на тип отношения)

4.                      некоторые отношения между концептами представляют собой лингвистические падежи, такие как агент, объект, реципиент и инструмент (другие означают временные, пространственные, логические отношения и отношения между отдельными предложениями

5.                      концепты организованы по уровням в соответствии со степенью обобщенности так, как, например, сущность, живое существо, животное, плотоядное.

Несмотря на некоторые различия, сети удобны для чтения и обработки компьютером, а также достаточно мощны, чтобы представить семантику естественного языка.

Наиболее часто в семантических сетях используются следующие отношения:

-                                 связь типа "часть-целое" ("класс-подкласс", "множество-подмножество" и т.п.)

-                                 функциональные связи, определяемые обычно глаголами "производит", "принадлежит" и т.п.)

-                                 количественные ("больше", "меньше", "равно" и т.п.)

-                                 пространственные ("близко от", "далеко от" и т.п.)

-                                 временные ("раньше", "позже" и т.п.)

-                                 логические связи ("и", "или" и т.п.)

-                                 лингвистические связи и т.д.
Основные сведения о языке
HTML


1.  
Введение

Все стандартные броузеры для сети Интернет используют способы представления текстов, основанные на языке HTML. HTML (Hyper Text Markup Language) – это язык разметки гипертекста. Этот язык «понимают» все компьютеры, он довольно прост, но при этом имеет достаточные выразительные средства для удобного описания разных типов документов. Язык позволяет хранить текст в «чистом» виде (не кодируя его), что делает возможным просмотр HTML скриптов с помощью обычных текстовых редакторов. Этот язык предоставляет авторам Интернет - публикаций средства:

-                      представления документов, включающих заголовки, тексты, таблицы, списки, «картинки» и т.п. элементы;

-                      осуществления навигации по отдельным документам и множеству документов путем использования гиперссылок;

-                      конструирования диалоговых форм для взаимодействия с удаленными сервисами, доступными в сети;

-                      включения в документы вычисляемых форм (spread-sheets), видео и звука, равно как и разнообразных приложений.

Первая версия языка HTML была разработана Т. Бернерс-Ли из Европейского Центра ядерных исследований (CERN). В дальнейшем язык претерпел существенные изменения. К середине 90-х годов произошла стандартизация его версий, которая стала курироваться международными организациями. В настоящее время наиболее развитой является версия языка HTML 4.0, в которой представлены новые возможности аппаратуры и требования производителей программного обеспечения броузеров, а также пожелания Интернет – авторов.
2. Структура
HTML
-документа
В HTML – файле находится символьная информация. Часть ее – это данные, составляющие содержимое документа, а другая часть – HTML – теги, языковые конструкции, используемые для разметки документа и управляющие его отображением. Для выделения тегов в тексте HTML – документа эти конструкции берутся в угловые скобки. Обычно теги используются парами: открывающий и закрывающий тег.

Типичный HTML – документ имеет следующую структуру:
< ! DOCTYPE HTML PUBLIC “-//W3C//DTD HTML 4.0//EN”

“http://www.w3.org/TR/REC-html40/strict.dtd”>

<HTML>

     <HEAD>

          <TITLE> Наименование документа </TITLE>

           <META> name=keywords content=”Ключевые слова”>

     </HEAD>

        <BODY>

              Тело документа

        </BODY>

</HTML>
В приведенном фрагменте комментарий <!DOCTYPE …> фиксирует текущее состояние спецификации версии языка HTML. Документ должен открываться тегом <HTML>, закрываться тегом </HTML> и состоять из двух частей: заголовка и тела документа.

Заголовок находится между тегами <HEAD> и </HEAD> и содержит служебную информацию. В представленном выше фрагменте HTML – документа показаны два компонента заголовка:

-                      <TITLE> Заглавие </TITLE> - строка символов, которая отображается в заголовке окна броузера.

-                      <META> - дополнительная информация об HTML – документе (в нашем примере этот тег с помощью параметров name и content фиксирует значение первого атрибута как keywords, а второго – как ключевые слова «Представление знаний» и «Мультиагентные системы»). Этот тег ориентирован на аннотирование Интернет – документов и значительно облегчает задачу индексирования их, например, с помощью сетевых роботов.

Кроме этих компонентов заголовок может содержать еще и другие теги:

-                      <BASE> - базовый адрес, используемый при обработке относительных URL,

-                      <LINK> - используется для связи HTML-документа с другими источниками данных.

Собственно содержание документа находится в теле между тегами <BODY> и </BODY>. Иногда вместо этих тегов можно встретить тег <FRAMESET>, который определяет специальный тип документа – Web-страницу с кадрами или фреймами.

Как правило, тело HTML-документа состоит из последовательности структурных единиц, базисными из которых являются:

-                      заголовки разного уровня (текст, заключенный между тегами <Hi> и </Hi>), где i может меняться от 1 до 6;

-                      параграфы (текст, заключенный между тегами <P> и </P>).

Это минимальные средства форматирования документа. Естественно, что в HTML эти средства значительно богаче (всевозможные выравнивания, табуляция, несколько видов списков, таблицы и т.д.).

Наиболее важными базовыми конструкциями языка HTML являются якоря. Синтаксически эти конструкции представлены тегами <A> и </A> с атрибутами name и href. Якорем является конструкция вида:

<A name=«Метка»>Текст</A>

Эта конструкция обеспечивает уникальное в пределах документа имя начала определенного фрагмента HTML-текста. При этом текст, заключенный между тегами <A> и </A>, как правило, задает семантически значимое наименование заголовка.

Для ссылок на помеченные таким образом части Интернет - документа используются конструкции следующего вида:

1)     <A href=«#Метка»>Текст</A> - Задает локальную ссылку на часть документа, начинающуюся с указанной метки

2)     <A href=«URL»>Текст</A> - Задает глобальную ссылку на документ в сети, однозначно идентифицируемый с помощью URL (Unified Resource Locator) – Интернет – адрес: имя домена, уточненное названием протокола и собственное имя документа, включая путь к нему в пределах данного домена.

Важными конструкциями HTML также являются таблицы с богатыми возможностями многоуровневых заголовков и формы, с помощью которых в язык введены средства обеспечения диалога с читателями Интернет - документов. Базисными конструкциями форм являются редактируемые текстовые поля, элементы выбора, различные кнопки и т.д.

Пример создания таблицы:
<TABLE>

    <TR>

         <TD> столбец1, строка1 </TD><TD> столбец2, строка1 </TD>

     </TR>

     <TR>

          <TD> столбец1, строка2 </TD><TD> столбец2, строка2 </TD>

      </TR>
Простейший пример создания формы:
<FORM METHOD=”POST” …>

   <P> Вы можете ввести в поле одну строку

   <INPUT NAME=”entry”>

   </P> Для обработки результатов ввода нажмите кнопку

   <INPUT TYPE=”submit” VALUE=”Принять запрос”>

   </P>

</FORM>
Еще одна важная конструкция – это фреймы (frames). С их помощью можно разделить документ на части и представлять их в отдельных, неперекрывающихся областях экрана. Такое представление информации характерно для многооконных приложений.

Кроме этого имеются и другие конструкции разметки Интернет – документов. Среди этих конструкций надо отметить более четкое разделение между структурой документа и его представлением за счет использования таблиц стилей, скриптов, поддерживающих, в частности, создание динамических страниц, новый механизм интеграции текстовых и графических ссылок, исполняемый на стороне клиента и стандартизацию механизма подключения к HTML-документам базисных медиаобъектов и приложений.

TABLE-CELLS :: = STROKA{TABLE-CELLS} | …

STROKA :: = <TR> CELL </TR>

CELL :: = <TD> текст </TD>

LIST :: = <UL> LIST-ATOM </UL>

LIST-ATOM :: = …

ANCHOR :: = <A HREF=LINK> TEXT </A>

TEXT :: = …

LINK: = …
Синтаксическая диаграмма, соответствующая этим правилам выглядит следующим образом:



С теоретической точки зрения HTML – это простой язык программирования с контекстно-свободной грамматикой. Для анализа HTML-текстов можно использовать нисходящие распознаватели, реализуемые на базе метода рекурсивного спуска. Рассмотрим продукционно-фреймовый формализм представления знаний и разработку на его основе интеллектуальный HTML-конвертор.

Для начала необходимо задать регулярное отображение каждого правила спецификации HTML-конструкций в соответствующий объект базы знаний на уровне фрейма-прототипа. Система таких прототипов даст нам описание языка, а множество фреймов-экземпляров – спецификацию конкретных и синтаксически правильных HTML-текстов. Основные правила такого отображения таковы:

-                      каждому концепту из левой части BNF-определения ставим в соответствие имя фрейма-прототипа;

-                      альтернативам из правой части BNF-определения при этом должны соответствовать имена слотов этого фрейма;

-                      для концептов-нетерминалов соответствующий слот должен иметь тип frame;

-                      для концептов-терминалов соответствующие слоты будут, как правило, иметь тип numb или string;

-                      рекурсия в BNF-определениях заменяется итерацией, а соответствующие слоты становятся множественными.

После применения данных правил к BNF-определениям языка HTML получим следующее множество фреймов-прототипов:
[html is_aprototype, if_added HTML();

     HEADframe, restr_by head;

     BODYframe, restr_by body ];

[head is_aprototype, if_added HEAD();

     BODY{frame}, restr_by one_of {title, meta, …}];

[title is_aprototype, if_added TITLE();

     BODYstring ];

[meta is_aprototype, if_added META();

     BODYstring ];

………………….

[body is_aprototype, if_added BODY();

    SENT{frame}, restr_by one_of {header, paragraph, table, …}];

[paragraph is_aprototype, if_added PARAGRAPH();

 [LIST is_aprototype; ATOM{frame}, if_added LI() ];

     BODYframe, restr_by text];

[table is_aprototype; if_added TABLE();

     TAB{frame}, restr_by one_of {stroka,…};]

[stroka is_aprototype, if_added TR();

    CELLS{frame}, restr_by one_of{cell,…}];

[cell is_aprototype, if_added TD();];

……………………

[anchor is_aprototype;

     BODYframe, restr_by text];

……………………

[link is_aprototype;

       URLframe, restr_by one_of {http,ftp,…}];

       MAILframe, restr_by mail];

[url is_alink; without_slot MAIL];

[http is_aurl, if_added HTTP();

     SERVERstring;

     DIR{string};

     FILEstring];

[ftp is_aurl, if_added FTP();

     SERVERstring;

     DIR{string};

     FILEstring];

…………………………
В соответствии с приведенными фреймами-прототипами и синтаксическими диаграммами, можно специфицировать процедурную часть конвертора как систему демонов, присоединенных к фреймам или к их слотам.

Спецификация одного из таких демонов представлена ниже на языке Java:
public class HTML extends FramePrototype {

     HEAD head=null;

     BODY body-null;

………….

     String keyword;
Public void HTML (String name) {

   Super (name);

   keyword=getToken();

   if (keyword.compareTo (“<HTML>”) = =0 {

       head = new HEAD (getNewName());

       body = new BODY (getNewName());

    };

keyword = getToken ();

if (keyword.compareTo (“</HTML>”)= =0) return;

}

…………………

Public void (String nam) {

    Super (name);

    Keword=getToken();

    If (keyword compareTo (“<BODY>”) = = 0 {

    paragraph = new PARAGRAPH (getNewName());

    header = new HEADER (getNewName());

    table = new TABLE (getNewName());

     };

keyword = getToken ();

if (keyword compareTo (“</BODY>”) = = 0) return;

}

…………………………..

}
По существу, такой демон является конструктором класса HTML, а запуск конвертора осуществляется с помощью оператора создания нового объекта этого класса:

HTML currPage = new HTML (get_new_name());

При этом будут рекурсивно вызываться конструкторы других классов (на верхнем уровне это HEAD, BODY), что, в конечном счете, приведет к построению множества фреймов-экземпляров, представляющих анализируемую HTML-страницу.

Получение полезной в дальнейшем базы знаний предполагает дальнейшую семантическую интерпретацию фреймового представления и построение в конечном счете семантической сети, отражающей смысл исходного Интернет – документа.


Список использованных источников:
1)        Т.А. Гаврилова, В.Ф. Хорошевский «Базы знаний интеллектуальных систем», учебник, Санкт-Петербург, «Питер», 2001

2)        www.citforum.ru

3)        www.bur.oivta.ru

4)        www.analyst.ru