Курсовая

Курсовая на тему Построение сети по технологии FDDI

Работа добавлена на сайт bukvasha.net: 2015-06-30

Поможем написать учебную работу

Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.

Предоплата всего

от 25%

Подписываем

договор

Выберите тип работы:

Скидка 25% при заказе до 26.11.2024


Введение

Технология FDDI в наше время крепко закрепилась на рынке. Это единственная, на сегодняшний день, технология, которая надежна, которая способна легко транслировать трафик в Ethernet к примеру. Покрывает огромные расстояния. Многие крупные фирмы сделали свой выбор в пользу FDDI.

2. Теоретическая часть

2.1 История создания стандарта FDDI

Технология Fiber Distributed Data Interface - первая технология локальных сетей, которая использовала в качестве среды передачи данных оптоволоконный кабель. Попытки применения света в качестве среды, несущей информацию, предпринимались давно - еще в 1880 году Александр Белл запатентовал устройство, которое передавало речь на расстояние до 200 метров с помощью зеркала, вибрировавшего синхронно со звуковыми волнами и модулировавшего отраженный свет. Работы по использованию света для передачи информации активизировались в 1960-е годы в связи с изобретением лазера, который мог обеспечить модуляцию света на очень высоких частотах, то есть создать широкополосный канал для передачи большого количества информации с высокой скоростью. Примерно в то же время появились оптические волокна, которые могли передавать свет в кабельных системах, подобно тому как медные провода передают электрические сигналы в традиционных кабелях. Однако потери света в этих волокнах были слишком велики, чтобы они могли быть использованы как альтернатива медным жилам. Недорогие оптические волокна, обеспечивающие низкие потери мощности светового сигнала и широкую полосу пропускания (до нескольких ГГц) появились только в 1970-е годы. В начале 1980-х годов началось промышленная установка и эксплуатация оптоволоконных каналов связи для территориальных телекоммуникационных систем. В 1980-е годы начались также работы по созданию стандартных технологий и устройств для использования оптоволокнных каналов в локальных сетях. Работы по обобщению опыта и разработке первого оптоволоконного стандарта для локальных сетей были сосредоточены в Американском Национальном Институте по Стандартизации - ANSI, в рамках созданного для этой цели комитета X3T9.5. Начальные версии различных составляющих частей стандарта FDDI были разработаны комитетом Х3Т9.5 в 1986 - 1988 годах, и тогда же появилось первое оборудование - сетевые адаптеры, концентраторы, мосты и маршрутизаторы, поддерживающие этот стандарт. В настоящее время большинство сетевых технологий поддерживают оптоволоконные кабели в качестве одного из вариантов физического уровня, но FDDI остается наиболее отработанной высокоскоростной технологией, стандарты на которую прошли проверку временем и устоялись, так что оборудование различных производителей показывает хорошую степень совместимости.

2.2 Основы технологии FDDI

Технология FDDI во многом основывается на технологии Token Ring, развивая и совершенствуя ее основные идеи. Разработчики технологии FDDI ставили перед собой в качестве наиболее приоритетных следующие цели:

  • повысить битовую скорость передачи данных до 100 Мб/с;

  • повысить отказоустойчивость сети за счет стандартных процедур восстановления ее после отказов различного рода - повреждения кабеля, некорректной работы узла, концентратора, возникновения высокого уровня помех на линии и т.п.;

  • максимально эффективно использовать потенциальную пропускную способность сети как для асинхронного, так и для синхронного трафиков.

Сеть FDDI строится на основе двух оптоволоконных колец, которые образуют основной и резервный пути передачи данных между узлами сети. Использование двух колец - это основной способ повышения отказоустойчивости в сети FDDI, и узлы, которые хотят им воспользоваться, должны быть подключены к обоим кольцам. В нормальном режиме работы сети данные проходят через все узлы и все участки кабеля первичного (Primary) кольца, поэтому этот режим назван режимом Thru - "сквозным" или "транзитным". Вторичное кольцо (Secondary) в этом режиме не используется. В случае какого-либо вида отказа, когда часть первичного кольца не может передавать данные (например, обрыв кабеля или отказ узла), первичное кольцо объединяется со вторичным (рисунок 2.1), образуя вновь единое кольцо. Этот режим работы сети называется Wrap, то есть "свертывание" или "сворачивание" колец. Операция свертывания производится силами концентраторов и/или сетевых адаптеров FDDI. Для упрощения этой процедуры данные по первичному кольцу всегда передаются против часовой стрелки, а по вторичному - по часовой. Поэтому при образовании общего кольца из двух колец передатчики станций по-прежнему остаются подключенными к приемникам соседних станций, что позволяет правильно передавать и принимать информацию соседними станциями. В стандартах FDDI отводится много внимания различным процедурам, которые позволяют определить наличие отказа в сети, а затем произвести необходимую реконфигурацию. Сеть FDDI может полностью восстанавливать свою работоспособность в случае единичных отказов ее элементов. При множественных отказах сеть распадается на несколько не связанных сетей.

Рисунок 2.1 - Реконфигурация колец FDDI при отказе

Кольца в сетях FDDI рассматриваются как общая разделяемая среда передачи данных, поэтому для нее определен специальный метод доступа. Этот метод очень близок к методу доступа сетей Token Ring и также называется методом маркерного (или токенного) кольца - token ring (рисунок 2.2, а). Станция может начать передачу своих собственных кадров данных только в том случае, если она получила от предыдущей станции специальный кадр - токен доступа (рисунок 2.2, б). После этого она может передавать свои кадры, если они у нее имеются, в течение времени, называемого временем удержания токена - Token Holding Time (THT). После истечения времени THT станция обязана завершить передачу своего очередного кадра и передать токен доступа следующей станции. Если же в момент принятия токена у станции нет кадров для передачи по сети, то она немедленно транслирует токен следующей станции. В сети FDDI у каждой станции есть предшествующий сосед (upstream neighbor) и последующий сосед (downstream neighbor), определяемые ее физическими связями и направлением передачи информации.

Рисунок 2.2 - Обработка кадров станциями кольца FDDI

Каждая станция в сети постоянно принимает передаваемые ей предшествующим соседом кадры и анализирует их адрес назначения. Если адрес назначения не совпадает с ее собственным, то она транслирует кадр своему последующему соседу. Этот случай приведен на рисунке (рисунок 2.2, в). Нужно отметить, что, если станция захватила токен и передает свои собственные кадры, то на протяжении этого периода времени она не транслирует приходящие кадры, а удаляет их из сети. Если же адрес кадра совпадает с адресом станции, то она копирует кадр в свой внутренний буфер, проверяет его корректность (в основном по контрольной сумме), передает его поле данных для последующей обработки протоколу лежащего выше над FDDI уровня (например, IP), а затем передает исходный кадр по сети последующей станции (рисунок 2.2, г). В передаваемом в сеть кадре станция назначения отмечает три признака: распознавания адреса, копирования кадра и отсутствия или наличия в нем ошибок. После этого кадр продолжает путешествовать по сети, транслируясь каждым узлом. Станция, являющаяся источником кадра для сети, ответственна за то, чтобы удалить кадр из сети, после того, как он, совершив полный оборот, вновь дойдет до нее (рисунок 2.2, д). При этом исходная станция проверяет признаки кадра, дошел ли он до станции назначения и не был ли при этом поврежден. Процесс восстановления информационных кадров не входит в обязанности протокола FDDI, этим должны заниматься протоколы более высоких уровней. На рисунке 2.3 приведена структура протоколов технологии FDDI в сравнении с семиуровневой моделью OSI. FDDI определяет протокол физического уровня и протокол подуровня доступа к среде (MAC) канального уровня. Как и многие другие технологии локальных сетей, технология FDDI использует протокол 802.2 подуровня управления каналом данных (LLC), определенный в стандартах IEEE 802.2 и ISO 8802.2. FDDI использует первый тип процедур LLC, при котором узлы работают в дейтаграммном режиме - без установления соединений и без восстановления потерянных или поврежденных кадров.

Рисунок 2.3 - Структура протоколов технологии FDDI

Физический уровень разделен на два подуровня: независимый от среды подуровень PHY (Physical), и зависящий от среды подуровень PMD (Physical Media Dependent). Работу всех уровней контролирует протокол управления станцией SMT (Station Management). Уровень PMD обеспечивает необходимые средства для передачи данных от одной станции к другой по оптоволокну. В его спецификации определяются:

  • требования к мощности оптических сигналов и к многомодовому оптоволоконному кабелю 62.5/125 мкм;

  • требования к оптическим обходным переключателям (optical bypass switches) и оптическим приемопередатчикам;

  • параметры оптических разъемов MIC (Media Interface Connector), их маркировка;

  • длина волны в 1300 нанометров, на которой работают приемопередатчики;

  • представление сигналов в оптических волокнах в соответствии с методом NRZI.

Спецификация TP-PMD определяет возможность передачи данных между станциями по витой паре в соответствии с методом MLT-3. Спецификации уровней PMD и TP-PMD уже были рассмотрены в разделах, посвященных технологии Fast Ethernet. Уровень PHY выполняет кодирование и декодирование данных, циркулирующих между MAC-уровнем и уровнем PMD, а также обеспечивает тактирование информационных сигналов. В его спецификации определяются:

  • кодирование информации в соответствии со схемой 4B/5B;

  • правила тактирования сигналов;

  • требования к стабильности тактовой частоты 125 МГц;

  • правила преобразования информации из параллельной формы в последовательную.

Уровень MAC ответственен за управление доступом к сети, а также за прием и обработку кадров данных. В нем определены следующие параметры:

  • протокол передачи токена;

  • правила захвата и ретрансляции токена;

  • формирование кадра;

  • правила генерации и распознавания адресов;

  • правила вычисления и проверки 32-разрядной контрольной суммы.

Уровень SMT выполняет все функции по управлению и мониторингу всех остальных уровней стека протоколов FDDI. В управлении кольцом принимает участие каждый узел сети FDDI. Поэтому все узлы обмениваются специальными кадрами SMT для управления сетью. В спецификации SMT определено следующее:

  • алгоритмы обнаружения ошибок и восстановления после сбоев;

  • правила мониторинга работы кольца и станций;

  • управление кольцом;

  • процедуры инициализации кольца.

Отказоустойчивость сетей FDDI обеспечивается за счет управления уровнем SMT другими уровнями: с помощью уровня PHY устраняются отказы сети по физическим причинам, например, из-за обрыва кабеля, а с помощью уровня MAC - логические отказы сети, например, потеря нужного внутреннего пути передачи токена и кадров данных между портами концентратора. В следующей таблице представлены результаты сравнения технологии FDDI с технологиями Ethernet и Token Ring.

Таблица 2.1 - Типы узлов и правила их соединения в сеть

Характеристика

FDDI

Ethernet Token Ring

Битовая скорость

100 Мб/с

10 Мб/с16 Мб/c

Топология

Двойное кольцодеревьев

Шина/звезда Звезда/кольцо

Метод доступа

Доля от времениоборота токена

CSMA/CDПриоритетная система резервирования

Среда передачиданных

Многомодовоеоптоволокно,

неэкранированнаявитая пара

Толстый коаксиал,тонкий коаксиал,витая пара,Экранированная и неэкранированная витая пара,оптоволокно

Максимальная длина сети (без мостов)

200 км(100 км на кольцо)

2500 м1000 м

Максимальное расстояние между узлами

2 км (-11 dB потерьмежду узлами)

2500 м 100 м

Максимальноеколичество узлов

500 (1000 соединений)

1024260 для экранированной витой пары, 72 длянеэкранированной витойпары

Тактирование ивосстановление после отказов

Распределеннаяреализация тактирования и восстановления после отказов

Не определены Активный монитор

Все станции в сети FDDI делятся на несколько типов по следующим признакам:

  • конечные станции или концентраторы;

  • по варианту присоединения к первичному и вторичному кольцам;

  • по количеству MAC-узлов и, соответственно, MAC-адресов у одной станции.

2.3 Одиночное и двойное присоединение к сети

Если станция присоединена только к первичному кольцу, то такой вариант называется одиночным присоединением - Single Attachment, SA (рисунок 2.4, а). Если же станция присоединена и к первичному, и ко вторичному кольцам, то такой вариант называется двойным присоединением - Dual Attachment, DA (рисунок 2.4, б).

Рисунок 2.4 - Одиночное (SA) и двойное (DA) подключение станций



Очевидно, что станция может использовать свойства отказоустойчивости, обеспечиваемые наличием двух колец FDDI, только при ее двойном подключении.

Рисунок 2.5 - Реконфигурация станций с двойным подключением при обрыве кабеля

Как видно из рисунка 2.5, реакция станций на обрыв кабеля заключается в изменении внутренних путей передачи информации между отдельными компонентами станции.

2.4 Количество MAC-узлов у станции

Для того, чтобы иметь возможность передавать собственные данные в кольцо (а не просто ретранслировать данные соседних станций), станция должна иметь в своем составе хотя бы один MAC-узел, который имеет свой уникальный MAC-адрес. Станции могут не иметь ни одного узла MAC, и, значит, участвовать только в ретрансляции чужих кадров. Но обычно все станции сети FDDI, даже концентраторы, имеют хотя бы один MAC. Концентраторы используют MAC-узел для захвата и генерации служебных кадров, например, кадров инициализации кольца, кадров поиска неисправности в кольце и т.п. Станции, которые имеют один MAC-узел, называются SM (Single MAC) станциями, а станции, которые имеют два MAC-узла, называются DM (Dual MAC) станциями. Возможны следующие комбинации типов присоединения и количества MAC-узлов:

Таблица 2.2 - комбинации типов присоединения и количества MAC-узлов

SM/SA

Станция имеет один MAC-узел и присоединяется только к первичному кольцу. Станция не может принимать участие в образовании общего кольца из двух.

SM/DA

Станция имеет один MAC-узел и присоединяется сразу к первичному и вторичному кольцам. В нормальном режиме она может принимать данные только по первичному кольцу, используя второе для отказоустойчивой работы.

DM/DA

Станция имеет два MAC-узла и присоединена к двум кольцам. Может (потенциально) принимать данные одновременно по двум кольцам (полнодуплексный режим), а при отказах участвовать в реконфигурации колец.

DM/SA

Станция имеет два MAC-узла, но присоединена только к первичному кольцу. Запрещенная комбинация для конечной станции, специальный случай работы концентратора.

В зависимости от того, является ли станция концентратором или конечной станцией, приняты следующие обозначения в зависимости от типа их подключения:

  • SAS (Single Attachment Station) - конечная станция с одиночным подключением;

  • DAS (Dual Attachment Station) - конечная станция с двойным подключением;

  • SAC (Single Attachment Concentrator) - концентратор с одиночным подключением;

  • DAC (Dual Attachment Concentrator) - концентратор с двойным подключением.

2.5 Типы портов станций и концентраторов FDDI и правила их соединения

В стандарте FDDI описаны четыре типа портов, которые отличаются своим назначением и возможностями соединения друг с другом для образования корректных конфигураций сетей. На рисунке 2.6 показано типичное использование портов разных типов для подключения станций SAS и DAS к концентратору DAC.

Рисунок 2.6 - Использование портов различных типов

Соединение портов S - S является допустимым, так как создает изолированное первичное кольцо, соединяющее только две станции, но обычно неиспользуемым.

Соединение портов M - M является запрещенным, а соединения A-A, B-B, A-S, S-A, B-S, S-B - нежелательными, так как создают неэффективные комбинации колец.

2.6 Соединение Dual Homing

Соединения типа A-M и B-M соответствуют случаю, так называемого, Dual Homing подключения, когда устройство с возможностью двойного подключения, то есть с портами A и B, использует их для двух подключений к первичному кольцу через порты M другого устройства. Такое подключение показано на рисунке 2.7. На нем два концентратора, DAC4 и DAC5, подключены к концентраторам DAC1, DAC2 и DAC3 по схеме Dual Homing. Концентраторы DAC1, DAC2 и DAC3 подключены обычным способом к обеим кольцам, образуя корневую магистраль сети FDDI. Обычно такие концентраторы называют в англоязычной литературе rooted concentrators. Концентраторы DAC4 и DAC5 подключены по древовидной схеме. Ее можно было бы образовать и с помощью концентраторов SAC4 и SAC5, которые бы в этом случае подключались бы к М-порту корневых концентраторов с помощью порта S. Подключение DAC-концентраторов по древовидной схеме, но с использованием Dual Homing, позволяет повысить отказоустойчивость сети, и сохранить преимущества древовидной многоуровневой структуры.

Рисунок 2.7 - Соединение Dual Homing



Концентратор DAC4 подключен по классической схеме Dual Homing. Эта схема рассчитана на наличие у такого концентратора только одного MAC-узла. При подключении портов A и B концентратора DAC4 к портам М концентратора DAC1 между этими портами устанавливается физическое соединение, которое постоянно контролируется физическим уровнем PHY. Однако, в активное состояние по отношению к потоку кадров по сети переводится только порт B, а порт A остается в резервном логическом состоянии. Предпочтение, отдаваемое по умолчанию порту В, определено в стандарте FDDI. При некорректной работе физического соединения по порту B концентратор DAC4 переводит его в резервное состояние, а активным становится порт А. После этого порт В постоянно проверяет физическое состояние его линии связи, и, если оно восстановилось, то он снова становится активным. Концентратор DAC5 также включен в есть по схеме Dual Homing, но с более полными функциональными возможностями по контролю соединения резервного порта А. Концентратор DAC5 имеет два узла MAC, поэтому не только порт В работает в активном режиме в первичном кольце, передавая кадры первичному MAC-узлу от порта М концентратора DAC3, но и порт А также находится в активном состоянии, принимая кадры от того же первичного кольца, но от порта М концентратора DAC2. Это позволяет вторичному MAC-узлу постоянно отслеживать логическое состояние резервной связи. Необходимо заметить, что устройства, поддерживающие режим Dual Homing, могут быть реализованы несколькими различными способами, поэтому может наблюдаться несовместимость этих режимов у различных производителей.

2.7 Присоединение станции к "блуждающему" MAC-узлу

Когда новая станция включается в сеть FDDI, то сеть на время приостанавливает свою работу, проходя через процесс инициализации кольца, в течение которого между всеми станциями согласуются основные параметры кольца, самым важным из которых является номинальное время оборота токена по кольцу. Этой процедуры в некоторых случаях можно избежать. Примером такого случая является подключение новой станции SAS к порту М концентратора с так называемым "блуждающим" узлом MAC (Roving MAC), который также называют локальным MAC-узлом. Пример такого подключения показан на рисунке 2.8.

Рисунок 2.8 - Присоединение станции к "блуждающему" MAC-узлу

Концентратор DM/DAC1 имеет два MAC-узла: один участвует в нормальной работе первичного кольца, а второй, локальный, присоединен к пути, соединяющему порт M со станцией SAS3. Этот путь образует изолированное кольцо и используется для локальной проверки работоспособности и параметров станции SAS3. Если он работоспособен и его параметры не требуют реинициализации основной сети, то станция SAS3 включается в работу первичного кольца "плавно" (smooth-insertion). Подключение станций с помощью оптических обходных переключателей (Optical Bypass Switch). Факт отключения питания станции с одиночным подключением будет сразу же замечен средствами физического уровня, обслуживающими соответствующий М-порт концентратора, и этот порт по команде уровня SMT концентратора будет обойден по внутреннему пути прохождения данных через концентратор. На дальнейшую отказоустойчивость сети этот факт никакого влияния не окажет (рисунок 2.9).

Рисунок 2.9 - Оптический обходной переключатель (Optical Bypass Switch)

Если же отключить питание у станции DAS или концентратора DAC, то сеть, хотя и продолжит работу, перейдя в состояние Wrap, но запас отказоустойчивости будет утерян, что нежелательно. Поэтому для устройств с двойным подключением рекомендуется использовать оптические обходные переключатели - Optical Bypass Switch, которые позволяют закоротить входные и выходные оптические волокна и обойти станцию в случае ее выключения. Оптический обходной переключатель питается от станции и состоит в простейшем случае из отражающих зеркал или подвижного оптоволокна. При отключенном питании такой переключатель обходит станцию, а при включении ее питания соединяет входы портов А и В с внутренними схемами PHY станции. Спецификация зависящего от среды физического подуровня PMD

2.8 Структура физического соединения

Рассмотрим физический подуровень PMD (Physical Media Dependent layer), определенный в стандарте FDDI для оптоволокна - Fiber PMD. Эта спецификация определяет аппаратные компоненты для создания физических соединений между станциями: оптические передатчики, оптические приемники, параметры кабеля, оптические разъемы. Для каждого из этих элементов указываются конструктивные и оптические параметры, позволяющие станциям устойчиво взаимодействовать на определенных расстояниях. Физическое соединение - основной строительный блок сети FDDI. Типичная структура физического соединения представлена на рисунке 2.10.

Рисунок 2.10 - Физическое соединение сети FDDI



Каждое физическое соединение состоит из двух физических связей - первичной и вторичной. Эти связи являются односторонними - данные передаются от передатчика одного устройства PHY к приемнику другого устройства PHY.

2.9 Требования к мощности оптических сигналов

В стандарте Fiber PMD в явном виде не определены предельные расстояния между парой взаимодействующих устройств по одному физическому соединению. Вместо этого в стандарте определен максимальный уровень потерь мощности оптического сигнала между двумя станциями, взаимодействующими по одной физической связи. Этот уровень равен -11 dB, где

dB = 10 log P2/P1 (1)

где P1 - мощность сигнала на станции-передатчике, Db

P2 - мощность сигнала на входе станции-приемника, dB

В соответствии с принятыми в стандарте Fiber PMD параметрами затухания кабеля и выпускаемыми промышленностью соединителями, считается, что для обеспечения затухания -11 dB длина оптического кабеля между соседними узлами не должна превышать 2 км. Более точно можно рассчитать корректность физического соединения между узлами, если принять во внимание точные характеристики затухания, вносимые кабелем, разъемами, спайками кабеля, а также мощность передатчика и чувствительность приемника.

2.10 Кабели и разъемы

Основной вид кабеля для стандарта Fiber PMD - многомодовый кабель с диаметром сердечника 62.5 мкм и диаметром отражающей оболочки 125 мкм. Спецификация Fiber PMD не определяет требования к затуханию кабеля в dB на км, а только требует соблюдения требования по общему затуханию в -11 dB между станциями, соединенными кабелем и разъемами. Полоса пропускания кабеля должна быть не хуже чем 500 МГц на км. Кроме основного вида кабеля, спецификация Fiber PMD допускает использование многомодовых кабелей с диаметром сердечника в 50 мкм, 85 мкм и 100 мкм. В качестве разъемов стандарт Fiber PMD определяет оптические разъемы MIC (Media Interface Connector). Разъем MIC обеспечивает подключение 2-х волокон кабеля, соединенных с вилкой MIC, к 2-м волокнам порта станции, соединенными с розеткой MIC. Стандартизованы только конструктивные параметры розетки MIC, а любые вилки MIC, подходящие к стандартным розеткам MIC, считаются пригодными к использованию. Спецификация Fiber PMD не определяет уровень потерь в разъеме MIC. Этот уровень - дело производителя, главное, чтобы выдерживался допустимый уровень потерь -11 dB во всем физическом соединении. Разъемы MIC должны иметь ключ, обозначающий тип порта, что должно предотвратить неверное соединение разъемов. Определено четыре различных типа ключа:

  • MIC A;

  • MIC B;

  • MIC M;

  • MIC S.

Виды ключа для этих типов разъемов приведены на рисунке 2.11.

Рисунок 2.11 - Ключи разъемов MIC



Кроме разъемов MIC, допускается использовать разъемы ST и SC, выпускаемые промышленностью. В качестве источника света допускается использование светодиодов (LED) или лазерных диодов с длиной волны 1.3 мкм. Кроме многомодового кабеля, допускается использование более качественного одномодового кабеля (Single Mode Fiber, SMF) и разъемов SMF-MIC для этого кабеля. В этом случае дальность физического соединения между соседними узлами может увеличиться до 40 км - 60 км, в зависимости от качества кабеля, разъемов и соединений. Требования, определенные в спецификации SMF-PMD, для мощности на выходе передатчика и входе приемника, те же, что и для одномодового кабеля.

2.11 Физический подуровень PHY

Если в задачи подуровня PMD входит формирование качественных оптических импульсов на выходе и входе каждого физического соединения, то подуровень PHY имеет дело с передачей с помощью импульсов PMD логических единиц и нулей, приходящих с подуровня MAC. Более точно, подуровень PHY занимается следующими задачами:

  • определение моментов времени снятия информации по сигналам, поступающим от подуровня PMD (тактирование входных сигналов);

  • определение границ байт при обмене данными с MAC-подуровнем;

  • кодирование поступающих от MAC-подуровня символов в соответствующий физический код (NRZI или MLT-3) подуровня PMD;

  • декодирование поступающих от PMD сигналов (NRZI или MLT-3) в символы MAC-подуровня;

  • управление эластичным буфером (Elasticity Buffer) для согласования частоты входных и выходных сигналов;

  • определение статуса входящей физической линии на основе тестовой последовательности управляющих символов;

  • генерация последовательности управляющих символов для выходящей физической линии по командам от подуровня SMT;

  • фильтрация приходящих ошибочных символов для исключения их передачи на выходную линии.

2.12 Коды 4B/5B и их прием с помощью эластичного буфера

Принципы логического кодирования с использованием кодов 4В/5В, а также физического кодирования с помощью методов NRZI (для оптоволокна) и MLT-3 (для витой пары) уже были рассмотрены в разделах 1.4.3 - 1.4.4, так как технология Fast Ethernet позаимствовала их у технологии FDDI. Кроме 16 кодов, отведенных для 16 кодовых комбинаций исходных 4-х байтовых символов, физический и МАС-уровни оперируют нескольким служебными символами:

символы состояния линии:

  • Quiet, Q (молчание) - 00000

  • Idle, I (простой) - 11111

  • Halt,I (останов) - 00100

Эти символы позволяют соседям по физическому соединению определить его состояние в процессе его инициализации и поддержания

символы ограничителей начала и конца кадра:

  • Start Delimiter 1 (первый символ границы начала кадра) - 11000

  • Start Delimiter 2 (второй символ границы начала кадра) - 10001

  • Ending Delimiter (конец кадра) - 01101

Начало кадра отмечает встретившиеся подряд два символа Start Delimiter 1 и Start Delimiter 2, называемых также символами J и K (по аналогии со стандартом Token Ring)

символы логического нуля и логической единицы:

  • Reset (логический нуль) - 00111

  • Set (логическая единица) - 11001

Эти символы используются для указания логических значений признаков распознавания адреса, ошибки и копирования кадра, имеющих в кадре FDDI назначение, аналогичное назначению соответствующих признаков кадра Token Ring. Запрещенные символы - это все символы, которые не являются служебными кодами или 5-битными кодами, использованными для записи 16 возможных комбинаций 4-х разрядных кодов. В обязанности физического уровня входит фильтрация символов, передаваемых на выходную линию порта. Если среди символов кадра встречаются запрещенные символы, то они заменяются на 4 символа Halt, которые далее сопровождаются символами Idle до передачи следующего кадра. Последующий сосед, получив кадр с 4-мя символами Halt, должен изъять поврежденный кадр из кольца. Функция фильтрации не обязательна, когда кадр проходит через МАС-блок станции, но это происходит не всегда, например, вторичное кольцо может проходить только через блоки физического уровня, не заходя в МАС-блок, если это станция с двойным подключением. Рассмотрим подробней, каким образом происходит синхронизация приемника с передатчиком в сети FDDI при приеме кодов 4B/5В. Сеть FDDI использует распределенную схему тактирования информации, при которой каждая станция работает со своим независимым локальным тактовым генератором. Это отличает ее от сетей Token Ring, в которых одна станция поддерживает тактирование информации для всей сети, управляя главным тактовым генератором сети, называемым Master Clock. В сети FDDI тактовые частоты синхронизируются в каждом физическом соединении соседних станций (рисунок 2.13).

Рисунок 2.13 - Согласование тактовых генераторов в сети FDDI

Каждая станция имеет два тактовых генератора - локальный, который управляет тактированием передаваемой информации, и восстанавливающим, который синхронизируется с тактовой частотой данных, приходящих от соседней станции. Локальный тактовый генератор работает на тактовой частоте 125 Мгц. Восстанавливающий тактовый генератор, называемый RCRCLK (Receive Recovery Clock) подстраивается под тактовую частоту, извлекаемую из NRZI или MLT-3 сигналов при поступлении кодов Idle в промежутке между передачей кадров данных. Коды Idle, имеющие значение 111111, создают последовательность импульсов типа "меандр" с равными длительностями высокого и низкого потенциала, удобных для подстройки тактового генератора RCRCLK, так как сигнал изменяется два раза за период. Поступающие символы записываются в соответствии с обнаруженной в импульсах кодов Idle частотой в эластичный буфер (Elasticity Buffer). Из эластичного буфера символы извлекаются уже с частотой локального генератора. В результате, рассогласование частот станций в кольце постоянно сглаживается, не превышая 0.01%. Принимающая станция поддерживает заполнение эластичного буфера наполовину, извлекая очередной символ только при превышении этой границы.

2.13 Процедура установления физического соединения

Блоки PMD и PHY, реализующие физический уровень технологии FDDI для каждого порта, участвуют в процедуре инициализации физического соединения каждого порта станции с портом предшествующей или последующей станций. Эта процедура проводится при непосредственном участии блока управления станцией - SMT (Station Management). Блок управления станцией выполняет большое количество функций, получая информацию и управляя всеми остальными блоками станции - PMD, PHY и MAC. Рассмотрим группу функций SMT, управляющих физическими соединениями портов и конфигурацией внутреннего пути данных. Эта группа функций получила название Connection Management (CMT).

На рисунке 2.14 показан состав функций CMT и связь их с блоками PMD, PHY, MAC и некоторыми другими элементами станции.

Рисунок 2.14 - Структура блока управления конфигурацией CMT

Станция, имеющая несколько портов, обеспечивает для каждого из них блоки PMD, PHY и элемент управления конфигурацией CCE (Control Configuration Element). ССЕ - это переключатель, который соединяет входы и выходы первичного и вторичного колец, подключенных к порту извне, с внутренними путями данных станции. В результате данные могут передаваться из порта элементу MAC станции, а могут непосредственно переправляться на другой порт. Реконфигурация станции при ее реакции на отказы производится именно переключателем CCE. Блок управления конфигурацией имеет в своем составе несколько элементов PCM (Physical Connection Management), по одному на каждый порт. Элемент PCM управляет физическим состоянием линии своего порта, анализируя символы, приходящие от PHY, и передавая PHY свои команды. Если элемент PCM обнаруживает изменение состояния линии, то он оповещает об этом элемент CFM (Configuration Management), который отвечает за конфигурацию внутреннего пути данных. Элемент CFM производит конфигурирование внутреннего пути, управляя переключателями портов CCE. Делает он это с помощью элементов CEM (Configuration Element Management), каждый из которых управляет одним переключателем CCE. Блок ECM (Entity Coordination Management) координирует работу всех блоков и элементов блока управления конфигурацией CMT. Установление физического соединения - основная задача блока PCM. Блок PCM каждого порта начинает эту процедуру по команде PC_Start, получаемой от координирующего элемента ECM (рисунок 2.15).

Рисунок 2.15 - Управление физическим соединением портов



При получении этой команды блок PCM локального порта начинает обмениваться символами кодов 4B/5B по миникольцу, образуемому двумя соседними портами. Процедура инициализации физического соединения - это распределенная процедура, в ней участвуют два РСM соседних портов. Во время этой процедуры для обмена информацией соседние порты используют не отдельные символы, а достаточно длинные последовательности символов, что повышает надежность взаимодействия. Эти последовательности называются состоянием линии. Всего используется 4 состояния линии:

  • Quiet Line State, QLS - состояние молчания, состоит в передаче 16 или 17 символов Quiet подряд;

  • Master Link State, MLS - состояние главного порта, состоит в передаче 8 или 9 пар символов Halt-Quiet;

  • Halt Link State, HLS - состояние останова, состоит в передаче 16 или 17 символов Halt подряд;

  • Idle Link State, ILS - состояние простоя, состоит в передаче 16 или 17 символов Idle подряд.

Первый этап инициализации заключается в передаче портом - инициатором соединения - состояния QLS соседнему порту. Тот должен при этом перейти в состояние BREAK - разрыва связи, независимо от того, в каком состоянии связь находилась до получения символов QLS. Соседний порт, перейдя в состояние BREAK, также посылает символы QLS, обозначая свой переход. После того, как порт-инициатор убедился, что первый этап инициализации выполнен, он выполняет следующий этап - переход в состояние CONNECT (соединение). Делает он это посылкой символов HLS, на что соседний порт также должен ответить символами HLS. Если состояние CONNECT установлено, то порт-инициатор начинает наиболее содержательный этап инициализации - NEXT, включающий обмен информацией о типе портов, проведение тестирования качества линии и проведение тестового обмена МАС-кадрами. Этап NEXT состоит в обмене между соседними портами 10-ю сообщениями, которые передаются по очереди. Порт передает одно свое сообщение, затем получает и анализирует сообщение от соседа и так далее. Каждое сообщение несет один бит информации и кодируется последовательностями MLS - логический ноль, или HLS - логическая единица. Первые два сообщения несут информацию о типе своего порта. Для кодирования нужны два бита, так как существует четыре типа портов - А, В, М или S. Третье сообщение говорит соседнему порту, приемлемо ли для данного порта соединение с указанным в принятых сообщениях типом порта. Если да, то следующие сообщения оговаривают длительность процедуры тестирования качества линии, а затем передают информацию о результатах тестирования. Тест состоит в передаче в течение определенного времени символов Idle и подсчете искаженных символов. Если качество линии приемлемо, то выполняется тестовый обмен кадрами данных с участием блоков MAC станций. Если все этапы инициализации прошли успешно, то физическое соединение считается установленным и активным. По нему начинают передаваться символы простоя и кадры данных. Однако, до тех пор, пока станция не выполнит процедуру логического вхождения станции в кольцо, эти кадры могут нести только служебную информацию.

2.14 Конфигурирование внутреннего пути

После установления физического соединения станция должна включить порт во внутренний путь, по которому проходят кадры данных и маркер. Средством, с помощью которого выполняется это включение, является переключатель CCE. Он может подключить вход и выход порта к любому из трех внутренних путей станции (рисунок 2.16) по командам от элемента CEM блока управления конфигурацией CMT.

Рисунок 2.16 - Подключение порта к внутренним путям станции



Внутренние пути станции не следует путать с внешними первичным и вторичным кольцами сети. Внутренние пути могут соединяться с любым из колец, в зависимости от состояния порта. Первичный внутренний путь обязательно должен присутствовать у любой станции. Вторичный внутренний путь является необязательным, но желательным в некоторых конфигурациях станций с двойным подключением, как это будет видно из примеров. Локальный путь используется для тестирования станции на МАС-уровне перед ее логическим включением в кольцо. Переключатель CCE может находиться в одном из 5 состояний (рисунок 2.17):

  • ISOLATED - изолированное состояние, когда все пути идут мимо входа и выхода порта;

  • INSERT_P - порт включен в первичный внутренний путь;

  • INSERT_S - порт включен во вторичный внутренний путь;

  • INSERT_X - порт включен в первичный и вторичный внутренние пути. Это состояние используется для сворачивания первичного и вторичного внешних колец на данном порту (состояние WRAP сети);

  • LOCAL - порт включен в локальный внутренний путь.

Рисунок 2.17 - Состояния переключателя внутренних путей



С помощью перевода переключателей портов станции в нужное состояние блок управления конфигурацией может обеспечить передачу кадров и маркера по тому внутреннему пути, который соответствует текущему состоянию сети. На рисунке 2.18 приведены примеры поддержки состояний THRU_A (а) и WRAP_A (б) для станции с двойным подключением. Состояние THRU_A соответствует нормальному режиму работы колец сети. В этом режиме первичное кольцо проходит через порты А и В, а также MAC-узел станции, а вторичное кольцо проходит только через блоки PMD и PHY каждого из портов. Состояние WRAP_A соответствует реакции сети на нарушение целостности сети, при котором порт В теряет физическое соединение с соседним по сети портом. При этом на линии устанавливается состояние Quiet Line State, так как отсутствие сигналов на входе порта соответствует получению символов Quiet (00000). Получив информацию о том, что на входе порта B установилось состояние QLS, блок PCM этого порта пытается начать процесс реинициализации физического соединения. При отсутствии физической связи между портами эта попытка называется удачной, поэтому порт переводится в состояние INSERT_X, а порт B - в состояние ISOLATED.



Рисунок 2.18 - Работа переключателя пути CCE в станции с двойным подключением

2.15 Функция определения сигнала уровня PMD

Спецификация на Fiber PMD требует от этого уровня выполнения функции Signal_Detect по определению факта наличия оптических сигналов на входе физического соединения станции. Этот сигнал передается на уровень PHY, где используется функцией определения статуса линии Line State Detect (рисунок 2.12). Уровень PMD генерирует для PHY признак присутствия оптического сигнала Signal_Detect, если мощность входного сигнала превышает -43.5 dBm, а снимает его при уменьшении этой мощности до -45 dBm и ниже. Таким образом, имеется гистерезис в 1.5 dBm для предотвращения частых изменений статуса линии при колебании входной мощности сигнала около -45 dBm.

Рисунок 2.12 - Функция определения сигнала на входе PMD

2.16 МАС-уровень

2.16.1 Функции МАС-уровня

В соответствии со стандартами IEEE 802 канальный уровень в локальных сетях состоит из двух подуровней - LLC и МАС. Стандарт FDDI не вводит свое определение подуровня LLC, а использует его сервисы, описанные в документе IEEE 802.2 LLC. Подуровень МАС выполняет в технологии FDDI следующие функции:

  • поддерживает сервисы для подуровня LLC;

  • формирует кадр определенного формата;

  • управляет процедурой передачи токена;

  • управляет доступом станции к среде;

  • адресует станции в сети;

  • копирует кадры, предназначенные для данной станции, в буфер и уведомляет подуровень LLC и блок управления станцией SMT о прибытии кадра;

  • генерирует контрольную последовательность кадра (CRC) и проверяет ее у всех кадров, циркулирующих по кольцу;

  • удаляет из кольца все кадры, которые сгенерировала данная станция;

  • управляет таймерами, которые контролируют логическую работу кольца - таймером удержания токена, таймером оборота токена и т.д.;

  • ведет ряд счетчиков событий, что помогает обнаружить и локализовать неисправности;

  • определяет механизмы, используемые кольцом для реакции на ошибочные ситуации - повреждение кадра, потерю кадра, потерю токена и т.д.

В данном разделе для иллюстрации работы МАС-уровня будет использоваться в качестве иллюстрации станция с двойным подключением и одним блоком МАС, то есть станция DA/SM. Ее внутренняя структура показана на рисунке 2.19.

Рисунок 2.19 - Внутренняя структура станции с двойным подключением и одним блоком МАС

В каждом блоке МАС параллельно работают два процесса: процесс передачи символов - MAC Transmit и процесс приема символов - MAC Receive. За счет этого МАС может одновременно передавать символы одного кадра и принимать символы другого кадра.

2.16.2 Форматы кадра и токена

По сети FDDI информация передается в форме двух блоков данных: кадра и токена. Формат кадра FDDI представлен на рисунке 2.20.

Рисунок 2.20 - Формат кадра FDDI



Рассмотрим назначение полей кадра.

  • преамбула (Preamble, PA). Любой кадр должен предваряться преамбулой, состоящей как минимум из 16 символов Idle (I). Эта последовательность предназначена для вхождения в синхронизм генератора RCRCLK, обеспечивающего прием последующих символов кадра.

  • начальный ограничитель (Starting Delimiter, SD). Состоит из пары символов JK, которые позволяют однозначно определить границы для остальных символов кадра.

  • поле управления (Frame Control, FC). Идентифицирует тип кадра и детали работы с ним. Имеет 8-ми битовый формат и передается с помощью двух символов. Состоит из подполей, обозначаемых как CLFFZZZZ, которые имеют следующее назначение:

  • С - говорит о том, какой тип трафика переносит кадр - синхронный (значение 1) или асинхронный (значение 0);

  • L - определяет длину адреса кадра, который может состоять из 2-х байт или из 6-ти байт;

  • FF - тип кадра, может иметь значение 01 для обозначения кадра LLC (пользовательские данные) или 00 для обозначения служебного кадра MAC-уровня. Служебными кадрами МАС-уровня являются кадры трех типов - кадры процедуры инициализации кольца Claim Frame, кадры процедуры сигнализации о логической неисправности Beacon Frame и кадры процедуры управления кольцом SMT Frame;

  • ZZZZ - детализирует тип кадра;

  • адрес назначения (Destination Address, DA) - идентифицирует станцию (уникальный адрес) или группу станций (групповой адрес), которой(ым) предназначен кадр. Может состоять из 2-х или 6-ти байт.

  • адрес источника (Source Address, SA) - идентифицирует станцию, сгенерировавшую данный кадр. Поле должно быть той же длины, что и поле адреса назначения;

  • информация (INFO) - содержит информацию, относящуюся к операции, указанной в поле управления. Поле может иметь длину от 0 до 4478 байт (от 0 до 8956 символов). Стандарт FDDI допускает размещение в этом поле маршрутной информации алгоритма Source Routing, определенной в стандарте 802.5. При этом в два старших бита поля адреса источника SA помещается комбинация 102 - групповой адрес, комбинация, не имеющая смысла для адреса источника, а обозначающая присутствие маршрутной информации в поле данных;

  • контрольная последовательность (Frame Check Sequence, FCS) - содержит 32-х битную последовательность, вычисленную по стандартному методу CRC-32, принятому и для других протоколов IEEE 802. Контрольная последовательность охватывает поля FC, DA, SA, INFO и FCS;

  • конечный ограничитель (Ending Delimiter, ED) - содержит единственный символ Terminate (T), обозначающий границу кадра. Однако за ним располагаются еще признаки статуса кадра;

  • статус кадра (Frame Status, FS). Первые три признака в поле статуса должны быть индикаторами ошибки (Error, E), распознавания адреса (Address recognized, A) и копирования кадра (Frame Copied, C). Каждый из этих индикаторов кодируется одним символом, причем нулевое состояние индикатора обозначается символом Reset (R), а единичное - Set (S). Стандарт позволяет производителям оборудования добавлять свои индикаторы после трех обязательных;

На рисунке 2.21 показан формат токена.

Рисунок 2.21 - Формат токена

Токен состоит по существу из одного значащего поля - поля управления, которое содержит в этом случае 1 в поле С и 0000 в поле ZZZZ.

2.16.3 Операции МАС-уровня

С помощью операций МАС-уровня станции получают доступ к кольцу и передают свои кадры данных. Цикл передачи кадра от одной станции к другой состоит из нескольких этапов: захвата токена станцией, которой необходимо передать кадр, передачей одного или нескольких кадров данных, освобождением токена передающей станцией, ретрансляцией кадра промежуточными станциями, распознаванием и копированием кадра станцией-получателем и удалением кадра из сети станцией-отправителем. Рассмотрим эти операции. Захват токена. Если станция имеет право захватить токен, то она после ретрансляции на выходной порт символов PA и SD токена, удаляет из кольца символ FC, по которому она распознала токен, а также конечный ограничитель ED. Затем она передает вслед за уже переданным символом SD символы своего кадра, таким образом, формируя его из начальных символов токена (рисунок 2.22).

Рисунок 2.22 - Захват токена



Передача кадра. После удаления полей FC и ED токена станция начинает передавать символы кадров, которые ей предоставил для передачи уровень LLC. Станция может передавать кадры до тех пор, пока не истечет время удержания токена. Для сетей FDDI предусмотрена передача кадров двух типов трафика - синхронного и асинхронного. Синхронный трафик предназначен для приложений, которые требуют предоставления им гарантированной пропускной способности для передачи голоса, видеоизображений, управления процессами и других случаев работы в реальном времени. Для такого трафика каждой станции предоставляется фиксированная часть пропускной способности кольца FDDI, поэтому станция имеет право передавать кадры синхронного трафика всегда, когда она получает токен от предыдущей станции. Асинхронный трафик - это обычный трафик локальных сетей, не предъявляющий высоких требований к задержкам обслуживания. Станция может передавать асинхронные кадры только в том случае, если при последнем обороте токена по кольцу для этого осталась какая-либо часть неизрасходованной пропускной способности. Интервал времени, в течение которого станция может передавать асинхронные кадры, называется временем удержания токена (Token Holding Time, THT). Каждая станция самостоятельно вычисляет текущее значение этого параметра по алгоритму, рассмотренному ниже. Рисунок 2.23 иллюстрирует процесс передачи кадра.



Рисунок 2.23 - Передача кадра

В ходе передачи символов собственного кадра станция удаляет из кольца все поступающие от предыдущей станции символы. Такой процесс называется МАС-заменой (MAC Overwriting). Первоначальный источник удаляемого из сети кадра не имеет значения - это может быть и данный МАС-узел, который ранее поместил этот кадр в кольцо, либо другой МАС-узел. Процесс удаления кадров во время передачи никогда не приводит к удалению еще необработанных кадров: если сеть работает корректно, то удаляются только усеченные кадры, которые образуются либо при захвате токена (этот вариант уже рассмотрен), либо при удалении своего кадра станцией-источником (этот вариант будет рассмотрен ниже). В любом случае, усеченный кадр (remnant frame) - это кадр, у которого есть начальный ограничитель, но отсутствует конечный ограничитель, а вместо него и, может быть, еще некоторых полей вставлены символы простоя Idle. В случае, если удаляемые символы принадлежат кадру, ранее сгенерированному данным МАС-узлом, то одновременно с удалением кадра из кольца проверяются признаки статуса кадра из поля FS - распознавания адреса, копирования и ошибки. Если признак ошибки установлен, то МАС-уровень не занимается повторной передачей кадра, оставляя это уровню LLC или другим верхним уровням коммуникационного стека протоколов. Станция прекращает передачу кадров в двух случаях: либо при истечении времени удержания токена THT, либо при передаче всех имеющихся у нее кадров до истечения этого срока. После передачи последнего своего кадра станция формирует токен и передает его следующей станции. Повторение кадра. Если кадр не адресуется данному МАС-узлу, то последний должен просто повторить каждый символ кадра на выходном порту. Каждый МАС-узел должен подсчитывать количество полученных им полных кадров (усеченные не включаются в подсчет). Каждая станция проверяет повторяемый кадр на наличие ошибок с помощью контрольной последовательности. Если ошибка обнаружена, а признак ошибки в поле FS не установлен, то МАС-узел устанавливает этот признак в кадре, а также наращивает счетчик ошибочных кадров, распознанных данным МАС-узлом. Обработка кадра станцией назначения. Станция назначения, распознав свой адрес в поле DA, начинает копировать символы кадра во внутренний буфер одновременно с повторением их на выходном порту. При этом станция назначения устанавливает признак распознавания адреса. Если же кадр скопирован во внутренний буфер, то устанавливается и признак копирования (невыполнение копирования может произойти, например, из-за переполнения внутреннего буфера). Устанавливается также и признак ошибки, если ее обнаружила проверка по контрольной последовательности. Удаление кадра из кольца. Каждый МАС-узел ответственен за удаление из кольца кадров, которые он ранее в него поместил. Этот процесс известен под названием Frame Stripping. Если МАС-узел при получении своего кадра занят передачей следующих кадров, то он удаляет все символы вернувшегося по кольцу кадра. Если же он уже освободил токен, то он повторяет на выходе несколько полей этого кадра прежде, чем распознает свой адрес в поле SA. В этом случае в кольце возникает усеченный кадр, у которого после поля SA следуют символы Idle и отсутствует конечный ограничитель. Этот усеченный кадр будет удален из кольца какой-нибудь станцией, принявшей его в состоянии собственной передачи.

2.17 Инициализация кольца

Процедура инициализации кольца, известная под названием Claim Token (это название в свободном переводе можно может интерпретироваться как "соревнование претендентов на генерацию токена"), выполняется для того, чтобы все станции кольца убедились в его потенциальной работоспособности, а также пришли к соглашению о значении параметра T_Opr - максимально допустимому времени оборота токена по кольцу, на основании которого все станции вычисляют время удержания токена THT. Процедура Claim Token выполняется в нескольких ситуациях:

  • при включении новой станции в кольцо и при выходе станции из кольца.

  • при обнаружении какой-либо станцией факта утери токена. Токен считается утерянным, если станция не наблюдает его в течение двух периодов времени максимального оборота токена T_Opr.

  • при обнаружении длительного отсутствия активности в кольце, когда станция в течение определенного времени не наблюдает проходящих через нее кадров данных.

  • по команде от блока управления станцией SMT.

Для выполнения процедуры инициализации каждая станция сети должна знать о своих требованиях к максимальному времени оборота токена по кольцу. Эти требования содержатся в параметре, называемом "требуемое время оборота токена" - TTRT (Target Token Rotation Time). Параметр TTRT отражает степень потребности станции в пропускной способности кольца - чем меньше время TTRT, тем чаще станция желает получать токен для передачи своих кадров. Процедура инициализации позволяет станциям узнать о требованиях ко времени оборота токена других станций и выбрать минимальное время в качестве общего параметра T_Opr, на основании которого в дальнейшем будет распределяться пропускная способность кольца. Параметр TTRT должен находиться в пределах от 4 мс до 165 мс и может изменяться администратором сети. Для проведения процедуры инициализации станции обмениваются служебными кадрами МАС-уровня - кадрами Claim. Эти кадры имеют в поле управления значение 1L00 0011, поле адреса назначения содержит адрес источника (DA = SA), а в поле информации содержится 4-х байтовое значение запрашиваемого времени оборота токена T_Req. Если какая-либо станция решает начать процесс инициализации кольца по своей инициативе, то она формирует кадр Claim Token со своим значением требуемого времени оборота токена TTRT, то есть присваивает полю T_Req свое значение TTRT. Захвата токена для отправки кадра Claim не требуется. Любая другая станция, получив кадр Claim Token, начинает выполнять процесс Claim Token. При этом станции устанавливают признак нахождения кольца в работоспособном состоянии Ring_Operational в состояние False, что означает отмену нормальных операций по передаче токена и кадров данных. В этом состоянии станции обмениваются только служебными кадрами Claim. Для выполнения процедуры инициализации каждая станция поддерживает таймер текущего времени оборота токена TRT (Token Rotation Timer), который используется также и в дальнейшем при работе кольца в нормальном режиме. Для упрощения изложения будем считать, что этот таймер, как и другие таймеры станции, инициализируется нулевым значением и затем наращивает свое значение до определенной величины, называемой порогом истечения таймера. (В реальном кольце FDDI все таймеры работают в двоичном дополнительном коде). Таймер TRT запускается каждой станцией при обнаружении момента начала процедуры Claim Token. В качестве предельного значения таймера выбирается максимально допустимое время оборота токена, то есть 165 мс. Истечение таймера TRT до завершения процедуры означает ее неудачное окончание - кольцо не удалось инициализировать. В случае неудачи процесса Claim Token запускается процессы Beacon и Trace, с помощью которых станции кольца пытаются выявить некорректно работающую часть кольца и отключить ее от сети. Во время выполнения процесса Claim Token каждая станция сначала может отправить по кольцу кадр Claim со значением T_Req, равным значению ее параметра TTRT. При этом она устанавливает значение T_Opr, равное значению TTRT. Рассмотрим пример инициализируемого кольца, приведенный на рисунке 2.24.

Рисунок 2.24 - Процесс инициализации кольца



В некоторый момент времени все станции передали по кольцу свои предложения о значении максимального времени оборота токена: 72 мс, 37 мс, 51 мс и 65 мс. Станция, приняв кадр Claim от предыдущей станции, обязана сравнить значение T_Req, указанное в кадре со значением TTRT своего предложения. Если другая станция просит установить время оборота токена меньше, чем данная (то есть T_Req < TTRT), то данная станция перестает генерировать собственные кадры Claim и начинает повторять чужие кадры Claim, так как видит, что в кольце есть более требовательные станции. Одновременно станция фиксирует в своей переменной T_Opr минимальное значение T_Req, которое ей встретилось в чужих кадрах Claim. Если же пришедший кадр имеет значение T_Req больше, чем собственное значение TTRT, то он удаляется из кольца. Процесс Claim завершается для станции в том случае, если она получает кадр Claim со своим адресом назначения. Это означает, что данная станция является победителем состязательного процесса и ее значение TTRT оказалось минимальным. В рассматриваемом примере это станция B со значением TTRT, равным 37 мс. Другие станции кольца не смогут получить свой кадр Claim, так как он не сможет пройти через станцию B. При равных значениях параметра TTRT преимущество отдается станции с большим значением МАС-адреса. После того, как станция обнаруживает, что она оказалась победителем процесса Claim Token, она должна сформировать токен и отправить его по кольцу. Первый оборот токена - служебный, так как за время этого оборота станции кольца узнают, что процесс Claim Token успешно завершился. При этом они устанавливают признак Ring_Operational в состояние True, означающее начало нормальной работы кольца. При следующем проходе токена его можно будет использовать для захвата и передачи кадров данных. Если же у какой-либо станции во время выполнения процедур инициализации таймер TRT истек, а токен так и не появился на входе станции, то станция начинает процесс Beacon. После нормального завершения процесса инициализации у всех станций кольца устанавливается одинаковое значение переменной T_Opr.

2.18 Управление доступом к кольцу

Управление доступом к кольцу FDDI распределено между его станциями. Каждая станция при прохождении через нее токена самостоятельно решает, может она его захватить или нет, а если да, то на какое время. Если у станции имеются для передачи синхронные кадры, то она всегда может захватить токен на фиксированное время, выделенное ей администратором. Если же у станции имеются для передачи асинхронные кадры, то условия захвата определяются следующим образом. Станция ведет уже упомянутый таймер текущего времени оборота токена TRT, а также счетчик количества опозданий токена Late_Ct. Время истечения таймера TRT равно значению максимального времени оборота токена T_Opr, выбранному станциями при инициализации кольца. Счетчик Late_Ct всегда сбрасывается в нуль, когда токен проходит через станцию. Если же токен опаздывает, то таймер достигает значения T_Opr раньше очередного прибытия токена. При этом таймер обнуляется и начинает отсчет времени заново, а счетчик Late_Ct наращивается на единицу, фиксируя факт опоздания токена. При прибытии опоздавшего токена (при этом Late_Ct = 1) таймер TRT не сбрасывается в нуль, а продолжает считать, накапливая время опоздания токена. Если же токен прибыл раньше, чем истек интервал T_Opr у таймера TRT, то таймер сбрасывается в момент прибытия токена. На рисунке 2.25 приведены различные случаи прибытия токена. Значение максимального времени оборота токена для примера, приведенного на этом рисунке, равно 30 мс.

Рисунок 2.25 - Поведение таймера времени текущего оборота токена TRT и счетчика опозданий токена Late_Ct

Таблица 2.3 – События в моментах времени рисунка 2.25

Момент А:

Токен прибыл вовремя, так как таймер TRT не достиг порога T_Opr. Таймер TRT перезапускается и начинает считать заново.

Момент В:

Токен прибыл вовремя. Таймер перезапускается.

Момент С:

Таймер истек раньше, чем токен прибыл на станцию. Таймер TRT перезапускается, а счетчик Late_Ct наращивается на единицу.

Момент D:

Токен наконец прибыл, но он опоздал - это отмечает счетчик Late_Ct, равный 1. Счетчик сбрасывается в нуль, но таймер не перезапускается, так как при приходе токена счетчик не был равен нулю.

Момент Е:

Токен прибыл на станцию. Так как он прибыл до истечения таймера и при нулевом значении счетчика Late_Ct, то считается, что он прибыл вовремя. Таймер перезапускается.

Теперь рассмотрим, каким образом значения таймера TRT и счетчика Late_Ct используются при выяснении возможности захвата токена и времени его удержания. Станция может захватывать токен только в том случае, когда он прибывает вовремя - то есть в момент его прибытия счетчик Late_Ct равен нулю. Время удержания токена управляется таймером удержания токена THT (Token Holding Timer). Если станция имеет в буфере кадры для передачи в момент прибытия токена и токен прибыл вовремя, то станция захватывает его и удерживает в течение периода (T_Opr - TRT), где TRT - значение таймера TRT в момент прихода токена. Для отслеживания разрешенного времени удержания токена в момент захвата токена значение TRT присваивается таймеру THT, а затем таймер TRT обнуляется и перезапускается. Таймер THT считает до границы T_Opr, после чего считается, что время удержания токена исчерпано. Станция перестает передавать кадры данных и передает токен. Описанный алгоритм позволяет адаптивно распределять пропускную способность кольца между станциями, а точнее - ту ее часть, которая осталась после распределения между синхронным трафиком станций. Пример работы алгоритма выделения времени для передачи асинхронного трафика приведен на рисунке 2.26. как и в предыдущем примере, время максимального оборота токена равно 30 мс.

Рисунок 2.26 - Выделение времени для асинхронного трафика

Таблица 2.4 – События в моментах времени рисунка 2.26

Момент В:

Токен прибыл вовремя. Станция имеет к этому моменту асинхронные кадры для передачи. Таймеру THT присваивается значение таймера TRT (16), и он начинает считать до значения T_Opr (30). Таймер TRT перезапускается. Станция начинает передавать кадры. Она может это делать в течение 14 мс. Если она закончит передачу имеющихся кадров раньше, то она обязана немедленно освободить токен.

Момент С:

Таймер THT истек, и станция должна прекратить передачу асинхронных кадров. Станция завершает передачу текущего кадра и передает токен соседней станции. Счетчик TRT при этом продолжает работать.

Момент D:

Таймер TRT истекает раньше очередного прибытия токена. Таймер перезапускается, а счетчик Late_Ct наращивается на 1.

Момент Е:

Токен прибывает, но он опоздал, так как Late_Ct имеет значение 1. Станция не может захватить токен при значении Late_Ct, отличном от нуля.Токен передается соседней станции. Счетчик Late_Ct обнуляется, а таймер TRT не перезапускается.

Момент F:

Токен прибывает на станцию. Так как таймер TRT еще не истек, а значение Late_Ct равно 0, то токен прибыл вовремя. Таймер THT инициализируется значением таймера TRT (22) и начинает считать до границы T_Opr. TRT перезапускается.Станция может передавать кадры в течение 8 мс.

В стандарте FDDI определено также еще два механизма управления доступом к кольцу. Во-первых, в токене можно задавать уровень приоритета токена, а для каждого уровня приоритета задается свое время порога, до которого считает таймер удержания токена THT. Во-вторых, определена особая форма токена - сдерживающий токен (restricted token), с помощью которого две станции могут монопольно некоторое время обмениваться данными по кольцу. Если таймер TRT истечет при значении Late_Ct, равном 1, то такое событие считается потерей токена и порождает выполнение процесса реинициализации кольца Claim Token.

2.19 Функции управления сетями FDDI

2.19.1 Функции управления сетью по спецификации SMT

Кроме спецификаций уровней PHY, PMD и МАС, стандарт FDDI определяет также спецификацию уровня управления станцией Station Management (SMT). В настоящее время действует версия 7.3 SMT. Эта спецификация определяет функции, которые должен выполнять каждый узел в сети FDDI. SMT контролирует и управляет всеми процессами канального и физического уровней, протекающими в отдельной станции. Кроме того, процесс SMT каждой станции взаимодействует с аналогичными процессами других станций для того, чтобы следить и координировать все операции в кольце FDDI. В этом случае SMT принимает участие в распределенном одноранговом управлении кольцом. SMT включает три группы функций (рисунок 2.27):

  • управление соединениями - Connection Management (CMT);

  • управление кольцом - Ring Management (RMT);

  • управление, основанное на кадрах - Frame-Based Management (FBM).

Рисунок 2.27 - Состав функций управления SMT



Функции управления соединениями CMT уже были рассмотрены в разделах 2.5.2 и 2.5.3 в связи с тем, что их основным назначением является контроль и управление физическими соединениями, организуемыми физическим уровнем. Функции управления кольцом RMT заключаются в управлении локальными узлами МАС и кольцами, к которым они присоединены. Функции RMT ответственны за обнаружение дублированных адресов, а также за запуск процедуры инициации кольца Claim Token и процедур обработки аварийных ситуаций Beacon и Trace. Функции управления, основанного на кадрах FBM позволяют узлу получать от других узлов сети информацию об их состоянии и статистике о прошедшем через них трафике. Эта информация хранится в базе данных управляющей информации MIB (Management Information Base).

2.19.2 Функции управления кольцом RMT

Для выполнения своих функций узел RMT взаимодействует с локальным узлом МАС, узлом управления соединениями CMT, а также другими узлами SMT станции. Узел RMT выполняет следующие функции. Уведомление о статусе и наличии локального МАС-узла. RMT несет ответственность за уведомление других узлов SMT о:

  • доступности МАС узла для передачи и приема кадров и токена;

  • начале или завершении процесса Beacon в локальном узле;

  • обнаружении факта дублирования МАС-адреса;

  • старте функции Trace, позволяющей узлу выйти из состояния постоянной генерации кадров сигнализации о неисправности (состояние Stuck Beacon);

  • неработоспособности кольца в течение длительного времени.

Процесс Beacon и выход из него. Процесс Beacon (процесс сигнализации) используется для изоляции серьезных повреждений кольца. Узел МАС начинает процесс Beacon в следующих ситуациях:

  • процесс инициализации кольца Claim Token не завершился за отведенное ему время;

  • узел SMT передал узлу MAC команду на инициацию процесса Beacon.

Если узел входит в процесс Beacon, то он начинает передавать последующему в кольце узлу кадры Beacon, в которых в качестве адреса назначения указывается либо 0, либо адрес предшествующей станции, полученный в этом случае от SMT. В поле данных пересылается один байт причины начала процесса Beacon (0 - неудачное завершение процесса Claim Token, остальные значения зарезервированы на будущее). Если же узел получает кадр Beacon от другой станции, то она прекращает передавать свои кадры Beacon и переходит в режим повторения кадров. Через некоторое время после возникновения аварийной ситуации в кольце все станции прекращает генерировать кадры Beacon, кроме одной, той, которая находится в кольце непосредственно за станцией или участком кабеля, являющимися причиной аварийной ситуации в кольце. Станция, продолжающая генерировать кадры Beacon, попадает в состояние Stuck Beacon - "постоянной сигнализации" (рисунок 2.28).

Рисунок 2.28 - Станция в состоянии Stuck Beacon



Процесс RMT каждой станции при входе станции в процесс Beacon запускает таймер TRM (Ring Management), который измеряет период времени, в течение которого данная станция генерирует кадры Beacon. При превышении им границы T_Stuck процесс RMT считает, что станция попала в состояние постоянной сигнализации Stuck Beacon и что узел управления конфигурацией не смог справиться с возникшей в кольце проблемой. В этой ситуации узел RMT посылает по кольцу так называемый направленный сигнальный кадр - Directed Beacon - станции управления кольца (подразумевается, что на одной из станций кольца выполняется специальное программное обеспечение управления сетью, например, Sun NetManager, не входящее в компетенцию стандарта FDDI). В качестве адреса назначения в кадре Directed Beacon указывается специальный групповой адрес, который станция управления должна распознать. Поле информации должно содержать адрес предшествующей станции - потенциального виновника проблемы. После передачи нескольких кадров Directed Beacon (для надежности) процесс RMT инициирует процесс Trace. Процесс Trace используется для обнаружения домена неисправности - то есть группы станций, которые работают некорректно.

Станция, которая инициирует процесс Trace, посылает об этом сигнал станции, непосредственно предшествующей ей в кольце - то есть предыдущему соседу. Сигнал Trace передается в форме последовательности символов Halt и Quiet. Станция, которая получила сигнал Trace, и станция, которая передала сигнал Trace, на некоторое время отключаются от кольца и выполняют тест проверки внутреннего пути, так называемый Path Test. Детали теста Path Test не определены спецификацией SMT. Ее общее назначение состоит в том, что станция должна автономно проверить передачу символов и кадров между всеми своими внутренними узлами, чтобы убедиться в том, что не она является причиной отказа кольца. Если тест внутреннего пути Path Test выполнен успешно, то процесс SMT посылает блокам управления конфигурацией сигнал PC_Start, по которому они начинают восстановление физических соединений портов. Если же Path Test не выполняется, то станция остается отсоединенной от кольца.

2.19.3 Функции управления, основанные на передаче кадров

Эта часть функций SMT, называемая FBM (Frame Based Management) является наиболее высокоуровневой, так как для ее работы требуется, чтобы кольцо находилось в работоспособном состоянии и могло передавать между станциями кадры. Спецификация FBM определяет большое количество типов кадров, которыми обмениваются станции:

  • кадры информации о соседстве (Neighborhood Information Frames, NIF) позволяют станции выяснить адреса ее предшествующего и последующего соседей, выяснить наличие дублированных адресов, а также проверить работоспособность своего МАС-узла при отсутствии другого трафика. Информация об адресах соседей может быть собрана управляющей станцией для построения логической карты кольца.

  • кадры информации о статусе (Station Information Frames, SIF) используются станцией для передачи запроса о конфигурации и операционных параметрах другой станции. С помощью кадров SIF запрашиваются и передаются, например, данные о состоянии станции, значении счетчика кадров, приоритетах кадров, идентификаторе производителя.

  • кадры отчета о статусе (Station Report Frames, SRF) позволяют станции периодически посылать по кольцу информацию о своем состоянии, которая может быть интересна станции управления кольцом. Это может быть, например, информация об изменении состояния станции, о нежелательных соединениях, о слишком высокой интенсивности ошибочных кадров.

  • кадры управления параметрами (Parameter Management Frames, PMF) используются станцией для чтения или записи значений параметров базы данных управляющей информации SMT MIB.

  • эхо-кадры (Echo Frames, ECF) позволяют станции проверить связь с любой станцией кольца.

Кадр SMT имеет собственный заголовок достаточно сложного формата, который вкладывается в информационное поле MAC кадра. За заголовком следует информационное поле SMT, которое содержит данные о нескольких параметрах станции. Каждый параметр описывается тремя полями - полем типа параметра, полем длины параметра и полем значения параметра. С помощью кадров PMF управляющая станция может получить доступ к значению параметров, хранящихся в базе данных управляющей информации станции - Management Information Base, MIB. Спецификация SMT определяет состав объектов SMT MIB и их структуризацию. База SMT MIB состоит из 6 поддеревьев (рисунок 2.29). Поддерево 5 зарезервировано на будущее.

Рисунок 2.29 - Структура базы управляющей информации SMT MIB

Сообщество Internet разработало стандарт на базу управляющей информации MIB для сетей FDDI. Стандарт RFC 1285 определяет объекты, которые нужны для управления станциями FDDI по протоколу SNMP. База Internet FDDI MIB является поддеревом ветви Transmission базы MIB-II. Объекты, определенные в RFC 1285, идентичны объектам SMT MIB. Однако, имена объектов и их синтаксис отличаются от спецификации SMT MIB. Эти отличия должны учитываться производителями оборудования и программного обеспечения управления. Обычно совместимость этих двух спецификаций достигается за счет встроенных в оборудование агентов-посредников FDDI/SNMP, а также за счет функций трансляции спецификаций в системах управления сетями. На рисунке 2.30 приведена структура базы FDDI MIB по спецификации RFC 1285.

Рисунок 2.30 - Структура базы FDDI MIB по спецификации RFC 1285

2.20 В каких случаях рекомендуется использовать технологию FDDI

Особенностью технологии FDDI является сочетание нескольких очень важных для локальных сетей свойств:

  • высокая степень отказоустойчивости;

  • способность покрывать значительные территории, вплоть до территорий крупных городов;

  • высокая скорость обмена данными;

  • возможность поддержки синхронного мультимедийного трафика;

  • гибкий механизм распределения пропускной способности кольца между станциями;

  • возможность работы при коэффициенте загрузки кольца близком к единице;

  • возможность легкой трансляции трафика FDDI в трафики таких популярных протоколов как Ethernet и Token Ring за счет совместимости форматов адресов станций и использования общего подуровня LLC.

Пока FDDI - это единственная технология, которой удалось объединить все перечисленные свойства. В других технологиях эти свойства также встречаются, но не в совокупности. Так, технология Fast Ethernet также обладает скоростью передачи данных 100 Мб/с, но она не позволяет восстанавливать работу сети после однократного обрыва кабеля и не дает возможности работать при большом коэффициенте загрузки сети. За уникальное сочетание свойств приходится платить - технология FDDI является сегодня самой дорогой 100 Мб технологией. Поэтому ее основные области применения - это магистрали кампусов и зданий, а также подключение корпоративных серверов. В этих случаях затраты оказываются обоснованными - магистраль сети должна быть отказоустойчивой и быстрой, то же относится к серверу, построенному на базе дорогой мультипроцессорной платформы и обслуживающему сотни пользователей. Проект перевода сети университетского кампуса на технологию Fast Ethernet, разработанный компанией 3Com и приведенный в разделе 1.9, очень характерен. Специалисты 3Com не предлагают отказываться от технологии FDDI на магистрали кампуса, во всяком случае они говорят о возможности перехода от FDDI к АТМ только на завершающих стадиях проекта модернизации, лет через 5 - 8. Многие современные корпоративные сети построены с использованием технологии FDDI на магистрали в сочетании с технологиями Ethernet, Fast Ethernet и Token Ring в сетях этажей и отделов. Группа центральных серверов также обычно подключается к магистральному кольцу FDDI напрямую, с помощью сетевых адаптеров FDDI. В связи с появлением более дешевых, чем FDDI 100 Мб технологий, таких как Fast Ethernet и 100VG-AnyLAN, технология FDDI, очевидно, не найдет широкого применения при подключении рабочих станций и создании небольших локальных сетей, даже при увеличении быстродействия этих станций и наличии в сетях мультимедийной информации.

3. Практическая часть


При создании сети по технологии FDDI выгоднее и удобнее всего было бы сделать следующим образом.

Рисунок 3.1 – Сеть, построенная по технологии FDDI



Как видно на рисунке 3.1 аудитории связаны с сервером с помощью кольца. Они продолжают это кольцо в следующие аудитории. Сами же компьютеры внутри каждой аудитории связаны по протоколу Ethernet. Таким образом, в каждой аудитории компьютеры могут свободно обмениваться между собой, не занимая всю сеть. Для создания сети следует воспользоваться концетраторыми. Концентраторы FDDI выпускаются как в отдельных конструктивах с фиксированным количеством портов, так и в виде модулей для корпоративных концентраторов на основе шасси, таких как System 5000 компании Bay Networks или LANplex 6000 компании 3Com.

  • Концентратор FDDI 2914-04 компании Bay Networks - это концентратор FDDI, выполненный в отдельном корпусе и имеющий 14 портов. Все порты поддерживают многомодовый оптоволоконный кабель 50/125 или 62.5/125 мкм. 12 портов сконфигурированы как порты типа M для соединения со станциями с одиночным подключением, а два порта являются портами А и В для подключения концентратора к двойному кольцу. Порты А и В могут быть также сконфигурированы как М-порты, тогда концентратор может объединять до 14 станций типа SAS. Концентратор имеет два МАС-узла - первичный и локальный. Локальный используется для поддержки процедуры плавного включения станций в кольцо, не требующей его реинициализации.

  • Модуль концентратора FDDI для коммутатора LANplex 6000 компании 3Com. Модуль выпускается в двух исполнениях - на 6 портов для многомодового оптоволоконного кабеля, или на 12 портов неэкранированной витой пары категории 5. Каждый порт может быть сконфигурирован как порт М для поддержки станций SAS или как порт А или В для поддержки станций DAS. Модуль поддерживает спецификацию SMT 7.3 управление станцией, а также позволяет управлять им по протоколу SNMP, так как в него встроен агент SNMP/SMT proxy.

В качестве примера рассмотрим проект корпоративной сети АО "ЛУКойл-Когалымнефтегаз" и "Нефтекомбанка", выполненный интеграционной российской компанией IBS Network Solutions (рисунок 3.2).

Рисунок 3.2 - Сеть АО "ЛУКойл-Когалымнефтегаз", построенная с использованием технологии FDDI

АО "ЛУКойл-Когалымнефтегаз" представляет собой одно из крупнейших в России объединений, действующих на рынке нефтегазодобычи. В структуру объединения входит "Нефтекомбанк". Подавляющее число административных зданий объединения расположены на относительно небольшой территории (диаметром порядка 7 км) города Когалым. К моменту начала осуществления проекта в некоторых зданиях работали локальные сети с общим числом компьютеров около 700, но соединения между сетями зданий отсутствовали. В предложенном проекте семь зданий АО на территории города Когалым объединяются на основе оптоволоконного кабеля и технологии FDDI. В каждом здании установлен центральный для сети здания коммутатор LANplex 2500, позволяющий осуществлять коммутацию двух сетей FDDI или коммутацию одной сети FDDI с 8-ю сегментами Ethernet. При подключении к кольцу FDDI используется подключение типа DAС на многомодовом или одномодовом оптоволоконном кабеле. В предложенном проекте используется два магистральных кольца FDDI, объединенные коммутатором LANplex. К каждому из магистральных колец подключается несколько сетей зданий с помощью своих коммутаторов LANplex. Подключение по схеме DAC обеспечивает надежное функционирование магистральных колец, изоляция сетей зданий на физическом уровне осуществляется с помощью оптических обходных переключателей Optical Bypass Switch. Сети этажей и функциональных подразделений зданий используют технологию Ethernet. Сегменты Ethernet подключаются к коммутатору LANplex через порты его коммутирующего модуля Ethernet. Некоторые удаленные небольшие сети подключаются к магистральной сети не по технологии FDDI, а по технологии 10Base-FL, используя оптоволоконные повторители FMS Optical Repeater. Все коммуникационное оборудование сети управляется с помощью системы управления Transcend Enterprise Manager компании 3Сом.

Список литературы

1. http://www.school.ru/inf/lan/fddi.shtml.

2. Максимов Н.В., Попов И.И. Компьютерные сети: учебное пособие. – 2-е изд., испр. и доп. – М.: ФОРУМ: ИНФРА – М, 2007г.

3. Олифер В.Г., Олифер Н.А. Компьютерные сети – СПб.: Питер, 2003г.


1. Реферат Розвиток грошово-кредитної системи в Україні
2. Диплом на тему Обоснование постановки поисково оценочных работ на Южно Орловском м
3. Реферат на тему ALTENATIVE EDUCATION Essay Research Paper Alternative Education
4. Реферат Общее представление о бурение нефтяных и газовых скважин
5. Реферат на тему Переход развитых стран Европы Азии Америки в постиндустриальную стадию развития
6. Сочинение на тему Борьба или капитуляция Тема интеллигенции и революции в творчестве МА Булгакова
7. Контрольная работа Расчет ограждающих и несущих конструкций кровли
8. Реферат СНІД проблеми і досягнення на сучасному етапі
9. Реферат на тему When Is It Stalking Essay Research Paper
10. Реферат на тему Ethics And Economics Essay Research Paper The