Информационный процесс. Обработка информации

Контрольная работа по «Теории информационных процессов  и систем»

Выполнила: Гринюк Е.В.

Южно-Российский государственный университет экономики и сервиса

Кафедра РТ и ИС

г. Шахты

2003 г.

Введение

Обмен информацией был и является одной из отличительных особенностей человеческой деятельности. Общение людей друг с другом, их взаимоотношения с внешним миром, их производственная, научная и общественная деятельность тесно связаны с информационными процессами – процессами восприятия, передачи, обработки, поиска, хранения и отображения информации. Без обмена информацией невозможно управление различными объектами, организация производственной, научной и общественной жизни человека. Процессы общения также неразрывно связаны с информационным обменом, коммуникацией, установлением информационных связей между обучаемыми и обучающим.

Накопление человечеством опыта и знаний при освоении природы смешалось с освоением информации.

Сначала из поколения в поколение информация передавалась устно. Это были сведения о профессиональных навыках, например о приемах охоты, обработки охотничьих трофеев, способах земледелия и др. Но затем информацию стали фиксировать в виде графических образов окружающего мира. Так, первые наскальные рисунки, изображающие животных, растения, людей, появились примерно 20 – 30 тыс. лет назад.

Поиск более современных способов фиксирования информации привел к появлению письменности. Вначале люди записывали расчеты с покупателями, а затем написали и первое слово.

1. Что такое информация, информационный процесс.

В обыденной жизни информацию отождествляют с понятиями "сообщение", "сведения", "данные", "знания". Такое соотношение допустимо лишь до некоторой степени, так как у всех этих понятий есть одно общее важное свойство – они обозначают нечто, являющееся отображением реальных объектов и процессов. Однако, как только ставится вопрос о совершенствовании информационных процессов, подобное понимание термина "информация" обнаруживает ряд недостатков. Так, очевидным является то, что целью функционирования информационных систем не может быть выдача как можно большего количества информации (показателей, документов). Один лаконичный, грамотно составленный документ чаще всего полезнее "информативнее", чем несколько документов. Взяв ряд исходных показателей, можно получить множество различных производных, но увеличение числа последних не обязательно будет отражать прирост полезных сведений (знаний).

Следовательно, данные или сообщения содержат нечто такое, от чего зависит их сравнительная ценность, ради чего они собираются, передаются и обрабатываются. Именно поэтому под термином "информация" чаще всего понимают содержательный аспект данных, проводя, таким образом, различие между информацией и данными. Термин "данные" происходит от латинского слова data – факт, а термин "информация" – от латинского "informatio", что означает разъяснение, изложение.

В строго научном плане понятие "информация" связывается с вероятностью осуществления того или иного события. И чем выше вероятность конкретного исхода (результата) этого события, тем меньше количество информации возникает после его осуществления и наоборот. Следовательно, ИНФОРМАЦИЯ – это мера устранения неопределенности в отношении исхода интересующего нас события. Причем характерным является то обстоятельство, что информативность сообщения (количество информации в нем) не всегда пропорциональна объему (длине) этого сообщения.

Информация не существует сама по себе, так как она подразумевает наличие объекта (источника), отражающего информацию, и субъекта (приемника, потребителя), воспринимающего ее. Всякое событие, всякое явление служит источником информации.

Процесс передачи информации от источника к получателю называется Информационным процессом.

При телефонной передаче источник сообщения - говорящий. Кодирующее устройство, изменяющее звуки слов в электрические импульсы, - это микрофон. Канал, по которому передается информация - телефонный провод. Та часть трубки, которую мы подносим к уху, играет роль декодирующего устройства. Здесь электрические сигналы снова преобразуются в звуки. И, наконец, информация поступает в "принимающее устройство" - ухо человека на другом конце провода.

		Источник помех

Общая схема передачи информации.

КОЛИЧЕСТВО ИНФОРМАЦИИ

Информация - произвольная последовательность символов, т.е. любое слово, каждый новый символ увеличивает количество информации. Как же измерить количество информации? Для этого, как впрочем и для измерения длины, массы и т.д. нужен эталон. Какое же слово взять в качестве эталона информации? Прежде, чем выбрать это слово необходимо выбрать алфавит - материал, из которого будет сделано это слово. Обычно алфавит берут двухсимвольным. Например, он может состоять из цифр 1 и 0. Эталоном считается слово, состоящее из одного символа такого алфавита. Количество информации, содержащееся в этом слове, принимают за единицу, названную битом. Имея эталон количества информации можно сравнить любое слово с эталоном. Проще сравнивать те слова, которые записаны в том же двухсимвольном алфавите.

ЦЕННОСТЬ ИНФОРМАЦИИ

Количество информации в двух сообщениях может быть совершенно одинаковым, а смысл совершенно разным. Два слова, например «Мир» и «Рим», содержат одинаковое количество информации, состоят из одних и тех же букв, но смысл слов различен.

В повседневной жизни, как правило, оцениваются полученные сведения со смысловой стороны: новые сведения воспринимаем не как определенное количество информации, а как новое содержание.

Пассажиры едут в автобусе. Водитель объявляет остановку. Кое-кто выходит, остальные не обращают внимания на слова водителя - переданную им информацию. Почему? Потому что информация здесь имеет разную ценность для получателей, в роли которых в этом примере выступают пассажиры. Вышел тот, для кого информация была ценна. Значит, ценность можно определить как свойство информации, влияющей на поведение ее получателя.

2. Определение информационных систем и информационных технологий, их различия.

Информационная система – это коммуникационная система по сбору, передаче и переработке информации об объекте. Это прикладная программная подсистема, ориентированная на поиск, сбор, обработку и хранение информации. Каждый базовый компонент информационной системы является самостоятельной системой, имеет определенную структуру построения и цели функционирования.

Термин "технология" (от греческое "techne" – искусство, умение, мастерство и греческого "logos" – понятие, учение) определяется как совокупность методов обработки, изготовления, изменения состояния, свойств, формы сырья, материалов или полуфабрикатов, осуществляемых в процессе производства конечной продукции.

Технология неразрывно связана с машинизацией производственного или непроизводственного, прежде всего управленческого процесса. Управленческие технологии основываются на применении компьютеров и телекоммуникационной техники.

Согласно определению, принятому ЮНЕСКО, информационная технология – это комплекс взаимосвязанных, научных, технологических, инженерных дисциплин, изучающих методы эффективной организации труда людей, занятых обработкой и хранением информации; вычислительную технику и методы организации и взаимодействия с людьми и производственным оборудованием, их практические приложения, а также связанные со всем этим социальные, экономические и культурные проблемы. Сами информационные технологии требуют сложной подготовки, больших первоначальных затрат и наукоемкой техники. Их введение должно начинаться с создания математического обеспечения, формирования информационных потоков в системах подготовки специалистов.

3. Обработка информации

Цели, задачи и виды обработки информации

Понятие обработки информации является весьма широким. Ведя речь об обработке информации, следует дать понятие инварианта обработки. Обычно им является смысл сообщения (смысл информации, заключенной в сообщении). При автоматизированной обработке информации объектом обработки служит сообщение, и здесь важно провести обработку таким образом, чтобы инварианты преобразований сообщения соответствовали инвариантам преобразования информации.

Цель обработки информации в целом определяется целью функционирования некоторой системы, с которой связан рассматриваемый информационный процесс. Однако для достижения цели всегда приходится решать ряд взаимосвязанных задач.

К примеру, начальная стадия информационного процесса – рецепция. В различных информационных системах рецепция выражается в таких конкретных процессах, как отбор информации (в системах научно-технической информации), преобразование физических величин в измерительный сигнал (в информационно-измерительных системах), раздражимость. и ощущения (в биологических системах) и т.п.

Процесс рецепции начинается на границе, отделяющей информационную систему от внешнего мира. Здесь, на границе, сигнал внешнего мира преобразуется в форму, удобную для дальнейшей обработки. Для биологических систем и многих технических систем, например читающих автоматов, эта граница более или менее четко выражена. В остальных случаях она в значительной степени условна и даже расплывчата. Что касается внутренней границы процесса рецепции, то она практически всегда условна и выбирается в каждом конкретном случае исходя из удобства исследования информационного процесса.

Следует отметить, что независимо от того, как "глубоко" будет отодвинута внутренняя граница, рецепцию всегда можно рассматривать как процесс классификации.

Формализованная модель обработки информации

Обратимся теперь к вопросу о том, в чем сходство и различие процессов обработки информации, связанных с различными составляющими информационного процесса, используя при этом формализованную модель обработки. Прежде всего заметим, что нельзя отрывать этот вопрос от потребителя информации (адресата), от семантического и прагматического аспектов информации. Наличие адресата, для которого предназначено сообщение (сигнал), определяет отсутствие однозначного соответствия между сообщением и содержащейся в нем информацией. Совершенно очевидно, что одно и то же сообщение может иметь различный смысл для разных адресатов и различное прагматическое значение.

(3.1)

Предположим, что с каждым конкретным потребителем информации связано некоторое множество I, элементами которого являются пары смысл-значение. Существует множество X сообщений, элементами которого могут быть символы, слова, фразы, значения физических величин и процессов – словом, любые знаки. Чтобы из сообщения X могла быть извлечена информация I, должно существовать некоторое отображение j



являющееся результатом действия по крайней мере трех факторов:

1) договоренности между отправителем и потребителем, что позволяет "осмысливать" сообщение;

2) наличием конкретной цели у адресата;

3) той ситуацией, в которой находится адресат.

Последние два фактора определяют значение сообщения. Отображение j называется правилом интерпретации сообщении. Оно может быть общим, понятным для многих потребителей информации, либо известным лишь паре отправитель—потребитель, а для других потребителей информации незнание правила j приводит к тому, что даже воспринятое сообщение не поддается интерпретации или ведет к ложной интерпретации.

Обработка информации не может быть осуществлена вне обработки содержащих ее сообщений.

Можно представить следующую формализованную модель обработки. Пусть X – множество возможных сообщений, фигурирующих в некоторой системе коммуникации. Под обработкой сообщений понимается некоторое отображение q:

(3.2)

где Y – множество, элементы которого назовем обработанными сообщениями. В общем случае для интерпретации сообщений Y может служить правило, отличное от j, например, правило y. Тогда отображение

(3.3)

следует рассматривать как интерпретацию обработанных сообщений Y. Здесь множество J есть также множество пар смысл-значение.

Представление обработки в форме (3.2), хотя и не охватывает всех видов обработки сообщений, тем не менее является достаточно общим, чтобы рассматривать многие виды обработки сообщений в технических системах.

Принимая во внимание правило обработки (3.2) и правила интерпретации (3.1) и (3.3), получаем следующую зависимость отображений j, y и q:

(3.4)

Из диаграммы видно, что каждому сообщению xÎX поставлен в соответствие ровно один образ j(x)ÎI и ровно один образ y(q(x))ÎJ. Действительно:

yÎY имеет образ y(y)ÎJ;

xÎX имеет образ q(x)ÎY, [q(x)=y];

xÎX имеет образ y(q(x)).

Учитывая это, на множествах I, J можно определить отношение h, которое может выражать такой смысл: иметь общий прообраз во множестве X. Данное отношение h не обязательно является отображением. Так, если отображение j не биективно, то элемент множества I может иметь более одного прообраза во множестве X. Каждый прообраз как элемент множества X имеет по одному образу в множестве J, и, следовательно, рассматриваемый элемент из множества I находится в отношении h с числом элементов из множества J, равным числу его прообразов в множестве X. В силу этого отношение h не является отображением.

Правило обработки j сообщения X называется сохраняющим информацию, если отношение h является отображением, а диаграмма (3.4) принимает вид

(3.5)

Из диаграммы следует, что произведение отношения jh равно произведению qy, т. е. диаграмма (3.4) является коммутативной. Определяющим отображением в диаграмме (3.4) является отображение h – правило обработки информации. Поэтому названия различных видов обработки сообщений происходят из смысла и имени правила h. Обычно при выборе вида обработки сообщений исходят из правила h с учетом правил интерпретации сообщений j и y.

Пусть q и h – взаимно однозначные отображения. Это относится к случаю, когда к правилу q предъявляется требование не терять информацию в процессе обработки, например при перемене носителя информации, переходе от одного вида модуляции к другому и т. и.

Рассмотрим пример из области сообщений на естественном языке. Очевидно, сообщение «ЭВМ облад. сп-стью обр-ки инф-ии», благодаря избыточности текста на естественном языке однозначно восстанавливается как «ЭВМ обладает способностью обработки информации».

В рассмотренных примерах существует обратное преобразование q-1, которое является однозначным, – позволяет восстановить исходный элемент xÎX по известному yÎY, т. е. исходное сообщение по обработанному.

Рассмотрим теперь случай, когда h является взаимно однозначным отображением, т.е. интерпретация исходного сообщения может быть произведена точно, а q взаимно однозначным отображением не является. Это значит, что множество X имеет большее число элементов, чем множество Y. Тогда q есть сжимающее отображение. В этом случае правило преобразования называется сжатием информации, хотя правильнее говорить о сжатии сообщения или сжатии сигнала.

Наконец, если отображение h не инъективно, то отображение q также не является взаимно однозначным. При этом происходит потеря части информации в обработанном сообщении yÎY по сравнению с той, которая содержится в исходном сообщении xÎX. Существует много видов обработки информации.

Задачи обнаружения сигнала

Сигнал s(t) распространяясь по каналу связи, искажается помехой, так что можно говорить о том, что на вход приемника приходит не сигнал s(t), а другой сигнал x(t).

В приемнике содержатся априорные сведения о сигнале:

1) известен вид функции s(t) и известно, что она не равна нулю на интервале времени (tн,tк),

2) известна статистика помехи (например, плотность вероятности ее амплитуды).

В приемнике решается, был ли передай сигнал на интервале времени (tн,tк) или нет. Очевидно, что решение нельзя принять до наступления момента времени tн, а в ряде случаев – и до наступления момента tк. Приемник анализирует сигнал x(t) на интервале (tн,tк) и в некоторый момент времени t0³tк должен выдать решение.

Рассмотрим решение данной задачи при следующих ограничениях (условиях):

1) известен вид сигнала s(t), действующего в интервале времени (0, t0);

2) помеха n(t) является аддитивной и представляет собой белый шум, т.е. спектральная плотность мощности помехи Gn(f)=C, где – постоянная величина.

Приемник является линейной системой, к которой применим принцип суперпозиции. На вход приемника поступает воздействие, представляющее собой смесь полезного сигнала s(t) и помехи n(t): x(t)=s(t)+n(t).

Реакцию такой системы на это входное воздействие можно представить как сумму p(t)=x(t)+e(t), где x(t) – реакция системы, вызванная воздействием полезного сигнала s(t); e(t) – результат преобразования системой помехи n(t). Такое разделение произвести можно, если приемник – линейная система.

Помеху, действующую в канале связи, практически нельзя уменьшить, поэтому для повышения помехоустойчивости и пропускной способности канала связи стремятся обычно увеличить мощность полезного сигнала s(t). Как правило, выбирают максимально возможную мощность, учитывая ограничения, накладываемые аппаратурой и самой линией связи, чтобы обеспечить максимальное отношение Pc/sn2, где Pc – мощность полезного сигнала, а sn2 – мощность помехи, отнесенные к входу приемника

Функция приемника – обработать сигнал, чтобы еще больше увеличить отношение сигнал/помеха. Рассмотрим задачу обнаружения сигнала на фоне помех как задачу синтеза линейного фильтра, на выходе которого в момент времени t0 имеет место максимум отношении x(t0)/se2, где se2 – мощность (дисперсия) помехи на выходе фильтра.



Рис. 3.1. Импульсная характеристика линейного фильтра

(3.6)

Синтез фильтра заключается в нахождении либо его частотной характеристики W(jf), либо его импульсной характеристики h(t). При этом необходимо, чтобы выполнялось условие

min[-2kx(t0)],

где k – произвольный постоянный коэффициент.

Учитывая, что спектр помехи e(t) на выходе фильтра зависит от его частотной характеристики:

,

определим мощность помехи:



Выходной сигнал фильтра в момент времени t0



Преобразуем выражение (3.6):



Интеграл  представляет собой энергию сигнала и при заданной функции s(t) является постоянной величиной. Условием минимума является равенство нулю интеграла , т.е. .

Это условие эквивалентно равенству , означающему, что наибольшее отношение сигнал/помеха в момент времени t0 на выходе фильтра достигается тогда, когда импульсная характеристика фильтра является зеркальным отображением полезного сигнала s(t+t0) (рис. 3.1).

Сжатие и адаптивная дискретизация сигналов

Рассмотрим источники измерительной информации и измерительные сигналы. В качестве источников измерительной информации выступают физические объекты разнообразной природы. Для отбора измерительной информации используются различные измерительные преобразователи, основная функция которых состоит в превращении контролируемого параметра или параметров объекта измерения в сигналы. Поэтому ряд свойств измерительных сигналов определяются как видом объекта измерения, так и условиями измерения.

В измерительной технике актуальна проблема обработки больших потоков измерительной информации. Решая эту проблему, можно пойти двумя путями: увеличивать быстродействие средств обработки информации или же сократить объемы обрабатываемой информации.

Быстродействие средств обработки информации (ЭВМ, микропроцессоров) определяется уровнем развития науки и технологии, и путь, связанный с увеличением быстродействия, не обеспечивает быстрого решения проблемы. А вот сократить объем обрабатываемой измерительной информации во многих случаях можно. Взять хотя бы такой пример: испытывается серийный тип самолета. При этом из предыдущих испытаний самолетов того же типа достаточно подробно известны его важнейшие параметры. В этом случае нет необходимости передавать и обрабатывать параметры, пока они находятся в норме. Но если тот или иной параметр существенно отклонился от нормы, то его необходимо передавать и обрабатывать. Такой подход позволяет иногда во много раз сокращать объем обрабатываемой измерительной информации и время ее обработки.

Измерительные сигналы могут содержать избыточную информацию. Если устранить из измерительных сигналов избыточную информацию, можно повысить эффективность обработки измерительной информации.

Устранение избыточности информации измерительных сигналов получило название сжатия измерительных сигналов.

В общем виде задача сжатия формулируется следующим образом: найти преобразование сигнала, сохраняющее важную (полезную) информацию и обеспечивающее минимальный ее объем. При таком подходе понимания информации недостаточно, так как здесь приходится оперировать понятиями важности или ценности информации. Эти понятия по своему характеру являются эвристическими, обычно они выводятся из целевой функции (тоже эвристическое понятие), если эта целевая функция может быть достаточно четко определена.

Этот недостаток самой общей постановки задачи сжатия обусловил появление ряда менее общих постановок этой задачи, опирающихся на различные математические модели измерительных, сигналов. Иногда выбор модели диктуется условиями измерительного эксперимента, иногда же он достаточно произволен. Выбор удачной модели во многом зависит от экспериментатора, от его опыта и интуиции.

Один из подходов к решению задачи сжатия предложен академиком А.Н. Колмогоровым. Подход основывается на понятии e-энтропии класса функции, которую в данном случае следует понимать как количество информации, необходимое для описания любой функции этого класса с погрешностью, не превышающей e. Задать класс сигналов – это значит указать некоторые параметры (обычно границы этих параметров), определяющие этот класс. Например, можно определить класс сигналов, для которых первая производная (скорость изменения) не превышает по абсолютному значению некоторого предельного значения M, или класс сигналов, максимальная частота спектра которых не превышает Fmax, или класс сигналов – функций времени x(t), удовлетворяющих условию Липшица x(t2) - x(t1) £ L(t2 - t1), где L – некоторая постоянная.

Таким образом, класс сигналов задается полностью априорно. Вообще, чем больше объем априорной информации, тем большее сжатие может быть достигнуто.

Как и любые преобразования сигналов, сжатие может быть обратимым или необратимым. Сжатие считается обратимым, если по сжатым данным может быть восстановлен исходный сигнал с точностью до допустимой ошибки e, в противном случае сжатие необратимо.

Если входной сигнал, подлежащий сжатию, является непрерывным во времени (аналоговым), то говорят о сжатии процессов. Если же сигнал уже дискретизирован, т.е. существует в дискретные моменты времени в виде ряда отсчетов и эти отсчеты имеют вид числовых кодов, то говорят о сжатии числовых последовательностей.

Переработка текстовой информации

Переработка информации, представленной в виде текстов на естественном языке, имеет много аспектов. Сюда относятся такие виды информационных процессов, как понимание текстов, их перефразирование (пересказ, перевод на другой язык), сжатие семантической информации. Особенное значение имеет последний тип переработки; сюда относятся классификация и индексирование документов, аннотирование и реферирование их.

Структура сигнала измерительной информации передает и его значение. В текстовой информации это не всегда так. В силу специфики языка в форме сообщения, представленного в виде текста, не просматривается содержание, поэтому обработка текстов требует особых приемов, заключающихся в передаче смысла с помощью человека-интерпретатора либо с помощью различных искусственных методов.

Цель процедуры автоматизированного реферирования – выделить из текста документа наиболее важные положения, как можно более полно раскрывающие суть изложенного исследования. В качестве исходного материала для такого реферата служат предложения, составляющие текст документа. В результате отбора некоторых из них получается сокращенный вариант исходного документа, который не является рефератом в полном смысле этого слова. Этот сжатый таким образом текст принято называть квазирефератом.

Одна из первых систем автоматического квазиреферирования базировалась на предложении, что для каждого документа специфические слова, наиболее часто встречающиеся в нем, используются для передачи основной идеи, изложенной текстом. Разработчик этой системы Г. Лун пользовался следующей оценкой значимости каждого из предложений, составляющих документ: Vпр = Nзс2/Nc, где Vпр – значимость предложения; Nзс – число значимых слов в этом предложении, т.е. таких слов, которые являются специфическими для предметной области, к которой относится документ, и для самого этого документа; Nc – общее число слов в предложении. При такой методике квазиреферат составляет совокупность разрозненных фраз, так что понять смысл реферата можно только после дополнительной обработки полученного текста человеком.

Задача обработки связного текста и генерации таких текстов является довольно трудной, она слабо поддается формализации в полном объеме. Однако разработан ряд методик, позволяющих повысить связность текстов по сравнению с простым отбором наиболее значимых предложений. Одна из них заключается в том, что наиболее связанными считаются такие предложения, которые содержат наибольшее количество одних и тех же значимых слов.

Другая методика оценки семантической значимости предложений для отбора их в квазиреферат основана на определении количества информации, содержащейся в каждом из них. Для этого необходимо произвести частотный анализ текста с точки зрения встречаемости в нем важнейших терминов. По гипотезе автора этой методики В. Пурто, чем более важным является для некоторого текста тот или иной термин, тем чаще он встречается в нем. Поэтому для квазиреферата отбираются такие предложения, которые содержат наибольшее количество терминов, чаще всего повторяющихся в данном документе.

Заключение


В теории информации в наше время разрабатывают много систем, методов, подходов, идей. Однако ученые считают, что к современным направлениям в теории информации добавятся новые, появятся новые идеи. В качестве доказательства правильности своих предположений они приводят «живой», развивающийся характер науки, указывают на то, что теория информации удивительно быстро и прочно внедряется в самые различные области человеческого знания. Теория информации проникла в физику, химию, биологию, медицину, философию, лингвистику, педагогику, экономику, логику, технические науки, эстетику. По признанию самих специалистов, учение об информации, возникшее в силу потребностей теории связи и кибернетики, перешагнуло их рамки. И теперь, пожалуй, мы вправе говорить об информации как научном понятии, дающем в руки исследователей теоретико-информационный метод, с помощью которого можно проникнуть во многие науки о живой и неживой природе, об обществе, что позволит не только взглянуть на все проблемы с новой стороны, но и увидеть еще не увиденное. Вот почему термин «информация» получил в наше время широкое распространение, став частью таких понятий, как информационная система, информационная культура, даже информационная этика.

Многие научные дисциплины используют теорию информации, чтобы подчеркнуть новое направление в старых науках. Так возникли, например, информационная география, информационная экономика, информационное право.

Но чрезвычайно большое значение приобрел термин «информация» в связи с развитием новейшей компьютерной техники, автоматизацией умственного труда, развитием новых средств связи и обработки информации и особенно с возникновением информатики.

Одной из важнейших задач теории информации является изучение природы и свойств информации, создание методов ее обработки, в частности преобразования самой различной современной информации в программы для ЭВМ, с помощью которых происходит автоматизация умственной работы – своеобразное усиление интеллекта, а значит, развитие интеллектуальных ресурсов общества.

Список литературы

1. Л.Ф. Куликовский, В.В. Мотов "Теоретические основы информационных процессов: Учеб. пособие для вузов". – М., 1987.

2. Л.Ф. Куликовский, В.К. Морозов, В.Г. Жиров "Элементы теории информационных процессов: Учеб. пособие. – Куйбышев, КПтИ, 1979.

3. В.П. Косарев и др. "Компьютерные системы и сети: Учеб. пособие. – М.: Финансы и статистика, 1999.

4. В. Дмитриев "Прикладная теория информации". – М., 1989.