6.4. Пропускная способность линий связи
Роль энтропии в передаче сообщений определяется основным соотношением, ограничивающим максимальную скорость передачи элементов сообщения в единицу времени:
,
где Н – энтропия одного элемента сообщения;
С – пропускная
способность линии связи, .
Здесь L – число элементарных сигналов, которое можно передать по линии связи в единицу времени;
m – общее число используемых сигналов.
На практике число m выбирается с учетом возможности построения приемо–передающей аппаратуры. В основном используются два элементарных сигнала (импульс и пауза). Для каждой линии существует минимальный промежуток времени t0, который разделяет сигналы. Поэтому максимальное значение L = 1/t0 и это число является основной технической характеристикой линии связи.
В работах В. Котельникова число L выражается через ширину полосы пропускания. В случае радиосвязи перестройка линий с целью увеличения L не может принести выгоды, поскольку она сделает невозможной работу радиолиний, ведущих передачу на близких частотах.
Проанализируем возможности изменения m для увеличения пропускной способности линии связи. Известно, что во время передачи информации на линию связи действуют различного рода помехи. Если обозначить за W среднюю мощность помех, то те сигналы, которые будут иметь мощность меньшую, чем W мы не сможем выделить на приемном конце линии. Поэтому различимыми будут лишь те сигналы, которые отличаются не меньше, чем на определенное значение. Уровень передаваемых сигналов (со средней мощностью Р) не может быть безгранично велик и может существовать только конечное число градаций сигнала m. Количественный анализ соотношения мощности сигнала и помехи был приведен К. Шенноном. Он показал, что
6.5. Передача информации при наличии помех
Процесс передачи сообщений по линии связи в условиях действия помех можно пояснить схемой (рис.12).
Рис. 12. Схема реальной линии связи
В случае передачи текстовых сообщений a1 и b1, они записываются на определенном языке с помощью буквенного алфавита и могут отличаться друг от друга в результате действия помех. Сигналы a и b на входе и выходе линии связи представляют собой последовательности электрических сигналов. Операции кодирования и декодирования состоят в преобразовании буквенного сообщения a1 в последовательность элементарных сигналов a и в обратном преобразовании сигналов b в буквенное сообщение b1. Ранее мы рассматривали линии связи без учета влияния помех. Проанализируем теоретические подходы к учету влияния помех. Для простоты примем допущения о взаимной независимости букв сообщения, причем n букв алфавита характеризуются вероятностями р1, р2, …, рn. В линии связи используется m различных элементарных сигналов А1, А2, …, Аm, причем за единицу времени может быть передано L таких сигналов. Как было отмечено ранее, при отсутствии помех сообщение может быть передано со скоростью сколь угодно близкой к
,
Н – энтропия, приходящаяся на одну букву сообщения,
.
Для достижения скорости передачи, близкой к n, необходимо разбить передаваемое сообщение на достаточно длинные блоки и передавать его кодом близким к оптимальному, например, кодом Шеннона-Фано. Иначе говоря, для этого необходимо воспользоваться кодом, для которого избыточность в закодированном сообщении была бы минимальной.
При наличии помех в линии связи именно избыточность в передаваемой последовательности сигналов может помочь точно восстановить переданное сообщение по принятым данным. В случае значительных помех еще более увеличивается избыточность, например, проверяя каждое переданное слово по несколько раз или заменяя каждую букву сообщения отдельным словом, начинающимся с этой буквы. Очевидно, что в этом случае скорость передачи данных уменьшается.
6.6. Потери информации при передаче
Предположим, что рассматриваемая линия связи использует m различных элементарных сигналов А1, А2, …, Аm, но из–за наличия помех передаваемый сигнал Аi (где i = 1,2,3, …, m) может быть иногда принят на приемном конце линии за другой сигнал Аj. Зададим вероятность рА1(А1) того, что передавая сигнал А1, на приемном конце получим сигнал без искажения, то есть А1. Обозначим за вероятности типа рА1(А1) – вероятности безошибочной передачи. Вероятности рА1(А2), рА1(А3), …, рА1(Аm) того, что переданный сигнал А1 будет на приемном конце расшифрован, как А2, А3, …, Аm. Далее задаются вероятности рА2(А1), рА2(А2), рА2(А3), …, рА2(Аm) получения на приемном конце сигналов А1, А2, А3, …, Аm.
В результате можно получить математическую характеристику линии связи в виде:
Вероятности безошибочной передачи сигналов по линии связи располагаются по диагонали матрицы.
Приведенное описание линии связи с помехами можно несколько обобщить, допустив, что помехи могут иногда так исказить передаваемый сигнал, что на приемном конце его нельзя будет отождествить ни с одним из m используемых сигналов Аj. Для того, чтобы учесть такую возможность, целесообразно допустить, что на приемном конце могут быть получены не обязательно те же m элементарных сигналов А1, А2, …, Аm, а совсем другие r элементарные сигналы: В1, В2, …, Вr. В этом случае помехи будут статистически характеризоваться mr неотрицательными числами:
удовлетворяющими m условиям
pАi(В1) + pАi(В2) + pАi(В3) + … + pАi(Вr) = 1, при i = 1, 2, 3, …, m,
где рАi(Bj) – вероятность того, что на приемном конце будет принят сигнал Вj, если на самом деле был передан сигнал Аi.
Предположим, что р(А1) – вероятность того, что передаваемым сигналом является А1; р(А2) – вероятность сигнала А2, …; р(Аm) – вероятность сигнала Аm (р(А1) + р(А2) + …. + р(Аm) = 1). В таком случае опыт b, состоящий в определении того, что именно такой сигнал передается, будет иметь энтропию
Н (b) = – р(A1) log p(A1) – р(A2) log p(A2) –…– р(Am) log p(Am) .
Опыт a, состоящий в выяснении того, какой при этом сигнал будет принят на приемном конце, будет, очевидно, опытом с r исходами, зависимыми от опыта b. Условная вероятность исхода Вj этого нового опыта при условии, что опыт b имел исход Аi (i = 1, 2, 3, …, m; j = 1, 2, 3, …, r ) равняется рАi (Вj).
Следовательно, информация об опыте b, содержащаяся в опыте a, будет иметь следующий вид:
I(a, b) = H (b) – Ha (b),
где Нa (b) – условная энтропия опыта b при условии опыта a.
Очевидно, что:
- информация I(a, b) всегда не больше энтропии Н (b) опыта b, то есть информации, содержащейся в передаваемом сообщении;
- информация I(a, b) равна энтропии Н (b) только в том случае, когда исход опыта a однозначно определяет исход опыта b, то есть когда по принятому сигналу можно всегда однозначно выяснить какой сигнал был передан (помехи отсутствуют);
- информация I(a, b) равна нулю в том случае, когда опыт a не зависит от опыта b (очень сильные помехи, никакой передачи нет).
6.7. Влияние помех на линии связи. Пропускная способность линии с помехами
При отсутствии помех пропускная способность C определяется как наибольшее число единиц информации, которое можно передать по этой линии связи за единицу времени. Обобщим это определение на случай линии связи с помехами. Для такой линии количество информации, получаемое на приемном конце при приеме одного элементарного сигнала,
I(a, b) = H (b) – Ha (b) – величина, зависящая от вероятности рА1(А1), рА2(А2), рА3(А3), …, рАm(Аm) того, что передал сигнал А1, А2, …, Аm.
Обозначим за –
наибольшее значение информации I
(a, b),
которое может быть получено при помощи изменения вероятностей р(А1),
р(А2), р(А3), …, р(Аm),
и пусть это значение достигается при значениях р0(А1),
р0(А2), р0(А3), …, р0(Аm).
При такой передаче количество информации, переданной за единицу времени,
.
Величина С называется пропускной способностью линии связи с помехами.
Так как наибольшее значение I (a, b) не может превосходить Н (b), а Н(b) £ log m, то очевидно, что пропускная способность линии связи с помехами всегда меньше, чем линии без помех. При r = m сигналы В1, В2, В3, …, Вr совпадают с А1, А2, …, Аm и рАi(Bj) = 1, при j = i, следовательно, рАi(Bj) = 0 при i ¹ j, то есть всегда принимается тот же сигнал, что и был передан (помехи не препятствуют или же отсутствуют):
Нa (b) = 0 и с = max I (a, b) = max H (b) = log m.
6.8. Анализ двоичной симметричной линии
рА1(А1) = рА2(А2) = 1–р, а рА1(А2) = рА2(А1) = р.
Графически схему двоичной симметричной линии принято изображать согласно схеме (рис.13). На рис.13, а отражена конфигурация передаваемого сигнала, а на рис.13,б показано, в какие принимаемые сигналы могут перейти передаваемые сигналы А1 и А2 и с какой вероятностью
![]() |
а) б)
Рис. 13. Схема двоичной симметричной линии: а - характер
сигналов А1 и А2; б - схема преобразования сигналов
Для вычисления величины с воспользуемся равенством
I(a, b) = H (b) – Ha (b) .
Из схемы (рис.13,б) видно, что если передается сигнал А1, то на приемном конце с вероятностью 1–р получим тот же сигнал А1, а с вероятностью р – сигнал А2. Аналогично с передачей сигнала А2. Потому
НА1(b) = НА2(b) = – (1–p) log (1–p) – p log p;
Ha (b) = p(A1) HA1(b) + p(A2) HA2(b) = – (1–p) log (1–p) – p log p,
так как р(А1) + р(А2) = 1.
Отсюда легко сделать вывод о том, что в рассматриваемом случае
Ha (b) не зависит от вероятностей р(А1) и р(А2), и для вычисления с = max I(a, b) = max[H (b) – Ha (b)] надо определить только максимальное значение H (b). Величина H (b) – энтропии опыта b, имеющего только два исхода (рис.13, а) и поэтому она не превосходит одного бита. Значение
H(b) = 1 достигается при р(А1) = р(А2) = 0,5, так как в этом случае оба исхода b будут равновероятными. В рассматриваемом случае р0(А1) =
= р0(А2) = 0,5,
с = 1 + (1–p) log (1–p) + p log p.
Следовательно, искомая пропускная способность двоичной симметричной линии будет равна
С = L[1 + (1–p) log (1–p) + p log p].
Последняя формула показывает, как пропускная способность двоичной симметричной линии зависит от вероятности ошибки р.
![]() |
Рис. 14. Зависимость пропускной способности двоичной симметричной линии от вероятности ошибки
Наибольшее значение C = L функция достигает при р = 0 (помехи отсутствуют) и р = 1 (А1 ® А2, А2 ® А1) помеха не мешает понять какой сигнал был передан. При р = 0,5 пропускная способность линии равна нулю. Независимо от того, какой сигнал был передан, мы получим на приемном конце с вероятностью 0,5 сигнал А1 и с вероятностью 0,5 сигнал А2. Принятый сигнал не будет содержать никакой информации.