Передача информации по каналу с помехами

Дискретный канал с помехами

Дискретный канал с помехами характеризуется условными вероятностями piy/xj) того, что будет принят сигнал у, если передан сигнал х" т. с. матрицей

Существует несколько моделей дискретного канала с помехами.

Пропускная способность дискретного канала с помехами

Простейшей моделью дискретного канала с помехами является двоичный симметричный канал с помехами. В данном канале т = 2, т. е. используется два символа-сигнала, причем вероятность р превращения, при передаче в противоположный, в результате действия помех каждого из этих сигналов одинакова. Пропускная способность такого канала равна.

где v_x — предельная скорость передачи по каналу элементарных сигналов.

В литературе приведены выражения для пропускной способности более сложных моделей дискретных каналов с помехами.

Для дискретного канала с помехами Клодом Шенноном сформулирована теорема о кодировании.

Теорема Шеннона о кодировании для дискретного канала с помехами

Если источник информации имеет энтропию H (z), а канал связи обладает пропускной способностью С, то:

• 1) сообщения, вырабатываемые источником, всегда можно закодировать так, чтобы скорость их передачи была сколь угодно близка к П/max ⁼ C/H (z) и чтобы вероятность ошибки в определении каждого переданного символа была меньше любого заданного числа;
• 2) нс существует метода кодирования, позволяющего вести передачу со скоростью выше t"_zmax и со сколь угодно малой вероятностью ошибки.

Таким образом, если от источника поступает поток информации v-H (z) < С, то может быть разработан специальный код, позволяющий передавать всю информацию со сколь угодно малой вероятностью ошибки. Теорема нс даст ответа на вопрос, как строить этот код. Задача построения подходящего кода для конкретных условий применения решается в каждом случае индивидуально. Классификация помехоустойчивых кодов, их особенности и алгоритмы построения рассмотрены в соответствующей главе.