15.5. Количество информации, переданной по непрерывному каналу
Вместо последовательностей символов для дискретного канала, в непрерывном канале осуществляется передача последовательности непрерывных величин с дискретным или непрерывным временем (в первом случае эти последовательности можно представить в виде импульсов различной величины, появляющихся в определенные моменты времени, а во втором случае как непрерывные функции времени).
Количество передаваемой информации:
, (15.6)
где w(y) – плотность распределения вероятности выходных случайных величин;
w(n) – плотность распределения вероятности помехи (аддитивной);
h(Y) – дифференциальная энтропия сигнала y;
h(Y/X) – условная дифференциальная энтропия сигнала y при известном сигнале x;
Отметим следующие свойства количества информации, передаваемой в непрерывном канале:
I(Y,X) ≥ 0, причём I(Y,X) = 0 тогда, и только тогда, когда вход и выход канала статистически независимы, т.е. w(y / х) = w(y);
I(Y,X) = I(X,Y) – свойство симметрии;
I(Y,X) = ∞, если помехи в канале отсутствуют, т.е. y = x, n = 0
Дифференциальная энтропия h(Y) уже не представляет собой среднее количество информации, выдаваемое источником сигнала (для непрерывного сигнала оно бесконечно). Аналогично h(Y/X) не представляет собой количество информации, потерянной в канале, поскольку эта величина тоже бесконечна. Поэтому дифференциальную энтропию следует понимать лишь формально, как некоторую вспомогательную величину полезную при расчетах.
Если помеха аддитивная y = x + n , то нетрудно показать, что
, (15.7)
где w(n) – плотность распределения вероятности помехи, а h(N) – дифференциальная энтропия помехи.
Выражение для определения количества информации, переданной по непрерывному гауссовскому каналу (нормальный закон распределения вероятностей сигнала и помехи):
. (15.8)
где
(15.9)
Полученное выражение показывает, что пропускная способность гауссовского канала с дискретным временем определяется отношением дисперсии сигнала σс2 к дисперсии помехи σ2. Нередко величину σс2 / σ2 = h2 называют отношением сигнал/шум. Чем больше это отношение, тем выше пропускная способность.
Еще по теме 15.5. Количество информации, переданной по непрерывному каналу:
- 15.1. Количество информации переданной по дискретному каналу
- 22.5. Количество информации при оптимальном приёме непрерывных сигналов
- 14.2. Модели непрерывных каналов
- Моменты количества: дискретное и непрерывное
- НЕКОТОРЫЕ АСПЕКТЫ ТАКТИКИ ПОЛУЧЕНИЯ КРИМИНАЛИСТИЧЕСКИ ЗНАЧИМОЙ ИНФОРМАЦИИ ИЗ СООБЩЕНИЙ, ПЕРЕДАННЫХ ОСУЖДЕННЫМИ
- 22.4. Количество информации при приёме дискретных сигналов радиотехнической системы связи
- Вариации в пределах «канал мысли - канал непосредственного чувства»
- 15.6. Пропускная способность непрерывного канала
- 18.3. Потенциальная помехоустойчивость передачи непрерывных сообщений
- 14.3. Модели дискретных каналов
- Непрерывность настроения
- 22.7. Пропускная способность каналов радиотехнической системы связи
- Самодержавная власть передается по наследству
- Самодержавная власть передается по наследству,
- 4.4. Восстановление непрерывного сигнала из отсчётов
- Схема, по которой государственное предприятие передается на концессию.
- Одиннадцать разрывов преемственности В шестидесятые годы, когда количество социальных критиков, смотревших вперед, превышало количество критиков, смотревших назад, стало обычным определять, по крайней мере, одиннадцать разрывов
- Характеристика каналов
- Для обозначения информации, доступ к которой ограничен, широко используется термин «конфиденциальная информация».
- 20.3. Временное разделение каналов