Ebook: Теория информации

Учебное пособие. – Сыктывкар: СЛИ, 2013. – 80 с.
ISBN 978-5-9239-0494-9В учебном пособии изложены основные понятия и факты теории информации, представлены способы измерения, передачи и обработки информации. Значительное внимание уделено способам кодирования информации. Теоретический материал сопровождается большим количеством примеров. В конце каждого раздела даны вопросы для проверки знаний.
Рассчитано на студентов специальности 230201 «Информационные системы и технологии».Содержание
Введение
Введение. основы теории информации
Теория информации как наука
Начальные определения
Система передачи информации
Задачи и постулаты прикладной теории информации
Вероятностный подход к измерению информации. Энтропия как мера неопределенности опыта
Понятие энтропии
Свойства энтропии
Энтропия сложной системы
Передача информации по каналам связи
Источник информации
Избыточность информации
Передача информации по каналу связи. Пропускная способность канала
Пропускная способность непрерывных каналов связи
Кодирование информации
Задача кодирования
Префиксные коды
Оптимальное кодирование
Блочное кодирование
Помехоустойчивое кодирование
Понятие помех и их классификация
Понятие корректирующего кода
Общие принципы использования избыточности
Основные параметры корректирующих кодов
Коды с обнаружением ошибок
Корректирующие коды
Циклические коды
Практикум
Практические работы
Представление данных в памяти ЭВМ
Измерение информации. Энтропия
Кодирование информации методом Шеннона– Фано
Кодирование информации методом Хаффмана
Помехоустойчивое кодирование
Обнаружение и исправление ошибок в циклических кодах
Библиографический список
Приложения
Таблица значений функции F(p) = –p log₂p
Неприводимые полиномы