Теорія інформації

Основні поняття цієї теорії ввів в сорокових роках двадцятого століття К. Шеннон. Теорія інформації - це наука про процеси передачі, зберігання та отримання даних в природних, технічних і соціальних системах. У багатьох прикладних наукових областях, таких як інформатика, мовознавство, криптографія, теорія управління, обробка зображень, генетика, психологія, економіка, організація виробництва використовуються методи цієї науки.

У сучасних умовах з теорією інформації дуже щільно пов`язана теорія кодування, яка розглядає найбільш загальні проблеми відповідності між сигналом і повідомленням, і теорія обробки сигналів, в якій вивчається квантування і відновлення сигналів, а також спектральний і кореляційний аналіз таких.

Теорія інформації розглядає базове поняття «інформація» здебільшого з кількісної сторони, не враховуючи її цінність, а іноді і сенс. При такому підході сторінка тексту буде містити приблизно однаковий обсяг даних, який визначається лише числом знаків і символів, і не залежить від того, що, власне кажучи, там надруковано, хоча б і абсолютно безглуздий і хаотичний набір якихось символів.

Такий підхід правомірний, але тільки для моделювання систем зв`язку, так як вони повинні безпомилково передавати інформацію по каналах зв`язку, яка може бути представлена будь-яким набором знаків і символів. Тоді ж, коли треба враховувати цінність і сенс даних, кількісний підхід неприйнятний. Такі обставини накладають істотні обмеження на сфери можливого застосування зазначеної теорії.

Основи теорії інформації припускають розгляд різних питань, у тому числі безпосередньо пов`язаних з передачею і прийомом даних. Основна схема зв`язку, яка розглядається у вченні, виглядає наступним чином. Теорія інформації та кодування вважає, що дані створюються джерелом повідомлень, який являє собою слова або набір слів, записаних буквами певного алфавіту. Джерелом повідомлення може бути текст на будь-яких природних або штучних мовах, людська мова, бази даних і деякі математичні моделі, створюють послідовність літер. Передавач перетворює повідомлення в сигнал, відповідний фізичній природі каналу зв`язку - середовищі для передачі сигналу. Під час проходження такого на нього можуть впливати перешкоди, що вносять спотворення в значення інформаційних параметрів. Приймач відновлює вихідне повідомлення за прийнятим з спотвореннями сигналу. Повідомлення у відновленому вигляді приходить до адресата - деякого особі або технічному пристрою.

Джерело повідомлення має статистичний характер, тобто поява кожного повідомлення визначається деякою ймовірністю. Теорія інформації Шеннона вважає, що якщо ймовірність появи повідомлення дорівнює одиниці, тобто його поява достовірно і невизначеності немає, вважають, що воно не несе ніякої інформації.

Однією з важливих проблем теорія інформації вважає узгодження каналу зв`язку та інформаційних властивостей джерела повідомлень. Пропускна здатність визначається одиницею виміру в 1 біт в секунду.

Однією з проблем систем зв`язку є перешкоди на шляху проходження корисного сигналу. Теорема Шеннона, на жаль, не дає нам конкретного методу боротьби з такими. Найпростіший метод усунення, який складається в багаторазовому повторенні повідомлень, не дуже ефективний, оскільки потрібні великі витрати часу на передачу інформації. Набагато більшу ефективність дає застосування кодів, які дозволяють виявити і виправити помилки передачі відомостей.