2. Поняття про інформацію та повідомлення

Скачати 1.38 Mb.

Назва	2. Поняття про інформацію та повідомлення
Сторінка	8/14
Дата	14.05.2013
Розмір	1.38 Mb.
Тип	Документи

bibl.com.ua > Фізика > Документи

1 ... 4 5 6 7 8 9 10 11 ... 14

8.5. Надлишковість та продуктивність джерела повідомлень

Зменшення ентропії джерела зі збільшенням взаємозв’язку між елементами повідомлення можна розглядати як зниження інформаційної ємності повідомлень. Інакше кажучи, якщо джерело генерує послідовність залежних повідомлень, характер взаємозв’язків між якими відомий, то частина елементів повідомлень, що передаються, є надлишкова, оскільки її можна відновити шляхом використання законів взаємозв’язку елементів у повідомленні. Врахування цього факту дозволяє передавати повідомлення в скороченому вигляді без втрати інформації. Зокрема, в телеграмах можна не вказувати прийменники, частки, знаки пунктуації, оскільки вони легко відновлюються з правил побудови слів і фраз відповідної мови.

Таким чином, будь-яке джерело залежних повідомлень має надлишковість. Кількісне визначення надлишковості грунтується на поняттях кількості інформації та ентропії. Зокрема, для того, щоб передати кількість інформації J джерело незалежних елементарних повідомлень має генерувати k₀ = J/H₀(A) елементарних повідомлень. А джерело залежних повідомлень має генерувати k = J/H_m(A) елементарних повідомлень. Оскільки H₀(A) > H_m(A), то k₀ < k і k – k₀ – це кількість елементарних знаків, які є надлишковими при передачі цього повідомлення. Величина надлишковості при цьому визначається як

. Зрозуміло, що 0    1. Для української мови, наприклад, Н₀ = 5 біт; Н₁  4,05 біт; Н₂  3,52 біт; …; Н₈  2 біт. Тобто,  = 1 – 2/5 = 0,6.

Коефіцієнт

ще називають коефіцієнтом стиснення. Він показує, до якої міри можна стиснути повідомлення, якщо усунути його надлишковість. Зрозуміло, що зменшуючи надлишковість, можна скорочувати час передачі повідомлень, підвищувати швидкість та ефективність їх передачі. Стиснення повідомлень можна здійснювати шляхом відповідного кодування. При цьому слід надавати перевагу кодам, які забезпечують рівноймовірне і незалежне використання символів повідомлення. Крім того, надлишковість відіграє і позитивну роль для виправлення і усунення помилок.

Надлишковість джерела – це ступінь недовикористання інформаційних можливостей повідомлення. Ця величина показує, на яку частину можна скоротити об'єм повідомлення без втрати інформації за рахунок більш раціонального використання символів джерела. Причинами надлишковості є нерівні імовірності реалізації в повідомленні різних символів і наявність імовірнісних зв'язків між ними. Для прикладу, в українській мові кількість інформації на один символ при рівноімовірній появі їх у тексті дорівнює 5 бітам на букву. А з врахуванням нерівномірності використання букв у тексті і їх кореляцій – це приблизно 2 біт на букву. Тобто надлишковість більшості сучасних мов дорівнює приблизно 0.5–0.6.

Кількість інформації, яку в середньому створює джерело повідомлень за одиницю часу, називається продуктивністю джерела

, де

– середній час передачі одного елементарного повідомлення (елементарного символу повідомлення).

Таким чином, продуктивність джерела визначається величиною його ентропії та середньою тривалістю одного символу повідомлення. Якщо всі символи повідомлення мають однакову тривалість ₀, то

. Якщо ж різні символи мають різну тривалість (а_і), то

. Із попередньої рівності слідує, що максимальну продуктивність мають джерела з найбільшою ентропією, тобто для двійкових кодів

.
ЗАВДАННЯ РОБОТИ

(Вихідні числові дані поваріантно наведено в таблиці 8.1)
Завдання 1. Розрахувати кількість інформації, яка міститься в повідомленні з n букв українського алфавіту, якщо букви в повідомленні зустрічаються рівноймовірно і незалежно одна від одної. Кількість букв українського алфавіту взяти рівною 32.
Завдання 2. Імовірності появи символів на виході джерела двійкових незалежних дискретних повідомлень відповідно рівні Р(0) і Р(1). Тривалості передачі цих символів рівні (0) і (1). Символи генеруються статистично незалежно. Розрахувати кількість інформації, яка міститься в кожному символі, ентропію, надлишковість та продуктивність джерела повідомлень.
Завдання 3. Виконати завдання 2 при наявності статистичних зв’язків між кожними двома символами повідомлень. Статистичні зв’язки задаються умовними ймовірностями Р(0|0), P(0|1), де Р(А|В) – імовірність появи символу А, якщо перед ним слідував символ В.
Завдання 4. Повідомлення кодується рівномірним двійковим кодом з двома розрядами на кожне слово. Тривалість кожного символу рівна 1 мс. Визначити швидкість передачі повідомлення джерелом:

при рівноймовірному генеруванні символів;

2) при умовних імовірностях Р(0|0), P(0|1).
Завдання 5. Протягом часу  = 10⁸(0) джерело генерує імпульси двійкового коду тривалістю _і = (1). За час  джерело передає 10⁷ біт інформації. Знайти надлишковість та продуктивність джерела повідомлень. За який час можна передати це ж повідомлення, якщо ліквідувати його Надлишковість?
Завдання 6. Середній кадр телевізійного зображення містить J біт інформації. Кількість градацій яскравості зображення при цьому рівне 16. Кількість рядків у растрі одного кадру прийняти рівною 625. Один рядок растру передається в середньому сигналом із 830 незалежних імпульсів. Розрахувати кількість інформації, яку генерує за один кадр телевізійний передавач та визначити його надлишковість.

1 ... 4 5 6 7 8 9 10 11 ... 14

Схожі:

II. Дані про дату та місце оприлюднення Повідомлення (Повідомлення про інформацію) Підтверджую ідентичність електронної та паперової форм інформації, що подається до Комісії, та достовірність інформації, наданої...	Титульний аркуш Повідомлення (Повідомлення про інформацію) Підтверджую ідентичність електронної та паперової форм інформації, що подається до Комісії, та достовірність інформації, наданої...
НАКА З Міністерства України з питань надзвичайних ситуацій та у справах захисту населення від наслідків Чорнобильської катастрофи на заяви,...	Інформація і повідомлення. Поняття інформації. Властивості інформації.... Поняття інформації. Властивості інформації. Поняття шуму. Способи подання повідомлень. Види повідомлень. Неперервні і дискретні повідомлення....
Ф інансова грамотність населення Вона допомагає зрозуміти ключові фінансові поняття і як використовувати цю інформацію для прийняття рішень про витрати і заощадження,...	Іван Франко «Іван Вишенський» Діяльність, самостійно опрацьовувати матеріал підручника, вибирати необхідну інформацію, узагальнювати, систематизувати прочитане,...
1. Інформація і повідомлення Повідомлення- інформація вирадена за допомогою літер, чисел, математичних символів, природної мови	Урок 5 Тема. Миттєві повідомлення, принципи функціонування служб ...
Тема заняття: Модель здоров’я. Мета заняття Мета заняття: розширити інформацію про поняття «здоров’я», та фактори, що впливають на його формування	5. Базові поняття програмування (5 год.) Поняття програми як автоматизованої системи. Складові програми: дані, логіка, інтерфейс. Поняття об’єкта у програмуванні. Атрибути...

Додайте кнопку на своєму сайті:
Портал навчання