2. Поняття про інформацію та повідомлення

Скачати 1.38 Mb.

Назва	2. Поняття про інформацію та повідомлення
Сторінка	7/14
Дата	14.05.2013
Розмір	1.38 Mb.
Тип	Документи

bibl.com.ua > Фізика > Документи

1 2 3 4 5 6 7 8 9 10 ... 14

8.3. Ентропія джерела дискретних залежних повідомлень

У реальних повідомленнях окремі символи взаємозалежні між собою. Наприклад, у звичайному тексті поява тієї чи іншої букви сильно залежить від того, які попередні букви були перед нею. Так, після букв НК набагато імовірнішою буде поява голосної букви, ніж приголосної.

Прийнявши по телеграфу початок нового слова, наприклад ст…, ми не можемо достовірно сказати, які літери прослідують далі. Отримане слово може бути столом чи стіною, а може статтею, старістю, ступінню чи стрілою. Але якщо уважно проаналізувати певний текст, то виявиться, що одні букви (а, о, е, р) після ст… з'являються значно частіше, ніж інші (в, и). Тобто, літери в тексті будь-якої мови з'являються не зовсім випадково. Існує певний взаємозв'язок у групуванні літер у словах. Такі взаємозв’язки між будь-якими випадковими процесами називаються кореляцією. Цю чудову властивість "кореляції" мають більшість випадкових процесів, які реалізуються в навколишньому світі. Кореляція – основа порядку. Там, де з’являється кореляція, виникає та чи інша впорядкованість у системі. І саме завдяки кореляції в сучасних мовах лише приблизно 0,0002 % можливих буквосполучень використовуються як змістовні слова.

У таких випадках розглядають імовірності появи символу повідомлення а_l при умові, що перед ним було передано символ повідомлення а_k: Р(a_la_k). Очевидно, що кількість інформації, яка міститься в такому переданому символі a_l:

.

Ентропія джерела залежних дискретних повідомлень, коли існує взаємозв’язок лише між двома сусідніми елементарними повідомленнями, задається співвідношенням:

.

Якщо замість відносної імовірності Р(a_la_k) дано спільну ймовірність Р(a_l,a_k), тобто імовірність послідовної появи двох символів повідомлення a_l + a_k, тоді

.

Якщо взаємні зв’язки поширюються на m символів повідомлення, тоді для знаходження ентропії потрібно провести більш масштабне усереднення

.

Важливою властивістю ентропії джерела залежних повідомлень є те, що при N = const ентропія джерела зменшується з ростом числа символів, між якими існує статистичний зв’язок. Внаслідок цього справедлива нерівність:

.

Тобто, наявність взаємозв’язків між символами повідомлення в джерелі завжди призводить до зменшення кількості інформації, яка міститься в одному символі повідомлення такого джерела.
8.4. Внутрішня сутність понять інформація та ентропія в електронних системах
Відповідно з математичними виразами інформація має знак плюс, а ентропія – знак мінус. І ці величини дійсно характеризують протилежні процеси, а саме: зі збільшенням невизначеності зростає ентропія і навпаки, при появі впорядкованості в русі система вбирає інформацію. Тобто, можна вважати, що інформація є “негативом” ентропії і відомий фізик Бріллюен називав її “негентропією”.

Але як тоді бути з дослідами з кулями? Адже в такій системі чим більша невизначеність події, тим більше інформації проявляється при її реалізації. Така ж ситуація і у випадку інформаційної ємності літер повністю невпорядкованого тексту і тексту з кореляцією букв. У першому випадку кожна літера дає більшу інформацію ніж у другому. Що ж тоді вимірюється в бітах – невизначеність події чи порядок у русі?

У постановці цього питання проявляється двоїстість поняття інформації. Вона залежить не лише від порядку й імовірності слідування подій, а і від того, що наперед знає про ці події спостерігач. У дослідах із кульками є певна невизначеність появи кульок різного кольору, яка не залежить від спостерігача. Одночасно існує і невизначеність у знаннях спостерігача про кількість кульок різного кольору в ящику.

Розглянемо ще один приклад. У реальному тексті з врахуванням усіх кореляцій літера має інформацію 1,3 біта. Якщо вважати, що імовірності появи кожної літери тексту є однакові, то вона нестиме вже 5 біт. Скільки ж реально інформації несе кожна літера, яка з’являється в телеграфному повідомленні? Все залежить від того, хто прийматиме цю телефонограму. Якщо абонент досконало знає мову, то з кожною літерою він отримає 1,3 біт інформації. Якщо ж абонент зовсім не знайомий з мовою телефонограми, то для нього кожна літера нестиме 5 біт інформації.

Що ж ми вимірюємо кількістю біт? Складність моделей руху, які привносять у систему певну впорядкованість! І чим більше інформації ми передаємо системі, тим більш складну модель руху вона отримує, і тим більша впорядкованість вноситься в нашу систему. Якщо ввести в комп’ютер програму генерації букв українського алфавіту з їхньою рівномірною появою, то ми отримаємо повністю розупорядкований текст без будь-якого змісту, який матиме максимальну ентропію. Прикладом такого тексту може бути “речення” СУХЕРРОБЬДШ ЯИХВИЩИЮ АЙУКТЛФНЗСТФОЕНВШТЦР.

Для того щоб внести в генерований текст порядок, характерний для української мови, ми повинні надати комп’ютеру додаткову інформацію у вигляді моделі, по якій відбувається групування букв в українській мові. Наприклад, можна задати імовірність появи певної букви, залежно від того, які букви стоять у тексті перед цією певною буквою. В результаті комп’ютер почне генерувати тексти з порядком розташування букв, характерним для нашої мови: ВЕСЕЛИ СТУКА НЕ СУХОМУ І НЕПО І КОРКО. І цю впорядкованість створила інформація, передана комп’ютеру. Ентропія ж тексту при цьому зменшиться на стільки ж біт, скільки біт інформації ми передали комп’ютеру. І це зменшення ентропії зумовлено внесеною в текст моделлю впорядкування букв між собою.

Таким чином, інформація є єдиною мірою порядку руху для будь-яких систем – від простих до найскладніших. Інформація характеризує рух систем, вона є мірою напрямленості цього руху: якщо система отримує і нагромаджує інформацію, то росте порядок руху її окремих елементів.

Наведене раніше можна звести до простої формули:

, де І – це кількість інформації, яка міститься реально при появі певної події; І₀ – кількість інформації, яка об’єктивно задається невизначеністю події; І_с – невизначеність уявлень спостерігача про ці події.

Тоді у випадку отримання телефонограми ситуація буде виглядати таким чином. Спостерігач, який не знає мови тексту, має велику невизначеність у його сприйманні, а тому І_с буде велике, а отже І = І₀ + І_с = 1,3 + 3,7 біт.

Якщо цей спостерігач трохи вивчив закономірності утворення тексту, то невизначеність його уявлень про мову І_с зменшиться, наприклад до І_с = 2 біт. Тоді І = 3,3 біт. Якщо спостерігач досконало володіє мовою, то невизначеність його понять І_с = 0 і тоді І = І₀ = 1,3 біт.

Отже, спостерігаючи будь-яке явище, людина завжди прагне усунути невизначеність своїх знань про це явище. І лише отримавши повне уявлення про досліджуване явище, вона зводить І_с до нуля. Після цього, детально вивчаючи характер і закономірності такого явища, вона отримує таку кількість інформації І, яка відповідає об’єктивно існуючій кількості інформації в цьому явищі, тобто І = І₀.

Щоб об’єктивно характеризувати реальні явища, існує єдиний вихід – не звертати уваги на наявність спостерігача зовсім. Тоді в будь-якій системі наявна інформація буде характеризувати ступінь порядку в русі елементів цієї системи. А спостерігач отримає всю цю інформацію від системи, лише детально до кінця вивчивши її. В цьому і полягає зв’язок інформації, яка існує в матеріальній системі, з інформацією, яку отримує спостерігач при вивченні системи. Спостерігаючи за навколишнім світом, ми отримуємо інформацію і тим самим пізнаємо світ. Порядок і закономірності, які існують у навколишньому світі, стають надбанням наших знань.

В будь-якому процесі, що відбувається в природі, можна знайти ознаки обміну інформацією. Вона не додає системі ні енергії, ні нової речовини. Вона не є силою, яка діяла б на нашу систему. Як ми вже вказували, інформація – це модель процесу, який має відбуватися в системі після того, як цю модель буде прийнято системою. Керуючий сигнал верстата з числовим управлінням містить у собі "модель руху" всіх його частин і механізмів, необхідних при виконанні даної операції. Потужність і енергія сигналу можуть бути мізерними, але закладену в ньому "модель руху" буде в точності відтворено органами верстата, які можуть мати колосальні потужності. Слабкі імпульси керуючих сигналів є копіями руху складних автоматів. І ці "моделі руху", які містить інформація, задають порядок виконання різних дій і процесів у системах.

На сьогодні вже аналізуються можливості створення в майбутньому особливих систем зв’язку – реплікаторів. Ці системи зможуть передати повну інформацію про предмет дослідження, наприклад, про бактерію, за якою на виході приймача системи зв’язку з допомогою реплікатора синтезується сам предмет. Якщо мати на увазі прості предмети, то такі системи цілком можливі і їх прообрази вже існують. Адже верстат з числовим управлінням і з гнучким програмуванням, по суті, вже є реплікатором. Залежно від інформації, що надходить, тобто від вибраної програми, верстат виготовляє ту чи іншу деталь.

1 2 3 4 5 6 7 8 9 10 ... 14

Схожі:

II. Дані про дату та місце оприлюднення Повідомлення (Повідомлення про інформацію) Підтверджую ідентичність електронної та паперової форм інформації, що подається до Комісії, та достовірність інформації, наданої...	Титульний аркуш Повідомлення (Повідомлення про інформацію) Підтверджую ідентичність електронної та паперової форм інформації, що подається до Комісії, та достовірність інформації, наданої...
НАКА З Міністерства України з питань надзвичайних ситуацій та у справах захисту населення від наслідків Чорнобильської катастрофи на заяви,...	Інформація і повідомлення. Поняття інформації. Властивості інформації.... Поняття інформації. Властивості інформації. Поняття шуму. Способи подання повідомлень. Види повідомлень. Неперервні і дискретні повідомлення....
Ф інансова грамотність населення Вона допомагає зрозуміти ключові фінансові поняття і як використовувати цю інформацію для прийняття рішень про витрати і заощадження,...	Іван Франко «Іван Вишенський» Діяльність, самостійно опрацьовувати матеріал підручника, вибирати необхідну інформацію, узагальнювати, систематизувати прочитане,...
1. Інформація і повідомлення Повідомлення- інформація вирадена за допомогою літер, чисел, математичних символів, природної мови	Урок 5 Тема. Миттєві повідомлення, принципи функціонування служб ...
Тема заняття: Модель здоров’я. Мета заняття Мета заняття: розширити інформацію про поняття «здоров’я», та фактори, що впливають на його формування	5. Базові поняття програмування (5 год.) Поняття програми як автоматизованої системи. Складові програми: дані, логіка, інтерфейс. Поняття об’єкта у програмуванні. Атрибути...

Додайте кнопку на своєму сайті:
Портал навчання