Парціальне опрацювання даних. Відновлення пропущених даних. Видалення аномалій. Спектральне опрацювання. Видалення шумів. Хід роботи

Парціальне опрацювання даних. Відновлення пропущених даних. Видалення аномалій. Спектральне опрацювання. Видалення шумів. Хід роботи. 1. Виконати імпорт даних з файлу 1.xls. Цей файл містить таблицю з наступними полями: «Аргумент»- аргументи деякої функції; «Функція» - значення деякої функції відповідно до аргументів(значення функції для деяких аргументів відсутні); «Аномалії» - значення функції з аномальними відхиленнями; «Великі_впливи»- значення функції з великим шумами; «Середні_впливи» - значення функції з середніми шумами»; «Малі_впливи» - значення функції з малими шумами. Вибрати майстер імпорту. 2. Призначити імпорт файлу з MS Excel. 3. Перевірити налаштування властивостей полів. 4. Вибрати спосіб відображення даних. Для поля «Функція» вибрати таблицю та діаграму. 5. Налаштувати, які стовпці відображати в діаграмі. 6. На останньому кроці майстра дати назву гілки в дереві сценаріїв, наприклад «Значення функції». Переглянути таблицю та діаграму. 7. Аналогічно виконати гілки в дереві сценаріїв для інших полів. Для інших полів вибирати відображення лише у вигляді діаграми. 8. В полі «Функція» в силу деяких причин (дані не відомі, їх забули увести іт.ін) деякі дані відсутні. Зазвичай з опрацювання видаляють всі рядки з пропущеними даними. Парціальне опрацювання даних дозволяє вирішити цю проблему. Вибираємо майстер опрацювання ( кнопка ). 9. Вибираємо парціальне опрацювання. 10. Якщо дані упорядковані, то рекомендується в якості відновлення пропущених значень використовувати апроксимацію – дані відновлюються на основі близько розташованих значень. Інакше слід використовувати алгоритм максимального наближення, коли замість пропущених даних підставляються найбільш імовірні дані на основі всієї вибірки. Слід вибрати поле «Функція», решта полів відключити. Переглянути діаграму для значень функції з відновленими даними. 11. Для поля «Аномалії» при виконанні парціального опрацювання вибрати «Редагування аномальних значень», ступінь пригнічення вибрати «Велика». Переглянути діаграму для поля «Аномалії» після опрацювання. Викидів не буде, залишаться невеликі відхилення. 12. Згладжування даних використовують також для видалення шумів з вхідного набору даних, а також для визначення тенденції, яку важко від слідкувати у вхідному наборі. Отже, спектральне опрацювання можна виконувати такими методами: Згладжування даних – якщо вибраний цей пункт, то стає доступною «Смуга пропускання». Чим більше потрібно згладити дані, тим меншим має бути значення смуги. Однак, надто вузька смуга може призвести до втрати корисної інформації. Віднімання шуму - якщо вибраний цей метод, то стає доступним налаштування «Ступінь віднімання шуму» - велика, середня, мала. Алгоритм гарантує задовільні результати лише тоді, коли рівень шуму малий і має нормальний розподіл. Вейвлет перетворення – необхідно задати глибину розкладення і порядок вейвлету. Глибина розкладення відображає масштаб деталей, що відкидаються: чим більшою є ця величина, тим крупніші деталі будуть відкинуті. При значеннях порядку 7-9 відбувається не тільки очищення від шуму, але й згладжування (обрізаються різкі викиди). Надто великі значення глибини розкладення призводять до втрати корисної інформації через надто велике згладжування даних. Виконайте згладжування даних для поля «Аномалії». Ширину смуги вибрати до 5. Виконайте вейвлет перетворення для поля «Аномалії» з параметрами за замовчуванням (глибина розкладення 3, порядок вейвлета 6). 13. Видалення шумів. Шуми не тільки приховують загальну тенденцію, але й появляють себе при побудові моделі прогнозу. Модель може мати погані узагальнюючі якості. У нас є три поля з шумами. Спектральне опрацювання дозволяє усунути шуми за допомогою «Віднімання шуму». Отже, на четвертому кроці майстра парціального опрацювання вибрати по черзі поля «Великі_впливи», «Середні_впливи», «Малі_впливи», задамо тип опрацювання «Віднімання шуму» і укажемо ступінь пригнічення «велика», «середня» та «мала» відповідно. Аналітичні розв'язки за допомогою нейронних мереж Порядок виконання роботи Створення навчальної виборки. Розглянемо приклад побудови системи оцінювання кредитоздатності фізичної особи. Припустимо, що експерти визначили основні фактори, що визначають кредитоздатність. Ними виявились: вік, освіта, площа квартири, наявність автомобіля, тривалість проживання в даному регіоні. В організації накоплена статистика повернень або не повернень отриманих кредитів. Ця статистика подана таблицею в MS Excel. Використовуючи Майстер імпорту, завантажимо файл даних з MS Excel Credit.xls в Deductor. Призначити поле «Давати_кредит?» - вихідним, а решту полів – вхідними. Скориставшись Майстром Опрацювання в 1-му вікні вибираємо спосіб опрацювання – Нейромережа. На другому кроці підтверджуємо розподіл полів на вхідні/вихідні. У 3-му вікні Майстра навчальну вибірку розділимо на навчальну та тестову множини. Програма пропонує це зробити за замовчуванням, тобто випадкові 95 відсотків записів будуть в навчальній множині, решта 5 відсотків – в тестовій. Конфігурація мережі – залишаємо значення за замовчуванням (крок 4). Виберемо алгоритм навчання мережі – Resilent Propagation з налаштуванням за замовчуванням (крок 5). Умову закінчення навчання також залишимо без змін (крок 6). Наступний етап – запуск навчання нейромережі. Воно триватиме 10000 епох, близько 20-30 секунд. Після навчання вказуємо спосіб відображення даних на екран: візуалізатор «Що-Якщо». Отримуємо таблицю, у котрій відображаються дані попередніх клієнтів. Змінюючи інформацію (наприклад зменшення доходу, збільшення витрат, збільшення суми кредиту тощо) можна побачити як система приймає різні рішення на основі таких даних. Крім такої таблиці аналіз «що-якщо» містить діаграму, на якій відображається залежність вихідного поля від одного з вхідних полів при фіксованих значеннях решти полів. Наприклад, потрібно визначити, на яку суму кредиту може розраховувати особа з певними характеристиками. Це можна визначити по діаграмі. Можна повторно імпортувати ті ж вхідні дані, але при цьому призначити поле «Сума кредиту» - вихідним, поряд із рішенням про кредитування. У цьому випадку можна одразу прорахувати на яку суму може розраховувати та чи інша людина.

Схожі: