Цифрові пристрої зі зворотним зв’язком

1. Поняття мереж зі зворотним зв’язком

Відсутність зворотного зв'язку гарантує безумовну стійкість мереж. Вони не можуть увійти в режим, коли вихід безперервно блукає від стану до стану і не придатний до використання. Але ця досить бажана властивість досягається не безкоштовно, мережі без зворотних зв'язків мають більш обмежені можливості в порівнянні з мережами із зворотними зв'язками.

Оскільки мережі із зворотними зв'язками мають шляхи, що передають сигнали від виходів до входів, то відгук таких мереж є динамічним, тобто після додавання нового входу обчислюється вихід і, передаючись по мережі зворотного зв'язку, модифікує вхід. Потім вихід повторно обчислюється, і процес повторюється знов і знов. Для стійкої мережі послідовні ітерації приводять до все менших змін виходу, поки зрештою вихід не стає постійним. Для багатьох мереж процес ніколи не закінчується, такі мережі називають нестійкими. Нестійкі мережі мають цікаві властивості і вивчалися як приклад хаотичних систем. Однак такий великий предмет, як хаос, знаходиться за межами цієї книги. Замість цього ми сконцентруємо увагу на стійких мережах, тобто на тих, які зрештою дають постійний вихід.

Проблема стійкості ставила в тупик перших дослідників. Ніхто не передбачав, які з мереж будуть стійкими, а які будуть знаходитися в постійній зміні. Більш того проблема представлялася настільки важкою, що багато дослідників були настроєні песимістично відносно можливості її рішення. На щастя, в роботі була отримана теорема, що описала підмножину мереж із зворотними зв'язками, виходи яких зрештою досягають стійкого стану. Це досягнення відкрило дорогу подальшим дослідженням і сьогодні багато вчених займаються дослідженням складної поведінки і можливостей цих систем.

Дж. Хопфілд зробив важливий внесок як в теорію, так і в застосування систем із зворотними зв'язками. Тому деякі з конфігурацій відомі як мережі Хопфілда. З огляду літератури видно, що дослідженням цих і схожих систем займалося багато дослідників. Наприклад, в роботі вивчалися загальні властивості мереж, аналогічних розглянутим тут. Роботи, що цитуються в списку літератури в кінці розділу, не скеровані на те, щоб дати вичерпну бібліографію по системах із зворотними зв'язками. Швидше вони є лише доступними джерелами, які можуть служити для пояснення, розширення і узагальнення що міститься цієї книги.

На рис. 1 показана мережа із зворотними зв'язками, що складається з двох прошарків. Спосіб представлення дещо відрізняється від використаного в роботі Хопфілда і іншого, але еквівалентний йому з функціональної точки зору, а також добре пов'язаний з мережами, розглянутими в попередніх розділах. Нульовий прошарок, як і на попередніх рисунках, не виконує обчислювальної функції, а лише розподіляє виходи мережі зворотно на входи. Кожний нейрон першого прошарку обчислює зважену суму своїх входів, даючи сигнал NET, який за допомогою нелінійної функції F перетворюється в сигнал OUT. Ці операції схожі з нейронами інших мереж.

Бінарні системи

У першій роботі Хопфілда функція F була просто пороговою функцією. Вихід такого нейрона рівний одиниці, якщо зважена сума виходів з інших нейронів більше порога Tj, в іншому випадку вона рівна нулю. Він обчислюється таким чином:

, (1)

OUTі = 1, якщо NETj>Тj,

OUTі = 0, якщо NETj<Тj,

OUT не змінюється, якщо NETj = Тj,

Рис. 1. Одношарова мережа із зворотними зв'язками. Пунктирні лінії означають нульові ваги

Стан мережі - це просто множина поточних значень сигналів OUT від всіх нейронів. У первинній мережі Хопфілда стан кожного нейрона змінювався в дискретні випадкові моменти часу, в подальшій роботі стани нейронів могли змінюватись одночасно. Оскільки виходом бінарного нейрона може бути тільки нуль або одиниця (проміжних рівнів немає), то поточний стан мережі є двійковим числом, кожний біт якого є сигналом OUT деякого нейрона.