Алгоритм 2. Генетический подход

Теперь рассмотрим Генетический подход к обучению нейронной сети [9].

Архитектура нейронной сети

Нейронная сеть имеет 3 слоя и выглядит следующим образом:

• 1. Входной слой определяется размерностью вектора Observations.
• 2. Один скрытый слой содержит 50 нейронов. У данного слоя используется функция активации гиперболический тангенс (tanh):

3. Выходной слой определяется размерностью вектора Actions. В каждом нейроне на выходе будет значение вероятности того, что данное действие приведет к наилучшему результату. У данного слоя используется функция активации Softmax. Дляго нейрона она выглядит следующим образом:

Отличие архитектуры нейронной сети от предыдущей модели состоит в том, что в данной использованы другие функции активации, и во внутреннем слое на 10 нейронов больше. Это сделано для того, чтобы точность обученной сети могла быть выше в среде LunarLander-v2. Данное число нейронов было найдено в ходе работы, при проведении ряда экспериментов.

Аналогично первой модели, данная архитектура сети также «подстраивается» под размерность входных данных, поэтому в исходной программе необходимо только указать название среды. Все параметры для обучения тоже заранее вычислены в ходе работы и представляют собой либо константные значения, либо вычисляются в зависимости от входных данных.

Общая схема сети изображена на рис. 8:

Рисунок 8. Схема Нейронной Сети.