АНИМАТ

Статья об анимате
(Ответ на критику В.Ф. Соломатина)

Редько В.Г.

ИПМ им. М.В. Келдыша РАН

www.keldysh.ru/pages/BioCyber/

Справка: Идет разбор статьи Анохин К.В., Бурцев М.С., Зарайская И.Ю., Лукашев А.О., Редько В.Г. Проект "Мозг Анимата": разработка модели адаптивного поведения на основе теории функциональных систем

Еще раз хочу отметить, что целью рассматриваемой работы было провести начальный этап совместных исследований (биологов и кибернетиков) по пониманию того, какие формальные схемы адаптивного поведения можно построить на основе теории функциональных систем. На большее она не претендует.

Теперь отвечаю на вопросы и критику. Группирую некоторые вопросы и не отвечаю на мелкие технические замечания.

ВОПРОСЫ

По начальной части статьи К.В. Анохина и др.

1 . Чем отличается прогноз от акцептора? Можно ли считать, что акцептор — это прогноз результатов? Исходный прогноз — это прогноз чего?

2. Чем отличается прогноз от ожидаемого результата и от параметров результата?

3. Чем отличаются цель и прогноз?

4. Почему на рис. 2 акцептор показан прямоугольником, а прогноз — нет?

5. Почему результат не сравнивается с прогнозом?

В акцепторе результата действия хранится прогноз. Прогноз – это набор параметров, а именно вектор Pr(R_k). Результат R_k сравнивается с прогнозом Pr(R_k) . Это показано на рис.2 справа. Цель G задается суперсистемой. Прогноз Pr и цель G (а также результат R_k ) имеют один и тот же набор параметров и одинаково нормированы.

6. ПОЧЕМУ НА РИС. 2 НЕТ СРАВНЕНИЯ РЕЗУЛЬТАТОВ ДЕЙСТВИЯ С ЦЕЛЬЮ?

Это серьезный вопрос и в рассматриваемой статье он решен не очень качественно. Тем не менее, он решен. И решен он следующим образом: функциональная система выполняет действие, если для этого действия прогноз Pr близок к цели G . В этом случае результат действия R_k достаточно сравнивать с прогнозом Pr, и если результат R_k и прогноз Pr будут мало/сильно отличаться, то результат R_k и цель G будут мало/сильно отличаться.

7. В статье не названный прямо многослойный перцептрон характеризуется как гибкая система ассоциативной памяти; на самом же деле, — это крайне негибкая система и не система памяти.

Не согласен. Многослойный перцептрон, обучаемый по методу обратного распространения ошибки,
выполняет функцию гетероассоциативной памяти. А именно, запоминается отображение X_k -> Y_k между набором входных и выходных векторов X_k и Y_k, k =1,2, …, N. N – число эталонных пар в рассматриваемом отображении. Система гибкая, так как компоненты векторов X_k и Y_k – действительные числа, и эта система обладает свойством обобщения (входам, близким к эталонному вектору X_k , соответствуют выходы, близкие парному ему вектору Y_k). Например, эта система более гибкая по сравнению с классифицирующими системами Дж. Холланда [Holland, J.H., Holyoak, K.J., Nisbett, R.E., Thagard, P. (1986). Induction: Processes of Inference, Learning, and Discovery. Cambridge, MA: MIT Press], для которых компоненты входов должны быть представлены в дискретном (бинарном) виде.

8. «Все возможные действия в данной среде» — это непонятно. Откуда и как они берутся? И ведь на каждое — своя сеть!

С этим замечанием я согласен. Действительно, есть избыток нейронных сетей. И набор возможных действий строго фиксирован. Это – ограничения модели. Я пока не знаю, как устранить эти слабые места модели. См. также ответ на вопрос 10.

9. Непонятно, как конкретно участвует цель в выборе возможных действий при обращении к нейронным сетям; ведь возможные действия извлекаются только по X (X((t) -> Pr(t)).

Цель сравнивается с прогнозами всех возможных действий, и действие выбирается в соответствии с благоприятным прогнозом, т.е. тогда, когда прогноз близок к цели. Анимат доверяет своим прогнозам, а прогнозы, в свою очередь, формируются в процессе обучения.

10. Непонятно, что такое X. По идее, этот вектор должны выдавать рецепторы «анимата». Но тогда он будет зависеть от положения «анимата» в среде, и на каждое возможное положение нужно будет иметь обученную нейронную сеть?!

В работе подразумевается, что входной вектор X поступает на нейронные сети после некоторой предобработки. Такой тип входных векторов и действий можно хорошо представить на примере модели "Кузнечик":
http://www.keldysh.ru/pages/BioCyber/PrPrint/PrPrint.htm

В модели "Кузнечик" фиксирован как набор входов, так и набор действий; и входы, и выходы выглядят вполне естественно.

11. А что, действия, которые не выполнялись раньше (и для которых нет сети, выдающей прогноз), не могут быть оценены и выбраны?

Для каждого из возможных действий должна быть своя сеть. Исходные сети должны задавать либо случайные прогнозы, либо некоторые "разумные". Например, мы можем (аналогично тому, как в модели "Кузнечик" мы вводим разумные начальные инстинкты) ввести некоторые "разумные" начальные прогнозы перед реальным моделированием.

12. По тексту в ПР поступают цели, а по рисунку — нет.

Можем и нарисовать соответствующую стрелку – это не существенно.

12. Предложенная в статье схема управления не учитывает того, что субъект может ставить себе цели сам. Эти цели не ставит ему никакая вышестоящая ФС. И для достижения этих целей ему может потребоваться выполнение действий, которые никогда ранее не выполнялись, так что для них нет нейронных сетей, которые могли бы выдавать прогнозы по типу считывания из памяти.

Цели высших уровней – питания, безопасности, размножения, накопления знаний – естественные цели живых организмов. Остальные цели подчинены им. В работе обсуждается возможность формирования новых целей, подчиненных высшим (см. раздел "6. Обсуждение").

Анализировать статью до конца у меня пока не было возможности.

ОБЩИЕ СООБРАЖЕНИЯ ПО СТАТЬЕ

Когда я впервые прочитал о проекте «Мозг анимата», у меня внутри возникло чувство протеста, но я не мог сформулировать, что же меня не удовлетворяет. Теперь кое-что я могу сказать.

Во-первых, термин «анимат» не воспринимается как обобщаюший понятия искусственного «организма» и естественного организма. Этот термин напоминает термин «автомат». Во-вторых, между естественным и искусственным организмом имеется столько принципиальных различий, что, вообще, представляется сомнительной целесообразность подведения их под общее понятие. Многие из формулировок, которые имеют прямой смысл по отношению к естественным организмам, по отношению к искусственным организмам, строго говоря, бессмысленны (например, «анимат имеет потребности». И называя и искусственный, и естественный организм одним словом и относя к этому слову такого рода формулировки, мы будем создавать ложное представление об одинаковой природе процессов, протекающих в искусственных и естественных организмах. Под одно понятие следует подводить объекты, сходные по их существенным характеристикам, такие объекты, относительно которых могут быть сделаны высказывания, имеющие одинаковый смысл.

По моему мнению, вместо того, чтобы создавать теорию управления поведением «анимата», относительно правомерности введения которого в рассмотрение существуют большие сомнения, лучше просто разрабатывать обобщённую теорию поведения и управления поведением, равно применимую к искусственным созданиям и к естественным организмам.

Термин "Анимат" сложился более 10 лет назад и прекрасно живет в современной научной литературе. Исследования Анимат-направления как раз и посвящены разработке теории "поведения и управления поведением, равно применимой к искусственным созданиям и к естественным организмам". Об этом хорошо сказано в статье В.А. Непомнящих "Поведение "аниматов" как модель поведения животных":

http://www.keldysh.ru/pages/BioCyber/RT/Nepomn.htm

См. также многочисленную литературу по Анимат-направлению, большое количество полезных ссылок приведено в указанной статье В.А. Непомнящих.

Мне также чужд формалистический дух проекта «Анимат». Я высоко оцениваю возможности формализации и строгих доказательств как метода научных исследований, но тут мы имеем иное. Делаются произвольные предположения там, где можно и нужно обосновать. Вводятся в рассмотрение формальные объекты и разные процессы, но не потому, что их введение помогает пониманию реальности. Теорией управления поведением автоматов и роботов я не занимался, но при построении теории процессов управления, протекающих в мозгу, по моему мнению, очень полезно постоянно пытаться представлять себе, как соответствующие процессы протекают в реальном мозге и в его нейронных сетях. Такое моё мнение тоже резко расходится с позицией авторов обсуждаемой статьи.

Мне кажется, что возможно создание совершенно другой общей теории управления поведением живых организмов, основанной на других принципах (как методологических, так и принципах управления) и на других процессах.

Интересно было бы понять, в чем могла бы быть суть другой "общей теории управления поведением живых организмов", суть других принципов, суть других процессов.