Проблемы адаптивного поведения и подходы к моделированию мышления

(Вступительная статья)

 Редько В.Г.

ИПМ им. М.В. Келдыша РАН

E-mail: redko@keldysh.ru

www.keldysh.ru/pages/BioCyber/

 

Данное совещание в определенном смысле может рассматриваться как продолжение Круглого стола (КС) "Нейроинформатики-2002". Однако на КС-2002 (под названием "Проблемы интеллектуального управления - общесистемные, эволюционные и нейросетевые аспекты") рассматривался широкий спектр вопросов: от функциональных систем П.К. Анохина до Всемирного мозга. Здесь мы сузим тематику и сконцентрируем внимание на моделировании адаптивного поведения, а также затронем аспекты моделирования мышления.

 

Образно говоря, данное совещание – это отдельная ветвь, которая выделилась из дискуссии КС-2002. Основную же тему цикла Круглых столов по Интеллектуальным системам продолжает КС-2003 "Искусственные интеллектуальные системы – достижения, проблемы, перспективы".

 

Статьи и обсуждения КС-2002 представлены на сайтах:

 

http://www.keldysh.ru/pages/BioCyber/RT/Papers.htm

 

http://www.dgap.mipt.ru/cgi-bin/artema/ai/board.pl

 

http://www.keldysh.ru/pages/BioCyber/Letters/Letters.htm

 

Материалы КС-2003 представлены на сайте:

 

http://rtni2003.narod.ru

 

Прокомментируем вопросы совещания. Комментарий этот неоднороден: больше всего остановимся на первом постановочном вопросе, а остальные прокомментируем кратко.

 

1. Задача моделирования целостного адаптивного поведения как подход к моделированию мышле­ния

 

Стимулом для включения вопроса о моделировании мышления в повестку совещания была статья М.Н. Вайнцвайга и М.П. Поляковой "О моделировании мышления" [1], вынесенная на обсуждение КС-2002,  а также мои беседы с Модестом Николаевичем Вайнцвайгом, который подчеркивает важность проблемы моделирования мышления и постоянно ищет подходы к такому моделированию.

 

Здесь мы отметим некоторые понятия, которые имеет смысл учитывать при моделировании нетривиального (интеллектуального) адаптивного поведения.

 

Целенаправленность. Одна из отличительных черт поведения животных – целенаправленность, стремление достичь определенной цели. Цели поведения животных связаны с необходимостью удовлетворения потребностей. Основная потребность организма – потребность выживания. В качестве ведущих потребностей (подчиненных основной потребности) можно выделить потребность энергии (потребность питания), потребность безопасности и потребность размножения, а также – как отмечается в работах А.А. Жданова [2] – потребность накопления знаний.

 

Стремление к удовлетворению потребностей можно характеризовать мотивациями, причем характеризовать количественно. Например, если у животного есть потребность питания, то мотивацию к удовлетворению этой потребности можно ввести таким образом: чем больше у животного чувство голода, тем больше данная мотивация; когда животное находит пищу, ест ее и удовлетворяет потребность питания, эта мотивация уменьшается; когда животное насытится, данная мотивация обращается в нуль (предполагаем, что мотивация неотрицательна).

 

Попытки моделирования мотиваций и их роли в адаптивном поведении в нескольких различных аспектах были осуществлены рядом авторов.

 

Л.Е. Цитоловский исследовал простую стохастическую схему оптимизации (минимизации мотиваций), приводящую к удовлетворению потребностей, а также анализировал роль мотиваций в функционировании отдельного нейрона [3].

 

М.С. Бурцев и др. предложили и проанализировали модель эволюционного возникновения целенаправленного адаптивного поведения с особым акцентом на роль мотиваций в адаптивном поведении [4].

 

Х. Балкениус сделал краткий аналитический обзор схем и моделей когнитивных систем, учитывающих мотивационную составляющую [5].

 

Целостное адаптивное поведение. При моделировании поведения животных естественно рассматривать целостное адаптивное поведение, при котором учитываются общая иерархическая структура потребностей и целей: частные потребности и цели организма подчинены основной потребности – потребности выживания.

 

Целостное адаптивное поведение анализируется в теории функциональных систем П.К. Анохина [6,7]. Схема моделирования целостного адаптивного поведения предложена в проекте "Животное" М.М. Бонгарда с сотр. [8-10]. В проекте "Животное" [8] моделирование целостного адаптивного поведения рассматривается как задача близкая к моделированию мышления. В работе [1] предлагается схема моделирования мышления, включающаяся в себя элементы адаптивного поведения (в контексте целостного адаптивного поведения).

 

Внутренняя модель. Еще одно понятие, которое естественно использовать при моделировании интеллектуального адаптивного поведения, – "внутренняя модель". Действительно, если животное может строить свою внутреннюю модель внешней среды и своего взаимодействия с внешней средой, то на основе такой модели оно может предсказывать будущие события во внешней среде и результаты своих действий и адекватно использовать эти прогнозы в своем адаптивном поведении. Более того, при прогнозах животное может делать определенные "логические выводы" на базе своей модели.

 

Человек, естественно, тоже имеет свои модели ситуаций и модели, характеризующие его общие представления о внешнем мире. Более того, общая научная картина мира – создаваемая всем международным научным сообществом – также может рассматриваться как совокупность моделей. Т.е. отталкиваясь от понятия "внутренняя модель", мы можем попытаться перейти от исследований "интеллекта" животных к анализу наиболее интересных форм мышления – мышления ученого, мышления, используемого в научном познании Природы.

 

Отметим, что понятие внутренней модели подчеркивалось рядом авторов.

 

В.Ф. Турчин рассматривает моделирование, формирование животными и человеком моделей окружающей среды, на основе которых происходит предвидение, как важную компоненту познавательного процесса [11].

 

Э. Янч отмечает, что возникновение способности строить модели внешнего мира было одним из этапов самоорганизации биосферы [12].

 

Ф. Хейлигхен и К. Джослин специально вводят понятие эндо-модель – внутренняя модель, т.е. модель, которую формирует анализируемый объект (животное, человек, робот, или какая-либо иная кибернетическая система), и отличают это понятие от понятия экзо-модель – модель самого объекта, которую строит исследователь, анализирующий поведение рассматриваемого объекта [13].

 

Р. Саттон и Э. Берто [14], предложили и проанализировали простую нейросетевую модель "внутренней модели". Для конкретизации рассмотрения кратко изложим основные идеи этой работы.

 

В [14] моделируется следующий эксперимент с крысами. Есть Т-образный лабиринт, с двумя камерами, присоединяемыми к плечам лабиринта (рис. 1). Красная камера присоединена к правому плечу лабиринта, зеленая к левому плечу.

Рис.1. Схема лабиринта.

 

Эксперимент состоит из трех стадий. На первой исследовательской стадии животное помещают на вход лабиринта и разрешают ему перемещаться по лабиринту и изучить его, без какого-либо подкрепления или наказания. На второй ассоциативной стадии обе камеры отделяют от лабиринта, переносят в другую комнату и там поощряют либо наказывают: в красной камере животное получает пищу, а зеленой – удар током. На третьей стадии тестирования камеры возвращаются обратно и прикрепляются к лабиринту, а животное помещают на вход лабиринта и наблюдают, – куда оно пойдет. Эксперимент демонстрирует, что при тестировании животные преимущественно перемещаются направо.

 

Согласно этому эксперименту животное должно построить модель внешней среды и скомбинировать два независимых фактора: 1) поворот направо/налево ведет в красную/зеленую камеру, 2) в красной/зеленой камере можно получить поощрение/наказание. Т.е., животное делает "логический вывод" примерно такого вида:

 

 

Этот вывод аналогичен одной из основных формул логического вывода [15,16]:

 

(Если из А следует В , и из В следует С, то из А следует С).

 

В [14] построена нейросетевая модель, объясняющая поведение животных в описанном эксперименте. Схема этой нейросети показана на рис. 2.

Рис. 2. Схема нейронной сети, осуществляющей прогноз [14]. Нейроны показаны квадратами с цифрами 1-5 внутри, синапсы – кружками, выходы нейронов – жирными стрелками, направления передачи сигналов между нейронами – тонкими стрелками, воздействие внешней среды – штриховыми стрелками.

 

Эта нейронная сеть содержит 5 нейронов и состоит из двух модулей. В предсказывающий модуль входят нейроны 1-3, в модуль выбора действия – нейроны 4,5. Из внешней среды на вход нейронной сети поступают сигналы о цвете камеры и подкреплении ("Зеленый", "Красный", "Подкрепление"). На выходе сети формируются команды действий ("Направо" или "Налево"). Предсказывающий модуль строит упрощенную модель внешней среды и предсказывает состояние входов от внешней среды в предстоящие моменты времени. Модуль выбора действия формирует команды действий.

 

В схему входили специальные модельные нейроны, разработанные на основе концепции А.Г. Клопфа "Целеустремленный нейрон" [17]. Эти нейроны подобны обычным нейронам с модифицируемыми синапсами Хебба, но дополнительно обладают определенной формой кратковременной памяти. Подробнее об этой модели нейронов см. [18].

 

При моделировании эксперимента на исследовательской стадии в предсказывающем модуле формировалась ассоциативная память (за счет модификации синапсов связи между нейронами 4, 5 и 1,2), в которой запоминалось, что при движении налево/направо животное попадает в зеленую/красную камеру. На ассоциативной стадии в предсказывающем модуле формировались рекурентные связи между нейронами 1 и 2 и нейроном 3 (предсказывающие, что в зеленой/красной камере можно получить отрицательное/положительное подкрепление), а также модифицировались синапсы на входах нейронов 4, 5, что обеспечивало преимущественный выбор движения вправо. На стадии тестирования подтверждалось, что данная модель действительно качественно соответствует описанному выше эксперименту.

 

Конечно, модель [14] – это только пример подхода к моделированию внутренних моделей, на основе которых животные делают прогнозы будущих событий во внешней среде и адекватно используют эти прогнозы. Тем не менее, интуитивно чувствуется, что "внутренние модели" могут характеризовать весьма нетривиальные знания животного о внешнем мире и обеспечивать познавательные способности животных. И, как отмечено выше, на пути анализа таких моделей мы могли бы попытаться нащупать связи познавательных способностей животных с познанием  человеком внешнего мира, в том числе с научным познанием Природы.

 

2. Почему до сих пор не была создана модель адап­тивного поведения по проекту "Животное" (по работам М.М. Бонгарда с сотрудниками)?

 

Этот вопрос умышленно "провокационный" и его роль – обострить дискуссию. Действительно, прошло уже примерно 30 лет, после того как был предложен исключительно интересный проект "Животное" [8-10], направленный на моделирование целостного адаптивного поведения и свойств мышления. Но, как это ни удивительно, сподвижники и последователи М.М. Бонгарда не развили полноценным образом это направление работ. Хотелось бы понять, почему такова судьба этого проекта, можно ли развить его сейчас, каковы могли бы быть аналогичные проекты?

 

3.     Какие модели адаптивного поведения можно построить на основе теории функциональных систем П.К. Анохина?

 

Хотя теория функциональных систем сформулирована П.К. Анохиным десятилетия назад [6], разработки моделей на основе этой теории можно назвать довольно скромными (я хотел бы только отметить достаточно серьезные методологические проработки Е.А. Умрюхина [19, 20]). По-видимому, причина такого недостаточного внимания кибернетиков (разработчиков математических и компьютерных моделей) к теории функциональных систем связана с тем, что слишком много интуитивного и нечеткого содержит эта теория (см., например, письмо В.Ф. Соломатина на КС-2002 [21]).  Кроме того, сказываются общие трудности междисциплинарных исследований: необходимость нахождения общего языка и взаимопонимания между биологами и кибернетиками.

 

Тем не менее, недавно начата разработка проекта "Мозг анимата" [22],  в котором участвуют как биологи, так и кибернетики, объединившиеся с целью создания модели целостного адаптивного поведения на основе теории функциональных систем.

 

4.     Какие нейросетевые парадигмы можно привлечь к моделированию адаптивного поведения и мыш­ления?

 

По-видимому, при моделировании целостного адаптивного поведения совсем не обязательно делать привязку к реальным нейронным структурам мозга. Скорее, более разумно конструировать модели, используя нейросетевые блоки с хорошо известными свойствами.  Здесь мы отметим только пару возможностей такого конструирования.

 

Например, в проекте "Мозг анимата" [22] для моделирования прогноза между текущей и последующей ситуацией предлагается использовать блоки гетероассоциативной памяти, обучаемые с помощью метода обратного распространения ошибки [23]. Отметим, что это аналогично использованию ассоциативной памяти в прогнозирующем модуле в работе [14] (верхняя часть рис.2).

 

Интересной представляется идея использования Хеббовских ансамблей для моделирования формирования понятий и логических связей между понятиями в базах знаний животных, примерно так, как это делается в работах Э.М. Куссуля с сотр. [24].

 

5.     Насколько возможно сконструировать модель мышления? Что можно было бы заложить в та­кую модель?

Этот вопрос нацелен на стимулирование будущих исследований.

 

Резюме

 

В целом анализ литературы показывает, что в рамках темы совещания работало уже множество исследователей, но как-то еще слишком мало понято и осмысленно с помощью моделей. Хотелось бы продвинуться дальше. Для этого и предназначено настоящее совещание.

 

Литература:

1.    Вайнцвайг М.Н., Полякова М.П. О моделировании мышления. Статья на КС-2002: http://www.keldysh.ru/pages/BioCyber/RT/Vaintsvaig.htm

2.    Жданов А. А. Метод автономного адаптивного управления // Известия Академии Наук. Теория и системы управления. 1999. № 5. С. 127-134.

3.    Tsitolovsky L.E. (1997) A model of motivation with chaotic neuronal dynamics // Journ. of Biological Systems, 1997. V. 5. N.2, pp. 301-323. Описание модели минимизации мотивации, предложенной в данной работе, есть на сайте: http://dserv.keldysh.ru/pages/BioCyber/Lectures/Lecture13/Lecture13.html

4.    Бурцев М.С.,  Гусарев Р.В., Редько В.Г. Модель эволюционного возникновения целенаправленного адаптивного поведения 1. Случай двух потребностей. // Препринт ИПМ РАН, 2000, N 43. см. также: http://www.keldysh.ru/pages/BioCyber/PrPrint/PrPrint.htm

5.    Balkenius C. The roots of motivations. // In J.-A. Mayer, H. L. Roitblat and S. W. Wilson (eds.), From Animals to Animats II, MA: MIT Press., 1993. http://www.lucs.lu.se/People/Christian.Balkenius/Abstracts/ROM.html

6.    Анохин П.К.  Системные механизмы высшей  нервной  деятельности. // М.: Наука, 1979, 453 с. Анохин П.К. Очерки по физиологии функциональных систем. – М.: Медицина, 1975. Анохин П.К. Принципиальные вопросы общей теории функциональных систем // Принципы системной организации функций. – М.: Наука, 1973. См. также: http://www.keldysh.ru/pages/BioCyber/RT/Functional.pdf

7.    Швырков В.Б. Теория функциональной системы как методологическая основа нейрофизиологии поведения // Успехи физиологических наук. 1978. Т. 9. №1.

8.    Бонгард М.М., Лосев И.С., Смирнов М.С. Проект модели организации поведения – Животное // Моделирование обучения и поведения. – М.: Наука, 1975. см. также:
http://www.keldysh.ru/pages/mrbur-web/misc/bongard.htm
http://mbur.narod.ru/misc/bongard.htm

9.    М. М. Бонгард, И. С. Лосев, В. В. Максимов М. С. Смирнов. Формальный язык описания ситуаций, использующий понятие связи. // Моделирование обучения и поведения. – М.: Наука, 1975.

10. И. С. Лосев, В. В. Максимов. О задаче обобщения начальных ситуаций. // Моделирование обучения и поведения. – М.: Наука, 1975.

11. Турчин В.Ф. Феномен науки. Кибернетический подход к эволюции. М.: Наука, 1993. 295с. (1-е изд). М.: ЭТС, 2000. 368с (2-е изд). См. также:   http://www.refal.net/turchin/phenomenon/ http://www.refal.org/turchin/phenomenon/

12. Jantsch E. The self-organising universe. Pergamon Press: Oxford etc, 1980. 340 p.

13. Heylighen F. & Joslyn C. (2001): "Cybernetics and Second Order Cybernetics", in: R.A. Meyers (ed.), Encyclopedia of Physical Science & Technology , Vol. 4 (3rd ed.), (Academic Press, New York), p. 155-170.

14. Sutton, R.S., & Barto, A.G. (1981). An adaptive network that constructs and uses an internal model of its world, Cognition and Brain Theory 4:217-246.

15.  Клини С. Математическая логика. М.: Мир, 1973. 480 с.

16. Генцен Г. Исследования логических выводов. // Математическая теория логического вывода. М.: Наука. 1967. С.9-76.

17. Klopf A.H.  The hedonistic neuron: a theory of memory, learning, and intelligence. Hemisphere publishing corporation, Washington etc, 1982. 140 p.

18. Sutton, R.S., & Barto, A.G. (1981). Toward a modern theory of adaptive networks: Expectation and prediction, Psychological Review 88:135-140.

19. Умрюхин Е.А. Механизмы мозга: информационная модель и оптимизация обучения. М. 1999. 96 с.

20. Умрюхин Е.А., Судаков К.В. Информационная модель системной организации психической деятельности человека ("детектор интеллекта") // Моделирование функциональных систем (под ред. Судакова К.В. и Викторова В.А.). – М.: РАМН, РСМАН, 2000.

21. Соломатин В.Ф. http://www.keldysh.ru/pages/BioCyber/Letters/Letter45.htm

22. Анохин К.В., Бурцев М.С., Зарайская И.Ю., Лукашев А.О., Редько В.Г. Проект "мозг анимата": разработка модели адаптивного поведения на основе теории функциональных систем // Доклад, представленный на Восьмую национальную конференцию по Искусственному Интеллекту КИИ-2002.

23. Rumelhart D.E., Hinton G.E., Williams R.G. Learning representation by back-propagating error // Nature. 1986. V.323. N.6088.

24. Куссуль Э.М. Ассоциативные нейроноподобные структуры. Киев: Наукова думка, 1992. См. также  Rachkovskij , D. A. and Kussul, E. M. (2000) Building large-scale hierarchical models of the world with binary sparse distributed representations: http://cogprints.soton.ac.uk/documents/disk0/00/00/12/87/cog00001287-00/Bbsapnn1.pdf