Конкуренция
Не все мультиагентные варианты среды включают кооперирующих агентов. Агенты с конфликтующими функциями полезности находятся в состоянии конкуренции друг с другом. Одним из примеров этого являются игры между двумя игроками с нулевой суммой, такие как шахматы. Как было описано в главе 6, агенту, играющему в шахматы, приходится рассматривать возможные ходы противника на несколько этапов в будущее. Это означает, что любой агент в конкурентной среде должен, во-первых, признавать наличие других агентов, во-вторых, прогнозировать некоторые из возможных планов другого агента, в-третьих, определять, как планы другого агента повлияют на его собственные планы, и, в-четвертых, определять наилучшее действие с учетом указанных влияний. Поэтому в условиях конкуренции, как и в условиях кооперации, требуется модель с описанием планов другого агента. С другой стороны, в конкурентной среде действия агентов не вносят свой вклад в совместный план.
В разделе 12.4 проводится аналогия между играми и задачами условного планирования. Алгоритм условного планирования, приведенный в листинге 12.4, позволяет составлять планы, действующие при наихудших предположениях о данной среде, поэтому эти планы могут применяться в таких конкурентных ситуациях, когда агента интересует только успех или неудача. А если для агента и его противников важна также стоимость плана, то применимым становится алгоритм минимакса. До сих пор еще очень мало сделано в области совместного использования алгоритма минимакса с такими методами, как планирование POP и HTN, которые выходят за рамки модели поиска в пространстве состояний, применяемой в главе 6. Мы вернемся к вопросу конкуренции в разделе 17.6, где рассматривается теория игр.
В данной главе описаны некоторые сложности, связанные с планированием и осуществлением действий в реальном мире. Основные идеи, изложенные в этой главе, перечислены ниже.
• Во многих действиях потребляются ресурсы, такие как деньги, топливо или сырье. Эти ресурсы удобно в целом рассматривать как числовые величины, а не пытаться рассуждать, скажем, о каждой отдельной монете или купюре во всем мире. Действия способны вырабатывать и потреблять ресурсы, поэтому обычно дешевле и эффективнее проверять частичные планы на предмет удовлетворения в них ресурсных ограничений, прежде чем предпринимать попытки их дальнейшего уточнения.
• Время — это один из наиболее важных ресурсов. За его расходованием можно следить, применяя специализированные алгоритмы составления расписаний или объединяя составление расписаний с планированием.
• Планирование с помощью иерархической сети задач (Hierarchical Task Network — HTN) позволяет агенту получить совет от проектировщика проблемной области в форме правил декомпозиции. Такой подход обеспечивает создание очень больших планов, требуемых для многих реальных приложений.
• В стандартных алгоритмах планирования предполагается наличие полной и правильной информации, а также детерминированной, полностью наблюдаемой среды. Это предположение является недействительным во многих проблемных областях.
• С проблемой неполной информации в планировании можно справиться, используя действия по применению датчиков для получения необходимой информации. Условные планы позволяют агенту получать с помощью датчиков информацию о мире во время выполнения плана для определения того, по какой ветви плана он должен следовать дальше. В некоторых случаях может использоваться планирование без использования датчиков или согласованное планирование для формирования плана, который во время своего выполнения не требует применения результатов восприятия. И планы без использования датчиков, и условные планы могут быть сформированы по методу поиска в пространстве доверительных состояний.
• Неправильная информация приводит к тому, что предусловия действий и планов остаются невыполненными. Контроль выполнения позволяет обнаруживать нарушения предусловий, создавая предпосылки успешного осуществления плана.
• В перепланирующем агенте используется контроль выполнения и по мере необходимости осуществляются восстановительные действия для возврата к первоначальному плану.
РЕЗЮМЕ
• Непрерывно планирующий агент создает новые цели в процессе своей деятельности и реагирует на изменения ситуации в реальном времени.
• Мультиагентное планирование необходимо, если в среде имеются другие агенты, с которыми приходится кооперировать, конкурировать или координировать свои действия. В многотельном планировании формируются совместные планы с использованием эффективной декомпозиции описаний совместных действий, но это планирование должно дополняться определенной формой координации, если два кооперативных агента должны согласовать друг с другом, какой из совместных планов следует выполнить.