Свойства проблемной среды
Несомненно, что разнообразие вариантов проблемной среды, которые могут возникать в искусственном интеллекте, весьма велико. Тем не менее существует возможность определить относительно небольшое количество измерений, по которым могут быть классифицированы варианты проблемной среды. Эти измерения в значительной степени определяют наиболее приемлемый проект агента и применимость каждого из основных семейств методов для реализации агента. Вначале в этом разделе будет приведен список измерений, а затем проанализировано несколько вариантов проблемной среды для иллюстрации этих идей. Приведенные здесь определения являются неформальными; более точные утверждения и примеры вариантов среды каждого типа описаны в следующих главах.
• Полностью наблюдаемая или частично наблюдаемая
Если датчики агента предоставляют ему доступ к полной информации о состоянии среды в каждый момент времени, то такая проблемная среда называется полностью наблюдаемой4. По сути, проблемная среда является полностью наблюдаемой, если датчики выявляют все данные, которые являются релевантными для выбора агентом действия; релевантность, в свою очередь, зависит от показателей производительности. Полностью наблюдаемые варианты среды являются удобными, поскольку агенту не требуется поддерживать какое-либо внутреннее состояние для того, чтобы быть в курсе всего происходящего в этом мире. Среда может оказаться частично наблюдаемой из-за создающих шум и неточных датчиков или из-за того, что отдельные характеристики ее состояния просто отсутствуют в информации, полученной от датчиков; например, агент-пылесос, в котором имеется только локальный датчик мусора, не может определить, имеется ли мусор в других квадратах, а автоматизированный водитель такси не имеет сведений о том, какие маневры намереваются выполнить другие водители.
• Детерминированная или стохастическая
Если следующее состояние среды полностью определяется текущим состоянием и действием, выполненным агентом, то такая среда называется детерминированной; в противном случае она является стохастической. В принципе в полностью наблюдаемой детерминированной среде агенту не приходится действовать в условиях неопределенности. Но если среда — частично наблюдаемая, то может создаться впечатление, что она является стохастической. Это отчасти справедливо, если среда — сложная и агенту нелегко следить за всеми ее ненаблюдаемыми аспектами. В связи с этим часто бывает более удобно классифицировать среду как детерминированную или стохастическую с точки зрения агента. Очевидно, что при такой трактовке среда вождения такси является стохастической, поскольку никто не может точно предсказать поведение всех других транспортных средств; более того, в любом автомобиле совершенно неожиданно может произойти прокол шины или остановка двигателя.
Описанный здесь мир пылесоса является детерминированным, но другие варианты этой среды могут включать стохастические элементы, такие как случайное появление мусора и ненадежная работа механизма всасывания (см. упр. 2.12). Если среда является детерминированной во всех отношениях, кроме действий других агентов, то авторы данной книги называют эту среду стратегической.
• Эпизодическая или последовательная5
В эпизодической проблемной среде опыт агента состоит из неразрывных эпизодов. Каждый эпизод включает в себя восприятие среды агентом, а затем выполнение одного действия. При этом крайне важно то, что следующий эпизод не зависит от действий, предпринятых в предыдущих эпизодах. В эпизодических вариантах среды выбор действия в каждом эпизоде зависит только от самого эпизода. Эпизодическими являются многие задачи классификации. Например, агент, который должен распознавать дефектные детали на сборочной линии, формирует каждое решение применительно к текущей детали, независимо от предыдущих решений; более того, от текущего решения не зависит то, будет ли определена как дефектная следующая деталь. С другой стороны, в последовательных вариантах среды текущее решение может повлиять на все будущие решения. Последовательными являются такие задачи, как игра в шахматы и вождение такси: в обоих случаях кратковременные действия могут иметь долговременные последствия. Эпизодические варианты среды гораздо проще по сравнению с последовательными, поскольку в них агенту не нужно думать наперед.
• Статическая или динамическая
Если среда может измениться в ходе того, как агент выбирает очередное действие, то такая среда называется динамической для данного агента; в противном случае она является статической. Действовать в условиях статической среды проще, поскольку агенту не требуется наблюдать за миром в процессе выработки решения о выполнении очередного действия, к тому же агенту не приходится беспокоиться о том, что он затрачивает на размышления слишком много времени. Динамические варианты среды, с другой стороны, как бы непрерывно спрашивают агента, что он собирается делать, а если он еще ничего не решил, то это рассматривается как решение ничего не делать. Если с течением времени сама среда не изменяется, а изменяются показатели производительности агента, то такая среда называется полудинамической. Очевидно, что среда вождения такси является динамической, поскольку другие автомобили и само такси продолжают движение и в ходе того, как алгоритм вождения определяет, что делать дальше. Игра в шахматы с контролем времени является полудинамической, а задача решения кроссворда — статической.
• Дискретная или непрерывная
Различие между дискретными и непрерывными вариантами среды может относиться к состоянию среды, способу учета времени, а также восприятиям и действиям агента. Например, такая среда с дискретными состояниями, как игра в шахматы, имеет конечное количество различимых состояний. Кроме того, игра в шахматы связана с дискретным множеством восприятий и действий. Вождение такси — это проблема с непрерывно меняющимся состоянием и непрерывно текущим временем, поскольку скорость и местонахождение самого такси и других транспортных средств изменяются в определенном диапазоне непрерывных значений, причем эти изменения происходят во времени плавно. Действия по вождению такси также являются непрерывными (непрерывная регулировка угла поворота руля и т.д.). Строго говоря, входные данные от цифровых камер поступают дискретно, но обычно рассматриваются как представляющие непрерывно изменяющиеся скорости и местонахождения.
• Одноагентная или мультиагентная
Различие между одноагентными и мультиагентными вариантами среды на первый взгляд может показаться достаточно простым. Например, очевидно, что агент, самостоятельно решающий кроссворд, находится в одноагентной среде, а агент, играющий в шахматы, действует в двухагентной среде. Тем не менее при анализе этого классификационного признака возникают некоторые нюансы. Прежде всего, выше было описано, на каком основании некоторая сущность может рассматриваться как агент, но не было указано, какие сущности должны рассматриваться как агенты. Должен ли агент А (например, водитель такси) считать агентом объект В (другой автомобиль), или может относиться к нему просто как к стохастически действующему объекту, который можно сравнить с волнами, набегающими на берег, или с листьями, трепещущими на ветру? Ключевое различие состоит в том, следует ли или не следует описывать поведение объекта В как максимизирующее личные показатели производительности, значения которых зависят от поведения агента А. Например, в шахматах соперничающая сущность В пытается максимизировать свои показатели производительности, а это по правилам шахмат приводит к минимизации показателей производительности агента А. Таким образом, шахматы — это конкурентная мультиагентная среда. А в среде вождения такси, с другой стороны, предотвращение столкновений максимизирует показатели производительности всех агентов, поэтому она может служить примером частично кооперативной мультиагентной среды. Она является также частично конкурентной, поскольку, например, парковочную площадку может занять только один автомобиль. Проблемы проектирования агентов, возникающие в мультиагентной среде, часто полностью отличаются от тех, с которыми приходится сталкиваться в одноагентных вариантах среды; например, одним из признаков рационального поведения в мультиагентной среде часто бывает поддержка связи, а в некоторых вариантах частично наблюдаемой конкурентной среды рациональным становится стохастическое поведение, поскольку оно позволяет избежать ловушек предсказуемости.
Как и следует ожидать, наиболее сложными вариантами среды являются частично наблюдаемые, стохастические, последовательные, динамические, непрерывные и муль-тиагентные. Кроме того, часто обнаруживается, что многие реальные ситуации являются настолько сложными, что неясно даже, действительно ли их можно считать детерминированными. С точки зрения практики их следует рассматривать как стохастические. Проблема вождения такси является сложной во всех указанных отношениях.
В табл. 2.4 перечислены свойства многих известных вариантов среды. Следует отметить, что в отдельных случаях приведенные в ней описания являются слишком краткими и сухими. Например, в ней указано, что шахматы — это полностью наблюдаемая среда, но строго говоря, это утверждение является ложным, поскольку некоторые правила, касающиеся рокировки, взятия пешки на проходе и объявления ничьи при повторении ходов, требуют запоминания определенных фактов об истории игры, которые нельзя выявить из анализа позиции на доске. Но эти исключения из определения наблюдаемости, безусловно, являются незначительными по сравнению с теми необычными ситуациями, с которыми сталкивается автоматизированный водитель такси, интерактивная система преподавания английского языка или медицинская диагностическая система.
Некоторые другие ответы в этой таблице зависят от того, как определена проблемная среда. Например, в ней задача медицинского диагноза определена как одноагентная, поскольку сам процесс развития заболевания у пациента нецелесообразно моделировать в качестве агента, но системе медицинской диагностики иногда приходится сталкиваться с пациентами, не желающими принимать ее рекомендации, и со скептически настроенным персоналом, поэтому ее среда может иметь мультиагентный аспект. Кроме того, медицинская диагностика является эпизодической, если она рассматривается как задача выбора диагноза на основе анализа перечня симптомов, но эта проблема становится последовательной, если решаемая при этом задача может включать выработку рекомендаций по выполнению ряда лабораторных исследований, оценку прогресса в ходе лечения и т.д. К тому же многие варианты среды являются эпизодическими на более высоких уровнях по сравнению с отдельными действиями агента. Например, шахматный турнир состоит из ряда игр; каждая игра является эпизодом, поскольку (вообще говоря) от ходов, сделанных в предыдущей игре, не зависит то, как повлияют на общую производительность агента ходы, сделанные им в текущей игре. С другой стороны, принятие решений в одной и той же игре, безусловно, происходит последовательно.
Репозитарий кода, который относится к данной книге (aima. cs. berkeley. edu), включает реализации многих вариантов среды, наряду с имитатором среды общего назначения, который помещает одного или нескольких агентов в моделируемую среду, наблюдает за их поведением в течение определенного времени и оценивает их действия в соответствии с заданными показателями производительности. Такие эксперименты часто выполняются применительно не к одному варианту среды, а ко многим вариантам, сформированным на основе некоторого класса вариантов среды. Например, чтобы оценить действия водителя такси в моделируемой ситуации дорожного движения, может потребоваться провести много сеансов моделирования с различными условиями трафика, освещения и погоды. Если бы мы спроектировали этого агента для одного сценария, то могли бы лучше воспользоваться специфическими свойствами данного конкретного случая, но не имели бы возможности определить приемлемый проект решения задачи автоматизированного вождения в целом. По этой причине репозитарий кода включает также генератор вариантов среды для каждого класса вариантов среды; этот генератор выбирает определенные варианты среды (с некоторой вероятностью), в которых выполняется проверка агента. Например, генератор вариантов среды пылесоса инициализирует случайным образом такие исходные данные, как распределение мусора и местонахождение агента. Дело в том, что наибольший интерес представляет то, какую среднюю производительность будет иметь данный конкретный агент в некотором классе вариантов среды. Рациональный агент для определенного класса вариантов среды максимизирует свою среднюю производительность. Процесс разработки класса вариантов среды и оценки в них различных агентов иллюстрируется в упр. 2.7—2.12.