Стационарные процессы и марковское предположение
После того как выбраны множества переменных состояния и переменных свидетельства для данной конкретной задачи, на следующем этапе необходимо определить зависимости между этими переменными. Мы будем следовать процедуре, описанной в главе 14, размещая переменные в некотором порядке и отвечая на вопросы об условной независимости переменных-преемников, если дано некоторое множество родительских переменных. Одним из очевидных вариантов является упорядочение переменных в их естественной временной последовательности, поскольку причина обычно предшествует результату, а мы предпочитаем вводить переменные в причинной последовательности.
Однако при таком подходе сразу же возникает одно препятствие: множество переменных является неограниченным, поскольку включает переменные состояния и переменные свидетельства для каждого временного среза. Такая ситуация фактически порождает две проблемы: во-первых, нам может потребоваться задать неограниченное количество таблиц условных вероятностей, по одной для каждой переменной в каждом срезе, во-вторых, каждая переменная может быть связана с неограниченным количеством родительских переменных.
Первая проблема разрешима на основании предположения, что изменения в состоянии мира вызваны стационарным процессом, т.е. процессом изменения, подчиняющимся таким законам, которые сами не изменяются во времени. (Не следует путать стационарные процессы со статическими — в статическом процессе не изменяется само состояние.) Поэтому в мире задачи с зонтиком условная вероятность того, что директор придет с зонтиком, Р ( ut \ Parents {Ut) ), является одинаковой для всех значений t. Таким образом, если принято предположение о стационарности, то необходимо задавать условные распределения только для переменных, относящихся к некоторому "репрезентативному" временному срезу.
Вторая проблема, касающаяся того, что приходится иметь дело с таким количеством родительских переменных, которое в принципе может стать бесконечным, решается благодаря принятию так называемого марковского предположения, или предположения о марковости, которое заключается в том, что текущее состояние зависит лишь от конечной истории предыдущих состояний. Процессы, соответствующие этому предположению, были впервые глубоко исследованы российским ученым-статистиком Андреем Марковым и называются марковскими процессами, или марковскими цепями. Существует несколько разновидностей таких процессов; простейшим из них является марковский процесс первого порядка, в котором текущее состояние зависит только от предыдущего состояния и не зависит от каких-либо более ранних состояний. Иными словами, состояние — это информация, которая требуется для того, чтобы сделать прогноз о будущем независимым от прошлого, если дано это состояние. С использованием принятой в этой главе системы обозначений соответствующее утверждение об условной независимости позволяет сформулировать для всех t следующее соотношение:
P(Xt|X0:t-l) = P(Xt|Xt-i) (15.1)
Таким образом, в марковском процессе первого порядка законы, описывающие, как состояние развивается во времени, полностью представлены в условном распределении Р (xt | xt_x), которое мы будем называть моделью перехода для процессов первого порядка2. Моделью перехода для марковского процесса второго порядка является условное распределение Р (xt | xt_2, xt_x).
Кроме ограничения количества родительских переменных, относящихся к переменным состояния xt, необходимо ограничить количество родительских переменных, относящихся к переменным свидетельства Et. Как правило, в данной главе предполагается, что переменные свидетельства во время t зависят только от текущего состояния:
P(Et|Xo:t,E0:t-l) = P(Et|Xt) (15.2)
Условное распределение р (Et | xt) называется моделью восприятия (или иногда моделью наблюдения), поскольку оно показывает, как фактическое состояние мира влияет на "результаты восприятия", т.е. на переменные свидетельства. Обратите внимание на то, каково направление зависимости: "стрелки" идут от состояния к значениям результатов восприятия, поскольку именно состояние мира вынуждает результаты восприятия приобретать данные конкретные значения. Например, в мире задачи с зонтиком дождь вынуждает директора прийти с зонтиком. (Разумеется, процесс вероятностного вывода проходит в другом направлении; одним из преимуществ байесовских сетей является то, что они позволяют провести различие между направлением моделируемых зависимостей и направлением вероятностного вывода.)
Кроме модели перехода и модели восприятия, необходимо определить Р(Х0) — распределение априорных вероятностей состояний во время 0. Эти три распределения, в сочетании с предположениями об условной независимости, приведенными в уравнениях 15.1 и 15.2, позволяют получить спецификацию полного совместного распределения по всем переменным. Для любого конечного значения t получаем следующее:
Предположения о независимости соответствуют очень простой структуре байесовской сети, описывающей всю систему. На рис. 15.2 показана структура сети для примера с зонтиком, включая условные распределения для модели перехода и модели восприятия.
В структуре, показанной на этом рисунке, предполагается использование марковского процесса первого порядка, поскольку считается, что вероятность дождя зависит только от того, был ли дождь в предыдущие сутки. Является ли такое предположение обоснованным, зависит от самой проблемной области. Марковское предположение первого порядка указывает, что переменные состояния содержат всю информацию, необходимую для описания распределения вероятностей для следующего временного среза. Иногда такое предположение полностью соответствует истине; например, если некоторая частица совершает случайное блуждание вдоль оси х, изменяя свою позицию на величину ±1 в каждый интервал времени, то применение в качестве состояния координаты х позволяет определить марковский процесс первого порядка. Иногда такое предположение является лишь приблизительным, как и в случае предсказания дождя лишь на основании того, был ли дождь в предыдущие сутки. Как описано ниже, существуют два возможных метода корректировки, если такое приближение оказывается слишком неточным.
1. Повышение порядка модели марковского процесса. Например, можно перейти к использованию модели второго порядка, введя переменную Raint_2 в качестве родительской по отношению к Raint, что позволит получить немного более точные предсказания (например, в Пало-Альто дождь очень редко идет больше двух дней подряд).
2. Расширение множества переменных состояния. Например, можно ввести переменную с обозначением времени года Seasont, чтобы иметь возможность включить хронологические данные о дождливых временах года, или ввести переменные для температуры Temperature влажности Humidity и атмосферного давления Pressure чтобы иметь возможность использовать физическую модель условий, способствующих возникновению дождя.
В упр. 15.1 предлагается показать, что первое решение (увеличение порядка модели) можно всегда переформулировать как расширение множества переменных состояния, при сохранении фиксированного порядка. Следует отметить, что введение дополнительных переменных состояния может увеличить прогностическую мощь системы, но вместе с тем повысить требования к прогнозированию, поскольку при этом придется также прогнозировать значения новых переменных. Поэтому обычно исследователи стараются найти "самодостаточное" множество переменных, а это фактически означает, что прежде всего они стремятся понять "физику" моделируемого процесса. Очевидно, что требования к точному моделированию процесса можно ослабить, если есть возможность ввести новые результаты восприятия (например, результаты измерения температуры и атмосферного давления), которые непосредственно предоставляют информацию о новых переменных состояния.
Рассмотрим, например, задачу слежения за роботом, блуждающим случайным образом на плоскости X—Y. Можно было бы предложить, что достаточно воспользоваться таким множеством переменных состояния, как положение и скорость, — ведь для вычисления нового положения можно просто использовать законы Ньютона, а скорость будет изменяться непредсказуемо. Но если робот получает питание электрической энергией от аккумулятора, то разрядка аккумулятора будет оказывать систематическое влияние на изменение скорости. А поскольку само это влияние зависит от того, сколько электроэнергии было израсходовано во всех предыдущих маневрах, то свойство принадлежности марковской цепи к модели определенного порядка (или просто марковость) нарушается. Марковость цепи можно восстановить, включив уровень зарядки аккумулятора Batteryt в состав переменных состояния, которые входят в множество xt. Это позволит лучше предсказывать движения робота, но, в свою очередь, потребует создания модели для предсказания значения Batteryt на основании значения Battery и скорости. В некоторых случаях такое моделирование может быть выполнено достаточно надежно, а повышения точности можно будет добиться, введя для измерения уровня заряда аккумулятора новый датчик.