НЕЗАВИСИМОСТЬ
Расширим полное совместное распределение, приведенное в табл. 13.2, введя четвертую переменную, Weather. После этого полное совместное распределение, состоящее из 32 элементов (поскольку переменная Weather имеет четыре значения), принимает вид Р (Toothache, Catch, Cavity, Weather). Оно содержит четыре варианта таблицы, показанной в табл. 13.2, по одному на каждый вид погоды. Напрашивается резонный вопрос о том, какую связь имеют эти варианты друг с другом и с первоначальной таблицей, состоящей из трех переменных. Например, как связаны друг с другом высказывания Р( toothache, catch, cavity, Weather= cloudy) и P( toothache, catch, cavity) ? Один из способов получения ответа на этот вопрос состоит в использования правила произведения:
Р(toothache,catch,cavity, Weather = cloudy)
= P(Weather=cloudy\ toothache,catch,cavity) P(toothache,catch,cavity)
Но человек, не верящий в существование колдунов, не может себе представить, что чьи-то проблемы с зубами могут влиять на погоду. Поэтому кажется резонным следующее утверждение:
P(Weather = cloudy\ toothache,catch,cavity)
= P(Weather = cloudy) (13.7)
На основании этого можно вывести следующее:
Р(toothache, catch, cavity, Weather = cloudy)
= P(Weather = cloudy)P(toothache,catch,cavity)
Аналогичное уравнение существует для каждого элемента в распределении Р (Toothache, Catch, Cavity, Weather). В действительности можно записать такое общее уравнение:
Р (Toothache, Catch, Cavi ty, Weather) = P(Toothache,Catch,Cavity)P(Weather)
Таким образом, 32-элементная таблица для четырех переменных может быть сконструирована из одной 8-элементной таблицы и одной 4-элементной. Такая декомпозиция показана схематически на рис. 13.1, а.
Свойство вероятностей, используемое при составлении уравнения 13.7, называется независимостью (а также маргинальной независимостью и абсолютной независимостью). В частности, погода независима от чьих-то проблем с зубами. Независимость между высказываниями а и Ь может быть показана следующим образом:
P(a\b) = P(a) или P(b\a) = P(b) или P(a л b) = P(a)P(b) (13.8)
Все эти формы записи являются эквивалентными (упр. 13.7). Свойство независимости между переменными х и Y можно сформулировать следующим образом (все эти формы записи также эквивалентны):
P(XIY) = Р(Х) или Р(ЛХ) = Р(У) или Р(Х, Y) = Р(Х)Р(7)
Утверждения о независимости обычно основаны на знаниях о проблемной области. Как показывает приведенный выше пример, эти утверждения позволяют существенно уменьшить объем информации, необходимой для описания полного совместного распределения. Если все множество переменных может быть разделено на независимые подмножества, то полное совместное распределение может быть фак-торизовано на отдельные совместные распределения, заданные на этих подмножествах. Например, совместное распределение результатов п независимых бросков монеты, Р (Ci,..., Сп), может быть представлено как произведение п распределений Р (Q) с одной переменной. Например, с точки зрения практики очень благоприятным фактором является независимость данных зубоврачебного дела и метеорологии, поскольку в противном случае для занятия зубоврачебным делом потребовались бы глубокие знания в области метеорологии, и наоборот.
Поэтому утверждения о независимости, если они имеются, позволяют сократить размеры представления проблемной области и уменьшить сложность проблемы вывода. К сожалению, чистое разделение целых множеств переменных по признаку независимости встречается редко. Если между двумя переменными существует хоть какая-то связь, пусть даже косвенная, свойство независимости перестает соблюдаться. Кроме того, даже независимые подмножества могут оказаться чрезвычайно большими, например, в области стоматологии могут встретиться десятки заболеваний и сотни симптомов, причем все они взаимосвязаны друг с другом. Чтобы справиться с такими проблемами, мы должны иметь более тонкие методы, чем прямолинейная концепция независимости.