Пусть параметрическое семейство F есть семейство абсолютно непрерывных распределений, и распределениепри гипотезе H j , задается плотностью распределения вероятностейj=0,1. Пусть при любом значении x, принадлежащем множеству возможных значений наблюдаемой случайной величины, выполняется условие:, j=0,1 . Рассмотрим статистику

Будем строить критерий, основанный на статистике l(X) , называемой статистикой отношения правдоподобия .

Cтатистика l(X) может принимать значения

Где x i ? R 1 , i=1,...,n.

Из вероятностного смысла плотности распределения естественно ожидать, что большие значения статистики l(X) скорее всего будут свидетельствовать против основной гипотезы H 0 . Поэтому критическую область естественно задать в виде больших значений статистики l(X):

Где?- вероятность ошибки 1-го рода.

Обозначим через вероятность. Покажем, что с ростом аргументафункцияможет только убывать, при этом. Действительно

Из полученного соотношения (1) следует, что, поэтому, когда.

Чтобы критерий имел заданную вероятность ошибки 1-го рода?, граничная постояннаядолжна удовлетворять условию:

Если существует такое значение =, при котором, то критерий, задаваемый граничной константой, имеет заданную вероятность ошибки 1-го рода. Построенный критерий однозначно определяет вероятность ошибки второго рода?:

Имеет место следующее утверждение.

Лемма Неймана-Пирсона. Среди всех критериев уровня значимости?

для проверки двух простых параметрических гипотез H 0 и H 1

критерий Неймана-Пирсона, задаваемый критической областью

где граничная константа определяется из соотношения (2),

является наиболее мощным.

Доказательство.

Пусть - произвольный критерий уровня значимости?для проверки простых гипотез H 0 и H 1 , отличный от. Его мощность при альтернативе равна

Для критерия Неймана-Пирсона мощность при альтернативе равна

По определению множества вне этого множества (первый интеграл в соотношении (3))

а для элементов множества (второй интеграл в соотношении (3))

Поэтому из соотношения (3) получаем, что

Oба критерия иимеют один и тот же уровень значимости?,

. (Они оба равны?)

Это значит, что оба интеграла в соотношении (4) отличаются от?

на одну и ту же величину

следовательно, они равны, поэтому для любого критерия уровня значимости?, отличного от критерия Неймана-Пирсона, имеет место неравенство

а это означает, что критерий Неймана-Пирсона является наиболее мощным критерием.

Последствия ошибок первого и второго рода часто оказываются соверенно различными. Например, проверяется наличие у человека некоторого опасного заболевания. Неправильное заключение о наличии на самом деле не существующего заболевания приводит к необходимости применения вредных для больного лекарств. С другой стороны, неудача в попытке обнаружить имеющееся заболевание может привести к трагическим последствиям.

Другое обстоятельство, которое часто влияет на выбор уровня значимости - это наше отношение к гипотезе до проведения эксперимента. Если мы твердо верим в истинность гипотезы, то потребуются убедительные свидетельства против неё для того, чтобы мы отказались от своей уверенности. Соответственно уровень значимости будет выбран весьма малым, так как низкий уровень значимости приводит к тому, что гипотеза отвергается при таких комбинациях результатов наблюдений, вероятность которых мала, то есть появление этих результатов крайне неправдоподобно при справедливости проверяемой гипотезы. Заметим, что задача выбора значения уровня значимости критерия?- это не математическая задача.

Одним из существенных недостатков байесовского правила обнаружения сигналов является большое количество априорной информации о потерях и вероятностях состоянии объекта, которая должна быть в распоряжении наблюдателя. Этот недостаток наиболее отчетливо проявляется при анализе радиолокационных задач обнаружения цепи, когда указать априорные вероятности наличия цели в заданной области пространства и потери за счет ложной тревоги или пропуска цели оказывается весьма затруднительным. Поэтому в подобных задачах вместо байесовского критерия обычно используется критерий Неймана-Пирсона. Согласно этому критерию выбирается такое правило обнаружения, которое обеспечивает минимальную величину вероятности пропуска сигнала (максимальную вероятность правильного обнаружения) при условии, что вероятность ложной тревоги не превышает заданной величины . Таким образом, оптимальное, в смысле критерия Неймана-Пирсона, правило обнаружения минимизирует

(3.12)

при дополнительном ограничении

. (3.13)

Для поиска оптимальной процедуры обработки данных преобразуем задачу на условный экстремум (3.12) при условии (3.13) к задаче на безусловный экстремум. С этой целью воспользуемся методом множителей Лагранжа . Введем множитель Лагранжа и запишем функцию Лагранжа

. (3.14)

После преобразований, аналогичных выводу формулы (3.5), соотношение (3.14) можно переписать в виде:

.

Сравнение полученного выражения с формулой (3.5) показывает, что минимум функции Лагранжа достигается, если в качестве критической области выбрать совокупность точек , удовлетворяющих неравенству

При этом множитель , являющийся пороговым значением, должен находиться из условия (3.13) равенства вероятности ложной тревоги заданной величине .

Из сравнения (3.15) и (3.8) можно заключить, что оптимальное, в смысле критерия Неймана-Пирсона, правило обнаружения отличается от байесовского лишь величиной порогового уровня, с которым производится сравнение отношения правдоподобия.

В качестве примера построения обнаружителя (3.15) рассмотрим задачу проверки гипотезы :

при альтернативе

Такая задача возникает в тех случаях, когда появление полезного сигнала вызывает изменение среднего значения нормального шума на величину . При независимых отсчётах входного процесса отношение правдоподобия может быть записано в виде

После логарифмирования получаем следующий алгоритм обнаружения сигнала:

(3.16)

причем пороговый уровень выбирается из условия

В ряде случаев разные ошибки могут приводить к разным последствиям.

Например: в системах автоматической пожарной сигнализации значительно опаснее пропустить сигнал о «пожаре», чем сыграть «ложную» тревогу, когда на самом деле пожар отсутствует.

Такого рода последствиями характеризуются системы радиолокации и гидроакустики. Гораздо большие последствия будет иметь пропуск воздушной или подводной цели, которая может применить оружие по объекту. Объявление ложной тревоги не повлечет за собой ровным счетом ничего.

Итак, в ситуациях, когда невозможно определить априорную вероятность передачи отдельных сообщений, а последствия возникновения различных ошибок неодинаковы, применяют критерий Неймана-Пирсона .

Согласно критерию Неймана-Пирсона приемник является оптимальным в том случае, если при заданной вероятности ложной тревоги (ошибочное обнаружение цели, когда она фактически отсутствует), он обеспечивает минимальную вероятность пропуска цели . Заметим, что хотя здесь речь идет об обнаружении или необнаружении цели, на самом деле следует говорить о приеме или неприеме соответствующего сигнала.

Введем в рассмотрение функции правдоподобия гипотез о наличии цели и отсутствии цели . В соответствии с этим все пространство принимаемых решений можно разделить различными способами на две области: - область решения об отсутствии цели и – область о ее наличии. При этом найдется оптимальный способ разделения, который обеспечит равенство вероятности ложной тревоги при некоторой наперед заданной величине (эпсилон), т.е.

;

(3.1)

где: – плотность распределения помехи, так как символ « » соответствует в данном случае отсутствию сигнала о цели.

Иными словами, вероятность ложной тревоги определяется вероятностными характеристиками помехи и выбора области . С другой стороны задание этой области определяет вероятность правильного обнаружения цели:

Если величина известна, то максимум вероятности правильного обнаружения цели достигается при выполнении неравенства

Критерий Неймана-Пирсона

Пусть Зададимся допустимым значением вероятности, после чего будем искать такую границу между образами, при которой достигается минимум.

Пусть требуется. Нужно решить задачу нахождения

Ясно, что решение удовлетворяет условию Действительно, при возрастает, то есть становится не минимально возможным, а при нарушается ограничение. Как и в минимаксном методе, найти аналитически удаётся лишь в простейших случаях.

Последовательные процедуры распознавания

Если в ранее рассмотренных методах распознавания принятие решения о принадлежности объекта тому или иному образу осуществлялось сразу по всей совокупности признаков, то в данном разделе мы обсудим случай последовательного их измерения и использования.

Пусть. Сначала у объекта измеряется и на основании этой информации решается вопрос об отнесении этого объекта к одному из образов. Если это можно сделать с достаточной степенью уверенности, то другие признаки не измеряются и процедура распознавания заканчивается. Если же такой уверенности нет, то измеряется признак и решение принимается по двум признакам: и. Далее процедура либо прекращается, либо измеряется признак, и так до тех пор, пока либо будет принято решение об отнесении объекта к какому-либо образу, либо будут исчерпаны все признаков.

Такие процедуры чрезвычайно важны в тех случаях, когда измерение каждого из признаков требует существенных затрат ресурсов (материальных, временных и пр.).

Пусть и известны где Заметим, что если известно распределение то известны и все распределения меньшей размерности (так называемые маргинальные распределения). Например,

Пусть измерено признаков. Строим отношение правдоподобия Если, то объект относим к образу, если, то к образу. Если же, то измеряется признак и вычисляется отношение правдоподобия и т.д.

Понятно, что пороги и связаны с допустимыми вероятностями ошибок распознавания. Добиваясь выполнения неравенства, мы стремимся к тому, чтобы вероятность правильного отнесения объекта первого образа к была в раз больше, чем ошибочное отнесение объекта второго образа к, то есть или. Поскольку, то (верхний порог). Аналогичные рассуждения проводим для определения. Добиваясь выполнения неравенства, мы стремимся к тому, чтобы вероятность правильного отнесения объекта второго образа к была в раз больше, чем неправильного отнесения объекта первого образа к, то есть

(нижний порог).

В последовательной процедуре измерения признаков очень полезным свойством этих признаков является их статистическая независимость. Тогда и нет необходимости в хранении (а главное - в построении) многомерных распределений. К тому же есть возможность оптимизировать порядок следования измеряемых признаков. Если их ранжировать в порядке убывания классификационной информативности (количество различительной информации) и последовательную процедуру организовать в соответствии с этой ранжировкой, можно уменьшить в среднем количество измеряемых признаков.

Мы рассмотрели случай с (два образа). Если, то отношений правдоподобия может строиться, например такого вида: Останавливающая граница (порог) для -го образа выбирается равной Если, то -й образ отбрасывается и строится отношений правдоподобия и порогов. Процедура продолжается до тех пор, пока останется неотвергнутым только один образ или будут исчерпаны все признаков. Если в последнем случае остались неотвергнутыми более чем один образ, решение принимается в пользу того из них, для которого отношение правдоподобия максимально.

Если образов два () и число признаков не ограничено, то последовательная процедура с вероятностью 1 заканчивается за конечное число шагов. Доказано также, что при заданных и рассмотренная процедура при одинаковой информативности различных признаков даст минимум среднего числа шагов. Для последовательную процедуру ввёл Вальд и назвал её последовательным критерием отношения вероятностей (п.к.о.в.).

Для оптимальность процедуры не доказана.

При известных априорных вероятностях можно реализовать байесовскую последовательную процедуру, а если известны затраты на измерения признаков и матрица штрафов за неверное распознавание, то последовательную процедуру можно остановить по минимуму среднего риска. Суть здесь заключена в сравнении потерь, вызванных ошибками распознавания при прекращении процедуры, и ожидаемых потерь после следующего измерения плюс затраты на это измерение. Такая задача решается методом динамического программирования, если последовательные измерения статистически независимы. Более подробные сведения об оптимизации байесовской последовательной процедуры можно почерпнуть в рекомендованной литературе .