Выбор критерия оценки качества модели

Различные алгоритмы порождают необходимость определиться с множеством различных критериев. В частности, необходимо выбрать критерий включения переменных в модель и их исключения, критерий останова алгоритма и критерий оценки окончательной модели.

Общий принцип останова шаговых алгоритмов структурной идентификации следующий: расчеты надо прекращать, когда дальнейшая работа алгоритма не приводит к улучшению качества модели. Отсюда следует общность критериев останова и качества модели.

Критерий оценки качества модели зависит от ее назначения. Например, если предполагается использовать модель для управления или прогнозирования, то необходима высокая прогностическая способность модели - на одни и те же входные воздействия модель и объект должны давать близкие результаты на выходе. Если модель используется в системе измерений, то целью является минимум максимального отклонения значений модели и объекта. Если необходимо построить распознающую систему, то в качестве критерия берут ошибку распознавания - отношение правильных ответов к общему их числу.

Если ограничиться задачей управления, то в основу искомого критерия останова можно заложить требование близости значений выхода модели у м и объекта у при одинаковых значениях входных переменных где Х – рабочая область изменения входных переменных:

Наиболее распространен следующий критерий оценки качества модели:

В приведенном виде среднеквадратичная ошибка отклонения рассчитывается в процентах от среднего значения

Все критерии останова, алгоритмов структурной идентификации (они же критерии качества модели), за исключением критерия достижения заданного числа входных переменных в модели и ему подобных, можно разбить на две группы: внутренние и внешние. Внутренние критерии вычисляются на основании данных, участвующих в построении модели, а внешние - на основании дополнительных данных.

К внутренним критериям, в первую очередь, следует отнести остаточную ошибку модели - сумму отклонений (абсолютных или квадратов разностей) значений выходных переменных объекта и модели. Далее следует назвать коэффициент детерминации (квадрат множественного коэффициента корреляции R 2), приведенную остаточную ошибку, приведенный R 2 и критерий Марллоуса С р, а также другие критерии.

Более надежным представляется использование нескольких выборок данных: по одним выборкам строится модель, а по другим - оценивается ее качество.

В ряде работ дополнительные экспериментальные данные (экзаменационные точки) предлагается применять для оценки качества готовых моделей. Таким образом, предлагается из множества экспериментальных данных выделять часть точек в качестве контрольных. Среднеквадратичная ошибка на этих точках может служить в качестве критерия останова алгоритмов структурной идентификации.

Если наблюдать поведение модели на дополнительных экспериментальных точках, то можно заметить, что, начиная с некоторого шага, модель начинает удаляться от этих точек (в случае неустойчивости это удаление начинается с первого же шага). Исходя из этого, предлагается определять момент останова алгоритма по ошибке на контрольных точках - расчеты прекращаются в момент достижения первого минимума ошибки по шагам алгоритма.

Формально качество модели определяется ее адекватностью и точностью. Эти свойства исследуются на основе анализа ряда остатков (отклонений расчетных значений от фактических):

При этом адекватность является более важной составляющей качества, но сначала рассмотрим характеристики точности и нормальности ряда остатков, так как некоторые из них используются при расчете различных критериев адекватности.

Характеристики точности

Под точностью понимается величина случайных ошибок. Сравнительный анализ точности имеет смысл только для адекватных моделей: среди них лучшей признается модель с меньшими значениями характеристик точности, к которым относятся:

Максимальная ошибка соответствует максимальному отклонению расчетных значений от фактических;

Средняя абсолютная ошибка

показывает, насколько в среднем отклоняются фактические значения от модели;

Средняя относительная ошибка

;

Остаточная дисперсия

Средняя квадратическая ошибка

. (72)

Средняя квадратическая ошибка является наиболее часто используемой характеристикой точности (что объясняется ее связью с остаточной дисперсией, которая играет центральную роль в регрессионном анализе). Значение средней квадратической ошибки всегда несколько больше значения средней абсолютной ошибки, но они имеют схожий смысл – характеризуют среднюю удаленность расчетных значений модели от фактических исходных данных. Обычно точность модели признается удовлетворительной если выполняется условие:

. (73)

К характеристикам точности можно отнести также множественный коэффициент детерминации

, (74) характеризующий долю дисперсии зависимой переменной, объясненной с помощью регрессии, и множественный коэффициент корреляции (индекс корреляции):

Проверка адекватности модели

Проверка значимости осуществляется на основе t – критерия Стьюдента, т.е. проверяется гипотеза о том, что параметр, измеряющий связь, равен нулю.

Средняя ошибка параметра равна:

, (76) а для параметра :

. (77)

Расчетные значения t - критерия вычисляются по формуле:

(78) Параметр считается значимым, если . Значениеопределяетсяпо формуле СТЬЮДЕНТ.ОБР .2 Х(0,95;46) при числе степеней свободы и с вероятностью (Р=1- ) При и. Следовательно, в рассматриваемом примере параметрыявляются значимыми.

Параметр лежит в пределах;,

а параметр-;.

Значимость уравнения регрессии в целом определяется с помощью F – критерия Фишера:

(79)

Расчетное значение F сопоставляется с критическимдля числа степеней свободыпри заданном уровне значимости(например,), где,.

Если , то уравнение считается значимым.

Другой подход к определению значений параметров уравнения парной регрессии и оценке значимости заключается в обращении к режиму “РЕГРЕССИЯ” EXCEL. Следует отметить, что результаты расчётов, приведенные в табл.7-9, получены с меньшими временными затратами и полностью совпадают с результатами “ручного” счёта.

Проверка наличия или отсутствия систематической ошибки

Проверка свойства нулевого среднего.

Рассчитывается среднее значение ряда остатков (табл. 10):

Если оно близко к нулю, то считается, что модель не содержит систематической ошибки и адекватна по критерию нулевого среднего, иначе – модель неадекватна по данному критерию. Если средняя ошибка не точно равна нулю, то для определения степени ее близости к нулю используется t – критерий Стьюдента. Расчётное значение критерия вычисляется по формуле

и сравнивается с критическим . Если выполняется неравенство , то модель неадекватна по данному критерию.

Проверка случайности ряда остатков.

Осуществляется по методу серий. Серией называется последовательность расположенных подряд значений ряда остатков, для которых разность имеет один и тот же знак, где- медиана ряда остатков.

Если модель хорошо отражает исследуемую зависимость, то она часто пересекает линию графика исходных данных и тогда серий много, а их длина невелика. Иначе – серий мало и некоторые из них включают большое число членов.

В качестве серий рассматриваются расположенные подряд ошибки с одинаковыми знаками. Далее подсчитывается число серий и длина максимальной из них. Полученные значения сравниваются с критическими

(82) (83) (квадратные скобки означают округление вниз до ближайшего целого).

Если выполняется система неравенств:

, (84) то модель признается адекватной по критерию случайности, если хотя бы одно из неравенств нарушено, то модель признается неадекватной по данному критерию.

Проверка независимости последовательных остатков.

Является важнейшим критерием адекватности модели и осуществляется с помощью коэффициента Дарбина-Уотсона:

. (85) Для рядов с тесной взаимосвязью между последовательными значениями остатков значение близко к нулю, что свидетельствует о том, что закономерная составляющая не полностью отражена в модели и частично закономерность присуща ряду остатков, т.е. модель неадекватна исходному процессу.

Если последовательные остатки независимы, то близко к 2. Это свидетельствует о хорошем качестве модели и чистой фильтрации закономерной составляющей.

При отрицательной автокорреляции остатков (строго периодичном чередовании их знаков) близко к 4.

Для проверки существенности положительной автокорреляции остатков значение сравнивается сииз табл. 2 Приложения к лекции:

Если , то возникает предположение об отрицательной автокорреляции остатков, и тогда с критическими значениями сравниваются не, аи делаются аналогичные выводы.

на котором проверяются достоверность и адекватность модели. Созданная модель должна быть адекватна реальному экономическому процессу. При неудовлетворительном качестве модели возвращаются ко второму этапу моделирования.

7. Этап интерпретации результатов моделирования.

Рис. 2.1. Основные этапы эконометрического моделирования

прогноз экономических показателей, характеризующих изучаемый процесс (явление, объект);

моделирование поведения процесса (явления, объекта) при различных значениях факторных переменных;

формирование управленческих решений.

Количество переменных, включенных в эконометрическую модель, не должно быть слишком большим и должно быть теоретически обоснованным. В модели должна отсутствовать функциональная или тесная корреляционная связь между факторными переменными, что может привести к явлению мультиколлинеарности .

При формировании исходной информации для эконометрической модели чрезвычайно важной проблемой является выбор показателей, адекватных сущности исследуемых явлений. Часто эконометрическая модель строится именно для выражения закономерности, существующей между явлениями. Следует обратить внимание на определенную подмену понятий, которая обычно происходит на первом этапе построения модели при переходе от содержательного анализа явлений к формированию отражающих их уровни количественных характеристик (показателей). В ходе содержательного анализа явление часто рассматривается на качественном уровне. Однако при построении модели используется исходная информация, наборы показателей, которые выражают эти явления, их свойства, тенденции в виде количественных характеристик.

Для традиционных направлений исследований проблема обоснования состава показателей обычно считается решенной. Например, в исследованиях производительности труда, макроэкономическом анализе обычно рассматриваются уже устоявшиеся наборы

показателей, значения которых публикуются в статистических сборниках, научных отчетах и т.п. Их примером являются выработка на одного работающего как показатель, выражающий явление «производительность труда», объемы ВВП (показатель результативности экономики), объем основных фондов (показатель уровня материальной обеспеченности производственного процесса, экономики) и т.д. Вместе с тем в ряде областей эконометрических исследований такие системы показателей не могут сформированы столь однозначно. Часто одно и то же явление может быть выражено альтернативными вариантами показателей. В отсутствие объективных данных в эконометрических исследованиях допускается замена одного показателя другим, косвенно отражающим то же явление. Например, среднедушевой доход как показатель материального уровня жизни может быть заменен на среднегодовой товарооборот на одного жителя региона и т.п. Неправильный выбор показателя, представляющего рассматриваемое явление в модели, может существенно повлиять на ее качество, в связи с чем к проблеме обоснования состава показателей (переменных) эконометрической модели на практике следует относиться с предельным вниманием.

Рассматривая проблему выбора конкретного вида функции , следует отметить, что в практике эконометрических исследований используется достаточно широкий круг функциональных зависимостей между переменными, наиболее часто используются: линейная , правая полулогарифмическая , степенная , гиперболическая , логарифмическая гиперболическая , обратная линейная (функция Торнквиста) , функция с постоянной эластичностью замены , экспоненциальная функция . На практике могут встретиться и комбинации рассмотренных выше зависимостей, например,

Большинство функций
с помощью определенного набора преобразований могут быть приведены к линейной форме. Например, еслии связаны зависимостью
(7), то введя переменные
, получим выражение (4) с точностью до преобразования исходных факторов.

В практических исследованиях часто, используя преобразование
и
, степенную модель (6) преобразуют к линейному виду, связывающему логарифмы переменныхи. Однако следует заметить, что в данном случае, с точки зрения математики, такое преобразование не совсем корректно из-за аддитивности ошибки в выражении (6), поэтому значения коэффициентов линейной (относительно логарифмов переменных) модели нельзя в общем случае полагать равными соответствующим значениям степенного аналога.

На примере линейной эконометрической модели можно представить еще одну форму моделей такого типа – моделей, в которых отсутствует свободный коэффициент :

Во многих практических исследованиях строгие теоретические концепции, предварительные допущения о содержательных сторонах взаимодействия между явлениями отступают на второй план. Для них главное – построение уравнения, достаточно точно выражающего взаимосвязи, адекватные тенденциям изменения переменных и на временном интервале (1,Т) . Более того, часто именно удачная форма уравнения эконометрической модели кладется в основу разрабатываемой теоретической концепции, которая затем находит свое применение в последующем анализе. Очевидно, что наиболее «подходящая» форма обеспечивает наилучшее приближение теоретических (расчетных) частот значений
к действительным значениям .

Обычно выбор формы зависимости осуществляется на основе графического анализа тенденций развития соответствующих процессов. Например, если переменная и переменная изменялись во времени согласно графикам, представленным на рис. 2.2, то логично предположить, что зависимость гиперболическая
. Для графиков, представленных на рис. 2.3, характерна логарифмическая зависимость
.

Рис. 2.2. Гиперболическая зависимость

Рис. 2.3. Логарифмическая зависимость

Оптимальный состав факторов , включаемых в эконометрическую модель, одно из основных условий ее хорошего качества, понимаемого и как соответствие формы модели теоретической концепции, выражающей содержание взаимосвязей между рассматриваемыми переменными и как точность предсказания на рассматриваемом интервале времени (1, Т) наблюдаемых значений переменной уравнением
. В общем случае на этапе обоснования эконометрической модели исследователи могут столкнуться с проблемой выбора наиболее предпочтительного состава независимых факторов среди ряда альтернативных вариантов.

Можно выделить два основных подхода к решению этой проблемы:

первый предполагает априорное (до построения модели) исследование характера и силы взаимосвязей между рассматриваемыми переменными, по результатам которого в модель включаются факторы, наиболее значимые по своему непосредственному влиянию на зависимую переменную . И, наоборот, из модели исключаются факторы, которые либо малозначимы, с точки зрения силы своего влияния на переменную , либо их сильное влияние на нее можно трактовать как индуцированное взаимосвязями с другими экзогенными переменными;

второй подход к отбору независимых факторов – можно назвать апостериорным – предполагает первоначально включить в модель все отобранные на основе содержательного анализа факторы. Уточнение их состава в этом случае производится на основе анализа характеристик качества построенной модели, одной из групп которых являются и показатели, выражающие силу влияния каждого фактора на зависимую переменную .

В основе «априорного» подхода лежат следующие предположения: 1) сильное влияние фактора на зависимую переменную должно подтверждаться и определенными количественными характеристиками, важнейшей из которых является их парный линейный коэффициент корреляции
.Логика использования коэффициента парной корреляции при отборе значимых факторов на практике состоит в следующем. Если его значение достаточно велико (≥0,5÷0,6), то можно говорить о наличии существенной

5-парной корреляции при отбор(0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 линейной связи между переменными иили о достаточно сильномвлиянии на . Чем больше абсолютное значение парного линейного коэффициента корреляции, тем сильнее этовлияние (положительное или отрицательное, в зависимости от знака ).Значение парного линейного коэффициента корреляции должно рассчитываться с учетом формы преобразования и в модели. Например, если
, то и коэффициент корреляцииопределяется между и
, и т.п.;2) если два и более факторов выражают одно и то же явление, то как правило, между ними также должна существовать достаточно сильная взаимосвязь. На это может указать значение парного линейного коэффициента корреляции
. На практике взаимосвязь между факторами признается существенной, если
. В таких ситуациях один из этих факторов целесообразно исключить из модели, чтобы одна и та же причина не учитывалась дважды. Следует отметить, что приведенные рубежные значения (в первом случае 0,5÷0,6, во втором 0,8÷0,9 достаточно условны. В каждом конкретном случае они устанавливаются индивидуально. При их выборе существенную роль играет интуиция исследователя.

Обычно считается: если для фактора
, то при большом числе других достаточно значимых факторов, информацией, которую содержит в себе факторотносительно изменчивости переменной, можно пренебречь. Иногда же, наоборот, если состав факторов не слишком широк и фактор выражает существенное с точки зрения теории явление, то исследователь, стремясь не потерять информацию о закономерностях изменчивости переменной, может оставить его в модели и при меньшем значении выборочного парного линейного коэффициента корреляции (0,3 ÷ 0,4). При таком отборе, основанном на эмпирике и интуиции, обычно не принимается во внимание точность оценки выборочных коэффициентов корреляции, которая растет с увеличением выборки. При фиксированной численности выборки точность оценок всех коэффициентов примерно одинакова. Логика такого отбора в большей степени ориентирована на содержательную сторону проблемы учета взаимосвязей между переменными модели. Значительно усложняет проблему отбора факторов явление ложной корреляции , т.е. большие значения парных коэффициентов корреляции могут иметь место и в тех случаях, когда тенденции рассматриваемых процессов совпали случайно, при отсутствии между ними логически обоснованной взаимосвязи. Ложная корреляция может помешать при построении «правильной» модели по двум причинам. Во-первых, в модель случайно могут быть введены незначимые с содержательной точки зрения факторы, характеризующиеся значимыми величинами парного линейного коэффициента корреляции. Во-вторых, из модели могут быть исключены значимые с точки зрения влияния на факторы, в отношении которых ошибочно признана гипотеза о том, что они выражают то же явление, что и другой фактор (факторы), уже включенный в эту модель. Среди основных причин включения в модель переменных с ложной корреляцией часто называют ненадежность информации, используемой при определении значений факторов в различные моменты времени, трудности формализации факторов, имеющих качественный характер, неустойчивость тенденций изменения рассматриваемых переменных, неправильную форму взаимосвязи между ними и т.п.

Основной путь, придерживаясь которого можно избежать ошибок, связанных с понятием «ложной корреляции», связан с проведением качественного анализа проблемы, направленного на обоснование адекватного ей содержания и формы модели. При этом можно предложить и некоторые общие рекомендации, которых целесообразно придерживаться, следуя этим путем: 1) число факторов, включаемых в модель, не должно быть слишком велико. Их увеличение может свести к минимуму ее практическую ценность, так как в этом случае модель начинает отражать не закономерность развития на фоне случайности, а саму случайность; 2) простота модели в значительной степени гарантирует ее адекватность, поскольку более сложные зависимости часто априорно трудноуловимы на ограниченном временном интервале, но в то же время они допускают аппроксимацию достаточно простыми функциями. Иными словами, сложная модель может в большей степени выражать второстепенные взаимосвязи между переменными в ущерб основным.

При апостериорном подходе уточнение состава факторов эконометрической модели осуществляется на основе анализа значений ряда качественных характеристик уже построенного ее варианта. Одну из групп таких характеристик, наиболее важных при отборе факторов, образуют значения критерия Стьюдента , рассчитываемые для коэффициентов при каждом из факторов модели. С помощью этого критерия проверяется гипотеза о значимости влияния фактора на зависимую переменную. Окончательное решение о целесообразности оставления фактора или его удаления из модели принимается наоснове анализа всего комплекса

Таким образом, для практики можно предложить следующую по­этапную процедуру построения окончательного варианта модели на ос­нове апостериорного подхода : 1) в исходный вариант модели включаются все факторы, отобранные в ходе содержательного анализа проблемы. Для этого варианта рассчи­тываются значения оценок коэффициентов модели, их среднеквадратические ошибки и значения критериев Стьюдента; 2) из модели удаляют незначимый фактор, характеризующийся наи­меньшим значением наблюдаемым значением критерия Стьюдента, (при условии, что наблюдаемое значение не больше табличного), и таким образом форми­руют новый вариант модели с уменьшенным на один числом факторов. Заметим, что в модели может быть несколько незначимых факторов. Однако все их одновременно удалять не следует. Возможно, что незна­чимость большинства из них обусловлена влиянием «наихудшего»из не­значимых факторов и на следующем шаге расчетов эти факторы ока­жутся значимыми; 3) процесс отбора факторов можно считать законченным, когда остающиеся в модели факторы являются значимыми, если полученный вариант модели удовлетворяет и другим критериям ее качества,то, процесс построения модели можно считать завершенным в целом. В противном случае целесообразно попытаться сформировать другой альтернативный вариант модели, отличающийся от предыдущего либо со­ставом факторов, либо формой их взаимосвязи с зависимой переменной у .

Каждый из этих подходов имеет свои преимущества и недостатки. «Априорный» путь отбора факторов не обладает достаточной обосно­ванностью. Он в большей степени использует «прямые» количественные индикаторы «силы» взаимосвязей между рассматриваемыми величинами и не принимает во внимание в полной мере особенности комплексного влия­ния независимых факторов на переменную , т.е. своеобразные эффекты «эмерджентности» такого влияния. Вместе с тем использование априорного подхода часто позволяет уточнить некоторые предварительные альтернативные варианты наборов независимых факторов, проверить исходные предпосылки модели отно­сительно правильности выбора формы взаимосвязей между ними.

«Апостериорный» подход к отбору факторов, на первый взгляд, пред­почтительнее как раз из-за того, что целесообразность включения каждо­го из факторов в эконометрическую модель определяется на основании всего комплекса взаимосвязей между вошедшими в модель переменными. Однако когда общее количество факторов достаточно велико, нет ника­ких гарантий, что множество несущественных, а то и ложных взаимосвя­зей между ними не будет превалировать над основными. В результате может оказаться, что в числе первых кандидатов на исключение будут «названы» наиболее важные, значимые с точки зрения влияния на пере­менную у, факторы. Поэтому в сложных случаях, т.е. при наличии боль­шого числа отобранных для включения в модель на этапе содержатель­ного анализа факторов, специалисты рекомендуют сочетать при формировании их «оптимального» состава оба подхода – «априорный» и «апостериорный».

Согласно этим рекомендациям с помощью методов «априорного» отбора, используя при этом и содержательный анализ, формируются альтернативные варианты включаемых в модель наборов факторов. Далее, с помощью методов «апостериорного» отбора, эти наборы уточняются, соответствующие им варианты моделей сопоставляются по ряду характеристик их качества. Предполагается, что лучший из вариантов модели содержит и «оптимальный» набор факторов. В результате процедура отбора факторов в эконометрическую модель превращается в перебор некоторого множества их приемлемых сочетаний, сформированных на базе «априорного» подхода. Перебирая различные варианты составов независимых факторов, рассматривая возможные виды их взаимосвязей с зависимой переменной исследователь формирует и разные варианты (модификации) эконометрической модели для описания рассматриваемых процессов. В этом случае возникает проблема выбора «оптимального» или наиболее «рационального» среди них. Обычно эта проблема решается на основе аналитического сопоставления статистических характеристик качества построенных вариантов, рассчитываемых уже при известных значениях оценок их параметров.

В общем случае «качество» эконометрической модели оценивается по двум группам характеристик. В первую группу входят показатели, критерии, выражающие степень соответствия построенной модели основным закономерностям описываемого ею процесса. Во вторую – показатели и критерии, в большей степени оценивающие точность ее аппроксимации наблюдаемых значений . К критериям первой группы может быть отнесенкритерий Стьюдента , используемый для оценки значимости влияния каждого фактора на зависимую переменную . Вторую группу критериев образуют широко используемые в статистике и эконометрикекоэффициент множественной корреляции , коэффициент детерминации и критерий Фишера-Снедекора .

Решения, принимаемые исследователем по результатам имитационного моделирования, могут быть конструктивными только при выполнении двух основных условий:

· полученные результаты обладают требуемой точностью и достоверностью;

· исследователь способен правильно интерпретировать полученные результаты и знает, каким образом они могут быть использованы.

Возможность выполнения первого условия закладывается, в основном, еще на этапе разработки модели. Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является «правильной», но отвечает и некоторым дополнительным требованиям, предъявляемым к имитационным моделям (они рассматриваются ниже).

Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе важные решения существенно зависит от степени соответствия формы представления результатов целям моделирования.

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:

1) проверить соответствие модели ее предназначению (целям исследования);

2) оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

· корректным выбором математического аппарата, используемого для описания исследуемой системы;

· методической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

· моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить «искажения» в поведение модели;

· наличие нестационарного режима работы модели;

· использование нескольких разнотипных математических методов в рамках одной модели;

· необходимость синхронизации работы отдельных компонентов модели.

Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются:

· адекватность;

· устойчивость;

· чувствительность.

Оценка адекватности модели. В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.

Процедура оценки адекватности основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:

· по средним значениям откликов системы и модели;

· по дисперсиям отклонений откликов модели от среднего значения откликов системы;

· по максимальному значению относительных отклонений откликов модели от откликов системы.

Но нужно подчеркнуть, что статистические методы применимы только в том случае, если оценивается адекватность модели существующей системе. На проектируемой системе провести измерения, естественно, не представляется возможным. Единственный способ преодолеть это препятствие заключается в том, чтобы принять в качестве эталонного объекта концептуальную модель проектируемой системы. Тогда оценка адекватности программно реализованной модели заключается в проверке того, насколько корректно она отражает концептуальную модель.

Оценка устойчивости модели. Устойчивость модели – это ее способность сохранять адекватность при исследовании системы на всем возможном диапазоне входных параметров, а также при внесении изменений в конфигурацию системы.

Универсальной процедуры проверки устойчивости модели не существует. Разработчик вынужден прибегать к методам ”для данного случая», частичным тестам и здравому смыслу. Часто бывает полезна апостериорная проверка. Она состоит в сравнении результатов моделирования и внесении в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

В общем случае можно утверждать, что чем ближе структура модели структуре системы и чем выше степень ее детализации, тем устойчивее модель.

Устойчивость результатов моделирования может быть также оценена методами математической статистики. Здесь уместно вспомнить основную задачу математической статистики. Она заключается в том, чтобы проверить гипотезу относительно свойств некоторого множества элементов, называемого генеральной совокупностью, оценивая свойства какого-либо подмножества генеральной совокупности (т.е. выборки). В генеральной совокупности исследователя обычно интересует некоторый признак, который обусловлен случайностью и может иметь качественный или количественный характер.

В данном случае именно устойчивость результатов моделирования можно рассматривать как признак, подлежащий оценке. Для проверки гипотезы об устойчивости результатов может быть использован критерий Уилкоксона. Он служит для проверки того, относятся ли две выборки к одной и той же генеральной совокупности (т.е. обладают ли они одним и тем же статистическим признаком).

При статистической оценке устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входных параметров или структуры имитационной модели закон распределения результатов моделирования остается неизменным.

Оценка чувствительности имитационной модели. Очевидно, что устойчивость является положительным свойством модели. Однако, если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных параметров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению входных параметров и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен.

Калибровка модели. Если в результате проведенной оценки качества модели оказалось, сто ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, т.е. коррекцию с целью приведения в соответствие предъявляемым требованиям.

Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов:

1) глобальные изменения модели;

2) локальные изменения;

3) изменение специальных параметров, называемых калибровочными.

25.07.16 Ирина Аничина

34236 0

В данной статье мы поговорим о том, как понять, качественную ли модель мы построили. Ведь именно качественная модель даст нам качественные прогнозы.

Prognoz Platform обладает обширным списком моделей для построения и анализа. Каждая модель имеет свою специфику и применяется при различных предпосылках.

Объект «Модель» позволяет построить следующие регрессионные модели:

• Линейная регрессия (оценка методом наименьших квадратов);
• Линейная регрессия (оценка методом инструментальных переменных);
• Модель бинарного выбора (оценка методом максимального правдоподобия);
• Нелинейная регрессия (оценка нелинейным методом наименьших квадратов).

Начнём с модели линейной регрессии. Многое из сказанного будет распространяться и на другие виды.

Модель линейной регрессии (оценка МНК)

где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, e – вектор ошибок модели, b 0 , b 1 , …, b k – коэффициенты модели.

Итак, куда смотреть?

Коэффициенты модели

Для каждого коэффициента на панели «Идентифицированное уравнение» вычисляется ряд статистик: стандартная ошибка, t -статистика , вероятность значимости коэффициента . Последняя является наиболее универсальной и показывает, с какой вероятностью удаление из модели фактора, соответствующего данному коэффициенту, не окажется значимым.

Открываем панель и смотрим на последний столбец, ведь он – именно тот, кто сразу же скажет нам о значимости коэффициентов.

Факторов с большой вероятностью незначимости в модели быть не должно.

Как вы видите, при исключении последнего фактора коэффициенты модели практически не изменились.

Возможные проблемы: Что делать, если согласно вашей теоретической модели фактор с большой вероятностью незначимости обязательно должен быть? Существуют и другие способы определения значимости коэффициентов. Например, взгляните на матрицу корреляции факторов.

Матрица корреляции

Панель «Корреляция факторов» содержит матрицу корреляции между всеми переменными модели, а также строит облако наблюдений для выделенной пары значений.

Коэффициент корреляции показывает силу линейной зависимости между двумя переменными. Он изменяется от -1 до 1. Близость к -1 говорит об отрицательной линейной зависимости, близость к 1 – о положительной.

Облако наблюдений позволяет визуально определить, похожа ли зависимость одной переменной от другой на линейную.

Если среди факторов встречаются сильно коррелирующие между собой, исключите один из них. При желании вместо модели обычной линейной регрессии вы можете построить модель с инструментальными переменными, включив в список инструментальных исключённые из-за корреляции факторы.

Матрица корреляции не имеет смысла для модели нелинейной регрессии, поскольку она показывает только силу линейной зависимости.

Критерии качества

Помимо проверки каждого коэффициента модели важно знать, насколько она хороша в целом. Для этого вычисляют статистики, расположенные на панели «Статистические характеристики».

Коэффициент детерминации (R 2 ) – наиболее распространённая статистика для оценки качества модели. R 2 рассчитывается по следующей формуле:

где n – число наблюдений; y i — значения объясняемой переменной; — среднее значение объясняемой переменной; ỹ i — модельные значения, построенные по оцененным параметрам.

R 2 принимает значение от 0 до 1 и показывает долю объяснённой дисперсии объясняемого ряда. Чем ближе R 2 к 1, тем лучше модель, тем меньше доля необъяснённого.

Возможные проблемы: Проблемы с использованием R 2 заключаются в том, что его значение не уменьшается при добавлении в уравнение факторов, сколь плохи бы они ни были. Он гарантированно будет равен 1, если мы добавим в модель столько факторов, сколько у нас наблюдений. Поэтому сравнивать модели с разным количеством факторов, используя R 2 , не имеет смысла.

Для более адекватной оценки модели используется скорректированный коэффициент детерминации (Adj R 2 ) . Как видно из названия, этот показатель представляет собой скорректированную версию R 2 , накладывая «штраф» за каждый добавленный фактор:

где k – число факторов, включенных в модель.

Коэффициент Adj R 2 также принимает значения от 0 до 1, но никогда не будет больше, чем значение R 2 .

Аналогом t -статистики коэффициента является статистика Фишера (F -статистика) . Однако если t -статистика проверяет гипотезу о незначимости одного коэффициента, то F -статистика проверяет гипотезу о том, что все факторы (кроме константы) являются незначимыми. Значение F -статистики также сравнивают с критическим, и для него мы также можем получить вероятность незначимости. Стоит понимать, что данный тест проверяет гипотезу о том, что все факторы одновременно являются незначимыми. Поэтому при наличии незначимых факторов модель в целом может быть значима.

Возможные проблемы: Большинство статистик строится для случая, когда модель включает в себя константу. Однако в Prognoz Platform мы имеем возможность убрать константу из списка оцениваемых коэффициентов. Стоит понимать, что такие манипуляции приводят к тому, что некоторые характеристики могут принимать недопустимые значения. Так, R 2 и Adj R 2 при отсутствии константы могут принимать отрицательные значения. В таком случае их уже не получится интерпретировать как долю, принимающую значение от 0 до 1.

Для моделей без константы в Prognoz Platform рассчитываются нецентрированные коэффициенты детерминации (R 2 и Adj R 2 ). Модифицированная формула приводит их значения к диапазону от 0 до 1 даже в модели без константы.

Посмотрим значения описанных критериев для приведённой выше модели:

Как мы видим, коэффициент детерминации достаточно велик, однако есть ещё значительная доля необъяснённой дисперсии. Статистика Фишера говорит о том, что выбранная нами совокупность факторов является значимой.

Сравнительные критерии

Кроме критериев, позволяющих говорить о качестве модели самой по себе, существует ряд характеристик, позволяющих сравнивать модели друг с другом (при условии, что мы объясняем один и тот же ряд на одном и том же периоде).

Большинство моделей регрессии сводятся к задаче минимизации суммы квадратов остатков (sum of squared residuals , SSR ) . Таким образом, сравнивая модели по этому показателю, можно определить, какая из моделей лучше объяснила исследуемый ряд. Такой модели будет соответствовать наименьшее значение суммы квадратов остатков.

Возможные проблемы: Стоит заметить, что с ростом числа факторов данный показатель так же, как и R 2 , будет стремиться к граничному значению (у SSR, очевидно, граничное значение 0).

Некоторые модели сводятся к максимизации логарифма функции максимального правдоподобия (LogL ) . Для модели линейной регрессии эти задачи приводят к одинаковому решению. На основе LogL строятся информационные критерии, часто используемые для решения задачи выбора как регрессионных моделей, так и моделей сглаживания:

• информационный критерий Акаике (Akaike Information criterion , AIC )
• критерий Шварца (Schwarz Criterion , SC )
• критерий Ханнана-Куина (Hannan - Quinn Criterion , HQ )

Все критерии учитывают число наблюдений и число параметров модели и отличаются друг от друга видом «функции штрафа» за число параметров. Для информационных критериев действует правило: наилучшая модель имеет наименьшее значение критерия.

Сравним нашу модель с её первым вариантом (с «лишним» коэффициентом):

Как можно увидеть, данная модель хоть и дала меньшую сумму квадратов остатков, оказалась хуже по информационным критериям и по скорректированному коэффициенту детерминации.

Анализ остатков

Модель считается качественной, если остатки модели не коррелируют между собой. В противном случае имеет место постоянное однонаправленное воздействие на объясняемую переменную не учтённых в модели факторов. Это влияет на качество оценок модели, делая их неэффективными.

Для проверки остатков на автокорреляцию первого порядка (зависимость текущего значения от предыдущих) используется статистика Дарбина-Уотсона (DW ) . Её значение находится в промежутке от 0 до 4. В случае отсутствия автокорреляции DW близка к 2. Близость к 0 говорит о положительной автокорреляции, к 4 — об отрицательной.

Как оказалось, в нашей модели присутствует автокорреляция остатков. От автокорреляции можно избавиться, применив преобразование «Разность» к объясняемой переменной или воспользовавшись другим видом модели – моделью ARIMA или моделью ARMAX.

Возможные проблемы: Статистика Дарбина-Уотсона неприменима к моделям без константы, а также к моделям, которые в качестве факторов используют лагированные значения объясняемой переменной. В этих случаях статистика может показывать отсутствие автокорреляции при её наличии.

Модель линейной регрессии (метод инструментальных переменных)

Модель линейной регрессии с инструментальными переменными имеет вид:

где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, x ̃ 1 , …, x ̃ k – смоделированные при помощи инструментальных переменных объясняющие ряды, z 1 , …, z l – инструментальные переменные, e , ∈ j – вектора ошибок моделей, b 0 , b 1 , …, b k – коэффициенты модели, c 0 j , c 1 j , …, c lj – коэффициенты моделей для объясняющих рядов.

Схема, по которой следует проверять качество модели, является схожей, только к критериям качества добавляется J -статистика – аналог F -статистики, учитывающий инструментальные переменные.

Модель бинарного выбора

Объясняемой переменной в модели бинарного выбора является величина, принимающая только два значения – 0 или 1.

где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, e – вектор ошибок модели, b 0 , b 1 , …, b k – коэффициенты модели, F – неубывающая функция, возвращающая значения от 0 до 1.

Коэффициенты модели вычисляются методом, максимизирующим значение функции максимального правдоподобия. Для данной модели актуальными будут такие критерии качества, как:

• Коэффициент детерминации МакФаддена (McFadden R 2 ) – аналог обычного R 2 ;
• LR -статистика и её вероятность — аналог F -статистики;
• Сравнительные критерии: LogL , AIC , SC , HQ.

Нелинейная регрессия

Под моделью линейной регрессии будем понимать модель вида:

где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, e – вектор ошибок модели, b – вектор коэффициентов модели.

Коэффициенты модели вычисляются методом, минимизирующим значение суммы квадратов остатков. Для данной модели будут актуальны те же критерии, что и для линейной регрессии, кроме проверки матрицы корреляций. Отметим ещё, что F-статистика будет проверять, является ли значимой модель в целом по сравнению с моделью y = b 0 + e , даже если в исходной модели у функции f (x 1 , …, x k , b ) нет слагаемого, соответствующего константе.

Итоги

Подведём итоги и представим перечень проверяемых характеристик в виде таблицы:

Надеюсь, данная статья была полезной для читателей! В следующий раз мы поговорим о других видах моделей, а именно ARIMA, ARMAX.