Эконометрика

Глава 9. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ МОДЕЛИРОВАНИЯ В ЭКОНОМИКЕ

9.2. Применение нейронных сетей для прогнозирования экономических показателей

9.2.1. Нейросетевые модели нелинейных регрессионных зависимостей

Основная цель регрессионного анализа состоит в адекватном описании наблюдаемых данных в предположении, что они порождаются некоторой, в общем случае нелинейной, зависимостью между эндогенной и экзогенными переменными

(9.27)

(здесь y и u - скалярные величины) с учетом стохастической природы изучаемого явления. Основная проблема при этом состоит в правильном определении вида функции (9.27), то есть правильной спецификации модели. В линейном регрессионном анализе уравнение (9.27) предполагается линейным и определяется с точностью до неизвестных параметров. К сожалению, реальные процессы в природе и обществе редко подчиняются линейным зависимостям и поэтому в большинстве случаев линейные модели можно рассматривать лишь как первое приближение реальных функциональных связей.

Построение нелинейных моделей существенно сложнее. Традиционный подход предполагает, что наблюдаемую нелинейную зависимость можно аппроксимировать некоторой функцией из априорно (то есть, заранее) определенного ограниченного набора нелинейных функций, также заданных с точностью до неизвестных параметров, которые подгоняются к наблюдаемым данным (см. п. 4.9). Однако, далеко не всегда очевидно, какую именно функцию (или несколько функций) следует выбрать, чтобы наилучшим образом аппроксимировать наблюдаемые данные. Данные могут характеризоваться сложными, скрытыми, нелинейными связями, которые невозможно аппроксимировать с помощью элементарных функций. Структура этих связей с течением времени может меняться, а, следовательно, должна меняться и структура модели. Таким образом, адекватная спецификация нелинейной модели в рамках традиционного регрессионного анализа часто становиться практически неразрешимой проблемой.

Попыткой решить проблемы, связанные с построением нелинейных моделей, является применение аппарата нейронных сетей. Что могут (какими преимуществами обладают) нейронные сети по сравнению с традиционным регрессионным анализом, в частности, при аппроксимации нелинейных зависимостей вида (9.27)?

1) Нейронная сеть способна со сколь угодно заданной точностью воспроизводить (аппроксимировать) произвольные нелинейные зависимости, вид которых заранее неизвестен.

2) Нейронная сеть сама в процессе обучения определяет вид функциональной зависимости.

3) Нейронная сеть способна улавливать скрытые нелинейные зависимости.

4) Нейронная сеть способна обучаться на примерах и в процессе обучения перестраивать свою архитектуру. При этом происходит как бы автоматическая спецификация модели.

5) Нейронная сеть способна адаптироваться к изменившимся условиям.

6) С помощью нейронной сети можно аппроксимировать многомерные зависимости, описываемые не одним уравнением, а системой нелинейных взаимосвязанных уравнений вида (9.27).

Определенным недостатком нейросетевого подхода является то, что редко удается дать содержательную интерпретацию параметрам сети, сеть работает как так называемый " черный ящик " - на вход сети подаются входные данные, на выходе получают результат. Поэтому нейросетевые модели относятся, как правило, к поведенческим моделям (см. гл. 1).

Таким образом, с помощью аппарата нейронных сетей можно достаточно эффективно решать задачи нелинейного регрессионного анализа, используя методы построения и обучения сетей, описанные в предыдущем разделе. При этом, конечно, следует помнить об обсуждавшихся выше проблемах, связанных с выбором архитектуры и обучением нейронных сетей.

9.2.2. Нейросетевое представление временных рядов

Одно из центральных мест в традиционном анализе временных рядов имеют одномерные линейные модели типа моделей авторегрессии-скользящего среднего (АРСС), которые мы рассмотрели в главе 5. Однако реальные временные ряды редко бывают действительно линейными. Поэтому значительные усилия прилагаются для разработки моделей, способных улавливать нелинейности. В достаточно общем виде нелинейную временную зависимость можно описать уравнением вида

(9.28)

Для построения нелинейных моделей временных рядов (9.28) можно использовать нейронные сети с временной задержкой. Методика построения такой сети состоит в следующем. Анализируемый временной ряд разбивается на несколько отрезков, которые используются в качестве образцов (примеров) при обучении сети. Эти образцы подаются на вход многослойной сети с прямой связью. Разбиение ряда на отрезки происходит путем его преобразования с помощью разветвленной линии задержки. Общая структура нейронной сети с временной задержкой показана на рис. 9.5.

Рис. 9.5. Нейронная сеть с временной задержкой

Для обучения подобных сетей можно использовать, например, алгоритм обратного распространения ошибки.

С помощью аппарата нейронных сетей можно строить модели не только одномерных, но и многомерных временных рядов. Для этого необходимо только соответствующим образом определить входные (независимые) переменные и выходные (зависимые) переменные.

Выделим основные этапы построения сети для моделирования временного ряда.

1) Спецификация модели. Выше мы отмечали, что нейронная сеть способна автоматически, обучаясь на примерах, определять свою структуру. Тем не менее, необходимо предварительно определить количество и вид входных и выходных переменных, структуру задержек (временные лаги), выбрать архитектуру сети с учетом специфики конкретной задачи.

2) Сбор и предварительная обработка данных. На этом этапе рекомендуется провести тщательный отбор и анализ имеющихся данных, используя в том числе статистические процедуры тестирования на "нормальность", поскольку с "нормальными" данными нейронные сети работают лучше. Если в имеющихся данных можно предварительно выделить тренд, используя традиционные методы, то это необходимо сделать. Например, если в качестве составляющей ряда можно выделить экспоненту, то целесообразно его прологарифмировать, чтобы получить более простую зависимость, в которой легче будет уже с помощью нейронной сети выявить более сложные нелинейные зависимости.

3) Обучение сети. Этот этап включает формирование обучающего и подтверждающего множеств, выбор критерия и алгоритма обучения. На данном этапе модель настраивается на имеющиеся данные, происходит оптимизация весов и корректировка топологии сети.

4) Диагностика (проверка адекватности) модели. Этот этап включает проверку качества (адекватности) модели. Критерии качества нейросетевой модели основаны на вычислении среднеквадратичной ошибки предсказания. Эти критерии показывают, насколько предсказанные значения ряда близки к обучающему или подтверждающему множествам. Если данных для анализа достаточно, то тестирование модели можно провести на специально выбранном тестовом множестве, которое не используется при обучении. При тестировании нейросетевых моделей используется также анализ остатков модели. Для хорошей модели они должны быть близки к нормальному распределению с нулевым средним.

9.2.3. Обзор применения нейросетевых моделей для описания и прогнозирования экономических процессов

В данном разделе мы рассмотрим некоторые результаты применения нейросетевых моделей. Существует обширная литература по применению нейронных сетей в экономике. Нейронные сети применялись для решения широкого круга задач. Систематическое изложение опыта применения нейронных сетей при решении различных задач, возникающих в финансовой сфере таких как прогнозирование денежных потоков и налоговых поступлений, прогнозы на финансовых рынках, оценка кредитного риска, расчет цен производных ценных бумаг, прогнозирование банкротства корпораций, использование нейронных сетей в торговле ценными бумагами, приводится в книге Д.-Э. Бэстенса, В.-М. ван ден Берга и Д. Вуда "Нейронные сети и финансовые рынки" [7]. Ниже дан обзор некоторых из этих результатов. Отметим, что описанные ниже области применения нейронных сетей являются также примерами практических задач, в которых широко используются традиционные эконометрические методы анализа.

Прогнозирование денежных потоков и налоговых поступлений

Нейросетевая модель использовалась для оценки суммы ежемесячного валового сбора налогов министерством финансов Голландии. Была построена модель помесячного прогноза валового сбора налогов на период с января 1989 г. по март 1993 г. В качестве входных переменных использовались всего 13 показателей, которые оказывают влияние на сбор налогов. Опишем некоторые из них.

1) Число рабочих дней в месяце. Этот показатель введен потому, что в те месяцы, где число рабочих дней меньше, сумма налогов также обычно меньше. С другой стороны, в месяцы с большим числом рабочих дней больше оборот, и, соответственно, комиссионные.

2) Совокупное потребление. Совокупное потребление в частном и общественном секторах влияет на оборот и, следовательно, на сбор налогов. Этот показатель учитывался с лагом в три месяца.

3) Совокупные вложения в ценные бумаги с фиксированным доходом. Предполагается, что увеличение инвестиций приводит к увеличению комиссионных и поступлений от налогов на доходы по ценным бумагам. Этот показатель учитывался с лагом в один месяц.

4) Уровень безработицы. Этот показатель отражает уровень экономической активности и, следовательно, связан с предполагаемым уровнем налогов на доходы корпораций и частных лиц.

5) Уровень осадков и температуры воздуха. Уровень осадков и температуры влияет на потребление энергии и соответствующие комиссионные сборы и косвенно - на склонность потребителей к затратам.

Учитывались также: календарный и сезонный эффекты, индекс курсов акций на Амстердамской фондовой бирже, процентные ставки на межбанковском рынке Амстердама и др. Нейронная сеть была построена по 45 ежемесячным наблюдениям с января 1989 г. по сентябрь 1992 г. Оставшиеся 6 наблюдений с октября 1992 г. по март 1993 г. использовались для тестирования модели. Исследовались различные конфигурации сетей, в итоге была выбрана сеть с одним скрытым слоем с двумя нейронами в нем и прямыми связями.

В результате тестирования модели и ее сравнения с традиционными моделями анализа временных рядов, применяющимися министерством финансов Голландии для прогноза налоговых поступлений, авторы пришли к выводу, что нейронная сеть дает лучшие результаты. Через значения весов сети удалось оценить влияние нелинейных эффектов и вклад каждой включенной в модель входной переменной.

Задание

Изобразите структурную схему сети с одним скрытым слоем для прогноза налоговых поступлений.

Оценка индексов рынка акций

Известно, что цена каждого конкретного рискового финансового актива складывается под влиянием множества общерыночных (систематических) и характерных для отдельных фирм и корпораций (несистематических) факторов. Влияние случайных несистематических факторов устраняется путем диверсификации портфеля ценных бумаг. Для количественной оценки и прогноза влияния систематических факторов традиционно используются методы линейного регрессионного анализа. Хорошо известна так называемая рыночная модель (см. п. 2.1.3.), которая представляет собой модель парной линейной регрессии, связывающую доходность конкретной акции (зависимая переменная) с доходностью рыночного индекса (независимая переменная). Рыночный индекс здесь выступает как источник систематического риска. Обобщением рыночной модели является модель арбитражного ценообразования, в которой учитываются различные факторы систематического риска (они рассматриваются ниже). Эта модель относится к классу моделей множественной линейной регрессии.

Исследования свойств временных рядов доходностей различных финансовых активов показывают, что в них присутствуют нелинейные составляющие. Для выявления, анализа и оценки степени влияния нелинейных эффектов в ценообразовании на рынке финансовых активов была построена нейросетевая модель. В качестве входных переменных были выбраны следующие макроэкономические показатели: непредвиденная инфляция, изменение ожидаемой инфляции, премия за риск как разность между доходностью облигаций низкого класса и доходностью первоклассных облигаций, временная структура ставок как разность между доходностью долгосрочных государственных облигаций и казначейских векселей, месячный рост промышленного производства (более подробно смысл этих переменных обсуждается в [7]). Выходом сети являлся доход по равновзвешенному портфелю акций, котируемых на Нью-Йоркской фондовой бирже (NYCE).

Для построения сети использовались 396 ежемесячных наблюдений за период с 1953 г. по 1985 г. В результате эмпирического подбора и сравнения по критерию среднеквадратичной ошибки на тестовом множестве из 60 наблюдений за последние пять лет было установлено, что среди всех конфигураций наилучшей является сеть с одним скрытым слоем с тремя нейронами в нем. Результаты прогноза цен с помощью нейронной сети сравнивались с прогнозами, полученными с помощью модели множественной линейной регрессии. При этом оказалось, что результаты, показанные сетью на новых образцах превосходят даже те, которые регрессия давала на обучающем множестве.

Задание

Изобразите структурную схему данной нейронной сети.

Оценка кредитного риска

В традиционных методах оценки кредитного риска используют методы регрессионного анализа. Входами модели (независимыми переменными) служат показатели, характеризующие финансовое состояние предприятия, на выходе получают вероятность банкротства (не возврата кредита). Типичный пример такой модели - так называемая логит - регрессия:

где Pr(y) - вероятность банкротства, x - вектор независимых переменных, , - параметры, которые необходимо оценить. Такая модель может работать только с количественными данными, тогда как состояние предприятий характеризуется многими качественными показателями. Например, Голландский инвестиционный банк использует около 44 качественных показателей для оценки кредитного риска по реальному инвестиционному портфелю, состоящему из займов, выданных банком своим корпоративным клиентам. Кроме того, используются также 5 количественных показателей. Качественные показатели можно разбить на пять групп:

1) Факторы, характеризующие состояние рынка (10 показателей). Эта группа включает характеристики рыночной среды, на которые сама фирма влиять не может, например, тенденции в структуре потребления.

2) Характеристики положения фирмы на рынке (9 показателей).

3) Стратегия фирмы (9 переменных). Эта группа показателей характеризует цели фирмы на ближайшие годы и их достижимость.

4) Эффективность деятельности (9 переменных).

5) Характеристики управления (7 показателей). С помощью этой группы показателей оценивается работа высшего управляющего звена фирмы в прошлом и в настоящее время.

Все переменные принимают следующие целочисленные значения: 0 - значительно ниже среднего уровня, 1- ниже среднего уровня, 2 - на среднем уровне, 3 - выше среднего уровня, 4 - значительно выше среднего уровня. Значения качественных переменных отражают мнение экспертов банка о надежности заемщика.

Количественные характеристики финансового состояния компании следующие: степень прибыльности (определяется как отношение операционного дохода к используемому капиталу), коэффициент платежеспособности (отношение собственного капитала к суммарному), ликвидность (отношение текущих активов к обязательствам), коэффициент покрытия (отношение операционного дохода к заемному капиталу) и разница между высшим и низшим показателями прибыльности за последние 4 года.

На основе анализа качественных и количественных показателей выводят показатель рисковости кредита, как взвешенное среднее всех показателей. Он принимает три значения: 1 -банкроты, 2 - перспективы не ясны, 3 - жизнеспособные.

Для решения задачи классификации по степени рисковости заемщиков была построена нейронная сеть. На вход сети подавались три агрегированных показателя, которые были получены после предварительной обработки исходных эндогенных переменных при помощи метода анализа главных компонент (этот метод изучается в курсе многомерного статистического анализа, см. С.А. Айвазян, В.С. Мхитарян, [1])). Первый вход служит количественной оценкой качества управления фирмой, второй вход характеризует состояние рынка и положение данной фирмы на рынке, ее способность реагировать на изменение обстановки, третий вход характеризует эффективность торговой политики фирмы.

После исследования различных конфигураций сетей с различными функциями активаций была выбрана сеть с одним скрытым и одним выходным элементом с пороговой функцией активации. Выходные значения сети разбивались на три группы. Если выход сети больше 0, но меньше 0,33, то это соответствует плохому состоянию дел и перспективам предприятия - оно банкрот; если выход принимает значения от 0,33 до 0,66, то перспективы не ясны, если выход расположен в интервале от 0,66 до 1, то предприятие жизнеспособно. Данная сеть показала лучшие результаты по сравнению с традиционными методами.

Прогнозирование банкротства корпораций

Традиционный формализованный подход к прогнозированию банкротств использует методы множественного дискриминантного анализа - МДА (об МДА см. С.А. Айвазян, В.С. Мхитарян, [1]). Суть данного подхода заключается в том, что на основе данных о финансовом состоянии каждое предприятие относят к той или иной группе (например, жизнеспособные, быстрорастущие, вероятные банкроты). Рейтинг кредитоспособности устанавливается на основе некоторого решающего правила, в соответствии с которым предприятие включают в ту или иную группу.

В отличие от МДА, нейросетевые модели могут учитывать большое количество разнотипных переменных, например различные экономические и финансовые индикаторы, для обучения сети можно использовать данные, относящиеся к периодам с различным состоянием в экономике, охватывающим структурные изменения.

Авторы [7] изучали возможности применения нейронных сетей для прогнозирования банкротств на примере британских компаний - производителей комплектующих для автомобилей. При построении сети использовалось семь входных переменных, отражающих финансовое состояние компании. В качестве целевой переменной (выход модели) было взято состояние курса акций предприятия относительно общего индекса курсов акций. Использовалась также дополнительная переменная, с помощью которой выход разделялся на банкротов и не банкротов с целью достижения наилучшей относительной точности прогнозов. Для обучения сети были взяты данные по 20 машиностроительным компаниям, акции которых котируются на фондовом рынке Великобритании. Всего использовалось 160 наблюдений за период времени с 1978 по 1986 гг. Была построена трехслойная сеть с семью входами, соответствующими финансовым переменным. Скрытый слой содержал три нейрона, выходной - один нейрон. Для обучения использовалась одна из модификаций метода обратного распространения ошибки. В [7] приведены результаты эксперимента по прогнозированию банкротств с помощью нейронной сети на год вперед и их сравнение с традиционными методами. Из этих данных следует, что нейронная сеть показала лучшие результаты по сравнению с другими моделями.