Везде
An adaptive regression for agent-based modeling
Table of contents
Annotation Estimate Publication content
References Comments
Share
QR
Metrics
An adaptive regression for agent-based modeling
Annotation
PII
S042473880028256-0-1
DOI
10.31857/S042473880028256-0
Publication type
Article
Status
Published
Authors
Alexander Tsyplakov 
ORCID: 0000-0002-9297-3269
Affiliation:
Institute of Economics and Industrial Engineering, Siberian Branch of the Russian Academy of Sciences
Department of Economics, Novosibirsk State University
Address: Novosibirsk, Russia
Edition
Volume 59 no. 4
Pages
111-125
Abstract

The article discusses an algorithm, which that can be used to implement adaptive behavior of agents in agent-based models (ABM). It is assumed that an agent has some internal parametric model of the surrounding world, which motivates a likelihood function for the information about the world received by the agent. The process of adaptive learning of an agent via changing parameters is presented as filtering in a general state space model. By using a linear Gaussian transition density and a quadratic approximation for the log-likelihood function, an algorithm is obtained, which is called SQ filter in the article. This algorithm is a modification of the classical Kalman filter. It is applied to the linear regression with time-varying parameters. When an agent receives new information, the parameter estimates, which include both the regression coefficients and the error variance, are adjusted adaptively by taking into account possible outliers. The performance of the proposed adaptive regression was tested on two economic ABM. The algorithm showed good results both in an artificial stock market model where trader agents predict the market price and in a model of the Russian economy where firms predict demand for their output. With its help, it is possible to endow agents with plausible behavior without using overly complex calculations.

Keywords
adaptive learning, Kalman filter, agent-based models
Acknowledgment
The paper was prepared according to the Research plan of the IEIE SB RAS “Tools, technologies and results of analysis, modeling and forecasting of the spatial development of the Russia’s socioeconomic system and its individual territories” (project no. 121040100262-7).
Received
13.11.2023
Date of publication
28.12.2023
Number of purchasers
10
Views
230
Readers community rating
0.0 (0 votes)
Cite Download pdf
Additional services access
Additional services for the article
Services benefits
100 RUB / 1.0 SU
Additional services for the issue
Services benefits
910 RUB / 15.0 SU
Additional services for all issues for 2023
Services benefits
2730 RUB / 61.0 SU
1 1. Введение
2 Традиционная теоретическая экономика, по сути, описывает «поведение неправдоподобно разумных людей в неправдоподобно простых ситуациях» (Leijonhufvud, 1993). Поведение обычных людей больше похоже на адаптивное, чем на полностью рациональное. Важность моделирования адаптивного поведения и адаптивного обучения давно осознана в макроэкономическом и финансовом моделировании (Leijonhufvud, 1993; Timmermann, 1993; Evans, Honkapohja, 2001; Carceles-Poveda, Giannitsarou, 2007; Sinitskaya, Tesfatsion, 2015). Предположение о том, что все агенты знают структуру экономического равновесия и действуют полностью оптимально на основе этого понимания, заменяется на более правдоподобное предположение, что агенты эконометрическими методами оценивают параметры своих внутренних моделей исходя из имеющихся данных. В частности, в современных исследованиях рассматриваются модели с обучением на основе (рекурсивного) метода наименьших квадратов, стохастического градиента и т.п. (Carceles-Poveda, Giannitsarou, 2007).
3 Очень актуальным использование адаптивного обучения является для агент-ориентированного моделирования. Агент-ориентированное моделирование — это распространившийся в последние годы подвид имитационного моделирования, помогающий изучению и прогнозированию явлений, происходящих в сложных экономических, социальных, биологических и других системах. Агент-ориентированные модели (АОМ) широко применяются в разных областях: дорожное движение (Nguyen et al., 2021), финансовые рынки (Iori, Porter, 2018), рынки электроэнергии (Weidlich, Veit, 2008), эпидемиология (Hunter, Namee, Kelleher, 2017), макроэкономика (Dawid H., Delli Gatti, 2018) и т.д.
4 В основе агентного подхода лежит индивидуальное поведение и взаимодействие агентов, входящих в изучаемую систему. Используемые в АОМ агенты — это компьютерные сущности внутри виртуальной системы — аналога моделируемой реальной системы, — которые производят некоторые действия и взаимодействуют с окружающей средой (в том числе с другими агентами). Агенты и содержащая их система имеют некоторые свойства (находятся в определенном состоянии). Агент может выбирать действия (из набора возможных) автономно от других агентов и от системы. Выбираемые действия приводят к изменению состояния системы во времени.
5 Как в любом имитационном моделировании, с АОМ проводятся вычислительные эксперименты в виде серии прогонов (испытаний)1. Результаты по многим прогонам, содержащим случайность, можно обобщить, собрав и проанализировав статистику. Изменяя параметры, меняя сценарии экспериментов, можно делать прогнозы о поведении изучаемой системы в разных условиях.
1. Роберт Шеннон дал следующее определение имитационного моделирования: «Это процесс разработки компьютеризированной модели системы (или процесса) и проведения экспериментов с этой моделью с целью понимания поведения системы или же оценки различных стратегий для работы системы» (Shannon, 1976; Шеннон, 1978, с. 12).
6 Одной из важнейших характеристик агента в АОМ является то, что он может воспринимать окружающую обстановку и принимать решения на основе определенных правил и алгоритмов поведения. В частности, в основе поведения может лежать максимизация некоторой целевой функции, параметры которой адаптивно меняются в зависимости от окружающей обстановки.
7 С одной стороны, компьютерные агенты должны быть достаточно похожими по основным характеристикам поведения на свои реальные прототипы. С другой стороны, в АОМ при большом числе агентов не стоит использовать слишком сложные алгоритмы обучения, требующие запретительно больших затрат времени для проведения расчетов. Поэтому агенты в АОМ не должны получать слишком большой объем информации и не должны быть неправдоподобно разумными. Другими словами, агенты в АОМ, как правило, будут характеризоваться несовершенством информации и неполной рациональностью, а их поведение будет адаптивным и достаточно простым.
8 В агент-ориентированном моделировании опробованы разные алгоритмы, отвечающие за адаптивное поведение агентов (Brenner, 2006; Weidlich, Veit, 2008; DeAngelis, Diaz, 2019), например алгоритм Эрева–Рота, Q-обучение, обучающиеся системы классификаторов, генетические алгоритмы, нейронные сети, различные алгоритмы обучения с подкреплением и прочие методы машинного обучения. В (Rand, 2006) показано сходство общей идеи адаптивного поведения в АОМ и машинного обучения. Для агента в АОМ вся остальная модель представляет собой окружающую среду. Обучаясь, агент видоизменяет свою модель окружающего мира за счет поступающих извне информации и подкрепляющих вознаграждений.
9 Для простоты изложения метода пусть работа АОМ представляется в виде последовательности периодов t=1,…,T . У каждого агента i=1,…,N есть некоторая модель окружающего мира, где окружающий мир — это остальные агенты и содержащая агентов система. Это будет параметрическая модель, описываемая параметрами ait . С точки зрения обучения агентов в течение каждого периода t в АОМ происходит ряд событий (Rand, 2006):
10
  1. каждый агент получает информацию об окружающем мире yit , на ее основе он обновляет свою внутреннюю модель мира, корректируя параметры ait ;
  2. каждый агент решает на основе внутренней модели с параметрами ait , какое действие xit выбрать в текущем периоде;
  3. каждый агент осуществляет выбранные действия xit , что приводит к изменению состояний агентов и системы в целом.
11 Для реализации подобного рода адаптивного поведения в АОМ мы предлагаем использовать алгоритм, являющийся обобщением фильтра Калмана — SQ-фильтр. Первоначальная версия данного алгоритма была предложена для оценивания срочной структуры процентных ставок в статье (Авдеева, Цыплаков, 2015). В данной статье детально рассмотрена взаимосвязь SQ-фильтра с общей моделью пространства состояний. Показано, что SQ-фильтр можно рассматривать как приближенный алгоритм фильтрации, который эквивалентен полноценной процедуре фильтрации в случае гауссовской линейной модели пространства состояний.
12 Описанию модели пространства состояний и процедуры фильтрации для нее посвящен разд. 2. В разд. 3 описывается SQ-фильтр. В разд. 4 алгоритм конкретизирован для модели линейной регрессии с меняющимися параметрами, характеризующейся робастностью к выбросам. Предложена модификация алгоритма, делающая его более простым и удобным для прикладных вычислений. Наконец, в разд. 5 и 6 рассматривается использование такой адаптивной регрессии в двух экономических АОМ.
13 2. Модель пространства состояний
14 Процесс обучения агента в АОМ удобно представить в виде так называемой модели пространства состояний. Получаемая агентом информация отождествляется с наблюдаемым временным рядом yt . Используя эту информацию yt , агент адаптивно меняет параметры своей модели окружающего мира. Эти параметры с точки зрения модели пространства состояний представляют собой ненаблюдаемый вектор состояния at . Связь вектора состояния at с рядом yt описывается плотностью измерения, которую можно сформировать на основе внутренней модели окружающего мира агента. Процесс изменения во времени параметров at описывается в виде плотности перехода.
15 Пусть y1:T=y1,…,yT  — наблюдаемый (одномерный или многомерный) временной ряд. Типичное наблюдение yt представляет собой вектор k×1 . Модель для ряда y сформулирована в терминах ряда состояний a1:T=a1,…,aT , где at  — вектор m×1 ненаблюдаемых компонент. Переменную at называют переменной состояния.
16 Будем считать распределение y1:T и a1:T непрерывным. Совместная плотность fy1:T,a1:T в модели пространстве состояний строится из двух последовательностей условных плотностей (Tanizaki, 1996): плотность измерения f(yt|a1:t,y1:t-1)=f(yt|at,y1:t-1) , t=1,…,T ; плотность перехода f(at|a1:t-1,y1:t-1)=f(at|at-1,y1:t-1) , t=2 ,…,T . Начальную плотность fa1 можно рассматривать как частный случай плотности перехода при t=1 .
17 Важной характеристикой модели пространства состояний является то, что плотность измерения не зависит от a1:t-1 . Точно так же плотность перехода не зависит от a1:t-2 , и, таким образом, модель имеет марковский характер условно относительно предыстории y1:t-1 .
18 Процесс, который можно рассматривать как обучение, в модели пространства состояний называется фильтрацией. Фильтрация происходит рекуррентно с учетом информации, имеющейся к данному моменту времени t ( t=1,…,T ), и представляет собой последовательность двух чередующихся шагов: шага прогнозирования и шага обновления.
19 Шаг прогнозирования. В момент t-1 для наблюдаемого ряда известны значения y1:t-1=y1,…,yt-1 . Это дает информацию о значении переменной состояния в период t-1 (т.е. at-1 ), что выражается плотностью fat-1|y1:t-1 , которая берется с шага обновления периода t-1 . Эту же информацию y1:t-1 можно использовать для прогноза переменной состояния на следующий период at:
20 f(at|y1:t-1)=∫f(at|at-1,y1:t-1)f(at-1|y1: t-1)dat-1‍,
21 прогноз наблюдаемого ряда на период t в виде плотности —
22 fyt|y1:t-1=∫fyt|at,y1:t-1fat|y1:t-1dat,
23 где fat|at-1,y1:t-1 и fyt|at,y1:t-1 определяются моделью.
24 Шаг обновления. После того как в период t поступит новое наблюдение yt , можно скорректировать оценку состояния системы на основе y1:t=y1,…,yt :
25 fat|y1:t=fyt|at,y1:t-1fat|y1:t-1/fyt|y 1:t-1.
26 Описанная общая модель пространства состояний не очень пригодна для проведения прикладных расчетов, так как в общем случае алгоритм фильтрации содержит многомерные интегралы. Однако в частном случае — гауссовской линейной модели пространства состояний — прямое использование интегралов можно заменить более простым алгоритмом с матричными вычислениями. В такой модели совместное распределение y1:T и a1:T является многомерным нормальным и плотность измерения примет вид — fyt|a1:t,y1:t-1=fyt|at,y1:t-1==φyt-Ryt-Ryatat,Ωyt, а плотность перехода — f(at|a1:t-1,y1:t-1)=f(at|at-1,y1:t-1)==φat-Rat-Raatat-1,Ωat, где Ryt ( k×1 ), Ryat ( k×m ), Ωyt ( k×k ), Rat ( m×1 ), Raat ( m×m ), Ωat ( m×m ) — матрицы параметров модели, а через φx,Σ обозначена функция плотности многомерного нормального распределения N0,Σ . Для n-мерного распределения
27 φx,Σ=2πnΣ-1exp-0,5xTΣ-1x.
28 Плотности, получаемые на шаге предсказания и шаге обновления гауссовской линейной модели, тоже многомерные нормальные:
29 fat-1|y1:t-1=φat-1-a-t-1,P-t-1,    fat|y1:t-1=φat-a~t,P~t.
30 Шаг предсказания дает плотность
31 f(at|y1:t-1)=∫φat-Rat-Raatat-1,Ωatφat-1-a-t-1,P-t-1dat-1‍.
32 Для функции плотности многомерного нормального распределения φ⋅ выполнено
33 ∫φx-μ,Σφy-Ax,Ωdx‍=φy-Aμ,AΣAT+Ω.
34 Поэтому f(at|y1:t-1)=φat-a~t,P~t, где P~t=RaatP-t-1RaatT+Ωat, a~t=Rat+Raata-t-1.
35 Шаг обновления дает плотность
36 fat|y1:t=φyt-Ryt-Ryatat,Ωytφat-a~t,P~t∫φyt-Ryt-Ryatat,Ωytφat-a~t,P~tdat.
37 Для функции плотности многомерного нормального распределения φ⋅ выполнено
38 φx-μ,Σφy-Ax,Ω∫φx-μ,Σφy-Ax,Ωdx=φx-μ-Σ~ATΩ-1y-Aμ,Σ~, Σ~=Σ-1+ATΩ-1A-1.
39 Поэтому
40 fat|y1:t=φat-a-t,P-t, P-t=RyatTΩyt-1Ryat+P~t-1-1,     a-t=a~t+P-tRyatTΩyt-1yt-Ryt-Ryata~t. Таким образом, в гауссовской линейной модели шаг предсказания задается формулами P~t=RaatP-t-1RaatT+Ωat,  a~t=Rat+Raata-t-1, а шаг обновления — P-t=P~t-1+N~t-1,     a-t=a~t+P-ts~t, где мы обозначили N~t=RyatΩyt-1Ryat,     s~t=RyatTΩyt-1yt-Ryt-Ryatat.
41 Эти рекуррентные формулы для a~t , P~t , P-t , a-t соответствуют классическому алгоритму фильтрации — фильтру Калмана (в одной из его возможных записей) (см., например, (Tanizaki, 1996)). Рекурсия начинается с P~1=Ωa1,     a~1=Ra1.
42 3. SQ-фильтр
43 Общие формулы фильтрации, записанные через многомерные интегралы, позволяют работать с произвольными моделями, но пользоваться ими напрямую слишком трудно. Фильтр Калмана — это удобный и несложный алгоритм для моделирования обучения агента2, но он позволяет работать только с очень ограниченным кругом моделей окружающего мира. Это связано с условием, что у наблюдаемой переменной yt нормальное условное распределение вида yt|at,y1:t-1∼NRyt+Ryatat,Ωyt, у которого математическое ожидание линейно по параметрам at , а значение ковариационной матрицы Ωyt точно известно заранее. Наша цель состоит в том, чтобы предложить более общий алгоритм, который был бы таким же простым, как фильтр Калмана, но позволял работать с более широким спектром моделей окружающего мира.
2. Насколько можно судить, до настоящего времени не только модели временных рядов семейств GAS (Creal, Koopman, Lucas, 2013) и DSC (Harvey, 2013), но и классический фильтр Калмана не использовались для моделирования обучения агентов в АОМ.
44 В гауссовском линейном случае плотность измерения равна fyt|at,y1:t-1=φyt-Ryt-Ryatat,Ωyt . Будем рассматривать эту плотность как функцию правдоподобия, считая yt наблюдением, а at — неизвестным параметром. Это не функция правдоподобия в обычном смысле, но в теории метода максимального правдоподобия (ММП) есть несколько понятий и результатов, которые нам здесь понадобятся.
45 Логарифмическая функция правдоподобия равна
46 λtat=-0,5k  ln2π-0,5lnΩyt-0,5yt-Ryt-RyatatTΩyt-1yt-Ryt-Ryatat.
47 При фиксированном yt это функция от at . Направление увеличения функции λt задается ее градиентом ∇λtat=RyatTΩyt-1yt-Ryt-Ryatat. В ММП этот градиент называется скор-вектором (score). Также важна матрица вторых производных λt (матрица Гессе): ∇2λta~t=-RyatTΩyt-1Ryat. Эти функции связаны с величинами s~t и N~t , которые мы определили выше и которые входят в формулы шага обновления фильтра Калмана:
48 s~t=∇λta~t=RyatTΩyt-1yt-Ryt-Ryata~t,     N~t=-∇2λta~t=RyatTΩyt-1Ryat.
49 С точки зрения теории ММП, если λtat  — логарифмическая функция правдоподобия, то математическое ожидание ее градиента (скор-вектора) ∇λtat , рассчитанное по плотности fyt|at,y1:t-1=expλtat, равно нулю, а ковариационная матрица градиента ∇λtat  — это так называемая информационная матрица. Чтобы отразить, что λtat зависит от yt, будем использовать более полную запись λtat;yt . В случае линейного гауссовского наблюдения информационная матрица равна
50 ∫∇λtat;yt∇λtTat;ytφyt-Ryt-Ryatat,Ωytdyt==∫RyatTΩyt-1yt-Ryt-Ryatatyt-Ryt-RyatatTΩyt-1Ryatφyt-Ryt-Ryatat,Ωytdyt==RyatTΩyt-1∫zzTφz,Ωytdz Ωyt-1Ryat=RyatTΩyt-1ΩytΩyt-1Ryat=RyatTΩyt-1Ryat.
51 (Мы воспользовались тем, что ковариационная матрица многомерного нормального распределения с плотностью φz,Ωyt  — это Ωyt .) Таким образом, информационная матрица здесь совпадает с величиной N~t .
52 Известный прикладной алгоритм фильтрации в случае нелинейных функций измерения и перехода — это так называемый расширенный фильтр Калмана, основанный на линеаризации нелинейных функций (см., например, (Tanizaki, 1996)). Мы воспользуемся приближенным алгоритмом, основанным на другом принципе — SQ-фильтром3. В нем вместо истинного логарифма плотности наблюдения λtat;yt=lnfyt|at,y1:t-1 используется квадратичная по переменной состояния at функция
3. State-quadratic — квадратичный по состоянию.
53 λta~t;yt+s~tTat-a~t-0,5at-a~tTN~tat-a~t,
54 где s~t и N~t  — это соответствующие градиент и информационная матрица: s~t=∇λta~t;yt,N~t=∫∇λta~t;yt∇λtTa~t;ytexpλta~t;ytdyt. При at=a~t приближение совпадает с λtat;yt по значению и первым производным. В общем случае вторые производные могут не совпадать, но -N~t по известному информационному тождеству ММП — это математическое ожидание матрицы вторых производных λtat;yt , рассчитанное по плотности expλta~t;yt : N~t=-∫∇2λta~t;ytexpλta~t;ytdyt.
55 Используя на шаге обновления вместо φyt-Ryt-Ryatat,Ωyt экспоненту указанного приближения, мы получаем те же рекуррентные формулы фильтрации, что и ранее для гауссовской линейной модели пространства состояний.
56 Рассмотренный алгоритм был первоначально предложен в статье (Авдеева, Цыплаков, 2015) для оценивания срочной структуры процентных ставок. Наиболее близкие аналоги описанного алгоритма — это модели временных рядов семейств GAS (Creal, Koopman, Lucas, 2013) и DSC (Harvey, 2013), также он напоминает семейство методов экспоненциального сглаживания (Hyndman et al., 2008; Лукашин, 2003) и метод стохастического градиента (Carceles-Poveda, Giannitsarou, 2007).
57 SQ-фильтр обладает рядом преимуществ по сравнению с указанными альтернативными методами. Методы экспоненциального сглаживания, стохастического градиента и метод калмановской фильтрации подходят только для очень узких классов переменных yt . Например, они не подходят для качественных переменных yt , имеющих дискретное распределение.
58 В этом смысле методы GAS и DSC более универсальные, поскольку основаны на скор-векторе произвольного распределения наблюдаемой переменной. SQ-фильтр можно рассматривать как их частный случай. Важным преимуществом SQ-фильтра по сравнению с GAS и DSC является то, что этот метод конкретизирует, как именно входит скор-вектор в рекурсии для меняющихся параметров. Например, если плотность наблюдения будет линейной гауссовской, то SQ-фильтр сведется к фильтру Калмана, который, как известно, обладает оптимальными свойствами. Методы GAS и DSC не дают здесь конкретных рекомендаций — на их основе можно сформулировать очень много разных алгоритмов, в том числе далеких от оптимальности.
59 SQ-фильтр позволяет руководствоваться при формулировке алгоритма обучения агента четкой процедурой. Сначала из содержательных соображений формулируется внутренняя модель окружающего мира для агента. Далее на основе данной модели формулируется вероятностная параметрическая модель для наблюдаемой переменной yt . Это дает плотность измерения expλtat и скор-вектор ∇λtTat . По плотности измерения аналитическим интегрированием вычисляется информационная матрица N~t . Скор-вектор и информационная матрица используются в формулах SQ-фильтра для обучения агента.
60 К недостаткам SQ-фильтра можно отнести то, что для получения матрицы N~t требуется интегрирование. В то же время для многих достаточно важных и полезных случаев интегрирование может быть произведено аналитически, что служит важным преимуществом SQ-фильтра по сравнению с фильтрацией в общей модели пространства состояний.
61 То что SQ-фильтр в общем случае является только приближением для точной фильтрации, не является принципиальным недостатком, поскольку правдоподобность и простота поведения агента более важны, чем полная оптимальность его поведения.
62 Один из самых удобных типов моделей окружающего мира для алгоритмов обучения — это линейные модели регрессии, поэтому конкретизируем описанный общий SQ-фильтр для случая регрессии с меняющимися параметрами. Для регрессионной ошибки выберем семейство распределений с толстыми хвостами. Это один из случаев, когда информационную матрицу для SQ-фильтра можно вычислить аналитически.
63 4. SQ-фильтр для регрессии с меняющимися параметрами
64 Рассмотрим линейную регрессионную модель общего вида yt=Xtβt+εt , где yt  — моделируемая переменная, Xt  — вектор-строка объясняющих переменных длины m-1 (обычно содержит единицу, отвечающую за константу). Переменные Xt для простоты будем считать фиксированными (хотя случайные регрессоры и лаги ряда yt не представляют проблемы). Пусть коэффициенты регрессии βt m-1×1 и дисперсия ошибки varεt=eht меняются во времени. Дисперсия зависит от показателя волатильности ht . Предположим, что динамика меняющихся параметров at=βt    htT задается линейным гауссовским процессом марковского вида с плотностью перехода f(at|a1:t-1,y1:t-1)=φat-at-1,Ωat, где ковариационная матрица блочно-диагональная:
65 Ωat=Ωat=Ωβt0m-10m-1Tωht=diagΩβt,ωht.
66 В использованных ранее обозначениях Rat=0m, Raat=Im .
67 Введем нормированную ошибку регрессии ξt=e-ht/2εt, т.е. ошибку с нулевым математическим ожиданием и нулевой дисперсией. При этом yt=Xtβt+eht/2ξt.
68 Для достижения робастности (устойчивости) регрессии к возможным выбросам (резко выделяющимся значениям) предположим, что ξt имеет t-распределение Стьюдента4 с κ степенями свободы, нормированное к единичной дисперсии, так что
4. Об использовании t-распределения в статистическом моделировании (Lange, Little, Taylor, 1989).
69 κκ-2 ξta1:t,y1:t-1∼Stκ,
70 где Stκ  — обычное t-распределение с плотностью
71 fSt,κT=Γκ+12/κπΓκ21+T2κ-κ+1/2.
72 Здесь мы учли, что дисперсия t-распределения равна κ/κ-2 . С учетом масштабирования плотность измерения в данном случае имеет вид
73 fyt|a1:t,y1:t-1=fSt,κκκ-2e-ht/2yt-Xtβtκκ-2e-ht/2.
74 Указанные плотности перехода и измерения задают модель регрессии с меняющимися параметрами. Найдем для данной модели SQ-фильтр. Соответствующая логарифмическая функция правдоподобия измерения равна
75 λt=λtat=lnfSt,κκκ-2 ξt+0,5lnκκ-2-0,5ht,
76 где ξt=ξtat=e-ht/2yt-Xtβt , или
77 λt=lnΓ0,5κ+1-lnΓ0,5κ-0,5lnπκ-2-0,5κ+1ln1+ξt2/κ-2-0,5ht.
78 Градиент функции λt равен
79 ∇λt=κ+1ξt/κ-2+ξt2e-ht/2XtT0,5κξt2-κ+2/κ-2+ξt2.
80 Вектор s~t получим, подставив в данную формулу h~t вместо ht и ξ~t=e-h~t/2yt-Xtβ~t вместо ξt .
81 Информационную матрицу измерения N~t найдем как ковариационную матрицу ∇λt с учетом того, что ξtκ/κ-2  имеет распределение Стьюдента, а ξt2κ/κ-2   — распределение Фишера со степенями свободы 1 и κ . Имеется известная связь между распределением Фишера и бета-распределением, из которой следует что ξt2/κ-2+ξt2∼B1/2,    κ/2, где B1/2,    κ/2  — бета-распределение с параметрами 1/2 и κ/2 .
82 Поскольку ξt имеет симметричное распределение, матрица N~t будет блочно-диагональной. Используя формулы моментов бета-распределения, получим
83 N~t=κκ+1κ-2κ+3e-h~tXtTXt00Tκ/2κ+6.
84 Предположим, что матрица P~1=Ωa1 является блочно-диагональной. Это свойство будет сохраняться для матриц P~t и P-t на дальнейших шагах SQ-фильтра. Введем соответствующие обозначения для диагональных блоков P~t=diagP~βt,p~ht, P-t=diagP-βt,p-ht.
85 Тогда уравнения SQ-фильтра можно разделить на уравнения для коэффициентов β и для волатильности h :
86 P~βt=P-β,t-1+Ωβt,     p~ht=p-h,t-1+ωht,     β~t=β-t-1,     h~t=h-t-1,
87 P-βt=P~βt-1+κκ+1κ-2κ+3e-h~tXtTXt-1,     p-ht=p~ht-1+κ2κ+6-1,
88 β-t=β~t+κ+1ξ~tκ-2+ξ~t2e-h~t/2P-βtXtT,    h-t=h~t+0,5p-htκξ~t2-κ+2κ-2+ξ~t2.
89 Произведем с этими уравнениями следующие преобразования. Во-первых, уберем волну над переменными, чтобы разгрузить обозначения. Во-вторых, заметим, что по свойствам матричных операций имеем P-βt=Pβt-PβtXtTct-2XtPβt,     e-ht/2P-βtXtT=κ-2κ+3κκ+1ct-2eht/2PβtXtT, где ct=κ-2κ+3κκ+1eht+XtPβtXtT. В-третьих, исключим из уравнений P-βt , β-t и h-t (предсказание для нас важнее, чем обновление). Тем самым мы получили уравнения5:
5. Заметим, что несложно распространить данный фильтр на случай нелинейной регрессии вида yt=ψtβt+εt . В приведенных формулах Xt заменяется на градиент ∇ψtT . Пример см. в (Авдеева, Цыплаков, 2015).
90 ξt=e-ht/2yt-Xtβt,     βt+1=βt+κ-2κ+3ξtκκ-2+ξt2eht/2ct-2PβtXtT,
91 Pβ,t+1=Pβt-PβtXtTct-2XtPβt+Ωβ,t+1,    ht+1=ht+0,5p-htκξt2-κ+2/κ-2+ξt2.
92 p-h,t+1=p-ht+ωh,t+1-1+κ/2κ+6-1.
93 Технические подробности численной реализации данного алгоритма приведены в Приложении.
94 Если ωh,t+1=ωh  — константа, то последовательность p-ht будет сходящейся. Таким образом, на практике можно упростить рекурсию для ht , исключив из алгоритма p-ht :
95 ht+1=ht+ρκξt2-κ+2/κ-2+ξt2,
96 где ρ  — половина соответствующего предела, коэффициент сглаживания.
97 Робастность фильтра к выбросам связана с тем, что квадрат ξt в знаменателе в рекурсиях для βt и ht приглушает влияние больших по модулю значений ξt , причем это проявляется в наибольшей степени при малых значениях параметра степеней свободы κ . В пределе при больших κ (при приближении распределения ошибок регрессии к нормальному) такая робастность теряется.
98 5. Обучение по адаптивной регрессии в модели искусственного фондового рынка
99 Модель была разработана в Институте Санта-Фе (Нью-Мексико, США) в конце 1980 – начале 1990-х годов. При описании модели мы будем опираться на статью (Arthur et al., 1997)6. Реализация несколько модифицированной модели на языке Objective-C в рамках агент-ориентированного инструментария Swarm имеется в свободном доступе7.
6. Другую литературу по этой модели можно найти на посвященной этой теме странице Л. Тесфатсион (Tesfatsion, 2012).

7. См. >>>>
100 Модель действует в дискретном времени ( t = 1, …,T ). На рынке идет торговля только одним видом акций с экзогенно определяемыми случайными дивидендами dt . Имеется также безрисковый актив с однопериодной ставкой rf . Участниками фондового рынка являются «трейдеры» и «специалист» (аукционист). Трейдеры i=1,…,N могут покупать и продавать акции (выбирать xti ). При этом можно открывать короткую позицию и брать в долг по ставке rf . Акции безгранично делимы. Всего имеется N акций (по числу трейдеров). Каждый период трейдер распределяет имеющееся у него богатство между деньгами и акциями.
101 Если в момент t трейдер i обладает богатством wit , цена акции равна pt и он включает в свой портфель xit акций, то в безрисковый актив будет вложена сумма wit-ptxit . В период t+1 вложения в акции дадут дивиденды dt+1 . Также можно будет продать акции по цене pt+1 , а вложения в безрисковый актив дадут проценты по ставке rf . Таким образом, в период t+1 трейдер будет обладать богатством wi,t+1=pt+1+dt+1xit+1+rfwit-ptxit.
102 Предполагается, что при составлении портфеля (выборе xit ) трейдер максимизирует ожидаемую полезность от богатства в следующем периоде исходя из той информации, которой обладает на момент t , т.е. он максимизирует величину Eituwi,t+1 по xit, где Eit  — условное математическое ожидание, соответствующее представлениям инвестора в момент t о распределении pt+1+dt+1 , а u⋅  — функция полезности.
103 Предполагается, что в соответствии с представлениями трейдера величина pt+1+dt+1 имеет нормальное условное распределение с математическим ожиданием Eitpt+1+dt+1 и дисперсией varitpt+1+dt+1 , а функция полезности трейдера uw относится к семейству функций CARA (constant absolute risk aversion — с постоянным абсолютным неприятием риска), т.е. uw=-exp-λw.
104 Трейдеры в модели идентичны по функции полезности и алгоритму поведения, но каждый из них имеет свои ожидания и использует их для формирования спроса. При указанных предположениях оптимальное решение xit зависит от двух первых условных моментов величины pt+1+dt+1 по формуле xit=Eitpt+1+dt+1-1+rfpt/λ varitpt+1+dt+1.
105 При сделанных предположениях спрос на акции устроен так, что не зависит от богатства. Это позволяет оставить изменение богатства трейдеров за рамками модели.
106 В течение каждого периода t происходит следующая последовательность событий:
107
  • в начале периода генерируется очередной дивиденд dt по модели авторегрессии первого порядка dt=d- +φdt-1-d-+εt, где независимая ошибка имеет нормальное распределение εt∼N0,σε2 ;
  • трейдеры используют dt , а также предысторию дивидендов и цен ( pt-1,dt-1,… ), чтобы сформировать прогноз для суммы дивидендов и цены в следующем периоде, т.е. для величины pt+1+dt+1 . Прогноз — это формула точечного прогноза Eti=Etipt и измеритель точности этого прогноза σti2;
  • далее каждый трейдер рассчитывает свою функцию спроса xtipt . При этом он использует Etipt в качестве Etipt+1+dt+1 и σti2 в качестве vartipt+1+dt+1 , так что его спрос оказывается равным xti=Etipt-1+rfpt/λσti2;
  • трейдеры сообщают свои функции спроса xtip специалисту, который вычисляет равновесную цену pt , удовлетворяющую уравнению ∑i=1nxtipt=N. Это будет цена на акции в период t;
  • каждый трейдер реализует имеющиеся у него акции xi,t-1 по цене pt , а затем включает в свой портфель xti=xtipt акций;
  • происходит обновление параметров прогнозных алгоритмов трейдеров, так как прогнозы предыдущего периода теперь можно сравнить с фактически реализовавшейся величиной pt+dt .
108 По условиям модели прогноз линеен по pt+dt : Etipt=atipt+dt+bti, и прогнозы трейдеры формируют путем обучения. В исходной модели у каждого трейдера есть набор из M предикторов, с помощью которых вычисляются Etipt , σti2 . Предикторы работают по принципу обучающейся системы классификаторов (learning classifier system). Выбор предиктора и его видоизменение определяются генетическими алгоритмами, показатель точности меняется по формуле простого экспоненциального сглаживания. Подробности алгоритмов обучения исходной модели мы здесь не рассматриваем (Arthur et al., 1997).
109 Работа модели определяется рядом параметров, которые перечислены в табл. 1.
110 Таблица 1. Базовая конфигурация модели искусственного фондового рынка
111
Атрибут модели Значение
Число агентов (трейдеров) N 25
Количество акций N Совпадает с числом агентов
Средний дивиденд d- 10
Коэффициент авторегрессии для дивидендов φ 0,95
Дисперсия ошибки для дивидендов σε2 0,0743
Безрисковая ставка за период rf 0,1
Коэффициент функции полезности CARA λ 0,5
112 Заметим, что у рассматриваемой агент-ориентированной модели искусственного фондового рынка имеется теоретический аналог — однородное равновесие с рациональными ожиданиями (Arthur et al., 1997). В этом равновесии цена ptREE линейно связана с дивидендами pt=ptREE=fdt+g, где f=φ/1+rf-φ,     g=1+frf-11-φd--λ1+fσε2.
113 Прогноз pt+1+dt+1 как функция pt+dt имеет вид Etpt+1+dt+1=apt+dt+b, где a=φ,  b=1-φ1+fd-+g, а соответствующая условная дисперсия равна vartpt+1+dt+1=1+f2σε2.
114 Результаты работы агент-ориентированной модели можно непосредственно сопоставить с этим теоретических равновесием. Априори не вполне понятно, покажет ли АОМ результаты, близкие к теоретическим. «Характерной чертой экономической среды является то, что она состоит из агентов, каждый из которых может стараться изучать эту окружающую среду и тем самым то, что делают другие агенты. Это быстро становится очень сложным, и совсем не ясно, будет ли поведение индивидуумов «совместно эволюционировать» к чему-то, соответствующему теоретическому решению для статического равновесия» (Kirman, 2011).
115 В отличие от (Arthur et al., 1997) мы используем в качестве алгоритма обучения SQ-фильтр. Цена pt играет роль наблюдения yt . Формулу прогноза возьмем линейного вида, но более общую, с разными коэффициентами для цены и дивидендов: Etipt=ati1pt+ati2dt+bti. Это дает регрессию с меняющими коэффициентами βti=ati1,ati2,btiT и меняющейся дисперсией ehti , которую можно использовать в качестве σti2. Остальные параметры фильтра были выбраны следующими: κ=6 , Ωβt=Ωβ=diag0,0032,     0,0122,     0,032, P~β1=100Ωβ , ρ=0,01 . Первоначальные значения коэффициентов β1i выбирались случайно, но достаточно близкими к тем, которые получаются в равновесии с рациональными ожиданиями, если сделать прогнозную функцию линейной не по pt+dt , а по дивидендам dt : 0×pt+φ1+fdt+1-φ1+fd-+g.