Анализ поведения клиентов по депозитам с использованием LSTM

Тема выпускной квалификационной работы: «Моделирование поведения клиентов по депозитам с использованием LSTM и механизмов внимания для динамического ценообразования банковских вкладов».

Работа содержит 100 страниц, 32 таблицы, 30 рисунков и 29 источников литературы.

Цель работы – разработка нейросетевой модели прогнозирования депозитного поведения клиентов на основе LSTM с механизмом внимания для поддержки решений по динамическому ценообразованию.

В аналитической части рассмотрены методы прогнозирования временных рядов и модели машинного обучения применительно к депозитному портфелю АО «Альфа-Банк», сопоставлены ARIMA, GRU и LSTM с механизмом внимания, обоснован выбор итоговой архитектуры.

В теоретической части описаны источники данных АО «Альфа-Банк», депозитные продукты банка, выполнена предобработка обезличенной панельной выборки клиентов за 2019–2024 гг., сформированы временные признаки и структура входных данных для моделей ARIMA, GRU и LSTM.

В проектной части модели обучены на выборке клиентов АО «Альфа-Банк», сопоставлены результаты ARIMA, GRU, базовой LSTM и LSTM с механизмом внимания; итоговая модель достигла ROC-AUC 0,93 и F1 0,81 и использована в прототипе динамического ценообразования.

1 АНАЛИТИЧЕСКАЯ ЧАСТЬ 5

1.1 Методы анализа временных рядов и прогнозирования в банковской сфере 5

1.2 Методы машинного обучения и глубокого обучения для моделирования поведения клиентов 16

1.3 Архитектуры рекуррентных нейронных сетей и их применение к финансовым данным 27

1.4 Механизмы внимания в задачах прогнозирования временных рядов 35

2 ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 40

2.1 Исходные данные по депозитным продуктам и поведению клиентов банка 40

2.2 Подготовка данных для обучения моделей глубокого обучения 48

2.3 Разработка нейросетевой модели прогнозирования депозитного поведения клиентов 60

3 ПРОЕКТНАЯ ЧАСТЬ 67

3.1 Результаты обучения базовой LSTM-модели для депозитных данных 67

3.2 Исследование влияния архитектуры модели и механизмов внимания на качество прогнозирования 71

3.3 Анализ влияния количества эпох обучения и размера обучающей выборки на метрики качества 75

3.4 Оценка результатов прогнозирования и анализ ошибок модели 80

3.5 Применение разработанной модели для динамического ценообразования банковских вкладов 85

ЗАКЛЮЧЕНИЕ 88

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 90

ПРИЛОЖЕНИЯ 93

ПРИЛОЖЕНИЕ А. Программный код для разведывательного анализа данных 93

ПРИЛОЖЕНИЕ Б. Программный код реализации LSTM-модели с механизмом внимания 99

2. Кондратьева Т. Н. Прогнозирование с помощью многослойной рекуррентной нейронной сети LSTM // Обозрение прикладной и промышленной математики. – 2017. – № 1. – С. 73–74.

3. Hyndman R. J., Khandakar Y. Automatic Time Series Forecasting: The forecast Package for R // Journal of Statistical Software. – 2008. – Vol. 27, No. 3. – P. 1–22. – URL: https://www.jstatsoft.org/v27/i03/ (

4. Cho K., van Merrienboer B., Gulcehre C., Bahdanau D., Bougares F., Schwenk H., Bengio Y. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation [Электронный ресурс]. – arXiv:1406.1078, 2014. – URL: https://arxiv.org/abs/1406.1078

5. Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate [Электронный ресурс]. – ICLR, 2015. – URL: https://arxiv.org/abs/1409.0473

6. Лозовская А. Н., Матыцын А. В. Применение адаптивной селективной модели к прогнозированию стоимости низковолатильных акций компании // Экономика и предпринимательство. – 2021. – № 7(132). – С. 865–869.

7. Алжеев А. В., Кочкаров Р. А. Сравнительный анализ прогнозных моделей ARIMA и LSTM на примере акций российских компаний // Финансы: теория и практика. – 2020. – № 1. – С. 14–23.

8. Байбуза И. Прогнозирование инфляции с помощью методов машинного обучения // Деньги и кредит. – 2018. – № 4. – С. 42–59.

9. Chakraborty C., Joseph A. Machine Learning at Central Banks // Bank of England Working Papers. – 2017. – N 674.

10. Romer D. Advanced Macroeconomics. 4th ed. – New York, NY: McGraw-Hill Irwin, 2012. – 738 p.

11. Pavlov E. Forecasting Inflation in Russia Using Neural Networks // Russian Journal of Money and Finance. – 2020. – № 1. – P. 57–73.

12. Stock J. H., Watson M. W. Why Has U.S. Inflation Become Harder to Forecast? // Journal of Money, Credit and Banking. – 2007. – № 1. – P. 3–33.

13. Szafranek K. Bagged Artificial Neural Networks in Forecasting Inflation: An Extensive Comparison with Current Modelling Frameworks // NBP Working Paper. – 2017. – N 262.

14. Vapnik V. N., Chervonenkis A. Y. On the uniform convergence of relative frequencies of events to their probabilities. In: Measures of complexity. – Springer, Cham, 2015. – Pp. 11–30.

15. Gonzalez-Diaz R., Gutiérrez-Naranjo A., Paluzo-Hidalgo E. Representative datasets: the perceptron case [Электронный ресурс]. – arXiv preprint arXiv:1903.08519, 2019. – URL: https://arxiv.org/abs/1903.08519

16. Roh Y., Heo G., Whang S. E. A survey on data collection for machine learning: a big data-ai integration perspective // IEEE Transactions on Knowledge and Data Engineering. – 2019. – URL: https://doi.org/10.1109/TKDE.2019.2946162

17. Kotsiantis S. B., Zaharakis I., Pintelas P. Supervised machine learning: A review of classification techniques // Emerging Artificial Intelligence Applications in Computer Engineering. – 2007. – Vol. 160, no. 1. – Pp. 3–24.

18. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks // Communications of the ACM. – 2017. – Vol. 60, no. 6. – Pp. 84–90.

19. Lin T. Y., Goyal P., Girshick R., He K., Dollár P. Focal loss for dense object detection // Proceedings of the IEEE International Conference on Computer Vision. – 2017. – Pp. 2980–2988.

20. Chawla N. V., Bowyer K. W., Hall L. O., Kegelmeyer W. P. SMOTE: synthetic minority over-sampling technique // Journal of Artificial Intelligence Research. – 2002. – Vol. 16. – Pp. 321–357.

21. He H., Bai Y., Garcia E. A., Li S. ADASYN: Adaptive synthetic sampling approach for imbalanced learning // 2008 IEEE International Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence). – 2008. – Pp. 1322–1328.

22. Longadge R., Dongre S. Class imbalance problem in data mining review [Электронный ресурс]. – arXiv preprint arXiv:1305.1707, 2013. – URL: https://arxiv.org/abs/1305.1707

23. Japkowicz N., Stephen S. The class imbalance problem: A systematic study // Intelligent Data Analysis. – 2002. – Vol. 6, no. 5. – Pp. 429–449.

24. Buda M., Maki A., Mazurowski M. A. A systematic study of the class imbalance problem in convolutional neural networks // Neural Networks. – 2018. – Vol. 106. – Pp. 249–259.

25. Johnson J. M., Khoshgoftaar T. M. Survey on deep learning with class imbalance // Journal of Big Data. – 2019. – Vol. 6, no. 1. – Pp. 1–54.

26. АО «Альфа-Банк». Вклады для физических лиц [Электронный ресурс]. – URL: https://alfabank.ru/make-money/deposits/

27. АО «Альфа-Банк». Накопительный Альфа-Счёт [Электронный ресурс]. – URL: https://alfabank.ru/make-money/savings-account/alfa/

28. АО «Альфа-Банк». Финансовые результаты по итогам 2024 года [Электронный ресурс]. – URL: https://alfabank.ru/news/t/release/alfa-bank-poluchil-2053-mlrd-rublei-chistoi-pribili-po-itogam-2024-goda/