Big Data ныне очень модный и идущий на резкий подъем раздел прикладного ПО. Для тех, кто касался этого предмета в последнее время, наверняка сталкивался с тем, что наиболее популярным инструментом для работы с Big Data становится модуль PANDAS скриптового языка Python. И как правило при освоении PANDAS подопытной инфой является датафреймы собранные с финансовых бирж(или, что реже, не очень большие таблицы от статистических отделов гос.учреждений или мерий городов США). Как правило репозитарием биржевых сводок выступает портал Yahoo Finance. Доступ к данным осуществляется тоже через питоновский модуль yfinance. Но обработка уже в PANDAS.
Так например можно там взять ежедневные биржевые сводки акций Microsoft с четырех ведущих мировых бирж с начала 90-х. На первый взгляд вроде "круто" за 33 года аж 12тыс. записей. Но для Панд это просто мелочь. Там и разогнаться негде даже на самом простеньком компе. Единственная заминка на пару минут при расчете стат-модели по методу Холта-Винтера... И далее уж прогнозы по этой модели выплевываются уже без заминок... И все авторы книжек и обучающих курсов друг у друга копируют и копипастят одно и тоже.
Но есть и другие репозитарии с более мощным и интересным наполнением для освоения Big Data. И это в первую очередь Binance. Так к доступу к ежедневным сводкам можно получить используя код(Python), который представители Binance разместили на . И там же размещены рекомендации по даунлоду и обработке. Рекомендуют - PANDAS. Так например файл с записью всех сделок по основной паре BTCUSDT за 2023-03-14 имеет более 14млн записей сделок. И это только за один день. Кроме сырых(row) данных бинансники на их основе предлагают и агрегированные. Например клайны с интервалами за 1s, 1m, 3m, 5m, 15m, 30m, 1h, 2h, 4h, 6h, 8h, 12h, 1d, 3d, 1w, 1mo
Так 1s клайн уже имеет 86400 записей за день и за год их набегает чуть больше 3млн и они существенне компактнее, чем записи сырых трейдов. Далее я привожу совмещенный график на основе "минутки" - 1m за три дня. Всего 1440х3 = 4320 точек. Первый - это за первые дни января
2020, а 3 - это середина мая 2023. Для совместимости масштаба оба датафейма были нормированы, т.е. приведены к интервалу [0,1].
Скрытый текст
Что еще можно отметить - ежедневная волатильность более 1.5%. На приведенном графике - более 7%, но это уже за 3дня. В общем картинка весьма интересная: репозитарий Binance - это идеально структурированные данные для работы с ними в PANDAS.
P.S. Уже встречаются в сети стратегии работы с этими данными.
