📊 О проекте
Данный модуль представляет собой ядро системы расчета абсолютных валютных курсов - инновационного подхода к оценке стоимости валют, основанного на математической оптимизации парных котировок. Проект реализован в формате Jupyter Notebook и функционирует на платформе Kaggle.
Адрес тетради - https://www.kaggle.com/code/eavprog/abscur2
🎯 Основное назначение
Модуль выполняет три критически важные функции:
Extract - сбор сырых данных с финансовых API
Transform - преобразование и математическая обработка данных
Load - сохранение результатов в структурированном виде
📥 Входные данные
Система использует данные от проверенного провайдера AlphaVantage через специально разработанный Python-модуль lib_av.
Охват данных:
85 валютных пар Forex (EURUSD, USDRUB, GBPJPY и другие)
5 товарных ETF (золото, нефть, платина, палладий, серебро)
Историческая глубина: до 10 лет ежедневных котировок
Тип данных: цены открытия, максимумы, минимумы и закрытия
📤 Выходные данные
Исходные данные
Валютные пары (директория pairs/)
Индивидуальные CSV-файлы для каждой пары
Полная история торговых данных
Товарные активы (директория commodities/)
Данные по биржевым фондам на сырьевые товары
Включая объемы торгов
Агрегированные данные
Абсолютные курсы (abscur.csv)
Рассчитанные значения для 45 валют
Широкий формат для удобства анализа
Сводные котировки (pairs_close.csv)
Объединенные данные по всем валютным парам
Идеально для построения моделей и исследований
Оперативные срезы
Последние значения (abscur_last.csv, pairs_last.csv)
Данные на последнюю доступную дату
Длинный формат для удобства отображения
⚙️ Технологический процесс
1. Инициализация системы
Загрузка необходимых библиотек (pandas, numpy, matplotlib)
Импорт кастомного модуля работы с API
Настройка параметров и констант
2. Сбор данных
Последовательный запрос данных с соблюдением лимитов API
Автоматические паузы между запросами
Предварительная валидация качества данных
3. Математическая обработка
Построение матриц валютных пар
Квадратичная оптимизация для расчета абсолютных курсов
4. Контроль качества
Проверка на пропуски и аномалии
Визуализация результатов
Анализ корреляций и остатков
5. Сохранение результатов
Структурированное хранение в CSV-формате
Автоматическое именование файлов
Проверка целостности данных
🔗 Интеграции
Модуль работает как автономная система, генерирующая данные для:
Других исследовательских проектов на Kaggle
Внешних аналитических систем
Веб-приложений и дашбордов
🚀 Запуск и использование
Платформа: Kaggle Notebooks
Периодичность: Ежедневное автоматическое выполнение
Требования: Стандартные Python-библиотеки + модуль lib_av
🔮 Перспективы развития
Внедрение системы оповещений об ошибках
Расширение списка отслеживаемых активов
Улучшение алгоритмов валидации данных
Поддержка дополнительных форматов экспорта
💡 Научная значимость
Проект представляет практическую реализацию математического подхода к оценке валютных курсов, исключающего субъективные факторы. Методология основана на оптимизационных алгоритмах и обеспечивает:
Объективность расчетов
Согласованность всех валют
Возможность верификации результатов
Модуль продолжает развиваться и является открытым для использования исследовательским сообществом. Все генерируемые данные доступны для свободного использования в аналитических и научных целях.
Комментариев нет:
Отправить комментарий