Лаборатория методов и технологий работы со сверхбольшими архивами данных космического мониторинга
Руководитель лаборатории
к. т. н. Андрей Алексеевич ПРОШИН
Основная тематика
- разработка новых методов и подходов организации хранения и параллельной обработки сверхбольших объемов данных для решения задач анализа долговременных наблюдений в интересах ведения мониторинга и изучения различных процессов и явлений;
- развитие комплекса взаимосвязанных и дополняющих друг друга физико-математических моделей для диагностики и прогнозирования состояния высокоширотной ионосферы;
- исследование и разработка методов машинного обучения, глубокого обучения для обработки и анализа больших массивов астрономических данных в задачах наблюдательной астрофизики и методов обучения с подкреплением для задач комбинаторной оптимизации.
О лаборатории
Лаборатория была создана в 2019 г. в рамках реализации национального проекта «Наука и университеты» с целью создания новых подходов для работы с большими данными в космических исследованиях.
Основные достижения лаборатории
- На основе современных подходов реализованы новые методы организации работы с данными сверхбольших архивов спутниковых наблюдений Земли для решения различных научных и прикладных задач. В частности, была разработана и внедрена технология динамического блочного доступа, предназначенная для организации эффективной обработки спутниковых данных и обеспечения к ним доступа пользователей
- На основе анализа больших массивов данных измерений низкоорбитальных полярных спутников SWARM получены характеристики продольных токов во время магнитных бурь 24 солнечного цикла, выявлены мелкомасштабные структуры экстремально высокой плотности и установлена их связь с локальными авроральными дугами и электроджетами. Проведенная валидация численной модели F области полярной ионосферы по длинным рядам данных непрерывных измерений радара некогерентного рассеяния ESR показала адекватность модельного описания параметров до высот ~300 км
- Созданы алгоритмы глубокого обучения для сегментации и поиска объектов в данных микроволновых обзоров неба и морфологической классификации галактик на оптических изображениях, разработаны модели машинного обучения для классификации и измерения расстояний (красных смещений) рентгеновских объектов с использованием табличных данных многоволновых фотометрических обзоров неба.
Подробно результаты работы лаборатории представлены в отчетах (формат .pdf):
Сегодня в лаборатории работают 8 сотрудников. Также в работах, выполняемых лабораторией, участвуют специалисты отделов физики космической плазмы и астрофизики высокий энергий ИКИ РАН.
