write: 29/09/2025 / modified: 30/09/2025
Сбор и анализ чего либо
Все началось с заметки на Хабре Pet-проекты и данные для Data-Engineer. Жуть как захотелось что нибудь распарсить, получить, сохранить и анализировать! Но парсить HTML не очень то и хотелось. Поэтому сначала я начал искать доступные API.
Первое, что мне попалось Asteroids - NeoWs от NASA, NeoWs (Near Earth Object Web Service) — это веб-сервис для получения информации о околоземных астероидах. С помощью NeoWs пользователь может: искать астероиды по дате их максимального сближения с Землёй, находить конкретный астероид по его идентификатору малых тел NASA JPL, а также просматривать весь набор данных.
Но как оказалось, айпи адреса Российской Федерации не пускают, по началу я заморочился с 
, и даже собрал порядка 7 тысяч данных, набросал веб интерфейс, а потом бесплатный отвалился. И слишком долго я провозился с этим делом: отдельный докер контейнер для , трафик приложения на питоне в другом докер контейнере пропускать через контейнер с . Фух, я даже писать об этом устал.
Оказалось, из всего разнообразия доступных апи у НАСА, РФ блокирует только NeoWs. Так мой выбор пал на EONET.
EONET - The Earth Observatory Natural Event Tracker
Система отслеживания природных явлений. В тропиках регулярно наблюдаются штормы, в пустынях — пыльные бури, летом — лесные пожары. Эти явления происходят постоянно, и снимки NASA NRT могут отображать их все с использованием различных параметров данных.
НУЖНО БОЛЬШЕ КАТАСТРОФ! Данных оказалось не много, в БД были добавлены так же:
USGS- Геологическая служба США, возглавляет национальные усилия по картированию минеральных ресурсов и анализу цепочек поставок, необходимых для развития экономики США и обеспечения национальной безопасности. А еще ведет обширную базу землетрясений.
GDACS- Глобальная система оповещения и координации стихийных бедствий — это совместная инициатива Управления Организации Объединенных Наций по координации гуманитарных вопросов и Европейской комиссии, которая служит для консолидации и улучшения распространения информации, связанной со стихийными бедствиями.
| Источник | Период | Количество записей |
|---|---|---|
| EONET | 35 лет | 15 128 записей |
| USGS | 35 лет | 333 742 записи |
| GDACS | 21 год | 103 141 записей |
В процессе загрузки датасета "Пожары в России: данные о местах и типах природных пожаров за 2012–2021гг".
Данные приведены по следующим атрибутам: дата возгорания в формате ГГГГ-ММ-ДД, описание типа пожара, его долгота и широта. В данных выделено несколько типов природных пожаров: лесной — пожар, распространяющийся по лесной площади; торфяной — пожар, при котором горит торфяной слой заболоченных и болотных почв; неконтролируемый пал — выжигание травы с нарушением требований правил пожарной безопасности; контролируемый пал — выжигание травы с участием и по предварительному согласованию с Государственной противопожарной службой; природный — пожар, распространяющийся в других природных зонах.
Впервые датасет был опубликован и использован для построения ML-моделей в рамках хакатона AI Journey Contest 2021.
Набор содержит 660 254 наблюдения за период с 2012 по 2021 год. Полнота данных (количество внесенных в датасет точек пожаров) повышается к 2019-2020 гг.
На данный момент история уместилась в 597мб.
Природа пытается нас убить, а я веду рейтинг её атак.
Карта природных катастроф
Наша планета в ярости, будьте в курсе её истерик!
На странице отображается карта с фильтрами по умолчанию, отображаются текущие события в мире из EONET имеющие статус "Активно". Дополнительно чекбоксами можно включить отображение событий с статусом "Закрыто". Можно включить отображение землетрясений из USGS, но так как записи не имеют статусов, их количество будет огромно на карте. Ну и третий чекбокс отобразить данные с GDACS.
Ниже под картой таблица с всеми отфильтрованными событиями. ЛКМ по событию центрирует событие на карте.
И аналогично, ЛКМ по иконке на карте показывает запись в таблице и выводит попап с краткой информацией и погодой на момент события из NASA POWER.
Между EONET и GDACS проводится матчинг, если у события из EONET есть связь с данными из GDACS они отображаются в модальном окне (ПКМ по событию на карте).
В модальном окне подгружается погода, основные погодные параметры на момент начала катастрофы (из NASA POWER). А так же, если есть данные GDACS, подгружаются полигоны для визуализации масштабов события.
Дополнительно можно посмотреть траекторию плавания ледников (пунктирная белая линия) и траекторию движения штормов и ураганов (ПКМ по событию на карте).
Вот так это выглядит на мобильных устройствах
Что дальше?
Понятия не имею, очередное героическое преодоление никому не нужных проблем.
[06.02.2025] - Упаковать в docker контейнер. Разместить по адресу https://disaster.tuduf.ru
[06.02.2025] - Больше визуализации
[03.09.2025] - Наложение дополнительных слоев на карту. Карта "теплоты" (heatmap) катастроф.
[04.09.2025] - Интеграция ML: Простой прогноз (scikit-learn): на основе погоды предсказывать риск.
[10.09.2025] - Интерактивный "Атлас катастроф" по годам и типам. Глобальная хронология: ползунок времени (timeline) за 25 лет.
tags: python php programming javascript sqlite