Données de mesure agrégées

Préparation

Si l’ancienne agrégation de données (<=8.1.2) est active, il est nécessaire de désactiver la tâche de synchronisation PostgreSQL.

psql -U infosim -d infosim -c "SELECT delete_job((SELECT max(job_id) FROM timescaledb_information.jobs where proc_schema = 'stablenet' AND proc_name = 'update_measurement_data_aggregated'));"

De plus, il est conseillé de supprimer les anciennes tables d’agrégation et de refactoriser les requêtes de données afin d’utiliser celles créées par la nouvelle synchronisation des données.

Assurez-vous que les paramètres dans /etc/stablenet-fdw/stablenet-fdw.conf sont corrects.

Synchronisation initiale

La synchronisation des données de mesure depuis StableNet/Oracle/MySQL est effectuée à l’aide des scripts SKOOR suivants, créés dans le groupe StableNet lors de l’exécution de init-data-source.py.

Les scripts doivent être exécutés manuellement la première fois dans l’ordre séquentiel afin de s’assurer que tout fonctionne correctement.

Lors de la première exécution des scripts, seules les données du jour en cours sont synchronisées. Les données historiques peuvent être synchronisées ultérieurement, après la configuration de la synchronisation automatique.

La variable d’environnement SERVER_ID n’est nécessaire que si elle est configurée. Ces commandes doivent être exécutées séparément pour chaque SERVER_ID.

Synchronisation des mesures

Ce script synchronise les mesures depuis l’API StableNet en fonction des filtres de tags configurés. Cela est ensuite utilisé dans la synchronisation incrémentielle pour synchroniser uniquement les données des mesures requises.

Synchronisation incrémentielle

Cette commande synchronise les données de mesure brutes d’Oracle/MySQL vers PostgreSQL. À chaque exécution, seules les nouvelles données sont synchronisées. Les données sont stockées dans sn_ping_data, sn_snmp_data et sn_usrscript_data. De plus, elle agrège ces données brutes dans la table stablenet_measurement_data_minutely, qui contient value_avg, value_min et value_max.

Synchronisation des agrégats

Cette étape est facultative et n’est requise que si vous avez besoin des intervalles de 5 et 15 minutes. Sinon, passez directement à la synchronisation horaire. Si vous n’en avez pas besoin, vous devez également supprimer les tailles d’intervalle correspondantes de la requête de données dq_stablenet_measurement_data.

Agrège les données brutes issues de la synchronisation incrémentielle en intervalles de 5 minutes et 15 minutes. Les données sont stockées dans stablenet_measurement_data_5_minutely et stablenet_measurement_data_15_minutely. Les tables résultantes contiennent les colonnes value_avg, value_min et value_max pour les lignes agrégées.

Synchronisation des agrégats horaires

Agrège les données de la table stablenet_measurement_data_minutely dans stablenet_measurement_data_hourly. Bien que cette table contienne value_min et value_max, elle ne contient pas value_avg. À la place, elle contient des colonnes statistiques TimescaleDB (stats_agg statssummary2d, percentile_agg uddsketch, state_agg stateagg, ). Ces colonnes peuvent ensuite être utilisées pour obtenir de nombreuses informations statistiques sur les données agrégées.

Les mesures pour lesquelles récupérer des données state_agg doivent être configurées dans /etc/stablenet-fdw/stablenet-fdw.conf à l’aide de l’option snmp_state_agg_measurements. Les mesures sont définies par le nom du modèle et la clé de métrique, par ex.

snmp_state_agg_measurements = Interface Relative IPMPLS 64Bit#1008

Plusieurs paires mesure / clé de métrique peuvent être séparées par une virgule.

N’activez state_agg que sur des mesures / métriques à faible cardinalité, c’est-à-dire ne comportant que très peu de valeurs distinctes (par ex. des énumérations).

Synchronisation des statistiques

Effectue un regroupement des données statistiques de stablenet_measurement_data_hourly vers stablenet_measurement_data_daily, stablenet_measurement_data_weekly, stablenet_measurement_data_monthly, stablenet_measurement_data_quartely et stablenet_measurement_data_yearly.

Synchronisation automatique

Après avoir exécuté les scripts de synchronisation manuellement, nous souhaitons activer les planifications des scripts afin d’effectuer la synchronisation automatiquement.

image-20261021-095724.png

Synchronisation de l’historique

Exécutez ce script APRÈS la synchronisation initiale et APRÈS avoir configuré la synchronisation automatique.

Ce script synchronise les données historiques en fonction de la configuration days, start_date et end_date de [history_sync]. En général, pour une synchronisation initiale de l’historique, il suffit de définir days ou de conserver les paramètres tels quels et de simplement synchroniser sur un an en arrière.