No Data de mesure agrégée

Préparation

Si l'ancienne agrégation de données (<=8.1.2) est active, il est nécessaire de désactiver la tâche de synchronisation PostgreSQL.

psql -U infosim -d infosim -c "SELECT delete_job((SELECT max(job_id) FROM timescaledb_information.jobs where proc_schema = 'stablenet' AND proc_name = 'update_measurement_data_aggregated'));"

Il est en outre conseillé de supprimer les anciennes tables d'agrégation et de refactoriser les requêtes de données afin d'utiliser celles créées par la nouvelle synchronisation des données.

Assurez-vous que les paramètres du fichier /etc/stablenet-fdw/stablenet-fdw.conf sont corrects.

Synchronisation initiale

La synchronisation des données de mesure depuis StableNet/Oracle/MySQL s'effectue à l'aide des scripts SKOOR suivants, créés dans le groupe StableNet lors de l'exécution de la commande `init-data-source.py`.

Ces scripts doivent être exécutés manuellement la première fois, dans l’ordre, afin de s’assurer que tout fonctionne correctement.

Lors de la première exécution des scripts, seules les données du jour en cours sont synchronisées. Les données historiques peuvent être synchronisées ultérieurement, une fois la synchronisation automatique configurée.

La variable d’environnement SERVER_ID n’est nécessaire que si elle est configurée. Ces commandes doivent être exécutées séparément pour chaque SERVER_ID.

Synchronisation des mesures

Ce script synchronise les mesures depuis l’API StableNet en fonction des filtres de balises configurés. Ces données sont ensuite utilisées lors de la synchronisation incrémentielle pour ne synchroniser que les données relatives aux mesures requises.

Synchronisation incrémentielle

Cette commande synchronise les données brutes de mesure depuis Oracle/MySQL vers PostgreSQL. À chaque exécution, seules les nouvelles données sont synchronisées. Les données sont stockées dans les tables sn_ping_data, sn_snmp_data et sn_usrscript_data. De plus, elle agrège ces données brutes dans la table stablenet_measurement_data_minutely, qui contient les colonnes value_avg, value_min et value_max.

Synchronisation agrégée

Cette étape est facultative et n’est requise que si vous avez besoin des tranches de 5 et 15 minutes. Sinon, passez plutôt à la synchronisation horaire. Si vous n’en avez pas besoin, vous devez également supprimer les tailles de tranches correspondantes de la requête de données `dq_stablenet_measurement_data`.

Agrège les données brutes issues de la synchronisation incrémentielle en tranches de 5 et 15 minutes. Les données sont stockées dans les tables « stablenet_measurement_data_5_minutely » et « stablenet_measurement_data_15_minutely ». Les tables résultantes contiennent les colonnes « value_avg », « value_min » et « value_max » pour les lignes agrégées.

Synchronisation horaire agrégée

Agrège les données de la table « stablenet_measurement_data_minutely » dans la table « stablenet_measurement_data_hourly ». Bien que cette table contienne les colonnes « value_min » et « value_max », elle ne contient pas la colonne « value_avg ». À la place, elle contient des colonnes statistiques de timescaledb (« stats_agg statssummary2d », « percentile_agg uddsketch », « state_agg stateagg »). Ces colonnes peuvent ensuite être utilisées pour obtenir de nombreuses informations statistiques sur les données agrégées.

Les mesures pour lesquelles vous souhaitez obtenir des données « state_agg » doivent être configurées dans le fichier /etc/stablenet-fdw/stablenet-fdw.conf à l’aide de l’option « snmp_state_agg_measurements ». Les mesures sont définies par un nom de modèle et une clé de métrique. Par exemple :

snmp_state_agg_measurements = Interface Relative IPMPLS 64Bit#1008

Plusieurs paires mesure/clé métrique peuvent être séparées par une virgule.

N’activez « state_agg » que sur les mesures / métriques à faible cardinalité, c’est-à-dire ne comportant que très peu de valeurs distinctes (par exemple, des énumérations).

Synchronisation des statistiques

Effectue un regroupement des données statistiques de stablenet_measurement_data_hourly vers stablenet_measurement_data_daily, stablenet_measurement_data_weekly, stablenet_measurement_data_monthly, stablenet_measurement_data_quartely et stablenet_measurement_data_yearly.

Synchronisation automatique

Après avoir exécuté manuellement les scripts de synchronisation, nous souhaitons activer les planifications des scripts afin que la synchronisation s'effectue automatiquement.

Synchronisation de l'historique

Exécutez ce script APRÈS la synchronisation initiale et APRÈS avoir configuré la synchronisation automatique.

Ce script synchronise les données historiques en fonction des paramètres [history_sync] : days, start_date et end_date. En général, pour une première synchronisation de l'historique, vous pouvez vous contenter de définir le nombre de days ou conserver les paramètres tels quels et simplement synchroniser les données des days de l'année écoulée.