No Data de mesure agrégée

Préparation

Si l'ancienne agrégation de données (<=8.1.2) est active, il est nécessaire de désactiver la tâche de synchronisation PostgreSQL.

psql -U infosim -d infosim -c "SELECT delete_job((SELECT max(job_id) FROM timescaledb_information.jobs where proc_schema = 'stablenet' AND proc_name = 'update_measurement_data_aggregated'));"

De plus, il est conseillé de supprimer les anciennes tables d'agrégation et de refactoriser les requêtes de données afin d'utiliser celles créées par la nouvelle synchronisation des données.

Assurez-vous que les paramètres dans /etc/stablenet-fdw/stablenet-fdw.conf sont corrects.

Synchronisation initiale

Les commandes suivantes sont utilisées pour synchroniser les données de mesure à partir de StableNet/Oracle/MySQL.

Les commandes doivent être exécutées manuellement la première fois dans l'ordre séquentiel afin de s'assurer que tout fonctionne correctement.

Lorsque vous exécutez les commandes pour la première fois, seules les données du jour actuel sont synchronisées. Les données historiques peuvent être synchronisées ultérieurement, après la configuration de la synchronisation automatique.

L'argument server_id n'est nécessaire que s'il est configuré. Ces commandes doivent être exécutées séparément pour chaque server_id.

Synchronisation des mesures

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id>]

Cette commande synchronise les mesures de l'API StableNet en fonction des filtres de balises configurés. Elle est ensuite utilisée dans la synchronisation incrémentielle pour synchroniser uniquement les données des mesures requises.

Synchronisation incrémentielle

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id>]

Cette commande synchronise les données de mesure brutes d'Oracle/MySQL vers PostgreSQL. À chaque exécution, seules les nouvelles données sont synchronisées. Les données sont stockées dans sn_ping_data , sn_snmp_data et sn_usrscript_data. De plus, elle agrège ces données brutes dans la table stablenet_measurement_data_minutely qui contient value_avg , value_min et value_max.

Synchronisation agrégée

Cette étape est facultative et n'est requise que si vous avez besoin des intervalles de 5 et 15 minutes. Sinon, poursuivez plutôt avec la synchronisation horaire.

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id>]

Agrège les données brutes issues de la synchronisation incrémentielle dans des intervalles de 5 et 15 minutes. Les données sont stockées dans stablenet_measurement_data_5_minutely et stablenet_measurement_data_15_minutely. Les tables résultantes contiennent les colonnes value_avg, value_min et value_max pour les lignes agrégées.

Synchronisation horaire agrégée

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id>]

Agrège les données de la table stablenet_measurement_data_minutely dans stablenet_measurement_data_hourly. Bien que cette table contienne value_min et value_max, elle ne contient pas value_avg. À la place, elle contient des colonnes de statistiques timescaledb (stats_agg statssummary2d, percentile_agg uddsketch, state_agg stateagg). Ces colonnes peuvent ensuite être utilisées pour obtenir de nombreuses informations statistiques sur les données agrégées.

Les mesures permettant d'obtenir des données d'state_agg doivent être configurées dans /etc/stablenet-fdw/stablenet-fdw.conf à l'aide de l'option snmp_state_agg_measurements. Les mesures sont définies par le nom du modèle et la clé métrique. Par exemple

snmp_state_agg_measurements = Interface Relative IPMPLS 64Bit#1008

Plusieurs paires mesure/clé de métrique peuvent être séparées par une virgule.

N'activez l'state_agge que sur les mesures/métriques à faible cardinalité, c'est-à-dire celles qui ne comportent que très peu de valeurs distinctes (par exemple, les énumérations).

Synchronisation des statistiques

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/stats-sync.sh [server_id>]

Effectue un regroupement des données statistiques de stablenet_measurement_data_hourly dans stablenet_measurement_data_daily , stablenet_measurement_data_weekly , stablenet_measurement_data_monthly , stablenet_measurement_data_quartely et stablenet_measurement_data_yearly.

Synchronisation automatique

Après avoir exécuté manuellement les commandes de synchronisation, nous voulons configurer certaines tâches dans SKOOR Engine afin d'effectuer la synchronisation automatiquement.

Créez un groupe appelé « StableNet Data Sync » dans la racine.
Créez un périphérique appelé « localhost » sous le groupe « StableNet Data Sync ».
Créez 5 tâches d'exécution sous localhost
1. StableNet Measurement Sync [server_id]
  Intervalle : 1 hour, fix, if longer immediately Chemin
  d'accès au programme :/opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id]
  Enregistrer la sortie dans le fichier : stablenet-measurement-sync.log
2. StableNet Incremental Sync [server_id]
  Intervalle : 1 minute, fix, if longer immediately Chemin
  d'accès au programme :/opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id]
  Enregistrer la sortie dans le fichier : stablenet-incremental-sync.log
3. StableNet Aggregate Sync (FACULTATIF, à ajouter uniquement si vous avez besoin de tranches de 5 et 15 minutes)
  Intervalle : 1 minute, fix, if longer immediately Chemin
  d'accès au programme :/opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id]
  Enregistrer la sortie dans le fichier : stablenet-aggregate-sync[-server_id].log
4. StableNet Aggregate Hourly Sync
  Intervalle : 10 minutes, fix, if longer immediately Chemin
  d'accès au programme :/opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id]
  Enregistrer la sortie dans un fichier : stablenet-aggregate-hourly-sync[-server_id].log
5. StableNet Stats Sync
  Intervalle : 1 hour, fix, if longer immediately Chemin
  d'accès au programme :/opt/stablenet-fdw/measurement-data-sync/stats-sync.sh [server_id]
  Enregistrer la sortie dans un fichier : stablenet-stats-sync[-server_id].log

Synchronisation de l'historique

Exécutez cette commande APRÈS la synchronisation initiale et APRÈS avoir configuré la synchronisation automatique.

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/history-sync.sh [server_id>]

Cette commande synchronise les données historiques en fonction des paramètres [history_sync] days , start_date et end_date . En général, pour une synchronisation initiale de l'historique, vous pouvez vous contenter de définir days ou de conserver les paramètres tels quels et de simplement synchroniser les données de l'année écoulée.

Il peut également être judicieux d'utiliser nohup pour exécuter la commande, car celle-ci peut prendre un certain temps.