Préparation

psql -U infosim -d infosim -c "SELECT delete_job((SELECT max(job_id) FROM timescaledb_information.jobs where proc_schema = 'stablenet' AND proc_name = 'update_measurement_data_aggregated'));"

Assurez-vous que les paramètres de /etc/stablenet-fdw/stablenet-fdw.conf sont corrects.

Synchronisation initiale

Les commandes suivantes sont utilisées pour synchroniser les données de mesure de StableNet/Oracle/MySQL.

Les commandes doivent être exécutées manuellement la première fois dans un ordre séquentiel pour s'assurer que tout fonctionne correctement.

Lors de la première exécution des commandes, seules les données de la journée en cours sont synchronisées. Les données historiques peuvent être synchronisées plus tard, après la configuration de la synchronisation automatique.

L'argument server_id n'est nécessaire que s'il est configuré. Cette commande doit être exécutée pour chaque server_id séparément.

Synchronisation des mesures

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id>]

Cette commande synchronise les mesures de l'API StableNet en fonction des filtres de balises configurés. Elle est ensuite utilisée dans la synchronisation incrémentale pour synchroniser uniquement les données des mesures requises.

Synchronisation incrémentale

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id>]

Cette commande synchronise les données de mesure brutes d'Oracle/MySQL vers PostgreSQL. A chaque exécution, seules les nouvelles données sont synchronisées. Les données sont stockées dans sn_ping_data, sn_snmp_data et sn_usrscript_data.

Synchronisation des agrégats

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id>]

Agrége les données brutes de la synchronisation incrémentielle en tranches de minutes, de 5 minutes et de 15 minutes. Les données sont stockées dans stablenet_measurement_data_minutely, stablenet_measurement_data_5_minutely et stablenet_measurement_data_15_minutely. Les tableaux résultants contiennent les colonnes value_avg, value_min et value_max pour les lignes agrégées.

Synchronisation horaire agrégée

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id>]

Agrége les données de la table stablenet_measurement_data_minutely dans stablenet_measurement_data_hourly. Cette table ne contient pas de valeurs moyennes, minimales et maximales, mais des colonnes de statistiques timescaledb (stats_agg statssummary2d, stats_agg_max statssummary2d, percentile_agg uddsketch, percentile_agg_max uddsketch). Ces colonnes peuvent être utilisées ultérieurement pour obtenir de nombreuses informations statistiques sur les données agrégées.

Stats Sync

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id>]

Effectue un rollup sur les données statistiques de stablenet_measurement_data_hourly vers stablenet_measurement_data_daily, stablenet_measurement_data_weekly, stablenet_measurement_data_monthly, stablenet_measurement_data_quartely et stablenet_measurement_data_yearly.

Synchronisation automatique

Après avoir exécuté les commandes de synchronisation manuellement, nous voulons configurer quelques tâches dans SKOOR Engine pour effectuer la synchronisation automatiquement.

1. Créer un groupe appelé StableNet Data Sync dans la racine

   

2. Créer un périphérique appelé localhost sous le groupe StableNet Data Sync

   

3. Créer 5 jobs Execute sous localhost

   1. StableNet Measurement Sync [server_id]
      Intervalle : 1 hour, fix, if longer immediately
      Chemin du programme : /opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id]
      Enregistrer la sortie dans un fichier : stablenet-measurement-sync.log

   2. StableNet Incremental Sync [server_id]
      Intervalle : 1 minute, fix, if longer immediately
      Chemin du programme : /opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id]
      Enregistrer la sortie dans un fichier : stablenet-incremental-sync.log

   3. StableNet Aggregate Sync
      Intervalle : 5 minutes, fix, if longer immediately
      Chemin du programme : /opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id]
      Enregistrer la sortie dans un fichier : stablenet-aggregate-sync[-server_id].log

   4. StableNet Aggregate Hourly Sync
      Intervalle : 15 minutes, fix, if longer immediately
      Chemin du programme : /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id]
      Enregistrer la sortie dans un fichier : stablenet-aggregate-hourly-sync[-server_id].log

   5. StableNet Stats Sync
      Intervalle : 1 hour, fix, if longer immediately
      Chemin du programme : /opt/stablenet-fdw/measurement-data-sync/stats-sync.sh [server_id]
      Enregistrer la sortie dans un fichier : stablenet-stats-sync[-server_id].log

Synchronisation de l'historique

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/history-sync.sh [server_id>]

Cette commande synchronise les données historiques en fonction de la configuration de history_days.