التوثيق

بيانات القياس المجمعة

التحضير

إذا كان تجميع البيانات القديم (<=8.1.2) نشطًا، فيجب تعطيل مهمة مزامنة PostgreSQL.

psql -U infosim -d infosim -c "SELECT delete_job((SELECT max(job_id) FROM timescaledb_information.jobs where proc_schema = 'stablenet' AND proc_name = 'update_measurement_data_aggregated'));"

وعلاوة على ذلك، يُنصح بإزالة جداول التجميع القديمة وإعادة هيكلة استعلامات البيانات لاستخدام الجداول التي تم إنشاؤها بواسطة مزامنة البيانات الجديدة.

تأكد من أن الإعدادات في /etc/stablenet-fdw/stablenet-fdw.conf صحيحة.

المزامنة الأولية

تُستخدم الأوامر التالية لمزامنة بيانات القياس من StableNet/Oracle/MySQL.

يجب تشغيل الأوامر يدويًا في المرة الأولى بترتيب تسلسلي للتأكد من أن كل شيء يعمل بشكل جيد.

عند تشغيل الأوامر للمرة الأولى، تتم مزامنة بيانات اليوم الحالي فقط. يمكن مزامنة البيانات التاريخية لاحقًا، بعد إعداد المزامنة التلقائية.

الوسيطة server_id مطلوبة فقط إذا تم تكوينها. يجب تنفيذ هذه الأوامر لكل server_id بشكل منفصل.

مزامنة القياس

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id>]

يعمل هذا الأمر على مزامنة القياسات من واجهة برمجة تطبيقات StableNet استنادًا إلى مرشحات العلامات المكوّنة. يُستخدم هذا الأمر لاحقًا في المزامنة التزايدية لمزامنة البيانات للقياسات المطلوبة فقط.

المزامنة التزايدية

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id>]

يقوم هذا الأمر بمزامنة بيانات القياس الأولية من Oracle/MySQL إلى PostgreSQL. مع كل عملية تشغيل، تتم مزامنة البيانات الجديدة فقط. يتم تخزين البيانات في sn_ping_data و sn_snmp_data و sn_usrscript_data.

المزامنة التجميعية

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id>]

يقوم بتجميع البيانات الأولية من المزامنة التزايدية إلى مجموعات كل دقيقة و5 دقائق و15 دقيقة. يتم تخزين البيانات في stablenet_measurement_data_minutely و stablenet_measurement_data_5_minutely و stablenet_measurement_data_15_minutely. تحتوي الجداول الناتجة على value_avg و value_min و value_max كولمنس للصفوف المجمعة.

المزامنة التجميعية لكل ساعة

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id>]

يقوم بتجميع البيانات من الجدول stablenet_measurement_data_minutely في stablenet_measurement_data_hourly. لا يحتوي هذا الجدول على قيم المتوسط والحد الأدنى والحد الأقصى، ولكن يحتوي على أعمدة إحصائيات تجميعية في الساعة بدلاً من ذلك (stats_agg statssummary2d ، stats_agg_max statssummary2d ، percentile_agg uddsketch ، percentile_agg_max uddsketch). يمكن استخدام هذه الأعمدة لاحقًا للحصول على العديد من المعلومات الإحصائية حول البيانات المجمعة.

مزامنة الإحصائيات

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id>]

يقوم بإجراء تجميع للبيانات الإحصائية من stablenet_measurement_data_hourly إلى stablenet_measurement_data_daily و stablenet_measurement_data_weekly و stablenet_measurement_data_monthly و stablenet_measurement_data_quartely و stablenet_measurement_data_yearly.

المزامنة التلقائية

بعد تشغيل أوامر المزامنة يدويًا، نريد إعداد بعض الوظائف في محرك SKOOR لإجراء المزامنة تلقائيًا.

  1. قم بإنشاء مجموعة تسمى StableNet Data Sync في الجذر

    image-20250627-061619.png

  2. قم بإنشاء جهاز يسمى localhost أسفل المجموعة StableNet Data Sync

    image-20250627-061655.png

  3. إنشاء 5 مهام تنفيذية أسفل المضيف المحلي

    1. StableNet Measurement Sync [server_id]
      الفاصل الزمني: 1 hour, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-measurement-sync.log

    2. StableNet Incremental Sync [server_id]
      الفاصل الزمني: 1 minute, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-incremental-sync.log

    3. StableNet Aggregate Sync
      الفاصل الزمني: 5 minutes, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-aggregate-sync[-server_id].log

    4. StableNet Aggregate Hourly Sync
      الفاصل الزمني: 15 minutes, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-aggregate-hourly-sync[-server_id].log

    5. StableNet Stats Sync
      الفاصل الزمني: 1 hour, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/stats-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-stats-sync[-server_id].log

مزامنة المحفوظات

قم بتشغيل هذا الأمر بعد المزامنة الأولية وبعد إعداد المزامنة التلقائية.

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/history-sync.sh [server_id>]

يقوم هذا الأمر بمزامنة البيانات التاريخية بناءً على التكوين history_days.

السابق
تحديث
التالي
تركيب Docker Compose