التوثيق

بيانات القياس المجمعة

التحضير

إذا كان تجميع البيانات القديم (<=8.1.2) نشطًا، فيجب تعطيل مهمة مزامنة PostgreSQL.

psql -U infosim -d infosim -c "SELECT delete_job((SELECT max(job_id) FROM timescaledb_information.jobs where proc_schema = 'stablenet' AND proc_name = 'update_measurement_data_aggregated'));"

علاوة على ذلك، يُنصح بإزالة جداول التجميع القديمة وإعادة هيكلة استعلامات البيانات لاستخدام الجداول التي تم إنشاؤها بواسطة مزامنة البيانات الجديدة.

تأكد من أن الإعدادات في /etc/stablenet-fdw/stablenet-fdw.conf صحيحة.

المزامنة الأولية

تُستخدم الأوامر التالية لمزامنة بيانات القياس من StableNet/Oracle/MySQL.

يجب تشغيل الأوامر يدويًا في المرة الأولى بترتيب تسلسلي للتأكد من أن كل شيء يعمل بشكل جيد.

عند تشغيل الأوامر للمرة الأولى، تتم مزامنة بيانات اليوم الحالي فقط. يمكن مزامنة البيانات التاريخية لاحقًا، بعد إعداد المزامنة التلقائية.

الوسيطة server_id مطلوبة فقط إذا تم تكوينها. يجب تنفيذ هذه الأوامر لكل server_id بشكل منفصل.

مزامنة القياس

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id>]

يعمل هذا الأمر على مزامنة القياسات من واجهة برمجة تطبيقات StableNet استنادًا إلى مرشحات العلامات المكوّنة. يُستخدم هذا الأمر لاحقًا في المزامنة التزايدية لمزامنة البيانات للقياسات المطلوبة فقط.

المزامنة التزايدية

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id>]

يقوم هذا الأمر بمزامنة بيانات القياس الأولية من Oracle/MySQL إلى PostgreSQL. مع كل عملية تشغيل، تتم مزامنة البيانات الجديدة فقط. يتم تخزين البيانات في sn_ping_data و sn_snmp_data و sn_usrscript_data. بالإضافة إلى ذلك، يقوم بتجميع هذه البيانات الأولية في جدول stablenet_measurement_data_minutely الذي يحتوي على value_avg و value_min و value_max.

المزامنة التجميعية

هذه الخطوة اختيارية ومطلوبة فقط إذا كان المرء بحاجة إلى دلاء 5 و15 دقيقة. إذا لم يكن الأمر كذلك، تابع المزامنة بالساعة بدلاً من ذلك.

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id>]

تجميع البيانات الأولية من المزامنة التزايدية في مجموعات كل 5 دقائق و15 دقيقة. يتم تخزين البيانات في stablenet_measurement_data_5_minutely و stablenet_measurement_data_15_minutely. تحتوي الجداول الناتجة على value_avg و value_min و value_max كولمنز للصفوف المجمعة.

المزامنة التجميعية لكل ساعة

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id>]

يقوم بتجميع البيانات من الجدول stablenet_measurement_data_minutely في stablenet_measurement_data_hourly. بينما يحتوي هذا الجدول على value_min و value_max ، فإنه لا يحتوي على value_avg. بدلاً من ذلك، يحتوي بدلاً من ذلك على أعمدة إحصائيات مزامنة الساعات (stats_agg statssummary2d ، percentile_agg uddsketch ، ، state_agg stateagg ، ). يمكن استخدام هذه الأعمدة لاحقًا للحصول على العديد من المعلومات الإحصائية حول البيانات المجمعة.

يجب تكوين القياسات للحصول على بيانات state_agg في /etc/stablenet-fdw/stablenet-fdw.conf باستخدام الخيار snmp_state_agg_measurements. يتم تعريف القياسات حسب اسم القالب والمفتاح المتري. على سبيل المثال

snmp_state_agg_measurements = Interface Relative IPMPLS 64Bit#1008

يمكن فصل أزواج مفاتيح القياس/المفتاح المتري المتعددة بفاصلة.

قم فقط بتفعيل state_agg على القياسات/المقاييس ذات الكاردينالية المنخفضة، أي عدد قليل جدًا من القيم المميزة (مثل التعدادات).

مزامنة الإحصائيات

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/stats-sync.sh [server_id>]

يقوم بإجراء تجميع للبيانات الإحصائية من stablenet_measurement_data_hourly إلى stablenet_measurement_data_daily و stablenet_measurement_data_weekly و stablenet_measurement_data_monthly و stablenet_measurement_data_quartely و stablenet_measurement_data_yearly.

المزامنة التلقائية

بعد تشغيل أوامر المزامنة يدويًا، نريد إعداد بعض الوظائف في محرك SKOOR لإجراء المزامنة تلقائيًا.

  1. قم بإنشاء مجموعة تسمى StableNet Data Sync في الجذر

    image-20250627-061619.png

  2. قم بإنشاء جهاز يسمى localhost أسفل المجموعة StableNet Data Sync

    image-20250627-061655.png

  3. إنشاء 5 مهام تنفيذية أسفل المضيف المحلي

    1. StableNet Measurement Sync [server_id]
      الفاصل الزمني: 1 hour, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/measurement-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-measurement-sync.log

    2. StableNet Incremental Sync [server_id]
      الفاصل الزمني: 1 minute, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/incremental-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-incremental-sync.log

    3. StableNet Aggregate Sync (اختياري، أضف فقط إذا كنت بحاجة إلى 5 و15 دقيقة)
      الفاصل الزمني: 1 minute, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/aggregate-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-aggregate-sync[-server_id].log

    4. StableNet Aggregate Hourly Sync
      الفاصل الزمني: 10 minutes, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/aggregate-hourly-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-aggregate-hourly-sync[-server_id].log

    5. StableNet Stats Sync
      الفاصل الزمني: 1 hour, fix, if longer immediately
      مسار البرنامج: /opt/stablenet-fdw/measurement-data-sync/stats-sync.sh [server_id]
      حفظ الإخراج في ملف: stablenet-stats-sync[-server_id].log

مزامنة المحفوظات

قم بتشغيل هذا الأمر بعد المزامنة الأولية وبعد إعداد المزامنة التلقائية.

sudo -u eranger /opt/stablenet-fdw/measurement-data-sync/history-sync.sh [server_id>]

يقوم هذا الأمر بمزامنة البيانات التاريخية بناءً على تكوين [history_sync] days و start_date و end_date. عادةً، بالنسبة للمزامنة التاريخية الأولية، قد ترغب عادةً في تعيين days فقط أو الاحتفاظ بالإعدادات كما هي ومزامنتها ببساطة لمدة عام واحد.

قد يكون من الجيد أيضًا استخدام nohup لتشغيل الأمر لأنه قد يستغرق بعض الوقت لإكماله.

السابق
تحديث
التالي
تركيب Docker Compose