كيف أبدأ خادم Spark History؟

2024 مؤلف: Lynn Donovan | [email protected]. آخر تعديل: 2023-12-15 23:43

لتمكين خادم Spark history:

1. قم بإنشاء دليل لسجلات الأحداث في نظام ملفات DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
2. عند تمكين تسجيل الأحداث ، يكون السلوك الافتراضي هو حفظ جميع السجلات ، مما يؤدي إلى زيادة مساحة التخزين بمرور الوقت.

بجانب هذا ، كيف يمكنني إعداد خادم Spark History؟

لتمكين خادم Spark history:

1. قم بإنشاء دليل لسجلات الأحداث في نظام ملفات DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
2. عند تمكين تسجيل الأحداث ، يكون السلوك الافتراضي هو حفظ جميع السجلات ، مما يؤدي إلى زيادة مساحة التخزين بمرور الوقت.

وبالمثل ، كيف يمكنني العثور على عنوان URL لخادم سجل شرارة؟ على سبيل المثال ، لـ خادم التاريخ ، يمكن الوصول إليها عادةً على https:// < الخادم - عنوان url >: 18080 / api / v1 ، وللتطبيق قيد التشغيل ، على https:// localhost: 4040 / api / v1. في واجهة برمجة التطبيقات ، تتم الإشارة إلى التطبيق من خلال معرف التطبيق الخاص به ، [معرف التطبيق].

وبالمثل ، ما هو خادم شرارة التاريخ؟

ال خادم شرارة التاريخ هو أداة مراقبة تعرض معلومات حول المكتملة شرارة التطبيقات. هذه المعلومة يكون تم سحبها من البيانات التي تكتبها التطبيقات افتراضيًا إلى دليل على نظام الملفات الموزعة Hadoop (HDFS).

ما هو سباركوي؟

تمكّنك واجهة Spark Web UI من رؤية قائمة بمراحل ومهام المجدول ، والمعلومات البيئية ، ومعلومات حول المنفذين الجاري تشغيلهم والمزيد. شاهد هذا العرض التوضيحي لمدة 30 دقيقة للتعرف على: المكونات ودورة حياة برنامج Spark. كيف يعمل تطبيق Spark الخاص بك على مجموعة Hadoop.