أين يمكنني العثور على سجلات شرارة؟

2024 مؤلف: Lynn Donovan | [email protected]. آخر تعديل: 2023-12-15 23:43

سجل الدلائل

موقع SPARK_WORKER_LOG_DIR الافتراضي هو / var / سجل / شرارة /عامل. الافتراضي سجل دليل لبدء شرارة خادم SQL Thrift هو $ HOME / شرارة -الخادم-العابر. شرارة شل والتطبيق السجلات يتم إخراجها إلى وحدة التحكم. سجل توجد ملفات التكوين في نفس الدليل مثل شرارة -env.sh.

فيما يتعلق بهذا ، كيف يمكنني الحصول على سجلات شرارة؟

شرارة الوظيفة أو التطبيق من صفحة التحليل ، يمكنك الوصول إلى السجلات عبر واجهة مستخدم التطبيق و شرارة واجهة مستخدم التطبيق. الصفحة ، يمكنك الوصول إلى السجلات عبر شرارة واجهة مستخدم التطبيق. يمكنك أيضا إضافية السجلات لتحديد الأخطاء والاستثناءات في شرارة فشل الوظيفة أو التطبيق.

وبالمثل ، كيف يمكنك التحقق من سجلات الغزل؟ مشاهدة أ سجل ملف السجلات من التطبيق الرئيسي يمكن عرضها أيضًا في متصفح في واجهة مستخدم إدارة الموارد على https:// $ { غزل .resourcemanager.webapp.address} / الكتلة (https:// localhost: 8088 على عقدة واحدة "الكتلة").

وبالمثل ، قد يتساءل المرء ، كيف يمكنني الحصول على سجلات المنفذ على Spark؟

إجابة

1. تعليمات للحصول على سجلات تنفيذ Spark:
2. بالنسبة إلى Amabari - 1) انتقل إلى خدمة Spark وعلامة التبويب Configs: 2) ابحث عن الإدخال "Advanced spark-log4j-properties".
3. بالنسبة إلى Cloudera - تعيين: spark.executor.extraJavaOptions = -Dlog4j.configuration = ملف: /etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

كيف أعثر على عنوان URL لخادم Spark History؟

على سبيل المثال ، لـ خادم التاريخ ، يمكن الوصول إليها عادةً على https:// < الخادم - عنوان url >: 18080 / api / v1 ، وللتطبيق قيد التشغيل ، على https:// localhost: 4040 / api / v1. في واجهة برمجة التطبيقات ، تتم الإشارة إلى التطبيق من خلال معرف التطبيق الخاص به ، [معرف التطبيق].