از کجا می توانم جرقه سیاهه ها را پیدا کنم؟

2024 نویسنده: Lynn Donovan | [email protected]. آخرین اصلاح شده: 2023-12-15 23:46

ورود به سیستم دایرکتوری ها

مکان پیش فرض SPARK_WORKER_LOG_DIR /var/ است ورود به سیستم / جرقه /کارگر. پیشفرض ورود به سیستم دایرکتوری برای شروع جرقه سرور SQL Thrift $HOME/ است جرقه صرفه جویی - سرور. جرقه پوسته و کاربرد سیاهههای مربوط به کنسول خروجی می شوند. ورود به سیستم فایل های پیکربندی در همان دایرکتوری قرار دارند جرقه -env.sh.

با توجه به این، چگونه می توانم جرقه سیاهه ها را دریافت کنم؟

جرقه شغل یا برنامه از صفحه تجزیه و تحلیل، می توانید به آن دسترسی داشته باشید سیاهههای مربوط از طریق رابط کاربری برنامه و جرقه رابط کاربری برنامه صفحه، شما می توانید دسترسی داشته باشید سیاهههای مربوط از طریق جرقه رابط کاربری برنامه شما همچنین می توانید اضافی سیاهههای مربوط برای شناسایی خطاها و استثناها در جرقه شکست شغل یا برنامه

به طور مشابه، چگونه سیاهههای مربوط به نخ را بررسی می کنید؟ مشاهده a ورود به سیستم فایل The سیاهههای مربوط یک برنامه اصلی را می توان در یک مرورگر در رابط کاربری مدیریت منابع در https://${ مشاهده کرد. نخ .resourcemanager.webapp.address}/cluster (https://localhost:8088 در یک گره "خوشه").

به طور مشابه ممکن است سوال شود، چگونه می توانم گزارش های اجرایی را در Spark دریافت کنم؟

پاسخ

1. دستورالعمل دریافت گزارش های اجرایی Spark:
2. برای آماباری -- 1) به Spark Service و تب Configs بروید: 2) ورودی "Advanced spark-log4j-properties" را پیدا کنید.
3. برای Cloudera -- مجموعه: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

چگونه می توانم URL سرور Spark History خود را پیدا کنم؟

به عنوان مثال، برای سرور تاریخ ، معمولاً در https://< قابل دسترسی هستند سرور - آدرس اینترنتی >:18080/api/v1، و برای یک برنامه در حال اجرا، در https://localhost:4040/api/v1. در API، یک برنامه با شناسه برنامه اش، [app-id] ارجاع داده می شود.