فهرست مطالب:

از کجا می توانم جرقه سیاهه ها را پیدا کنم؟
از کجا می توانم جرقه سیاهه ها را پیدا کنم؟

تصویری: از کجا می توانم جرقه سیاهه ها را پیدا کنم؟

تصویری: از کجا می توانم جرقه سیاهه ها را پیدا کنم؟
تصویری: تایم کردن سیستم جرقه زنی چرا موتورم سرعت نمیره🚀🚀(ممدپاور) 2024, نوامبر
Anonim

ورود به سیستم دایرکتوری ها

مکان پیش فرض SPARK_WORKER_LOG_DIR /var/ است ورود به سیستم / جرقه /کارگر. پیشفرض ورود به سیستم دایرکتوری برای شروع جرقه سرور SQL Thrift $HOME/ است جرقه صرفه جویی - سرور. جرقه پوسته و کاربرد سیاهههای مربوط به کنسول خروجی می شوند. ورود به سیستم فایل های پیکربندی در همان دایرکتوری قرار دارند جرقه -env.sh.

با توجه به این، چگونه می توانم جرقه سیاهه ها را دریافت کنم؟

جرقه شغل یا برنامه از صفحه تجزیه و تحلیل، می توانید به آن دسترسی داشته باشید سیاهههای مربوط از طریق رابط کاربری برنامه و جرقه رابط کاربری برنامه صفحه، شما می توانید دسترسی داشته باشید سیاهههای مربوط از طریق جرقه رابط کاربری برنامه شما همچنین می توانید اضافی سیاهههای مربوط برای شناسایی خطاها و استثناها در جرقه شکست شغل یا برنامه

به طور مشابه، چگونه سیاهههای مربوط به نخ را بررسی می کنید؟ مشاهده a ورود به سیستم فایل The سیاهههای مربوط یک برنامه اصلی را می توان در یک مرورگر در رابط کاربری مدیریت منابع در https://${ مشاهده کرد. نخ .resourcemanager.webapp.address}/cluster (https://localhost:8088 در یک گره "خوشه").

به طور مشابه ممکن است سوال شود، چگونه می توانم گزارش های اجرایی را در Spark دریافت کنم؟

پاسخ

  1. دستورالعمل دریافت گزارش های اجرایی Spark:
  2. برای آماباری -- 1) به Spark Service و تب Configs بروید: 2) ورودی "Advanced spark-log4j-properties" را پیدا کنید.
  3. برای Cloudera -- مجموعه: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

چگونه می توانم URL سرور Spark History خود را پیدا کنم؟

به عنوان مثال، برای سرور تاریخ ، معمولاً در https://< قابل دسترسی هستند سرور - آدرس اینترنتی >:18080/api/v1، و برای یک برنامه در حال اجرا، در https://localhost:4040/api/v1. در API، یک برنامه با شناسه برنامه اش، [app-id] ارجاع داده می شود.

توصیه شده: