فهرست مطالب:

چگونه سرور Spark History خود را راه اندازی کنم؟
چگونه سرور Spark History خود را راه اندازی کنم؟

تصویری: چگونه سرور Spark History خود را راه اندازی کنم؟

تصویری: چگونه سرور Spark History خود را راه اندازی کنم؟
تصویری: آموزش تعمیر ویندوز آسیب دیده | حل مشکل ارورهای عجیب ویندوز 2024, دسامبر
Anonim

برای فعال کردن سرور تاریخچه Spark:

  1. یک دایرکتوری برای گزارش رویدادها در سیستم فایل DSEFS ایجاد کنید: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. وقتی ثبت رویداد فعال است، رفتار پیش‌فرض این است که همه گزارش‌ها ذخیره می‌شوند، که باعث می‌شود حافظه در طول زمان افزایش یابد.

علاوه بر این، چگونه می توانم یک سرور Spark History را راه اندازی کنم؟

برای فعال کردن سرور تاریخچه Spark:

  1. یک دایرکتوری برای گزارش رویدادها در سیستم فایل DSEFS ایجاد کنید: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. وقتی ثبت رویداد فعال است، رفتار پیش‌فرض این است که همه گزارش‌ها ذخیره می‌شوند، که باعث می‌شود حافظه در طول زمان افزایش یابد.

به طور مشابه، چگونه می توانم URL سرور Spark History خود را پیدا کنم؟ به عنوان مثال، برای سرور تاریخ ، معمولاً در https://< قابل دسترسی هستند سرور - آدرس اینترنتی >:18080/api/v1، و برای یک برنامه در حال اجرا، در https://localhost:4040/api/v1. در API، یک برنامه با شناسه برنامه اش، [app-id] ارجاع داده می شود.

به همین ترتیب، Spark History سرور چیست؟

را سرور تاریخچه اسپارک است ابزار نظارتی که اطلاعات تکمیل شده را نمایش می دهد جرقه برنامه های کاربردی. این اطلاعات است برگرفته از داده‌هایی که برنامه‌ها به‌طور پیش‌فرض در فهرستی در سیستم فایل توزیع‌شده Hadoop (HDFS) می‌نویسند.

اسپارکوی چیست؟

Spark Web UI شما را قادر می سازد لیستی از مراحل و وظایف زمانبندی، اطلاعات محیطی، اطلاعات مربوط به مجریان در حال اجرا و موارد دیگر را مشاهده کنید. این دمو 30 دقیقه‌ای را تماشا کنید تا در مورد اجزا و چرخه عمر یک برنامه Spark بیاموزید. چگونه برنامه Spark شما روی خوشه Hadoop اجرا می شود.

توصیه شده: