فهرست مطالب:

پارامترهای اصلی پیکربندی که کاربر برای اجرای MapReduce باید مشخص کند چیست؟
پارامترهای اصلی پیکربندی که کاربر برای اجرای MapReduce باید مشخص کند چیست؟

تصویری: پارامترهای اصلی پیکربندی که کاربر برای اجرای MapReduce باید مشخص کند چیست؟

تصویری: پارامترهای اصلی پیکربندی که کاربر برای اجرای MapReduce باید مشخص کند چیست؟
تصویری: آموزش MapReduce | آموزش MapReduce برای مبتدیان | ادورکا | Big Data Rewind - 4 2024, آوریل
Anonim

پارامترهای اصلی پیکربندی که کاربران باید در چارچوب "MapReduce" مشخص کنند عبارتند از:

  • شغل ها مکان های ورودی در سیستم فایل توزیع شده
  • شغل ها محل خروجی در سیستم فایل توزیع شده
  • فرمت ورودی داده ها
  • فرمت خروجی داده ها
  • کلاس حاوی تابع نقشه.
  • کلاس حاوی تابع کاهش.

در اینجا، پارامترهای اصلی پیکربندی در یک برنامه MapReduce چیست؟

پارامترهای اصلی پیکربندی در چارچوب "MapReduce" عبارتند از:

  • محل ورودی Jobs در سیستم فایل توزیع شده.
  • محل خروجی Jobs در سیستم فایل توزیع شده.
  • فرمت ورودی داده ها
  • فرمت خروجی داده ها
  • کلاسی که حاوی تابع نقشه است.
  • کلاسی که حاوی تابع کاهش است.

همچنین ممکن است پرسیده شود که پارامترهای نقشه کش ها و کاهنده ها چیست؟ چهار پارامتر برای نقشه‌برداران عبارتند از:

  • LongWritable (ورودی)
  • متن (ورودی)
  • متن (خروجی میانی)
  • IntWritable (خروجی میانی)

همچنین سوال این است که اجزای اصلی کار MapReduce چیست؟

  • کلاس درایور اصلی که پارامترهای پیکربندی کار را ارائه می دهد.
  • کلاس Mapper که باید org را گسترش دهد. آپاچی هادوپ کاهش نقشه کلاس Mapper و پیاده سازی متد map () را ارائه دهید.
  • کلاس کاهنده که باید سازمان را گسترش دهد. آپاچی هادوپ کاهش نقشه کلاس کاهنده.

پارتیشن چیست و چگونه در فرآیند کار MapReduce کمک می کند؟

تقسیم کننده که در MapReduce job execution پارتیشن بندی کلیدهای خروجی های نقشه میانی را کنترل می کند. با کمک تابع هش، کلید (یا زیرمجموعه ای از کلید) را مشتق می کند تقسیم بندی . رکوردهایی که دارای ارزش کلید یکسانی هستند به همان مقدار می روند تقسیم بندی (در هر نقشه‌بردار).

توصیه شده: