چگونه می توانم عملکرد sqoop خود را بهبود بخشم؟

2024 نویسنده: Lynn Donovan | [email protected]. آخرین اصلاح شده: 2023-12-15 23:46

برای بهینه سازی کارایی ، تنظیم را تعداد وظایف نقشه به مقدار کمتر از را حداکثر تعداد اتصالات که را پایگاه داده پشتیبانی می کند. کنترل کردن را مقدار توازی که اسکوپ برای انتقال داده ها استفاده خواهد شد را راه اصلی کنترل را بار روی شما پایگاه داده

به همین ترتیب، اگر sqoop در بین یک فرآیند شکست بخورد، چه اتفاقی می‌افتد؟

غیر معمول اسکوپ کاری که داده ها را از پایگاه داده منبع به HDFS وارد می کند، داده ها را در یک فهرست هدف کپی می کند. فایل کپی شده پاک میشه اگر sqoop با شکست مواجه شد بدون تکمیل

همچنین ممکن است پرسیده شود، چگونه می توان به موازی سازی در sqoop دست یافت؟ کنترل کردن موازی سازی . اسکوپ داده ها را به صورت موازی از اکثر منابع پایگاه داده وارد می کند. با استفاده از آرگومان -m یا -num-mappers می‌توانید تعداد وظایف نقشه (فرایندهای موازی) را برای انجام واردات مشخص کنید. هر یک از این آرگومان‌ها یک مقدار صحیح می‌گیرد که مطابق با درجه است موازی سازی استخدام

در نتیجه، چگونه می توانم عملکرد جستجوی Hive خود را بهبود بخشم؟

در زیر لیستی از اقداماتی است که می توانیم برای بهینه سازی Hive Queries دنبال کنیم

1. فشرده سازی را در Hive فعال کنید.
2. بهینه سازی Joins
3. از مرتب سازی جهانی در Hive اجتناب کنید.
4. Tez Execution Engine را فعال کنید.
5. بهینه سازی عملگر LIMIT.
6. اجرای موازی را فعال کنید.
7. Mapreduce Strict Mode را فعال کنید.
8. Single Reduce for Multi Group BY.

sqoop split چگونه کار می کند؟

می توان از آن برای افزایش عملکرد واردات با دستیابی به موازی سازی بیشتر استفاده کرد. اسکوپ ایجاد می کند تقسیم می کند بر اساس مقادیر در یک ستون خاص از جدول که توسط - شکاف توسط کاربر از طریق دستور import. اگر در دسترس نباشد، از کلید اصلی جدول ورودی برای ایجاد آن استفاده می شود تقسیم می کند.