كيف يتم توطين البيانات في Hadoop؟

2024 مؤلف: Lynn Donovan | [email protected]. آخر تعديل: 2023-12-15 23:43

توطين البيانات في هادوب . خذ مثال Wordcount النموذجي ، حيث تم تكرار معظم الكلمات لـ 5 Lacs أو أكثر من المرات. في هذه الحالة بعد مرحلة Mapper ، سيكون لكل إخراج معين كلمات في نطاق 5 Lacs. تسمى هذه العملية الكاملة لتخزين إخراج Mapper في LFS باسم توطين البيانات.

بوضع هذا في الاعتبار ، ما هو توطين البيانات في Hadoop؟

مفهوم البيانات محلة في بيانات Hadoop محلة في مابريديوس يشير إلى القدرة على تحريك الحساب بالقرب من المكان الفعلي البيانات يتواجد على العقدة ، بدلاً من التحرك بشكل كبير البيانات للحساب. هذا يقلل من ازدحام الشبكة ويزيد من الإنتاجية الإجمالية للنظام.

أيضا ، كيف يتم تخزين البيانات الضخمة؟ يقوم معظم الأشخاص تلقائيًا بربط HDFS ، أو نظام الملفات الموزعة Hadoop ، بـ Hadoop البيانات المستودعات. يخزن HDFS المعلومات في مجموعات مكونة من كتل أصغر. هذه الكتل مخزن في الموقع المادي تخزين الوحدات ، مثل محركات الأقراص الداخلية.

فقط هكذا ، كيف يتم تخزين البيانات في Hadoop؟

على هادوب الكتلة ، ال البيانات داخل HDFS ونظام MapReduce موجودان على كل جهاز في المجموعة. البيانات يكون مخزن في البيانات كتل على DataNodes. HDFS يكرر هؤلاء البيانات كتل ، عادة بحجم 128 ميغا بايت ، وتوزعها بحيث يتم نسخها داخل عقد متعددة عبر الكتلة.

كيف يتم تخزين الملفات في HDFS؟

HDFS يكشف أ ملف مساحة اسم النظام ويسمح ببيانات المستخدم مخزن في الملفات . داخليا ، أ ملف يتم تقسيمها إلى كتلة واحدة أو أكثر وهذه الكتل مخزن في مجموعة من DataNodes. يتم تنفيذ NameNode ملف عمليات مساحة اسم النظام مثل الفتح والإغلاق وإعادة التسمية الملفات والدلائل.