ما هي تنسيقات الملفات المختلفة في Hadoop؟

2024 مؤلف: Lynn Donovan | [email protected]. آخر تعديل: 2023-12-15 23:43

لحسن الحظ بالنسبة لك ، استقر مجتمع البيانات الضخمة بشكل أساسي على ثلاثة عناصر محسّنة تنسيقات الملفات للاستخدام في هادوب مجموعات: عمود صف محسن (ORC) ، أفرو ، وباركيه.

بعد ذلك ، قد يتساءل المرء أيضًا ، ما هي الأنواع المختلفة لتنسيقات البيانات؟

هناك ثلاثة أنواع البيانات رسم الخرائط ونظم المعلومات الجغرافية تنسيقات البيانات . كل نوع يتم التعامل معها بشكل مختلف.

أنواع تنسيق البيانات

• الملفات المستندة إلى الملفات ، ملفات تصميم Microstation (DGN) ، صور GeoTIFF.
• المستندة إلى الدليل - تغطية ESRI ArcInfo ، تعداد الولايات المتحدة TIGER.
• اتصالات قواعد البيانات - PostGIS و ESRI ArcSDE و MySQL.

بالإضافة إلى ذلك ، ما هو تنسيق الملف الأفضل في الخلية؟ RCFile هو صف عمودي تنسيق الملف . هذا هو شكل آخر من تنسيق ملف الخلية والذي يوفر معدلات ضغط عالية على مستوى الصفوف. إذا كان لديك متطلبات لأداء عدة صفوف في وقت واحد ، فيمكنك استخدام RCFile صيغة.

مع وضع ذلك في الاعتبار ، ما هي تنسيقات الإدخال الشائعة في Hadoop؟

يقوم InputFormat بإنشاء Inputsplit

• تنسيق InputFormat الأكثر شيوعًا هو:
• FileInputFormat- إنها الفئة الأساسية لجميع تنسيق InputFormat المستند إلى الملفات.
• تنسيق TextInputFormat- هو تنسيق InputFormat الافتراضي لـMapReduce.
• KeyValueTextInputFormat- إنه مشابه لتنسيق TextInputFormat.
• اتبع الرابط لمعرفة المزيد حول InputFormat في Hadoop.

ما هو تنسيق ملف orc في Hadoop؟

تنسيق ملف ORC عمود الصف المحسن ( مسخ ) تنسيق الملف يوفر طريقة فعالة للغاية لتخزين بيانات Hive. تم تصميمه للتغلب على قيود الخلية الأخرى تنسيقات الملفات . استخدام ملفات ORC يحسن الأداء عند Hiveis قراءة وكتابة ومعالجة البيانات.