ما هو تدفق البيانات في Hadoop؟

2024 مؤلف: Lynn Donovan | [email protected]. آخر تعديل: 2023-12-15 23:43

Hadoop الجري . Hadoop يتدفقون هي الأداة التي تأتي مع هادوب توزيع. تتيح لك الأداة المساعدة إنشاء وظائف Map / Reduce وتشغيلها باستخدام أي ملف تنفيذي أو برنامج نصي مثل مخطط الخرائط و / أو المخفض.

يجب أن تعرف أيضًا ، ما الذي يتدفق في Hadoop؟

Hadoop الجري هي واجهة برمجة تطبيقات عامة تسمح لكتابة مخططي الخرائط والتخفيضات بأي لغة. لكن المفهوم الأساسي يظل كما هو. يتلقى مصممو الخرائط والمخفضات المدخلات والمخرجات الخاصة بهم على stdin و stdout كأزواج (مفتاح ، قيمة). اباتشي هادوب الاستخدامات تيارات وفقًا لمعيار UNIX بين تطبيقك و هادوب النظام.

ما هي البيانات المجمعة والمتدفقة؟ أ حزمة عبارة عن مجموعة من البيانات النقاط التي تم تجميعها معًا خلال فترة زمنية محددة. مصطلح آخر غالبًا ما يستخدم لهذا هو نافذة من البيانات . تدفق يتعامل مع المعالجة المستمرة البيانات وهو مفتاح التحول الكبير البيانات بسرعة البيانات.

وبالمثل ، ما المقصود بتدفق البيانات؟

تدفق البيانات يكون البيانات التي يتم إنشاؤها باستمرار من قبل مصادر مختلفة. مثل البيانات يجب أن تتم معالجتها بشكل تدريجي باستخدام مجرى تقنيات المعالجة دون الوصول إلى جميع البيانات . يتم استخدامه عادة في سياق كبير البيانات حيث يتم إنشاؤه بواسطة العديد من المصادر المختلفة بسرعة عالية.

أين جرة تيار Hadoop؟

ال جرة Hadoop المتدفقة لا يزال متاحًا في أحدث إصدار من EMR هادوب . بدءًا من إصدار EMR 4.0. 0 يمكن العثور عليه في / usr / lib / هادوب - مابريدس / هادوب - تدفق.