جدول المحتويات:

هل يمكنني تشغيل بايثون على Hadoop؟
هل يمكنني تشغيل بايثون على Hadoop؟

فيديو: هل يمكنني تشغيل بايثون على Hadoop؟

فيديو: هل يمكنني تشغيل بايثون على Hadoop؟
فيديو: Installing Python for the Python Transformation on Hadoop 2024, يمكن
Anonim

مع الاختيار بين لغات البرمجة مثل Java و Scala و بايثون ل هادوب النظام البيئي ، يستخدمه معظم المطورين بايثون بسبب مكتباتها الداعمة لمهام تحليل البيانات. هادوب يسمح التدفق للمستخدم بإنشاء و ينفذ قم بتعيين / تقليل المهام باستخدام أي برنامج نصي أو قابل للتنفيذ مثل مصمم الخرائط و / والمخفض.

وبالمثل ، يُسأل ، كيف تتصل بايثون بـ Hadoop؟

ربط Hadoop HDFS مع Python

  1. الخطوة 1: تأكد من أن Hadoop HDFS يعمل بشكل صحيح. افتح Terminal / Command Prompt ، وتحقق مما إذا كان HDFS يعمل باستخدام الأوامر التالية: start-dfs.sh.
  2. الخطوة 2: تثبيت مكتبة libhdfs3.
  3. الخطوة 3: قم بتثبيت مكتبة hdfs3.
  4. الخطوة 4: تحقق من نجاح الاتصال بـ HDFS.

وبالمثل ، ما هو Hadoop في Python؟ بايثون هي لغة برمجة كاملة للأغراض العامة والتي يمكن استخدامها لفعل كل شيء تقريبًا في عالم البرمجة. هادوب هو إطار عمل للبيانات الضخمة مكتوب بلغة جافا للتعامل مع كميات هائلة من البيانات. هناك العديد من المعاهد على الإنترنت التي هادوب مع بايثون دورات مثل: Analytixlabs. إدوريكا.

بعد ذلك ، السؤال هو ، كيف يمكنني تشغيل برنامج Python MapReduce في Hadoop؟

كتابة برنامج Hadoop MapReduce في بايثون

  1. التحفيز.
  2. ماذا نريد ان نفعل
  3. المتطلبات الأساسية.
  4. Python MapReduce Code. خطوة الخريطة: mapper.py. تقليل الخطوة: المخفض.
  5. تشغيل كود Python على Hadoop. تنزيل مثال على بيانات الإدخال. نسخ بيانات المثال المحلي إلى HDFS.
  6. كود مصمم الخرائط والمخفض المحسّن: استخدام مكررات ومولدات بايثون. mapper.py. المخفض.

ما هو جرة Hadoop الجري؟

هادوب يوفر التوزيع أداة جافا تسمى Hadoop الجري . يتم تعبئتها في ملف إناء ملف. مع Hadoop الجري ، يمكننا إنشاء وظائف Map Reduce وتشغيلها باستخدام برنامج نصي قابل للتنفيذ. Hadoop الجري هي الأداة التي تأتي مع هادوب توزيع. يمكن استخدامه لتنفيذ برامج لتحليل البيانات الضخمة.

موصى به: