כלים אישיים
הנך נמצא כאן: עמוד בית ‹ Faq ‹ שירותים ‹ עיבוד מקבילי Condor ‹ Hadoop
 

Hadoop

הרצת קבצים ב HADOOP:

 

להתחבר ל nova ולהריץ את משתני הסביבה הבאים:

 

setenv HADOOP_LOG_DIR /usr/local/lib/hadoop/logs/$user/logs

 

setenv HADOOP_HOME /usr/local/lib/hadoop

 

setenv HADOOP_COMMON_HOME /usr/local/lib/hadoop-0.21.0/common

 

setenv HADOOP_CONF_DIR /usr/local/lib/hadoop-0.21.0/conf

 

 

עכשיו אפשר לעלות את קיבצי הנתונים שרוצים להריץ:

 

(hadoop dfs -copyFromLocal  (source)   (destination

 

hadoop dfs -copyFromLocal /tmp/file.txt hadoop-file-name לדוגמא:

 

destination - הקובץ שבו ישמרו הנתונים

 

 

 כעת ניתן להריץ את העבודה עם הפקודה:

(hadoop jar /usr/local/lib/hadoop/hadoop-mapred-examples-0.21.0.jar wordcount hadoop-file-name(input_file) hadoop-file-name.out(output_file

   /usr/local/lib/hadoop/hadoop-mapred-examples-0.21.0.jar
    זו התוכנית שאמורה לבצע פעולה מסויימת על הקובץ (במקרה זה - ספירת מילים) - ../hadoop-mapred-examples-0.21.0.jar wordcount


בכדי לצפות בתוצאות יש  לפתוח את הדפדפן ולהיכנס לכתובת הבאה:


 

http://hadoopsrv.cs.tau.ac.il:50075/browseDirectory.jsp?dir=%2Fuser&namenodeInfoPort=50070&delegation=null

או בעזרת הפקודה:

hadoop dfs -copyToLocal  <src> <localdst>

hadoop dfs -copyToLocal hadoop-file-name.out /tmp/hadoop-file-name.out



קובץ pdf בעברית

מצגת באנגלית

 

פעולות מסמך