CS4830 Lab4-spark  code Solved

Description

1. Write a  spark  code  for  executing  the  Hash  example  provided  in  slide  14  on  Hashing  from  Lab  1   Presentation,  on  the  public  file: gs://bucket_two_2/hash_file.txt         .  You  would  have  to   find  the  number  of  user  clicks  between  0-6,  6-12,  12-18,  and  18-24,  as  was  discussed  in  the   first
   1. Submit the  python  file  with  your
   2. Also, provide  the  text  file  containing y our

 

2. Provide a  brief  description  of  the  functionality  of  the  following  services:
   1. HDFS
   2. Hive
   3. Pig
   4. Yarn

Create  a  report  (as  PDF)  containing  answers t o  the  above  questions.  Then,  zip  it  along  with  the   Python  source  code  and  the  text  file  (for  the  spark  task).

[Please  ensure  that  the  name  of  this  zip fi le  should  be  <yourrollnumber>CS4830Assignment2.zip]

Finally,  submit  this  zip  file  on  moodle.