ସେବା

ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂ ଡାଟା ସଫେଇ ପ୍ରଣାଳୀ |
(I) DStream ଏବଂ RDD |
ଯେପରି ଆମେ ଜାଣୁ, ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂ ଗଣନା ସ୍ପାର୍କ କୋର ଉପରେ ଆଧାରିତ ଏବଂ ସ୍ପାର୍କ କୋରର ମୂଳ ହେଉଛି RDD, ତେଣୁ ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂ RDD ସହିତ ମଧ୍ୟ ଜଡିତ |ଯଦିଓ, ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂ ଉପଭୋକ୍ତାମାନଙ୍କୁ ସିଧାସଳଖ RDD ବ୍ୟବହାର କରିବାକୁ ଦିଏ ନାହିଁ, କିନ୍ତୁ DStream ଧାରଣାର ଏକ ସେଟ୍ ଅବକ୍ଷୟ କରେ, DStream ଏବଂ RDD ଅନ୍ତର୍ଭୂକ୍ତ ସମ୍ପର୍କ ଅଟେ, ଆପଣ ଏହାକୁ ଜାଭା ର ସାଜସଜ୍ଜା ପ୍ୟାଟର୍ ଭାବରେ ବୁ understand ିପାରିବେ, ଅର୍ଥାତ୍ DStream ହେଉଛି RDD ର ଏକ ଉନ୍ନତି, କିନ୍ତୁ ଆଚରଣ RDD ସହିତ ସମାନ |
DStream ଏବଂ RDD ଉଭୟଙ୍କର ଅନେକ ସର୍ତ୍ତ ଅଛି |
(1) ସମାନ ଟ୍ରାନ୍ସଫର୍ମେସନ୍ କ୍ରିୟା ଅଛି, ଯେପରିକି ମାନଚିତ୍ର, ହ୍ରାସ ବାଇକେ ଇତ୍ୟାଦି, କିନ୍ତୁ କିଛି ଅନନ୍ୟ, ଯେପରିକି ୱିଣ୍ଡୋ, ମ୍ୟାପ୍ ୱିଥ୍ ଷ୍ଟେଟେଡ୍ ଇତ୍ୟାଦି |
()) ସମସ୍ତଙ୍କର ଆକ୍ସନ୍ କ୍ରିୟା ଅଛି, ଯେପରିକି foreachRDD, ଗଣନା ଇତ୍ୟାଦି |
ପ୍ରୋଗ୍ରାମିଂ ମଡେଲ୍ ସ୍ଥିର ଅଟେ |
(ଖ) ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂରେ DStream ର ପରିଚୟ |
DStream ଅନେକ ଶ୍ରେଣୀ ଧାରଣ କରେ |
(1) ଡାଟା ଉତ୍ସ କ୍ଲାସ୍, ଯେପରିକି InputDStream, DirectKafkaInputStream ଇତ୍ୟାଦି ନିର୍ଦ୍ଦିଷ୍ଟ |
()) ରୂପାନ୍ତର କ୍ଲାସ୍, ସାଧାରଣତ Ma MappedDStream, ShuffledDStream |
(3) ଆଉଟପୁଟ୍ କ୍ଲାସ୍, ସାଧାରଣତ For ForEachDStream ପରି |
ଉପରୋକ୍ତରୁ, ଆରମ୍ଭରୁ (ଇନପୁଟ୍) ଶେଷ ପର୍ଯ୍ୟନ୍ତ (ଆଉଟପୁଟ୍) DStream ସିଷ୍ଟମ୍ ଦ୍ୱାରା କରାଯାଇଥାଏ, ଯାହାର ଅର୍ଥ ହେଉଛି ଉପଭୋକ୍ତା ସାଧାରଣତ RD RDD ଗୁଡ଼ିକୁ ସିଧାସଳଖ ଉତ୍ପାଦନ ଏବଂ ପରିଚାଳନା କରିପାରିବେ ନାହିଁ, ଅର୍ଥାତ୍ DStream ହେବାର ସୁଯୋଗ ଏବଂ ବାଧ୍ୟତାମୂଳକ ଅଛି | RDD ର ଜୀବନଚକ୍ର ପାଇଁ ଦାୟୀ |
ଅନ୍ୟ ଶବ୍ଦରେ, ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂର ଏକ ଅଛି |ସ୍ୱୟଂଚାଳିତ ସଫା କରିବା |କାର୍ଯ୍ୟ
(iii) ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂରେ RDD ପି generation ିର ପ୍ରକ୍ରିୟା |
ସ୍ପାର୍କ ଷ୍ଟ୍ରିମିଂରେ RDD ର ଜୀବନ ପ୍ରବାହ ନିମ୍ନଲିଖିତ ଅଟେ |
(1) InputDStream ରେ, ପ୍ରାପ୍ତ ତଥ୍ୟ RDD ରେ ରୂପାନ୍ତରିତ ହୋଇଛି, ଯେପରିକି DirectKafkaInputStream, ଯାହା KafkaRDD ସୃଷ୍ଟି କରେ |
()) ତାପରେ ମ୍ୟାପେଡ୍ ଡିଷ୍ଟ୍ରିମ୍ ଏବଂ ଅନ୍ୟାନ୍ୟ ଡାଟା ରୂପାନ୍ତର ମାଧ୍ୟମରେ, ଏହି ସମୟକୁ ରୂପାନ୍ତର ପାଇଁ ମାନଚିତ୍ର ପଦ୍ଧତି ସହିତ ଅନୁରୂପ ଭାବରେ RDD କୁହାଯାଏ |
()) ଆଉଟପୁଟ୍ କ୍ଲାସ୍ ଅପରେସନ୍ ରେ, ଯେତେବେଳେ RDD ଉନ୍ମୋଚିତ ହୁଏ, ଆପଣ ଉପଭୋକ୍ତାଙ୍କୁ ସଂପୃକ୍ତ ଷ୍ଟୋରେଜ୍, ଅନ୍ୟାନ୍ୟ ଗଣନା ଏବଂ ଅନ୍ୟାନ୍ୟ କାର୍ଯ୍ୟ କରିବାକୁ ଅନୁମତି ଦେଇପାରିବେ |