Map vs. flatMap

Map과 FlatMap은 문자열과 같은 것들을 분리하는 역할을 한다. 각 차이점에 대해서 알아보자.

Map Function

split 하면 list of list로 반환한다. 그래서 접근하기가 까다롭다.

flatMap

split시에 list로 반환 하기때문에 접근하기 쉽다.

text = sc.textFile("short")

wc = text.flatMap(lambda line : line.split()).map(lambda word : (word.1)).reduceByKey(lamdba c1, c2 : c1+c2)

wc.collect()