Skip to content

Latest commit

 

History

History
7 lines (3 loc) · 332 Bytes

讲一下宽依赖和窄依赖.md

File metadata and controls

7 lines (3 loc) · 332 Bytes

讲一下宽依赖和窄依赖

区别宽窄依赖的核心点是 子RDD的partition与父RDD的partition是否是1对多的关系,如果是这样的关系的话,

说明多个父rdd的partition需要经过shuffle过程汇总到一个子rdd的partition,这样就是一次宽依赖,在DAGScheduler中会产生stage的切分.