Pipeline Parallelism¶

经典的流水线并行范式有Google推出的Gpipe，和微软推出的PipeDream。
主要差别为：在梯度更新上，Gpipe是同步的，PipeDream是异步的。异步方法更进一步降低了GPU的空转时间比。虽然PipeDream设计更精妙些，但是Gpipe因为其“够用”和浅显易懂