torch.multiprocessing是Pythonmultiprocessing的替代品。它支持完全相同的操作，但扩展了它以便通过multiprocessing.Queue发送的所有张量将其数据移动到共享内存中，并且只会向其他进程发送一个句柄。
Note
当Variable发送到另一个进程时，Variable.data和Variable.grad.data都将被共享。
这允许实现各种训练方法，如Hogwild，A3C或需要异步操作的任何其他方法。