Las operaciones colectivas son llamadas MPI diseñadas para comunicar los procesos señalados por un comunicador en una sola operación o para realizar una sincronización entre ellos. Estos se utilizan a menudo para calcular uno o más valores basados en datos aportados por otros procesos o para distribuir o recopilar datos de todos los demás procesos.
Tenga en cuenta que todos los procesos en el comunicador deben invocar las mismas operaciones colectivas en orden, de lo contrario la aplicación se bloquearía.