В предыдущем подразделе обсуждалась общая парадигма параллельного программирования с учетом структуры процесса и выделены демонстративные примеры в контексте системы PVM. В этом подразделе рассматривается проблема распределения рабочей нагрузки, следующей за стабилизацией структуры процесса, и описаны несколько обобщенных парадигм, которые используются при параллельных вычислениях в распределенной памяти. Обычно применяются две общих методологии. Первая, называемая ``декомпозицией данных'' или разбиением, исходит из того, что перекрывающиеся задачи приводят к применению вычислительных операций или преобразований над одной или большим числом структур данных, а затем эти данные могут разделяться и обрабатываться. Вторая называется ``функциональная декомпозиция'', что означает - разбиение работы на основе отличий операций и функций. В некотором смысле, вычислительная модель PVM поддерживает оба вида декомпозиции: ``функциональную'' (фундаментально различающиеся задачи выполняют различные операции) и ``данных'' (идентичные задачи оперируют над различными порциями данных).