Декомпозиция данных

В качестве простого примера декомпозиции данных рассмотрим сложение двух векторов и , в результате чего получится вектор . Если предположить, что над этой задачей работает процессов, разбиение данных приведет к распределению элементов каждого вектора для каждого процесса, который вычисляет соответствующие элементов результирующего вектора. Такое распределение данных может быть сделано либо ``статически'', когда каждый процесс ``априори'' знает (по крайней мере, в терминах переменных и ) свою долю рабочей нагрузки, либо ``динамически'', когда контролирующий процесс (т.е. ведущий) распределяет подблоки рабочей нагрузки для процессов - как и когда они освободятся. Принципиальная разница между этими двумя подходами - это ``диспетчеризация''. При статической диспетчеризации индивидуальная рабочая нагрузка процесса фиксирована; при динамической, она варьирует в зависимости от состояния вычислительного процесса. В большинстве мультипроцессорных сред статическая диспетчеризация эффективна для таких задач как пример сложения векторов; однако в обобщенной среде PVM статическая диспетчеризация не очень необходима. Смысл заключается в том, что среды PVM, базирующиеся на сетевых кластерах, восприимчивы к внешним воздействиям; поэтому статически диспетчеризированные задачи с разделенными данными могут конфликтовать с одним или более процессами, которые реализуют свою порцию рабочей нагрузки намного быстрее или намного медленнее, чем другие. Эта ситуация может также возникнуть, когда машины в системе PVM гетерогенны, обладают различными скоростями ЦПУ, различной памятью и прочими системными атрибутами.

При реальном исполнении даже упомянутой тривиальной задачи сложения векторов выявляется, что ввод и вывод не могут быть проигнорированы. Возникает вопрос: как заставить описанные выше процессы принять свою рабочую нагрузку и что им делать с результирующим вектором? Ответ на этот вопрос зависит от самого приложения и обстоятельств его частичного выполнения, когда:

1. Индивидуальные процессы генерируют свои собственные данные внутренне, например, используя генераторы случайных чисел или статически заданные величины. Это возможно только в очень специфических ситуациях или применяется в целях тестирования.
2. Индивидуальные процессы независимо вводят подмножества своих данных из внешних устройств. Такой метод является значащим во многих случаях, но возможен только при поддержке услуг параллельного ввода/вывода.
3. Контролирующий процесс посылает индивидуальные подмножества данных каждому процессу. Это наиболее обобщенный сценарий, особенно полезный при отсутствии услуг параллельного ввода/вывода. Кроме того, этот метод также применим при вводе подмножеств данных, полученных при предыдущих вычислениях, относящихся к данному приложению.