博客

Python 使用多进程池和任务

  • Post category:Python

Python中的多进程池可以用来处理大量的CPU密集型任务，如并行处理多个大型文件、图像处理等。下面将详细介绍Python中如何使用多进程池和任务。

创建多进程池

要使用多进程池，需要使用Python中的multiprocessing模块。首先，我们需要从multiprocessing中导入Pool类。

from multiprocessing import Pool

在导入Pool类后，我们可以直接使用它创建一个指定大小的多进程池。例如，以下代码使用了4个进程的池：

pool = Pool(processes=4)

添加任务

创建完成多进程池后，我们需要将任务添加到池中。假设我们有一个函数process_data可以对数据进行处理，我们需要对大量的数据进行处理，那么我们可以通过以下方式添加任务：

data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
results = []

for d in data:
    result = pool.apply_async(process_data, args=(d,))
    results.append(result)

在上述代码中，我们将数据放在一个列表data中，将处理函数process_data和参数d一起传入apply_async方法，这个方法会返回一个AsyncResult对象，我们将这个对象存储在一个列表中作为结果。

获取任务结果

任务添加完成后，我们可以通过AsyncResult的get()方法获取任务的结果。例如，以下代码将列表中存储的所有结果打印出来：

for result in results:
    print(result.get())

当所有任务都完成并且结果都被收集到列表中后，我们应该要关闭多进程池。这可以通过调用多进程池对象的close()方法和join()方法来完成：

pool.close()
pool.join()

完整的代码如下所示：

from multiprocessing import Pool


def process_data(data):
    # 处理数据的函数
    result = data * 2
    return result


if __name__ == '__main__':
    pool = Pool(processes=4)
    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    results = []

    for d in data:
        result = pool.apply_async(process_data, args=(d,))
        results.append(result)

    for result in results:
        print(result.get())

    pool.close()
    pool.join()

示例说明

在上面的例子中，我们使用进程池并行处理了包含10个元素的列表。每个元素都传递给process_data函数进行处理，处理完成后返回结果。在将结果存储在列表中后，我们通过调用AsyncResult对象的get()方法获取结果。

另一个例子是使用multiprocessing模块Map函数来实现多进程池。和之前相同，我们同样先要定义一个处理数据的函数process_data，然后将多进程池的大小设为4，再将要处理的数据存储在一个列表中。我们现在可以使用Map函数来处理数据：

from multiprocessing import Pool


def process_data(data):
    # 处理数据的函数
    result = data * 2
    return result


if __name__ == '__main__':
    pool = Pool(processes=4)
    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    results = pool.map(process_data, data)

    for result in results:
        print(result)

    pool.close()
    pool.join()

在这个例子中，我们在调用多进程池的map()方法时将处理数据的函数和数据列表作为参数传递给它。map()函数将对数据列表中的每个元素调用处理函数，最终返回一个新的列表。在完成所有任务后，我们通过迭代新列表中的元素来输出处理结果。和上一个例子一样，我们在处理完成后关闭多进程池。

总之，Python中的multiprocessing模块为我们提供了一种非常方便的方式来进行多进程处理。我们可以使用多进程池和任务来处理所有类型的计算密集型任务。

Tags: