博客

Python通过Manager方式实现多个无关联进程共享数据的实现

  • Post category:Python

介绍Python通过Manager的方式实现多个无关联进程共享数据的实现攻略，需要分以下几步进行：

1. 导入相关库：

Python Multiprocessing库需要导入相关的Pool、Process、Lock、Manager等类。

from multiprocessing import Pool,Process,Lock,Manager

2. 创建Manager对象：

使用Manager类可以创建一个共享内存的server进程，并且提供Lock、Value、Array等共享变量的创建方法，以供不同进程进行访问修改。

manager = Manager()

3. 创建共享变量：

创建共享变量可以使用Value和Array方法。对于Value方法，则需提供数据类型和初始值；而对于Array方法，则需提供数据类型、数组长度和初始值。

value = manager.Value('i', 0)
array = manager.Array('i', [1,2,3,4,5,6])

4. 创建进程执行任务：

使用Process类定义进程任务，任务需要执行的函数可以作为参数传入。在任务函数中可以通过Manager对象共享的变量进行访问和修改。

def task1(value, array, lock):
    with lock:
        value.value += 1
        array[0] += 1
    print("task1", value.value, array[:])

def task2(value, array, lock):
    with lock:
        value.value += 1
        array[0] += 1
    print("task2", value.value, array[:])

p1 = Process(target=task1, args=(value, array, lock))
p2 = Process(target=task2, args=(value, array, lock))

5. 启动进程：

使用start()方法启动进程，join()方法等待进程结束并释放内存资源。

p1.start()
p2.start()
p1.join()
p2.join()

下面是两个完整示例代码：

示例一：

from multiprocessing import Pool,Process,Lock,Manager

def task1(value, array, lock):
    with lock:
        value.value += 1
        array[0] += 1
    print("task1", value.value, array[:])

def task2(value, array, lock):
    with lock:
        value.value += 1
        array[0] += 1
    print("task2", value.value, array[:])

if __name__ == '__main__':
    manager = Manager()
    value = manager.Value('i', 0)
    array = manager.Array('i', [1,2,3,4,5,6])
    lock = Lock()
    p1 = Process(target=task1, args=(value, array, lock))
    p2 = Process(target=task2, args=(value, array, lock))
    p1.start()
    p2.start()
    p1.join()
    p2.join()

示例二：

from multiprocessing import Pool,Process,Lock,Manager

def task1(value, array, lock):
    with lock:
        value.value += 1
        array[0] += 1
    print("task1", value.value, array[:])

def task2(value, array, lock):
    with lock:
        value.value += 1
        array[1] += 1
    print("task2", value.value, array[:])

if __name__ == '__main__':
    manager = Manager()
    value = manager.Value('i', 0)
    array = manager.Array('i', [1,2,3,4,5,6])
    lock = Lock()
    p1 = Process(target=task1, args=(value, array, lock))
    p2 = Process(target=task2, args=(value, array, lock))
    p1.start()
    p2.start()
    p1.join()
    p2.join()

以上就是Python通过Manager方式实现多个无关联进程共享数据的完整攻略，其中详细讲解了如何导入相关类库、创建Manager对象、创建共享变量、创建进程执行任务、启动进程等多个步骤，同时还提供了两个示例代码作为参考。

Tags: