博客

python 进程间数据共享multiProcess.Manger实现解析

  • Post category:Python

进行 Python 进程间通信时，使用多进程模块 multiprocessing 中的 Manager 类可以实现多个进程之间共享数据。对于需要共享数据的程序，利用 Manager 可以更加方便地处理数据的共享。以下是 multiProcess.Manger 实现解析的完整攻略：

1. 创建 Manager 对象

首先需要创建一个 Manager 对象，用于管理共享的数据。可以像下面这样创建：

from multiprocessing import Process, Manager

manager = Manager()

2. 创建共享数据

然后，可以通过 Manager 对象创建需要在进程之间共享的数据。以下是两个示例：

列表

可以使用 Manager 的 list 方法创建一个共享的列表，示例如下：

shared_list = manager.list([1, 2, 3, 4])

可以在各个进程中通过 shared_list 访问共享列表中的数据。

字典

另外还可以使用 Manager 的 dict 方法创建共享字典，示例如下：

shared_dict = manager.dict({"a": 1, "b": 2, "c": 3})

可以在各个进程中通过 shared_dict 访问共享字典中的数据。

3. 进程间通信

在创建完共享数据后，就可以在多进程之间共享数据了。以下是两个示例：

列表

下面是使用共享列表的示例：

def add_item(shared_list):
    shared_list.append(5)
    print(f"Process {os.getpid()}: list after adding item: {shared_list}")

def remove_item(shared_list):
    shared_list.pop()
    print(f"Process {os.getpid()}: list after removing item: {shared_list}")

if __name__ == '__main__':
    processes = []
    for func in [add_item, remove_item]:
        p = Process(target=func, args=(shared_list,))
        p.start()
        processes.append(p)

    for p in processes:
        p.join()

    print(f"Main process: final list: {shared_list}")

在上面的示例中，我们定义了两个函数 add_item 和 remove_item，分别用于往共享列表中添加元素和删除元素。然后我们创建两个进程，分别执行这两个函数。我们可以看到，在不同的进程中操作列表并且打印了列表的状态。最后，在主进程中输出列表的最终状态。

字典

下面是使用共享字典的示例：

def update_item(shared_dict):
    shared_dict["a"] = 100
    shared_dict["d"] = 4
    print(f"Process {os.getpid()}: dict after updating: {shared_dict}")

if __name__ == '__main__':
    p = Process(target=update_item, args=(shared_dict,))
    p.start()
    p.join()

    print("Main process: final dict: ", shared_dict)

在上面的示例中，我们定义了一个 update_item 函数，用于修改共享字典中的数据。然后我们创建一个进程执行这个函数。最后，在主进程中输出字典的最终状态。

总结

以上是使用 Manager 实现进程间数据共享的完整攻略，包括创建 Manager 对象、创建共享数据以及进程间通信。在实际使用中，可以根据需要创建不同类型的共享数据，并在不同的进程中进行通信。

Tags: ,