博客

详解Python中多线程和多处理的区别

  • Post category:Python

Python是一门高级编程语言，拥有进行多任务处理的能力。在Python中，有两种不同的并发处理方式：多线程和多处理。这两种方式虽然都可以提高程序的并发性能，但是它们之间还是有很大的区别的。

多线程

多线程是指在进程内同时运行多个线程，所有线程可以共享一个进程内的资源。这个过程中需要特别注意同步问题，防止线程之间的冲突。Python标准库中提供了threading模块用于实现多线程。

多线程的优点主要有：

  1. 响应快：由于多线程的执行是基于CPU的时间片轮转，比较公正，所以响应速度相对较快。
  2. 节省内存：线程之间可以共享进程内的资源，避免了频繁创建和销毁线程的开销。
  3. 简单易用：Python标准库中提供了threading模块，使用起来比较方便。

多线程的缺点主要有：

  1. GIL锁问题：Python中的多线程是伪多线程，实际上是只运行一个线程，因为Python有一个全局解释器锁GIL。不过，在一定情况下多线程还是能够提高程序的执行效率的，比如IO密集型操作等。

下面是一个示例程序，用于多线程下载图片：

import threading
import requests

def download_img(url):
    response = requests.get(url)
    with open('img.jpg', 'wb') as f:
        f.write(response.content)

threads = []
for i in range(10):
    url = f'http://example.com/img/{i}.jpg'
    t = threading.Thread(target=download_img, args=(url,))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

多处理

多处理是指每个进程内部运行多个子进程，每个子进程之间互不影响，可以利用多个CPU核心实现相对于多线程更大程度的并行化运算。Python标准库中multiprocessing模块提供了多处理的功能。

多处理的优点主要有：

  1. 真正并行：多处理可以利用多个CPU核心进行计算，能够真正实现并行化处理，加快程序执行速度。
  2. 稳定性高：每个子进程互不影响，如果其中一个进程崩溃了，不会影响其他进程的执行。
  3. 可以跨平台：在Python中，多处理可以在Unix/Linux和Windows等操作系统中使用。

多处理的缺点主要有：

  1. 系统开销大：开辟多个进程需要消耗较多的系统资源，包括内存空间和处理时间等。
  2. 通信成本高：在子进程之间进行通信的成本比线程之间的通信成本要高。

下面是一个示例程序，用于多处理计算PI值：

from multiprocessing import Pool
import math

def calc_pi(n):
    s = 0
    for i in range(n):
        s += 1 / (1 + ((i + 0.5) / n) ** 2)
    return 4 * s / n

if __name__ == '__main__':
    with Pool(4) as p:
        result = p.map(calc_pi, [1000000] * 4)

    print(sum(result) / 4)

从以上两个示例可以看出，多线程和多处理在实现方式上有所不同，且可以针对不同的任务选择不同的并发处理方式，以提高程序效率和性能。

Tags: