博客

Python 性能分析

  • Post category:Python

Python性能分析是指通过对Python程序的性能进行测量、分析和优化来提高程序的执行效率。Python提供了多种性能分析的工具，包括cProfile、pstats、Memory Profiler等，本文将介绍一些常用的Python性能分析工具及其使用方法。

cProfile

cProfile是Python标准库中的性能分析工具之一，它可以提供函数级别的性能分析信息，包括函数调用次数、函数执行时间、函数执行次数、函数执行平均时间等。

使用cProfile进行性能分析的步骤如下：

import cProfile

def foo():
    pass

def main():
    cProfile.run('foo()')

if __name__ == '__main__':
    main()

这段代码中，我们调用cProfile.run函数来进行性能分析，传入的参数是一个字符串，其中包含需要进行性能分析的代码。运行这段代码后，cProfile将会输出一些性能分析信息，如下所示：

         5 function calls in 0.000 seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    0.000    0.000 :0(pass)
        1    0.000    0.000    0.000    0.000 :0(setprofile)
        1    0.000    0.000    0.000    0.000 :0(settrace)
        1    0.000    0.000    0.000    0.000 profile:0(foo())
        1    0.000    0.000    0.000    0.000 {built-in method builtins.exec}

cProfile.run函数也可以传入一个函数作为参数来进行性能分析，例如：

import cProfile

def foo():
    pass

def main():
    cProfile.run(foo)

if __name__ == '__main__':
    main()

这段代码也会输出和上面一样的性能分析信息。

pstats

pstats是cProfile的一个可视化工具，可以对cProfile输出的性能分析信息进行解析和呈现，方便我们分析程序的性能瓶颈。

使用pstats进行分析的步骤如下：

import cProfile
import pstats

def foo():
    pass

def main():
    cProfile.run('foo()', 'foo_profile.stats')
    p = pstats.Stats('foo_profile.stats')
    p.strip_dirs().sort_stats('cumulative').print_stats()

if __name__ == '__main__':
    main()

这段代码中，我们在cProfile.run函数中传入了一个文件名foo_profile.stats，这个文件中包含了cProfile输出的性能分析信息。然后我们用pstats.Stats类读取这个文件，并使用strip_dirs方法和sort_stats方法对性能分析信息进行处理和排序，最后调用print_stats方法将结果输出。

Memory Profiler

Memory Profiler是Python的一个内存分析工具，可以用来分析Python程序的内存使用情况，了解程序中哪些地方使用了大量内存。

使用Memory Profiler进行性能分析的步骤如下：

!pip install memory_profiler

import memory_profiler

@profile
def foo():
    a = [1] * (10 ** 6)
    b = [2] * (10 ** 7)
    del b
    return a

if __name__ == '__main__':
    foo()

这段代码中，我们使用了memory_profiler库提供的@profile装饰器对需要进行内存分析的函数进行装饰。然后运行这个程序时，在终端中输入命令：

python -m memory_profiler script.py

其中script.py是要进行内存分析的Python脚本的文件名。然后Memory Profiler会输出类似下面的结果：

Filename: script.py

Line #    Mem usage    Increment   Line Contents
================================================
     4   16.016 MiB   16.016 MiB   @profile
     5                             def foo():
     6   23.941 MiB    7.925 MiB       a = [1] * (10 ** 6)
     7  160.984 MiB  137.043 MiB       b = [2] * (10 ** 7)
     8   23.941 MiB -137.043 MiB       del b
     9   23.941 MiB    0.000 MiB       return a

这里的Mem usage列代表了当前程序运行时占用的内存大小，Increment列代表了在这个代码行执行过程中程序占用内存的变化量。这里我们可以看到，第7行代码中我们创建了一个占用137MB内存的列表b，并且在第8行代码通过del b将其释放掉，因此这一段代码会导致程序内存占用量的剧烈波动。

以上是Python性能分析的一个简单介绍及其使用方法，希望对你有所帮助。

Tags: