博客

Python遍历目录下文件、读取、千万条数据合并详情

  • Post category:Python

下面我将给出详细的“Python遍历目录下文件、读取、千万条数据合并”的完整攻略，包含以下三个部分：

  1. 遍历目录下文件
  2. 读取文件内容并合并
  3. 千万条数据合并详情

一、遍历目录下文件

在Python中，我们可以使用os模块，调用walk函数来实现遍历目录下的所有文件。示例如下：

import os

for root, dirs, files in os.walk('folder_path'):
    for file in files:
        file_name = os.path.join(root, file)
        # 进行后续操作，如文件读取、合并等

“folder_path”可替换成你指定的目录路径。

二、读取文件内容并合并

遍历目录下的所有文件之后，我们需要对每个文件进行读取，然后将所有的文件内容合并成一个大文件。这里我们可以使用Python内置的open函数，结合with语句来实现文件的读取操作，然后再使用read函数来获取文件内容。示例如下：

import os

data = ''
for root, dirs, files in os.walk('folder_path'):
    for file in files:
        file_name = os.path.join(root, file)
        with open(file_name, encoding='utf-8') as f:
            content = f.read()
            data += content

代码中的“data”变量表示我们需要合并的所有文件内容，每读取一个文件，就将该文件的内容追加到data末尾，最终得到一个包含所有文件内容的大字符串data。

三、千万条数据合并详情

当我们需要合并的文件内容达到千万条的级别时，直接使用字符串拼接的方式可能会导致内存溢出等问题。针对这种情况，我们可以使用Python内置的yield关键字和生成器函数来实现分步读取文件，减小内存消耗，以及提高程序的性能。示例代码如下：

import os

def merge_files(folder_path):
    for root, dirs, files in os.walk(folder_path):
        for file in files:
            file_name = os.path.join(root, file)
            with open(file_name, encoding='utf-8') as f:
                for line in f:
                    yield line.strip() 

for line in merge_files('folder_path'):
    # 进行后续操作，如数据处理、导入数据库等

上述代码中的merge_files函数使用yield关键字将文件内容按行逐步生成，并交给for循环。在使用for循环调用merge_files函数时，每次返回一行文件内容，从而实现了分步读取文件、并降低了内存消耗的效果。

另外，当数据条数较大时，我们可以使用Python的multiprocessing模块来实现多进程、并发读取文件，进一步提高读取效率。

Tags: