博客

java8 Stream大数据量List分批处理切割方式

  • Post category:Python

Java8中的Stream API提供了对集合数据的高效便捷的处理方式，对于大数据量的List分批处理使用Stream API可以有效地提高程序运行效率。下面我将详细讲解Java8 Stream大数据量List分批处理切割方式的过程和示例：

1. 切割方式

对于大数据量的List分批处理，有以下三种常见的切割方式：

1. 指定批次大小进行切割

List<String> list = new ArrayList<>(Arrays.asList("apple", "orange", "banana", "pear", "peach", "grape", "lemon", "watermelon", "pineapple", "melon"));
int batchSize = 3; // 批次大小
int size = list.size(); // 数据量大小
IntStream.range(0, (size + batchSize - 1) / batchSize) // 生成批次数量虚拟流
        .mapToObj(i -> list.subList(i * batchSize, Math.min(size, (i + 1) * batchSize))) // 对批次进行切割
        .forEach(System.out::println); // 打印每个批次数据

2. 指定切割数量进行切割

List<String> list = new ArrayList<>(Arrays.asList("apple", "orange", "banana", "pear", "peach", "grape", "lemon", "watermelon", "pineapple", "melon"));
int splitNumber = 4; // 切割数量
List<List<String>> subLists = new ArrayList<>();
int size = list.size(); // 数据量大小
int stride = size / splitNumber; // 步长
int left = size % splitNumber; // 余数
int cursor, i = 0;
while (i < splitNumber) {
    cursor = i * stride;
    int end = (i == splitNumber - 1 ? (i + 1) * stride + left : (i + 1) * stride);
    subLists.add(list.subList(cursor, end));
    i += 1;
}
subLists.forEach(System.out::println); // 打印各个切割结果

3. 使用Collectors.toMap实现

List<String> list = new ArrayList<>(Arrays.asList("apple", "orange", "banana", "pear", "peach", "grape", "lemon", "watermelon", "pineapple", "melon"));
int batchSize = 3; // 批次大小
int size = list.size(); // 数据量大小
IntStream.range(0, (size + batchSize - 1) / batchSize) // 生成批次数量虚拟流
        .mapToObj(i -> list.subList(i * batchSize, Math.min(size, (i + 1) * batchSize))) // 把数据批次进行切割
        .collect(Collectors.toMap(subList -> UUID.randomUUID().toString(), Function.identity())) // 生成唯一标识
        .forEach((uuid, batchData) -> System.out.println(uuid + ":" + batchData)); // 打印每个批次数据

2. 示例说明：

1. 指定批次大小进行切割的示例:

List<String> list = new ArrayList<>(Arrays.asList("apple", "orange", "banana", "pear", "peach", "grape", "lemon", "watermelon", "pineapple", "melon"));
int batchSize = 3; // 批次大小
int size = list.size(); // 数据量大小
IntStream.range(0, (size + batchSize - 1) / batchSize) // 生成批次数量虚拟流
        .mapToObj(i -> list.subList(i * batchSize, Math.min(size, (i + 1) * batchSize))) // 把数据批次进行切割
        .forEach(System.out::println); // 打印每个批次数据

输出结果如下：

[apple, orange, banana]
[pear, peach, grape]
[lemon, watermelon, pineapple]
[melon]

2. 指定切割数量进行切割的示例:

List<String> list = new ArrayList<>(Arrays.asList("apple", "orange", "banana", "pear", "peach", "grape", "lemon", "watermelon", "pineapple", "melon"));
int splitNumber = 4; // 切割数量
List<List<String>> subLists = new ArrayList<>();
int size = list.size(); // 数据量大小
int stride = size / splitNumber; // 步长
int left = size % splitNumber; // 余数
int cursor, i = 0;
while (i < splitNumber) {
    cursor = i * stride;
    int end = (i == splitNumber - 1 ? (i + 1) * stride + left : (i + 1) * stride);
    subLists.add(list.subList(cursor, end));
    i += 1;
}
subLists.forEach(System.out::println); // 打印各个切割结果

输出结果如下：

[apple, orange]
[banana, pear]
[peach, grape, lemon]
[watermelon, pineapple, melon]

3. 使用Collectors.toMap实现的示例:

List<String> list = new ArrayList<>(Arrays.asList("apple", "orange", "banana", "pear", "peach", "grape", "lemon", "watermelon", "pineapple", "melon"));
int batchSize = 3; // 批次大小
int size = list.size(); // 数据量大小
IntStream.range(0, (size + batchSize - 1) / batchSize) // 生成批次数量虚拟流
        .mapToObj(i -> list.subList(i * batchSize, Math.min(size, (i + 1) * batchSize))) // 把数据批次进行切割
        .collect(Collectors.toMap(subList -> UUID.randomUUID().toString(), Function.identity())) // 生成唯一标识
        .forEach((uuid, batchData) -> System.out.println(uuid + ":" + batchData)); // 打印每个批次数据

输出结果如下：

605e7bfe-ec07-409d-bc07-a732bea6ae8f:[apple, orange, banana]
422eb72d-6785-4d2e-92ba-264e7769364c:[pear, peach, grape]
a6bde54f-6f96-463d-bb9f-fbcdc6d580ca:[lemon, watermelon, pineapple]
41bde5e0-620f-4c92-8630-a0e5a487a4c5:[melon]

以上就是 Java8 Stream大数据量List分批处理切割方式的完整攻略和示例说明，希望能对你有所帮助。

Tags: ,