码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 多线程处理文件集合,先拆分,在执行


    1. try {
    2. File file = new File(path);
    3. File[] files = file.listFiles();
    4. log.info("当前共有文件 "+files.length+"个");
    5. List filesList = new ArrayList<>(Arrays.asList(files));
    6. List> dividedLists = SplitListUtils.splitList(filesList, 10);
    7. int numThreads = Math.min(10, dividedLists.size()); // 获取实际的任务数量
    8. log.info("线程数:"+ numThreads);
    9. // 创建线程池并执行任务
    10. ExecutorService executor = Executors.newFixedThreadPool(numThreads);
    11. for (List subFiles : dividedLists) {
    12. executor.execute(() -> processFiles(subFiles));
    13. }
    14. executor.shutdown();
    15. boolean finished = false;
    16. try {
    17. finished = executor.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
    18. } catch (InterruptedException e) {
    19. // 处理中断异常
    20. e.printStackTrace();
    21. }
    22. // 在执行完所有任务后继续后面的操作处理 collect_task 结束
    23. if (finished) {
    24. // 所有任务已完成,可以执行后续操作
    25. System.out.println("ok.....");
    26. } else {
    27. // 等待超时或者被中断,可以根据需要进行处理
    28. System.out.println("执行中....");
    29. }
    30. } catch (Exception e) {
    31. e.printStackTrace();
    32. }
    1. public static List> splitList(List list, int numLists) {
    2. List> dividedLists = new ArrayList<>();
    3. int size = list.size();
    4. int average = size / numLists;
    5. int remainder = size % numLists;
    6. int index = 0;
    7. for (int i = 0; i < numLists; i++) {
    8. int sublistSize = average + (i < remainder ? 1 : 0);
    9. List sublist = new ArrayList<>(list.subList(index, index + sublistSize));
    10. if(sublist.size() > 0){
    11. dividedLists.add(sublist);
    12. }
    13. index += sublistSize;
    14. }
    15. return dividedLists;
    16. }

    上面代码的拆分, 最多集合是10个,如果大集合的总数小于10,那就是大集合的数量。要是大集合的数量大于10个,那就均分到10个小集合中。

  • 相关阅读:
    java实用代码-----HttpsUtil
    史上最短的“牛熊转换”:BTC价格昨夜起飞,但却来自一条假新闻!
    SpringMVC 进阶
    写论文可能会用到的网站
    接口自动化测试框架9项必备功能,你知道吗?
    一般做家庭用电的考什么样式的电工证?应急管理厅低压电工
    mybatis 批量插入和批量修改
    uni-app开发微信小程序踩坑
    Vue Cli安装和node-sass、less-loader、sass-loader安装
    Golang 协程 与 Java 线程池的联系
  • 原文地址:https://blog.csdn.net/zhanghe687/article/details/133880777
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号