技術文章 » Java設定執行緒池

Java設定執行緒池

2023-05-24 18:00:57

一、Java設定執行緒池

1、執行緒池分類、其他

1.1、分類

IO密集型 和 CPU密集型 任務的特點不同，因此針對不同型別的任務，選擇不同型別的執行緒池可以獲得更好的效能表現。

1.1. IO密集型任務

​ IO密集型任務的特點是需要頻繁讀寫磁碟、網路或者其他IO資源，執行時間長，CPU佔用率較低。

對於這類任務，執行緒的執行時間主要取決於IO操作的速度，而非CPU的執行能力。

​ 因此，執行緒池的執行緒數應該設定較大，以便充分利用IO資源。

通常建議使用CachedThreadPool執行緒池或者FixedThreadPool執行緒池來處理IO密集型任務。

1.2. CPU密集型任務

​ CPU密集型任務的特點是需要進行大量的計算，執行時間長，CPU佔用率較高。

對於這類任務，執行緒的執行時間主要取決於CPU的執行能力。

​ 因此，執行緒池的執行緒數應該設定較小，以充分利用CPU的計算能力，避免過多的執行緒切換和上下文切換導致的效能損失。

通常建議使用FixedThreadPool執行緒池或者SingleThreadPool執行緒池來處理CPU密集型任務。

總之，選擇恰當的執行緒池型別可以充分發揮不同型別任務的效能，提高程式效率和響應速度。

1.2. 非同步執行緒池的選擇

對於非同步執行緒池，通常建議使用IO密集型執行緒池。
非同步任務通常是網路IO或磁碟IO等操作，這些操作的執行時間相對於CPU計算的執行時間要長得多。
使用IO密集型執行緒池可以更好地利用IO資源，提高多個非同步任務的執行效率和吞吐量，
同時避免由於過多的執行緒切換和上下文切換導致的效能損失。

1.3. 執行緒池工作步奏

很多工——》執行緒池建立核心執行緒——》任務超過最大執行緒——》把任務放入佇列中等待執行——》佇列中放滿了——》進入處理策略

2、執行緒池引數、合理引數

2.1、引數

①、核心執行緒數

當執行緒池中的執行緒數量為 corePoolSize核心執行緒數 時，即使這些執行緒處於空閒狀態，也不會銷燬（除非設定 allowCoreThreadTimeOut=true）。
//  -> 核心執行緒，也就是正在處理中的任務
//  -> 雖然 CPU 核心數可以作為執行緒池中執行緒數量的參考指標，但最終執行緒數量還需要根據具體情況進行設定和調整。
//  -> 如果同時執行的執行緒數量超過 CPU 核心數，就會發生--執行緒上下文切換--，導致額外的開銷和效能下降。所以執行緒不能建立得過多

②、最大執行緒數

執行緒池中允許的執行緒數量的最大值。
        //  -> 當執行緒數 = maxPoolSize最大執行緒數時，還有新任務，就會放進佇列中等待執行 ↓↓↓

③、佇列長度

當核心執行緒數達到最大時，新任務會放在佇列中排隊等待執行
        //  -> 根據業務設定，如果佇列長度過大，可能會導致系統記憶體資源佔用過高，最終導致 OOM，需要注意控制
        //  -> 如果需要執行的任務裝滿了佇列，就會走拒絕策略 ↓↓↓

④、拒絕策略

(官方提供4種，也可以自定義)：因達到執行緒邊界和任務佇列滿時，針對新任務的處理方法。
        // -> AbortPolicy：直接丟棄任務並丟擲 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy：直接丟棄掉，不會丟擲異常
        // -> DiscardOldestPolicy：丟棄佇列最前面的任務，然後重新嘗試執行任務（重複此過程）
        // -> CallerRunsPolicy：交給主執行緒（呼叫執行緒）去執行

⑤、空閒執行緒存活時間

(預設60s)：設定當前執行緒池中空閒執行緒的存活時間，即執行緒池中的執行緒如果有一段時間沒有任務可執行，則會被回收掉。
        //  -> 當執行緒池中的執行緒數大於 corePoolSize 時，多餘的空閒執行緒將在銷燬之前等待新任務的最長時間。
        //  -> 如果一個執行緒在空閒時間超過了 keepAliveSeconds，且當前執行緒池中執行緒數量大於 corePoolSize，則該執行緒將會被回收；
        //  -> 核心執行緒會一直存活，除非執行緒池被關閉 或 設定下面的引數
        //  -> 如果 AllowCoreThreadTimeout設定為true，核心執行緒也會被回收，直到執行緒池中的執行緒數降為 0。
        //     但如果執行緒池中有任務在執行，那麼空閒執行緒就會一直保持存活狀態，直到任務執行完畢。
        //  -> 該方法的使用可以將執行緒池的空閒執行緒回收，以減少資源佔用，同時也能保證執行緒池中始終有可用的執行緒來執行任務，提高執行緒池的效率。

⑥、是否禁止執行緒池自動終止空閒的核心執行緒

為 true 時，空閒的核心執行緒會在 keepAliveTime 時間後被回收，並且在後續任務到來時需要重新建立執行緒來執行任務。
        // 為 false 時，執行緒池中的核心執行緒不會被回收，即使它們處於空閒狀態一段時間。
        //  -> 線上程池建立時，就會預先建立核心執行緒數的執行緒，這些執行緒將一直存在，除非執行緒池被關閉或重新設定。

⑦、當前執行緒池的等待時間

指等待所有任務執行完畢後執行緒池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後，執行緒池會等待一段時間（即等待時間），來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成，則執行緒池會強制停止，以確保任務不會無限制地執行下去。

⑧、當前執行緒池是否在關閉時等待所有任務執行完成

		// -> 可以確保所有任務都執行完畢後才關閉執行緒池，避免任務被丟棄，同時也確保執行緒池可以正常結束，釋放資源。
        // -> 為 true 時，執行緒池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時，執行緒池會直接關閉，未執行完成的任務將被丟棄。

⑨、執行緒名稱字首

		// 9執行緒字首名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();

2.2、合理設定

①執行緒數量：N = 計算機cpu數量

  • 如果同時執行的執行緒數量超過 CPU 核心數，就會發生--執行緒上下文切換--，導致額外的開銷和效能下降。所以執行緒不能建立得過多
  • 一般的設定如下：也可以通過計算獲取。
     * IO密級 ：2 * N
     * CPU密級：1 + N

②佇列長度：

  • 如果佇列長度過大，可能會導致系統記憶體資源佔用過高，最終導致 OOM，需要注意控制
  • 根據自身業務設定

3、設定

3.1、設定執行緒池的Bean的選擇

設定執行緒池選擇：ThreadPoolTaskExecutor（Spring專案推薦），還是選擇ThreadPoolExecutor？

ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的執行緒池 ThreadPoolExecutor 進行了封裝和擴充套件，並增加了一些優化和功能。通常來說，如果你使用 Spring 框架，需要使用執行緒池，那麼建議使用 ThreadPoolTaskExecutor。 ThreadPoolTaskExecutor 提供了更多的設定選項，例如執行緒池的最大執行緒數、核心執行緒數、緩衝佇列大小、執行緒命名字首、執行緒池飽和策略等等，同時可以方便地整合到 Spring 應用中。另外，ThreadPoolTaskExecutor 還能夠支援非同步執行任務，使用方便。 相比之下，ThreadPoolExecutor 是 Java 自帶的執行緒池實現類，提供了基本的執行緒池功能，但沒有 ThreadPoolTaskExecutor 提供的更多設定選項和功能。如果你不使用 Spring 框架，或者使用 Spring 框架但不需要使用其提供的執行緒池實現，那麼可以考慮使用 ThreadPoolExecutor。

綜上所述，選擇使用 ThreadPoolTaskExecutor 還是 ThreadPoolExecutor 取決於具體的業務需求和技術棧，可以根據實際情況進行選擇。

3.2、獲取當前電腦（伺服器）的核心執行緒數

int N = Runtime.getRuntime().availableProcessors()

3.3、IO密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** IO型的執行緒池
 * <li>IO密集型設定執行緒數經驗值是：2N (CPU核數*2)</li>
 * <li>非同步執行緒池：建議用io密集型：</li>
 *      對於非同步執行緒池，通常建議使用IO密集型執行緒池。
 *      非同步任務通常是網路IO或磁碟IO等操作，這些操作的執行時間相對於CPU計算的執行時間要長得多。
 *      使用IO密集型執行緒池可以更好地利用IO資源，提高多個非同步任務的執行效率和吞吐量，
 *      同時避免由於過多的執行緒切換和上下文切換導致的效能損失。
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
@EnableAsync
public class IoThreadPool {

    /** 執行緒數量
     * CUP數量：N = Runtime.getRuntime().availableProcessors()
     * IO密級：2 * N
     * CPU密級：1 + N
     */
    public static final int THREAD_SIZE = 2 * (Runtime.getRuntime().availableProcessors());
    /**
     * 佇列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myIoThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        //設定執行緒池選擇：ThreadPoolTaskExecutor，還是選擇ThreadPoolExecutor好些？
        // -> ThreadPoolTaskExecutor 是 Spring 框架中對 Java 自帶的執行緒池 ThreadPoolExecutor 進行了封裝和擴充套件，
        //    並增加了一些優化和功能。通常來說，如果你使用 Spring 框架，需要使用執行緒池，那麼建議使用 ThreadPoolTaskExecutor。
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        // 1核心執行緒數：當執行緒池中的執行緒數量為 corePoolSize 時，即使這些執行緒處於空閒狀態，也不會銷燬（除非設定 allowCoreThreadTimeOut=true）。
        //  -> 核心執行緒，也就是正在處理中的任務
        //  -> 雖然 CPU 核心數可以作為執行緒池中執行緒數量的參考指標，但最終執行緒數量還需要根據具體情況進行設定和調整。
        //  -> 如果同時執行的執行緒數量超過 CPU 核心數，就會發生--執行緒上下文切換--，導致額外的開銷和效能下降。所以執行緒不能建立得過多
        executor.setCorePoolSize(THREAD_SIZE);
        // 2最大執行緒數：執行緒池中允許的執行緒數量的最大值。
        //  -> 當執行緒數 = maxPoolSize最大執行緒數時，還有新任務，就會放進佇列中等待執行 ↓↓↓
        executor.setMaxPoolSize(THREAD_SIZE);
        // 3佇列長度：當核心執行緒數達到最大時，新任務會放在佇列中排隊等待執行
        //  -> 根據業務設定，如果佇列長度過大，可能會導致系統記憶體資源佔用過高，最終導致 OOM，需要注意控制
        //  -> 如果需要執行的任務裝滿了佇列，就會走拒絕策略 ↓↓↓
        executor.setQueueCapacity(QUEUE_SIZE);
        // 4拒絕策略(官方提供4種，也可以自定義)：因達到執行緒邊界和任務佇列滿時，針對新任務的處理方法。
        // -> AbortPolicy：直接丟棄任務並丟擲 RejectedExecutionException 異常。(預設策略)
        // -> DiscardPolicy：直接丟棄掉，不會丟擲異常
        // -> DiscardOldestPolicy：丟棄佇列最前面的任務，然後重新嘗試執行任務（重複此過程）
        // -> CallerRunsPolicy：交給主執行緒（呼叫執行緒）去執行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        // 5空閒執行緒存活時間(預設60s)：設定當前執行緒池中空閒執行緒的存活時間，即執行緒池中的執行緒如果有一段時間沒有任務可執行，則會被回收掉。
        //  -> 當執行緒池中的執行緒數大於 corePoolSize 時，多餘的空閒執行緒將在銷燬之前等待新任務的最長時間。
        //  -> 如果一個執行緒在空閒時間超過了 keepAliveSeconds，且當前執行緒池中執行緒數量大於 corePoolSize，則該執行緒將會被回收；
        //  -> 核心執行緒會一直存活，除非執行緒池被關閉 或 設定下面的引數
        //  -> 如果 AllowCoreThreadTimeout設定為true，核心執行緒也會被回收，直到執行緒池中的執行緒數降為 0。
        //     但如果執行緒池中有任務在執行，那麼空閒執行緒就會一直保持存活狀態，直到任務執行完畢。
        //  -> 該方法的使用可以將執行緒池的空閒執行緒回收，以減少資源佔用，同時也能保證執行緒池中始終有可用的執行緒來執行任務，提高執行緒池的效率。
        executor.setKeepAliveSeconds(60);
        //6是否禁止執行緒池自動終止空閒的核心執行緒。
        // 為 true 時，空閒的核心執行緒會在 keepAliveTime 時間後被回收，並且在後續任務到來時需要重新建立執行緒來執行任務。
        // 為 false 時，執行緒池中的核心執行緒不會被回收，即使它們處於空閒狀態一段時間。
        //  -> 線上程池建立時，就會預先建立核心執行緒數的執行緒，這些執行緒將一直存在，除非執行緒池被關閉或重新設定。
        executor.setAllowCoreThreadTimeOut(true);
        // 7當前執行緒池的等待時間：指等待所有任務執行完畢後執行緒池的最長時間。300秒 = 5分鐘
        // -> 當所有任務執行完畢後，執行緒池會等待一段時間（即等待時間），來確保所有任務都已經完成。
        // -> 如果在等待時間內所有任務仍未完成，則執行緒池會強制停止，以確保任務不會無限制地執行下去。
        executor.setAwaitTerminationSeconds(300);
        // 8當前執行緒池是否在關閉時等待所有任務執行完成
        // -> 可以確保所有任務都執行完畢後才關閉執行緒池，避免任務被丟棄，同時也確保執行緒池可以正常結束，釋放資源。
        // -> 為 true 時，執行緒池在關閉時會等待所有任務都執行完成後再關閉
        // -> 為 false 時，執行緒池會直接關閉，未執行完成的任務將被丟棄。
        executor.setWaitForTasksToCompleteOnShutdown(true);
        // 9執行緒字首名稱
        executor.setThreadNamePrefix("myIo-Th-Pool-");
        // 初始化
        executor.initialize();
        return executor;
    }
}

3.4、CPU密集型

package com.cc.md.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/** CPU型的執行緒池
 * @author CC
 * @since 2023/5/23 0023
 */
@Configuration
public class CpuThreadPool {

    /** 執行緒數量
     * CUP數量：N = Runtime.getRuntime().availableProcessors()
     * IO密級：2 * N
     * CPU密級：1 + N
     */
    public static final int THREAD_SIZE = 1 + (Runtime.getRuntime().availableProcessors());
    /**
     * 佇列大小
     */
    public static final int QUEUE_SIZE = 1000;

    @Bean(name = "myCpuThreadPool")
    public ThreadPoolTaskExecutor threadPoolExecutor(){
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(THREAD_SIZE);
        executor.setMaxPoolSize(THREAD_SIZE);
        executor.setQueueCapacity(QUEUE_SIZE);
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        executor.setKeepAliveSeconds(60);
        executor.setAllowCoreThreadTimeOut(true);
        executor.setAwaitTerminationSeconds(300);
        executor.setWaitForTasksToCompleteOnShutdown(true);
        executor.setThreadNamePrefix("myCpu-T-Pool-");
        executor.initialize();
        return executor;
    }
}

4、參考

https://zhuanlan.zhihu.com/p/112527671

https://blog.csdn.net/shang_0122/article/details/120777113

https://blog.csdn.net/zhuimeng_by/article/details/107891268

https://blog.csdn.net/qq_25720801/article/details/129559164

https://blog.csdn.net/riemann_/article/details/104704197