全部栏目

首页 操作系统 后端开发 数据库 前端开发 移动端开发
您的当前位置：首页正文

StandardThreadExecutor源码解读与使用(tomcat的线程池实现类)

2024-11-25 来源：个人技术集锦

1.前言

        这个系列已经鸽了三四个月啦，原本预期一周一更的速度，变成了一季度一更(悲)，最近打算继续重拾这个专栏继续与大家分享自己的随笔，尽量做到一周一更或者一周两更，今天想和大家分享一个在工作遇到的线程池类StandardThreadExecutor。

2.线程池基础知识回顾

        首先我们来简单介绍下线程池的基础概念：

        在 Java 中，线程池是一种用于管理和复用线程的机制，能够有效提高应用程序的性能和资源利用率。线程池的核心思想是通过复用一组预先创建的线程来执行多个任务，从而减少线程创建和销毁的开销。

2.1.线程池的组成

  • 核心线程数：始终保持活跃的线程数量，即使它们处于空闲状态。
  • 最大线程数：线程池能够容纳的最大线程数量。
  • 任务队列：用于存储等待执行的任务。
  • 拒绝策略：当任务无法被执行时的处理策略。

2.2.工作流程

当有新任务提交时，如果当前线程数小于核心线程数，线程池会创建新线程执行任务。 如果核心线程都在忙，则任务被放入队列中。 当队列已满且线程数小于最大线程数时，线程池会创建新线程。 如果线程数已达到最大值且队列也满了，则根据拒绝策略处理任务。

2.3.Java 中的线程池实现

Java 提供了多种线程池实现，最常用的是 ThreadPoolExecutor，它允许我们根据需求配置线程池的各项参数。

此外，我们还可以通过 Executors 工具类创建线程池，Java 提供了几种常用的默认线程池：

  • FixedThreadPool：具有固定线程数的线程池，适用于负载较为稳定的场景。
  • CachedThreadPool：根据需要创建新线程的线程池，适用于执行大量短期异步任务。
  • ScheduledThreadPool：支持定时和周期性任务执行的线程池。
  • SingleThreadExecutor：单线程化的线程池，适用于需要顺序执行任务的场景。

3.StandardThreadExecutor介绍

        StandardThreadExecutor 是 Apache Tomcat 中的一个线程池实现类，用于管理和调度线程的执行。它类似于 Java 的 ThreadPoolExecutor。

        既然JDK已经提供了如此多的选择，Tomcat为什么还有自己编写一个线程池实现类呢，下面就解答这个疑问

        StandardThreadExecutor 是 Catalina 结构中的一部分，是 Tomcat 生命周期中的池化线程资源的封装。StandardThreadExecutor 是为了更好地适应 Tomcat 容器中 HTTP 请求的处理而设计的，它包含了一些特殊的优化和功能。

        他与官方线程池相比最大的区别为内部任务的执行逻辑，JDK默认的线程池的execute方法执行逻辑如下：

1.任务数小于等于核心线程数：使用核心线程执行；
2.任务数大于核心线程数：加入任务等待队列等待；
3.队列满且任务数小于最大线程数：有空闲线程使用空闲线程执行，没有的话，创建非核心线程执行；

4.任务数大于最大核线程数：执行拒绝策略

我们这里为了方便理解可以简单表达为：核心线程 -> 等待队列 ->非核心线程 ->拒绝策略

对这一块不太了解的，可以去看看博主之前的线程池文章，参照官方线程池思想编写的简易线程池，方便大家理解线程池的执行逻辑

而 StandardThreadExecutor其中的执行逻辑如下：

1.任务数小于等于核心线程数：使用核心线程执行；
2.任务数大于核心线程数：创建非核心线程执行；
3.任务数大于最大核线程数：加入任务等待队列等待；

4.任务数大于最大核线程数且等待队列满了：执行拒绝策略

我们这里为了方便理解简单表达为：核心线程 -> 非核心线程 -> 等待队列 -> 拒绝策略

        我们可以看到，StandardThreadExecutor的执行逻辑主要是将创建非核心线程执行这一步放到了加入等待队列等待前面，等待队列只是作为一个靠后的兜底处理，我们举一个具体的案例来说明。
        假如我们有如下线程池配置

         同一时间提交了20个任务，对于官方的线程池，最初的状态如下

        可以看到，由于我们等待队列的大小足够大，对于4个核心线程处理不完的16个核心线程会先加入到等待队列中等待，对于一些执行时间长的任务，长时间等待就会造成性能问题。

        而对于 StandardThreadExecutor 这个线程池实现类，最初的状态如下：

        可以看到， StandardThreadExecutor 对于核心线程执行不了的任务会直接创建非核心线程来执行，相比于官方线程池放入等待队列会有更高的执行效率，确保服务器在高负载下仍能保持良好的响应性能。

4.源码解读

        接下来我们继续深入 StandardThreadExecutor 类的源码了解其内部是如何实现的。

        StandardThreadExecutor 继承自 LifecycleMBeanBase，并实现了 Executor 和 ResizableExecutor 接口 ，这意味着它不仅是一个线程池执行器，还可以与 Tomcat 的生命周期管理集成。

有如下关键属性： 

  • threadPriority：线程优先级，默认值为 5。
  • daemon：线程是否为守护线程，默认值为 true。 namePrefix：线程名称前缀，用于标识线程。
  • maxThreads 和 minSpareThreads：最大线程数和最小空闲线程数。
  • maxIdleTime：线程最大空闲时间。
  • maxQueueSize：任务队列的最大容量。
  • threadRenewalDelay：线程重生延迟时间。
  • taskqueue：任务队列，用于存储等待执行的任务。
  • executor：核心的 ThreadPoolExecutor 实例，负责管理线程的创建和任务的调度。

StandardThreadExecutor关键方法有三个，分别是

  • startInternal()：启动线程池，初始化 TaskQueue 和 ThreadPoolExecutor。
  • stopInternal()：停止线程池并清理资源
  • execute(Runnable command)：提交任务给线程池执行。 如果线程池未启动，抛出异常。

其中 stopInternal() 和 execute(Runnable command) 两个方法没有太多逻辑，我们主要关注 startInternal() 启动线程池这一步初始化操作，startInternal() 方法如下：

    @Override
    protected void startInternal() throws LifecycleException {

        taskqueue = new TaskQueue(maxQueueSize);
        TaskThreadFactory tf = new TaskThreadFactory(namePrefix,daemon,getThreadPriority());
        executor = new ThreadPoolExecutor(getMinSpareThreads(), getMaxThreads(), maxIdleTime, TimeUnit.MILLISECONDS,taskqueue, tf);
        executor.setThreadRenewalDelay(threadRenewalDelay);
        taskqueue.setParent(executor);

        setState(LifecycleState.STARTING);
    }

 startInternal() 主要是进行了 taskqueue 任务队列和 executor 线程池的初始化，我们接着查看 taskqueue 的实现

 TaskQueue 继承自 LinkedBlockingQueue<Runnable>，接着我们可以发现TaskQueue重写了offer方法

这里我们可以看到， TaskQueue 在调用父类 offer 方法前添加了许多条件判断，这里其实就是 StandardThreadExecutor 调整任务提交顺序的代码实现位置，

@Override
public boolean offer(Runnable o) {
    // 首先检查线程池的状态。
    if (parent==null) {
        return super.offer(o);
    }
    // 如果当前线程池中的线程数达到最大值，则直接将任务加入队列。
    if (parent.getPoolSizeNoLock() == parent.getMaximumPoolSize()) {
        return super.offer(o);
    }
    // 如果提交的任务数小于或等于当前线程池的线程数，则将任务加入队列。
    if (parent.getSubmittedCount() <= parent.getPoolSizeNoLock()) {
        return super.offer(o);
    }
    // 如果当前线程数小于最大线程数，则返回 false，促使 ThreadPoolExecutor 创建新线程。
    if (parent.getPoolSizeNoLock() < parent.getMaximumPoolSize()) {
        return false;
    }
    //if we reached here, we need to add it to the queue
    return super.offer(o);
}

        当前线程数小于最大线程数时，线程池实例调用 TaskQueue 的 offer() 方法会返回 false，此时线程池会判定任务队列满了，就会去创建新线程来执行任务。

5.使用场景

在像 Tomcat 这样的应用服务器中，用于处理大量并发请求。StandardThreadExecutor 可以有效管理线程的创建和销毁，提升服务器的响应能力和资源利用效率。

此外，在一些高并发对响应速度要求较高的场景，StandardThreadExecutor 可以有效避免任务过多积压在队列中，提高任务的响应速度，但是要注意配置合理的核心线程数和最大线程数，尽量减少线程的频繁创建和销毁。

6.总结

        StandardThreadExecutor 是 Apache Tomcat 中的一个线程池实现类，是 Tomcat 生命周期中的池化线程资源的封装。StandardThreadExecutor 是为了更好地适应 Tomcat 容器中 HTTP 请求的处理而设计的。通过优先创建非核心线程来执行任务，避免了任务在等待队列中长时间积压，从而提升了服务器的响应速度。

      StandardThreadExecutor 内部主要通过自定义 TaskQueue 任务队列，·继承普通任务队列冰重写 offer() 方法，添加了线程数小于最大线程数的判断，巧妙的调整了任务提交的顺序。
显示全文