在Tomcat中啟用虛擬執行緒特性

前提

趁著國慶前後閱讀了虛擬執行緒相關的原始碼，寫了一篇《虛擬執行緒 - VirtualThread原始碼透視》，裡面介紹了虛擬執行緒的實現原理和使用範例。需要準備做一下前期準備：

• 安裝OpenJDK-19或者Oracle JDK-19
• 準備好嵌入式Tomcat的依賴，需要引入三個依賴包，分別是tomcat-embed-core、tomcat-embed-el和tomcat-embed-websocket，版本選用10.1.0+

檢視Tomcat官方檔案的CHANGELOG：

支援Loom專案的Tomcat最低版本為10.1.0-M16，對應的正式版是10.1.0（當前時間為2022-10-07前後），低於此版本因為大量API還沒有適配虛擬執行緒，主要是沒有改造監視器鎖的參照導致虛擬執行緒pin到載體（平臺）執行緒等問題，因此別無他選。另外，重要的提醒說三次：

• 本文是實驗性質，在未完全證實改造功能可以應用生產環境前需要謹慎評估，或者先別使用於生產環境
• 本文是實驗性質，在未完全證實改造功能可以應用生產環境前需要謹慎評估，或者先別使用於生產環境
• 本文是實驗性質，在未完全證實改造功能可以應用生產環境前需要謹慎評估，或者先別使用於生產環境

引入依賴

引入以下依賴：

<dependency>
    <groupId>org.apache.tomcat.embed</groupId>
    <artifactId>tomcat-embed-core</artifactId>
    <version>10.1.0</version>
</dependency>
<dependency>
    <groupId>org.apache.tomcat.embed</groupId>
    <artifactId>tomcat-embed-el</artifactId>
    <version>10.1.0</version>
</dependency>
<dependency>
    <groupId>org.apache.tomcat.embed</groupId>
    <artifactId>tomcat-embed-websocket</artifactId>
    <version>10.1.0</version>
</dependency>

程式設計式初始化Tomcat

為了使用反射呼叫一些java.base模組下沒開放的依賴包和跟蹤虛擬執行緒棧，程式執行時候加入下面的VM引數：

--add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.base/java.lang.reflect=ALL-UNNAMED --add-opens java.base/java.util.concurrent=ALL-UNNAMED -Djdk.tracePinnedThreads=full

在IDEA的執行設定中是這個樣子：

接著編寫一個HttpServlet實現：

public class VirtualThreadHandleServlet extends HttpServlet {

    private static final DateTimeFormatter FORMATTER = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");

    @Override
    protected void service(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
        Thread thread = Thread.currentThread();
        System.out.printf("service by thread ==> %s, is virtual ==> %s, carrier thread ==> %s\n",
                thread.getName(), thread.isVirtual(), getCurrentCarrierThreadName(thread));
        resp.setStatus(HttpServletResponse.SC_OK);
        resp.setHeader("Content-Type", "application/json");
        String content = "{\"time\":" + "\"" + LocalDateTime.now().format(FORMATTER) + "\"}";
        resp.getWriter().write(content);
    }

    private static String getCurrentCarrierThreadName(Thread currentThread) {
        if (currentThread.isVirtual()) {
            try {
                MethodHandle methodHandle = MethodHandles.privateLookupIn(Thread.class, MethodHandles.lookup())
                        .findStatic(Thread.class, "currentCarrierThread", MethodType.methodType(Thread.class));
                Thread carrierThread = (Thread) methodHandle.invoke();
                return carrierThread.getName();
            } catch (Throwable e) {
                e.printStackTrace();
            }
        }
        return "UNKNOWN";
    }
}

該Servlet實現比較簡單，就是在控制檯列印一些虛擬執行緒和載體執行緒的一些資訊，然後返回HTTP狀態碼為200和一個JSON字元展示當前精確到毫秒的時間。接著編寫一個main方法初始化Tomcat：

public class EmbedTomcatVirtualThreadDemo {

    private static final String SERVLET_NAME = "VirtualThreadHandleServlet";

    private static final String SERVLET_PATH = "/*";

    /**
     * 設定VM引數:
     * --add-opens java.base/java.lang=ALL-UNNAMED
     * --add-opens java.base/java.lang.reflect=ALL-UNNAMED
     * --add-opens java.base/java.util.concurrent=ALL-UNNAMED
     * -Djdk.tracePinnedThreads=full
     *
     * @param args args
     * @throws Exception e
     */
    public static void main(String[] args) throws Throwable {
        String pinMode = System.getProperty("jdk.tracePinnedThreads");
        System.out.println("pin mode = " + pinMode);
        Tomcat tomcat = new Tomcat();
        Context context = tomcat.addContext("", (new File(".")).getAbsolutePath());
        Tomcat.addServlet(context, SERVLET_NAME, new VirtualThreadHandleServlet());
        context.addServletMappingDecoded(SERVLET_PATH, SERVLET_NAME);
        Connector connector = new Connector();
        ProtocolHandler protocolHandler = connector.getProtocolHandler();
        if (protocolHandler instanceof AbstractProtocol<?> protocol) {
            protocol.setAddress(InetAddress.getByName("127.0.0.1"));
            protocol.setPort(9091);
            ThreadFactory factory = Thread.ofVirtual().name("embed-tomcat-virtualWorker-", 0).factory();
            Class<?> klass = Class.forName("java.util.concurrent.ThreadPerTaskExecutor");
            MethodHandle methodHandle = MethodHandles.privateLookupIn(klass, MethodHandles.lookup())
                    .findStatic(klass, "create", MethodType.methodType(klass, new Class[]{ThreadFactory.class}));
            ExecutorService executor = (ExecutorService) methodHandle.invoke(factory);
            protocol.setExecutor(executor);
        }
        tomcat.getService().addConnector(connector);
        tomcat.start();
    }
}

這裡VirtualThreadHandleServlet匹配所有格式的請求路徑並且處理所有請求方法型別的請求。預設的虛擬執行緒排程器沒有為虛擬執行緒設定名稱，也就是如果使用Executors.newVirtualThreadPerTaskExecutor()作為Tomcat的執行緒池是最終呼叫看到的控制檯輸出的虛擬執行緒名稱是一個空字串。所以筆者這裡用MethodHandle直接範例化了預設修飾符沒有開放存取許可權的ThreadPerTaskExecutor類，基於一個自定義的ThreadFactory強制構造了一個自定義ThreadPerTaskExecutor範例。呼叫main方法啟動後見控制檯輸出：

這裡確認了Tomcat啟動完成偵聽127.0.0.1:9091，通過瀏覽器或者POSTMAN傳送任意請求例如http://127.0.0.1:9091/foo就能看到響應結果和控制檯輸出：

這裡的Tomcat執行緒池甚至可以設計為一個完全自定義的虛擬執行緒排程器，可以參考前面一篇文章，這裡不再贅述。

暫時無法在SpringBoot體系中使用

由於Servlet規範問題，Tomcat的升級導致一些介面遷移到jakarta.servlet包中，例如jakarta.servlet.Servlet，此時SpringBoot體系即使是最新版本（當前時間為2022-10-07前後，此時最新版本為2.7.4）使用的是還是舊的規範，對應的類是javax.servlet.Servlet，這只是其中一個介面，大部分和HTTP協定或者Servlet規範相關的介面都存在這個包升級不相容的問題，需要等待SpringBoot升級為embed-tomcat-*-10.1.0+才能適配虛擬執行緒。

小結

Demo專案倉庫：

• Github：https://github.com/zjcscut/framework-mesh/tree/master/tomcat-virtual-thread

（本文完 e-a-20221007 c-1-d）