如何编译"零汇编(Zero-Assembler)"的OpenJDK

在使用JetBrains CLion调试OpenJDK的过程中,有时候会发现Call Stack中有一部分是汇编代码,导致无法完全探究其内部实现。本文主要针对此问题给出了如何在不引入汇编代码(零汇编,Zero-Assembler)的情况下完成OpenJDK项目的编译和调试。

OpenJDK 编译调试指南一文中,已经详细介绍了编译调试OpenJDK的步骤,这里不再详述具体过程。

为什么存在部分汇编代码?

首先我们来看下为什么会存在部分汇编代码,以及这部分汇编代码是什么?
HotSpot Runtime Overview - Interpreter 了解到,HotSpot为了提高性能,使用了基于模板的解释器(template based interpreter)来解释执行JAVA虚拟机指令JVM在启动时会根据TemplateTable(与每个字节码对应的汇编代码)来生成解释器,所以说这个解释器其实是部分基于汇编代码实现的。除了解释器之外,在OpenJDK项目中还有一些部分也是基于汇编代码的,例如即时编译器JITC1编译器,C2编译器)等,但汇编代码是依赖于硬件架构的,这种做法在提升了性能的同时却降低了可移植性。

OpenJDK社区的IcedTea项目提供了一种比较通用的移植方法,使得OpenJDK可以在所有的Linux系统上构建, 而无需进一步进行移植工作。

IcedTea项目

IcedTea项目最初的出现是因为Sun公司在发布JDK时,类库的一些部分由于产权原因没有发布其源代码,而是仅以二进制插件的形式提供, 因为这部分源代码属于受版权保护的第三方。IcedTea的主要目标就是提供这些二进制插件的免费等效替代品,使得完全使用免费开源软件构建JDK成为可能。

此外,IdeaTea还做了很多工作以促进用户更容易地构建和部署JDK,其中包括将OpenJDK移植到更多的平台。

因为OpenJDK的代码中除了 C++ 代码之外还包含许多汇编代码,而OpenJDK支持的硬件平台架构有限,远远少于Linux系统所支持的。于是IcedTea的子项目Zero出现了,Zero项目旨在通过移除OpenJDK项目代码中的与平台相关的汇编代码,使用纯C++来替代,从而可以在任何 Linux 系统上构建,而无需进一步进行移植工作。

这也正是标题中”零汇编”的含义所在,就是指不使用汇编代码来构建OpenJDK

OpenJDK 的虚拟机在很大程度上依赖 JIT(即时编译器) 编译来提高性能。而Zero中只包含一个纯C++解释器,Zero 在相同的硬件上要比原始(vanilla)的 OpenJDK 慢得多。于是又一个子项目Shark出现了, Shark使用 LLVM 来即时编译 Java 代码,从而在不引入系统特定的代码的情况下提高性能。

如何实现”零汇编(Zero-Assembler)”

到这里我们已经明白了,使用zero来构建OpenJDK就可以实现”零汇编(Zero-Assembler)”,那么如何使用呢?目前ZeroShark已经集成到了OpenJDK的主分支中,只要在配置OpenJDK的时候指定参数--with-jvm-variants=zero重新编译即可。

虽然在OpenJDK 8中提供了--with-jvm-variants=zeroshark的配置项,但经过几番尝试发现并不能真正构建成功。根据OpenJDK社区的一些资料([JDK-8171853] Remove Shark compiler - Java Bug Systemjdk-updates/jdk10u: fb290fd1f9d4), Shark由于长期缺乏维护已经在JDK 10版本中被移除了,也不再支持配置--with-jvm-variants=zeroshark参数了。所以下文我们只考虑Zero而不设计Shark相关内容。

这篇文章Sustaining the zero assembler port in OpenJDK: An inside perspective of CPU specific issues比较形象地描述了模板解释器C++解释器的区别,以及如何构建zero版的OpenJDK,推荐阅读。

下面主要记录一下在MacOSUbuntu平台下编译ZeroOpenJDK所遇到的问题。

Ubuntu 16.04

Ubuntu 16.04平台上编译OpenJDK 8时遇到的一个问题是缺少 libffi 依赖。运行configure时出现下面的错误信息:

1
2
checking for LIBFFI... configure: error: Package requirements (libffi) were not met:
No package 'libffi' found

使用如下命令安装之后重新配置编译即可:

1
sudo apt-get install libffi-dev

Ubuntu 16.04平台上编译OpenJDK 11时没有问题,很顺利就编译完成了。

MacOS 10.15

MacOS 10.15平台上编译时遇到较多问题,主要原因是OpenJDK项目对MacOS平台编译zero版本 支持不够完善,导致有一些代码编译不通过。

OpenJDK 8

  1. 运行configure出现下面的错误信息:

    1
    2
    3
    4
    checking for LIBFFI... configure: error: in `/Users/jiajiawang/Workspace/openjdk-jdk8u':
    configure: error: The pkg-config script could not be found or is too old. Make sure it
    is in your PATH or set the PKG_CONFIG environment variable to the full
    path to pkg-config.

    同样是因为缺少了libffi库,除了libffi之外还缺少pkg-config,使用HomeBrew安装这两个依赖即可:

    1
    brew install libffi pkg-config
  2. configure完成,运行make时出现下面的错误信息:

    1
    2
    /usr/bin/clang++  ...  ... ... openjdk-jdk8u/hotspot/src/share/vm/precompiled/precompiled.hpp -o precompiled.hpp.pch 
    clang: error: unsupported option '-gstabs'

    这是因为clang不支持gcc-gstabs选项,需要对hotspot/make/bsd/makefiles/gcc.make文件进行修改,修改内容如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
       DEBUG_CFLAGS/ppc   = -g
    DEBUG_CFLAGS += $(DEBUG_CFLAGS/$(BUILDARCH))
    ifeq ($(DEBUG_CFLAGS/$(BUILDARCH)),)
    - DEBUG_CFLAGS += -gstabs
    + ifeq ($(USE_CLANG), true)
    + # Clang doesn't understand -gstabs
    + DEBUG_CFLAGS += -g
    + else
    + DEBUG_CFLAGS += -gstabs
    + endif
    endif
  3. 继续运行make时出现下面的错误信息:

    1
    2
    3
    ... ... ... /src/os/bsd/vm/os_perf_bsd.cpp:29:10: fatal error: 'vm_version_ext_x86.hpp' file not found
    #include "vm_version_ext_x86.hpp"
    ^~~~~~~~~~~~~~~~~~~~~~~~

    这里引入了错误的文件,需要对hotspot/src/os/bsd/vm/os_perf_bsd.cpp做如下修改,使其引入正确的vm_version_ext_zero.hpp文件:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
     #include "memory/resourceArea.hpp"
    #include "runtime/os.hpp"
    #include "runtime/os_perf.hpp"
    -#include "vm_version_ext_x86.hpp"
    +
    +#ifdef TARGET_ARCH_aarch32
    +# include "vm_version_ext_aarch32.hpp"
    +#endif
    +#ifdef TARGET_ARCH_x86
    +# include "vm_version_ext_x86.hpp"
    +#endif
    +#ifdef TARGET_ARCH_sparc
    +# include "vm_version_ext_sparc.hpp"
    +#endif
    +#ifdef TARGET_ARCH_zero
    +# include "vm_version_ext_zero.hpp"
    +#endif
    +#ifdef TARGET_ARCH_arm
    +# include "vm_version_ext_arm.hpp"
    +#endif
    +#ifdef TARGET_ARCH_ppc
    +# include "vm_version_ext_ppc.hpp"
    +#endif
  4. 继续运行make时出现下面的错误信息:

    1
    make[2]: *** No rule to make target ` ... ... openjdk-jdk8u/jdk/src/macosx/bin/zero/jvm.cfg', needed by ` ... ... openjdk-jdk8u/build/macosx-x86_64-normal-zero-slowdebug/jdk/lib/jvm.cfg'.  Stop.

    缺少jdk/src/macosx/bin/zero/jvm.cfg文件,我们从其他目录拷贝一份过来:

    1
    2
    mkdir -p jdk/src/macosx/bin/zero/
    cp jdk/src/macosx/bin/x86_64/jvm.cfg jdk/src/macosx/bin/zero

OpenJDK 11

  1. 运行configure出现下面的错误信息:

    1
    2
    checking for ffi.h... no
    configure: error: Could not find libffi!

    同样是因为缺少ligffi依赖,与OpenJDK 8不同的是在OpenJDK 11中,安装 libffi之后需要通过--with-libffi=<path>来指定libffi的地址:

    1
    2
    3
    4
    # 安装libffi
    brew install libffi
    # 配置
    sh ./configure ...省略其他参数... --with-jvm-variants=zero --with-libffi=/usr/local/Cellar/libffi/3.3/
  2. configure完成,执行make出现下面的错误信息:

    1
    2
    3
    4
    5
    6
    ... ... ... /openjdk-jdk11u/src/hotspot/share/interpreter/bytecodeInterpreter.cpp:2926:13: error: 7 enumeration values not handled in switch: 'T_VOID', 'T_ADDRESS', 'T_NARROWOOP'... [-Werror,-Wswitch]
    switch (istate->method()->result_type()) {
    ^
    ... ... ... /openjdk-jdk11u/src/hotspot/share/interpreter/bytecodeInterpreter.cpp:2926:13: note: add missing switch cases
    switch (istate->method()->result_type()) {
    ^

    这是因为源代码中的switch语句没有处理所有的分支情况,所有clang给出了警告(Diagnostic),导致编译不通过,我们可以通过clang-w参数来取消所有的警告(Diagnostic),需要在配置时添加如下两个参数,重新编译即可:

    1
    sh ./configure  ...省略其他参数... --with-extra-cflags=-w --with-extra-cxxflags=-w
  3. 继续运行make时出现下面的错误信息:

    1
    2
    3
    ... ... ... /src/os/bsd/vm/os_perf_bsd.cpp:29:10: fatal error: 'vm_version_ext_x86.hpp' file not found
    #include "vm_version_ext_x86.hpp"
    ^~~~~~~~~~~~~~~~~~~~~~~~

    这里引入了错误的文件,需要对src/hotspot/os/bsd/os_perf_bsd.cpp做如下修改,使其引入正确的vm_version_ext_zero.hpp文件(与OpenJDK 8中稍有不同):

    1
    2
    3
    4
    5
    6
     #include "runtime/os.hpp"
    #include "runtime/os_perf.hpp"
    #include "utilities/globalDefinitions.hpp"
    -#include "vm_version_ext_x86.hpp"
    +
    +#include CPU_HEADER(vm_version_ext)

参考资料

  1. HotSpot Runtime Overview - Interpreter
  2. Sustaining the zero assembler port in OpenJDK: An inside perspective of CPU specific issues
  3. Demystifying the JVM: JVM Variants, Cppinterpreter and TemplateInterpreter
  4. OpenJDK: IcedTea Project
  5. IcedTea - Wikipedia
  6. Main Page - IcedTea
  7. Zero-Assembler Project
  8. ZeroSharkFaq - IcedTea
  9. The New Hotspot Build System