0
点赞
收藏
分享

微信扫一扫

JVM上篇:内存与垃圾回收篇八--运行时数据区-方法区

JVM上篇:内存与垃圾回收篇八–运行时数据区-方法区

这次所讲述的是运行时数据区的最后一个部分

image-20200708093918121

从线程共享与否的角度来看

image-20200708094507624

ThreadLocal:如何保证多个线程在并发环境下的安全性?典型应用就是数据库连接管理,以及会话管理

1. 栈、堆、方法区的交互关系

image-20200708094747667

2. 方法区的理解

JVM虚拟机规范对方法区的描述

image-20220424154031605

2.1 方法区的基本理解

  • 方法区主要存放的是 Class,而堆中主要存放的是 实例化的对象
  • 方法区(Method Area)与Java堆一样,是各个线程共享的内存区域
  • 方法区在JVM启动的时候被创建,并且它的实际的物理内存空间中和Java堆区一样都可以是不连续的
  • 方法区的大小,跟堆空间一样,可以选择固定大小或者可扩展。
  • 方法区的大小决定了系统可以保存多少个类,如果系统定义了太多的类,导致方法区溢出,虚拟机同样会抛出内存溢出错误:java.lang.OutofMemoryError:PermGen space 或者java.lang.OutOfMemoryError:Metaspace
    • 加载大量的第三方的jar包
    • Tomcat部署的工程过多(30~50个)
    • 大量动态的生成反射类
  • 关闭JVM就会释放这个区域的内存。

2.2 HotSpot中方法区的演进

image-20200708102919149

  • 在jdk7及以前,习惯上把方法区,称为永久代。jdk8开始,使用元空间取代了永久代。

    • JDK8方法区迁移至本地内存,改名为元空间

      image-20220424155354912

  • 本质上,方法区和永久代并不等价。仅是对hotspot而言的。《Java虚拟机规范》对如何实现方法区,不做统一要求。例如:BEA JRockit / IBM J9 中不存在永久代的概念。

    • 现在来看,当年使用永久代,不是好的idea。导致Java程序更容易OOM(超过-XX:MaxPermsize上限)
  • 而到了JDK8,终于完全废弃了永久代的概念,改用与JRockit、J9一样在本地内存中实现的元空间(Metaspace)来代替

    image-20200708103055914

  • 元空间的本质和永久代类似,都是对JVM规范中方法区的实现。不过元空间与永久代最大的区别在于:元空间不在虚拟机设置的内存中,而是使用本地内存

    • 使用本地内存方法区的大小上限就是由本地内存大小决定的,因此不会很容易的爆OOM
  • 永久代、元空间二者并不只是名字变了,内部结构也调整了

  • 根据《Java虚拟机规范》的规定,如果方法区无法满足新的内存分配需求时,将抛出OOM异常

3. 设置方法区大小与OOM

方法区的大小不必是固定的,JVM可以根据应用的需要动态调整。

3.1 JDK7及以前

  • 通过-XX:Permsize来设置永久代初始分配空间。默认值是20.75M
  • -XX:MaxPermsize来设定永久代最大可分配空间。32位机器默认是64M64位机器模式是82M
  • 当JVM加载的类信息容量超过了这个值,会报异常OutofMemoryError:PermGen space。

image-20200708111756800

3.2 JDK8及以后

  • 元数据区大小可以使用参数 -XX:MetaspaceSize-XX:MaxMetaspaceSize指定
  • 默认值依赖于平台。windows下,-XX:MetaspaceSize是21M,-XX:MaxMetaspaceSize的值是-1,即没有限制。
  • 与永久代不同,如果不指定大小,默认情况下,虚拟机会耗尽所有的可用系统内存。如果元数据区发生溢出,虚拟机一样会抛出异常OutOfMemoryError:Metaspace
  • -XX:MetaspaceSize:设置初始的元空间大小。对于一个64位的服务器端JVM来说,其默认的-XX:MetaspaceSize值为21MB。这就是初始的高水位线,一旦触及这个水位线,Full GC将会被触发并卸载没用的类(即这些类对应的类加载器不再存活)然后这个高水位线将会重置。新的高水位线的值取决于GC后释放了多少元空间。如果释放的空间不足,那么在不超过MaxMetaspaceSize时,适当提高该值。如果释放空间过多,则适当降低该值。
  • 如果初始化的高水位线设置过低,上述高水位线调整情况会发生很多次。通过垃圾回收器的日志可以观察到Full GC多次调用。为了避免频繁地GC建议将-XX:MetaspaceSize设置为一个相对较高的值

image-20220424161147530

3.3 OOM代码举例

/**
 * jdk6/7中:
 * -XX:PermSize=10m -XX:MaxPermSize=10m
 *
 * jdk8中:
 * -XX:MetaspaceSize=10m -XX:MaxMetaspaceSize=10m
 *
 */
public class OOMTest extends ClassLoader {
    public static void main(String[] args) {
        int j = 0;
        try {
            OOMTest test = new OOMTest();
            for (int i = 0; i < 10000; i++) {
                //创建ClassWriter对象,用于生成类的二进制字节码
                ClassWriter classWriter = new ClassWriter(0);
                //指明版本号,修饰符,类名,包名,父类,接口
                classWriter.visit(Opcodes.V1_6, Opcodes.ACC_PUBLIC, "Class" + i, null, "java/lang/Object", null);
                //返回byte[]
                byte[] code = classWriter.toByteArray();
                //类的加载
                test.defineClass("Class" + i, code, 0, code.length);//Class对象
                j++;
            }
        } finally {
            System.out.println(j);
        }
    }
}

3.4 如何解决这些OOM

要解决OOM异常或heap space的异常,一般的手段是首先通过内存映像分析工具(如Eclipse Memory Analyzer)对dump出来的堆转储快照进行分析,重点是确认内存中的对象是否是必要的,也就是要先分清楚到底是出现了内存泄漏(Memory Leak)还是内存溢出(Memory Overflow)

3.4.1 解决内存泄漏(Memory Leak)造成的OOM

如果是内存泄漏,可进一步通过工具查看泄漏对象到GC Roots的引用链。就能找到泄漏对象是通过怎样的路径与GC Roots相关联并导致垃圾收集器无法自动回收它们的。掌握了泄漏对象的类型信息,以及GC Roots引用链的信息,就可以比较准确地定位出泄漏代码的位置。

3.4.2 解决内存溢出(Memory Memory Overflow)造成的OOM

如果不存在内存泄漏,换句话说就是内存中的对象确实都还必须存活着,

  • 那就应当检查虚拟机的堆参数(-Xmx与-Xms),与机器物理内存对比看是否还可以调大
  • 从代码上检查是否存在某些对象生命周期过长、持有状态时间过长的情况,尝试减少程序运行期的内存消耗。

4. 方法区的内部结构

image-20200708161728320

4.1 方法区存储什么?

《深入理解Java虚拟机》书中对方法区(Method Area)存储内容描述如下:它用于存储已被虚拟机加载的类型信息常量静态变量即时编译器编译后的代码缓存等。

image-20200708161856504

4.1.1 类型信息

对每个加载的类型(类class、接口interface、枚举enum、注解annotation),JVM必须在方法区中存储以下类型信息:

  • 这个类型的完整有效名称(全名=包名.类名)
  • 这个类型直接父类的完整有效名(对于interface或是java.lang.object,都没有父类)
  • 这个类型的修饰符(public,abstract,final的某个子集)
  • 这个类型直接接口的一个有序列表

4.1.2 域(Field)信息/属性信息

  • JVM必须在方法区中保存类型的所有域的相关信息以及域的声明顺序。
  • 域的相关信息包括:域名称域类型域修饰符(public,private,protected,static,final,volatile,transient的某个子集)

4.1.3 方法(Method)信息

JVM必须保存所有方法的以下信息,同域信息一样包括声明顺序:

  • 方法名称
  • 方法的返回类型(或void)
  • 方法参数的数量和类型(按顺序)
  • 方法的修饰符(public,private,protected,static,final,synchronized,native,abstract的一个子集)
  • 方法的字节码(bytecodes)操作数栈局部变量表及大小(abstract和native方法除外)
  • 异常表(abstract和native方法除外)
    • 每个异常处理的开始位置、结束位置、代码处理在程序计数器中的偏移地址、被捕获的异常类的常量池索引

4.1.4 静态变量/类变量

4.1.4.1 non-final的类变量
  • 静态变量和类关联在一起,随着类的加载而加载,他们成为类数据在逻辑上的一部分

  • 类变量被类的所有实例共享,即使没有类实例时,你也可以访问它

    /**
     * non-final的类变量
     */
    public class MethodAreaTest {
        public static void main(String[] args) {
            Order order = null;//即使我们把order设置为null,也不会出现空指针异常
            order.hello();
            System.out.println(order.count);
        }
    }
    
    class Order {
        public static int count = 1;
        public static final int number = 2;
    
    
        public static void hello() {
            System.out.println("hello!");
        }
    }
    

    运行结果:

    image-20220424170139667

4.1.4.2 全局常量:static final

全局常量就是使用 static final 进行修饰

被声明为final的类变量的处理方法则不同,每个全局常量在编译的时候就会被分配了

4.1.5 常量池(字节码中,不是方法区的)

image-20200708172357052

一个有效的字节码文件中除了包含类的版本信息字段方法以及接口等描述符信息外,还包含一项信息就是常量池表(Constant Pool Table),包括各种字面量类型方法符号引用

4.1.5.1 为什么需要常量池?

一个java源文件中的类、接口,编译后产生一个字节码文件。而Java中的字节码需要数据支持,通常这种数据会很大以至于不能直接存到字节码里,换另一种方式,可以存到常量池,这个字节码包含了指向常量池的引用。在动态链接的时候会用到运行时常量池,之前有介绍。

比如:如下的代码:

public class SimpleClass {
    public void sayHello() {
        System.out.println("hello");
    }
}

虽然上述代码只有194字节,但是里面却使用了String、System、PrintStream及Object等结构。这里的代码量其实很少了,如果代码多的话,引用的结构将会更多,这里就需要用到常量池了。

Object obj = new Object();将会被翻译成如下字节码:

         0: new           #2                  // class java/lang/Object
         3: dup
         4: invokespecial #1                  // Method java/lang/Object."<init>":()V

4.1.5.2 常量池中有什么?
  • 数量值
  • 字符串值
  • 类引用
  • 字段引用
  • 方法引用
4.1.5.3 小结

4.1.6 运行时常量池

  • 运行时常量池(Runtime Constant Pool)是方法区的一部分。
  • 常量池表(Constant Pool Table)是Class文件的一部分,用于存放编译期生成的各种字面量与符号引用这部分内容将在类加载后存放到方法区的运行时常量池中
  • 常量池,在加载类和接口到虚拟机后,就会创建对应的运行时常量池。
  • JVM为每个已加载的类型(类或接口)都维护一个常量池。池中的数据项像数组项一样,是通过索引访问的。
  • 运行时常量池中包含多种不同的常量,包括编译期就已经明确的数值字面量,也包括到运行期解析后才能够获得的方法或者字段引用。此时不再是常量池中的符号地址了,这里换为真实地址
    • 运行时常量池,相对于Class文件常量池的另一重要特征是:具备动态性
      • Java语言并不要求常量一定只有编译期才能产生,也就是并非预置入CLass文件中常量池的内容才能进入方法区运行时常量池,运行期间也可能将新 的常量放入池中,这种特性被开发人员利用比较多的就是String类的intern()方法。
  • 运行时常量池类似于传统编程语言中的符号表(symbol table),但是它所包含的数据却比符号表要更加丰富一些。
  • 当创建类或接口的运行时常量池时,如果构造运行时常量池所需的内存空间超过了方法区所能提供的最大值,则JVM会抛outofMemoryError异常。
4.1.6.1 运行时常量池 VS 常量池

image-20200708171151384

  • 方法区,内部包含了运行时常量池
  • 字节码文件,内部包含了常量池
  • 要弄清楚方法区,需要理解清楚ClassFile,因为加载类的信息都在方法区。
  • 要弄清楚方法区的运行时常量池,需要理解清楚classFile中的常量池。

5. 方法区使用举例

public class MethodAreaDemo {
    public static void main(String[] args) {
        int x = 500;
        int y = 100;
        int a = x / y;
        int b = 50;
        System.out.println(a + b);
    }
}
  1. 将参数args放入本地变量表中索引为0的位置(如果是实例方法索引0放的是this)

    image-20200708204750374

  2. 程序计数器索引为0代表该执行索引为0的sipush 500指令:将500这个数值压入操作数栈

    image-20200708204953552

  3. 弹出操作数栈栈顶500保存到本地变量索引1

    image-20220424181009116

  4. 将100这个数值压入操作数栈

    image-20220425092953266

  5. 弹出操作数栈栈顶100保存到本地变量索引2

    image-20220425093014876

  6. 读取本地变量表索引1,压入操作数栈

    image-20220425093054962

  7. 读取本地变量表索引2,压入操作数栈

    image-20220425093126565

  8. 将操作数栈两项int类型数出栈相除,结果入栈 500/100=5

    image-20220425093309238

  9. 将50压入操作数栈

    image-20220425095409026

  10. 弹出操作数栈栈顶50保存到本地变量索引4

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BOiPzA8O-1650958345063)(http://zr.zhourui.site/img/image-20220425093524045.png)]

  11. 获取类或接口字段的值并将其压入操作数栈 #2 对应常量池中的Fieldref #15.#16

    image-20220425093628521

  12. 将本地变量表索引3的值取出压入操作数栈

    image-20220425093707609

  13. 将本地变量表索引4的值取出压入操作数栈

    image-20220425093738179

  14. 将栈顶两个int类型数弹出栈相加,结果压入操作数栈

    image-20220425093810938

  15. 调用静态方法jvm会根据这个方法的描述**,创建新站帧,方法的参数从操作数栈中弹出,压入虚拟机然后虚拟机会开始执行虚拟机栈最上面的栈帧**

    执行完毕后,再继续执行main方法对应的栈帧

    image-20220425093831575

  16. void 函数返回main方法执行结束

    image-20200708210540696

6. 方法区的演进细节

  1. 首先明确:只有Hotspot才有永久代。BEA JRockit、IBMJ9等来说,是不存在永久代的概念的。原则上如何实现方法区属于虚拟机实现细节,不受《Java虚拟机规范》管束,并不要求统一

  2. Hotspot中方法区的变化:

    版本方法区变动
    JDK1.6及以前有永久代,静态变量存储在永久代上
    JDK1.7有永久代,但已经逐步 “去永久代”字符串常量池,静态变量移除,保存在堆中
    JDK1.8无永久代,类型信息,字段,方法,常量保存在本地内存的元空间,但字符串常量池、静态变量仍然在堆中

6.1 永久代为什么要被元空间替换?

官方说明

image-20220425105234348

  • 随着Java8的到来,HotSpot VM中再也见不到永久代了。但是这并不意味着类的元数据信息也消失了。这些数据被移到了一个与堆不相连的本地内存区域,这个区域叫做元空间(Metaspace)

  • 由于类的元数据分配在本地内存中,元空间的最大可分配空间就是系统可用内存空间

  • 这项改动是很有必要的,原因有:

    • 为永久代设置空间大小是很难确定的。

      • 在某些场景下,如果动态加载类过多,容易产生Perm区的OOM。比如某个实际Web工
        程中,因为功能点比较多,在运行过程中,要不断动态加载很多类,经常出现致命错误。

        image-20220425110405200

        而元空间和永久代之间最大的区别在于:元空间并不在虚拟机中,而是使用本地内存。

    • 对永久代进行调优是很困难的。

      • 主要是为了降低 Full GC。

6.2 StringTable为什么要调整位置?

6.3 验证静态变量放在哪里?

/**
 * 结论:
 * 静态引用对应的对象实体始终都存在堆空间
 *
 * jdk7:
 * -Xms200m -Xmx200m -XX:PermSize=300m -XX:MaxPermSize=300m -XX:+PrintGCDetails
 * jdk 8:
 * -Xms200m -Xmx200m -XX:MetaspaceSize=300m -XX:MaxMetaspaceSize=300m -XX:+PrintGCDetails
 */
public class StaticFieldTest {
    private static byte[] arr = new byte[1024 * 1024 * 100];//100MB

    public static void main(String[] args) {
        System.out.println(StaticFieldTest.arr);

//        try {
//            Thread.sleep(1000000);
//        } catch (InterruptedException e) {
//            e.printStackTrace();
//        }
    }
}

运行结果:发现老年代占用了100M(为什么在老年代而不是在伊甸园区?年轻代(1):老年代(2),总共300M说明新生代大小100M,而我们对象大小都是100M,所以直接放老年代)

image-20220425115839943

6.4 验证staticObj、instanceObj、localObj存放在哪里?

/**
 * 《深入理解Java虚拟机》中的案例:
 * staticObj、instanceObj、localObj存放在哪里?
 */
public class StaticObjTest {
    static class Test {
        static ObjectHolder staticObj = new ObjectHolder();
        ObjectHolder instanceObj = new ObjectHolder();

        void foo() {
            ObjectHolder localObj = new ObjectHolder();
            System.out.println("done");
        }
    }

    private static class ObjectHolder {
    }

    public static void main(String[] args) {
        Test test = new StaticObjTest.Test();
        test.foo();
    }
}

6.4.1 使用JHSDB工具进行分析(忽略细节JDK9自带)

image-20220426144322756

接着,找到了一个引用该staticObj对象的地方,是在一个java.lang.Class的实例里,并且给出了这个实例的地址,通过Inspector查看该对象实例,可以清楚看到这确实是一个java.lang.Class类型的对象实例,里面有一个名为staticobj的实例字段:

image-20200708215218078

从《Java虚拟机规范》所定义的概念模型来看,所有Class相关的信息都应该存放在方法区之中,但方法区该如何实现,《Java虚拟机规范》并未做出规定,这就成了一件允许不同虚拟机自己灵活把握的事情。JDK7及其以后版本的HotSpot虚拟机选择把静态变量与类型在Java语言一端的映射class对象存放在一起,存储于Java堆之中,从我们的实验中也明确验证了这一点

7. 方法区的垃圾回收

有些人认为方法区(如Hotspot虚拟机中的元空间或者永久代)是没有垃圾收集行为的,其实不然。《Java虚拟机规范》对方法区的约束是非常宽松的,提到过可以不要求虚拟机在方法区中实现垃圾收集。事实上也确实有未实现或未能完整实现方法区类型卸载的收集器存在(如JDK11时期的ZGC收集器就不支持类卸载)

一般来说这个区域的回收效果比较难令人满意,尤其是类型的卸载,条件相当苛刻。但是这部分区域的回收有时又确实是必要的。以前sun公司的Bug列表中,曾出现过的若干个严重的Bug就是由于低版本的HotSpot虚拟机对此区域未完全回收而导致内存泄漏。

7.1 方法区的垃圾收集主要回收两部分内容–常量池中废弃的常量不再使用的类型

7.1.1 常量池中废弃的常量

  • 方法区内常量池之中主要存放的两大类常量

    • 字面量:字面量比较接近Java语言层次的常量概念,如文本字符串、被声明为final的常量值等。

    • 符号引用:属于编译原理方面的概念,包括下面三类常量:

      1. 类和接口的全限定名
      2. 字段的名称和描述符
      3. 方法的名称和描述符
  • HotSpot虚拟机对常量池的回收策略是很明确的,只要常量池中的常量没有被任何地方引用,就可以被回收

  • 回收废弃常量与回收Java堆中的对象非常类似。(关于常量的回收比较简单,重点是类的回收)

7.1.2 不再使用的类型

  • 判定一个常量是否“废弃”还是相对简单,而要判定一个类型是否属于“不再被使用的类”的条件就比较苛刻了。需要同时满足下面三个条件
    • 该类所有的实例都已经被回收,也就是Java堆中不存在该类及其任何派生子类的实例
    • 加载该类的类加载器已经被回收,这个条件除非是经过精心设计的可替换类加载器的场景,如OSGi、JSP的重加载等,否则通常是很难达成的。
    • 该类对应的java.lang.Class对象没有在任何地方被引用无法在任何地方通过反射访问该类的方法
  • Java虚拟机被允许对满足上述三个条件的无用类进行回收,这里说的仅仅是“被允许”,**而并不是和对象一样,没有引用了就必然会回收。**关于是否要对类型进行回收,HotSpot虚拟机提供了-Xnoclassgc参数进行控制,还可以使用-verbose:class以及-XX:+Traceclass-Loading-XX:+TraceclassUnLoading查看类加载和卸载信息
  • 大量使用反射动态代理CGLib字节码框架动态生成JSP以及OSGi这类频繁自定义类加载器的场景中通常都需要Java虚拟机具备类型卸载的能力,以保证不会对方法区造成过大的内存压力

8. 总结

image-20200708220303243

8.1 方法区常见面试题

  • 百度
    • 三面:说一下JVM内存模型吧,有哪些区?分别干什么的?
  • 蚂蚁金服
    • Java8的内存分代改进
    • JVM内存分哪几个区,每个区的作用是什么?
    • 一面:JVM内存分布/内存结构?栈和堆的区别?堆的结构?为什么两个survivor区?
    • 二面:Eden和Survior的比例分配
  • 小米
    • jvm内存分区,为什么要有新生代和老年代
  • 字节跳动
    • 二面:Java的内存分区
    • 二面:讲讲vm运行时数据库区
    • 什么时候对象会进入老年代?
  • 京东
    • JVM的内存结构,Eden和Survivor比例。
    • JVM内存为什么要分成新生代,老年代,持久代。新生代中为什么要分为Eden和Survivor。
  • 天猫
    • 一面:Jvm内存模型以及分区,需要详细到每个区放什么。
    • 一面:JVM的内存模型,Java8做了什么改
  • 拼多多
    • JVM内存分哪几个区,每个区的作用是什么?
  • 美团
    • java内存分配
    • jvm的永久代中会发生垃圾回收吗?
    • 一面:jvm内存分区,为什么要有新生代和老年代?
举报

相关推荐

0 条评论