前言
京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。
我们把订单数据存储在MySQL中,但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。
Elasticsearch作为一款功能强大的分布式搜索引擎,支持近实时的存储、搜索数据,在京东到家订单系统中发挥着巨大作用,目前订单中心ES集群存储数据量达到10亿个文档,日均查询量达到5亿。
随着京东到家近几年业务的快速发展,订单中心ES架设方案也不断演进,发展至今ES集群架设是一套实时互备方案,很好地保障了ES集群读写的稳定性,下面就给大家介绍一下这个历程以及过程中遇到的一些坑。
kafka面试基础[17]
1.Kafka的用途有哪些?使用场景如何?
2.Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么
3.Kafka中的HW、LEO、LSO、LW等分别代表什么?
4.Kafka中是怎么体现消息顺序性的?
5.Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
6.Kafka生产者客户端的整体结构是什么样子的?
7.Kafka生产者客户端中使用了几个线程来处理?分别是什么?
8.Kafka的旧版Scala的消费者客户端的设计有什么缺陷?
9.“消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么hack的手段?
10.有哪些情形会造成重复消费?
11.哪些情景下会造成消息漏消费?
12.KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?
13.简述消费者与消费组之间的关系
14.当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑?
15.topic的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?
16.topic的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?
17.创建topic时如何选择合适的分区数?
kafka面试进阶[15]
1.Kafka目前有哪些内部topic,它们都有什么特征?各自的作用又是什么?
2.优先副本是什么?它有什么特殊的作用?
3.Kafka有哪几处地方有分区分配的概念?简述大致的过程及原理
4.简述Kafka的日志目录结构
5.Kafka中有哪些索引文件?
6.如果我指定了一个offset,Kafka怎么查找到对应的消息?
7.如果我指定了一个timestamp,Kafka怎么查找到对应的消息?
8.聊一聊你对Kafka的Log Retention的理解
9.聊一聊你对Kafka的Log Compaction的理解
10.聊一聊你对Kafka底层存储的理解
11.聊一聊Kafka的延时操作的原理
12聊一聊Kafka控制器的作用
13.Kafka的旧版Scala的消费者客户端的设计有什么缺陷?
14.消费再均衡的原理是什么?(提示:消费者协调器和消费组协调器)
15.Kafka中的幂等是怎么实现的?
kafka面试高阶[12]
1.Kafka中的事务是怎么实现的?
2.失效副本是指什么?有哪些应对措施?
3.多副本下,各个副本中的HW和LEO的演变过程
4.Kafka在可靠性方面做了哪些改进?(HW, LeaderEpoch)
5.为什么Kafka不支持读写分离?
6.Kafka中的延迟队列怎么实现
7.Kafka中怎么实现死信队列和重试队列?
8.Kafka中怎么做消息审计?
9.Kafka中怎么做消息轨迹?
10.怎么计算Lag?(注意read_uncommitted和read_committed状态下的不同)
11.Kafka有哪些指标需要着重关注?
12.Kafka的哪些设计让它有如此高的性能?
答案在这里啦!!整理起来好多呀,有30页....
看完了笔记,刷了面试真题,最后对整个kafka知识做个梳理总结:控制器(Controller)、生产者、配置参数、消费者、Broker端、主题与分区、文件目录、时间轮(TimingWheel)等
《一线大厂Java面试真题解析+Java核心总结学习笔记+最新全套讲解视频+实战项目源码》开源
Java优秀开源项目:
-
ali1024.coding.net/public/P7/Java/git
- github.com/spring-projects
最后
针对最近很多人都在面试,我这边也整理了相当多的面试专题资料,也有其他大厂的面经。希望可以帮助到大家。
下面的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题(都整理成文档,小部分截图)
最新整理电子书