Kafka文件结构

     Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic
的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文
件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该
log 文件末端，且每条数据都有自己的 offset（偏移量）。消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

      由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位效率低下，Kafka 采取了 分片和 索引机制（默认产生1G数据时候进行分片），将每个 partition 分为多个 segment。每个 segment对应两个文件--“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first-0,first-1,first-2。

index 和 log 文件以当前 segment 的第一条消息的 offset 命名。如下所示：

00000000000000000000.index
00000000000000000000.log
00000000000000170410.index
00000000000000170410.log
00000000000000239430.index
00000000000000239430.log

 我们用下面这张图来记住刚才所描述的问题：

 其中 index 文件和 log文件的结构示意图如下图所示：

 “.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。

 具体的kafka是如何通过offset定位一条消息的呢？

如下图所示：

index文件的序号就是message在日志文件中的相对偏移量
OffsetIndex是稀疏索引，也就是说不会存储所有的消息的相对offset和position
消息检索的过程，以这个partition目录下面，00000000001560140916为例：
定位offset为1560140921的message

①定位到具体的segment日志文件，采用二分法先定位到index索引文件
由于log日志文件的文件名是这个文件中第一条消息的offset-1。
因此可以根据offset定位到这个消息所在日志文件：00000000001560140916.log

这个过程是利用二分法进行查找的。
②计算查找的offset在日志文件的相对偏移量
segment文件中第一条消息的offset = 1560140917
计算message相对偏移量：
需要定位的offset - segment文件中第一条消息的offset + 1 = 1560140921 - 1560140917 + 1 = 5
查找index索引文件， 可以定位到该消息在日志文件中的偏移字节为456。
综上，直接读取文件夹00000000001560140916.log中偏移456字节的数据即可。
1560140922 -1560140917 +1 = 6 如果查找的offset在日志文件的相对偏移量在index索引文件不存在，可根据其在index索引文件最接近的上限偏移量，往下顺序查找。

参考链接：https://blog.csdn.net/moshang_3377/article/details/103436537