Kafka速度的秘诀在于,它把所有的消息都变成一个批量的文件,并且进行合理的批量压缩,减少网络IO损耗,通过mmap提高I/O速度,写入数据的时候由于单个Partion是末尾追加所以速度最优;读取数据的时候配合sendfile直接暴力输出。
- 顺序写入、顺序读取 (磁盘的随机读写是很慢的)
- Zero Copy 零拷贝 http://share100.soblog.cc/view/220
- Mmap、批量压缩
Kafka速度的秘诀在于,它把所有的消息都变成一个批量的文件,并且进行合理的批量压缩,减少网络IO损耗,通过mmap提高I/O速度,写入数据的时候由于单个Partion是末尾追加所以速度最优;读取数据的时候配合sendfile直接暴力输出。