Go 生态圈的 K/V 数据库 benchmark

Go生态圈有好几个K/V数据库，我们经常用它来做我们的存储引擎，但是这些数据库引擎的性能如何呢？本文试图用性能而不是功能的数据考察这些数据库，我测试了几种场景： 并发写、并发读、单一写并发读、并发删除，得出了一些有趣的数据。

测试在两台机器上测试的，一台机械硬盘，一台固态硬盘，使用256字节作为value值的大小，9个字节作为key的大小，测试简单的读写删除操作，并没有测试批量读写操作。 每个测试case测试1分钟。

代码: kvbench

K/V 数据库

• Rocksdb: RocksDB是Facebook维护的高性能的嵌入式K/V数据库。它是LevelDB的克隆版，针对多核、SSD做了很多优化。 LSM tree数据结构。
• badger: 一个纯Go实现的快速的嵌入式K/V数据库，针对LSM tree做了优化，在某些情况下可以取得比较好的性能。
• goleveldb: leveldb的纯Go实现，非Google的C++版本
• bolt: 一个广泛使用的K/V数据库，基本上不会有新的功能加入了。
• bbolt: coreos的bolt克隆版，继续维护和扩展bolt的功能。
• buntdb: 一个基于内存的K/V数据库，也可以落盘。
• cznic/kv： 基本上不维护了。
• pebble: 一个性能优异的K/V数据库。
• map (in-memory) with AOF persistence: 基于map数据结构的数据库。
• btree (in-memory) with AOF persistence: 基于btree数据结构的数据库。

btree使用btree的数据结构，如果文件路径为:memory:,则直接写内存，而不会存于硬盘文件中。fsync为true是会同步硬盘文件。
map使用map的数据结构，如果文件路径为:memory:,则直接写内存，而不会存于硬盘文件中。fsync为true是会同步硬盘文件。

当然，除了基本的K/V操作外，有些数据库还加入了事务、bucket(Column Families)等额外的功能，这也是选型的时候要考虑的一个重要方面。

查看硬件环境

查看磁盘情况：fdisk -l
查看磁盘型号：smartctl -a /dev/sda

下面两个命令不太准， 都显示1:
cat /sys/block/sda/queue/rotational
lsblk -d -o name,rota

使用MegaCli工具:
/opt/MegaRAID/MegaCli/MegaCli64 -ldpdinfo -aall |grep 'Media Type'

机械硬盘

硬盘是希捷的机械硬盘：

1
2
3
4

Vendor:               SEAGATE
Product:              ST900MM0168
User Capacity:        900,185,481,216 bytes [900 GB]
Rotation Rate:        10500 rpm

2客CPU, 20个物理 CPU core， 开了超线程40个逻辑 CPU core。
32G内存。

不写盘(nofsync)

throughputs

btree和map相关的实现最好，因为都是直接的内存操作，而且操作也很简单。而且map更简单，通过hash直接找到对应对象。

对于其它的K/V数据库，相对来说rocksdb性能更好一些，而buntdb在只读的情况下性能不错。

time (latency)

耗时基本和吞吐负相关，耗时越长，性能越差，唯一的例外是goleveldb,它的耗时也很短，但是吞吐率却没有足够优秀。

同步写盘(fsync)

throughputs

在数据落盘的情况下，写的性能急剧下降，因为每次写都需要同步到硬盘中，比较好的是rocksdb和badger，能达到1000+ op/s, 其它基本都在100以内。

time (latency)

和吞吐率负相关，goleveldb例外。bbolt和kv删除的时候也很慢。

SSD 固态硬盘

采用固态硬盘，我们期望写的性能能提升起来，看测试结果。

10块 SSD, 型号:

1
2
3
4
5
6
7
8

Vendor:               AVAGO
Product:              AVAGO
Revision:             4.66
User Capacity:        298,999,349,248 bytes [298 GB]
Device Speed: 6.0Gb/s
Link Speed: 12.0Gb/s
Media Type: Solid State Device

不写盘(nofsync)

throughputs

读写都很快，rocksdb表现依然很优秀。而buntdb的只读依然很快。因为没有同步落盘的操作。

这个数据和前面的不写盘的数据不相同，是因为我换了一台有ssd的机器进行测试。

time (latency)

同步写盘(fsync)

throughputs

在落盘的情况下，写操作有了大幅的提升。尤其是goleveldb和badger，但是rocksdb的读是远远领先于其它K/V数据的(除了btree和map)。

time (latency)

总的来说，rocksdb的表现不错。为了保证不丢数据，我们可能需要设置同步硬盘的参数，但是这可能影响写的性能，需要通过批量写和SSD来解决。
对badger有点小失望，当然它对SSD的优化还是很可以的，有可能测试大的数据的时候才能显示出来它的优势。
对于简单的场景，也可以采用btree、map这种简单的数据结构来实现，加上AOF,如果想减少AOF的大小，可以像redis一样合并AOF的操作，去掉无用的中间数据。