MapD、PG-Strom、Vertica横向对比

简介

选取;MapD、PG-Strom、Vertica进行对比测试。其中MapD为列式GPU数据库;PG-Strom是在PostgreSQL(行式)上增加了GPU插件,使用GPU运算;Vertica为一般列式数据库,作为对比。

另外还有Kinetica、Brytlyt、BlazingDB等均为商用GPU数据库,流行度、文档、官方支持都弱于MapD,且无开源版本,未纳入本次测试。

系统配置

CPUIntel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz*4
内存8G
磁盘260G ssd
GPUNVIDIA Tesla P40(24G显存)*1

性能测试

原始数据美国2008年飞行数据(MapD官方提供)行长约400B,共2.1亿行,84G

3.1 入库性能

数据库导入性能表大小数据压缩比
mapd27.5w/s37G2.27
mapd 边查边入21.7w/s37G2.27
vertica14.2w/s6.4G13.12
pg-strom9.3w/s66G1.27
pg-strom多进程导入23.9w/s66G1.27

MapD与vertica导入时CPU使用率接近100%,均为瓶颈。边查边入的性能降低也是由于查询占用了部分CPU。PG-Strom一个导入进程只能用满1核,故需要多进程导入才能达到性能上限。

3.2 查询性能

测试语句:

Sql1: select count(*) from flights;
Sql2: select count(*) from flights where origin_country=’USA’;
Sql3: select count(*) as cnt,avg(distance) as dis from flights where flight_month=10;
Sql4: select origin_city,dest_city,count(*) as cnt,avg(airtime) as atime from flights group by origin_city,dest_city order by cnt desc,atime;
Sql5: select origin_state,dest_state,count(*) as cnt,avg(airtime) as atime from flights where distance<175 group by origin_state,dest_state ;

性能对比:

无缓存:

Sql 查询耗时(ms)mapd gpu+cpumapd cpu onlyverticapg with pg-strompg
sql1364130951548619670833
sql245714319583890782143490
sql3442839425118869975490
sql4591456998698942191286666
sql566665903328991956212259

有缓存:

Sql 查询耗时(ms)mapd gpu+cpumapd cpu onlyverticapg with pg-strompg
sql152721698694671456
sql258106578791004142894
sql3571491538887474287
sql42524968567927681270628
sql5162212263788107211838

3.3 并发测试

使用3.2中SQL5进行并发测试,其中distance随机生成:

SQL5:

并发QPS显存GPU
17.94.8G90%
108.54.8G90%
208.54.8G90%
508.44.8G90%

MapD引擎内部并无并发处理机制,实际多个会话执行的查询都是串行执行,系统资源也并未随并发数升高而增加。

测试结论

  1. 性能对比:
    • 入库性能:MapD与PG-Strom由于压缩比较低所以入库性能均高于Vertica。
    • 无论有无缓存,PG以及PG-Strom性能均远远低于MapD与Vertica。数据有缓存场景下,MapD的大部分统计查询得益于GPU的高吞吐量性能远高于vertica,同样PG-Strom也高于原生PG。
  2. MapD引擎内部并无并发处理机制,所有查询都是串行执行。已向官方证实。
  3. MapD在SQL方面只支持INSERT、SELECT,不支持UPDATE、DELETE、事务、索引等。PG-Strom由于是插件形式,所以SQL支持度是与PG相同,兼容性非常高。
  4. 本轮测试过程中MapD服务端同样发生过崩溃。

后续测试规划

基于公司的某一业务场景,和vertica、ydb进行对比测试。

发表评论

邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据