使用YCSB进行MongoDB的性能测试

配置:

CPU:E3-1230 V2 2C@3.4GHz

内存:DDR3 1333 2GB

硬盘:samsung 750 EVO 120GB

YCSB配置文件:

workload=com.yahoo.ycsb.workloads.CoreWorkload
recordcount=1000000
operationcount=1000000
insertstart=0
fieldcount=8
fieldlength=250
readallfields=true
writeallfields=false
fieldlengthdistribution=constant
readproportion=1
updateproportion=0
insertproportion=0
readmodifywriteproportion=0
scanproportion=0
maxscanlength=1000
scanlengthdistribution=uniform
insertorder=hashed
requestdistribution=zipfian
hotspotdatafraction=0.2
hotspotopnfraction=0.8
table=usertable
measurementtype=histogram
histogram.buckets=1000
timeseries.granularity=1000
threadcount=100

插入数据:


ycsb-0.12.0/bin/ycsb load mongodb -P ycsb-0.12.0/workloads/workload_own -s -p mongodb.url=mongodb://192.168.199.177:27017 > a.txt

htop:

iostat:

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 9.00 0.00 79.00 0.00 27.79 720.30 0.51 6.43 0.00 6.43 1.48 11.70

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 19.00 0.00 184.00 0.00 76.69 853.57 5.08 27.63 0.00 27.63 1.23 22.60

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 8.00 0.00 89.00 0.00 35.04 806.20 0.79 8.45 0.00 8.45 1.71 15.20

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 22.00 2.00 207.00 0.01 79.98 783.85 6.87 33.11 2.00 33.41 1.17 24.50

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 13.00 0.00 217.00 0.00 84.41 796.68 7.55 34.63 0.00 34.63 1.18 25.50

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 25.00 1.00 107.00 0.00 39.12 742.00 0.85 8.22 0.00 8.30 1.57 17.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 16.00 1.00 227.00 0.00 85.30 766.21 6.46 28.36 22.00 28.39 1.14 26.10

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 9.00 0.00 330.00 0.00 156.71 972.56 26.94 81.35 0.00 81.35 1.22 40.40

插入mongostat:

日志输出:

mongo client connection created with mongodb://192.168.199.177:27017
[OVERALL], RunTime(ms), 59241.0
[OVERALL], Throughput(ops/sec), 16880.201211998447
[TOTAL_GCS_Copy], Count, 2695.0
[TOTAL_GC_TIME_Copy], Time(ms), 4650.0
[TOTAL_GC_TIME_%_Copy], Time(%), 7.849293563579278
[TOTAL_GCS_MarkSweepCompact], Count, 8.0
[TOTAL_GC_TIME_MarkSweepCompact], Time(ms), 116.0
[TOTAL_GC_TIME_%_MarkSweepCompact], Time(%), 0.195810334059182
[TOTAL_GCs], Count, 2703.0
[TOTAL_GC_TIME], Time(ms), 4766.0
[TOTAL_GC_TIME_%], Time(%), 8.04510389763846
[CLEANUP], Operations, 100
[CLEANUP], AverageLatency(us), 28.85
[CLEANUP], LatencyVariance(us), 72853.24750000001
[CLEANUP], MinLatency(us), 0
[CLEANUP], MaxLatency(us), 2714
[CLEANUP], 95thPercentileLatency(us), 0
[CLEANUP], 99thPercentileLatency(us), 0

 

查询数据:

ycsb-0.12.0/bin/ycsb load mongodb -P ycsb-0.12.0/workloads/workload_own -s -p mongodb.url=mongodb://192.168.199.177:27017 > b.txt

htop:

iostat:


Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 1.31 474.15 5.01 38.71 1.49 171.82 10.10 21.08 19.83 138.59 0.18 8.86

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 0.00 6067.00 0.00 499.77 0.00 168.71 123.75 20.61 20.61 0.00 0.16 100.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 0.00 6058.00 0.00 497.23 0.00 168.10 117.37 19.28 19.28 0.00 0.17 100.10

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 0.00 6591.09 0.00 495.70 0.00 154.02 114.30 17.35 17.35 0.00 0.15 99.31

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 0.00 6155.00 0.00 503.04 0.00 167.38 120.20 19.57 19.57 0.00 0.16 100.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 0.00 6247.00 1.00 497.52 0.05 163.10 121.97 19.47 19.47 17.00 0.16 100.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 0.00 6089.00 0.00 502.10 0.00 168.88 122.00 20.10 20.10 0.00 0.16 100.00

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdb 0.00 0.00 6260.00 0.00 500.91 0.00 163.88 119.76 19.12 19.12 0.00 0.16 100.10

mongostat:

日志输出:

mongo client connection created with mongodb://192.168.199.177:27017
[OVERALL], RunTime(ms), 102328.0
[OVERALL], Throughput(ops/sec), 9772.496286451411
[TOTAL_GCS_Copy], Count, 3672.0
[TOTAL_GC_TIME_Copy], Time(ms), 4880.0
[TOTAL_GC_TIME_%_Copy], Time(%), 4.768978187788289
[TOTAL_GCS_MarkSweepCompact], Count, 0.0
[TOTAL_GC_TIME_MarkSweepCompact], Time(ms), 0.0
[TOTAL_GC_TIME_%_MarkSweepCompact], Time(%), 0.0
[TOTAL_GCs], Count, 3672.0
[TOTAL_GC_TIME], Time(ms), 4880.0
[TOTAL_GC_TIME_%], Time(%), 4.768978187788289
[READ], Operations, 1000000
[READ], AverageLatency(us), 10112.674283
[READ], LatencyVariance(us), 2.9294985906238544E8
[READ], MinLatency(us), 106
[READ], MaxLatency(us), 467497
[READ], 95thPercentileLatency(us), 46000
[READ], 99thPercentileLatency(us), 57000
[READ], Return=OK, 1000000

>use admin

>cfg={ _id:”testrs”, members:[
{_id:0,host:’192.168.71.65:27017′,priority:2},
{_id:1,host:’192.168.71.30:27017′,priority:1},
{_id:2,host:’192.168.71.36:27017′,arbiterOnly:true}]
};
设置 secondary 节点可读
db.getMongo().setSlaveOk()
rs.slaveOk()
但是这种方式有一个缺点就是,下次再通过mongo进入实例的时候,查询仍然会报错,为此可以通过下列方式
vi ~/.mongorc.js
增加一行rs.slaveOk();

如果是通过java访问secondary的话则会报下面的异常
com.mongodb.MongoException: not talking to master and retries used up
解决的办法很多。
第一种方法:在java代码中调用dbFactory.getDb().slaveOk();
第二种方法:在java代码中调用
dbFactory.getDb().setReadPreference(ReadPreference.secondaryPreferred());//在复制集中优先读secondary,如果secondary访问不了的时候就从master中读

dbFactory.getDb().setReadPreference(ReadPreference.secondary());//只从secondary中读,如果secondary访问不了的时候就不能进行查询
第三种方法:在配置mongo的时候增加slave-ok=”true”也支持直接从secondary中读
<mongo:mongo id=”mongo” host=”${mongodb.host}” port=”${mongodb.port}”>
<mongo:options slave-ok=”true”/>
</mongo:mongo>

短时间内大量连接被建立并断开,都会导致TIME_WAIT状态的端口过多从而造成可用端口变少,

可以对内核参数进行优化:

修改sysctl.conf文件
     sysctl -w net.ipv4.tcp_timestamps=1 开启对于TCP时间戳的支持,若该项设置为0,则下面一项设置不起作用
     sysctl -w net.ipv4.tcp_tw_recycle=1 表示开启TCP连接中TIME-WAIT sockets的快速回收    
     echo 5000 /proc/sys/net/ipv4/tcp_max_tw_buckets

其它参数

#sysctl优化
vi /etc/sysctl.conf
#禁用包过滤功能 
net.ipv4.ip_forward = 0  
#启用源路由核查功能 
net.ipv4.conf.default.rp_filter = 1  
#禁用所有IP源路由 
net.ipv4.conf.default.accept_source_route = 0  
#使用sysrq组合键是了解系统目前运行情况,为安全起见设为0关闭
kernel.sysrq = 0  
#控制core文件的文件名是否添加pid作为扩展
kernel.core_uses_pid = 1  
#开启SYN Cookies,当出现SYN等待队列溢出时,启用cookies来处理
net.ipv4.tcp_syncookies = 1  
#每个消息队列的大小(单位:字节)限制
kernel.msgmnb = 65536  
#整个系统最大消息队列数量限制
kernel.msgmax = 65536  
#单个共享内存段的大小(单位:字节)限制,计算公式64G*1024*1024*1024(字节)
kernel.shmmax = 68719476736  
#所有内存大小(单位:页,1页 = 4Kb),计算公式16G*1024*1024*1024/4KB(页)
kernel.shmall = 4294967296  
#这个参数表示操作系统允许TIME_WAIT套接字数量的最大值,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息。默认是180000,过多TIME_WAIT套接字会使Web服务器变慢,避免Squid服务器被大量的TIME_WAIT套接字拖死。
net.ipv4.tcp_max_tw_buckets = 6000  
#开启有选择的应答
net.ipv4.tcp_sack = 1  
#支持更大的TCP窗口. 如果TCP窗口最大超过65535(64K), 必须设置该数值为1
net.ipv4.tcp_window_scaling = 1  
#TCP读buffer,这个参数定义了TCP接受缓存(用于TCP接收滑动窗口)的最小值,默认值,最大值。
net.ipv4.tcp_rmem = 4096 131072 1048576
#TCP写buffer,这个参数定义了TCP发送缓存(用于TCP发送滑动窗口)的最小值,默认值,最大值。
net.ipv4.tcp_wmem = 4096 131072 1048576   
#为TCP socket预留用于发送缓冲的内存默认值(单位:字节)
net.core.wmem_default = 8388608
#为TCP socket预留用于发送缓冲的内存最大值(单位:字节)
net.core.wmem_max = 16777216  
#为TCP socket预留用于接收缓冲的内存默认值(单位:字节)
net.core.rmem_default = 8388608
#为TCP socket预留用于接收缓冲的内存最大值(单位:字节)
net.core.rmem_max = 16777216
#每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。
net.core.netdev_max_backlog = 262144  
#web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值
net.core.somaxconn = 262144  
#系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。这个限制仅仅是为了防止简单的DoS攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)
net.ipv4.tcp_max_orphans = 3276800  
#这个参数表示TCP三次握手建立阶段接受WYN请求队列的最大长度,即尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言,缺省值是1024,小内存的系统则是128,将其设置大一些可以容纳最多等待连接的网络连接数,可以使出现Nginx繁忙来不及accept新连接的情况时,Linux不至于丢失客户端发起的连接请求。
net.ipv4.tcp_max_syn_backlog = 262144  
#时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉
net.ipv4.tcp_timestamps = 0  
#减少系统SYN连接重试次数(默认是5),为了打开对端的连接,内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量
net.ipv4.tcp_synack_retries = 1  
#在内核放弃建立连接之前发送SYN包的数量
net.ipv4.tcp_syn_retries = 1  
#表示开启TCP连接中TIME-WAIT sockets的快速收回功能,默认为 0 ,表示关闭。
net.ipv4.tcp_tw_recycle = 1  
#开启TCP连接复用功能,允许将time_wait sockets重新用于新的TCP连接(主要针对time_wait连接)默认为 0 表示关闭。
net.ipv4.tcp_tw_reuse = 1  
#1st低于此值,TCP没有内存压力,2nd进入内存压力阶段,3rdTCP拒绝分配socket(单位:内存页)
net.ipv4.tcp_mem = 94500000 915000000 927000000   
#如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60 秒。2.2 内核的通常值是180秒,你可以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB服务器,也有因为大量的死套接字而内存溢出的风险,FIN- WAIT-2的危险性比FIN-WAIT-1要小,因为它最多只能吃掉1.5K内存,但是它们的生存期长些。
net.ipv4.tcp_fin_timeout = 15  
#表示当keepalive启用时,TCP发送keepalive消息的频度(单位:秒),默认7200,意思是如果某个TCP连接在idle 2小时后,内核才发起probe。若将其设置得小一点,可以更快地清理无效的连接。
net.ipv4.tcp_keepalive_time = 600
#表示用于向外连接动态端口范围默认为32768到61000,包括UDP和TCP
net.ipv4.ip_local_port_range = 2048 65000
#表示单个进程最大可以打开的句柄数,这个参数直接限制最大并发连接数。
fs.file-max = 102400
#路由缓存刷新频率,当一个路由失败后多长时间跳到另一个路由,默认是300。
net.ipv4.route.gc_timeout = 100
#设置系统对最大跟踪的TCP连接数的限制(CentOS 5.6无此参数)
net.ipv4.ip_conntrack_max = 25000000

默认优化好的配置文件

fs.file-max = 999999
net.ipv4.tcp_tw_reuse = 1
ner.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_fin_timeout = 30 
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.ip_local_port_range = 1024 65000 
net.ipv4.tcp_rmem = 10240 87380 12582912 
net.ipv4.tcp_wmem = 10240 87380 12582912 
net.core.netdev_max_backlog = 8096 
net.core.rmem_default = 6291456 
net.core.wmem_default = 6291456 
net.core.rmem_max = 12582912 
net.core.wmem_max = 12582912 
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_tw_recycle = 1 
net.core.somaxconn=262114 
net.ipv4.tcp_max_orphans=262114 

执行 sysctl -p立即生效

单词 正确发音 错误发音
access ✅ [‘æksɛs] ❌ [ək’sɛs]
Adobe ✅ [ə’dəubi] ❌[‘ædaʊb]
AJAX ✅ [‘eidʒæks] ❌ [ə’dʒʌks]
Apache ✅ [əˈpætʃiː] ❌ [ʌpʌtʃ]
app ✅ [æp] ❌ app
archive ✅ [‘ɑrkaɪv] ❌ [‘ətʃɪv]
array ✅ [ə’rei] ❌ [æ’rei]
avatar ✅ [‘ævətɑr] ❌ [ə’vʌtɑ]
cache ✅ [kæʃ] ❌ [kætʃ]
chrome ✅ [krəum] ❌ [‘tʃəum]
digest ✅ [daɪ’dʒɛst] ❌ [‘digɛst]
git ✅ [ɡɪt] ❌ [dʒɪt; jɪt]
GNU ✅ [gnu:]
GUI ✅ [ˈɡui]
hidden ✅ [‘hɪdn] ❌ [‘haidn]
integer ✅ [ˈɪntɪdʒə] ❌ [ˈɪntaɪgə]
issue ✅ [ˈɪʃu] ❌ [ˈaɪʃu]
jpg ✅ [ˈdʒeɪpɛɡ] ❌ jpg
main ✅ [meɪn] ❌ [mɪn]
margin ✅ [‘mɑrdʒən] ❌ [‘mʌgin]
maven ✅ [‘meɪvən] ❌ [‘ma:vən]
module ✅ [‘mɑdʒul] ❌ [‘modl]
nginx ✅ Engine X ❌ ngx
null ✅ [nʌl] ❌ [naʊ]
OS X ✅ OS ten ❌ OS X
Retina ✅ [‘retɪnə; ˈretənə; ‘retnə] ❌ [ritina]
safari ✅ [səˈfɑːrɪ] ❌ [sæfərɪ]
skype ✅ [skaɪp]
sudo ✅ [‘su:du:]
suite ✅ [sut; swit] ❌ [sjuːt]
typical ✅ [‘tɪpɪkl] ❌ [‘taɪpɪkəl]