MySQL rpl_semi_sync_master_timeout相關的一件BUG

MySQL rpl_semi_sync_master_timeout相關的一件BUG

1.背景

部署基於MySQL原生復制的HA系統時，發現在半同步模式下，半同步復制降級為異步復制的超時時間如果設得很長，會嚴重影響性能高，這是個很奇怪的現象。

2.現象

組合不同參數，用sysbench做壓力測試。

sysbench --db-driver=mysql --mysql-db=test2 --mysql-host=srdsdevapp69 --mysql-table-engine=innodb --oltp-table-size=5000000 --num-threads=10 --max-time=10 --max-requests=0 --oltp-test-mode=complex --oltp-read-only=off --test=/opt/sysbench-0.5/sysbench/tests/db/insert.lua run

結果如下：

rpl_semi_sync_master_enabledrpl_semi_sync_master_timeoutqps備注on2147483648013.99約248天 2147483648196.3約24.8天2147483641251.67約2.5天864000002146.961天432000003211.1712小時216000003583.026小時100003637.1610秒(默認值)off-8926.76

3. 原因

從上面的表不難看出，當rpl_semi_sync_master_timeout很大時，每個查詢的執行時間和rpl_semi_sync_master_timeout成正比。

為什麼會出現這麼奇葩的事？翻開MySQL的代碼，立刻真相大白！

plugin\semisync\semisync_master.cc：

1. #define TIME_THOUSAND 1000
   
2. #define TIME_MILLION 1000000
   
3. #define TIME_BILLION 1000000000
   
4. ...
   
5. int ReplSemiSyncMaster::commitTrx(const char* trx_wait_binlog_name,
   
6. my_off_t trx_wait_binlog_pos)
   
7. {
   
8. ...
   
9. unsigned long long diff_nsecs =
   
10. start_ts.tv_nsec + (unsigned long long)wait_timeout_ * TIME_MILLION;
    
11. abstime.tv_sec = start_ts.tv_sec;
    
12. while (diff_nsecs >= TIME_BILLION)//這個while循環是罪魁禍首！！！
    
13. {
    
14. abstime.tv_sec++;
    
15. diff_nsecs -= TIME_BILLION;
    
16. }
    
17. abstime.tv_nsec = diff_nsecs;
    
18. ...
    
19. }

上面有個while循環，循環次數等於rpl_semi_sync_master_timeout對應的秒數，也就是說，如果設置成300天的話，要循環25920000次，不慢才怪！

4. 修復

把那段代碼中的while替換等價的寫法後，問題解決。測出的qps在3700左右，和rpl_semi_sync_master_timeout無關。

4.1 修改代碼

plugin\semisync\semisync_master.cc：

1. # diff plugin/semisync/semisync_master.cc plugin/semisync/semisync_master.cc_bak
   
2. 687,688c687,688
   
3. < start_ts.tv_nsec + ((unsigned long long)wait_timeout_ % TIME_THOUSAND) * TIME_MILLION;
   
4. < abstime.tv_sec = start_ts.tv_sec + (unsigned long long)wait_timeout_ / TIME_THOUSAND;
   
5. ---
   
6. > start_ts.tv_nsec + (unsigned long long)wait_timeout_ * TIME_MILLION;
   
7. > abstime.tv_sec = start_ts.tv_sec;

4.2 編譯

cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data -DSYSCONFDIR=/etc -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_MEMORY_STORAGE_ENGINE=1 -DWITH_READLINE=1 -DMYSQL_UNIX_ADDR=/var/lib/mysql/mysql.sock -DMYSQL_TCP_PORT=3306 -DENABLED_LOCAL_INFILE=1 -DWITH_PARTITION_STORAGE_ENGINE=1 -DEXTRA_CHARSETS=all -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_FAST_MUTEXES=1make

注：上面的編譯選項填的比較隨意，從網上隨便抄了後再改的，只求編譯通過。

4.3 拷貝半同步插件

chown mysql:mysql  ./plugin/semisync/semisync_master.socp -rf ./plugin/semisync/semisync_master.so /usr/local/mysql/lib/mysql/plugin/semisync_master.socp -rf ./plugin/semisync/semisync_master.so /usr/local/mysql/lib/plugin/semisync_master.so

4.4重啟MySQL

5. 補充

該Bug已報告到MySQL官方網站，http://bugs.mysql.com/80651