特定配置下Oracle日志批量提交的最優(yōu)數(shù)量
項(xiàng)目中的記錄日志有時會采用批量提交的方法,它的好處是減少了獲取數(shù)據(jù)連接的次數(shù),從而減少了網(wǎng)絡(luò)交互的次數(shù),提高了系統(tǒng)性能。為了將系統(tǒng)性能提高到最好,找到特定配置下oracle批量提交的最優(yōu)數(shù)量,進(jìn)行了這個測試。
二、測試環(huán)境與配置(數(shù)據(jù)庫服務(wù)器配置)
操作系統(tǒng):aix 5.3
數(shù)據(jù)庫版本:oracle 10g
Java版本:1.5
Web應(yīng)用服務(wù)器:weblogic
三、測試設(shè)計
1. 如何進(jìn)行批量提交
可能有人對我上面提到的批量提交的實(shí)現(xiàn)方式不清楚,在此詳細(xì)介紹一下,用到的是preparedStatement的addBatch()和 executeBatch()方法。addBatch()方法將一組參數(shù)添加到preparedStatement 對象的批處理命令中,通過調(diào)用方法 executeBatch 可以批量執(zhí)行此列表中的命令。
程序如下例:
public static void test(){......preparedStatement ps = nulltry {conn = DataSourceManager.instance().getConnection();ps = conn.prepareStatement('insert into log(col1,col2)values(?,?)');for (int i = 0 i < commitCount; i++) {ps.setString(1, 'hello');ps.setString(2, '123');ps.addBatch();}ps.executeBatch();......}2.設(shè)計思路
測試要得到的就是程序中一次批量提交的日志最優(yōu)條數(shù),也就是commitCount的值。
拿到這個測試項(xiàng)目時,我的思路是:設(shè)定批量提交日志參數(shù)commitCount的值,在一段可計算的時間time 內(nèi)提交日志數(shù)count,得到每秒提交的日志條數(shù)v(v=提交的日志數(shù)count/時間time)。逐漸增加批量日志參數(shù)commitCount,得到不同的v,對比數(shù)據(jù),取最大的v所對應(yīng)的commitCount,即為批量提交的最優(yōu)數(shù)量。
3. 程序設(shè)計
思路比較容易確定,剩下就是程序的設(shè)計了。設(shè)計程序的原則是可操作性要高,主要問題是思路中提到的各個參數(shù)的設(shè)置和獲取。在經(jīng)驗(yàn)豐富的前輩的指點(diǎn)下,對程序進(jìn)行了設(shè)計,在此不再贅述具體代碼,只將程序設(shè)計思路簡單介紹一下:
a.commitCount的設(shè)置
在測試頁面設(shè)置輸入框,將此值作為參數(shù)輸入。
b.time的獲取
在提交日志之前和之后分別取系統(tǒng)時間,作差即得提交日志所用時間time
c.count的設(shè)置
為忽略批量提交日志每次獲取數(shù)據(jù)連接所用的時間,設(shè)置提交次數(shù)views,并在程序中將獲取數(shù)據(jù)連接的代碼寫在提交所有日志前(注意:寫在批量提交程序中每個批量提交都會建立數(shù)據(jù)連接,從而使得到的time誤差較大)。這樣提交一次日志只獲取一次數(shù)據(jù)連接。所以提交次數(shù)越大,得到的time就越接近提交日志所用的時間,可忽略獲取連接所用時間。
所以在頁面設(shè)置'提交次數(shù)'輸入框views,程序中設(shè)計一個循環(huán)來模擬多次批量提交日志,并計算count=commitCount*views
程序計算v=count/time 的值,顯示到頁面。
另外注意:插入數(shù)據(jù)時,數(shù)據(jù)表原有數(shù)據(jù)條數(shù)對插入數(shù)據(jù)的速度也會有影響。為保證每次插入日志時數(shù)據(jù)表環(huán)境一致,在每次插入日志之后要刪除本次插入的日志。
四、測試執(zhí)行情況和測試結(jié)果
程序?qū)懞貌渴鸷螅f事俱備,可以進(jìn)行測試了(注意:最好找網(wǎng)絡(luò)穩(wěn)定的時間進(jìn)行測試,得出的測試結(jié)果誤差較小)。
在頁面輸入“批量提交日志參數(shù)”commitCount和“提交次數(shù)”views,并記錄返回到頁面的v值。
“提交次數(shù)”設(shè)為50,人為設(shè)定“批量提交日志參數(shù)”commitCount,從100開始,一次增加20,到200,發(fā)現(xiàn)v的值一直增大,之后將 commitCount分別以100、200等幅度向上增加,直到5000。發(fā)現(xiàn)commitCount=500時,v值最大。
為排除網(wǎng)絡(luò)原因,每組數(shù)據(jù)測試兩次。具體測試數(shù)據(jù)形成了折線圖,如下圖:

所以在以上描述的特定測試環(huán)境下,oracle 日志批量提交的最優(yōu)數(shù)量是500 條。
以上就是測試的全過程,或許有人有更好的測試方法,以期共享。
