MySQL大數(shù)據(jù)下Limit使用
對(duì)于一直用Oracle的我,今天可是非常詫異,MySQL中同一個(gè)函數(shù)在不同數(shù)量級(jí)上的性能居然差距如此之大。
先看表ibmng(id,title,info) 唯一 id key 索引title
先看看兩條語句:
select * from ibmng limit 1000000,10
select * from ibmng limit 10,10
很多人都會(huì)認(rèn)為不會(huì)有多大差別,但是他們都錯(cuò)了,差別太大了,(可能機(jī)器不同有點(diǎn)差距,但絕對(duì)10倍以上)具體執(zhí)行時(shí)間留給好奇的同學(xué)。
這是為什么呢,都是offset的錯(cuò)!
優(yōu)化的話你可以想方法減小offset,如以下:
Select * From ibmng Where id >=(Select id From ibmng Order By id limit 1000000,1) limit 10
大家一定會(huì)看到問題, limit 1000000,1 同樣offset不是一樣大嗎,肯定不能優(yōu)化。(但是,又錯(cuò)了,執(zhí)行之后才知道結(jié)果!)
原因是id是索引,所有快,那么如下sql呢:
select id from ibmng where title='mysql' order by id limit 1000000,10;
這條sql大家又會(huì)猜錯(cuò),同樣慢的跟蝸牛一樣。(在此大家都會(huì)想title加了索引啊怎么會(huì)這樣!)
接下來大家再執(zhí)行一條sql如下:
select id from ibmng where title='mysql' limit 1000000,10;
執(zhí)行之后你會(huì)發(fā)現(xiàn)速度是sousou的快!
原因看出來了吧,都是用了索引的原因,如果你要用select id from ibmng where title='mysql' order by id limit 1000000,10; 那么就追加復(fù)合索引(title,id )吧!
注意:接下來與limit無關(guān)!
最后回到我現(xiàn)在的場(chǎng)景,如果千萬級(jí)別的數(shù)據(jù)分批次讀取統(tǒng)計(jì)的話,不要使用limit最好,用主鍵范圍判斷最佳!(eg:id<=1001000 and id>=1000001)
相關(guān)文章:
