向書(shū)本學(xué)習(xí),還要向?qū)嵺`學(xué)習(xí)、向生活學(xué)習(xí)。消化已有知識(shí),
而且要力求有所發(fā)現(xiàn)、有所發(fā)明、有所創(chuàng)造
2019/4/9 8:18:23
我們要訪問(wèn)的表是一個(gè)非常大的表,四千萬(wàn)條記錄,id是主鍵,program_id上建了索引。
執(zhí)行一條SQL:
select * from program_access_log where program_id between 1 and 4000
這條SQL非常慢。
我們?cè)詾樘幚碛涗浱嗟脑?,所以加了id限制,一次只讀五十萬(wàn)條記錄
select * from program_access_log where id between 1 and 500000 and program_id between 1 and 4000
但是這條SQL仍然很慢,速度比上面一條幾乎沒(méi)有提升。
Mysql處理50萬(wàn)條記錄的表,條件字段還建了索引,這條語(yǔ)句應(yīng)該是瞬間完成的。
問(wèn)題分析:
這張表大約容量30G,數(shù)據(jù)庫(kù)服務(wù)器內(nèi)存16G,無(wú)法一次載入。就是這個(gè)造成了問(wèn)題。
這條SQL有兩個(gè)條件,ID一到五十萬(wàn)和Program_id一到四千,因?yàn)閜rogram_id范圍小得多,mysql選擇它做為主要索引。
先通過(guò)索引文件找出了所有program_id在1到4000范圍里所有的id,這個(gè)過(guò)程非???。
接下來(lái)要通過(guò)這些id找出表里的記錄,由于這些id是離散的,所以mysql對(duì)這個(gè)表的訪問(wèn)不是順序讀取。
而這個(gè)表又非常大,無(wú)法一次裝入內(nèi)存,所以每訪問(wèn)一條記錄mysql都要重新在磁盤上定位并把附近的記錄都載入內(nèi)存,大量的IO操作導(dǎo)致了速度的下降。
問(wèn)題解決方案:
1. 以program_id為條件對(duì)表進(jìn)行分區(qū)
2. 分表處理,每張表的大小不超過(guò)內(nèi)存的大小
然而,服務(wù)器用的是mysql5.0,不支持分區(qū),而且這個(gè)表是公共表,無(wú)法在不影響其它項(xiàng)目的條件下修改表的結(jié)構(gòu)。
所以我們采取了第三種辦法:
select * from program_access_log where id between 1 and 500000 and program_id between 1 and 15000000
現(xiàn)在program_id的范圍遠(yuǎn)大于id的范圍,id被當(dāng)做主要索引進(jìn)行查找,由于id是主鍵,所以查找的是連續(xù)50萬(wàn)條記錄,速度和訪問(wèn)一個(gè)50萬(wàn)條記錄的表基本一樣
總結(jié):
這是一個(gè)在千萬(wàn)筆記錄表中由于使用了索引導(dǎo)致了數(shù)據(jù)查找變慢的問(wèn)題,有一定的典型性和大家交流下!
深圳市南山區(qū)南山街道南海大道西桂廟路北陽(yáng)光華藝大廈1棟4F、4G-04
咨詢電話:136 8237 6272
大客戶咨詢:139 0290 5075
業(yè)務(wù)QQ:195006118
技術(shù)QQ:179981967
深圳精銳軟件 深圳APP開(kāi)發(fā) 深圳小程序開(kāi)發(fā) 深圳微信開(kāi)發(fā) 深圳APP制作 深圳營(yíng)銷推廣 深圳網(wǎng)站建設(shè) 深圳游戲開(kāi)發(fā)
客戶案列
新聞資訊
資質(zhì)榮譽(yù)
團(tuán)隊(duì)風(fēng)采
項(xiàng)目進(jìn)度查詢
售前QQ咨詢
QQ溝通 項(xiàng)目QQ溝通