摘要:沒有創(chuàng)建計算列導致查詢不優(yōu)化。配置虛擬內(nèi)存虛擬內(nèi)存大小應基于計算機上并發(fā)運行的服務進行配置。運行時,可考慮將虛擬內(nèi)存大小設置為計算機中安裝的物理內(nèi)存的倍。用查詢優(yōu)化器可見到差別。
一、查詢速度慢的原因很多,我總結(jié)SQL查詢慢的10個原因:
1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是程序設計的缺陷)
2、I/O吞吐量小,形成了瓶頸效應。
3、沒有創(chuàng)建計算列導致查詢不優(yōu)化。
4、內(nèi)存不足
5、網(wǎng)絡速度慢
6、查詢出的數(shù)據(jù)量過大(可以采用多次查詢,其他的方法降低數(shù)據(jù)量)
7、鎖或者死鎖(這也是查詢慢最常見的問題,是程序設計的缺陷)
8、sp_locksp_who活動的用戶查看原因是讀寫競爭資源。
9、返回了不必要的行和列
10、查詢語句不好,沒有優(yōu)化
二、50條常見優(yōu)化方法
1、把數(shù)據(jù)、日志、索引放到不同的I/O設備上,增加讀取速度,以前可以將Tempdb應放在RAID0上,SQL2000不在支持。數(shù)據(jù)量(尺寸)越大,提高I/O越重要.
2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)
3、升級硬件
4、根據(jù)查詢條件建立索引優(yōu)化索引、優(yōu)化訪問方式,限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(最好是使用默認值0)。索引應該盡量小,使用字節(jié)數(shù)小的列建索引好(參照索引的創(chuàng)建)不要對有限的幾個值的字段建單一索引如性別字段
5、提高網(wǎng)速;
6、擴大服務器的內(nèi)存Windows 2000和SQL server 2000能支持4-8G的內(nèi)存。配置虛擬內(nèi)存:虛擬內(nèi)存大小應基于計算機上并發(fā)運行的服務進行配置。運行 Microsoft SQL Server? 2000 時,可考慮將虛擬內(nèi)存大小設置為計算機中安裝的物理內(nèi)存的 1.5 倍。如果另外安裝了全文檢索功能,并打算運行 Microsoft 搜索服務以便執(zhí)行全文索引和查詢,可考慮:將虛擬內(nèi)存大小配置為至少是計算機中安裝的物理內(nèi)存的 3 倍。將 SQL Server max server memory 服務器配置選項配置為物理內(nèi)存的 1.5 倍(虛擬內(nèi)存大小設置的一半)。
7、增加服務器CPU個數(shù);但是必須明白并行處理串行處理更需要資源例如內(nèi)存。使用并行還是串行程是MsSQL自動評估選擇的。單個任務分解成多個任務,就可以在處理器上運行。例如耽擱查詢的排序、連接、掃描和GROUP BY字句同時執(zhí)行,SQL SERVER根據(jù)系統(tǒng)的負載情況決定最優(yōu)的并行等級,復雜的需要消耗大量的CPU的查詢最適合并行處理。但是更新操作UPDATEINSERT,DELETE還不能并行處理。
8、如果是使用like進行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like ‘a(chǎn)%’ 使用索引 like ‘%a’ 不使用索引用 like ‘%a%’ 查詢時,查詢耗時和字段值總長度成正比所以不能用CHAR類型,而是VARCHAR。對于字段的值很長的建全文索引。
9、DB Server 和APPLication Server 分離;OLTP和OLAP分離
10、分布式分區(qū)視圖可用于實現(xiàn)數(shù)據(jù)庫服務器聯(lián)合體。聯(lián)合體是一組分開管理的服務器,但它們相互協(xié)作分擔系統(tǒng)的處理負荷。這種通過分區(qū)數(shù)據(jù)形成數(shù)據(jù)庫服務器聯(lián)合體的機制能夠擴大一組服務器,以支持大型的多層 Web 站點的處理需要。有關更多信息,參見設計聯(lián)合數(shù)據(jù)庫服務器。(參照SQL幫助文件’分區(qū)視圖’)
a、在實現(xiàn)分區(qū)視圖之前,必須先水平分區(qū)表
b、在創(chuàng)建成員表后,在每個成員服務器上定義一個分布式分區(qū)視圖,并且每個視圖具有相同的名稱。這樣,引用分布式分區(qū)視圖名的查詢可以在任何一個成員服務器上運行。系統(tǒng)操作如同每個成員服務器上都有一個原始表的復本一樣,但其實每個服務器上只有一個成員表和一個分布式分區(qū)視圖。數(shù)據(jù)的位置對應用程序是透明的。
11、重建索引 DBCC REINDEX DBCC INDEXDEFRAG收縮數(shù)據(jù)和日志 DBCC SHRINKDBDBCC SHRINKFILE. 設置自動收縮日志.對于大的數(shù)據(jù)庫不要設置數(shù)據(jù)庫自動增長,它會降低服務器的性能。
在T-sql的寫法上有很大的講究,下面列出常見的要點:
首先,DBMS處理查詢計劃的過程是這樣的:
a、 查詢語句的詞法、語法檢查
b、 將語句提交給DBMS的查詢優(yōu)化器
c、 優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化
d、 由預編譯模塊生成查詢規(guī)劃
e、 然后在合適的時間提交給系統(tǒng)處理執(zhí)行
f、 最后將執(zhí)行結(jié)果返回給用戶其次,看一下SQL SERVER的數(shù)據(jù)存放的結(jié)構:一個頁面的大小為8K(8060)字節(jié),8個頁面為一個盤區(qū),按照B樹存放。
12、Commit和rollback的區(qū)別 Rollback:回滾所有的事物。 Commit:提交當前的事物. 沒有必要在動態(tài)SQL里寫事物,如果要寫請寫在外面如: begin tran exec(@s) commit trans 或者將動態(tài)SQL 寫成函數(shù)或者存儲過程。
13、在查詢Select語句中用Where字句限制返回的行數(shù)避免表掃描如果返回不必要的數(shù)據(jù),浪費了服務器的I/O資源,加重了網(wǎng)絡的負擔降低性能。如果表很大,在表掃描的期間將表鎖住,禁止其他的聯(lián)接訪問表后果嚴重。
14、SQL的注釋申明對執(zhí)行沒有任何影響
15、盡可能不使用光標,它占用大量的資源。如果需要row-by-row地執(zhí)行,盡量采用非光標技術如:在客戶端循環(huán),用臨時表,Table變量,用子查詢,用Case語句等等。
16、用Profiler來跟蹤查詢,得到查詢所需的時間,找出SQL的問題所在;用索引優(yōu)化器優(yōu)化索引
17、注意UNion和UNion all 的區(qū)別。UNION all好
18、注意使用DISTINCT,在沒有必要時不要用,它同UNION一樣會使查詢變慢。重復的記錄在查詢里是沒有問題的
19、查詢時不要返回不需要的行、列
20、用sp_configure ‘query governor cost limit’或者SET QUERY_GOVERNOR_COST_LIMIT來限制查詢消耗的資源。當評估查詢消耗的資源超出限制時,服務器自動取消查詢在查詢之前就扼殺掉。SET LOCKTIME設置鎖的時間
21、用select top 100 / 10 Percent 來限制用戶返回的行數(shù)或者SET ROWCOUNT來限制操作的行
22、在SQL2000以前,一般不要用如下的字句: “IS NULL” “<>” “!=” “!>” “!<” “NOT” “NOT EXISTS” “NOT IN” “NOT LIKE” and “LIKE ‘%500’”,因為他們不走索引全是表掃描。也不要在WHere字句中的列名加函數(shù),如Convert,substring等如果必須用函數(shù)的時候,創(chuàng)建計算列再創(chuàng)建索引來替代.還可以變通寫法:WHERE SUBSTRING(firstname11) = ‘m’改為WHERE firstname like ‘m%’(索引掃描),一定要將函數(shù)和列名分開。并且索引不能建得太多和太大。NOT IN會多次掃描表,使用EXISTS、NOT EXISTS ,IN LEFT OUTER JOIN 來替代,特別是左連接而Exists比IN更快,最慢的是NOT操作.如果列的值含有空,以前它的索引不起作用,現(xiàn)在2000的優(yōu)化器能夠處理了。相同的是IS NULL,“NOT" “NOT EXISTS” "NOT IN"能優(yōu)化她,而”<>”等還是不能優(yōu)化,用不到索引。
23、使用Query Analyzer,查看SQL語句的查詢計劃和評估分析是否是優(yōu)化的SQL。一般的20%的代碼占據(jù)了80%的資源,我們優(yōu)化的重點是這些慢的地方。
24、如果使用了IN或者OR等時發(fā)現(xiàn)查詢沒有走索引,使用顯示申明指定索引: SELECT * FROM PersonMember (INDEX = IX_Title) WHERE processid IN (‘男’,‘女’)
25、將需要查詢的結(jié)果預先計算好放在表中,查詢的時候再SELECT。這在SQL7.0以前是最重要的手段。例如醫(yī)院的住院費計算。
26、MIN() 和 MAX()能使用到合適的索引。
27、數(shù)據(jù)庫有一個原則是代碼離數(shù)據(jù)越近越好,所以優(yōu)先選擇Default依次為RulesTriggers Constraint(約束如外健主健CheckUNIQUE……數(shù)據(jù)類型的最大長度等等都是約束)Procedure.這樣不僅維護工作小,編寫程序質(zhì)量高,并且執(zhí)行的速度快。
28、如果要插入大的二進制值到Image列,使用存儲過程,千萬不要用內(nèi)嵌INsert來插入(不知JAVA是否)。因為這樣應用程序首先將二進制值轉(zhuǎn)換成字符串(尺寸是它的兩倍),服務器受到字符后又將他轉(zhuǎn)換成二進制值.存儲過程就沒有這些動作: 方法:Create procedure p_insert as insert into table(Fimage) values (@image) 在前臺調(diào)用這個存儲過程傳入二進制參數(shù),這樣處理速度明顯改善。
29、Between在某些時候比IN速度更快Between能夠更快地根據(jù)索引找到范圍。用查詢優(yōu)化器可見到差別。 select from chineseresume where title in (‘男’‘女’) Select from chineseresume where between ‘男’ and ‘女’ 是一樣的。由于in會在比較多次,所以有時會慢些。
30、在必要是對全局或者局部臨時表創(chuàng)建索引,有時能夠提高速度,但不是一定會這樣,因為索引也耗費大量的資源。他的創(chuàng)建同是實際表一樣。
31、不要建沒有作用的事物例如產(chǎn)生報表時,浪費資源。只有在必要使用事物時使用它。
32、用OR的字句可以分解成多個查詢,并且通過UNION 連接多個查詢。他們的速度只同是否使用索引有關如果查詢需要用到聯(lián)合索引,用UNION all執(zhí)行的效率更高.多個OR的字句沒有用到索引,改寫成UNION的形式再試圖與索引匹配。一個關鍵的問題是否用到索引。
33、盡量少用視圖,它的效率低。對視圖操作比直接對表操作慢可以用stored procedure來代替她。特別的是不要用視圖嵌套嵌套視圖增加了尋找原始資料的難度。我們看視圖的本質(zhì):它是存放在服務器上的被優(yōu)化好了的已經(jīng)產(chǎn)生了查詢規(guī)劃的SQL。對單個表檢索數(shù)據(jù)時,不要使用指向多個表的視圖,直接從表檢索或者僅僅包含這個表的視圖上讀,否則增加了不必要的開銷查詢受到干擾.為了加快視圖的查詢,MsSQL增加了視圖索引的功能。
34、沒有必要時不要用DISTINCT和ORDER BY,這些動作可以改在客戶端執(zhí)行。它們增加了額外的開銷。這同UNION 和UNION ALL一樣的道理。 SELECT top 20 ad.companynamecomidpositionad.referenceidworklocation convert(varchar(10)ad.postDate120) as postDate1workyeardegreedesc
35、在IN后面值的列表中,將出現(xiàn)最頻繁的值放在最前面,出現(xiàn)得最少的放在最后面,減少判斷的次數(shù)。
36、當用SELECT INTO時,它會鎖住系統(tǒng)表(sysob
37、一般在GROUP BY 個HAVING字句之前就能剔除多余的行,所以盡量不要用它們來做剔除行的工作。他們的執(zhí)行順序應該如下最優(yōu):select 的Where字句選擇所有合適的行,Group By用來分組個統(tǒng)計行,Having字句用來剔除多余的分組。這樣Group By 個Having的開銷小,查詢快.對于大的數(shù)據(jù)行進行分組和Having十分消耗資源。如果Group BY的目的不包括計算,只是分組,那么用Distinct更快
38、一次更新多條記錄比分多次更新每次一條快就是說批處理好
39、少用臨時表,盡量用結(jié)果集和Table類性的變量來代替它Table 類型的變量比臨時表好
40、在SQL2000下,計算字段是可以索引的,需要滿足的條件如下:
a、計算字段的表達是確定的
b、不能用在
TEXTNtext,Image數(shù)據(jù)類型
c、必須配制如下選項 ANSI_NULLS = ON ANSI_PADDINGS = ON …….
41、盡量將數(shù)據(jù)的處理工作放在服務器上,減少網(wǎng)絡的開銷,如使用存儲過程。存儲過程是編譯好、優(yōu)化過、并且被組織到一個執(zhí)行規(guī)劃里、且存儲在數(shù)據(jù)庫中的SQL語句,是控制流語言的集合,速度當然快。反復執(zhí)行的動態(tài)SQL可以使用臨時存儲過程,該過程(臨時表)被放在Tempdb中。以前由于SQL SERVER對復雜的數(shù)學計算不支持,所以不得不將這個工作放在其他的層上而增加網(wǎng)絡的開銷。SQL2000支持UDFs現(xiàn)在支持復雜的數(shù)學計算,函數(shù)的返回值不要太大,這樣的開銷很大。用戶自定義函數(shù)象光標一樣執(zhí)行的消耗大量的資源,如果返回大的結(jié)果采用存儲過程
42、不要在一句話里再三的使用相同的函數(shù),浪費資源將結(jié)果放在變量里再調(diào)用更快
43、SELECT COUNT()的效率教低,盡量變通他的寫法,而EXISTS快.同時請注意區(qū)別: select count(Field of null) from Table 和 select count(Field of NOT null) from Table 的返回值是不同的!!!
44、當服務器的內(nèi)存夠多時,配制線程數(shù)量 = 最大連接數(shù)+5,這樣能發(fā)揮最大的效率;否則使用 配制線程數(shù)量<最大連接數(shù)啟用SQL SERVER的線程池來解決如果還是數(shù)量 = 最大連接數(shù)+5,嚴重的損害服務器的性能。
45、按照一定的次序來訪問你的表。如果你先鎖住表A,再鎖住表B,那么在所有的存儲過程中都要按照這個順序來鎖定它們。如果你(不經(jīng)意的)某個存儲過程中先鎖定表B,再鎖定表A,這可能就會導致一個死鎖。如果鎖定順序沒有被預先詳細的設計好,死鎖很難被發(fā)現(xiàn)
46、通過SQL Server Performance Monitor監(jiān)視相應硬件的負載 Memory: Page Faults / sec計數(shù)器如果該值偶爾走高,表明當時有線程競爭內(nèi)存。如果持續(xù)很高,則內(nèi)存可能是瓶頸。 Process:
1、% DPC Time 指在范例間隔期間處理器用在緩延程序調(diào)用(DPC)接收和提供服務的百分比。(DPC 正在運行的為比標準間隔優(yōu)先權低的間隔)。 由于 DPC 是以特權模式執(zhí)行的,DPC 時間的百分比為特權時間 百分比的一部分。這些時間多帶帶計算并且不屬于間隔計算總數(shù)的一部 分。這個總數(shù)顯示了作為實例時間百分比的平均忙時。
2、%Processor Time計數(shù)器 如果該參數(shù)值持續(xù)超過95%,表明瓶頸是CPU。可以考慮增加一個處理器或換一個更快的處理器。
3、% Privileged Time 指非閑置處理器時間用于特權模式的百分比。(特權模式是為操作系統(tǒng)組件和操縱硬件驅(qū)動程序而設計的一種處理模式。它允許直接訪問硬件和所有內(nèi)存。另一種模式為用戶模式,它是一種為應用程序、環(huán)境分系統(tǒng)和整數(shù)分系統(tǒng)設計的一種有限處理模式。操作系統(tǒng)將應用程序線程轉(zhuǎn)換成特權模式以訪問操作系統(tǒng)服務)。 特權時間的 % 包括為間斷和 DPC 提供服務的時間。特權時間比率高可能是由于失敗設備產(chǎn)生的大數(shù)量的間隔而引起的。這個計數(shù)器將平均忙時作為樣本時間的一部分顯示。
4、% User Time表示耗費CPU的數(shù)據(jù)庫操作,如排序,執(zhí)行aggregate functions等。如果該值很高,可考慮增加索引,盡量使用簡單的表聯(lián)接,水平分割大表格等方法來降低該值。 Physical Disk: Curretn Disk Queue Length計數(shù)器該值應不超過磁盤數(shù)的1.5~2倍。要提高性能,可增加磁盤。SQLServer:Cache Hit Ratio計數(shù)器該值越高越好。如果持續(xù)低于80%,應考慮增加內(nèi)存。 注意該參數(shù)值是從SQL Server啟動后,就一直累加記數(shù),所以運行經(jīng)過一段時間后,該值將不能反映系統(tǒng)當前值。
47、分析select emp_name form employee where salary >
3000 在此語句中若salary是Float類型的,則優(yōu)化器對其進行優(yōu)化為Convert(float3000),因為3000是個整數(shù),我們應在編程時使用3000.0而不要等運行時讓DBMS進行轉(zhuǎn)化。同樣字符和整型數(shù)據(jù)的轉(zhuǎn)換。
48、查詢的關聯(lián)同寫的順序 select a.personMemberID from chineseresume apersonmember b where personMemberID = b.referenceid and a.personMemberID = ‘JCNPRH39681’ (A = B B = ‘號碼’) select a.personMemberID from chineseresume apersonmember b where a.personMemberID = b.referenceid and a.personMemberID = ‘JCNPRH39681’ and b.referenceid = ‘JCNPRH39681’ (A = B B = ‘號碼’, A = ‘號碼’) select a.personMemberID * from chineseresume apersonmember b where b.referenceid = ‘JCNPRH39681’ and a.personMemberID = ‘JCNPRH39681’ (B = ‘號碼’, A = ‘號碼’)
49、 (1)IF 沒有輸入負責人代碼 THEN code1=0 code2=9999 ELSE code1=code2=負責人代碼 END IF 執(zhí)行SQL語句為: SELECT 負責人名 FROM P2000 WHERE 負責人代碼>=:code1 AND負責人代碼 <=:code2
(2)IF 沒有輸入負責人代碼 THEN SELECT 負責人名 FROM P2000 ELSE code= 負責人代碼 SELECT 負責人代碼 FROM P2000 WHERE 負責人代碼=:code END IF 第一種方法只用了一條SQL語句第二種方法用了兩條SQL語句。在沒有輸入負責人代碼時第二種方法顯然比第一種方法執(zhí)行效率高因為它沒有限制條件;在輸入了負責人代碼時第二種方法仍然比第一種方法效率高不僅是少了一個限制條件還因相等運算是最快的查詢運算。我們寫程序不要怕麻煩
50、關于JOBCN現(xiàn)在查詢分頁的新方法(如下),用性能優(yōu)化器分析性能的瓶頸,如果在I/O或者網(wǎng)絡的速度上,如下的方法優(yōu)化切實有效,如果在CPU或者內(nèi)存上,用現(xiàn)在的方法更好。請區(qū)分如下的方法,說明索引越小越好。
begin
DECLARE @local_variable table (FID int identity(11)ReferenceID varchar(20))
insert into @local_variable (ReferenceID)
select top 100000 ReferenceID from chineseresume order by ReferenceID
select * from @local_variable where Fid > 40 and fid <= 60
end
和
begin
DECLARE @local_variable table (FID int identity(11)ReferenceID varchar(20))
insert into @local_variable (ReferenceID)
select top 100000 ReferenceID from chineseresume order by updatedate
select * from @local_variable where Fid > 40 and fid <= 60
end 的不同
begin
create table #temp (FID int identity(11)ReferenceID varchar(20))
insert into #temp (ReferenceID)
select top 100000 ReferenceID from chineseresume order by updatedate
select * from #temp where Fid > 40 and fid <= 60 drop table #temp
end
文章版權歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/126018.html
摘要:肖鵬微博數(shù)據(jù)庫那些事兒肖鵬,微博研發(fā)中心技術經(jīng)理,主要負責微博數(shù)據(jù)庫相關的業(yè)務保障性能優(yōu)化架構設計,以及周邊的自動化系統(tǒng)建設。經(jīng)歷了微博數(shù)據(jù)庫各個階段的架構改造,包括服務保障及體系建設微博多機房部署微博平臺化改造等項目。 showImg(https://segmentfault.com/img/bV24Gs?w=900&h=385); 對于手握數(shù)據(jù)庫的開發(fā)人員來說,沒有誤刪過庫的人生是...
閱讀 3532·2023-04-25 20:09
閱讀 3736·2022-06-28 19:00
閱讀 3056·2022-06-28 19:00
閱讀 3075·2022-06-28 19:00
閱讀 3168·2022-06-28 19:00
閱讀 2874·2022-06-28 19:00
閱讀 3038·2022-06-28 19:00
閱讀 2632·2022-06-28 19:00