教你在SQL Server數(shù)據(jù)庫(kù)中導(dǎo)入導(dǎo)出數(shù)據(jù)
在我們建立一個(gè)數(shù)據(jù)庫(kù)時(shí),并且想將分散在各處的不同類(lèi)型的數(shù)據(jù)庫(kù)分類(lèi)匯總在這個(gè)新建的數(shù)據(jù)庫(kù)中時(shí),尤其是在進(jìn)行數(shù)據(jù)檢驗(yàn)、凈化和轉(zhuǎn)換時(shí),將會(huì)面臨很大的挑戰(zhàn)。幸好SQL Server為我們提供了強(qiáng)大、豐富的數(shù)據(jù)導(dǎo)入導(dǎo)出功能,并且在導(dǎo)入導(dǎo)出的同時(shí)可以對(duì)數(shù)據(jù)進(jìn)行靈活的處理。
在SQL Server中主要有三種方式導(dǎo)入導(dǎo)出數(shù)據(jù):使用Transact-SQL對(duì)數(shù)據(jù)進(jìn)行處理;調(diào)用命令行工具BCP處理數(shù)據(jù);使用數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)對(duì)數(shù)據(jù)進(jìn)行處理。這三種方法各有其特點(diǎn),下面就它們的主要特點(diǎn)進(jìn)行比較。
一、使用方式的比較
1. 使用Transact-SQL進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出
我們很容易看出,Transact-SQL方法就是通過(guò)SQL語(yǔ)句方式將相同或不同類(lèi)型的數(shù)據(jù)庫(kù)中的數(shù)據(jù)互相導(dǎo)入導(dǎo)出或者匯集在一處的方法。如果是在不同的SQL Server數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出,那將是非常容易做到的。一般可使用SELECT INTO FROM和INSERT INTO。使用 SELECT INTO FROM時(shí)INTO后跟的表必須存在,也就是說(shuō)它的功能是在導(dǎo)數(shù)據(jù)之前先建立一個(gè)空表,然后再將源表中的數(shù)據(jù)導(dǎo)入到新建的空表中,這就相當(dāng)于表的復(fù)制(并不會(huì)復(fù)制表的索引等信息)。而INSERT INTO的功能是將源數(shù)據(jù)插入到已經(jīng)存在的表中,可以使用它進(jìn)行數(shù)據(jù)合并,如果要更新已經(jīng)存在的記錄,可以使用UPDATE。
SELECT * INTO table2 FROM table1;;;;;--table1和table2的表結(jié)構(gòu)相同INSERT INTO table2 SELECT * FROM table3 --table2和table3的表結(jié)構(gòu)相同
當(dāng)在異構(gòu)數(shù)據(jù)庫(kù)之間的進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出時(shí),情況會(huì)變得復(fù)雜得多。首先要解決的是如何打開(kāi)非SQL Server數(shù)據(jù)庫(kù)的問(wèn)題。
在SQL Server中提供了兩個(gè)函數(shù)可以根據(jù)各種類(lèi)型數(shù)據(jù)庫(kù)的OLE DB Provider打開(kāi)并操作這些數(shù)據(jù)庫(kù),這兩個(gè)函數(shù)是OPENDATASOURCE和OPENROWSET。它們的功能基本上相同,不同之處主要有兩點(diǎn)。
(1) 調(diào)用方式不同。
OPENDATASOURCE的參數(shù)有兩個(gè),分別是OLE DB Provider和連接字符串。使用OPENDATASOURCE只相當(dāng)于引用數(shù)據(jù)庫(kù)或者是服務(wù)(對(duì)于SQL Server、Oracle等數(shù)據(jù)庫(kù)來(lái)說(shuō))。要想引用其中的數(shù)據(jù)表或視圖,必須在OPENDATASOURCE(...)后進(jìn)行引用。
在SQL Server中通過(guò)OPENDATASOURCE查詢(xún)Access數(shù)據(jù)庫(kù)abc.mdb中的table1表
SELECT * FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Provider=Microsoft.Jet.OLEDB.4.0;Data Source=abc.mdb;Persist Security Info=False')...table1
OPENROWSET相當(dāng)于一個(gè)記錄集,可以將直接當(dāng)成一個(gè)表或視圖使用。
在SQL Server中通過(guò)OPENROWSETE查詢(xún)Access數(shù)據(jù)庫(kù)abc.mdb中的table1表
SELECT * FROM OPENROWSET('Microsoft.Jet.OLEDB.4.0', 'abc.mdb';'admin';'','SELECT * FROM table1')
(2) 靈活度不同。
OPENDATASOURCE只能打開(kāi)相應(yīng)數(shù)據(jù)庫(kù)中的表或視圖,如果需要過(guò)濾的話,只能在SQL Server中進(jìn)行處理。而OPENROWSET可以在打開(kāi)數(shù)據(jù)庫(kù)的同時(shí)對(duì)其進(jìn)行過(guò)濾,如上面的例子,在OPENROWSET中可以使用SELECT * FROM table1對(duì)abc.mdb中的數(shù)據(jù)表進(jìn)行查詢(xún),而OPENDATASOURCE只能引用table1,而無(wú)法查詢(xún)table1。因此,OPENROWSET比較OPENDATASOURCE更加靈活。
2. 使用命令行BCP導(dǎo)入導(dǎo)出數(shù)據(jù)
很多大型的系統(tǒng)不僅僅提供了友好的圖形用戶(hù)接口,同時(shí)也提供了命令行方式對(duì)系統(tǒng)進(jìn)行控制。在SQL Server中除了可以使用SQL語(yǔ)句對(duì)數(shù)據(jù)進(jìn)行操作外,還可以使用一個(gè)命令行工具BCP對(duì)數(shù)據(jù)進(jìn)行同樣的操作。BCP是基于DB-Library 客戶(hù)端庫(kù)的工具。它的功能十分強(qiáng)大,BCP能夠以并行方式將數(shù)據(jù)從多個(gè)客戶(hù)端大容量復(fù)制到單個(gè)表中,從而大大提高了裝載效率。但在執(zhí)行并行操作時(shí)要注意的是只有使用基于 ODBC 或 SQL OLE DB 的 API 的應(yīng)用程序才可以執(zhí)行將數(shù)據(jù)并行裝載到單個(gè)表中的操作。
BCP可以將SQL Server中的數(shù)據(jù)導(dǎo)出到任何OLE DB所支持的數(shù)據(jù)庫(kù)的,如下面的語(yǔ)句是將authors表導(dǎo)出到excel文件中。
bcp pubs.dbo.authors out c:temp1.xls -c -q -S'GNETDATA/GNETDATA' -U'sa' -P'password'
BCP不僅能夠通過(guò)命令行執(zhí)行,同時(shí)也可以通過(guò)SQL執(zhí)行,這需要一個(gè)系統(tǒng)存儲(chǔ)過(guò)程xp_cmdshell來(lái)實(shí)現(xiàn),如上面的命令可改寫(xiě)為如下形式。
EXEC master..xp_cmdshell 'bcp pubs.dbo.authors out c:temp1.xls -c -q -S'GNETDATA/GNETDATA' -U'sa' -P'password''
3. 使用數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)導(dǎo)入導(dǎo)出數(shù)據(jù)
DTS是SQL Server中導(dǎo)入導(dǎo)出數(shù)據(jù)的核心,它除有具有SQL和命令行工具BCP相應(yīng)的功能外,還可以靈活地通過(guò)VBScript、JScript等腳本語(yǔ)言對(duì)數(shù)據(jù)進(jìn)行檢驗(yàn)、凈化和轉(zhuǎn)換。
SQL Server為DTS提供了圖形用戶(hù)接口,用戶(hù)可以使用圖形界面導(dǎo)入導(dǎo)出數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的處理。同時(shí),DTS還以com組件的形式提供編程接口,也就是說(shuō)任何支持com組件的開(kāi)發(fā)工具都可以利用com組件使用DTS所提供的功能。DTS在SQL Server中可以保存為不同的形式,可以是包的形式,也可以保存成Visual Basic源程序文件,這樣只要在VB中編譯便可以使用DTS com組件了。
DTS和其它數(shù)據(jù)導(dǎo)入導(dǎo)出方式最大的不同就是它可以在處理數(shù)據(jù)的過(guò)程中對(duì)每一行數(shù)據(jù)進(jìn)行深度處理。以下是一段VBScript代碼,這段代碼在處DTS理每一條記錄時(shí)執(zhí)行,DTSDestination表示目標(biāo)記錄,DTSSource表示源記錄,在處理“婚姻狀況”時(shí),將源記錄中的“婚姻狀況”中的0或1轉(zhuǎn)換成目標(biāo)記錄中“已婚”或“未婚”。
Function Main()DTSDestination('姓名') = DTSSource('姓名')DTSDestination('年齡') = DTSSource('年齡')If DTSDestination('婚姻狀況') = 1 ThenDTSDestination('婚姻狀況') = '已婚'ElseDTSDestination('婚姻狀況') = '未婚'End IfMain = DTSTransformStat_OKEnd Function
上述的三種數(shù)據(jù)導(dǎo)入導(dǎo)出方法各有其利弊,它們之間的相互比較如圖1如示。
<>B二、性能的比較
使用Transact-SQL方式。如果是SQL Server數(shù)據(jù)庫(kù)之間的導(dǎo)入導(dǎo)出,速度將非常快,但是使用OPENDATASOURCE和OPENROWSET方法利用OLE DB Provider打開(kāi)并操作數(shù)據(jù)庫(kù)時(shí)速度會(huì)慢一些。
使用BCP命令方式。如果不需要對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證等操作的話,使用它還是非??斓模@是因?yàn)樗膬?nèi)部使用c接口的DB-library,所以在操作數(shù)據(jù)庫(kù)時(shí)速度有很大的提升。
使用DTS方式導(dǎo)數(shù)據(jù)應(yīng)該是最好的方式了。由于它整合了Microsoft Universal Data Access技術(shù)與Microsoft ActiveX技術(shù),因此不僅可以靈活地處理數(shù)據(jù),而且在數(shù)據(jù)導(dǎo)入導(dǎo)出的效率是非常高的。
總結(jié)
SQL Server提供了豐富的數(shù)據(jù)導(dǎo)入導(dǎo)出方法,這給我們提供了更多的選擇,但是這又會(huì)給我們帶來(lái)一個(gè)新問(wèn)題:如何根據(jù)具體情況選擇合適的數(shù)據(jù)導(dǎo)入導(dǎo)出方法呢?我在這里提供一些個(gè)人的建議,希望能對(duì)讀者起到一定的指導(dǎo)作用。
如果是在SQL Server數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出時(shí),并且不需要對(duì)數(shù)據(jù)進(jìn)行復(fù)雜的檢驗(yàn),最好使用Transact-SQL方法進(jìn)行處理,因?yàn)樵赟QL Server數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)操作時(shí),SQL是非??斓摹.?dāng)然,如果要進(jìn)行復(fù)雜的操作,如數(shù)據(jù)檢驗(yàn)、轉(zhuǎn)換等操作時(shí),最好還是使用DTS進(jìn)行處理,因?yàn)镈TS不光導(dǎo)數(shù)據(jù)效率高,而且能夠?qū)?shù)據(jù)進(jìn)行深度控制。但是DTS的編程接口是基于com的,并且這個(gè)接口十分復(fù)雜,因此,使用程序調(diào)用DTS將變也會(huì)變得很復(fù)雜,因此, 當(dāng)數(shù)據(jù)量不是很大,并且想將數(shù)據(jù)導(dǎo)入導(dǎo)出功能加入到程序中,而且沒(méi)有復(fù)雜的數(shù)據(jù)處理功能時(shí),可以使用OPENDATASOURCE或OPENROWSET進(jìn)行處理。
BCP命令并不太適合通過(guò)程序來(lái)調(diào)用,如果需要使用批量的方式導(dǎo)數(shù)據(jù),可以通過(guò)批處理文件調(diào)用BCP命令,這樣做即不需要編寫(xiě)大量的程序,也無(wú)需在企業(yè)管理器中通過(guò)各種操作界面的切換來(lái)進(jìn)行數(shù)據(jù)導(dǎo)入導(dǎo)出。因此,它比較適合在客戶(hù)端未安企業(yè)管理器或使用SQL Server Express時(shí)對(duì)數(shù)據(jù)進(jìn)行快速導(dǎo)入導(dǎo)出的場(chǎng)合。
