Import dữ liệu lớn từ excel vào sql server nhanh nhất.

Nhờ các anh, chị chỉ giúp có cách nào đưa dữ liệu từ excel vào sql server bằng VBA nhanh nhất đối với nguồn dữ liệu trên 10k dòng mà không bị treo file excel không ah, Em áp dụng câu lệnh insert into nó chậm và treo máy khi dữ liệu lớn.

Bên SQL Server, lập cái SP nó import từ Excel. Chứ ai lại đi ngược vậy.
SQL Server, dùng SP thì khá an toàn. Đi từ VBA qua thì câu kết nối phải cởi cái lớp an toàn của SQL Server. Đang không tự giao chìa khoá nhà cho người ngoài.

Từ Excel vào nơi khác thì gọi là Export chứ đâu phải Import.

Rồi insert vào kiểu gì bạn thử demo cho mình dc không?

Cách của ban có lẽ là tạo 1 chuỗi dữ liệu theo cấu trúc bảng rồi thực thi câu lệnh insert,cách này mình đã làm dữ liệu lớn nó chạy miệt mài bạn oi.

Mình tạo sẵn bảng trên sql và nguoi dùng họ nhấn nút để đẩy dữ liệu lên đó thì có gì sai bạn.

C1: Bạn đã thử dùng ADODB Recordset chưa?
– Kết nối SQL Server, mở ADO Recordset từ Table đích.
– Đưa dữ liệu Excel vào Array rồi AddNew vào ADO Recordset -> UpdateBatch.
Cách này chắc chắn nhanh hơn Insert into.
C2: Chuyển dữ liệu Excel thành CSV rồi Bulk Insert vào SQL SV. Cái này viết SP.

Kiểu này nè bạn:

data = rng.Resize(lastRow, lastCol).Value
                For j = 1 To lastCol
                    If j = 1 Then
                        sColName = data(1, j)
                    Else
                        sColName = sColName & "," & data(1, j)
                    End If
                Next j
                For i = 2 To lastRow
                    For j = 1 To lastCol
                        If i = 2 Then
                            str = data(i, j)
                        Else
                            str = "'" & data(i, j) & "'"
                        End If
                        If j = 1 And i = 2 Then
                            aInsert = "(" & str
                        ElseIf j = 1 Then
                            aInsert = aInsert & ",(" & str
                        Else
                            aInsert = aInsert & "," & str
                        End If
                    Next j
                    aInsert = aInsert & ")"
                Next i
                strSQL = "INSERT INTO " & "[" & sDBName & "].[dbo].[" & sTbName & "] (" & sColName & ") VALUES " & aInsert
                cnn.Execute (strSQL)

SQL Server phải cho phép VBA kết nối.
Chính cái kết nối ấy mở đường cho acttack.
Kiến thức về an toàn CSDL của người viết VBA là con số không tổ bố. Hầu hết các chuỗi kết nối chứa tên user và password.

Khi làm việc trên SQL Server Management Studio (SSMS) thì chủ server cho phép máy con được kết nối với một số diều kiện. Người chạy SSMS phải có một số kiến thức về an toàn. Admin của Server có thể giới hạn rằng người dùng chỉ có quyền đọc, ghi thì phải dùng SP (stored procedure)

Cách an toàn duy nhất cho VBA là đặt Schedule Task, đưa tham số tên file, tên bảng vào SP. Scheduled Task sẽ tự chạy SP. Vì SP chịu kiểm soát của Server cho nên khá an toàn.

Ok nhưng dữ liệu lớn chạy chậm lắm bạn. Ban có cách nào nhanh hơn chỉ mình với.

Mình thấy bài 9 của anh @ongke0711 có gợi ý 2 cách đó mà chưa thấy bạn phản hồi.
Rồi các nguy cơ liên quan đến máy chủ mà chú @VetMini nói tớ nữa đó bạn.
Mình không có phòng thí nghiệm để thử nên chỉ có cách củ chuối đó thôi bạn.

Đang rảnh làm cái test transfer data các kiểu xem như thế nào nhé.
– Dữ liệu: 30k dòng x 15 cột
– Mới test 2 cách đã đề cập: dùng SP để bulk insert cực kỳ nhanh nhưng đổi lại là user phải có quyền Admin mới xài được lệnh này.
– Dùng Bulk insert thì sẽ có những đánh đổi để được tốc độ như nó không kiểm tra các khóa, các ràng buộc dữ liệu (constraint) mà chỉ nạp một đống dữ liệu vào. Nếu ngoài việc chuyển dữ liệu lớn vào SQL SV thì không nên dùng cách này.

(Lưu ý: là chỉ đang test trên cùng 1 máy cài SQL SV, không tính tới yếu tố băng thông khi đưa lên máy chủ, qua mạng LAN, WAN)

2588

Nhìn hấp dẫn quá,chia sẻ cho em học để áp dụng với anh }}}}}

C1 mình đã làm nhưng vần không nhanh hơn được.
C2 thì mình không biết, bạn có thể hướng dẫn mình được không ?

Code bạn làm như thế nào? Xem thử nguyên nhân nó ra sao.

'Sub NL_TH_KHTT()
' 'FORM_LOG.Show
' Call connect_data.connect_sql
' Dim rs, rs1 As Object
' Dim delete_query, select_query As String
' delete_query = "truncate table .."
' Set rs = cn.Execute(delete_query)
' select_query = "Select * from .. "
' Set rs1 = CreateObject("adodb.RecordSet")
' rs1.Open select_query, cn, 1, 3
' Dim xlRow, last_row As Long
' Dim xlCol As Integer
' last_row = ThisWorkbook.Worksheets("NL_TH_KHTT").Cells(Rows.Count, 1).End(xlUp).Row
' For xlRow = 2 To last_row
' rs1.AddNew
' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow
'rs1.updateBatch
' cn.Close
' Set cn = Nothing
' Set rs1 = Nothing
' Set rs = Nothing
' End Sub

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

' Dim rs, rs1 As Object

' For xlCol = 1 To 20
' rs1.Fields(Cells(1, xlCol).Value) = Cells(xlRow, xlCol).Value
' Next xlCol
'Next xlRow

Bạn xem thử vì sao nó chậm lắm luôn á, còn chậm hơn cả cách insert into ngoài vòng for .. next

– Dính lỗi khai báo biến gộp. Có bài nói rồi.
– Mỗi lần lấy dữ liệu là mỗi lần tương tác với Sheet.
– Các Action query (Delete, Insert, update) thì chỉ cần thực thi, không cần phải qua đối tượng Recordset. Dùng thẳng đối tượng ADO Connection hoặc ADO Command.
– Code VBA còn lủng củng thì sẽ khó hơn khi tương tác với stored procedure của SQL Server.
Thông thường khi nhập liệu lên table của SQL Server người ta thường truyền tham số cho stored procedure của SQL Sv để chạy trên máy chủ chứ không chạy bằng câu lệnh SQL ở phía khách như anh Vetmini đã đề cập ở trên. (Tránh bị SQL injection).

www.giaiphapexcel.com/diendan/threads/import-d%E1%BB%AF-li%E1%BB%87u-l%E1%BB%9Bn-t%E1%BB%AB-excel-v%C3%A0o-sql-server-nhanh-nh%E1%BA%A5t.160164/

Khóa học SprinGO phù hợp

Khóa học Power PI – Ứng dung trong Nhân sự

TỔNG QUAN KHÓA HỌC: POWER BI CHO NGÀNH NHÂN SỰ Khóa học Power BI cho Nhân sự được thiết kế dành riêng cho các...

Xem khóa học