공통 [FireDAC Skill Sprints] 4. ArrayDML로 30배 빠르게 데이터 입력하기
2015.03.11 01:23
엠바카데로에서 FireDAC Skill Sprint 웨비나(1월 23일 ~ 3월 27일: 매주 금요일 10시)를 진행하고 있습니다.
이 글에서는 웨비나 다시보기와 함께 웨비나 일부 내용을 샘플코드와 함께 소개합니다. 하단 온라인 기술 도움말 링크를 통해 더 자세한 내용을 추가학습하시기 바랍니다.
4회차에는 Array DML에 대한 내용으로 진행합니다.
Array DML 이란?
Array DML은 실행에 필요한 매개변수(Parameters) 배열을 이용한 한번에 DBMS 명령을 실행하는 기능입니다. 이 방법은 DBMS와 애플리케이션 사이의 통신비용을 줄이고 DBMS 명령 요청을 줄입니다. 그 결과 실행 속도가 향상됩니다.
다음 그림에서 이 프로세스를 보여줍니다.
동영상을 보셨다면 아시겠지만 1만건의 데이터를 DBMS에 입력 시
트랜젝션으로 작업을 묶어주면 20배 빨라지고,
Array DML을 사용하면 다시 10배가 더 빨라진다고 설명합니다.
Array DML의 사용법 예시입니다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | with FDQuery1 do begin SQL.Text := 'insert into Customers (ID, RegionID, Name, Note) values (:ID, :RegionID, :Name, :Note)'; // Set up parameter types Params[0].DataType := ftInteger; Params[1].DataType := ftInteger; Params[2].DataType := ftString; Params[2].Size := 40; Params[3].DataSize := ftMemo; // Set up parameters' array size Params.ArraySize := 10000; // Set parameter values for i := 0 to 10000 - 1 do begin if i mod 100 = 0 then // force PK violation Params[0].AsIntegers[i] := i - 1 else Params[0].AsIntegers[i] := i; Params[1].AsIntegers[i] := GetRegionIdForCustomer(i); Params[2].AsStrings[i] := 'Somebody ' + IntToStr(i); Params[3].Clear(i); end; // Execute batch Execute(10000, 0);end; |
- 위 코드 10번째 줄에서 배열크기(Params.ArraySize)를 지정합니다.
- 13~20번 줄에서는 Params[0].AsStrings[i] 형태로 배열로 데이터를 입력합니다.(AsString 뒤에 s가 붙은 것을 유의하세요.)
- 데이터 입력 후 23번째 줄에 Execute 메소드로 실행요청을 합니다. 이때 배열의 크기를 인자로 넘겨줍니다.
Array DML 샘플 프로그램 소개
이 샘플에서는 만건의 데이터를 3가지 방식으로 입력하고 실행 시간을 출력합니다.
- 아무 튜닝없이 반복하며 입력 - 13,244 ms 소요
- 트랜젝션으로 작업을 묶어서 입력 - 1,062 ms 소요
- Array DML으로 데이터 일괄 입력 - 160 ms 소요
결과를 보면 Array DML의 결과가 매우 빠르다는 것을 볼수 있습니다.
또한 단순하게 트랜젝션 처리만 추가해도 10배 이상 속도가 개선된 결과도 인상적입니다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | var I: Integer; StopWatch: TStopwatch;begin FDConnection1.ExecSQL('DELETE FROM Test'); StopWatch := TStopWatch.StartNew; for I := 0 to NUM_INSERTS - 1 do begin FDQuery1.ParamByName('Field1').AsInteger := I; FDQUery1.ParamByName('Field2').AsString := 'Str' + I.ToString; FDQuery1.ExecSQL; end; StopWatch.Stop; Memo1.Lines.Add('Insert STD : ' + StopWatch.ElapsedMilliseconds.ToString + ' ms'); |
Insert STD(Transaction) - 위 작업에 트랜젝션만 추가
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | var I: Integer; StopWatch: TStopwatch;begin FDConnection1.ExecSQL('DELETE FROM Test'); StopWatch := TStopWatch.StartNew; // Transaction 추가 FDConnection1.StartTransaction; try for I := 0 to NUM_INSERTS - 1 do begin FDQuery1.ParamByName('Field1').AsInteger := I; FDQUery1.ParamByName('Field2').AsString := 'Str' + I.ToString; FDQuery1.ExecSQL; end; finally FDConnection1.Commit; end; StopWatch.Stop; Memo1.Lines.Add('Insert STD(Transaction) : ' + StopWatch.ElapsedMilliseconds.ToString + ' ms'); |
Insert Array DML - Array DML을 이용해 입력
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | var I: Integer; StopWatch: TStopwatch;begin FDConnection1.ExecSQL('DELETE FROM Test'); StopWatch := TStopWatch.StartNew; FDConnection1.StartTransaction; try FDQuery1.Params.ArraySize := NUM_INSERTS; for I := 0 to NUM_INSERTS - 1 do begin FDQuery1.ParamByName('Field1').AsIntegers[I] := I; FDQUery1.ParamByName('Field2').AsStrings[I] := 'Str' + I.ToString; end; FDQuery1.Execute(NUM_INSERTS); finally FDConnection1.Commit; end; StopWatch.Stop; Memo1.Lines.Add('Insert ArrayDML : ' + StopWatch.ElapsedMilliseconds.ToString + ' ms'); |
