DB에 대량 데이터 넣기 (Mysql, Faker)

테스트를 하기 위해 DB에 100만건의 데이터를 넣어보자. 파이썬의 Faker 라이브러리를 이용해 100만건의 데이터가 담긴 csv파일을 만들고, 이를 Mysql에서 로드하는 식으로 진행할 것이다.

Faker를 사용해 csv 만들기

먼저 pip install Faker 로 라이브러리를 설치한다.

이후 아래 코드를 실행하면 csv 파일이 만들어진다.

from faker import Faker
import csv

fake = Faker('ko-KR')
with open('users.csv', 'w', newline='') as f: # 파일 이름 설정
    writer = csv.writer(f)
    for _ in range(1000000): # 데이터 용량 조절
        writer.writerow([fake.name(), fake.job(), fake.address()]) # 넣고싶은 컬럼

참고로 'ko-KR'부분을 바꾸면 다른 언어로 된 데이터를 만들 수도 있다. 더 다양한 함수는 Faker docs에서 확인할 수 있다.

CSV 파일에서 데이터 로드하기

아래와 같이 테이블을 만들고 데이터를 로드하면 된다. 100만건의 데이터를 넣는데 약 0.3초밖에 안걸렸다.

-- 테이블 생성
create table dummy_user
(
    id bigint auto_increment primary key,
    name varchar(100) not null,
    job varchar(100) not null,
    address varchar(100) not null
);

-- 데이터 로드
LOAD DATA INFILE '/var/lib/mysql-files/dummy_user.csv' -- 파일경로 설정
INTO TABLE dummy_user
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(name, job, address);

그런데

[HY000][1290] The MySQL server is running with the --secure-file-priv option so it cannot execute this statement

와 같은 오류가 발생할 수도 있다. 이 오류는 지정된 폴더에서만 로드할 수 있는데 다른 폴더에서 로드를 시도했기 때문이다. 지정된 폴더는 아래 명령어로 확인할 수 있다. 해당 폴더로 파일을 옮긴 뒤 시도하면 된다.

show variables like 'secure_file_priv';

 

로컬 파일을 도커로 옮기기

나의 경우 도커를 이용해 mysql을 깔았기 때문에 로컬에서 도커 컨테이너 내부로 파일을 옮겨야 했다. 방법은 간단하다.

docker ps 명령어를 통해 현재 mysql이 실행되고 있는 컨테이너의 이름을 확인한다.

이후 복사 명령어를 실행한다.

docker cp [옮길 파일 위치] [컨테이너 이름]:[옮길 위치 및 파일명]

docker cp ~/Downloads/dummy_user.csv mysql-container:/var/lib/mysql-files/dummy_user.csv

원하던 위치에 파일이 잘 복사된 것을 확인할 수 있다.

docker exec -it [컨테이너명] ls 폴더위치

docker exec -it mysql_test ls var/lib/mysql-files