ERD Design, Business Data Aggregation, Query Tuning,
Data Migration, Monitoring & Automation 등의
전문적인 업무를 수행하는 DBA 입니다.
쉼 없는 고민과 학습을 통해 가장 효율적인 데이터베이스 관리 방안을 찾고자 노력하고 있습니다.
아임웹은 노코드 이커머스 솔루션 개발사로, 개발자와 디자이너 없이도 웹사이트와 쇼핑몰을 제작할 수 있으며 커머스 기능을 통해 주문부터 배송까지 한번에 처리할 수 있는 프로세스를 보유한 기업입니다.
입사 후 현재까지 Infrastructure 조직에서 데이터베이스 관리, 자동화 프로세스 구현, 신규 쿼리 검수 및 기존 쿼리 튜닝 업무를 담당해왔습니다.
이외에도 신규 서비스 런칭을 위한 데이터베이스 설계는 물론, 안정적인 서비스를 제공에 필요한 데이터베이스 모니터링 업무도 수행하고 있습니다.
쉼 없는 고민과 학습의 결과를 당사 솔루션에 적용하며 가장 효율적인 데이터베이스 관리 방안을 찾고자 노력하고 있습니다.
1. AWS Lambda 서비스를 통한 DB 업무 자동화
(Lambda 서비스로 이관함에 따라 이슈 처리 및 배포 속도 60% 향상)
- 기존 Application Batch 서버를 통해 동작하는 자동화 업무 전환
. 파티션 테이블 자동화
. Aurora MySQL 성능 스키마 관리
. 데이터베이스 백업 자동화
. 테이블 용량 관리 자동화
. 테스트 환경 구성 자동화
. DB 사용자 계정 패스워드 만료일 관리
- 수행 내역 관리 및 알림 시스템 도입
- Lambda 수행 내용 모니터링 및 로깅
- KMS를 이용한 보안 강화
- IAM 정책 설정 (역할 권한 최소화)
2. ERD 작성 및 현행화
(Release Note 작성을 통한 히스토리 관리 가능)
- 테이블 전수 조사 및 테이블 관계 설정
- 테이블 변경에 따른 ERD 문서 최신화
3. 신규 엔지니어 DB 교육
(23년도 하반기부터 현재까지 매월 1회 교육 진행)
- DB 개발 가이드 작성, 데이터베이스 온보딩 프로그램 자료 작성 및 최신화
- 신규 엔지니어를 위한 데이터베이스 온보딩 프로그램 진행
- DB 구조 소개, DB 개발 가이드 소개, SQL 작성법 공유, ERD 소개
4. DB 모니터링 & 장애 대응
- 대용량 트래픽을 대응하기 위한 DB 리소스 모니터링
. 대용량 트래픽으로 인한 DB 지표 급증 시 내부 전파 및 DB 리소스 모니터링
. 상황에 따라 오토스케일 작업 수행
- 실시간 SQL 모니터링
- 비인가 접속 관리
- 이상행위 관리
- 장애 발생에 따른 원인 파악 및 조치
5. 신규 프로젝트 테이블 설계 및 SQL문 검수
- 기획에 필요한 테이블 설계 업무
. 비효율적인 테이블 구조 개선
. 변경된 구조에 맞는 코드 로직 가이드 안내
- SQL문 검수 업무
. 신규 서비스에서 사용되는 모든 쿼리 전수 검사
. 비효율적인 쿼리에 대한 쿼리 튜닝 작업 수행
. 전수 검사 결과를 토대로 인덱스 튜닝 작업 수행
6. 슬로우 쿼리 & 인덱스 튜닝
- DB 모니터링 과정에서 탐지된 슬로우 쿼리의 플랜 확인
- 확인된 플랜을 바탕으로 쿼리 튜닝 업무 수행
. 평균 기존 대비 70% 이상 성능 개선
. 엔지니어와의 일정 협의 과정에서 빠른 작업이 불가능한 경우 직접 코드를 수정하여 배포
(결정권자와의 논의를 통한 일부 R&R 협의)
- 쿼리 튜닝 과정에서 필요한 인덱스 추가를 위한 무중단 DB 작업 수행
. 비교적 트래픽이 적은 새벽 시간대를 활용하여 안정적인 인덱스 작업 수행
7. 데이터 대사 & 보정 작업
- 데이터 대사
. 발생주의 매출 집계를 위한 현금주의 PG 대사 작업 (매월)
- 데이터 보정
. 서비스 특성상 빠른 대응을 위해 서비스 운영 시간일지라도 데이터 보정 작업 수행
. 작업 과정에서 기존 서비스에 영향이 없도록 안전장치를 마련하여 작업 수행
(마이그레이션 과정에서 리소스 급증 또는 장애 발생 0건)
. 신규 프로젝트 작업에 필요한 기존 데이터 보정 작업
8. Aurora MySQL Major Version Upgrade (v2 -> v3)
(업그레이드 이후 DB 장애 0건)
- 신규 버전에서 기존 시스템에 영향을 줄 수 있는 요소 파악
(character set, parameter, ...)
- 업그레이드 작업 계획 수립
- 장애 대응을 위한 롤백 계획 수립
- 운영 쿼리 전수 조사(general log를 이용한 신규 버전 호환성 검토)
- DB 이상 유무 체크 및 모니터링
9. 2024 & 2025 ISMS 인증 사후 심사
- ISMS 사후 심사 준비 및 대응
. DB 관련 인터뷰 진행
. 월 1회 DB 점검 리포트 작성 및 제출
- ISMS 결함사항 조치 작업 수행
10. DB 과부하 방지를 위한 불법 악성 게시물 차단 시스템 구축
(시스템 구축 전/후 일별 등록 건수 약 90% 감소)
- 각 회원들이 개설한 사이트에 지속적으로 등록되는 불법 악성 게시물 차단을 위한 시스템 구축
- 소스 코드 직접 개발 및 배포
- 시스템 관련 DB 테이블 설계
- 오탐 방지를 위한 관리자 페이지 개발
. 오탐을 확인하여 이를 방지할 수 있도록 관리자 기능 제공
- 대용량 악성 게시물 삭제 작업
. 약 3,000만 건 이상의 악성 게시물 데이터를 서비스에 영향이 없도록 안정적인 삭제 작업 수행
- 악성 게시물 데이터 삽입 & 조회 등으로 인해 발생하는 DB 리소스 감소
. 리더 기준 CPU 사용량 약 15% 이상 감소
11. 비용 최적화 작업
- RI 수량 확인 및 구매
. 어카운트별, 인스턴스 패밀리별 RI 수량 확인 및 RI 현황 자료 작성
. RI 구매를 위한 기안서 작성 & 구매
- I/O Optimized 적용
. I/O Optimized 적용으로 매월 과하게 발생하는 I/O 요금 절감
. 스토리지 비용, 인스턴스 비용 증가에 대한 비교 분석 자료 작성
- Serverless v2 -> Provisioned 전환
. Provisioned 모드 전환으로 매월 과하게 발생하는 ACU 요금 절감
. Provisioned 모드 전환 + RI 구매를 통해 약 50% 이상의 요금 절감 효과 발생
[MariaDB]
1. 데이터베이스 최적화 및 안정화
(Query Cache 단점을 고려하여 모든 쿼리가 아닌 호출 빈도가 높은 쿼리를 우선적으로 적용)
- 기존 외주업체가 작성한 쿼리 분석 및 쿼리 튜닝작업 수행
- Query Cache 기능 도입
2. DB 설계
- 불필요 인덱스 제거
- 쿼리 전수 검사를 통해 효율적인 인덱스 설계 작업 수행
- 정규화를 통해 중복 데이터를 제거하고 데이터 무결성 유지
- 공통 코드 테이블 도입
- 신규 기능에 필요한 테이블 설계
3. DB 모니터링
- 리소스 모니터링을 통해 안정적인 서비스 운영
- Slow Query 모니터링 및 분석
[MongoDB]
1. 엔진 메모리 튜닝
(서버 안정성 99% 향상)
- WiredTiger 스토리지 엔진 내부 캐시 사이즈 설정
2. 압축 알고리즘 튜닝
(기존 대비 약 40% 저장용량 감소 / 기존 대비 약 6% 응답속도 감소)
- 데이터 압축 알고리즘 변경을 통해 저장공간 최소화 및 Big Block I/O 최소화
3. DB 설계 튜닝
(기존 대비 약 46% 응답속도 감소)
- 불필요 데이터 필드 삭제
- 데이터 모델링 (Embedded Document 패턴을 통해 데이터 관리성 향상)
- 활용도가 높은 데이터 필드 분석 및 인덱스 설계
2. 데이터 마이그레이션 작업
(기존 대비 작업 속도 약 55% 향상)
- 실시간 데이터 마이그레이션 작업을 위해 도커 컨테이너 기반의 마이그레이션 서버 개발 및 구축
- 관계형 데이터베이스 일부 데이터 MongoDB 마이그레이션
- MongoDB 대용량 데이터 마이그레이션
3. 데이터베이스 이중화 구성
[MariaDB]
- MariaDB Replication 구성
- 이중화 구성을 통해 쓰기 전용 서버 리소스 및 안정성 확보
[MongoDB]
- MongoDB Replica Set 구성
- PSS(Primary Secondary Secondary) 구조 구성
1. 리드코프 소비자금융시스템 통합 유지 보수 및 데이터 관리
- 사내 프로그램 개발 및 유지보수
- SQL문 작성 및 튜닝 작업(유관 부서 데이터요청)
- 배치 및 프로시저를 통한 자동화 작업
- 대용량 데이터 관리
2. 개인정보 파기 의무에 따른 고객 데이터 삭제 작업 진행
- 분기별 분리보관 데이터 삭제
- 대용량 데이터 삭제에 따른 Reorg
3. 차입처 담보 설정을 위한 가상계좌 이관 모듈 개발 프로젝트 진행
(기존 대비 업무 프로세스 1/3 감소)
- 차입처 변경 시, 배치 프로그램을 통한 가상계좌이관 모듈 개발
- 유관부서 작업 자동화
4. 2021년 신용점수제 제도 도입을 위한 개인신용평가시스템 개발 프로젝트 참여
4-1. 신청평점시스템(ASS : Application Scoring System)
- NICE신용평가사와의 연동을 통한 고객 신용점수 산출
4-2. 행동평점시스템(BSS : Behavior Scoring System)
- 프로시저를 통한 고객 데이터 추출 및 가공(대용량 데이터)
- 프로시저 관리 테이블 생성 및 활용으로 프로시저 결과값 모니터링
- 해당 프로세스를 통해 신용 등급이 아닌 신용 점수를 통해 신용 평가가 가능해졌으며, 기업의 기반이 되는 시스템 개편