Tag: data-engineering

All the articles with the tag "data-engineering".

• 테스트 데이터 생성과 PII 마스킹 전략

  2026-08-09

  운영 데이터를 그대로 복사하지 않고, 참조 무결성과 포맷을 지키면서 안전한 비운영 데이터셋 만들기

• MySQL 쿼리를 Redshift로 옮길 때 걸리는 것들

  2026-06-20

  MySQL에 익숙한 사람이 Redshift(PostgreSQL 계열)로 넘어갈 때 자주 막히는 지점 정리

• CSV를 Parquet으로 한 방에 (duckdb)

  2026-05-25

  duckdb 한 줄로 CSV를 Parquet으로 변환하는 작은 셸 스크립트

• airflow.cfg에서 나중에 다시 보게 되는 옵션들

  2026-05-11

  Airflow를 설치형으로 쓰면 결국 airflow.cfg 를 다시 열어보게 된다. 처음 설치할 때는 기본값으로도 잘 떠서 넘어가게 되는데, API를 호출하거나 task를 병렬로 돌리거나 metadata…