Tag: data-engineering

All the articles with the tag "data-engineering".

• AWS DMS 테스트하면서 실제로 막혔던 지점들

  2026-05-11

  AWS DMS를 테스트하면서 생각보다 여러 지점에서 막혔다. 처음에는 source와 target endpoint를 만들고, replication instance를 하나 띄운 다음, migration task만 잘…

• RDS start export task

  2024-09-24

  스냅샷 생성 aws rds create db cluster snapshot \ db cluster snapshot identifier dev cluster snapshot 2024 09 24 \ db cluster…

• Airflow Tutorial

  2024-09-23

  이미 안 쓰이는 곳이 없을 정도로 유명한 Apache top level 오픈소스이기 때문에 설명은 생략해도 될 것 같다. 이전 회사에서 cron을 airflow로 변경했던 적이 있었는데 시간이 꽤나 지나서 기억이…

• DuckDB

  2024-08-14

  요즘 핫하다는 나만 모르던 DuckDB를 사용해 봤다. tip DuckDB는 SQLite의 직관성 및 접근성과 전문 열 데이터베이스의 고성능 기능을 조화롭게 결합한 데이터베이스입니다 Install shell…