(데이터)초사이언티스트의 기록

Amazon Athena를 사용하는 데이터 분석가나 엔지니어라면, SQL 쿼리를 실행할 때 데이터 타입 불일치로 인한 문제에 직면할 수 있습니다. 특히 timestamp 데이터 타입을 다룰 때 이러한 문제가 자주 발생합니다. 이 포스트에서는 Athena에서 timestamp 데이터 타입을 올바르게 쿼리하는 방법을 소개하고자 합니다. 문제 상황 기존 SQL 경험을 바탕으로, 다음과 같이 timestamp_column 필드를 기준으로 특정 날짜 이후의 데이터를 선택하는 쿼리를 실행할 수 있습니다. select * from table_name where timestamp_column >= '2024-03-02'; 하지만, Amazon Athena에서 위 쿼리를 실행하면 다음과 같은 에러 메시지가 나타납니다. ..

DBeaver는 데이터베이스 관리와 SQL 작업을 위한 강력한 멀티 플랫폼 데이터베이스 도구입니다. 하지만 때로는 DBeaver에서 드라이버를 자동으로 다운로드하는 데 문제가 발생할 수 있습니다. 특히 Mac 사용자의 경우, 이 문제로 인해 데이터베이스에 연결하는 데 어려움을 겪을 수 있습니다. 오늘은 이러한 문제를 해결하는 방법에 대해 알아보겠습니다. 문제 상황 DBeaver에서 특정 데이터베이스 드라이버를 자동으로 다운로드하려고 할 때, 아무런 반응이 없거나 실패하는 경우가 있습니다. 이는 Maven 인덱스 사이트 URL이 DBeaver에 올바르게 설정되지 않았을 때 발생할 수 있습니다. 해결 방법 이 문제를 해결하기 위해, Maven 인덱스 사이트 URL을 DBeaver 설정에 추가해야 합니다. 다..

Apache Superset은 데이터 시각화와 데이터 탐색을 위한 인기 있는 오픈 소스 플랫폼입니다. 이 플랫폼은 사용자 친화적인 대시보드와 강력한 데이터 분석 기능으로 많은 기업과 데이터 분석가에게 사랑받고 있습니다. 하지만, 때때로 Superset을 사용하다 보면 예상치 못한 문제에 부딪히기도 합니다. 그 중 하나가 '사용자 등록 후 삭제 시도 시 "Associated data exists, please delete them first"라는 메시지가 나타나 삭제가 되지 않는 현상'입니다. 이 블로그 포스트에서는 이 문제를 해결하는 방법을 소개하겠습니다. 문제 상황 Superset에서 사용자를 삭제하려고 할 때, "Associated data exists, please delete them first"..

Amazon RDS(Database Service)는 클라우드 기반의 완전 관리형 관계형 데이터베이스 서비스로, 데이터베이스 운영을 간소화하고 안정성을 제공합니다. 이 서비스를 사용하다가 데이터베이스를 복원해야 할 때를 대비하여 데이터베이스를 복원하는 방법을 알아보겠습니다. 선행조건 스냅샷 설정하기: RDS 콘솔에서 대상 데이터베이스 인스턴스를 선택한 후 "스냅샷 백업" 섹션으로 이동합니다. 여기에서 스냅샷을 생성하는 주기를 설정할 수 있습니다. 보통은 일일 백업을 권장하며, 필요에 따라 주간 또는 월간 백업도 설정할 수 있습니다. 보존 기간 설정: 각 스냅샷에 대해 보존 기간을 설정할 수 있습니다. 이는 스냅샷이 보관되는 기간을 결정합니다. 보존 기간이 끝나면 자동으로 삭제됩니다. 암호화 옵션 활성화:..

최근에 RDS(Database Service)를 관리하는 중에 겪은 문제 중 하나는 "Enable Auto Minor Upgrade"를 활성화했을 때 Glue Job이 정상적으로 실행되지 않는 상황이었습니다. 이 문제를 해결하기 위해 시도한 접근 방법과 해결책에 대해 공유드리겠습니다. 문제 발생 상황: RDS에서 Enable Auto Minor Upgrade를 활성화하면 RDS 엔진 버전 업데이트가 자동으로 이루어집니다. 그러나 이 기능을 활성화한 후 Glue Job이 평소대로 동작하지 않았습니다. Glue Job은 RDS의 데이터를 추출하여 가공하고 다른 시스템에 전달하는 역할을 합니다. 그러나 엔진 업데이트 후 Glue Job이 예상대로 동작하지 않으면 데이터 처리 및 전달 과정에 문제가 발생할 수 ..