문제 상황 실시간 코인 데이터 스트리밍 파이프라인을 EC2 + Docker 환경에서 구성하면서, Kafka 컨테이너 로그에서 아래와 같은 에러가 반복적으로 발생했다: org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 1195725856 larger than...

Docker의 필요성 처음에는 Django로 웹 서비스를 개발하면서 EC2에 직접 올려두고 테스트하는 식으로 작업을 진행하고 있었다. Python 가상환경(venv)에서 runserver로 개발 서버를 띄우고, PostgreSQL도 EC2 내부에 직접 설치해 사용하고 있었다. 하지만 ETL 파이프라인을 다시 구성하게 되면서 상황이 달라졌다. 웹에서...

며칠 전까지 정상적으로 작동하던 Selenium 기반의 크롤러가 갑자기 NoSuchDriverException과 함께 실행되지 않기 시작했다. selenium.common.exceptions.NoSuchDriverException: Message: Unable to obtain driver for chrome 다음 명령어로 버전을 확인해보니, ...

데이터를 크롤링했을때, 사이트에 들어가 보니 ‘더보기’ 버튼이 있어서, 당연히 Selenium으로 버튼을 누르며 데이터를 수집해야겠다고 판단했다. 그러나 예상처럼 동작하지도 않았다. 🔍 DevTools로 네트워크 요청 확인하기 크롬의 개발자도구 (DevTools) 를 열고 Network 탭으로 이동했다. 필터 중 XHR 또는 Fetch ...

데이터 파이프라인 구성 중, from etl.load_to_postgres import foo 같은 코드를 작성했는데 아래와 같은 오류가 발생했다: ModuleNotFoundError: No module named 'etl' 처음에는 etl 폴더가 분명히 있는데 왜 못 찾지? 싶었는데, 알고 보니 Python의 모듈 탐색 경로 문제였다. 이 글에...

개인 프로젝트를 진행하면서, S3에 저장된 CSV 데이터를 수집 및 정제한 후, PostgreSQL에 적재하는 파이프라인을 구축했다. 이 과정에서 AWS EC2 환경에 PostgreSQL을 설치하고 Remote 개발 환경을 구성했는데, 예상치 못한 Peer 인증 오류(Peer Authentication Failed)로 인해 데이터베이스 접속에 어려움을...

개인 프로젝트로 데이터 수집/적재 파이프라인을 구성하던 중, AWS EC2 프리티어 인스턴스를 사용하면서 두 가지 큰 문제를 겪었다. 디스크 용량이 부족해서 .vscode-server가 제대로 설치되지 않거나 Remote 연결이 불안정함 메모리가 부족해서 작업 중에 EC2가 먹통이 되는 현상 특히 메모리 부족은 VS Code Remote...

목적 서울시 주차장/상권 데이터를 30분마다 자동으로 수집해 Elasticsearch에 업로드하기 위한 파이프라인을 만들고자 했다. 수집 작업은 두 개의 Python 스크립트(upload_parking_data.py, upload_commercial_data.py)로 이루어져 있으며, 이를 주기적으로 실행하려면 자동화가 필요했다. 가장 간단한 자동화 ...

실습 : ELK 스택을 활용한 실시간 주차장 및 상권 데이터 분석 데이터셋 설명 서울시에서 제공하는 실시간 공공데이터 API를 이용해, ELK 스택을 활용해 데이터 분석 및 시각화를 해보려고 한다. 상권 정보: 서울시의 실시간 상권별 유동인구, 소비 현황 등을 포함한 실시간 도시데이터 API 주차장 정보: 서울시가 운영하는 시영주차장의 실...

Wikipedia 크롤링, 왜 requests는 안 되고 Selenium은 될까? Wikipedia에서 공항 IATA 코드 표 데이터를 크롤링하려 했다. 처음에는 당연히 requests와 BeautifulSoup을 이용해 간단히 HTML에서 표를 추출하면 될 것이라고 생각했다. 실제로 페이지를 열어보면 정적 테이블 구조가 눈에 띄기 때문이다. 하지만 ...