Data Engineer6 2. Docker Compose를 활용한 서비스 통합 실행 Docker Compose를 사용하여 Airflow, PostgreSQL, Ollama, FastAPI를 통합 실행하는 방법을 다룹니다.Docker 개요컨테이너 기반 가상화Docker는 애플리케이션을 컨테이너라는 격리된 환경에서 실행하는 플랫폼입니다.Docker 사용 이유환경 일관성: 로컬/스테이징/프로덕션 환경의 완전한 동일성 보장의존성 격리: 호스트 환경을 오염시키지 않고 프로젝트별 격리재현 가능한 배포: Dockerfile과 docker-compose.yml로 전체 스택을 코드화핵심 용어1. 이미지 (Image) = 설계도FROM python:3.12-slim # Python 3.12 환경COPY my_app.py . # 내 코드 복사"Python 3.12가 깔려있고, 내 코드가 들어있.. 2025. 10. 9. 1. 채용공고 Q&A 시스템 아키텍처 채용 공고 데이터를 활용한 Q&A 시스템 구축 과정을 6편의 시리즈로 소개합니다.프로젝트 개요채용 공고를 자동으로 수집하고, Vector Database에 저장한 뒤, RAG 기반 LLM을 활용해 질문에 답하는 시스템입니다.주요 기능자동 데이터 수집: 사람인 채용 공고 스크래핑데이터 파이프라인: 수집 → 전처리 → 임베딩 자동화시맨틱 검색: Vector DB 기반 의미 검색RAG 질의응답: LLM 답변 생성기술 스택데이터 파이프라인Apache Airflow (오케스트레이션)PySpark (데이터 처리)BeautifulSoup (스크래핑)pytesseract (OCR)AI/MLOllama (gemma:2b)SentenceTransformer (ko-sroberta-multitask)ChromaDB인프라Do.. 2025. 10. 9. 이전 1 2 다음
