본 글에서는 Airflow Task 실행 시 virtualenv python 을 사용해 각 Task 마다 독립된 환경을 구성하는 방법에 대해 다룹니다. 사용 목적: Airflow python 에 설치된 package와 분리를 위함입니다.가령, Airflow Python 패키지인 apache-airflow 2.7.0 에서는 현재 pydantic==1.10.12 의존성을 가집니다.🔗 apache-airflow constraints 이 때, 사용자는 pydantic==2.6.0 버전의 기능을 사용하고 싶을 수 있죠.하지만, 버전을 높이는 것은 Airflow 의존 버전과 충돌해서 불가능합니다.  ✔️ 해결법: 분리된 환경의 Python 사용위 문제를 해소하기 위해서각 task 실행 시 분리된 환경을 만들고자 ..

본 포스팅에서는 Kubernetes의 Static Pod의 개념을 이해하고 생성, 수정 및 삭제할 수 있도록 학습하는 목표를 가집니다.  🔗  Kubernetes Series모든 Kubernetes 시리즈를 확인하시려면 위를 참고해 주세요.     쿠버네티스의 Static Pod에 대해서 알아보도록 하겠습니다.   Static Pods일반적인 Pod는 주로 Deployment, StatefulSet, DaemonSet 등의 컨트롤러를 통해 생성되고 관리됩니다.또, 생성된 리소스는 Kubernetes API 서버를 통해 정의되고 관리됩니다. 정적 Pod(이하 Static Pod)는 API 서버의 관여없이 특정 노드에서 kubelet 데몬에 의해 직접 관리됩니다.컨트롤 플레인에 의해 관리되는 일반 Pod와..

안녕하세요.이번 포스팅에서는 컨테이너 네트워킹에 대해 다뤄보겠습니다.  컨테이너는 물리 기기나 개념을 가상화하여 분리된 네트워킹 시스템을 만들어왔습니다.물리적인 개념과 가상화된 내용을 비교하면서 Container Networking을 알아보도록 하겠습니다.네트워크 스위칭과 라우팅, DNS, 네트워크 네임스페이스, 그리고 CNI까지 자세히 살펴보겠습니다.   Switch네트워크 스위치는 동일한 네트워크 내에서 여러 장치를 연결하고, 각 장치 간의 데이터 전송을 효율적으로 관리하는 장치입니다.  스위치는 각 장치의 MAC 주소를 기반으로 데이터를 적절한 포트로 전달하여 네트워크 효율성을 높입니다. 네트워크 브리지는 여러 컴퓨터나 장치를 서로 연결해주는 장치로,같은 네트워크 안의 여러 장치를 연결하여 데이터가..

본 포스팅에서는 Kubernetes의 저장소를 구성하는 방법인 PV & PVC 의 개념을 이해하고 적용할 수 있도록 하는 목표를 가집니다. 🔗  Kubernetes Series모든 Kubernetes 시리즈를 확인하시려면 위를 참고해 주세요.    쿠버네티스의 저장소에 대해서 알아보도록 하겠습니다.   VolumesPod는 내부에서 컨테이너 들이 실행되며, 서로 CPU, RAM, Network Interface 등 리소스를 공유합니다.그렇다면, 파일 시스템도 동일할까요? 다른 리소스와 다르게, Pod 내부의 각 컨테이너는 각각의 분리된 파일 시스템을 가집니다.컨테이너 마다의 파일 시스템은 컨테이너 이미지에서 제공하기 때문입니다. Docker Volume과 동일하게, 쿠버네티스의 컨테이너 내 디스크에 있..

Docker Deep Dive 시리즈를 이곳에서 확인할 수 있습니다.  📌  Docker SeriesDocker Engine, 제대로 이해하기 (1) -  docker engine deep diveDocker Engine, 제대로 이해하기 (2) - namespace, cgroupDocker Network, 제대로 이해하기 (1) - libnetworkDocker Network, 제대로 이해하기 (2) - bridge, host, none driversDocker, 제대로 사용하기 - CommandsDocker Volume, 어렵지 않게 이해하기

Storage in DockerDocker가 로컬 파일 시스템에 데이터를 저장하는 방식에 대해 알아보겠습니다.  Docker의 파일 시스템 구조도커를 처음 설치하면 /var/lib/docker 폴더가 생성되며, 다양한 하위 폴더들이 포함됩니다. /var/lib/docker├─ aufs├─ containers├─ image└─ volumes 이 폴더들 하위에는 Docker 호스트에서 실행되는 이미지나 컨테이너와 관련된 데이터들이 저장됩니다.     Docker Layered architectureDocker는 이미지를 구축할 때 레이어드 아키텍처를 사용합니다. Dockerfile를 빌드할 때 각 지시문마다의 레이어를 생성합니다.     한 번 빌드된 레이어는 수정할 수 없으며, 새로운 빌드를 통해 재정의해..