본 글에서는 Airflow Task 실행 시 virtualenv python 을 사용해 각 Task 마다 독립된 환경을 구성하는 방법에 대해 다룹니다. 사용 목적: Airflow python 에 설치된 package와 분리를 위함입니다.가령, Airflow Python 패키지인 apache-airflow 2.7.0 에서는 현재 pydantic==1.10.12 의존성을 가집니다.🔗 apache-airflow constraints 이 때, 사용자는 pydantic==2.6.0 버전의 기능을 사용하고 싶을 수 있죠.하지만, 버전을 높이는 것은 Airflow 의존 버전과 충돌해서 불가능합니다.  ✔️ 해결법: 분리된 환경의 Python 사용위 문제를 해소하기 위해서각 task 실행 시 분리된 환경을 만들고자 ..

본 포스팅에서는 Kubernetes의 Static Pod의 개념을 이해하고 생성, 수정 및 삭제할 수 있도록 학습하는 목표를 가집니다.  🔗  Kubernetes Series모든 Kubernetes 시리즈를 확인하시려면 위를 참고해 주세요.     쿠버네티스의 Static Pod에 대해서 알아보도록 하겠습니다.   Static Pods일반적인 Pod는 주로 Deployment, StatefulSet, DaemonSet 등의 컨트롤러를 통해 생성되고 관리됩니다.또, 생성된 리소스는 Kubernetes API 서버를 통해 정의되고 관리됩니다. 정적 Pod(이하 Static Pod)는 API 서버의 관여없이 특정 노드에서 kubelet 데몬에 의해 직접 관리됩니다.컨트롤 플레인에 의해 관리되는 일반 Pod와..

2024년 상반기 돌아보기1/ 일상 – 1%의 하루2/ 개발 – 첫 서비스3/ 영어 – 호주 여행⎸2024년 하반기 목표# 성과 가시화 하기# 스스로에 대한 투자하기# 꾸준히 기록하기# 나를 생각할 시간 확보하기   2024년 상반기 돌아보기새 직장을 다니기 시작한 만큼 새로운 마음으로 한 해를 시작했다.내가 향하는 방향이 맞는지 계속해서 의심하고,내가 정말 하고 싶고 이루고 싶은 것이 무엇인지 질문해오며,꾸준한 노력들을 이뤄갔다. 6개월을 보내는 동안 긴 시간처럼 느껴졌다.막상 회고를 적을 시간이 다가오니,그저 짧은 6개월이었다는 것을 막연히 느낄 뿐이다. 2024년에 이루고자 했던 것들을 생각해보면이직한 회사에서의 적응, 경제 관념 키우기, 운동, 독서, 그리고 영어 공부 등이 있었다.본 회고에서는 ..

안녕하세요.이번 포스팅에서는 컨테이너 네트워킹에 대해 다뤄보겠습니다.  컨테이너는 물리 기기나 개념을 가상화하여 분리된 네트워킹 시스템을 만들어왔습니다.물리적인 개념과 가상화된 내용을 비교하면서 Container Networking을 알아보도록 하겠습니다.네트워크 스위칭과 라우팅, DNS, 네트워크 네임스페이스, 그리고 CNI까지 자세히 살펴보겠습니다.   Switch네트워크 스위치는 동일한 네트워크 내에서 여러 장치를 연결하고, 각 장치 간의 데이터 전송을 효율적으로 관리하는 장치입니다.  스위치는 각 장치의 MAC 주소를 기반으로 데이터를 적절한 포트로 전달하여 네트워크 효율성을 높입니다. 네트워크 브리지는 여러 컴퓨터나 장치를 서로 연결해주는 장치로,같은 네트워크 안의 여러 장치를 연결하여 데이터가..

본 포스팅에서는 Kubernetes의 저장소를 구성하는 방법인 PV & PVC 의 개념을 이해하고 적용할 수 있도록 하는 목표를 가집니다. 🔗  Kubernetes Series모든 Kubernetes 시리즈를 확인하시려면 위를 참고해 주세요.    쿠버네티스의 저장소에 대해서 알아보도록 하겠습니다.   VolumesPod는 내부에서 컨테이너 들이 실행되며, 서로 CPU, RAM, Network Interface 등 리소스를 공유합니다.그렇다면, 파일 시스템도 동일할까요? 다른 리소스와 다르게, Pod 내부의 각 컨테이너는 각각의 분리된 파일 시스템을 가집니다.컨테이너 마다의 파일 시스템은 컨테이너 이미지에서 제공하기 때문입니다. Docker Volume과 동일하게, 쿠버네티스의 컨테이너 내 디스크에 있..

Docker Deep Dive 시리즈를 이곳에서 확인할 수 있습니다.  📌  Docker SeriesDocker Engine, 제대로 이해하기 (1) -  docker engine deep diveDocker Engine, 제대로 이해하기 (2) - namespace, cgroupDocker Network, 제대로 이해하기 (1) - libnetworkDocker Network, 제대로 이해하기 (2) - bridge, host, none driversDocker, 제대로 사용하기 - CommandsDocker Volume, 어렵지 않게 이해하기