Airflow의 개념과 용어 - Dag, Task, Operator 등 - 을 이해하는 것이 본 포스팅의 목표입니다. 안녕하세요. 이번에는 짧게 Airflow 시리즈를 작성해보려고 합니다. 본 포스팅은 Airflow에 대한 가장 기본이 되는 개념을 다룹니다. Apache Airflow 는 배치 워크플로우를 개발과 스케줄링, 그리고 모니터링하기 위한 오픈 소스 플랫폼입니다. 데이터를 관리하기 위한 데이터의 플로우를 지정 할 수 있을 뿐 아니라, 특정 서비스를 호출하는 등 배치 작업을 수행할 수 있습니다 기본으로 지원되는 GUI 웹 인터페이스를 통해 Aitflow 사용성을 크게 향상시킵니다. Airflow는 넓은 범위, 그리고 다양한 크기의 배치를 지원하며, 다양한 배포 방식을 사용 할 수 있습니다. Wha..

본 포스팅은 Hexagonal Architecture의 등장 배경과 개념을 이해하는 것을 목표로 합니다. 본 편 이후, Hexagonal Architecture를 Spring을 통해 실제로 구성하는 내용을 다룰 예정입니다.   Architecture소프트웨어 개발은 복잡합니다.생각 없이 코드를 작성하다 보면 서로 얽히고설킨 구조가 만들어지기 쉽죠.하지만, 소프트웨어의 특성 상 비즈니스는 변경되기 쉽고, 코드 또한 변경되기 쉽습니다.  소프트웨어의 아키텍처를 아래의 순서에 따라 살펴 보도록 하겠습니다. - Layered Architecture- Clean Architecture- Hexagonal Architecture Layered Architecture은 Clean Architecture가 나오기까지의..

안녕하세요. 오늘은 목요일에 진행된 AWS Summit Seoul 을 참가하고 나서 참가했던 "12가지 디자인 패턴으로 알아보는 클라우드 네이티브 마이크로서비스 아키텍처"를 보고난 후 해당 정리하고자 합니다. 🔗 link 해당 세션은 이 전 세션이 끝나자 마자 갔음에도 불구하고 상당한 인파가 몰려서 뒷편에 서서 들었는데요. 발표 자료를 모두 찍었지만, 너무 뒷편이라 흐려서 해당 포스팅에 추가를 하지는 못했습니다. AWS Summit Seoul 자료가 6월 중에 공개된다고 하니, 그 때 다시 업데이트 하고자 합니다. 소개해주신 패턴 12가지는 아래의 구성 중 ✔️ 표시된 패턴들인데요. #1. API Management and Consumption Patterns #2. Migration Patterns #..

AWS Serverless 를 이해하고 Demo Thumbnail 자동 생성 기능을 위해 Lambda와 S3를 구성하는 것이 본 포스팅의 목표입니다. Serverless 서버가 없다는 것은 아니고 관리할 필요가 없다는 뜻입니다. 서버가 보이지 않거나 서버를 프로비저닝 하지 않습니다. 코드나 함수를 배치하면 됩니다. 원래 서버리스는 FaaS, 즉 Function as a Service를 뜻했지만, 지금의 서버리스는 더 많은 것을 의미합니다 Serverless가 처음 개발된 건 AWS Lambda에서였는데, 현재는 원격 관리되는 데이터베이스, 메시징, 스토리지 등 서버를 프로비저닝 하지 않는 모든 것들을 포함합니다. AWS의 Serverless 서비스에는 Lambda, DynamoDB Cognito, API..

VPC 학습을 위해 데모 VPC, 서브넷, 라우팅 테이블 인터넷 게이트웨이 등을 구성하는 것이 본 포스팅의 목표입니다.   안녕하세요. 지난 AWS VPC, 제대로 이해하기와 AWS VPC, 제대로 이해하기 1: Hands-O에 이어 VPC Demo 환경을 제작하고자 합니다.제작할 구조는 아래와 같습니다.    NAT Gateway를 사용해서 VPC-A의 Private Instance가 밖으로 향하는 Internet 연결을 할 수 있게 설정하고, 새로운 VPC인 VPC-B를 생성하여 VPC Peering을 통해 서로 연결됨을 증명합니다.   NAT Gateway: Network Address Translation, 네트워크 주소 변환 서비스 프라이빗 서브넷의 인스턴스가 VPC 외부의 서비스에 연결할 수 ..

VPC 학습을 위해 데모 VPC, 서브넷, 라우팅 테이블 인터넷 게이트웨이 등을 구성하는 것이 본 포스팅의 목표입니다. 안녕하세요. 지난 AWS VPC, 제대로 이해하기에 이어 VPC Demo 환경을 제작하고자 합니다. 제작할 구조는 아래와 같습니다. VPC, Subnet, Internet Gateway, Bastion의 네가지 개념을 학습하기 위함이며, 각 개념을 단계 별로, 총 4단계를 구성하여 위의 아키텍처를 제작해보겠습니다. 1. VPC 생성 먼저 VPC를 처음 사용한다면, 기본적으로 Default VPC 하나를 확인할 수 있습니다. 우측 상단의 Create VPC를 선택해서 VPC를 생성해보도록 하겠습니다. IPv4 CIDR는 10.0.0.0/16 으로 지정하겠습니다. 그렇다면 VPC-A는 어떤..