분류 전체보기(256)
-
Apache Airflow, 어렵지 않게 시작하기
Airflow의 간단한 Demo를 제작하며 Airflow에 익숙해지는 것이 본 포스팅의 목표입니다. 안녕하세요. 이번에는 짧게 Airflow 시리즈를 작성해보려고 합니다. 본 포스팅은 Airflow에 대한 가장 기본이 되는 개념을 다룹니다. pip3 + venv venv 를 통해 가상 환경을 만들어 격리된 환경에서의 세팅을 설정해보겠습니다. Python은 프로젝트 별로 독립된 개발 환경을 구성하도록 가상 환경 (virtual environment) 기능을 제공합니다. 이를 통해 프로젝트 간 의존성 충돌 문제를 효과적으로 예방할 수 있습니다. Airflow를 이러한 독립 환경에 설정해서 기존의 환경에 호환되지 않아 생기는 부수적인 문제 없이 설치해보도록 하겠습니다. FYI. virtualenv Python..
2023.10.04 -
Apache Airflow, 제대로 이해하기 - Schedule
Airflow의 Scheduling을 이해하는 것이 본 포스팅의 목표입니다. 안녕하세요. 이번에는 짧게 Airflow 시리즈를 작성해보려고 합니다. 본 포스팅은 Airflow에 대한 가장 기본이 되는 개념을 다룹니다. Scheduling Airflow를 통해 각 DAG에 대한 스케줄 간격을 정의하여 파이프라인이 실행되는 정확한 시간을 결정할 수 있습니다. Flow가 매 시간, 매일, 매주 등으로 DAG를 실행하도록 지시하거나, Cron 같은 식을 사용해서 복잡한 스케줄 간격을 사용할 수 있습니다. Airflow DAG를 개발하고 실행하기까지의 전반적인 프로세스를 살펴보면서, Airflow가 DAG를 어떻게 실행하는지 알아보겠습니다. Components Airflow는 크게 세 가지로 구성되어 있습니다. ..
2023.10.03 -
Apache Airflow, 제대로 이해하기 - Concept
Airflow의 개념과 용어 - Dag, Task, Operator 등 - 을 이해하는 것이 본 포스팅의 목표입니다. 안녕하세요. 이번에는 짧게 Airflow 시리즈를 작성해보려고 합니다. 본 포스팅은 Airflow에 대한 가장 기본이 되는 개념을 다룹니다. Apache Airflow 는 배치 워크플로우를 개발과 스케줄링, 그리고 모니터링하기 위한 오픈 소스 플랫폼입니다. 데이터를 관리하기 위한 데이터의 플로우를 지정 할 수 있을 뿐 아니라, 특정 서비스를 호출하는 등 배치 작업을 수행할 수 있습니다 기본으로 지원되는 GUI 웹 인터페이스를 통해 Aitflow 사용성을 크게 향상시킵니다. Airflow는 넓은 범위, 그리고 다양한 크기의 배치를 지원하며, 다양한 배포 방식을 사용 할 수 있습니다. Wha..
2023.09.30 -
인간관계론, 데일카네기
How to win friends and influence people, Dale carnegie Date: 2023.07.12 ~ 2023.07.28 Rate: ★ 4.2 Pages: 352p Comment: 인간관계론을 읽은 지는 꽤 지났는데, 그동안 이 책의 매력을 느낄 수 있었다. 책을 처음 읽을 때는 "너무 당연한 소리아닌가"라는 생각으로 좋게 잘 읽었다는 생각이 크진 않았다. 시간이 지나고 사람들을 만나며, 많은 패턴의 사람들을 보게 됐다. 그런 사람들을 볼 때 이 책이 계속 생각나곤 했다. 상대방의 경계심이나 불안함이 보이며, 이럴 때 어떻게 다가가면 좋겠다는 생각을 하곤 한다. 책을 보기 전에도 이런 생각을 했을 수도 있지만, 중요한 건 '인지'였다. 막연한 '어떻게 행동해야겠다'가 생각의..
2023.09.01 -
Kotlin 1.9.0 Release, 제대로 살펴보기
본 포스팅은 개발 시 직접적으로 사용하게 될 Kotlin 1.9.0의 업데이트 사항들을 살펴보는 것을 목표로 합니다. Kotlin 1.9.0 지난 2023년 8월 23일, Kotlin 1.9.0 가 릴리즈 되었습니다. 기존의 기능들이 Stable 지원되고, 성능 개선이나 사용성 향상이 되는 등의 다양한 업데이트가 진행되었습니다. 참고로, 1.7부터 Alpha로 지원되던 K2 Compiler가 1.9부터 Beta로 지원됩니다. 따라서 Kotlin 2 릴리즈 전 설정 후 사용해보실 수 있습니다. 본 포스팅에서는 Web(Wasm), Multiplatform Support 등은 제외하고, Kotlin의 Language / Library 측면의 내용만을 정리했습니다. 🔍 Highlights 본 포스팅에서 다룰 내..
2023.08.28 -
Kotlin, null 어렵지 않게 다루기
최근, 코프링을 사용하고 있어서 코틀린 시리즈를 마무리해보려 합니다. 이전 게시글을 다시 작성하는 것도 고려하고 있으니, 참고하시길 바랍니다. TL;DR - 코틀린은 널이 될 수 있는 타입을 지원해 NullPointerException 오류를 컴파일 시점에 감지할 수 있습니다. - 코틀린의 안전한 호출 ?., 엘비스 연산자 ?:, 널 아님 단언 !!, let 함수 등을 사용하면 널이 될 수 있는 타입을 간결한 코드로 다룰 수 있다. - as? 연산자를 사용하면 값을 다른 타입으로 변환하는 것과 변환이 불가능한 경우를 처리하는 것을 한꺼번에 편리하게 처리할 수 있다. - 널이 될 수 있는 원시 타입(Int? 등) 은 자바의 박싱한 원시 타입 (java.lang.Integer 등)에 대응한다. - Any 타..
2023.08.20