기술스택을 쌓아보자/데이터 엔지니어링13 [Airflow] Core Concepts 항목별 요약 ArchitectureArchitecture Overview, WorkloadsDAGsDAG RunsTasks, [task airflow 원문 요약 : https://great-woman-hoseung.tistory.com/118]OperatorsSensorsTaskFlowExecutorAuth managerObject StorageCommunicationXComsVariablesParamsDebuggingDebugging Airflow DAGs 2024. 10. 31. [Airflow] TASK task의 종류 3가지Operator(작업자), Sensors(이벤트감지), TaskFlow-decorated(custom python function)Relationships# 방법1second_task >> [third_task, fourth_task]# 방법2first_task.set_downstream(second_task)third_task.set_upstream(second_task)- 태스크에서 태스크간 정보를 전달하는 데에는 Xcom을 사용함.Task Instances- task states의 종류는 이미지 참조. (보통 none -> scheduled -> queued -> running -> success ) - task states는 xcom을 통해 다음 method로도 넘어감Rela.. 2024. 10. 12. Devops 의 업무 도메인 및 기술 스택 스타트업의 데이터팀에서 일하다 보니 새로운 개발 업무 외에 장애 대응 업무 또한 적지 않은 비중을 차지하는데, 이를 줄여보고자 devops 의 일에 대해 작성해보았다. 기본! - 팀원들이 비즈니스 로직에 집중할 수 있도록 지원한다. - 협업하여 공동으로 서비스를 운영한다는 의식을 가진다. 네트워크 - 네트워크 구성(가상 및 물리) - 프록시/vpn 서버 운영 - DNS 서버 운영 플랫폼 - 클라우드 환경 운영, - CI/CD 파이프라인 구축 및 운영 - STAGING 환경 제공 - 사내 계정, 보안 관리 - 오케스트레이션 플렛폼(e8s, nomad 등) - 워크플로우 엔진 구축 및 운영(airflow) - 데이터 베이스 및 메시징 서비스 구축 및 운영 - 로그 시스템 구축 및 운영 , 주요 이벤트 알림 .. 2023. 10. 15. docker system df docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 120 10 57.47GB 53.83GB (93%) Containers 15 12 3.732GB 0B (0%) Local Volumes 25 7 1.89GB 1.89GB (100%) Build Cache 0 0 0B 0B TYPE: Docker 시스템의 자원 유형을 나타냅니다. TOTAL: 해당 자원 유형의 전체 용량입니다. ACTIVE: 현재 사용 중인 자원의 용량입니다. SIZE: 현재 자원이 차지하는 실제 용량입니다. RECLAIMABLE: 해당 자원 유형 중에서 재활용 가능한 공간의 용량을 나타냅니다. 2023. 7. 3. 이전 1 2 3 4 다음
