기술스택을 쌓아보자/데이터 엔지니어링11 Devops 의 업무 도메인 및 기술 스택 스타트업의 데이터팀에서 일하다 보니 새로운 개발 업무 외에 장애 대응 업무 또한 적지 않은 비중을 차지하는데, 이를 줄여보고자 devops 의 일에 대해 작성해보았다. 기본! - 팀원들이 비즈니스 로직에 집중할 수 있도록 지원한다. - 협업하여 공동으로 서비스를 운영한다는 의식을 가진다. 네트워크 - 네트워크 구성(가상 및 물리) - 프록시/vpn 서버 운영 - DNS 서버 운영 플랫폼 - 클라우드 환경 운영, - CI/CD 파이프라인 구축 및 운영 - STAGING 환경 제공 - 사내 계정, 보안 관리 - 오케스트레이션 플렛폼(e8s, nomad 등) - 워크플로우 엔진 구축 및 운영(airflow) - 데이터 베이스 및 메시징 서비스 구축 및 운영 - 로그 시스템 구축 및 운영 , 주요 이벤트 알림 .. 2023. 10. 15. docker system df docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 120 10 57.47GB 53.83GB (93%) Containers 15 12 3.732GB 0B (0%) Local Volumes 25 7 1.89GB 1.89GB (100%) Build Cache 0 0 0B 0B TYPE: Docker 시스템의 자원 유형을 나타냅니다. TOTAL: 해당 자원 유형의 전체 용량입니다. ACTIVE: 현재 사용 중인 자원의 용량입니다. SIZE: 현재 자원이 차지하는 실제 용량입니다. RECLAIMABLE: 해당 자원 유형 중에서 재활용 가능한 공간의 용량을 나타냅니다. 2023. 7. 3. 데이터 품질의 비밀 - 데이터 품질에 주목해야 하는 이유 ch1 데이터 다운타임: data downtime 데이터가 수집되지 않아 누락되거나 부정확하게 측정되는 등의 데이터 손실로 인해 소프트웨어 또는 서비스의 가동이 중지되는 상황을 의미한다. 신뢰할 수 없는 데이터가 너무 많을 때 일어난다. 자체만으로 기업의 수익성이 크게 나빠지는 것은 아니다. 데이터 조직이 데이터 품질문제를 처리하기 위해 전체 업무 시간의 40% 이상을 소모한다고 한다. 데이터 다운타임의 근본적인 원인? Db 스키마 변경으로 인한 데이터 파이프라인 중단 주요 행 또는 열 중복 현상 대시보드 내 오류값 발생 등등… 프로덕션 데이터 소스시스템의 데이터 다운타임: 가동중지, 업타임: 정상 수행시간 다운타임은 소프트웨어 엔지니어링, 개발 및 운영과 모두 관련있어서 보통 업타임을 기준으로 성능을 측정한다.. 2023. 5. 3. 데이터 중심 애플리케이션 설계 - 분산시스템의 골칫거리 분산 시스템의 골칫거리 잘못될 가능성이 있다면 잘못된다 ㅠㅠ 결함과 부분 장애 우리는 소프트 웨어를 결정적으로 설계한다. 하지만 네트워크로 연결된 여러 컴퓨터에서 실행되는 소프트웨어는 오류가 날 수 있다. 부분 장애: 어떤 부분은 잘 동작하지만 어떤 부분은 예측할 수 없는 방향으로 고장 비결정적이다. 클라우드 컴퓨팅과 슈퍼컴퓨팅 대규모 컴퓨팅 구축 방법에 관한 철학 한쪽 끝에 고성능 컴퓨팅이 있다(high-performance computing, HPC) 다른 극단에는 클라우드 컴퓨팅이 있다. 사용ㅇ컴퓨터, 신축적, 주문식 자원할당(elastic, on-demand), 계량결제 전통적인 기업형 데이터센터는 이 두 극단의 중간지점에 있다. 철학에 따라 결함 처리 방법도 다르다. 슈퍼컴퓨터: 단일 노드처럼 .. 2023. 4. 28. 이전 1 2 3 다음