본문 바로가기

전체 글96

Ubuntu에 Docker 설치하기 + docker 권한 부여 및 gcp vm 디버깅 실행환경 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.6 LTS Release: 20.04 # 우분투 버전 Codename: focal # 배포판 이름 => 도커 설치 시 codename이 사용된다! $ lsb_release -cs # Codename만 추출 focal 우분투 apt-get update sudo apt-get update 관련 패키지 설치 sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common apt-transport-https ca-cer.. 2024. 3. 1.
(1)로지스틱 회귀분석(Logistic regression)이 가지고 있는 이야기: Binary classification, 오즈비와 로짓변환(odds ratio and logit function) (참고: 나 문과임) (이번글의 키워드: 오즈비, 확률, 일반회귀방정식!) 로지스틱 회귀분석이 풀고자 하는 문제 : 결과값 P를 통한 이진분류 Binary Classification 로지스틱 회귀식의 결과값은 확률 P이다. 확률의 범위는 0과 1사이에 해당한다! 그렇다면 확률을 바탕으로 풀 수 있는 문제는 어떤게 있을까? 주로 이진 분류 문제를 해결할 수 있는 것이다! (Binary Classification) 로지스틱 회귀모형의 예측 y에 대해 범위의 그래프는 좌측 그래프와 같다. 보면 시그모이드 함수와 거의 유사해보이지 않는가? 기본적인 시그모이드 형태의 x값에 회귀방정식이 들어가기 때문에 모양도 똑같다. 일반 회귀분석에서는 예측값 yhat의 범위는 사실상 무한대 이다. 우리가 풀고 싶은 문제는 분류.. 2024. 2. 28.
[ADP] 제32회 데이터분석 전문가(ADP)-20240224 필기 후기 or 반성!!! (붙었는진 모름) 2024.2.24!!! ADP 시험을 보았다. 주절주절 후기! 를 적고 반성으로 삼을지 성공의 후기로 삼을진 아무도 모르리 ( 점수 안나옴) 준비 기간 및 공부는 시간은 어떻게 분배했나? 시험은 약 1달 정도 준비했다. 첫 3주 정도는 2~3일에 1번 3시간 정도(좀 풀렸었다), 나머지 1주는 매일 5시간(주로 7~1시)씩 공부했었던 것 같다. 마지막 2주는 친구들이랑 구글밋에 들어가서 서로 감시하고, 유튜브로 장작타는 소리 틀고 공부했었는데 이게 공부 집중이 엄청 잘되었다 ㅋㅋ 고딩들이 왜 열품타 하는지 깨달음.... 그런데 나는 잠을 무조건 8시간은 자야하는 스타일이라서, 마지막 2주 정도는 아침에 컨디션 관리가 어려웠다. 회사가 10시까지 출근이라 다행이었다. 책은?? ADP는 많은 사람들이 보는 .. 2024. 2. 26.
gcloud ModuleNotFoundError: No module named 'CommandNotFound' ~$ gcloud Traceback (most recent call last): File "/usr/lib/command-not-found", line 27, in from CommandNotFound.util import crash_guard ModuleNotFoundError: No module named 'CommandNotFound' 위와 같은 에러는 환경변수 경로를 지정하지 못해 발생하는 것인데, source '[path-to-my-home]/google-cloud-sdk/path.bash.inc' source '[path-to-my-home]/google-cloud-sdk/completion.bash.inc' 를 .bashrc에 추가하여도 좋다. 2023. 11. 2.
pypi 패키지 등록 401시 401 에러 HTTPError: 401 Unauthorized from https://upload.pypi.org/legacy/ has two factor auth enabled, an API Token or Trusted Publisher must be used to upload in place of password. 100% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 24.8/24.8 kB • 00:00 • ? WARNING Error during upload. Retry with the --verbose option for more details. ERROR HTTPError: 401 Unauthorized from https://upload.pypi.org/legacy/ User has two factor auth enabled, an API Token or Trusted Publisher must be used to upload in place of password. id 과 pw를 정상으로 작성했는데 위와 같은 에러메시지가 떴다. 로그에서 출력하는 것처럼 2FA 로그인을 설정했기.. 2023. 11. 2.
Devops 의 업무 도메인 및 기술 스택 스타트업의 데이터팀에서 일하다 보니 새로운 개발 업무 외에 장애 대응 업무 또한 적지 않은 비중을 차지하는데, 이를 줄여보고자 devops 의 일에 대해 작성해보았다. 기본! - 팀원들이 비즈니스 로직에 집중할 수 있도록 지원한다. - 협업하여 공동으로 서비스를 운영한다는 의식을 가진다. 네트워크 - 네트워크 구성(가상 및 물리) - 프록시/vpn 서버 운영 - DNS 서버 운영 플랫폼 - 클라우드 환경 운영, - CI/CD 파이프라인 구축 및 운영 - STAGING 환경 제공 - 사내 계정, 보안 관리 - 오케스트레이션 플렛폼(e8s, nomad 등) - 워크플로우 엔진 구축 및 운영(airflow) - 데이터 베이스 및 메시징 서비스 구축 및 운영 - 로그 시스템 구축 및 운영 , 주요 이벤트 알림 .. 2023. 10. 15.
du - 폴더 하위의 파일 사이즈의 총합을 알아보기 du -csh /path/to/folder c: 총합을 출력 s: 개별 파일 및 하위 폴더 크기 대신 합계만 표시 h: KB, MB, GB 등으로 크기를 표시 2023. 9. 15.
[RDS] aws cli로 스냅샷으로 똑같은 DB를 다른 VPC에 만들기 (production db와 staging db 값 맞추기) DB 스냅샷 복원의 특징 - 사실은 스냅샷을 바탕으로 복구하는 것이 아니라, 스냅샷을 바탕으로한 DB를 새로 똑같이 만드는 것이다. (그래서 실제로 restore 명령어를 쓰다보면, 이미 있는 db는 이름을 사용할 수 없게 나옴!) 요구사항 실시간으로 prod와 stg의 값이 동일할 필요는 없음 DMS 등의 서비스를 사용할 필요가 없음. 최종 cmd # 1 기존 db 삭제 /usr/bin/aws rds delete-db-instance --db-instance-identifier {{staging db}} --skip-final-snapshot # 2 db 삭제 상태 확인 => 그냥 gateway로 15분 대기 aws rds describe-db-instances --db-instance-identifi.. 2023. 9. 1.
[AWS/ECR] denied: Your authorization token has expired. Reauthenticate and try again. aws ecr get-login-password --region $AWS_REGION | docker login --username AWS --password-stdin $USER_ID.dkr.ecr.$AWS_REGION.amazonaws.com ecr에 이미지를 push 하려고 하는데 아래와 같은 ㅇㅔ러가 발생! denied: Your authorization token has expired. Reauthenticate and try again. 그럴땐 로그대로 인증을 다시 진행하면 된다. 2023. 8. 9.
Error saving credentials: error storing credentials - err: exit status 1, out: `Error spawning command line “dbus-launch --autolaunch=--binary-syntax --close-stderr”: Child process exited with code 1` Error saving credentials: error storing credentials - err: exit status 1, out: `Error spawning command line “dbus-launch --autolaunch= --binary-syntax --close-stderr”: Child process exited with code 1` docker login을 하는데 위와 같은 에러가 나왔다. 패키지가 누락 된 것이니 아래 패키지를 신규로 설치해주면 된다. sudo apt install gnupg2 pass 2023. 8. 6.
[git] remote git에 로컬 경로 연결하기 보통 git clone 을 통해 깃에서 코드를 받아오는데, 간혹 내가 로컬에서 만든 파일을 비어있는 깃 레포에 올리고 싶을 때가 있다. (제 표현이 이해 가세요?? 제가 봐도 좀 애매한디) 깃과 연결되어 있지 않은 경로를 git 에 업로드 하고 싶을 때! 아래와 같이 해주면 된다 # 현재위치에서 git initialize git init # 저는 경로를 통째로 업로드하고 싶어서요 git add . # 브랜치는 main 혹은 master git checkout -b main git commit -m "commitcommit" # remote 연결 저장소 git remote add origin git push -u origin main 2023. 7. 19.
[Python/pandas] 두 데이터 프레임이 동일한지 확인하기 (identify two datafame is equivalent) from pandas.testing import assert_frame_equal assert_frame_equal(df_a, df_b) 옵션도 유연하게 적용할 수 있다. check_dtype=True, check_index_type='equiv', check_column_type='equiv', check_frame_type=True, check_names=True, by_blocks=False, check_exact=False, check_datetimelike_compat=False, check_categorical=True, check_like=False, check_freq=True, check_flags=True 참고자료 pandas.testing.assert_frame_equal — pand.. 2023. 7. 14.

티스토리툴바