본문 바로가기

전체 글101

pypi 패키지 등록 401시 401 에러 HTTPError: 401 Unauthorized from https://upload.pypi.org/legacy/ has two factor auth enabled, an API Token or Trusted Publisher must be used to upload in place of password. 100% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 24.8/24.8 kB • 00:00 • ? WARNING Error during upload. Retry with the --verbose option for more details. ERROR HTTPError: 401 Unauthorized from https://upload.pypi.org/legacy/ User has two factor auth enabled, an API Token or Trusted Publisher must be used to upload in place of password. id 과 pw를 정상으로 작성했는데 위와 같은 에러메시지가 떴다. 로그에서 출력하는 것처럼 2FA 로그인을 설정했기.. 2023. 11. 2.
Devops 의 업무 도메인 및 기술 스택 스타트업의 데이터팀에서 일하다 보니 새로운 개발 업무 외에 장애 대응 업무 또한 적지 않은 비중을 차지하는데, 이를 줄여보고자 devops 의 일에 대해 작성해보았다. 기본! - 팀원들이 비즈니스 로직에 집중할 수 있도록 지원한다. - 협업하여 공동으로 서비스를 운영한다는 의식을 가진다. 네트워크 - 네트워크 구성(가상 및 물리) - 프록시/vpn 서버 운영 - DNS 서버 운영 플랫폼 - 클라우드 환경 운영, - CI/CD 파이프라인 구축 및 운영 - STAGING 환경 제공 - 사내 계정, 보안 관리 - 오케스트레이션 플렛폼(e8s, nomad 등) - 워크플로우 엔진 구축 및 운영(airflow) - 데이터 베이스 및 메시징 서비스 구축 및 운영 - 로그 시스템 구축 및 운영 , 주요 이벤트 알림 .. 2023. 10. 15.
졸프 과제를 하며,,, CNN 학습이 더 잘되었던 케이스 정리[ing] 졸프 과제로 CNN을 하게 되었는데, 케이스를 정리하면서 학습이 더 잘되는 케이스들을 정리해보았다. 1. Batch Normalization을 Pooling 층 앞에 두기 2. Conv layer에서 일반적으로 필터 사이즈가 작으면 특징을 추출하기 좋다고 알려져 있는데, 처음부터 너무 작은 사이즈를 적용하는 것보다 점진적으로 layer 마다 사이즈를 줄여 나가는 것이 더 도움이 되었음 3. 내 경우 AveragePooling 보다 Maxpooling 에서 학습이 더 잘 되었다. 주제를 너무 어려운 것을 잡았다... 좀만 더 쉬운거 할걸 .... 졸업 시켜 주세요 ㅠㅠ 2023. 10. 14.
du - 폴더 하위의 파일 사이즈의 총합을 알아보기 du -csh /path/to/folder c: 총합을 출력 s: 개별 파일 및 하위 폴더 크기 대신 합계만 표시 h: KB, MB, GB 등으로 크기를 표시 2023. 9. 15.
[RDS] aws cli로 스냅샷으로 똑같은 DB를 다른 VPC에 만들기 (production db와 staging db 값 맞추기) DB 스냅샷 복원의 특징 - 사실은 스냅샷을 바탕으로 복구하는 것이 아니라, 스냅샷을 바탕으로한 DB를 새로 똑같이 만드는 것이다. (그래서 실제로 restore 명령어를 쓰다보면, 이미 있는 db는 이름을 사용할 수 없게 나옴!) 요구사항 실시간으로 prod와 stg의 값이 동일할 필요는 없음 DMS 등의 서비스를 사용할 필요가 없음. 최종 cmd # 1 기존 db 삭제 /usr/bin/aws rds delete-db-instance --db-instance-identifier {{staging db}} --skip-final-snapshot # 2 db 삭제 상태 확인 => 그냥 gateway로 15분 대기 aws rds describe-db-instances --db-instance-identifi.. 2023. 9. 1.
[AWS/ECR] denied: Your authorization token has expired. Reauthenticate and try again. aws ecr get-login-password --region $AWS_REGION | docker login --username AWS --password-stdin $USER_ID.dkr.ecr.$AWS_REGION.amazonaws.com ecr에 이미지를 push 하려고 하는데 아래와 같은 ㅇㅔ러가 발생! denied: Your authorization token has expired. Reauthenticate and try again. 그럴땐 로그대로 인증을 다시 진행하면 된다. 2023. 8. 9.
Error saving credentials: error storing credentials - err: exit status 1, out: `Error spawning command line “dbus-launch --autolaunch=--binary-syntax --close-stderr”: Child process exited with code 1` Error saving credentials: error storing credentials - err: exit status 1, out: `Error spawning command line “dbus-launch --autolaunch= --binary-syntax --close-stderr”: Child process exited with code 1` docker login을 하는데 위와 같은 에러가 나왔다. 패키지가 누락 된 것이니 아래 패키지를 신규로 설치해주면 된다. sudo apt install gnupg2 pass 2023. 8. 6.
[git] remote git에 로컬 경로 연결하기 보통 git clone 을 통해 깃에서 코드를 받아오는데, 간혹 내가 로컬에서 만든 파일을 비어있는 깃 레포에 올리고 싶을 때가 있다. (제 표현이 이해 가세요?? 제가 봐도 좀 애매한디) 깃과 연결되어 있지 않은 경로를 git 에 업로드 하고 싶을 때! 아래와 같이 해주면 된다 # 현재위치에서 git initialize git init # 저는 경로를 통째로 업로드하고 싶어서요 git add . # 브랜치는 main 혹은 master git checkout -b main git commit -m "commitcommit" # remote 연결 저장소 git remote add origin git push -u origin main 2023. 7. 19.
[Python/pandas] 두 데이터 프레임이 동일한지 확인하기 (identify two datafame is equivalent) from pandas.testing import assert_frame_equal assert_frame_equal(df_a, df_b) 옵션도 유연하게 적용할 수 있다. check_dtype=True, check_index_type='equiv', check_column_type='equiv', check_frame_type=True, check_names=True, by_blocks=False, check_exact=False, check_datetimelike_compat=False, check_categorical=True, check_like=False, check_freq=True, check_flags=True 참고자료 pandas.testing.assert_frame_equal — pand.. 2023. 7. 14.
python dash gunicorn RecursionError: maximum recursion depth exceeded while calling a Python object [INFO|/locdisk/code/cc/framework/helper/s3_helper.py:114] 2023-07-05 07:06:29,341 > Traceback (most recent call last): File "/locdisk/code/cc/framework/helper/s3_helper.py", line 109, in get_data s3_client = session.create_client('s3', aws_access_key_id=AWS_S3_KEY, aws_secret_access_key=AWS_S3_SECRET_KEY) File "/venv/lib/python3.6/site-packages/botocore/session.py", line 838, in create_client cl.. 2023. 7. 5.
성적 나왔당 주변에 아무한테도 말 못하지만 여기서라두... 뿌듯하당 헤헤 졸업까지 화이팅! 2023. 7. 3.
docker system df docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 120 10 57.47GB 53.83GB (93%) Containers 15 12 3.732GB 0B (0%) Local Volumes 25 7 1.89GB 1.89GB (100%) Build Cache 0 0 0B 0B TYPE: Docker 시스템의 자원 유형을 나타냅니다. TOTAL: 해당 자원 유형의 전체 용량입니다. ACTIVE: 현재 사용 중인 자원의 용량입니다. SIZE: 현재 자원이 차지하는 실제 용량입니다. RECLAIMABLE: 해당 자원 유형 중에서 재활용 가능한 공간의 용량을 나타냅니다. 2023. 7. 3.

티스토리툴바