본문 바로가기

기술스택을 쌓아보자83

[pandas/parquet] pandas 가이드중 parquet 관련 부분 공부 및 번역 해당 글을 만들게 된 이유: - DataFrame을 변환하다보니, 어느순간 유실되는 데이터들이 발생하더라구요. 그래서 근본부터 공부해보기로 했습니다. 아래 문서에서 parquet과 관련된 문서만 모았습니다! IO tools (text, CSV, HDF5, …) — pandas 1.3.1 documentation The pandas I/O API is a set of top level reader functions accessed like pandas.read_csv() that generally return a pandas object. The corresponding writer functions are object methods that are accessed like DataFrame.to_csv(.. 2021. 8. 3.
[리눅스/linux] pycharm "Already running"의 해결법: ps -af 옵션 리눅스 서버에서 파이참을 실행시키니 아래와 같은 에러가 떴다. Last login: Sun Jul 18 14:58:30 2021 from 10.9.2.82 hoseung2@hoseung2:~$ pycharm OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in ve rsion 9.0 and will likely be removed in a future release. Already running 이전 상황은 네트워크 에러로 인해 파이참이 강제종료된 상태였는데, 이후 파이참을 사용하고 있지 않은데도 불구하고 계속 이런 에러가 떴다. 리눅스 초보인 나는 ps를 열심히 쳤지만 파이참 관련된건 코빼기도 보이지 않았다. 그럴땐 .. 2021. 7. 18.
[찾는중]Backend TkAgg is interactive backend. Turning interactive mode on. pandas로 사이즈가 꽤 큰 json 파일을 로드했고, 제목과 같은 로그가 나왔다. 왓츠댓? 찾아보니 파이참에서 matplotlib을 사용할때 사용하는 백엔드인 것 같다. Pycharm - Importing Matplotlib I've installed Pycharm and using Anaconda 3 as my interpreter. I cannot import Matplotlib (or Seaborn). When I run 'import matplotlib.pyplot as plt' I get the following:-- import matplotlib.pyplo... stackoverflow.com 그런데 난 pandas 에서 사용한건데 왜 나온 것일까? 잘 모르겠다 난 matplotlib.... 2021. 6. 14.
[리눅스/linux] stopped job 다루기 윈도우에서 오다보니 ctrl+c, ctrl+z가 헷갈릴때가 종종있다. 과거 윈도우 유저였던 나는 가끔 실수로 되돌리기를 위해 ctrl + z를 사용하는 실수를 저지른다. 그런데 되돌리기 기능인 윈도우와 달리, 리눅스에서는 ctrl + z가 현재 진행중인 작업을 잠시 멈추게하는 역할을 한다. 이럴때 어떻게 다루면 좋을까. 일단 jobs 명령어를 통해 현재 stopped job 을 확인해보자 root@83ffc0a86438:/src# jobs [1]+ Stopped python fg 명령어를 사용하면 기존에 진행하던 작업으로 돌아갈 수 있다. root@83ffc0a86438:/src# fg python >>> 2021. 3. 14.