기술스택을 쌓아보자/Python26 [pandas/parquet] pandas 가이드중 parquet 관련 부분 공부 및 번역 해당 글을 만들게 된 이유: - DataFrame을 변환하다보니, 어느순간 유실되는 데이터들이 발생하더라구요. 그래서 근본부터 공부해보기로 했습니다. 아래 문서에서 parquet과 관련된 문서만 모았습니다! IO tools (text, CSV, HDF5, …) — pandas 1.3.1 documentation The pandas I/O API is a set of top level reader functions accessed like pandas.read_csv() that generally return a pandas object. The corresponding writer functions are object methods that are accessed like DataFrame.to_csv(.. 2021. 8. 3. [찾는중]Backend TkAgg is interactive backend. Turning interactive mode on. pandas로 사이즈가 꽤 큰 json 파일을 로드했고, 제목과 같은 로그가 나왔다. 왓츠댓? 찾아보니 파이참에서 matplotlib을 사용할때 사용하는 백엔드인 것 같다. Pycharm - Importing Matplotlib I've installed Pycharm and using Anaconda 3 as my interpreter. I cannot import Matplotlib (or Seaborn). When I run 'import matplotlib.pyplot as plt' I get the following:-- import matplotlib.pyplo... stackoverflow.com 그런데 난 pandas 에서 사용한건데 왜 나온 것일까? 잘 모르겠다 난 matplotlib.... 2021. 6. 14. [pandas] ffill과 bfill ffill: forward 데이터로 뒤를 채우는 것 bfill: backward 데이터로 앞을 채우는것 2021. 1. 12. pandas 번역: Scaling to large datasets, pandas 최적화(pandas User guide 번역/pandas 기초 입문/Pandas 간단 요약/데이터 최적화/ pandas 최적화) Scaling to large datasets pandas 는 메모리 데이터셋보다 더욱 크고 다루기 까다로운 인메모리 분석을 위한 데이터 구조들을 제공합니다(series, dataframe 등). 가끔 pandas의 함수들 중에서는 데이터 셋의 복사본을 만들어서 연산을 진행하기 때문에 다룰 수 있는 규모의 데이터들도 다루기 어려워 질 때도 있습니다. 이 문서에서는 큰 규모의 데이터셋을 다루는 몇몇 방법을 추천할 예정입니다. 해당 문서는 분석 속도를 높이고, 메모리사이즈에 맞는 데이터셋에 집중한 Enhancing performance의 내용에서 추가적으로 보완하는 문서입니다. 그렇지만 먼저, (빅데이터를 다루는데에) pandas 를 사용하지 않는 것 또한 하나의 방법이 될 수 있다는 점을 기억해주세요, p.. 2021. 1. 9. 이전 1 2 3 4 5 6 7 다음
