리눅스 데이터 과학 스택: Jupyter, Pandas & 도구

# 다운로드 및 설치
wget https://repo.anaconda.com/archive/Anaconda3-latest-Linux-x86_64.sh
bash Anaconda3-latest-Linux-x86_64.sh

# 쉘을 위한 conda 초기화
conda init bash

# 프로젝트용 새 환경 생성
conda create -n datasci python=3.11 numpy pandas jupyter matplotlib seaborn scikit-learn

# 환경 활성화
conda activate datasci

conda install mamba -n base -c conda-forge
mamba install pandas jupyter

pip install jupyterlab
pip install jupyterlab-git jupyterlab-lsp python-lsp-server
pip install jupyterlab_code_formatter black isort

# 구성 파일 생성
jupyter lab --generate-config

# ~/.jupyter/jupyter_lab_config.py 편집

c.ServerApp.open_browser = False
c.ServerApp.port = 8888
c.ServerApp.password = ''  # 해시된 비밀번호 설정
c.ServerApp.notebook_dir = '/home/username/projects'

jupyter labextension install @jupyter-widgets/jupyterlab-manager
jupyter labextension install @jupyterlab/toc

import pandas as pd
import numpy as np

# 최적화된 타입으로 데이터 로드
df = pd.read_csv('large_file.csv', dtype={
    'id': 'int32',
    'category': 'category',
    'price': 'float32'
})

# 로드 후 축소
df['id'] = pd.to_numeric(df['id'], downcast='integer')
df['price'] = pd.to_numeric(df['price'], downcast='float')

df['category'] = df['category'].astype('category')
df['status'] = df['status'].astype('category')

chunk_size = 100000
chunks = []

for chunk in pd.read_csv('huge_file.csv', chunksize=chunk_size):
    # 각 체크 처리
    chunk = chunk[chunk['value'] > 0]
    chunks.append(chunk)

df = pd.concat(chunks, ignore_index=True)

import dask.dataframe as dd

ddf = dd.read_csv('huge_file.csv')
result = ddf.groupby('category').mean().compute()

# 느림: 반복
for i in range(len(df)):
    df.loc[i, 'result'] = df.loc[i, 'a'] * df.loc[i, 'b']

# 빠름: 벡터화
df['result'] = df['a'] * df['b']

# 더 좋음: 복잡한 표현식에 eval 사용
df.eval('result = a * b + c / d', inplace=True)

echo always | sudo tee /sys/kernel/mm/transparent_hugepage/enabled

numactl --cpunodebind=0 --membind=0 jupyter lab

git init
git add *.ipynb requirements.txt
git commit -m "Initial data analysis"

pip install nbdime
nbdime config-git --enable --global

FROM jupyter/scipy-notebook:latest

# 추가 패키지 설치
RUN pip install pandas seaborn scikit-learn

# 노트북 복사
COPY notebooks/ /home/jovyan/work/

EXPOSE 8888
CMD ["jupyter", "lab", "--ip=0.0.0.0"]

docker build -t my-datasci .
docker run -p 8888:8888 -v $(pwd)/data:/home/jovyan/data my-datasci

# VS Code 설치
sudo snap install code --classic

# Python 및 Jupyter 확장 설치
code --install-extension ms-python.python
code --install-extension ms-toolsai.jupyter

# crontab 편집
crontab -e

# 매일 새벽 2시에 분석 실행
0 2 * * * /home/user/anaconda3/envs/datasci/bin/python /home/user/scripts/daily_analysis.py

pip install apache-airflow
airflow db init
airflow webserver -p 8080

# SSL 인증서 생성
openssl req -x509 -nodes -days 365 -newkey rsa:2048 \
  -keyout mykey.key -out mycert.pem

# Jupyter에 SSL 구성
jupyter lab --certfile=mycert.pem --keyfile=mykey.key

# 원격 서버에서
jupyter lab --no-browser --port=8888

# 로컬 머신에서
ssh -N -L 8888:localhost:8888 user@remote-server

# NVIDIA 드라이버 설치 (Ubuntu)
sudo apt install nvidia-driver-535

# CUDA Toolkit 설치
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.ones_all.deb
sudo apt update
sudo apt install cuda

# cuDNN 설치
sudo apt install libcudnn8 libcudnn8-dev

# CUDA 지원 PyTorch 설치
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

import torch
print(f"CUDA available: {torch.cuda.is_available()}")
print(f"GPU: {torch.cuda.get_device_name(0)}")

# 모든 환경 목록
conda env list

# 환경 내보내기
conda env export > environment.yml

# 다른 머신에서 다시 생성
conda env create -f environment.yml

sudo apt install htop
htop

watch -n 1 nvidia-smi

# 노트북에서
import psutil
import os

process = psutil.Process(os.getpid())
print(f"Memory usage: {process.memory_info().rss / 1024 / 1024:.2f} MB")

rsync -avz --progress ~/projects/ /mnt/backup/projects/

rclone sync ~/projects/ dropbox:projects/

# 포트 충돌 확인
lsof -i :8888

# 충돌한 프로세스 종료
kill -9 PID

# 다른 포트로 시작
jupyter lab --port=8889

# conda 캐시 정리
conda clean --all

# 새 환경 생성
conda create -n fresh python=3.11
conda activate fresh

# 스왑 공간 증가
sudo fallocate -l 16G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile