웹 테이블에서 Pandas DataFrame까지 30초

import pandas as pd

# 웹사이트 구조가 단순하길 기도하며
tables = pd.read_html('https://example.com/data')

# 어떤 테이블인지 추측
df = tables[0]  # 맞을까? 일단 확인...

# 문제 발견
print(df.dtypes)
# 전부 'object' (문자열)
# 숫자에 쉼표가 있음
# 날짜를 파싱할 수 없음
# 열 이름에 공백이 있음

# 30분 동안 정리...

import pandas as pd

df = pd.read_csv('export.csv')
print(df.dtypes)

전: "1.234.567,89" (유럽식 형식)
후:  1234567.89     (float)

전: "$1,234.56"
후:  1234.56

# 정제 없이:
df['revenue'].sum()  # TypeError: can only concatenate str

# 정제 후:
df['revenue'].sum()  # 4892341.50 ✓

전: "Yes", "No", "Y", "N", "True", "False"
후:  true, false

# 필터가 즉시 작동
active_users = df[df['is_active'] == True]

전: "-", "N/A", "n/a", "", "null", "—"
후:  (비어있음, NaN으로 파싱)

# Null 감지가 작동
df['optional_field'].isna().sum()  # 정확한 카운트

전: "Revenue ($M)", "User Count", "Growth Rate %"
후:  revenue_m, user_count, growth_rate

# 깨끗한 열 접근
df['revenue_m']  # df['Revenue ($M)'] 대신

import pandas as pd
import requests
from bs4 import BeautifulSoup

url = 'https://fbref.com/en/comps/9/stats/Premier-League-Stats'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# 올바른 테이블 찾기 (많이 있음)
table = soup.find('table', {'id': 'stats_standard'})

# 헤더가 복잡해서 수동으로 파싱
# FBRef는 그룹화된 헤더 사용: "Playing Time"이 여러 열에 걸침
# 이것이 pd.read_html()을 깨뜨림

# 45분 후...

df = pd.read_csv('fbref_stats.csv')
print(df.columns.tolist())
# ['player', 'nation', 'squad', 'playing_time_mp', 
#  'playing_time_starts', 'performance_gls', ...]

def clean_web_data(df):
    """더 이상 필요 없는 함수."""

    # 숫자 열 수정
    for col in df.select_dtypes(include='object'):
        # 숫자로 변환 시도
        try:
            # 통화 기호 제거
            cleaned = df[col].str.replace(r'[$€£¥]', '', regex=True)
            # 천 단위 구분자 제거
            cleaned = cleaned.str.replace(',', '')
            # 변환
            df[col] = pd.to_numeric(cleaned, errors='ignore')
        except:
            pass

    # 불리언 열 수정
    bool_map = {
        'yes': True, 'no': False,
        'true': True, 'false': False,
        'y': True, 'n': False,
        '1': True, '0': False,
    }
    for col in df.columns:
        if df[col].str.lower().isin(bool_map.keys()).all():
            df[col] = df[col].str.lower().map(bool_map)

    # Null 값 수정
    null_values = ['', '-', 'N/A', 'n/a', 'null', 'NULL', '—', '–']
    df = df.replace(null_values, np.nan)

    # 열 이름 수정
    df.columns = (df.columns
        .str.lower()
        .str.replace(r'[^a-z0-9]+', '_', regex=True)
        .str.strip('_'))

    return df

import pandas as pd
import json

with open('export.json') as f:
    data = json.load(f)

df = pd.DataFrame(data)

print(df.dtypes)
# player         object
# goals          int64   # 이미 숫자!
# is_starter     bool    # 이미 불리언!
# injury_date    object  # datetime으로 파싱 가능