2022.03.18 금

나이즈 베이즈 분류기

• 선형모델과 유사

• LinearSVC와 비교

  • 보다 훈련속도 빠름
  • 보다 일반화 성능 조금 느림

• 종류

  • BernoulliNB 이진 데이터
    • 텍스트 데이터(희소) 분류시 사용
  • MultinomialNB
    • 카운트 데이터
    • 텍스트 데이터(희소) 분류시 사용
  • GaussianNB 연속적인 데이터에 적용 고차원 데이터셋 사용

• BernoulliNB

  • 각 클래스의 특성 중 0이 아닌 것이 몇 개인지 셈

    # 이진 특성을 4개 가진 데이터포인트
    X = np.array([[0, 1, 0, 1],
                 [1, 0, 1, 1],
                 [0, 0, 0, 1],
                 [1, 0, 1, 0]])
    # 클래스
    y = np.array([0, 1, 0, 1])
    
    counts = {}
    for label in np.unique(y):
      # 각 클래스에 대해 반복
      # 특성마다 1이 나타난 횟수 세기 (0번 특성, 1번 특성, 2번 특성, 4번 특성)
      counts[label] = X[y==label].sum(axis=0)
    print("특성 카운트:\\n", counts)
    

    특성 카운트: {0: array([0, 1, 0, 2]), 1: array([2, 0, 2, 1])}

• MultinomialNB

  • 클래스 별 특성의 평균 계산

• GaussianNB

  • 클래스 별 각 특성의 표준 편차와 평균 저장

• coef_ 기울기 w가 아님 특성 카운트 수를 로그 변환한 형태

• intercept_ b가 아님 클래스 카운트 수를 로그 변환한 것

⇒ BernoulliNB, MultinomialNB의 예측 공식 $w[0]x[0] + w[1] x[1] + ... + w[p]*x[p] + b$

• 매개변수

  • alpha
    • BernoulliNB, MultinomialNB 모델의 복잡도 조절
    • alpha 주어지면, 모든 특성 ← alpha 개수만큼 가상 데이터 포인트(양의 값) 추가 ⇒ 통계 데이터 완만하게 만들어줌
    • 큼 → 더 완만 & 모델의 복잡도 ⬇️
    • 성능 향상에 크게 기여 X
    • 정확도 높일 수 있음

• 장단점

  선형 모델의 장단점과 비슷

  • 장점
    • 학습 속도와 예측 빠름
    • 매우 큰 데이터셋, 희소한 데이터셋에서 잘 작동함 → 대용량 데이터셋 - solver=’sag’ 옵션 주기 (혹은 SGDClassifier, SGDRegressor 사용)
    • 예측 결과 쉽게 이해 가능
    • 샘플에 비해 특성이 많을 경우 잘 작동
  • 단점
    • 계수 값 명확하지 않은 경우 O → 특성들이 서로 깊게 연관되어 있을 경우
    • 저차원 데이터셋 별로

  선형 모델로 학습 시간 너무 오래 걸릴 때 나이브 베이즈 모델 시도 good