로지스틱 회귀(Logistic Regression)는 종속 변수가 이항 분포를 따르고, 독립 변수와 종속 변수 사이의 관계를 모델링하는 회귀 모델이다. 이진 분류(binary classification) 문제에서 널리 사용된다.
로지스틱 회귀는 선형 회귀 모델의 예측값을 로지스틱 함수(sigmoid function)를 적용하여 0과 1 사이의 값으로 변환한다. 이로 인해 이진 분류 문제에서 0과 1의 확률값을 제공할 수 있다. 로지스틱 함수는 S자 형태의 곡선으로, 입력값이 커지면 1에 수렴하고, 작아지면 0에 수렴한다.
로지스틱 회귀는 경사 하강법(gradient descent) 알고리즘을 사용하여 가중치를 조정한다. 이 때, 손실 함수(loss function)로 로그 손실(log loss)을 사용한다. 로그 손실은 실제 클래스와 예측 클래스 간의 오차를 계산하며, 이를 최소화하는 방향으로 가중치를 업데이트한다.
로지스틱 회귀는 이진 분류 문제뿐만 아니라, 다중 분류(multi-class classification) 문제에서도 사용될 수 있다. 다중 클래스 분류에서는 소프트맥스 함수(softmax function)를 사용하여 각 클래스에 대한 확률값을 계산한다.