튜토리얼

기계 학습 알고리즘의 분류 : 선형 회귀, 분류 및 클러스터링

기계 학습은 방법, 이론 및 응용 분야를 제공하는 수학적 최적화와 매우 유사합니다. 

기계 학습은 주어진 예제 세트 (훈련 세트)에 대한 손실 함수의 "최소화 문제"로 공식화됩니다. 이 함수는 학습중인 모델에서 예측 한 값과 각 예제 인스턴스에 대한 예상 값 사이의 불일치를 표현합니다. 

궁극적 인 목표는 학습 세트에없는 인스턴스 세트에서 올바르게 예측할 수있는 능력을 모델에 가르치는 것입니다.

알고리즘의 다른 범주를 구별할 수 있는 방법은 특정 시스템에서 예상되는 출력 유형입니다. 기계 학습

주요 범주 중 다음을 찾습니다.

  • La 분류: 입력은 둘 이상의 클래스로 나뉘며 학습 시스템은 입력에 사용할 수있는 클래스 중 하나 이상의 클래스를 할당 할 수있는 모델을 생성해야합니다.이러한 유형의 작업은 일반적으로지도 학습 기술을 사용하여 처리됩니다. 

    분류의 예는 이미지에 포함 된 객체 또는 주제를 기반으로 이미지에 하나 이상의 레이블을 할당하는 것입니다.

  • La 회귀: 산출물이 연속적이고 불연속적인 도메인을 갖는다는 차이점을 제외하고는 개념적으로 분류와 유사합니다.일반적으로지도 학습으로 관리됩니다. 

    회귀의 예는 컬러 이미지의 형태로 표현 된 장면의 깊이를 추정하는 것입니다. 

    사실, 문제가되는 출력의 영역은 사실상 무한하며 특정 개별 가능성 집합에 국한되지 않습니다.

  • Il 클러스터링: 어디 있어요 데이터 세트는 분류와 달리 선험적으로 알려지지 않은 그룹으로 나뉩니다.이 범주에 속하는 문제의 본질은 일반적으로 비지도 학습 과제를 만듭니다.
단순 선형 회귀 모델

선형 회귀는 오전입니다.다음과 같은 실제 값을 추정하는 데 널리 사용되는 모델 :

  • 주택 비용,
  • 통화 수,
  • XNUMX 인당 총 판매량,

연속 변수의 기준을 따릅니다.

  • 평방 미터,
  • 현재 계정 구독,
  • 사람의 교육

선형 회귀에서는 일반적으로 두 변수 간의 관계를 나타내는 선을 통해 독립 변수와 종속 변수 간의 관계가 이어집니다.

적합 선은 회귀선이라고하며 Y = a * X + b 유형의 선형 방정식으로 표현됩니다.

이 공식은 데이터 보간을 기반으로 두 개 이상의 특성을 서로 연관시킵니다. 알고리즘에 입력 특성을 제공하면 회귀는 다른 특성을 반환합니다.

다중 선형 회귀 모델

하나 이상의 독립 변수가있는 경우 다음과 같은 모델을 가정하여 다중 선형 회귀를 말합니다.


y=b0 + b1x1 + b2x2 +… + Bnxn

  • y는 값에 대한 응답입니다. 즉, 모델에서 예측 한 결과를 나타냅니다.
  • b0 절편, 즉 x 일 때 y의 값입니다.i 모두 0과 같습니다.
  • 첫 번째 특성 b1 x의 계수입니다.1;
  • 또 다른 기능 bn x의 계수입니다.n;
  • x1,x2,…, Xn 모델의 독립 변수입니다.

기본적으로 방정식은 연속 종속 변수 (y)와 두 개 이상의 독립 변수 (x1, x2, x3…) 간의 관계를 설명합니다. 

예를 들어 엔진 출력, 실린더 수 및 연료 소비를 고려하여 자동차의 CO2 배출량 (종속 변수 y)을 추정하려는 경우. 후자의 요인은 독립 변수 x1, x2 및 x3입니다. 상수 bi는 실수이며 모델의 추정 회귀 계수라고합니다 .Y는 연속 종속 변수, 즉 b0, b1 x1, b2 x2 등의 합입니다. y는 실수입니다.

다중 회귀 분석은 독립 변수가 종속 변수에 미치는 영향을 식별하는 데 사용되는 방법입니다.

독립 변수가 변함에 따라 종속 변수가 어떻게 변하는 지 이해하면 실제 상황에서 변화의 영향이나 영향을 예측할 수 있습니다.

다중 선형 회귀를 사용하면 나이, 성별 등의 요인을 고려하여 체질량 지수가 변함에 따라 혈압이 어떻게 변하는 지 이해할 수 있으므로 어떤 일이 발생할 수 있는지 가정 할 수 있습니다.

다중 회귀를 사용하면 석유 또는 금의 미래 추세와 같은 가격 추세에 대한 추정치를 얻을 수 있습니다.

마지막으로, 다중 선형 회귀는 분석 할 레코드가 많은 경우에도 수행 학습 모델을 얻을 수 있으므로 기계 학습 및 인공 지능 분야에서 더 큰 관심을 받고 있습니다.

로지스틱 회귀 모델

로지스틱 회귀는 하나 이상의 설명 변수로 이항 결과를 모델링하는 것을 목표로하는 통계 도구입니다.

일반적으로 예 또는 아니오, 0 또는 1, 남성 또는 여성 등과 같이 두 가지 클래스 만있는 이진 문제에 사용됩니다.

이러한 방식으로 데이터를 설명하고 이진 종속 변수와 하나 이상의 명목 또는 순서 독립 변수 간의 관계를 설명 할 수 있습니다.

결과는 확률을 추정한 다음 로지스틱 함수를 사용하여 결정됩니다. defi획득한 확률 값에 가장 가까운 클래스(양수 또는 음수)를 종료합니다.

로지스틱 회귀를 가족을 분류하는 방법으로 고려할 수 있습니다. 지도 학습 알고리즘.

통계적 방법을 사용하여 로지스틱 회귀는 실제로 주어진 입력 값이 주어진 클래스에 속할 확률을 나타내는 결과를 생성 할 수 있습니다.

이항 로지스틱 회귀 문제에서 출력이 한 클래스에 속할 확률은 P이고 다른 클래스 1-P에 속합니다 (여기서 P는 확률을 나타 내기 때문에 0과 1 사이의 숫자입니다).

이항 로지스틱 회귀는 우리가 예측하려는 변수가 이진 인 모든 경우에 잘 작동합니다. 즉, 양수 클래스를 나타내는 값 1 또는 음수 클래스를 나타내는 값 0 만 사용할 수 있습니다.

로지스틱 회귀로 해결할 수있는 문제의 예는 다음과 같습니다.

  • 이메일이 스팸인지 아닌지;
  • 온라인 구매가 사기인지 아닌지, 구매 조건을 평가합니다.
  • 환자는 골절을 가지고 반경을 평가합니다.

로지스틱 회귀를 사용하면 예측하려는 항목 (종속 변수)과 하나 이상의 독립 변수, 즉 특성 간의 관계를 측정하는 예측 분석을 수행 할 수 있습니다. 확률 추정은 로지스틱 기능을 통해 수행됩니다.

확률은 이후 이진 값으로 변환되고 예측을 현실화하기 위해이 결과는 클래스 자체에 가까운 지 여부에 따라 해당 확률이 속한 클래스에 할당됩니다.

예를 들어, 로지스틱 함수의 적용이 0,85를 반환하면 입력이이를 클래스 1에 할당하여 포지티브 클래스를 생성했음을 의미합니다. 반대로 0,4 또는 더 일반적으로 <0,5와 같은 값을 얻은 경우 ..

혁신 뉴스레터
혁신에 관한 가장 중요한 뉴스를 놓치지 마세요. 이메일로 받으려면 가입하세요.

로지스틱 회귀는 로지스틱 함수를 사용하여 입력 값의 분류를 평가합니다.

시그 모이 드라고도하는 로지스틱 함수는 임의 수의 실수 값을 가져와 극단 값을 제외한 0과 1 사이의 값에 매핑 할 수있는 곡선입니다. 기능은 다음과 같습니다.

위치 :

  • e : 자연 로그의 밑 (Euler의 수 또는 엑셀 함수 exp ())
  • b0 + b1 * x : 변환하려는 실제 숫자 값입니다.

로지스틱 회귀에 사용되는 표현

로지스틱 회귀는 선형 회귀와 마찬가지로 방정식을 표현으로 사용합니다.

입력 값 (x)은 가중치 또는 계수 값을 사용하여 선형 적으로 결합되어 출력 값 (y)을 예측합니다. 선형 회귀와의 주요 차이점은 모델링 된 출력 값이 숫자 값이 아니라 이진 값 (0 또는 1)이라는 것입니다.

다음은 로지스틱 회귀 방정식의 예입니다.

y = e^(b0 + b1 * x) / (1 + e^(b0 + b1 * x))

비둘기:

  • y는 종속 변수, 즉 예측 값입니다.
  • b0은 편광 또는 절편 항입니다.
  • b1은 단일 입력 값 (x)에 대한 계수입니다.

입력 데이터의 각 열에는 훈련 데이터에서 학습해야하는 연관된 b 계수 (상수 실수 값)가 있습니다.

메모리 나 파일에 저장할 모델의 실제 표현은 방정식의 계수 (베타 또는 b 값)입니다.

로지스틱 회귀는 확률을 예측합니다 (기술 범위).

로지스틱 회귀는 기본 클래스의 확률을 모델링합니다.

예를 들어, 키에서 남성 또는 여성으로 사람들의 성을 모델링하고 첫 번째 클래스는 남성이 될 수 있으며 로지스틱 회귀 모델은 사람의 키 이상이 주어지면 남성이 될 확률로 작성 될 수 있다고 가정합니다. 공식적으로 :

P (성별 = 남성 | 신장)

다른 방식으로 작성하면 입력(X)이 사전 클래스에 속할 확률을 모델링합니다.definite(Y = 1)이면 다음과 같이 쓸 수 있습니다.

P(X) = P(Y = 1 | X)

실제로 확률 예측을하기 위해서는 확률 예측을 이진 값 (0 또는 1)으로 변환해야합니다.

로지스틱 회귀는 선형 방법이지만 예측은 로지스틱 함수를 사용하여 변환됩니다. 이것의 영향은 우리가 더 이상 선형 회귀를 사용할 수있는 입력의 선형 조합으로 예측을 이해할 수 없다는 것입니다. 예를 들어 위에서 계속하면 모델은 다음과 같이 표현 될 수 있습니다.

피 (X) = e ^ (b0 + b1 * X) / (1 + e ^ (b0 + b1 * X))

이제 다음과 같이 방정식을 뒤집을 수 있습니다. 반대로하기 위해 다른쪽에 자연 로그를 추가하여 한쪽에서 e를 제거하여 진행할 수 있습니다.

ln (p (X) / 1-p (X)) = b0 + b1 * X

이런 식으로 우리는 오른쪽의 출력 계산이 선형 회귀와 마찬가지로 다시 선형이고 왼쪽의 입력은 기본 클래스 확률의 로그라는 사실을 얻습니다.

확률은 사건의 확률을 사건이 없을 확률로 나눈 비율로 계산됩니다. 0,8 / (1-0,8) 그 결과는 4입니다. 따라서 대신 다음과 같이 작성할 수 있습니다.

ln (홀수) = b0 + b1 * X

확률은 로그 변환되므로이를 왼쪽 로그 확률 또는 프로 비트라고합니다.

지수를 오른쪽으로 반환하고 다음과 같이 쓸 수 있습니다.

확률 = e ^ (b0 + b1 * X)

이 모든 것은 실제로 모델이 여전히 입력의 선형 조합이지만 이 선형 조합이 사전 클래스의 로그 확률을 참조한다는 것을 이해하는 데 도움이 됩니다.defi니타.

로지스틱 회귀 모델 학습

로지스틱 회귀 알고리즘의 계수 (베타 또는 b 값)는 학습 단계에서 추정됩니다. 이를 위해 최대 가능성 추정을 사용합니다.

최대 우도 추정은 여러 기계 학습 알고리즘에서 사용되는 학습 알고리즘입니다. 모델에서 얻은 계수는 유치원 수업에서 1에 매우 가까운 값(예: 남성)을 예측합니다.definite 및 다른 클래스의 경우 0에 매우 가까운 값(예: 여성). 로지스틱 회귀의 최대 우도는 데이터의 확률(예: 데이터가 기본 클래스인 경우 확률 1)에 비해 모델에서 예측한 확률의 오류를 최소화하는 계수(베타 또는 ob 값)에 대한 값을 찾는 절차입니다. .

최소화 알고리즘을 사용하여 훈련 데이터에 가장 적합한 계수 값을 최적화합니다. 이것은 종종 효율적인 수치 최적화 알고리즘을 사용하여 실제로 구현됩니다.

Ercole Palmeri


혁신 뉴스레터
혁신에 관한 가장 중요한 뉴스를 놓치지 마세요. 이메일로 받으려면 가입하세요.

최근 기사

미래가 여기에 있습니다: 해운 산업이 글로벌 경제를 어떻게 혁신하고 있습니까?

해군 부문은 150억 시장을 향해 항해해온 진정한 글로벌 경제강국입니다.

1 월 2024

출판사와 OpenAI, 인공지능이 처리하는 정보의 흐름을 규제하기 위한 계약 체결

지난 월요일, Financial Times는 OpenAI와의 계약을 발표했습니다. FT는 세계적 수준의 저널리즘에 라이선스를 부여합니다…

4월 30 2024

온라인 결제: 스트리밍 서비스를 통해 영원히 결제하는 방법은 다음과 같습니다.

수백만 명의 사람들이 스트리밍 서비스 비용을 지불하고 월간 구독료를 지불합니다. 당신은…

4월 29 2024

Veeam은 보호부터 대응, 복구까지 랜섬웨어에 대한 가장 포괄적인 지원을 제공합니다.

Coveware by Veeam은 계속해서 사이버 강탈 사건 대응 서비스를 제공할 것입니다. Coveware는 법의학 및 교정 기능을 제공할 것입니다…

4월 23 2024