קלאַסאַפאַקיישאַן פון מאַשין לערנען אַלגערידאַמז: לינעאַר רעגרעססיאָן, קלאַסאַפאַקיישאַן און קלאַסטערינג

Machine Learning האט גרויס סימאַלעראַטיז מיט מאַטאַמאַטיקאַל אַפּטאַמאַזיישאַן, וואָס גיט מעטהאָדס, טיריז און אַפּלאַקיישאַן דאָומיינז. 

לערנען פון מאַשין איז פארמולירט ווי "מינאַמייזאַז פּראָבלעמס" פון אַ אָנווער פונקציע קעגן אַ געגעבן גאַנג פון ביישפילן (טריינינג גאַנג). דעם שטריך יקספּרעסאַז די דיסקרעפּאַנסי צווישן די וואַלועס פּרעדיקטעד דורך די טריינינג פון די מאָדעל און די דערוואַרט וואַלועס פֿאַר יעדער בייַשפּיל. 

די לעצט ציל איז צו לערנען די מאָדעל די פיייקייט צו פאָרויסזאָגן ריכטיק אויף אַ גאַנג פון ינסטאַנסיז וואָס זענען נישט פאָרשטעלן אין די טריינינג גאַנג.

א מעטאָד לויט וואָס עס איז מעגלעך צו ויסטיילן פאַרשידענע קאַטעגאָריעס פון אַלגערידאַם איז דער טיפּ פון רעזולטאַט דערוואַרט פון אַ זיכער סיסטעם פון מאַשין וויסן. 

צווישן די הויפּט קאַטעגאָריעס מיר געפֿינען:

• La קלאַסיפֿיקאַציע: די ינפּוץ זענען צעטיילט אין צוויי אָדער מער קלאסן און די לערנען סיסטעם מוזן פּראָדוצירן אַ מאָדעל וואָס איז ביכולת צו באַשטימען איין אָדער מער קלאסן צווישן די אינפֿאָרמאַציע וואָס איז געפֿינט צו אַ אַרייַנשרייַב.די טייפּס פון טאַסקס זענען טיפּיקלי גערעדט מיט סופּערווייזד לערנען טעקניקס. 

  אַ ביישפּיל פון קלאַסאַפאַקיישאַן איז די אַסיינמאַנט פון איין אָדער מער לאַבעלס צו אַ בילד באזירט אויף די אַבדזשעקץ אָדער סאַבדזשעקץ קאַנטיינד אין עס;

• La regression: קאַנסעפּטשואַלי ענלעך צו קלאַסאַפאַקיישאַן מיט די חילוק אַז דער רעזולטאַט האט אַ קעסיידערדיק און ניט-דיסקרעטע פעלד.עס איז יוזשאַוואַלי געראטן מיט סופּערווייזד לערנען. 

  א ביישפיל פון רעגרעססיאָן איז די אָפּשאַצונג פון דער טיפעניש פון אַ סצענע פֿון זיין רעפּראַזענץ אין די פאָרעם פון אַ קאָליר בילד. 

  אין פאַקט, די פעלד פון דער רעזולטאַט פּראָדוקציע איז כמעט ינפאַנאַט און ניט לימיטעד צו אַ זיכער דיסקרעטע גאַנג פון פּאַסאַבילאַטיז;

• Il Clustering: וואו איז עס אַ סכום פון דאַטן איז צעטיילט אין גרופּעס וואָס, ניט ענלעך די קלאַסאַפאַקיישאַן, זענען ניט באַוווסט פריער.די נאַטור פון די פראבלעמען וואָס זייַנען די קאַטעגאָריע, טיפּיקלי מאַכן זיי ניט ונסערוויסעד לערנען טאַסקס.

לינעאַר ראַגרעשאַן מאָדעל

לינעאַר ראַגרעשאַן איז ביןוויידלי געוויינט מאָדעל געניצט צו אָפּשאַצן פאַקטיש וואַלועס אַזאַ ווי:

• פּרייַז פון הייזער,
• נומער פון רופט
• גאַנץ פארקויפונג פּער מענטש,

און גייט לויט די קריטעריאָן פון קעסיידערדיק וועריאַבאַלז:

• קוואַדראַט מעטער,
• אַבאָנעמענט צו אַ קראַנט חשבון
• דערציונג פון דעם מענטש

אין לינעאַר ראַגרעשאַן, אַ שייכות צווישן פרייַ וועריאַבאַלז און אָפענגיק וועריאַבאַלז איז נאכגעגאנגען דורך אַ שורה וואָס יוזשאַוואַלי רעפּראַזענץ די שייכות צווישן די צוויי וועריאַבאַלז.

די פּאַסיק שורה איז באקאנט ווי די רעגרעססיאָן שורה און איז רעפּריזענטיד דורך אַ לינעאַר יקווייזשאַן פון די טיפּ Y = a * X + b.

די פאָרמולע איז באזירט אויף ינטערפּאָלאַטינג דאַטן צו פֿאַרבינדן צוויי אָדער מער קעראַקטעריסטיקס מיט יעדער אנדערער. ווען איר געבן די אַלגערידאַם אַ אַרייַנשרייַב כאַראַקטעריסטיש, די ראַגרעשאַן קערט די אנדערע כאַראַקטעריסטיש.

קייפל לינעאַר ראַגרעשאַן מאָדעל

ווען מיר האָבן מער ווי איין פרייַ וואַריאַנט, מיר רעדן פון קייפל לינעאַר ראַגרעשאַן, אַסומינג אַ מאָדעל ווי די פאלגענדע:

y = ב₀ + b₁x₁ + b₂x₂ +… + B_nx_n

• y איז דער ענטפער צו די וואַלועס, ד"ה עס רעפּראַזענץ די רעזולטאַט פּרעדיקטעד דורך די מאָדעל;
• b₀ איז די ינערסעפּט, דאָס איז די ווערט פון y ווען x_i זיי זענען אַלע גלייַך צו 0;
• דער ערשטער כאַראַקטעריסטיש ב₁ איז די קאָואַפישאַנט פון x₁;
• נאָך אן אנדער שטריך ב_n איז די קאָואַפישאַנט פון x_n;
• x₁,x₂,…, X_n זענען די פרייַ וועריאַבאַלז פון די מאָדעל.

בייסיקלי, די יקווייזשאַן דערקלערט די שייכות צווישן אַ קעסיידערדיק אָפענגיק בייַטעוודיק (y) און צוויי אָדער מער פרייַ וועריאַבאַלז (x1, x2, x3…). 

צום ביישפּיל, אויב מיר געוואלט צו אָפּשאַצן די קאָקסנומקס ימישאַן פון אַ מאַשין (אָפענגיק וואַריאַבלע y) קאַנסידערינג די מאַכט פון די מאָטאָר, די נומער פון סילינדערס און די ברענוואַרג קאַנסאַמשאַן. די יענער סיבות זענען די פרייַ וועריאַבאַלז קס 2, קס 1 און קס 2. די קאַנסטאַנץ ביי זענען פאַקטיש נומערן און זענען גערופֿן די עסטימאַטעד ראַגרעשאַן קאָואַפישאַנץ פון די מאָדעל. y וועט זיין אַ פאַקטיש נומער.

קייפל רעגרעססיאָן אַנאַליסיס איז אַ מעטאָד וואָס איז גענוצט צו ידענטיפיצירן די ווירקונג וואָס אומאָפּהענגיק וועריאַבאַלז האָבן אויף אַ אָפענגיק בייַטעוודיק.

צו פֿאַרשטיין ווי די אָפענגיק וועריאַבאַלז ענדערונגען ווי די פרייַ וועריאַבאַלז ענדערונגען אַלאַוז אונדז צו פאָרויסזאָגן די יפעקץ אָדער ימפּאַקץ פון ענדערונגען אין פאַקטיש סיטואַטיאָנס.

ניצן קייפל לינעאַר ראַגרעשאַן, עס איז מעגלעך צו פֿאַרשטיין ווי בלוט דרוק ענדערונגען ווי די גוף מאַסע אינדעקס ענדערונגען דורך קאַנסידערינג סיבות אַזאַ ווי עלטער, געשלעכט, עטק.

מיט קייפל ראַגרעשאַן, מיר קענען באַקומען עסטאַמאַץ אויף פּרייַז טרענדס, אַזאַ ווי די צוקונפֿט גאַנג פֿאַר ייל אָדער גאָלד.

לעסאָף, קייפל לינעאַר ראַגרעשאַן איז יקספּיריאַנסט אַ גרעסערע אינטערעס אין די פעלד פון מאַשין לערנען און קינסטלעך סייכל ווייַל עס אַלאַוז צו באַקומען פּערפאָרמינג לערנען מאָדעלס אפילו אין די פאַל פון אַ גרויס נומער פון רעקאָרדס צו זיין אַנאַלייזד.

לאָגיסטיק רעגרעססיאָן מאָדעל

לאָגיסטיק ראַגרעשאַן איז אַ סטאַטיסטיש געצייַג וואָס יימז צו מאָדעל אַ בינאָמיאַל רעזולטאַט מיט איין אָדער מער יקספּלאַנאַטאָרי וועריאַבאַלז.

עס איז יוזשאַוואַלי געניצט פֿאַר ביינערי פּראָבלעמס, ווו עס זענען בלויז צוויי קלאסן, למשל יאָ אָדער ניין, 0 אָדער 1, זכר אָדער ווייַבלעך עטק ...

אויף דעם וועג עס איז מעגלעך צו דיסקרייבירן די דאַטן און דערקלערן די שייכות צווישן אַ ביינערי אָפענגיק בייַטעוודיק און איינער אָדער מער נאָמינאַל אָדער אָרדינאַל ינדאַקייטערז.

דער רעזולטאַט איז באשלאסן דאַנק צו די נוצן פון אַ לאָגיסטיק פֿונקציע, וואָס עסטאַמאַץ אַ מאַשמאָעס און דעמאָלט defiענדס די קלאָוסאַסט קלאַס (positive אָדער נעגאַטיוו) צו די באקומען מאַשמאָעס ווערט.

מיר קענען באַטראַכטן לאָגיסטיק ראַגרעשאַן ווי אַ מעטאָד פון קלאַסאַפייינג די משפּחה פון סופּערווייזד לערנען אַלגערידאַמז.

מיט סטאַטיסטיש מעטהאָדס, די לאָגיסטיק ראַגרעשאַן אַלאַוז צו דזשענערייט אַ רעזולטאַט וואָס, אין פאַקט, רעפּראַזענץ אַ מאַשמאָעס אַז אַ געגעבן אַרייַנשרייַב ווערט געהערט צו אַ געגעבן קלאַס.

אין בינאָמיאַל לאָגיסטיק רעגרעססיאָן פּראָבלעמס, די מאַשמאָעס אַז דער רעזולטאַט געהערט צו איין קלאַס וועט זיין P, בשעת עס געהערן צו די אנדערע קלאַס 1-P (ווו P איז אַ נומער צווישן 0 און 1 ווייַל עס יקספּרעסאַז אַ מאַשמאָעס).

די בינאָמיאַל לאָגיסטיק רעגרעססיאָן אַרבעט געזונט אין אַלע די קאַסעס אין וואָס די וואַריאַנט וואָס מיר פּרווון צו פאָרויסזאָגן איז ביינערי, דאָס הייסט, עס קען נאָר יבערנעמען צוויי וואַלועס: די ווערט 1 וואָס רעפּראַזענץ די positive קלאַס, אָדער די ווערט 0 וואָס רעפּראַזענץ די נעגאַטיוו קלאַס.

ביישפילן פון פּראָבלעמס וואָס קענען זיין סאַלווד דורך לאָגיסטיק ראַגרעשאַן זענען:

• אַן E- בריוו איז ספּאַם אָדער נישט;
• אַן אָנליין קויפן איז פראָדזשאַלאַנט אָדער נישט, עוואַלואַטינג די קויפן טנאָים;
• א פאציענט האט א בראָך, אפשאצנדיק זיין ראדיא.

מיט לאָגיסטיק ראַגרעשאַן מיר קענען טאָן פּרידיקטיוו אַנאַליסיס, און מעסטן די שייכות צווישן וואָס מיר ווילן צו פאָרויסזאָגן (אָפענגיק וועריאַבלע) און איינער אָדער מער פרייַ וועריאַבאַלז, ד"ה די קעראַקטעריסטיקס. אָפּשאַצונג פון מאַשמאָעס איז דורכגעקאָכט דורך אַ לאָגיסטיק פונקציע.

דער מאַשמאָעס זענען דערנאָך טראַנספאָרמעד אין ביינערי וואַלועס, און אין סדר צו מאַכן די פאָרויסזאָגן פאַקטיש, דעם רעזולטאַט איז באַשטימט צו די קלאַס עס געהערט צו, באזירט אויף צי עס איז נאָענט צו די קלאַס זיך.

למשל, אויב די אַפּלאַקיישאַן פון די לאָגיסטיק פונקציע קערט 0,85, עס מיטל אַז די ינפּוט דזשענערייטאַד אַ positive קלאַס דורך אַסיינינג עס צו קלאַס 1. קאָנווערסעלי אויב עס האט באקומען אַ ווערט ווי 0,4 אָדער מער בכלל <0,5 ..

די לאָגיסטיק רעגרעססיאָן ניצט די לאָגיסטיק פונקציע צו אָפּשאַצן די קלאַסאַפאַקיישאַן פון די אַרייַנשרייַב וואַלועס.

די לאָגיסטיק פונקציע, אויך גערופן סיגמאָיד, איז אַ ויסבייג וואָס איז ביכולת צו נעמען קיין נומער פון פאַקטיש ווערט און מאַפּינג עס צו אַ ווערט צווישן 0 און 1, עקסקלודינג יקסטרימז. די פונקציע איז:

וואו איז עס:

• e: באַזע פון ​​נאַטירלעך לאַגערידאַמז (עולער ס נומער, אָדער עקסעל פונקציע עקס ())
• b0 + b1 * x: איז די פאַקטיש נומעריק ווערט איר ווילן צו יבערמאַכן.

פאַרטרעטונג געניצט פֿאַר לאָגיסטיק ראַגרעשאַן

לאָגיסטיק ראַגרעשאַן ניצט אַן יקווייזשאַן ווי אַ פאַרטרעטונג, פיל ווי לינעאַר ראַגרעשאַן

די אַרייַנשרייַב וואַלועס (קס) זענען לינעאַרלי קאַמביינד מיט ווייץ אָדער קאָואַפישאַנט וואַלועס צו פאָרויסזאָגן אַ רעזולטאַט ווערט (y). א שליסל חילוק פון לינעאַר ראַגרעשאַן איז אַז די מאַדאַלד רעזולטאַט ווערט איז אַ ביינערי ווערט (0 אָדער 1) אלא אַ נומעריק ווערט.

דאָ איז אַ בייַשפּיל פון אַ לאָגיסטיק ראַגרעשאַן יקווייזשאַן:

י = ע ^ (ב0 + ב1 * רענטגענ) / (1 + ע ^ (ב0 + ב1 * רענטגענ))

דאַוו:

• y איז די אָפענגיק וועריאַבלע, ד"ה די פּרעדיקטעד ווערט;
• באָ 0 איז די פּאָולעראַזיישאַן אָדער ינערסעפּט טערמין;
• b1 איז די קאָואַפישאַנט פֿאַר די איין אַרייַנשרייַב ווערט (x).

יעדער זייַל אין די אַרייַנשרייַב דאַטן האט אַ פארבונדן ב קאָואַפישאַנט (אַ קעסיידערדיק פאַקטיש ווערט) וואָס מוזן זיין געלערנט פון די טריינינג דאַטן.

די פאַקטיש פאַרטרעטונג פון די מאָדעל וואָס איר וואָלט קראָם אין זיקאָרן אָדער אַ טעקע זענען די קאָואַפישאַנץ אין די יקווייזשאַן (די ביתא אָדער ב ווערט).

לאָגיסטיק רעגרעססיאָן פּרידיקס מאַשמאָעס (טעכניש קייט)

די לאָגיסטיק ראַגרעשאַן מאָדעל די מאַשמאָעס פון די פעליקייַט קלאַס.

ווי אַ ביישפּיל, לאָזן אונדז יבערנעמען אַז מיר מאָדעלינג די געשלעכט פון מענטשן ווי זכר אָדער ווייַבלעך פֿון זייער הייך, דער ערשטער קלאַס קען זיין זכר, און די לאָגיסטיק ראַגרעשאַן מאָדעל קען זיין געשריבן ווי די מאַשמאָעס פון זייַענדיק מענשאַס געגעבן אַ מענטש 'ס הייך, אָדער מער. פאָרמאַלי:

פּ (געשלעכט = זכר | הייך)

געשריבן אויף אן אנדער וועג, מיר מאָדעלינג די מאַשמאָעס אַז אַ אַרייַנשרייַב (X) געהערט צו די קלאַס פּרעdefiניט (Y = 1), מיר קענען שרייַבן עס ווי:

פּ (רענטגענ) = פּ (י = 1 | רענטגענ)

די מאַשמאָעס פאָרויסזאָגן מוזן זיין פארוואנדלען אין ביינערי וואַלועס (0 אָדער 1) צו אַקשלי מאַכן אַ מאַשמאָעס פאָרויסזאָגן.

לאָגיסטיק ראַגרעשאַן איז אַ לינעאַר אופֿן, אָבער פֿאָרויסזאָגן טראַנזפאָרמד ניצן די לאָגיסטיק פונקציע. די פּראַל פון דעם איז אַז מיר קענען ניט מער פֿאַרשטיין פֿאָרויסזאָגן ווי אַ לינעאַר קאָמבינאַציע פון ​​ינפּוץ ווי מיר קענען מיט לינעאַר ראַגרעשאַן, למשל, פאָרזעצן פֿון אויבן, די מאָדעל קענען זיין אויסגעדריקט ווי:

פּ (X) = e ^ (b0 + b1 * X) / (1 + e ^ (b0 + b1 * X))

איצט מיר קענען פאַרקערט די יקווייזשאַן ווי גייט. צו פאַרקערט עס, מיר קענען גיין דורך רימוווינג די E אויף איין זייַט דורך אַ נאַטירלעך לאָגאַריטם אויף די אנדערע זייַט.

ln (p (X) / 1 - p (X)) = b0 + b1 * X

אויף דעם וועג מיר באַקומען די פאַקט אַז די קאַמפּיאַטיישאַן פון די רעזולטאַט איז רעכט לינעאַר (פּונקט ווי לינעאַר ראַגרעשאַן) און די אַרייַנפיר אויף די לינקס איז אַ לאָגאַריטהם פון די מאַשמאָעס פון די פעליקייַט קלאַס.

די מאַשמאָעס זענען קאַלקיאַלייטיד ווי אַ פאַרהעלטעניש פון די מאַשמאָעס פון די געשעעניש צעטיילט דורך די מאַשמאָעס פון קיין געשעעניש, ע.ג. 0,8 / (1-0,8) וועמענס רעזולטאַט איז 4. אַזוי מיר קען אַנשטאָט שרייַבן:

ln (שאַנסן) = b0 + b1 * X

זינט מאַשמאָעס זענען קלאָץ-טראַנספאָרמעד, מיר רופן דעם לינקס-סיידיד קלאָץ-שאַנסן אָדער פּראָביט.

מיר קענען צוריקקומען די עקספּאָנענט צו די רעכט און שרייַבן עס ווי:

מאַשמאָעס = e ^ (ב 0 + ב 1 * רענטגענ)

אַלע דעם העלפּס אונדז צו פֿאַרשטיין אַז טאַקע דער מאָדעל איז נאָך אַ לינעאַר קאָמבינאַציע פון ​​די ינפּוץ, אָבער אַז די לינעאַר קאָמבינאַציע רעפערס צו די לאָג מאַשמאָעס פון די פאַר קלאַס.defiניטאַ.

לערנען די לאָגיסטיק ראַגרעשאַן מאָדעל

די קאָואַפישאַנץ (ביתא אָדער ב וואַלועס) פון די לאָגיסטיק ראַגרעשאַן אַלגערידאַם זענען עסטימאַטעד אין די לערנען פאַסע. צו נוצן דאָס, מיר נוצן מאַקסימום אָפּשאַצונג פון די ליקעליהאָאָד.

מאַקסימום ליקעליהאָאָד אָפּשאַצונג איז אַ לערנען אַלגערידאַם געניצט דורך עטלעכע מאַשין לערנען אַלגערידאַמז. די קאָואַפישאַנץ ריזאַלטינג פון די מאָדעל פאָרויסזאָגן אַ ווערט זייער נאָענט צו 1 (למשל זכר) פֿאַר די פאַר-שולע קלאַסdefiניט און אַ ווערט זייער נאָענט צו 0 (למשל ווייַבלעך) פֿאַר די אנדערע קלאַס. מאַקסימום ליקעליהאָאָד פֿאַר לאָגיסטיק ראַגרעשאַן איז אַ פּראָצעדור פון דערגייונג וואַלועס פֿאַר קאָואַפישאַנץ (ביתא אָדער אָב וואַלועס) וואָס מינאַמייז די טעות אין די מאַשמאָעס פּרעדיקטעד דורך די מאָדעל קאָרעוו צו די אין די דאַטן (למשל מאַשמאָעס 1 אויב די דאַטן זענען די ערשטיק קלאַס) .

מיר וועלן נוצן אַ מינימיזאַטיאָן אַלגערידאַם צו אָפּטימיזירן די בעסטער קאָואַפישאַנט וואַלועס פֿאַר די טריינינג דאַטן. דאָס איז אָפט ימפּלאַמענאַד אין פיר ניצן אַ עפעקטיוו נומעריקאַל אַפּטאַמאַזיישאַן אַלגערידאַם.

Ercole Palmeri

---