طبقه بندی الگوریتم های یادگیری ماشین: رگرسیون خطی ، طبقه بندی و خوشه بندی

یادگیری ماشینی شباهت های زیادی با بهینه سازی ریاضی دارد ، که روش ها ، تئوری ها و حوزه های کاربرد را فراهم می کند. 

یادگیری ماشینی به عنوان "مشکلات به حداقل رساندن" یک عملکرد ضرر در برابر مجموعه معینی از نمونه ها (مجموعه آموزش) فرموله شده است. این تابع اختلاف بین مقادیر پیش بینی شده توسط مدل در حال آموزش و مقادیر مورد انتظار برای هر نمونه را بیان می کند. 

هدف نهایی ، آموزش مدل توانایی پیش بینی صحیح در مجموعه مواردی است که در مجموعه آموزش وجود ندارد.

روشی که براساس آن می توان دسته های مختلف الگوریتم را متمایز کرد، نوع خروجی مورد انتظار از یک سیستم معین است. فراگیری ماشین. 

در میان دسته های اصلی که می یابیم:

• La طبقه بندی: ورودی ها به دو یا چند کلاس تقسیم می شوند و سیستم یادگیری باید مدلی را تولید کند که بتواند یک یا چند کلاس را در بین آن دسته از ورودی ها اختصاص دهد.این نوع کارها معمولاً با استفاده از تکنیکهای یادگیری نظارت شده انجام می شود. 

  نمونه ای از طبقه بندی ، اختصاص یک یا چند برچسب به یک تصویر بر اساس اشیاء یا موضوعات موجود در آن است.

• La پسرفت: از نظر مفهومی شبیه به طبقه بندی است با این تفاوت که خروجی دامنه مداوم و غیر گسسته ای دارد.معمولاً با یادگیری نظارت شده مدیریت می شود. 

  نمونه ای از رگرسیون تخمین عمق یک صحنه از نمایش آن در قالب تصویر رنگی است. 

  در حقیقت ، دامنه ی خروجی مورد نظر واقعاً نامتناهی است ، و محدود به مجموعه ای از امکانات خاص نیست.

• Il خوشه بندی: کجاست مجموعه ای از داده ها به گروه هایی تقسیم می شوند که ، بر خلاف طبقه بندی ، پیش از این شناخته نمی شوند.ماهیت مشکلات مربوط به این دسته به طور معمول باعث می شود که آنها وظایف یادگیری بدون نظارت داشته باشند.

مدل رگرسیون خطی ساده

رگرسیون خطی هستممدل گسترده ای که برای تخمین مقادیر واقعی استفاده می شود مانند:

• هزینه خانه ها ،
• تعداد تماس ،
• کل فروش به ازای هر نفر ،

و معیار متغیرهای مداوم را دنبال می کند:

• متر مربع،
• اشتراک در یک حساب جاری ،
• آموزش شخص

در رگرسیون خطی ، رابطه ای بین متغیرهای مستقل و متغیرهای وابسته از طریق یک خط دنبال می شود که معمولاً بیانگر رابطه بین دو متغیر است.

خط تناسب به خط رگرسیون معروف است و با یک معادله خطی از نوع Y = a * X + b نشان داده می شود.

فرمول مبتنی بر درون یابی داده ها به منظور پیوند دادن دو یا چند ویژگی با یکدیگر است. وقتی به الگوریتم یک ویژگی ورودی می دهید ، رگرسیون ویژگی دیگر را برمی گرداند.

مدل رگرسیون خطی چندگانه

هنگامی که ما بیش از یک متغیر مستقل داریم ، پس از فرض یک مدل مانند زیر ، از رگرسیون خطی چندگانه صحبت می کنیم:

y = ب₀ + ب₁x₁ + ب₂x₂ +… + ب_nx_n

• y پاسخ به مقادیر است ، یعنی نتیجه را پیش بینی شده توسط مدل نشان می دهد.
• b₀ رهگیری است ، یعنی مقدار y هنگام x است_i همه آنها برابر 0 هستند؛
• اولین ویژگی ب₁ ضریب x است₁;
• یکی دیگر از ویژگی های ب_n ضریب x است_n;
• x₁,x₂،…، ایکس_n متغیرهای مستقل مدل هستند.

در عمل ، معادله رابطه بین متغیر وابسته مداوم (y) و دو یا چند متغیر مستقل (x1 ، x2 ، x3 ...) را توضیح می دهد. 

به عنوان مثال ، اگر بخواهیم میزان انرژی CO2 از یک ماشین (متغیر وابسته y) را با توجه به قدرت موتور ، تعداد سیلندرها و میزان مصرف سوخت تخمین بزنیم. این عوامل دوم متغیرهای مستقل x1 ، x2 و x3 هستند. ثابت ها اعداد واقعی هستند و ضرایب رگرسیون برآورد شده از مدل نامیده می شوند. Y متغیر وابسته مداوم است ، یعنی مجموع b0 ، b1 x1 ، b2 x2 و غیره است. y یک شماره واقعی خواهد بود

تحلیل رگرسیون چندگانه روشی است که برای شناسایی تأثیر متغیرهای مستقل بر یک متغیر وابسته به کار می رود.

درک چگونگی تغییر متغیر وابسته با تغییر متغیرهای مستقل به ما امکان می دهد تا اثرات یا تأثیرات تغییرات در موقعیت های واقعی را پیش بینی کنیم.

با استفاده از رگرسیون خطی چندگانه می توان فهمید که چگونه فشار خون تغییر می کند زیرا شاخص توده بدن با در نظر گرفتن عواملی مانند سن ، جنس ، و غیره تغییر می کند ، بنابراین فرض کنید چه اتفاقی می افتد.

با رگرسیون چندگانه می توان برآوردی از روند قیمت ها ، مانند روند آینده نفت یا طلا دریافت کرد.

سرانجام ، رگرسیون خطی چندگانه علاقه بیشتری به زمینه یادگیری ماشین و هوش مصنوعی پیدا می کند ، زیرا امکان دستیابی به مدل های یادگیری را حتی در مورد تعداد زیادی از پرونده ها برای تجزیه و تحلیل به دست می آورد.

مدل رگرسیون لجستیک

رگرسیون لجستیک ابزاری آماری است که هدف آن مدل سازی یک نتیجه دوتایی با یک یا چند متغیر توضیحی است.

به طور کلی برای مشکلات باینری مورد استفاده قرار می گیرد ، جایی که فقط دو کلاس وجود دارد ، به عنوان مثال بله یا خیر ، 0 یا 1 ، مرد یا زن و غیره ...

از این طریق می توان داده ها را توصیف کرد و رابطه بین متغیر وابسته باینری و یک یا چند متغیر اسمی یا ترتیبی مستقل را توضیح داد.

نتیجه به لطف استفاده از یک تابع لجستیک تعیین می شود که یک احتمال را تخمین می زند و سپس defiنزدیکترین کلاس (مثبت یا منفی) به مقدار احتمال بدست آمده را خاتمه می دهد.

ما می توانیم رگرسیون لجستیک را به عنوان روشی برای طبقه بندی خانواده در نظر بگیریم الگوریتم های یادگیری نظارت شده.

با استفاده از روشهای آماری ، رگرسیون لجستیک امکان ایجاد نتیجه را می دهد که در حقیقت ، این احتمال را نشان می دهد که یک مقدار ورودی مشخص به یک کلاس معین تعلق دارد.

در مشكلات رگرسيون لجستيك ديناميك احتمال اينكه خروج به يك كلاس تعلق داشته باشد P خواهد بود در حالي كه متعلق به طبقه ديگر 1-P است (جايي كه P عددي بين 0 تا 1 است زيرا اين احتمال را نشان مي دهد).

رگرسیون لجستیک لاینالیستی در تمام مواردی که متغیر مورد نظر برای پیش بینی ما باینری است ، خوب عمل می کند ، یعنی می تواند تنها دو مقدار داشته باشد: مقدار 1 که نشان دهنده کلاس مثبت است یا مقدار 0 که نشان دهنده کلاس منفی است.

نمونه هایی از مشکلاتی که با استفاده از رگرسیون لجستیک قابل حل هستند عبارتند از:

• نامه الکترونیکی هرزنامه است یا نه.
• خرید آنلاین تقلبی است یا نه ، و شرایط خرید را ارزیابی می کند.
• بیمار دارای شکستگی است و شعاع آن را ارزیابی می کند.

با رگرسیون لجستیک می توانیم تجزیه و تحلیل پیش بینی کننده را انجام دهیم ، رابطه بین آنچه را که می خواهیم پیش بینی کنیم (متغیر وابسته) و یک یا چند متغیر مستقل ، یعنی خصوصیات ، اندازه گیری کنیم. تخمین احتمال از طریق یک تابع لجستیک انجام می شود.

احتمالات متعاقباً به مقادیر باینری تبدیل می شوند و برای واقعی تر شدن پیش بینی ، این نتیجه براساس اینكه نزدیك به خود کلاس باشد یا نه ، به كلاس متعلق به آن تعلق می گیرد.

به عنوان مثال ، اگر کاربرد تابع لجستیک 0,85 برگرداند ، بدین معناست که ورودی با اختصاص دادن به کلاس 1 یک کلاس مثبت ایجاد کرده است. برعکس اگر مقداری مانند 0,4 یا به طور کلی کمتر از 0,5 بدست آورده باشد ..

رگرسیون لجستیک برای ارزیابی طبقه بندی مقادیر ورودی از تابع لجستیک استفاده می کند.

عملکرد لجستیک ، که به آن سیگموئید نیز گفته می شود ، منحنی است که می تواند هر تعداد از مقدار واقعی را در نظر بگیرد و آن را به استثنای افراطی ، از یک مقدار بین 0 تا 1 نگاشت کند. عملکرد این است:

کجاست:

• e: پایه لگاریتم های طبیعی (شماره اویلر ، یا عملکرد اکسل exp ())
• b0 + b1 * x: مقدار عددی واقعی است که می خواهید تبدیل کنید.

نمایندگی مورد استفاده برای رگرسیون لجستیک

رگرسیون لجستیک از معادله ای به عنوان بازنمایی استفاده می کند ، دقیقاً مثل رگرسیون خطی

مقادیر ورودی (x) بصورت خطی با استفاده از وزنها یا مقادیر ضریب ترکیب می شوند تا مقدار خروجی (y) را پیش بینی کنید. یک تفاوت کلیدی از رگرسیون خطی در این است که مقدار خروجی مدل شده به جای یک عددی یک مقدار باینری (0 یا 1) است.

در اینجا مثالی از معادله رگرسیون لجستیک آورده شده است:

y = e^(b0 + b1 * x) / (1 + e^(b0 + b1 * x))

که در آن:

• y متغیر وابسته است ، یعنی مقدار پیش بینی شده؛
• b0 اصطلاح قطبش یا رهگیری است.
• b1 ضریب مقدار ورودی واحد (x) است.

هر ستون در داده های ورودی دارای ضریب b (یک مقدار واقعی ثابت) است که باید از داده های آموزش آموخته شود.

بازنمایی واقعی مدلی که در حافظه یا پرونده ذخیره می کنید ضرایب معادله (مقدار بتا یا b) است.

رگرسیون لجستیک احتمالات (دامنه فنی) را پیش بینی می کند

رگرسیون لجستیک احتمال کلاس پیش فرض را مدل می کند.

به عنوان نمونه ، فرض كنیم كه از جنسیت افراد به عنوان نر یا ماده از قد آنها الگوسازی می كنیم ، طبقه اول می تواند نر باشد ، و مدل رگرسیون لجستیک می تواند به عنوان احتمال مرد بودن از قد قد فرد یا بیشتر نوشته شود. رسما:

P (جنس = مرد | قد)

به روشی دیگر، ما در حال مدل سازی احتمال تعلق یک ورودی (X) به کلاس pre هستیمdefinite (Y = 1)، می توانیم آن را به صورت زیر بنویسیم:

P(X) = P(Y = 1 | X)

پیش بینی احتمال باید به مقادیر باینری (0 یا 1) تبدیل شود تا در واقع یک پیش بینی احتمال ایجاد شود.

رگرسیون لجستیک روشی خطی است ، اما پیش بینی ها با استفاده از عملکرد لجستیک تبدیل می شوند. تأثیر این امر این است که ما دیگر نمی توان پیش بینی ها را به عنوان ترکیبی خطی از ورودی ها که می توانیم با رگرسیون خطی بفهمیم ، برای مثال ، با ادامه از بالا ، می توان مدل را به صورت زیر بیان کرد:

p(X) = e ^ (b0 + b1 * X) / (1 + e ^ (b0 + b1 * X))

اکنون می توان معادله را به شرح زیر معکوس کرد. برای معکوس کردن آن می توانیم با اضافه کردن e از یک طرف با اضافه کردن یک لگاریتم طبیعی از طرف دیگر ، پیش برویم.

ln (p (X) / 1 - p (X)) = b0 + b1 * X

به این ترتیب این واقعیت را می گیریم که محاسبه خروجی در سمت راست دوباره خطی است (درست مثل رگرسیون خطی) ، و ورودی در سمت چپ لگاریتمی برای احتمال کلاس پیش فرض است.

احتمالات بعنوان نسبت احتمالی رویداد تقسیم بر احتمال وقوع هیچ رویدادی ، به عنوان مثال محاسبه می شود. 0,8 / (1-0,8) که نتیجه آن 4 است. بنابراین می توانیم در عوض بنویسیم:

ln (شانس) = b0 + b1 * X

از آنجا که احتمالات تبدیل شده اند ، ما به این شكل ورود به سیستم یا مشروط می گویم.

ما می توانیم نماینده را به سمت راست برگردانیم و آنرا بنویسیم:

احتمال = e ^ (b0 + b1 * X)

همه اینها به ما کمک می کند تا بفهمیم که در واقع مدل هنوز یک ترکیب خطی از ورودی ها است، اما این ترکیب خطی به احتمالات لاگ کلاس پیش اشاره دارد.defiنیتا

یادگیری مدل رگرسیون لجستیک

ضرایب (مقادیر بتا یا ب) الگوریتم رگرسیون لجستیک در مرحله یادگیری برآورد می شود. برای این کار از تخمین حداکثر احتمال استفاده می کنیم.

تخمین حداکثر احتمال یک الگوریتم یادگیری است که توسط چندین الگوریتم یادگیری ماشین استفاده می شود. ضرایب حاصل از مدل مقدار بسیار نزدیک به 1 (به عنوان مثال پسر) را برای کلاس پیش دبستانی پیش بینی می کند.definite و مقدار بسیار نزدیک به 0 (به عنوان مثال زن) برای کلاس دیگر. حداکثر احتمال برای رگرسیون لجستیک روشی برای یافتن مقادیر برای ضرایب (مقادیر بتا یا ob) است که خطا در احتمالات پیش‌بینی‌شده توسط مدل را نسبت به احتمالات موجود در داده‌ها به حداقل می‌رساند (مثلاً احتمال 1 اگر داده‌ها کلاس اولیه باشد) .

ما از یک الگوریتم به حداقل رساندن برای بهینه سازی بهترین مقادیر ضریب برای داده های آموزش استفاده خواهیم کرد. این اغلب در عمل با استفاده از الگوریتم بهینه سازی عددی کارآمد اجرا می شود.

Ercole Palmeri

---