مقایسه مدل‌های یادگیری ماشینی متمایز(discriminative models) و مولد(generative models)

اهداف یادگیری

• مدل های تشخیص‌ دهنده و مولد اساسی را درک کنید
• تفاوت بین مدل های تشخیص‌ دهنده و مولد و زمان استفاده از هر یک را درک کنید
• رویکرد مدل ها را بررسی کنید
• نمونه هایی از مدل های تشخیص‌ دهنده و مولد را بررسی کنید

درک مدل های یادگیری ماشینی

مدل‌های یادگیری ماشینی را می‌توان به دو نوع تقسیم‌بندی کرد: تشخیصی و مولد. به عبارت ساده، یک مدل تمایز، پیش‌بینی‌هایی را بر روی داده‌های دیده نشده بر اساس احتمال شرطی انجام می‌دهد و می‌تواند برای گزاره‌های مسئله طبقه‌بندی یا رگرسیون استفاده شود. برعکس، یک مدل تولیدی بر توزیع یک مجموعه داده برای برگرداندن یک احتمال برای یک مثال معین تمرکز می کند.

ما به عنوان انسان می‌توانیم هر یک از دو رویکرد متفاوت را برای مدل‌های یادگیری ماشینی در حین یادگیری یک زبان مصنوعی اتخاذ کنیم. این دو مدل قبلاً در یادگیری انسان مورد بررسی قرار نگرفته بودند. با این حال، آن را به اثرات شناخته شده جهت علی، طبقه بندی در مقابل یادگیری استنتاج، و مشاهده در مقابل یادگیری بازخورد مرتبط است. بنابراین، در این مقاله تمرکز ما بر روی دو نوع مدل یادگیری ماشینی – Generative و Discriminative است  و همچنین اهمیت، مقایسه و تفاوت این دو مدل را مشاهده می کنیم.

فرمول مسأله

فرض کنید ما در حال کار روی یک مشکل طبقه بندی هستیم که وظیفه ما این است که بر اساس کلمات موجود در یک ایمیل خاص تصمیم بگیریم که آیا یک ایمیل هرزنامه است یا نه. برای حل این مشکل، ما یک مدل مشترک داریم.

• برچسب‌ها:  Y=y و
• ویژگی ها:  X={x 1 , x 2 , …x n }

بنابراین، توزیع مشترک مدل را می توان به صورت

p(Y,X) = P(y,x 1 ,x 2 ...x n )

اکنون، هدف ما تخمین احتمال ایمیل های هرزنامه است، یعنی P(Y=1|X) . هر دو مدل مولد و افتراقی می توانند این مشکل را حل کنند اما به روش های مختلف.

بیایید ببینیم چرا و چگونه آنها متفاوت هستند!

رویکرد مدل های مولد

در مورد مدل های مولد، برای یافتن احتمال شرطی P(Y|X) با کمک داده های آموزشی، احتمال قبلی P(Y) و احتمال احتمال  P(X|Y) را تخمین می زنند و از قضیه بیز برای محاسبه استفاده می کنند. احتمال خلفی  P(Y |X):

رویکرد مدل های تشخیص‌ دهنده

در مورد مدل‌های متمایز، برای یافتن احتمال، آنها مستقیماً یک شکل عملکردی را برای P(Y|X) در نظر می‌گیرند و سپس پارامترهای P(Y|X) را  با کمک داده‌های آموزشی تخمین می‌زنند.

مدل های تشخیص‌ دهنده چیست؟

مدل تمایز به دسته‌ای از مدل‌های مورد استفاده در طبقه‌بندی آماری اشاره دارد که عمدتاً برای یادگیری ماشین نظارت شده استفاده می‌شود. این نوع مدل‌ها به‌عنوان مدل‌های شرطی نیز شناخته می‌شوند زیرا مرزهای بین کلاس‌ها یا برچسب‌ها را در یک مجموعه داده یاد می‌گیرند.

مدل‌های متمایز بر مدل‌سازی مرز تصمیم‌گیری بین کلاس‌ها در یک مسئله طبقه‌بندی تمرکز می‌کنند. هدف یادگیری تابعی است که ورودی ها را به خروجی های باینری نگاشت می کند و برچسب کلاس ورودی را نشان می دهد. برآورد حداکثر احتمال اغلب برای تخمین پارامترهای مدل تمایز، مانند ضرایب یک مدل رگرسیون لجستیک یا وزن‌های یک شبکه عصبی استفاده می‌شود.

مدل‌های متمایز (همانطور که در معنای لغوی) به جای مدل‌سازی احتمال شرطی، کلاس‌ها را جدا می‌کنند و هیچ فرضی در مورد نقاط داده نمی‌کنند. اما این مدل ها قادر به تولید نقاط داده جدید نیستند. بنابراین، هدف نهایی مدل‌های متمایز جداسازی یک طبقه از طبقه دیگر است.

اگر مقداری پرت در مجموعه داده داشته باشیم، مدل‌های متمایز در مقایسه با مدل‌های تولیدی بهتر عمل می‌کنند، یعنی مدل‌های متمایز نسبت به مدل‌های پرت قوی‌تر هستند. با این حال، یکی از اشکالات عمده این مدل‌ها مشکل طبقه‌بندی اشتباه است ، یعنی طبقه‌بندی اشتباه یک نقطه داده.

منبع تصویر: medium.com

ریاضیات مدل های تمایز

آموزش طبقه‌بندی‌کننده‌های تمایز یا تحلیل متمایز شامل تخمین تابع f: X -> Y یا احتمال P(Y|X) است.

• یک شکل تابعی را برای احتمال فرض کنید، مانند P(Y|X)
• با کمک داده های آموزشی، پارامترهای P(Y|X) را تخمین می زنیم.

نمونه هایی از مدل های تشخیص‌ دهنده

• رگرسیون لجستیک
• ماشین‌های بردار پشتیبانی (SVM)
• شبکه های عصبی سنتی
• نزدیکترین همسایه
• فیلدهای تصادفی شرطی (CRF)
• درختان تصمیم و جنگل تصادفی

مدل های مولد چیست؟

مدل‌های مولد دسته‌ای از مدل‌های آماری در نظر گرفته می‌شوند که می‌توانند نمونه‌های داده جدیدی تولید کنند. این مدل ها در یادگیری ماشینی بدون نظارت به عنوان وسیله ای برای انجام وظایفی مانند

• تخمین احتمال و احتمال،
• مدل سازی نقاط داده
• برای توصیف پدیده در داده ها،
• برای تمایز بین طبقات بر اساس این احتمالات.

از آنجایی که این مدل‌ها اغلب برای یافتن احتمال مشترک بر قضیه بیز تکیه می‌کنند، مدل‌های مولد می‌توانند کار پیچیده‌تری را نسبت به مدل‌های متمایز مشابه انجام دهند.

بنابراین، رویکرد Generative بر توزیع کلاس‌های فردی در یک مجموعه داده تمرکز می‌کند و الگوریتم‌های یادگیری تمایل دارند الگوهای اساسی یا توزیع نقاط داده را مدل کنند (مثلاً گاوسی). این مدل‌ها از مفهوم احتمال مشترک استفاده می‌کنند و مواردی را ایجاد می‌کنند که در آن یک ویژگی ( x ) یا ورودی و خروجی یا برچسب مورد نظر ( y ) به طور همزمان وجود داشته باشند.

این مدل‌ها از تخمین‌های احتمال و احتمال برای مدل‌سازی نقاط داده و تمایز بین برچسب‌های کلاس مختلف موجود در یک مجموعه داده استفاده می‌کنند. برخلاف مدل‌های متمایز، این مدل‌ها همچنین می‌توانند نقاط داده جدیدی تولید کنند.

با این حال، آنها همچنین یک اشکال عمده دارند – اگر وجود مقادیر پرت در مجموعه داده وجود داشته باشد، این نوع مدل‌ها را تا حد قابل توجهی تحت تأثیر قرار می‌دهد.

منبع تصویر: medium.com

ریاضیات مدل های مولد

آموزش طبقه‌بندی‌کننده‌های مولد شامل تخمین تابع  f: X -> Y یا احتمال  P(Y|X):

• یک شکل تابعی برای احتمالات مانند  P(Y)، P(X|Y) در نظر بگیرید.
• با کمک داده های آموزشی، پارامترهای P(X|Y)، P(Y) را تخمین می زنیم.
• برای محاسبه احتمال خلفی  P(Y |X) از قضیه بیز استفاده کنید.

نمونه هایی از مدل های مولد

• بیز ساده لوح
• شبکه های بیزی
• فیلدهای تصادفی مارکوف
• مدل‌های پنهان مارکوف (HMM)
• تخصیص دیریکله نهفته (LDA)
• شبکه های متخاصم مولد (GAN)
• مدل خودرگرسیون

تفاوت بین مدل های تشخیص‌ دهنده و مولد

بیایید برخی از تفاوت های بین مدل های تشخیص‌ دهنده و مولد را ببینیم.

ایده اصلی

مدل‌های متمایز مرزها را در فضای داده ترسیم می‌کنند، در حالی که مدل‌های مولد سعی می‌کنند نحوه قرارگیری داده‌ها در فضا را مدل کنند. یک مدل تولیدی نحوه تولید داده ها را توضیح می دهد، در حالی که یک مدل تمایز بر پیش بینی برچسب های داده ها تمرکز می کند.

شهود ریاضی

در اصطلاح ریاضی، یادگیری ماشینی متمایز مدلی را آموزش می‌دهد که با یادگیری پارامترهایی انجام می‌شود که احتمال شرطی P(Y|X) را به حداکثر می‌رساند. از سوی دیگر، یک مدل مولد پارامترها را با به حداکثر رساندن احتمال مشترک P(X,Y) یاد می‌گیرد .

برنامه های کاربردی

مدل‌های متمایز داده‌های موجود را تشخیص می‌دهند، به عنوان مثال، مدل‌سازی متمایز برچسب‌ها را شناسایی می‌کند و داده‌ها را مرتب می‌کند و می‌تواند برای طبقه‌بندی داده‌ها استفاده شود، در حالی که مدل‌سازی تولیدی چیزی را تولید می‌کند.

از آنجایی که این مدل‌ها از رویکردهای متفاوتی برای یادگیری ماشین استفاده می‌کنند، هر دو برای وظایف خاص مناسب هستند، به عنوان مثال، مدل‌های تولیدی برای وظایف یادگیری بدون نظارت مفید هستند. در مقابل، مدل های تشخیص‌ دهنده برای وظایف یادگیری تحت نظارت مفید هستند. GAN ها (شبکه های متخاصم مولد) را می توان به عنوان رقابتی بین مولد که جزئی از مدل مولد است و تمایزکننده در نظر گرفت، بنابراین اساساً مدل مولد در مقابل مدل تشخیص‌ دهنده است.

موارد پرت

مدل‌های مولد تأثیر بیشتری بر مدل‌های پرت دارند تا مدل‌های متمایز.

هزینه محاسباتی

مدل های متمایز از نظر محاسباتی در مقایسه با مدل های تولیدی ارزان هستند.

مقایسه بین مدل های تشخیص‌ دهنده و مولد

بیایید برخی از مقایسه‌ها را بر اساس معیارهای زیر بین مدل‌های تشخیص‌ دهنده و مولد ببینیم:

بر اساس عملکرد

مدل‌های مولد در مقایسه با مدل‌های متمایز به داده‌های کمتری برای آموزش نیاز دارند، زیرا مدل‌های مولد مغرضانه‌تر هستند زیرا مفروضات قوی‌تری دارند، یعنی فرض استقلال شرطی .

بر اساس داده های از دست رفته

به طور کلی، اگر داده‌های گمشده در مجموعه داده خود داشته باشیم، مدل‌های Generative می‌توانند با این داده‌های از دست رفته کار کنند، در حالی که مدل‌های متمایز نمی‌توانند. این به این دلیل است که، در مدل‌های مولد، ما هنوز می‌توانیم با به حاشیه راندن متغیرهای نادیده، پسین را تخمین بزنیم. با این حال، مدل‌های متمایز معمولاً نیازمند رعایت تمام ویژگی‌های X هستند.

بر اساس امتیاز دقت

اگر فرض استقلال مشروط نقض شود، در آن زمان، مدل‌های مولد دقت کمتری نسبت به مدل‌های تشخیص‌ دهنده دارند.

بر اساس برنامه های کاربردی

مدل‌های تشخیص‌ دهنده نامیده می‌شوند ، زیرا برای تمایز برچسب Y، یعنی نتیجه هدف مفید هستند، بنابراین فقط می‌توانند مشکلات طبقه‌بندی را حل کنند. در مقابل، مدل‌های مولد علاوه بر طبقه‌بندی، کاربردهای بیشتری مانند نمونه‌گیری، یادگیری بیز، استنتاج MAP و غیره دارند.

نتیجه

در نتیجه، مدل‌های تشخیص‌ دهنده و مولد دو رویکرد اساسی برای یادگیری ماشین هستند که برای حل وظایف مختلف استفاده شده‌اند. رویکرد تبعیض‌آمیز بر یادگیری مرز تصمیم‌گیری بین کلاس‌ها تمرکز دارد، در حالی که مدل‌های تولیدی برای مدل‌سازی توزیع داده‌های زیربنایی استفاده می‌شوند. درک تفاوت بین مدل‌های متمایز و مولد به ما کمک می‌کند تا تصمیمات بهتری در مورد اینکه از کدام رویکرد برای یک کار خاص استفاده کنیم تا راه‌حل یادگیری ماشینی دقیق‌تری بسازیم، بگیریم.

خوراکی های کلیدی

• مدل‌های متمایز، مرز تصمیم‌گیری بین کلاس‌ها را یاد می‌گیرند، در حالی که مدل‌های مولد هدفشان مدل‌سازی توزیع داده‌های اساسی است.
• مدل‌های متمایز اغلب ساده‌تر و سریع‌تر از مدل‌های تولیدی آموزش داده می‌شوند، اما ممکن است در وظایفی که توزیع داده‌های اساسی پیچیده یا نامشخص است، به خوبی عمل نکنند.
• مدل های تولیدی را می توان برای طیف وسیع تری از وظایف، از جمله تولید تصویر و متن استفاده کرد، اما ممکن است به داده های آموزشی و منابع محاسباتی بیشتری نیاز داشته باشد.

سوالات متداول

رسانه های نشان داده شده در این مقاله متعلق به Analytics Vidhya نیستند و به صلاحدید نویسنده استفاده می شوند.