کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی

یادگیری ماشین و داده‌کاوی
موضوع‌ها طبقه‌بندی آماری خوشه‌بندی تحلیل رگرسیون روش تشخیص ناهنجاری یادگیری قانون وابستگی یادگیری تقویتی پیش بینی ساختاریافته مهندسی ویژگی یادگیری ویژگی یادگیری ماشین برخط یادگیری نیمه‌نظارتی یادگیری بی‌نظارت Learning to rank Grammar induction
یادگیری با نظارت (طبقه‌بندی آماری • تحلیل رگرسیون) یادگیری درخت تصمیم Ensembles (تکنیک بگینگ, بوستینگ، جنگل تصادفی) k-NN رگرسیون خطی دسته‌بندی کننده بیز ساده شبکه‌های عصبی مصنوعی رگرسیون لجستیک پرسپترون ماشین بردار مرتبط (RVM) ماشین بردار پشتیبانی
خوشه‌بندی کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی خوشه‌بندی سلسله‌مراتبی خوشه‌بندی کی-میانگین الگوریتم امید ریاضی–بیشینه کردن DBSCAN OPTICS انتقال میانگین
کاهش ابعاد تحلیل عاملی CCA تحلیل مؤلفه‌های مستقل آنالیز افتراقی خطی فاکتورگیری نامنفی ماتریس تحلیل مؤلفه‌های اصلی t-SNE
پیش‌بینی ساختاریافته مدل‌های گرافیکی (شبکه‌های بیزی، میدان تصادفی شرطی، مدل پنهان مارکف)
روش تشخیص ناهنجاری الگوریتم کی-نزدیکترین همسایه فاکتور پرتی محلی
شبکه عصبی مصنوعی خودرمزگذار یادگیری عمیق پرسپترون چندلایه RNN ماشین بولتزمن محدود شده ترانسفورمر بینایی SOM شبکه عصبی پیچشی
یادگیری تقویتی کیو-یادگیری SARSA یادگیری تفاوت زمانی یادگیری تقویتی چندعاملی خودبازی
یادگیری با انسان یادگیری فعال جمع‌سپاری انسان در حلقه RLHF
عیب‌یابی مدل ضریب تعیین ماتریس درهم‌ریختگی منحی یادگیری (یادگیری ماشین) منحنی مشخصه عملکرد سیستم
نظریه Bias-variance dilemma نظریه یادگیری محاسباتی Empirical risk minimization Occam learning یادگیری احتمالا تقریبا صحیح Statistical learning VC theory
حوزه‌های یادگیری ماشین NIPS ICML ML JMLR ArXiv:cs.LG
ن ب و

کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی (balanced iterative reducing and clustering using hierarchies) که در زبان انگلیسی به شکل مخفف به آن BIRCH گفته می‌شود، یک الگوریتم خوشه‌بندی سلسله‌مراتبی می‌باشد. این روش یکی از روش‌های یادگیری خودران می‌باشد که از آن جهت داده‌کاوی روی دادگان بزرگ و حجیم استفاده می‌شود.

از این الگوریتم برای سرعت‌بخشی به الگوریتم خوشه‌بندی کی-میانگین نیز استفاده می‌شود. مبتکران این الگوریتم از آن به عنوان اولین الگوریتم در حوزه دیتابیس که به شکل مؤثر نویز در داده را مدیریت می‌کند یاد می‌کنند.^[۱] توانایی این الگوریتم در خوشه‌بندی داده‌هایی که به شکلی افزایشی و پویا به دست می‌آیند، آن را برجسته و از دیگر الگوریتم‌ها متمایز می‌کند.

الگوریتم‌های خوشه‌بندی ارائه شده پیش از این الگوریتم، عملکرد ضعیفی روی داده‌های بزرگ و حجیم داشتند. همچنین آن‌ها نیاز داشتند که کل داده‌های در حافظه برای دسترسی موجود باشد و این برای مجموعه داده‌هایی که در حافظه اصلی کامپیوتر جا نمی‌شدند مشکل‌ساز بود. این الگوریتم با توانایی به‌کارگیری داده‌ها به شکل پویا، مشکلات موجود در الگوریتم‌های قبلی را برطرف کرد.

ورودی‌های این الگوریتم مجموعه‌ای از بردارهای حقیق به اندازه ${\displaystyle N}$ و عدد ${\displaystyle K}$ که به نشان‌دهنده تعداد خوشه‌ها است، هستند. الگوریتم شامل ۴ مرحله می‌باشد:

• مرحله اول: درخت ویژگی خوشه‌بندی روی داده‌ها تشکیل می‌شود. نحوهٔ تشکیل این درخت به شرح زیر است:
  • ویژگی خوشه‌بندی داده‌ها به شکل یک سه‌تایی ${\displaystyle CF=(N,{\overrightarrow {LS},SS)}$ تعریف می‌شود که در آن ${\displaystyle {\overrightarrow {LS}=\sum _{i=1}^{N}{\overrightarrow {X_{i}$ جمع خطی بردارها و ${\displaystyle SS=\sum _{i=1}^{N}({\overrightarrow {X_{i})^{2}$ جمع مربع بردارها می‌باشد.
  • ویژگی‌های خوشه‌بندی در یک درخت ویژگی خوشه‌بندی چیده می‌شوند. این درخت، درختی با ارتفاع متعادل. این درخت شامل دو پارامتر ${\displaystyle B}$ و ${\displaystyle T}$ می‌باشد که به ترتیب ضریب انشعاب درخت و یک متغیر آستانه می‌باشند. هر راس غیر برگ در این درخت حداکثر شامل ${\displaystyle B}$ عضو مانند${\displaystyle [CF_{i},child_{i}]}$ می‌باشد که در آن ${\displaystyle child_{i}$ یک اشاره‌گر به به فرزند ${\displaystyle i}$ام آن راس و ${\displaystyle CF_{i}$ ویژگی خوشه متناظر با زیرخوشهٔ مربوط به آن فرزند می‌باشد. همچنین برگ‌های درخت شامل حداکثر ${\displaystyle L}$ عضو هرکدام به شکل ${\displaystyle CF_{i}$ می‌شود. همچنین در برگ‌ها اشاره‌گرهایی به برگ‌ها قبلی و بعدی نیز وجود دارد که تمامی برگ‌های درخت را به یکدیگر متصل می‌کنند.
• مرحله دوم: الگوریتم با بررسی تمامی برگ‌های درخت تشکیل شده در مرحله قبل یک درخت ویژگی خوشه جدید می‌سازد که از درخت قبلی کوچک‌تر است. در همین حین الگوریتم داده‌های پرت را حذف می‌کند و خوشه‌های پیشین را به یکدیگر ملحق می‌کند. دقت کنید که می‌توان این مرحله را اجرا نکرد. درواقع اجرای این مرحله انتخابی می‌باشد.
• مرحله سوم: در این مرحله، الگوریتم با استفاده از یکی از خوشه‌های موجود، همهٔ اعضای برگ‌ها را خوشه‌بندی می‌کند. این کار با استفاده از اجرای یک الگوریتم خوشه‌بندی agglomerative به شکل مستقیم روی زیرخوشه‌های درخت ویژگی خوشه انجام می‌پذیرد.
• مرحله چهارم: مرکز خوشه‌های به دست آمده در مرحله سوم به عنوان seed استفاده می‌شود و داده‌ها بازتوزیع می‌شوند تا به یک مجموعه جدید از خوشه‌ها برسیم.

الگوریتم کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی، عملیات خوشه‌بندی را به شکل محلی انجام می‌دهد. در واقع این الگوریتم برای خوشه‌بندی داده‌ها نیاز به خواندن تمام داده‌ها به شکل یک‌جا ندارد. این نوع از طراحی الگوریتم از دو مشاهده ناشی می‌گردد. مشاهده اول آن که فضای داده‌ها معمولاً به شکل یکنواخت اشعال نشده و مشاهده دوم آن است که همهٔ نقاط در داده‌های ما به یک اندازه مهم نیستند. این ویژگی الگوریتم منجر به کمینه شدن هزینه‌های خواندن و نوشتن در حافظه می‌شود.