자기 지도 학습

기계 학습과
데이터 마이닝
Scatterplot featuring a linear support vector machine's decision boundary (dashed line)
패러다임
문제
지도 학습 (통계적 분류 • 회귀 분석)
클러스터 분석
차원 축소
구조화 예측
이상 탐지
인공 신경망
강화 학습
인간 참여학습
모델 진단
  • 러닝 커브
이론
회의/저널
  • NeurIPS
  • ICML
  • ICLR
  • ML
  • JMLR
관련 문서

자기 지도 학습 (SSL)은 기계 학습의 한 방법이다. 레이블이 지정되지 않은 샘플 데이터에서 학습을 진행한다. 지도학습과 비지도 학습의 중간 형태로, 인공 신경망 또는 결정 리스트와 같은 인공지능 모델을 기반으로 한다.[1] 자기 지도 학습 모델은 두 단계로 학습한다. 먼저 모델 파라미터를 초기화하는 데 도움이 되는 의사 레이블을 기반으로 작업을 수행한다.[2][3] 둘째로, 지도 또는 비지도 학습으로 실제 모델 학습을 수행한다.[4][5][6] 자기 지도 학습은 최근 몇 년 동안 뛰어난 결과를 보여주고 있고, 음성 신호 처리에 실용적인 사례들을 만들어 냈으며 페이스북 및 기타 음성 인식에 사용되고 있다.[7] 자기 지도 학습의 매력은 낮은 품질의 데이터로 모델을 학습시키더라도 최종적으로 출력되는 결과물의 품질을 높일 수 있다는 것이다. 특히 자기 지도 학습은 인간이 사물을 분류하는 방법을 배우는 방식을 더 밀접하게 모방하고있다.[8]

유형

이진 분류 작업의 경우 훈련 데이터는 긍정 샘플과 부정 샘플로 나눌 수 있다. 긍정 샘플은 타겟과 일치하는 것을 말한다. 예를 들어, 새를 식별하는 방법을 배우는 경우 긍정적인 훈련 데이터는 새가 포함된 사진이고 부정적인 데이터는 새를 포함하지 않는 사진이다.[9]

대조적 자기 지도 학습

대조적 자기 지도 학습은 긍정 샘플과 부정 샘플을 모두 사용한다. 대조 학습의 손실 함수는 긍정 샘플 사이의 거리를 최소화하고 부정 샘플 사이의 거리를 최대화한다.[9]

비 대조적 자기 지도 학습

NCSSL(비 대조적 자기 지도 학습)은 긍정 샘플만을 사용한다. 우리의 직관과는 다르게, NCSSL은 단순하게 손실을 0으로 만드는 사소한 해결에 도달하기보다는 보다 유용한 로컬 최소값으로 손실을 수렴시킨다. 이진 분류의 예에서는 각 샘플을 긍정으로 분류하는 방법만을 간단하게 학습한다. 효과적인 NCSSL은 타겟 측에서 역전파하지 않는 온라인 측의 추가 예측자를 필요로 한다.[9]

다른 형태의 머신러닝과의 비교

자기 지도 학습은 그 목표가 입력에서 분류된 출력을 생성하는 것인 한 지도 학습에 속한다. 그러나 반드시 명시적으로 레이블이 지정된 입력-출력 쌍을 사용할 필요는 없다. 대신 데이터에 포함된 상관 관계, 메타데이터 또는 입력에 있는 도메인 지식이 데이터에서 암시적으로 자동 추출된다.[10] 데이터에서 생성된 이러한 지도 신호를 교육에 사용할 수 있다.[8]

자기 지도 학습은 샘플 데이터에 레이블이 필요하지 않다는 점에서 비지도 학습과 유사하다. 그러나 비지도 학습과 달리 자기 지도 학습은 고유한 데이터 구조를 사용하여 수행되지는 않는다.[10]

준지도 학습은 지도 학습과 비지도 학습을 결합하여 학습 데이터의 작은 부분에만 레이블을 지정하면 된다.[3]

전이 학습 모델에서는 한 작업을 위해 설계된 모델이 다른 작업에서 재사용 된다.[11]

예시

자기 지도 학습은 특히 음성 인식에 적합하다. Facebook은 자체 지도 알고리즘인 wav2vec를 개발하여 서로를 기반으로 하는 두 개의 심층 컨볼루션 신경망 을 사용하여 음성 인식을 수행한다.[7]

Google의 BERT( Bidirectional Encoder Representations from Transformers ) 모델은 검색어의 맥락을 더 잘 이해하는 데 자기 지도 학습을 사용한다.[12]

OpenAI의 GPT-3은 언어 처리에 사용할 수 있는 자동 회귀 언어 모델이다. 텍스트를 번역하거나 질문에 답하는 데 사용할 수 있다.[13]

Bootstrap Your Own Latent는 ImageNet과 전송 및 준지도 학습 벤치마크에서 우수한 결과를 생성한 NCSSL이다.

Yarowsky 알고리즘은 자연어 처리에서 자기 지도 학습의 한 예이다. 소수의 레이블이 지정된 샘플에서부터 다의어 단어의 어떤 의미가 텍스트의 주어진 지점에서 사용되고 있는지 예측하는 방법을 학습한다.

DirectPred는 그래디언트 업데이트를 통해 학습하는 대신 예측자 가중치를 직접 설정하는 NCSSL이다.[9]

각주

  1. ↑ Yarowsky, David (1995). “Unsupervised Word Sense Disambiguation Rivaling Supervised Methods”. 《Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics》 (Cambridge, MA: Association for Computational Linguistics): 189–196. doi:10.3115/981658.981684. 2022년 11월 1일에 확인함. 
  2. ↑ Doersch, Carl; Zisserman, Andrew (October 2017). “Multi-task Self-Supervised Visual Learning”. 《2017 IEEE International Conference on Computer Vision (ICCV)》 (IEEE): 2070–2079. arXiv:1708.07860. doi:10.1109/iccv.2017.226. ISBN 978-1-5386-1032-9. 
  3. ↑ 가 나 Beyer, Lucas; Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander (October 2019). “S4L: Self-Supervised Semi-Supervised Learning”. 《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》 (IEEE): 1476–1485. arXiv:1905.03670. doi:10.1109/iccv.2019.00156. ISBN 978-1-7281-4803-8. 
  4. ↑ Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). “Unsupervised Visual Representation Learning by Context Prediction”. 《2015 IEEE International Conference on Computer Vision (ICCV)》 (IEEE): 1422–1430. arXiv:1505.05192. doi:10.1109/iccv.2015.167. ISBN 978-1-4673-8391-2. 
  5. ↑ Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (April 2018). “Fast and robust segmentation of white blood cell images by self-supervised learning”. 《Micron》 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969. 
  6. ↑ Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Perez, Patrick Perez; Cord, Matthieu (October 2019). “Boosting Few-Shot Visual Learning With Self-Supervision”. 《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》 (IEEE): 8058–8067. arXiv:1906.05186. doi:10.1109/iccv.2019.00815. ISBN 978-1-7281-4803-8. 
  7. ↑ 가 나 “Wav2vec: State-of-the-art speech recognition through self-supervision”. 《ai.facebook.com》 (영어). 2021년 6월 9일에 확인함. 
  8. ↑ 가 나 Bouchard, Louis (2020년 11월 25일). “What is Self-Supervised Learning? | Will machines ever be able to learn like humans?”. 《Medium》 (영어). 2021년 6월 9일에 확인함. 
  9. ↑ 가 나 다 라 “Demystifying a key self-supervised learning technique: Non-contrastive learning”. 《ai.facebook.com》 (영어). 2021년 10월 5일에 확인함. 
  10. ↑ 가 나 R., Poornima; L., Ashok (2017). “Problem Based Learning a Shift from Teaching Paradigm to the Learning Paradigm”. 《Indian Journal of Dental Education》 10 (1): 47–51. doi:10.21088/ijde.0974.6099.10117.6. ISSN 0974-6099. 
  11. ↑ Littwin, Etai; Wolf, Lior (June 2016). “The Multiverse Loss for Robust Transfer Learning”. 《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》 (IEEE): 3957–3966. arXiv:1511.09033. doi:10.1109/cvpr.2016.429. ISBN 978-1-4673-8851-1. 
  12. ↑ “Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing”. 《Google AI Blog》 (영어). 2021년 6월 9일에 확인함. 
  13. ↑ Wilcox, Ethan; Qian, Peng; Futrell, Richard; Kohita, Ryosuke; Levy, Roger; Ballesteros, Miguel (2020). “Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models”. 《Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)》 (Stroudsburg, PA, USA: Association for Computational Linguistics): 4640–4652. arXiv:2010.05725. doi:10.18653/v1/2020.emnlp-main.375. 

외부 링크