분석모형의 평가 및 과적합 방지에 이어서
[빅데이터분석기사] 필기 4과목 메타코드 강의 | #14 분석모형평가- 분류성능 ROC Curve, 분석모형진
이번에는저번 시간의 분류성능을 나타내는 회귀와 분류를 기준으로한 지표에 이어 ROC커브와 분석모형진단을 나타내는 지표에 대해 알아보겠습니다 해당 개념은 메타코드m에서 제공하는 강의
toonovel.tistory.com
이번 강의에서는 매개변수의 최적화에 대해서 알아보고자 한다
https://mcode.co.kr/mypage/lecture_view?wm_id=993&lecture_id=6&lecture_sub=33&lecture_num=3
메타코드M
빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다.
mcode.co.kr
매개변수 최적화
1. 손실함수 : 모델의 예측값과 실제값의 차이 (오차)
2. 모델의 학습 목적 : 오차를 가장 작게 만드는 매개변수를 찾는 것 -> 매개변수 최적화
3. 매개변수 최적화 알고리즘(경사하강법 기반)
-경사하강법 : 손실함수의 기울기를 이용해서 손실함수가 최소가 되도록 매개변수 갱신
1) SGD
-데이터 전체 학습이 이 아닌 부분을 무작위 즉 확률적으로 학습함
-기울기에 따라서 조금씩 최적점으로 이동
-지그재그로 크게 변동, 푀적점 근처에서 느림
2)ADAGRAD
-진행할수록 학습률 낮아짐
-처음에 학습률이 크고 최적점에 가가워지면 학습률 감소
-지그재그 움직임이 크게 줄어듦(효율적 움직임)
3)모멘텀
-누적된 기울기 값에 의해 빠르게 최적점으로 이동
-관성 개념 도입해서 진동을 줄이는 효과
-SGD보다 지그재그 덜함
-공이 구르듯 이동한다는 뜻
문제1. 분석모형 개선을 위한 매개변수와 초매개변수에 대한 설명으로 틀린 것은?
보기
1. 매개변수는 데이터로부터 학습을 통해 결정된다
2. 매개변수는 분석자가 임의로 조정가능하다.
3. 매개변수의 예로 인공신경망의 가중치, 편향 등이 있다
4. 초매개변수는 학습률, 은닉층 수 등이 있다
5. 초매개변수 값에 따라서 모델의 성능이 크게 다를 수 있다
- 정답 2번
매개변수는 분석자가 임의로 조정이 가능하다
분석모형의 융합
*3과목의 앙상블 파트와 중복되는 내용
[앙상블] 여러가지 모형들을 만든 후 하나의 최종 결론을 내는 방법
1) 배깅
-붓스트랩으로 데이터셋을 생성 -> 각 데이터셋마다 모델링 -> 투표해서 최종 값 결정
2) 부스팅
-예측력이 약한 모델에서 오류에 가중치를 줘서 더 좋은 모델로 발전시켜나감
3) 랜덤포레스트(배깅+변수 선택)
-다수의 의사결정나무를 랜덤으로 만들어 그 결과값을 투표하여 최종값 결정
HARD VOTING VS SOFT VOTING
[HARD VOTING]
-무조건 배깅 부스팅 랜덤포레스트만 앙상블이 아닌
-> 로지스틱, 랜덤,서포트벡터 등 각각의 모형을 만든 후 투표를 하는 것도 앙상블로 볼 수 있음
[SOFT VOTING]
- 확률값을 활용해서 분류함
