1. 강의

2. 피어세션

  • 책상자랑
  • 멘토링 과제 다함께
  • 로지텍키보드를 사라
  • 강아지자랑
  • 손 크냐?
  • 학교 나 빼고 다 공유했대서 소외감느끼기
  • 알렉스넷이 뭔지
  • 하 졸았어… 식곤증 미치것다… 잉잉
  • 학습정리 어케함
  • 소리듣고 같은 축 사기
  • 백축?
  • 꿀팁 : 논문들에 깃허브 올려준거 쫓아가서 코드 뜯어보면서 행렬 모양 공부하고 gpt에 긁어서 한줄한줄 해석해줘 하면서 architecture를 이해한다.

gpt보다 구글 젬미니 1.5가 더 좋다. 이중 점검도 해줘(출처) 코파일럿 -> gpt 4.0 무료로 사용 가능하다

  • 데이콘? 캐글? 암튼 뭐 한다더라

3. 스페셜 피어세션

  • 피어세션 때 뭐하냐
  • 키보드 얘기함
  • 팀원들 만나봤냐
  • cv 뭐에 관심있냐
  • 커피 사먹어봤냐
  • 신박한 그라운드룰
  • 830은 미라클모닝이 아니라 굿모닝이다
  • 결석하면 우짬

4. 멘토링

  • 대회때 많이 성장한다…
  • gpu 4대로 돌려써라
  • 학습 방법론 : 메타러닝 / 전이학습/연속학습/*다중테스크학습
  • 기존에알고잇던 지도비지도강화학습… 우리데이터에 고려해서 뭘로할지 설정하는것도중요
  • 메타 러닝 : 러닝 투러닝… 보단, 음. 진짜 가중치행렬 편향행렬?벡터?만 학습하면 됨? 아니지 어떤 데이터를 쓸지, 등등… 파라미터를 훈련하는 과정을 두 번 거침.(학습시간많음…) = 바이어레벨옵티마제이션이라고도…불림
    1. 이너레벨 - 지도학습 (w,b구하기함)
    2. 아우터레벨 - 임의로 정의한 메타지식 업데이트함. 딥러닝에서 해온 파라미터들 기존… 그게 아닌데 예를들어 뭐 데이터 뭘쓸지 등 학습에 관여하는 파라미터 외의 요소들도 학습을 하겠다.

task : {데이터, 정답, 손실함수-분류기준} <-> 모델

mnist를 10개의 테스크로 볼 수도 있다 : 0인지아닌지 1인지아닌지 2인지아닌지… 1개의 멀티레이블테스크이자 10개의 이진분류테스크구나!

귀납편향인덕티브바이어스가 줄어야좋은데 지도학습은 강한 귀납편향이지@! 지도학습에서 mnist를 훈련하면 웅… 근데 메타러닝은 이 하나의 테스크를 주는게아니라 0인지아닌지 - 9인지아닌지. 맞추는 테스크를 니가 확률적으로 수행해!~ (그럼 얘가 다 수행할수도 34598만 수행할수도있지). 이런거잇는데 너가 확률적으로 수행해봐~ 하면 더 나은 인공지능 방향이래… 오@!

하나의 거대한 테스크라고 생각할필요없당

기존의지도학습 모델과파라미터주고파라미터업데이트할떄손실함수최소화웅…

메타러닝이면은 퓌?피라는 녀석을 주는데 초기값이라고함…

적은데이터로 힘내보겟다 메타러닝 .

메타러닝은 새 문제가 주어졌을 떄 ㅉ빨리풀수있도록해줌@!! 강아지도 고양이도 잘 맞추기위해서는 너무 많은 학습을 해야함. 근데 강아지에대한 최적값과 고양이에대한 최적값을 얻어와서 둘의 평균을 내면 난 강아지죄금 공양이 죄금 맞출수 있게돔. 당연히 둘 다 잘맞출거면 둘다 빡세게 맞추도록 학습빡하면됨. 근데 평생 걔네만할거야’? 토끼어쩔거야 고양강아지 쬐끔쪽으로 가서 토끼 학습에 적응하기 편하게… 돕겟다는거야…

한번에 학습데이터때려박고 잘되길 바라는 기존방식과 달리 작은테스크 작은테스크 좀좀씩하다보면 시간적게들고 뭐 어떤 방법론이있다~

아마 메타러닝… 많이 안쓸수잇지만 프젝이나 어디서 메타러닝 도입해봣다하면 디게 가점받음 굳~

문제를 어케 설계하냐가 훨 중요하대 얘는

한 문제에서 적당히 테스크들을 쪼개서 이 테스크 살짝주고 저테스크 사라ㅉㄱ주고 하면서 문제를 완화해서 푸는거자나?

근데 얜 두가지최적화라 계산이 많아서 라지스케일엔 안돼서… 많이 활용되진 않음. 그치만 적은 데이터셋일때 함 도입해보면 올…ㅋㅋㅋㅋ

암튼 0-9까지 짬짬히 학습시켰을때 11 14 이런 애들도 더 빨리 그 문제에 어댑테이션 할 수 있을 것이다

트레이닝과 테스크 레이블이 다를 수 있다! 메타러닝에선~ 머 실제론 이런 상황을 만들긴 어렵지만…

이런 방식도잇구나…

  • 전이학습 = 트랜스퍼 러닝 얘가 나랑 직접적인 관련은없음. 엄청나게 큰 학습을 해.

우리 얼굴 여섯개를 구분하고싶어 그럼 일단 객체차즌 능력, 색찾은 ㅇ능력, 점선면능력등 부터 필요함.

대신 자연을 학습한 거대한 친구를 불러. 얜 이미 점선면 ㄱㄴ 배경사물 ㄱㄴ ㄱㄴ한 친구라고 얠 훈련시키면 좀 더 빠르게 어댑테이션 할 수 있음

물론 얘가 항상 좋진 않음. 자연학습한 친구가 반도체 테스크를 해… 뭐 얼마나 백그라운드가 비슷하겠니 오히려 나쁜 편향으로 작용할 수 있다!!!! 무조거 ㄴ트랜스퍼하진말고 기존모델과 지금 태스크가 얼마나 유사한지 어떤지 보고 판단해라

  • 멀티테스크러닝 : 만약 남/여인지 마스크 잘썼는지 잘못썻는지 안썻는지 나이 30언더 30-60 60이상인지 지도학습이면 지금 18개의 라벨이겟지??

근데 이걸 이렇게 안하고 얼굴을 보면 남여/나이/마스크를 알 ㅜㅅ 있으니까 -남녀인지 테스크 0 1 바이너리 -마스크테스크 100 010 001 크로스 -나이테스크로 쪼개서 100 010 001 크로스 엔트로피 일케 할 숭 ㅣㅆ지?

=> 서로 도움됨… 전부 사람얼굴집중분석이니

주어진 문제대로 풀 필요능 ㅓㅄㅇ다.!

문제를 바꿔볼수있다.

  • 컨티뉴어 러닝? 민감한 정보할때하는 러닝이래

ㅌㅔ스크 ㅂ3은 2이고

엠니스트라 치면 0하고 죽죽 9할떄되면 앞쪽 까먹음… 복습개념으로 1할떄 메모리에 훔쳐둿던 0을 좀 줘… 근데 이럼 메모리 넘 많이 써멋지?

겐 같은 생성/모델을 써서 웅… 메모리 웅… 덜쓹로…

  • 성예닮 멘토님 논문 이번 거 읽어보면 도움 될 수도

5. 마스터 클래스

  • 과제설명
  • 이번 주차 강의가 양이 참 많다. 이걸 다 꼼꼼히 알아들으려 하시말고 어느정도만 사악사악 알고 넘겨라

자율주행 - cv 포티투다시 라이드플러스? 현대 메디컬 르미시?

6. 회고

  • 오늘은 뭐가 많아서… 강의를 고어타임 때 아예 못 들었다
  • 이따 저녁에 듣고 올리자