520817

순환신경망 RNN 모델은 짧은 시퀀스만 좋음timesteps가 길어지면 앞의 정보가 뒤로 충분히 전달되지 못하는 현상 발생함 LSTM(Long Short-Term Memory) 모델LSTM 모델은 은닉층의 메모리 셀에 삭제, 입력, 출력 게이트를 추가하여불필요한 기억을 지우고 기억해야할 것들을 정함긴 시퀀스 입력을 처리하는데도 성능이 굿그래서 RNN 모델의 단점을 보완한 모델이래 삭제, 입력, 출력 게이트에는 공통적으로 시그모이드 함수가 존재함시그모이드 함수를 지나면 0과 1 사이의 값이 나오게 되는데 이걸로 게이트를 조절함 입력 게이트현재 정보를 기억하기 위한 게이트 위의 식은 t 시점의 입력값과 가중치 Wxi를 곱한 값과t-1 시점의 은닉 상태와 가중치 Whi를 곱한 값을 더해서 시그모이드 함수를 지..

딥러닝을 이해하기 위해서는 인공 신경망을 알아야함초기 인공 신경망인 퍼셉트론에 대한 설명 정리해보겠음 퍼셉트론(Perceptron)다수의 입력으로부터 하나의 결과를 내보내는 알고리즘퍼셉트론은 인간의 뉴런 동작 원리와 유사함뉴런은 가지돌기에서 신호를 전달받고, 축삭돌기를 통해서 신호를 전달함x는 입력값, W는 가중치(Weight), y는 출력값임파란색 원은 인공 뉴런임각각의 입력값에는 각각의 가중치가 존재하는데 가중치의 값이 크면 클수록 해당 입력 값이 중요함(실제 인간 뉴런 동작에서 신호를 전달하는 축삭돌기 역할을 퍼셉트론에서는 가중치 W가 대신함) 각 입력값과 그에 해당되는 가중치의 곱의 전체 합이 임계치(threshold)를 넘으면 인공 뉴런에서 1 출력그렇지 않을 경우에는 0 출력 다층 퍼셉트론(M..

하이퍼파라미터(초매개변수): 모델의 성능에 영향을 주는 매개변수로 학습 과정에서 직접 조정해야 하는 설정 값매개변수: 가중치와 편향과 같은 학습을 통해 바뀌어져가는 변수로 학습을 통해 자동으로 최적화되는 값 훈련용 데이터로 훈련이 된 모델은 검증용 데이터를 사용하여 정확도를 검증하며 하이퍼파라미터를 튜닝함또한 모델의 매개변수는 검증용 데이터로 정확도가 검증되는 과정에서 점차 검증용 데이터에 맞추어져 가기 시작함(= 모델이 검증 데이터에 과적합(overfitting)될 가능성을 암시) 검증이 끝났다면 테스트 데이터를 가지고 모델의 진짜 성능을 평가함(-> 이미 하이퍼파라미터를 튜닝해가면서 모델이 검증용 데이터에 익숙해져가기 때문에 과적합 가능성이 있어서 아예 모델이 접해본 적 없는 데이터인 테스트 데이터로..

2023.09.27에 마무리된 프로젝트2023.12.22에 비공개로 작성한거 티스토리에 올리기 위해 복붙했어요 그럼 시작할게요KoBERT 이용해서 7가지 감정 분류하기(딥러닝) - 1을 보면 모델까지는 만들었네계획은 모델까지 만들면 그 당시 멜론 TOP100 음악 리스트를 크롤링해와서 입력한 문장의 감정과 일치하는 노래를 추천하게끔 하는 거였다그렇기 위해선 크롤링을 해야 됐는데• 크롤링import pandas as pdfrom selenium import webdriver #웹 브라우저 자동화import timefrom tqdm.notebook import tqdm#웹브라우저 설정path = "chromedriver.exe" driver = webdriver.Chrome(path)driver.get("h..

2023.08.24에 작성한 글(비공개로 올린거) 티스토리에 올리기 위해 긁어왔다KoBERT 모델을 돌리기 위해 오류를 해결하고 해결하면서 한 달 넘은 시간을 허비했는데 구글링해서 해결 방법을 따라해도 해결되지 않고해결된다한들 정확도가 0.5도 넘지 않으며딥러닝은 누가 먼저 오류를 해결하냐가 관건인 분야인 것 같다는 생각마저 들 때어지쩌지 KoBERT 전문가 깃허브에서 부족한 지식 공부하고 공부해서 해결된 프로젝트!!!!!네이버, 구글에 나온 방법 따라해도 해결되지 않는 딥러닝 비기너분들 이 방법 쓰세요 공유합니다아무 문장이나 입력하면 7가지의 감정 중 문장의 감정을 분류하는 모델을 구현했다감정은 분노 0 슬픔 1 공포 2 역겨움 3 중립 4 놀라움 5 행복 6 으로 7가지다이 프로젝트의 방향은 본인의 ..