520817

순환신경망 RNN 모델은 짧은 시퀀스만 좋음timesteps가 길어지면 앞의 정보가 뒤로 충분히 전달되지 못하는 현상 발생함 LSTM(Long Short-Term Memory) 모델LSTM 모델은 은닉층의 메모리 셀에 삭제, 입력, 출력 게이트를 추가하여불필요한 기억을 지우고 기억해야할 것들을 정함긴 시퀀스 입력을 처리하는데도 성능이 굿그래서 RNN 모델의 단점을 보완한 모델이래 삭제, 입력, 출력 게이트에는 공통적으로 시그모이드 함수가 존재함시그모이드 함수를 지나면 0과 1 사이의 값이 나오게 되는데 이걸로 게이트를 조절함 입력 게이트현재 정보를 기억하기 위한 게이트 위의 식은 t 시점의 입력값과 가중치 Wxi를 곱한 값과t-1 시점의 은닉 상태와 가중치 Whi를 곱한 값을 더해서 시그모이드 함수를 지..

딥러닝을 이해하기 위해서는 인공 신경망을 알아야함초기 인공 신경망인 퍼셉트론에 대한 설명 정리해보겠음 퍼셉트론(Perceptron)다수의 입력으로부터 하나의 결과를 내보내는 알고리즘퍼셉트론은 인간의 뉴런 동작 원리와 유사함뉴런은 가지돌기에서 신호를 전달받고, 축삭돌기를 통해서 신호를 전달함x는 입력값, W는 가중치(Weight), y는 출력값임파란색 원은 인공 뉴런임각각의 입력값에는 각각의 가중치가 존재하는데 가중치의 값이 크면 클수록 해당 입력 값이 중요함(실제 인간 뉴런 동작에서 신호를 전달하는 축삭돌기 역할을 퍼셉트론에서는 가중치 W가 대신함) 각 입력값과 그에 해당되는 가중치의 곱의 전체 합이 임계치(threshold)를 넘으면 인공 뉴런에서 1 출력그렇지 않을 경우에는 0 출력 다층 퍼셉트론(M..

하이퍼파라미터(초매개변수): 모델의 성능에 영향을 주는 매개변수로 학습 과정에서 직접 조정해야 하는 설정 값매개변수: 가중치와 편향과 같은 학습을 통해 바뀌어져가는 변수로 학습을 통해 자동으로 최적화되는 값 훈련용 데이터로 훈련이 된 모델은 검증용 데이터를 사용하여 정확도를 검증하며 하이퍼파라미터를 튜닝함또한 모델의 매개변수는 검증용 데이터로 정확도가 검증되는 과정에서 점차 검증용 데이터에 맞추어져 가기 시작함(= 모델이 검증 데이터에 과적합(overfitting)될 가능성을 암시) 검증이 끝났다면 테스트 데이터를 가지고 모델의 진짜 성능을 평가함(-> 이미 하이퍼파라미터를 튜닝해가면서 모델이 검증용 데이터에 익숙해져가기 때문에 과적합 가능성이 있어서 아예 모델이 접해본 적 없는 데이터인 테스트 데이터로..