자동미분 (tensorflow gradient)

머신 러닝은 주어진 데이터를 기반으로 모델을 더욱 좋게 만들려는 목적으로 학습을 합니다. 이를 위하여 비용함수를 정의하고 이를 최소로 하는 파라미터를 찾기 위하여 파라미터에 대한 미분이 가능한 비용함수를 선택합니다. 미적분은 직관적으로 이해할 수는 있지만 복잡한 모델들에 대한 미분을 직접 계산하는 것은 너무 힘들고 오류를 범할 수 있는 일입니다. 또한 합성함수 미분은 체인룰을 이용하여 하나의 손실 함수 미분을 여러개의 미분으로 나누어 계산할 수 있습니다. 텐서플로우에서는 이런 과정을 손쉽게 처리할 수 있도록 tensorflow.gradients 를 제공합니다. tensorflow.gradients 는 두개의 매개변수를 받습니다. 첫 번째 매개변수는 편미분을 하려는 대상 텐서이고 두 번째 매개변수는 편미분..

• format_list_bulleted 컴퓨터 세상/머신러닝
• · 2021. 3. 5.
• textsms

Sigmod함수 미분

Sigmoid 함수는 S자와 유사한 완만한 커브 형태를 갖는 대표적인 Logistic 함수입니다. Sigmoid 함수는 모든 실수 입력 값을 0보다 크고 1보다 작은 미분가능의 특징을 갖습니다. Sigmoid 함수의 그래프와 미분 유도 과정을 설명하겠습니다. (코드) 파이션으로 구현한 Sigmod 함수와 그래프 import math import numpy as np def sigmoid(x, deff=False): if deff: return sigmoid(x)*(1-sigmoid(x)) else: return 1 / (1 + math.exp(-x)) # numpy의 linspace (start, end, num)를 이용해서 -8과 8사이에 100개의 값 생성 x = np.linspace(-8, 8, 1..

• format_list_bulleted 컴퓨터 세상/머신러닝
• · 2021. 3. 5.
• textsms