Tonic 's lesson learned


손실 함수는 실제 어떤 모양일까

손실함수는 여러 종류가 있지만 딥러닝을 처음 시작할 때 대부분의 사람들은 아래의 그래프를 보게 됩니다.

http://donsoft.io/deep-learning-with-rnns/images/gradient_descent_cropped.gif

그런데 wx + b의 그래프라는 것과 미분값으로 경사의 방향을 예측하면서 간다는 사실을 머리로는 이해가 되어도 마음(?)에 잘 와닿지는 않습니다. 그런 와중에 이런 그래프나

https://www.hindawi.com/journals/jam/2013/139464.fig.007c.jpg

이런 그래프를 만나면 “아~”하는 짧은 탄성을 지르게 되기도 합니다.

https://blog.algorithmia.com/wp-content/uploads/2018/04/word-image-4.png

그래도 뭔가 아쉬운 마음을 어쩔 수 없습니다. 경사를 따라 아래로 내려간다는 것은 이해하겠는데 이게 실제 어떤 모습일까, 각 손실 함수 별로 보면 어떨까하는 갈증이 생기기도 합니다.


losslandscape.com에서는 이런 손실 함수를 눈에 보이게 만드는 프로젝트를 진행하고 있습니다. 아래 동영상을 보면 놀랍기도, 감동적이기도 한데요. 세상에는 정말 멋진 사람들이 많은 것 같습니다.

https://img.youtube.com/vi/Q3pTEtSEvDI/0.jpg https://youtu.be/Q3pTEtSEvDI

https://img.youtube.com/vi/QeViLO0pU1I/0.jpg https://youtu.be/QeViLO0pU1I

losslandscape.com를 방문하면 더 많은 영상을 볼 수 있습니다.