A Survey of Optimizers for Neural Networks and Deep Learning

Overview

Name Course: A Survey of Optimizers for Neural networks and Deep Learning [Intermediate]

Instructor: Paisit Khanarsa Ph.D.

Course Description

คอร์สนี้ถูกจัดทำขึ้นเพื่อเรียนรู้เเละศึกษาระเบียบวิธีการ Gradient descent ซึ่งเป็น Optimizer พื้นฐานที่สำคัญที่ถูกนำมาใช้ในการหาค่าของพารามิเตอร์ที่ดีที่สุดในการเรียนรู้ของ Neural networks เเละ Deep Learning นอกจากนั้นในบทเรียนนี้ได้เเนะนำเเนวคิดของ  Optimizer อื่นๆ ที่นิยมใช้ในปัจจุบัน เช่น  Momentum, Nesterov accelerated gradient, Adagrad, Adadelta, RMSprop เเละ Adam เพื่อให้ผู้เรียนสามารถเข้าใจถึงระเบียบวิธีการดังกล่าว เเละสามารถเลือก Optimizer ที่สนใจนำไปใช้ในเพื่อให้โมเดลเรียนรู้เพื่อหาค่าพารามิเตอร์ที่เหมาะสมได้

What you’ll learn

• เเนะนำระเบียบวิธีการ Gradient descent
• ระเบียบวิธีการอื่นๆ ที่เกี่ยวข้องกับ Gradient descent
• ระเบียบวิธีการที่น่าสนใจอื่นๆ ประกอบด้วย Momentum, Nesterov accelerated gradient, Adagrad, Adadelta, RMSprop เเละ Adam

Requirements

• ความรู้พื้นฐานทางคณิตศาสตร์ตั้งแต่ระดับมัธยมปลายขึ้นไปและความรู้พื้นฐานด้านแคลคูลัส