机器学习—梯度下降Gradient Descent Optimization—c语言实现

1.Introduction

梯度下降是最优化理论中的一个寻找最佳解的方法，目的是希望用梯度下降发找到函数的局部最小值。
本文将介绍如何根据梯度下降的基本原理自己实现一个梯度下降求解器，重点侧重于如何实现。

2.一元函数的梯度下降法

首先从简单的入手，只考虑一元函数，我们该如何实现梯度下降法？
优化函数为：f(x) = x^2-10x+1
梯度下降法步骤:
x(t+1) = x(t) - Y*df(x(t))/dx(t)，
通过此迭代公式去计算x(0),x(1),x(2),x(3),…,我们通过f(x) = x^2-10x+1可以去求解f(0),f(1),f(2),f(3),…,当f(k+1)-f(k)的值很小时，我们认为此时x(k+1)就是我们要找的解。
因此对于优化函数为：f(x) = x^2-10x+1，其迭代公式是：
x(k+1) = x(k) - Y*(2*x(k)-10),其中Y是学习率，一般取0-1之间的数。

对于本例的实现的c语言代码为：

/*
* Description:Gradient Descent Optimization
* x(t+1) = x(t) - Y*df(x(t))/dx
*f(x) = x^2-10x+1
*/

1
2
3
4
5
6