现代优化算法：禁忌搜索；模拟退火；遗传算法；人工神经网络 模拟退火算法：简介：材料统计力学的研究成果。统计力学表明材料中不同结构对应于粒子的不同能量水平。在高温条件下，粒子的能量较高，可以自由运动和重新排列。
机器学习的优化算法 本身就在求解这个函数的“形式”以及参数。
非确定型包括：求解各种优化问题的现代智能优化算法，如模拟退火算法、遗传算法、粒子群算法、蚁群算法等；求解离散变量优化问题的典型方法；求解随机变量优化问题的典型方法；动态规划模型与算法。
1、梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最陡下降法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。
2、梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。
3、梯度下降法是一个一阶最优化算法，通常也称为最陡下降法，但是不该与近似积分的最陡下降法（英语：Method of steepest descent）混淆。
4、梯度下降是通过迭代搜索一个函数极小值的优化算法。使用梯度下降，寻找一个函数的局部极小值的过程起始于一个随机点，并向该函数在当前点梯度（或近似梯度）的反方向移动。梯度下降算法是一种非常经典的求极小值的算法。
5、梯度下降法（Gradient descent，简称GD）是一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。
1、自适应学习率优化算法针对于机器学习模型的学习率，采用不同的策略来调整训练过程中的学习率，从而大大提高训练速度。
2、传统优化算法一般是针对结构化的问题，有较为明确的问题和条件描述，如线性规划，二次规划，整数规划，混合规划，带约束和不带约束条件等，即有清晰的结构信息；而智能优化算法一般针对的是较为普适的问题描述，普遍比较缺乏结构信息。
3、混合蛙跳算法Shuffled Frog Leaping Algorithm 13烟花算法fireworks algorithm 14菌群优化算法Bacterial Foraging Optimization 以上优化算法是我所接触过的算法，没接触过的算法不能随便下结论，知之为知之，不知为不知。
