《Global Optimization - A Stochastic Approach》

发布时间:2017-12-18浏览次数:84

 

 

 者:Schäffler, Stefan

出版商:Springer; 2013

索书号:O224 /S296 /E

书评人:宋力强, 复旦大学数学科学学院

 

小编又要对不起大家了,关于作者小编只能找到这一点信息,虽然小编访问了作者学校的网站,但是都是德语,翻译软件翻译的也看不懂!


Schäffler, Stefan是慕尼黑联邦国防军大学的教授,他的主要研究方向是有约束和无约束的全局最优化,随机扰动分析,随机微分的理论及其应用和向量优化的随机方法。小编要是翻译错了,还请大家能原谅,还好书是应英语写的。

当今社会,许多工程的核心问题最终都归结为优化问题。最优化已经成为工程技术人员必不可少的计算工具。在计算机已经广为普及的今天,一些大规模的优化问题的求解可以在一台普通的计算机上实现,使得最优化方法得到了比以往任何时候都更加广泛的应用。当今的世界中,随着数据量的不断增加,需要解决前所未有的大规模优化问题。许多现代的优化算法虽然在一定的规模下表现出很好的效率,但是对于大规模的问题就不太适用,随机优化也就应运而生。虽然小编是优化专业的学生,但是对于随机优化还是一个新手。小编本科毕业的时候以为再也不用学概率论了,就拿书换了辣条,现在好后悔!

    在正式开始之前,我们先复习一下以前的知识。传统的经典优化算法有最速下降法(也成为梯度下降法),牛顿法,共轭梯度法等。我们用一个简单的例子介绍一下随机优化是怎样工作的。假设我们要最小化目标函数f(x),当前迭代点为,最速下降法是以负梯度方向为搜索方向,得到下一个迭代点为当前步的步长。而随机搜索则是按照某种分布随机选取n个独立同分布的点,然后选j,使得<对任意的都成立,以作为下一个迭代点。这就是本书第一章讲的随机搜索。随机搜索的方法非常灵活,除了分布可以自由选择以外,下一步迭代点也是可以自由选择的,但是宗旨是保证目标函数下降。

本书第二章主要讲述无约束局部最优化。主要讲了最速下降曲线以及数值分析。我们知道在无约束全局最优化中,负梯度方向是下降(或上升)方向,若目标函数是凸的,则梯度为零的点是最优解。对于局部最优化问题,作者得到了一个类似的结论,相知道是什么吗?不给吃的我不说!

全局优化的处理开始于第三章,在这一章作者讨论的是无约束优化问题。基于布朗运动,得到了一个合适的最速下降曲线,并由此得到一类新的非确定性的全局最优化算法。这类算法适用于很多不同种类的目标函数,而且其效率并不依赖于给定优化问题的。作者用大量的数值实例证明了这一点。对于传统的优化算法,优化问题维数越大,需要的存储量以及计算时间都会相应增大,能够做到计算效率不依赖于问题的维数是非常不容的。这么高效的方法,你不想学吗?

小编前段时间读了一篇随机优化的论文,一直不能理解。假设我们的目标函数是n个可微函数的和,当n非常大的时候,每一步计算梯度的工作量就很大,随机梯度法就是在n个函数中随机选取一个或者几个计算梯度,利用它来求解下一个迭代点。可以证明这个算法是依概率收敛的。小编一直不能理解这个算法,直到看过这本书。本书第四章讲述第三章算法的一个应用。好的算法并不一定适用于所有的问题,只要能将某个问题解决得又快又好就OK了!第四章的应用主要是数字计算中高维解码问题,作者用具体的例子证明了第三章中算法的有效性!

本书第五章讲述的是有约束全局最优化。最先讲述的是等式约束,并提出了投影梯度法,同时也给出了投影梯度的随机曲线。紧接着,作者讲述了罚函数方法,即利用罚因子,将有约束问题转化为无约束问题,然后再利用无约束优化问题的算法来求解。

本书最大的特点是处理的问题和处理问题的方法都是最新的。本书从大规模问题入手,所有的方法都用不同的例子来说明,算法的例子来源于数学、运筹学、工程学和经济学等学科。用生产生活中的例子,不但说明了本书方法的实用性,同时还便于读者理解本书中的方法。并且作者还给出了实用的数值算法和算法分析。直接看代码对小编来说无异于看天书,但是本书的作者非常贴心,每一章节的代码都先给出分析过程,这样看起来就容易多了。另外算法分析也会加深读者对算法的理解,便于读者找到算法的优缺点。本书自成体系,提出了新的解决大规模问题的随机优化算法,引入了一些新的约束和无约束随机优化问题的概念。另外,本书还提供了世界各地最近或者正在进行的科学研究的信息。大数据已经热了很多年了,也会持续热下去,本书不但处理大数据这个热点问题,而且方法也是最新的!小编都想买买买了!

    初读本书,小编就觉得作者是非常贴心的人。本书第二大特点是所有需要用到的知识都在附录中给出。当初小编看到全局优化的时候还是很开心的,但是翻阅过后就有一点忧伤,因为小编的概率论的书籍都换辣条了。还好作者贴心,本书的附录给出了概率论基础知识,伪随机数和白噪声分布的介绍。读者不要借助其他的书籍和资料,就可以将本书的知识看懂,当然是在读者有一定的优化知识的基础之上。大家应该都有这样的体会,在接触一个新的领域的时候,查资料会花费很多的时间,小编的这些时间都花在了不知道去哪里查资料上了。看这本书就容易多了,因为不懂的,需要查阅的都在附录中。如此贴心的设计,如此新颖的算法,有没有心动呢?

 

 

 

 

 

 

 

 

 

章节目录

前言

第一章全局最优化随机方法的简介

1.1 随机搜索

1.2 自适应搜索

1.3 马尔科夫算法

1.4 人口算法

第二章无约束局部优化

2.1 最速下降曲线

2.2 数值分析

第三章无约束全局最优化

3.1 最速下降的随机曲线

3.2 数值分析

3.3 半隐式欧拉算法

3.4 梯度近似的欧拉算法

第四章应用:通讯工程中的最优译码

4.1 信道编码

4.2 译码

第五章有约束全局最优化

5.1 简介

5.2 罚函数方法

5.3 等式约束

5.4 一般情况

第六章向量最优化

6.1 简介

6.2 控制点曲线

6.3 控制点的随机曲线

6.4 欧拉方法

6.5 约束

附录A:概率论基础知识

附录B:伪随机数

附录C:白噪声分布

参考文献

索引