Опукла оптимізація — це підрозділ математичної оптимізації, котрий вивчає проблему мінімізації опуклих функцій над опуклими множинами. Багато класів задач з опуклою оптимізацією допускають поліноміальні алгоритми тоді як математична оптимізація в цілому NP-важка.
Опукла оптимізація має застосування в широкому спектрі дисциплін, таких як автоматичні системи управління, оцінка та обробка сигналів, комунікації та мережі, проектування електронних схем, аналіз та моделювання даних, фінанси, статистика (оптимальний експериментальний дизайн), та структурна оптимізація, де концепція наближення виявилась ефективною. З недавніми досягненнями в галузі обчислювальних та оптимізаційних алгоритмів, опукле програмування майже настільки ж просте, як і лінійне програмування.
Визначення Редагувати
Проблема оптимізації опуклості — це проблема оптимізації, в якій цільова функція є опуклою функцією, а допустимою множиною є опукла множина. Функція відображення деякої підмножини в опукла, якщо її домен опуклий і для всіх і також для всіх у своєму домені виконується така умова: . Множина S опукла, якщо для всіх членів і для всіх , у нас є, що .
Конкретно, проблема опуклої оптимізації — це проблема пошуку маючи
де об'єктивна функція є опуклою, як і допустима множина . Якщо така точка існує, вона називається оптимальною точкою ; множина всіх оптимальних точок називається оптимальною множиною. Якщо є необмеженою внизу над або мінімум не досягнуто, тоді, як кажуть, проблема оптимізації є необмеженою. Інакше, якщо є порожньою множиною, тоді проблема, як кажуть, невирішувана.
Стандартна форма Редагувати
Кажуть, що проблема опуклої оптимізації є в стандартній формі, якщо вона записана як
де — змінна оптимізації, функції є опуклими, і функції є афінними. У цьому позначенні функція — це цільова функція задачі, і функції і називаються функціями обмеження. Можливим набором задачі оптимізації є множина, що складається з усіх точок задовольняючи і . Ця множина є опуклою, оскільки підмножини опуклих функцій опуклі, афінні множини опуклі, а перетин опуклих множин — опуклий.
Багато проблем оптимізації можуть бути сформульовані в цій стандартній формі. Наприклад, проблема максимізації увігнутої функції може бути переформульовано як проблема мінімізації опуклої функції ; така проблема максимізації увігнутої функції над опуклою множиною часто називається проблемою оптимізації опуклої форми.
Властивості Редагувати
Наступні корисні властивості задач опуклої оптимізації:
- кожен локальний мінімум — це глобальний мінімум;
- оптимальна множина опукла;
- якщо цільова функція строго опукла, то задача має щонайменше одну оптимальну точку.
Ці результати використовуються теорією опуклої мінімізації разом з геометричними поняттями функціонального аналізу (в просторах Гільберта), такими як теорема проєкції Гільберта, теорема розділення гіперплан та лемма Фаркаса.
Приклади Редагувати
Перелічені класи задач — це все задачі опуклої оптимізації, або їх можна звести до задачі опуклої оптимізації за допомогою простих перетворень:
- Найменші квадрати
- Лінійне програмування
- Опукла квадратична мінімізація з лінійними обмеженнями
- Квадратна мінімізація з опуклими квадратичними обмеженнями
- Конічна оптимізація
- Геометричне програмування
- Програмування конуса другого порядку
- Напівскінченне програмування
- Максимізація ентропії з відповідними обмеженнями
Множники Лагранжа Редагувати
Розглянемо проблему мінімізації опуклої форми, задану в стандартній формі функцією витрат та обмеженням нерівності для . Домен є:
Функцією Лагранжа для задачі є
Для кожної точки в що мінімізує над , існують реальні числа котрі називаються множниками Лагранжа, які одночасно задовольняють ці умови:
- мінімізує над усім
- принаймні з одним
- (додаткова млявість).
Якщо існує «строго допустима точка», тобто точка , котра задовольняє
тоді твердження вище може вимагати .
І навпаки, якщо якісь в задовольняють (1) — (3) для скалярів з , то мінімізує над .
Алгоритми Редагувати
Задачі опуклої оптимізації можуть бути розв'язані такими сучасними методами:
- Методи розшарування (Вулф, Лемарель, Ківіль) та
- Методи субградієнтної проєкції (Поляк),
- Методи внутрішніх точок, в яких використовуються самокорегуючі бар'єрні функції та саморегулярні бар'єрні функції.
- Ріжучі площинні методи
- Еліпсоїдний метод
- Субградієнтний метод
- Подвійні субградієнти та метод дрейфу плюс-штраф
Субградієнтні методи можуть бути реалізовані просто і тому широко застосовуються. Подвійні субградієнтні методи — це субградієнтні методи, застосовані до подвійної задачі. Метод дрейфування плюс-штрафу схожий з методом подвійного субградієнта.
Розширення Редагувати
Розширення опуклої оптимізації включають оптимізацію функцій двоопуклої, псевдо-опуклої та квазі-опуклої. Розширення теорії опуклого аналізу та ітеративних методів приблизно розв'язування задач мінімізації, що не є опуклими, відбуваються в області узагальненої опуклості, також відомої як абстрактний опуклий аналіз.
Див. також Редагувати
Примітки Редагувати
- ↑ (Nesterov та Nemirovskii, 1994)
- Murty, Katta; Kabadi, Santosh (1987). Some NP-complete problems in quadratic and nonlinear programming. Mathematical Programming 39 (2): 117–129. doi:10.1007/BF02592948.
- Sahni, S. "Computationally related problems, " in SIAM Journal on Computing, 3, 262—279, 1974.
- Quadratic programming with one negative eigenvalue is NP-hard, Panos M. Pardalos and Stephen A. Vavasis in Journal of Global Optimization, Volume 1, Number 1, 1991, pg.15-22.
- ↑ (Boyd та Vandenberghe, 2004)
- Chritensen/Klarbring, chpt. 4.
- Schmit, L.A.; Fleury, C. 1980: Structural synthesis by combining approximation concepts and dual methods.
- Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1996). Convex analysis and minimization algorithms: Fundamentals. с. 291. ISBN 9783540568506.
- Ben-Tal, Aharon; Nemirovskiĭ, Arkadiĭ Semenovich (2001). Lectures on modern convex optimization: analysis, algorithms, and engineering applications. с. 335–336. ISBN 9780898714913.
- Rockafellar, R. Tyrrell (1993). Lagrange multipliers and optimality. SIAM Review 35 (2): 183–238. doi:10.1137/1035044. Проігноровано невідомий параметр
|citeseerx=
(довідка) - Agrawal, Akshay; Verschueren, Robin; Diamond, Steven; Boyd, Stephen (2018). A rewriting system for convex optimization problems. Control and Decision 5 (1): 42–60. arXiv:1709.04494. doi:10.1080/23307706.2017.1397554.
- Для методів для опуклої мінімізації див. книги від Hiriart-Urruty і Lemaréchal, а також підручники від Ruszczyński і Bertsekas і від Boyd і Vandenberghe (внутрішня точка).
- Nesterov, Yurii; Arkadii, Nemirovskii (1995). Interior-Point Polynomial Algorithms in Convex Programming. Society for Industrial and Applied Mathematics. ISBN 978-0898715156.
- Peng, Jiming; Roos, Cornelis; Terlaky, Tamás (2002). Self-regular functions and new search directions for linear and semidefinite optimization. Mathematical Programming 93 (1): 129–171. ISSN 0025-5610. doi:10.1007/s101070200296.
- Bertsekas
Список літератури Редагувати
- Bertsekas, Dimitri P.; Nedic, Angelia; Ozdaglar, Asuman (2003). Convex Analysis and Optimization. Belmont, MA.: Athena Scientific. ISBN 978-1-886529-45-8.
- Bertsekas, Dimitri P. (2009). Convex Optimization Theory. Belmont, MA.: Athena Scientific. ISBN 978-1-886529-31-1.
- Bertsekas, Dimitri P. (2015). Convex Optimization Algorithms. Belmont, MA.: Athena Scientific. ISBN 978-1-886529-28-1.
- Boyd, Stephen P.; Vandenberghe, Lieven (2004). Convex Optimization. Cambridge University Press. ISBN 978-0-521-83378-3. Процитовано 15 жовтня 2011.
- Борвейн, Джонатан та Льюїс, Адріан. (2000). Аналіз опуклості та нелінійна оптимізація . Спрингер.
- Christensen, Peter W.; Anders Klarbring (2008). An introduction to structural optimization 153. Springer Science & Businees Media. ISBN 9781402086663. Christensen, Peter W.; Anders Klarbring (2008). An introduction to structural optimization 153. Springer Science & Businees Media. ISBN 9781402086663. Christensen, Peter W.; Anders Klarbring (2008). An introduction to structural optimization 153. Springer Science & Businees Media. ISBN 9781402086663.
- Хіріарт-Урруті, Жан-Батист і Лемарешал, Клод . (2004). Основи опуклого аналізу . Берлін: Спрінгер.
- Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Convex analysis and minimization algorithms, Volume I: Fundamentals. Grundlehren der Mathematischen Wissenschaften [Fundamental Principles of Mathematical Sciences] 305. Berlin: Springer-Verlag. с. xviii+417. ISBN 978-3-540-56850-6. MR 1261420. Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Convex analysis and minimization algorithms, Volume I: Fundamentals. Grundlehren der Mathematischen Wissenschaften [Fundamental Principles of Mathematical Sciences] 305. Berlin: Springer-Verlag. с. xviii+417. ISBN 978-3-540-56850-6. MR 1261420. Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Convex analysis and minimization algorithms, Volume I: Fundamentals. Grundlehren der Mathematischen Wissenschaften [Fundamental Principles of Mathematical Sciences] 305. Berlin: Springer-Verlag. с. xviii+417. ISBN 978-3-540-56850-6. MR 1261420.
- Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Convex analysis and minimization algorithms, Volume II: Advanced theory and bundle methods. Grundlehren der Mathematischen Wissenschaften [Fundamental Principles of Mathematical Sciences] 306. Berlin: Springer-Verlag. с. xviii+346. ISBN 978-3-540-56852-0. MR 1295240. Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Convex analysis and minimization algorithms, Volume II: Advanced theory and bundle methods. Grundlehren der Mathematischen Wissenschaften [Fundamental Principles of Mathematical Sciences] 306. Berlin: Springer-Verlag. с. xviii+346. ISBN 978-3-540-56852-0. MR 1295240. Hiriart-Urruty, Jean-Baptiste; Lemaréchal, Claude (1993). Convex analysis and minimization algorithms, Volume II: Advanced theory and bundle methods. Grundlehren der Mathematischen Wissenschaften [Fundamental Principles of Mathematical Sciences] 306. Berlin: Springer-Verlag. с. xviii+346. ISBN 978-3-540-56852-0. MR 1295240.
- Kiwiel, Krzysztof C. (1985). Methods of Descent for Nondifferentiable Optimization. Lecture Notes in Mathematics. New York: Springer-Verlag. ISBN 978-3-540-15642-0. Kiwiel, Krzysztof C. (1985). Methods of Descent for Nondifferentiable Optimization. Lecture Notes in Mathematics. New York: Springer-Verlag. ISBN 978-3-540-15642-0. Kiwiel, Krzysztof C. (1985). Methods of Descent for Nondifferentiable Optimization. Lecture Notes in Mathematics. New York: Springer-Verlag. ISBN 978-3-540-15642-0.
- Lemaréchal, Claude (2001). Lagrangian relaxation. У Michael Jünger and Denis Naddef. Computational combinatorial optimization: Papers from the Spring School held in Schloß Dagstuhl, May 15–19, 2000. Lecture Notes in Computer Science 2241. Berlin: Springer-Verlag. с. 112–156. ISBN 978-3-540-42877-0. MR 1900016. doi:10.1007/3-540-45586-8_4. Lemaréchal, Claude (2001). Lagrangian relaxation. У Michael Jünger and Denis Naddef. Computational combinatorial optimization: Papers from the Spring School held in Schloß Dagstuhl, May 15–19, 2000. Lecture Notes in Computer Science 2241. Berlin: Springer-Verlag. с. 112–156. ISBN 978-3-540-42877-0. MR 1900016. doi:10.1007/3-540-45586-8_4. Lemaréchal, Claude (2001). Lagrangian relaxation. У Michael Jünger and Denis Naddef. Computational combinatorial optimization: Papers from the Spring School held in Schloß Dagstuhl, May 15–19, 2000. Lecture Notes in Computer Science 2241. Berlin: Springer-Verlag. с. 112–156. ISBN 978-3-540-42877-0. MR 1900016. doi:10.1007/3-540-45586-8_4.
- Nesterov, Yurii; Nemirovskii, Arkadii (1994). Interior Point Polynomial Methods in Convex Programming. SIAM.
- Нестеров, Юрій. (2004). Вступні лекції з опуклої оптимізації, наукові видавці Kluwer
- Rockafellar, R. T. (1970). Convex analysis. Princeton: Princeton University Press.
- Ruszczyński, Andrzej (2006). Nonlinear Optimization. Princeton University Press.
- Шміт, Л.А .; Флері, C. 1980: Структурний синтез шляхом поєднання концепцій наближення та подвійних методів . Дж. Амер. Інст. Аеронавт. Астронавт 18, 1252—1260
Посилання Редагувати
- Стівен Бойд та Лівен Ванденберге, опукла оптимізація (книга в pdf)
- EE364a: Опукла оптимізація I та EE364b: Опукла оптимізація II, домашні сторінки курсу «Стенфорд»
- 6.253: Опуклий аналіз та оптимізація, домашня сторінка курсу MIT OCW
- Брайан Борчерс,