Optimisation convexe - Théorème de Weierstrass

Soit S un ensemble non vide, fermé et borné (également appelé ensemble compact) dans $ \ mathbb {R} ^ n $ et soit $ f: S \ rightarrow \ mathbb {R} $ une fonction continue sur S, alors le problème min $ \ left \ {f \ left (x \ right): x \ in S \ right \} $ atteint son minimum.

Preuve

Puisque S est non vide et borné, il existe une borne inférieure.

$ \ alpha = Inf \ left \ {f \ left (x \ right): x \ in S \ right \} $

Soit maintenant $ S_j = \ left \ {x \ in S: \ alpha \ leq f \ left (x \ right) \ leq \ alpha + \ delta ^ j \ right \} \ forall j = 1,2, ... $ et $ \ delta \ in \ left (0,1 \ right) $

Par la définition d'infimium, $ S_j $ est non vide, pour chaque $ j $.

Choisissez des $ x_j \ dans S_j $ pour obtenir une séquence $ \ left \ {x_j \ right \} $ pour $ j = 1,2, ... $

Puisque S est borné, la séquence est également bornée et il existe une sous-séquence convergente $ \ left \ {y_j \ right \} $, qui converge vers $ \ hat {x} $. Donc $ \ hat {x} $ est un point limite et S est fermé, donc $ \ hat {x} \ dans S $. Puisque f est continue, $ f \ left (y_i \ right) \ rightarrow f \ left (\ hat {x} \ right) $.

Depuis $ \ alpha \ leq f \ left (y_i \ right) \ leq \ alpha + \ delta ^ k, \ alpha = \ displaystyle \ lim_ {k \ rightarrow \ infty} f \ left (y_i \ right) = f \ left ( \ hat {x} \ right) $

Ainsi, $ \ hat {x} $ est la solution de minimisation.

Remarques

Il y a deux conditions nécessaires importantes pour que le théorème de Weierstrass se vérifie. Ce sont les suivants -

• Step 1 - L'ensemble S doit être un ensemble borné.

  Considérez la fonction f \ left (x \ right) = x $.

  C'est un ensemble illimité et il a des minima à tout moment dans son domaine.

  Ainsi, pour que les minima soient obtenus, S doit être borné.

• Step 2 - L'ensemble S doit être fermé.

  Considérons la fonction $ f \ left (x \ right) = \ frac {1} {x} $ dans le domaine \ left (0,1 \ right).

  Cette fonction n'est pas fermée dans le domaine donné et ses minima n'existent pas non plus.

  Par conséquent, pour que les minima soient obtenus, S doit être fermé.