Projection orthogonale et méthode des moindres carrés

I — Ajuster trois points

1. Si les trois points appartenaient au graphe de $x\mapsto\alpha x+\beta$, on aurait

$$-\alpha+\beta=1,\qquad \beta=1,\qquad \alpha+\beta=2.$$

La deuxième égalité donne $\beta=1$ et la troisième $\alpha=1$, ce qui contredit la première. Un ajustement exact est donc impossible.

2. On développe

$$\begin{aligned} S(\alpha,\beta) &=(-\alpha+\beta-1)^2+(\beta-1)^2+(\alpha+\beta-2)^2\\ &=2\alpha^2-2\alpha+3\beta^2-8\beta+6. \end{aligned}$$

En complétant les carrés,

$$S(\alpha,\beta) =2\left(\alpha-\frac12\right)^2 +3\left(\beta-\frac43\right)^2 +\frac16.$$

Ainsi

$$\boxed{\alpha=\frac12,\qquad \beta=\frac43}$$

et

$$\boxed{\min_{\mathbb R^2}S=\frac16}.$$

Le minimum est unique puisque les deux carrés doivent simultanément s’annuler.

(a) On a

$$\alpha X+\beta U =\begin{pmatrix}-\alpha+\beta\\ \beta\\ \alpha+\beta\end{pmatrix}.$$

Par conséquent

$$Y-(\alpha X+\beta U) =\begin{pmatrix}1+\alpha-\beta\\1-\beta\\2-\alpha-\beta\end{pmatrix},$$

et donc

$$\|Y-(\alpha X+\beta U)\|^2 =(-\alpha+\beta-1)^2+(\beta-1)^2+(\alpha+\beta-2)^2 =S(\alpha,\beta).$$

Lorsque $(\alpha,\beta)$ parcourt $\mathbb R^2$, le vecteur $\alpha X+\beta U$ parcourt $F$. Minimiser $S$ revient donc à chercher le point de $F$ le plus proche de $Y$.

(b) Si $aX+bU=0$, la deuxième coordonnée donne $b=0$, puis la première donne $a=0$. La famille $(X,U)$ est donc libre, et

$$\boxed{\dim F=2}.$$

(c) Avec $\alpha=\frac12$ et $\beta=\frac43$,

$$P=\frac12X+\frac43U =\begin{pmatrix}5/6\\4/3\\11/6\end{pmatrix},$$

puis

$$R=Y-P =\begin{pmatrix}1/6\\-1/3\\1/6\end{pmatrix}.$$

On vérifie

$$\langle R,X\rangle=-\frac16+\frac16=0, \qquad \langle R,U\rangle=\frac16-\frac13+\frac16=0.$$

Comme $X$ et $U$ engendrent $F$, on obtient

$$\boxed{R\in F^\perp}.$$

(a) Comme $Y-P=R\in F^\perp$ et $P-Z\in F$, les vecteurs $Y-P$ et $P-Z$ sont orthogonaux. Or

$$Y-Z=(Y-P)+(P-Z).$$

Le théorème de Pythagore donne donc

$$\boxed{\|Y-Z\|^2=\|Y-P\|^2+\|P-Z\|^2}.$$

(b) Pour tout $Z\in F$,

$$\|Y-Z\|^2\geq\|Y-P\|^2,$$

avec égalité si et seulement si $P-Z=0$, c’est-à-dire $Z=P$. Ainsi $P$ est l’unique point de $F$ le plus proche de $Y$. D’après la question 3(a),

$$\min S=\|Y-P\|^2=\|R\|^2 =\frac1{36}+\frac19+\frac1{36} =\boxed{\frac16}.$$

II — Projection orthogonale

5. Le vecteur nul appartient à $F^\perp$. Si $x,x'\in F^\perp$ et $\lambda,\mu\in\mathbb R$, alors, pour tout $y\in F$,

$$\langle \lambda x+\mu x',y\rangle =\lambda\langle x,y\rangle+\mu\langle x',y\rangle=0.$$

Ainsi $\lambda x+\mu x'\in F^\perp$ : $F^\perp$ est un sous-espace vectoriel de $E$.

Si $x\in F\cap F^\perp$, alors $x\in F$ et $x$ est orthogonal à tout vecteur de $F$, en particulier à lui-même. Donc

$$\|x\|^2=\langle x,x\rangle=0,$$

d’où $x=0$. Ainsi

$$\boxed{F\cap F^\perp=\{0\}}.$$

(a) Chaque $e_i$ appartient à $F$, donc

$$q=\sum_{i=1}^r\langle x,e_i\rangle e_i\in F.$$

Pour $1\leq j\leq r$,

$$\begin{aligned} \langle x-q,e_j\rangle &=\langle x,e_j\rangle- \sum_{i=1}^r\langle x,e_i\rangle\langle e_i,e_j\rangle\\ &=\langle x,e_j\rangle-\langle x,e_j\rangle=0, \end{aligned}$$

car la famille $(e_1,\ldots,e_r)$ est orthonormée. Comme elle engendre $F$, on a $x-q\in F^\perp$.

(b) La question précédente fournit une décomposition

$$x=q+(x-q),\qquad q\in F, \qquad x-q\in F^\perp.$$

Supposons

$$x=p+r'=p'+r'', \qquad p,p'\in F, \qquad r',r''\in F^\perp.$$

Alors

$$p-p'=r''-r'.$$

Le membre de gauche appartient à $F$, celui de droite à $F^\perp$ ; leur valeur commune appartient donc à $F\cap F^\perp=\{0\}$. Ainsi $p=p'$ et $r'=r''$. La décomposition est unique.

On obtient donc, pour tout $x\in E$, un unique $p\in F$ tel que $x-p\in F^\perp$. C’est le projeté orthogonal $P_F(x)$. En particulier,

$$E=F\mathbin{\overset{\perp}{\oplus}}F^\perp.$$

(a) Soit $z\in F$. On écrit

$$x-z=(x-p)+(p-z).$$

Comme $x-p\in F^\perp$ et $p-z\in F$, les deux termes sont orthogonaux. Donc

$$\boxed{\|x-z\|^2=\|x-p\|^2+\|p-z\|^2}.$$

Il s’ensuit que $\|x-z\|\geq\|x-p\|$, avec égalité si et seulement si $z=p$. Ainsi $p$ est l’unique élément de $F$ minimisant la distance à $x$.

(b) Supposons $p\in F$ et

$$\|x-p\|\leq\|x-z\|\qquad\text{pour tout }z\in F.$$

Soit $h\in F$. Pour tout $t\in\mathbb R$, $p+th\in F$, donc

$$\|x-p\|^2\leq\|x-p-th\|^2.$$

En développant,

$$0\leq -2t\langle x-p,h\rangle+t^2\|h\|^2 \qquad\text{pour tout }t\in\mathbb R.$$

Si $h\neq0$ et $\langle x-p,h\rangle\neq0$, le choix

$$t=\frac{\langle x-p,h\rangle}{\|h\|^2}$$

rendrait le membre de droite strictement négatif. Donc $\langle x-p,h\rangle=0$. Le cas $h=0$ est immédiat. Ainsi $x-p$ est orthogonal à tout $h\in F$, donc

$$\boxed{x-p\in F^\perp}.$$

(c) Pour $p\in F$ :

• $p=P_F(x)$ implique $x-p\in F^\perp$ par définition ;
• si $x-p\in F^\perp$, l’unicité de la question 6 donne $p=P_F(x)$ ;
• la question (a) montre que $p=P_F(x)$ implique que $p$ est l’unique meilleur approximant ;
• si $p$ minimise la distance à $x$, la question (b) donne $x-p\in F^\perp$, donc $p=P_F(x)$.

Les trois assertions sont donc équivalentes.

(a) D’après la formule de la question 6,

$$P_F(x)=\sum_{i=1}^r\langle x,e_i\rangle e_i,$$

la linéarité de $P_F$ est immédiate. Si $x\in F$, alors $P_F(x)=x$ ; par conséquent

$$P_F^2=P_F.$$

Tout $P_F(x)$ appartient à $F$, et tout élément de $F$ est fixé par $P_F$, donc

$$\boxed{\operatorname{Im}(P_F)=F}.$$

Enfin,

$$P_F(x)=0 \iff x=0+(x-0),\quad x\in F^\perp \iff x\in F^\perp,$$

d’où

$$\boxed{\ker(P_F)=F^\perp}.$$

(b) Complétons $(e_1,\ldots,e_r)$ en une base orthonormée $(e_1,\ldots,e_r,e_{r+1},\ldots,e_n)$ de $E$. La projection fixe les $r$ premiers vecteurs et annule les suivants. Sa matrice est donc

$$\boxed{ \begin{pmatrix} I_r&0\\ 0&0 \end{pmatrix}}.$$

(c) Écrivons

$$y=P_F(y)+y_\perp, \qquad y_\perp\in F^\perp.$$

Comme $P_F(x)\in F$,

$$\langle P_F(x),y\rangle =\langle P_F(x),P_F(y)\rangle.$$

De même, en écrivant $x=P_F(x)+x_\perp$,

$$\langle x,P_F(y)\rangle =\langle P_F(x),P_F(y)\rangle.$$

Ainsi

$$\boxed{\langle P_F(x),y\rangle=\langle x,P_F(y)\rangle}.$$

Par ailleurs,

$$\|x\|^2=\|P_F(x)\|^2+\|x-P_F(x)\|^2,$$

d’où $\|P_F(x)\|\leq\|x\|$. Il y a égalité si et seulement si $x-P_F(x)=0$, c’est-à-dire si et seulement si $x\in F$.

III — Le problème des moindres carrés

(a) Lorsque $x$ parcourt $\mathbb R^n$, le vecteur $Ax$ parcourt exactement

$$\operatorname{Im}A=\{Ax\ ;\ x\in\mathbb R^n\}.$$

Ainsi

$$\Phi(x)=\|Ax-y\|^2=\|y-Ax\|^2,$$

et minimiser $\Phi$ revient à chercher le point de $\operatorname{Im}A$ le plus proche de $y$.

(b) Comme $\operatorname{Im}A$ est un sous-espace de $\mathbb R^m$, il existe un unique point

$$p=P_{\operatorname{Im}A}(y)$$

minimisant la distance à $y$. Il existe au moins un $x$ tel que $Ax=p$, puisque $p\in\operatorname{Im}A$. Ainsi $\Phi$ admet un minimum. Si $x$ et $x'$ sont deux minimiseurs, alors

$$Ax=Ax'=p.$$

Le vecteur ajusté est donc unique, même si le paramètre ne l’est pas nécessairement.

(c) Soit $x_0$ un minimiseur. Un vecteur $x$ est aussi minimiseur si et seulement s’il donne le même vecteur ajusté :

$$Ax=Ax_0 \iff A(x-x_0)=0 \iff x-x_0\in\ker A.$$

Par conséquent l’ensemble des minimiseurs est

$$\boxed{x_0+\ker A}.$$

Il est réduit à un seul vecteur si et seulement si

$$\boxed{\ker A=\{0\}}.$$

(a) Pour $x=(x_j)\in\mathbb R^n$ et $z=(z_i)\in\mathbb R^m$,

$$\begin{aligned} \langle Ax,z\rangle &=\sum_{i=1}^m\left(\sum_{j=1}^n a_{ij}x_j\right)z_i\\ &=\sum_{j=1}^n x_j\left(\sum_{i=1}^m a_{ij}z_i\right) =\langle x,A^Tz\rangle. \end{aligned}$$

(b) Pour $z\in\mathbb R^m$,

$$\begin{aligned} z\in(\operatorname{Im}A)^\perp &\iff \langle Ax,z\rangle=0\quad\text{pour tout }x\in\mathbb R^n\\ &\iff \langle x,A^Tz\rangle=0\quad\text{pour tout }x\in\mathbb R^n\\ &\iff A^Tz=0. \end{aligned}$$

Donc

$$\boxed{(\operatorname{Im}A)^\perp=\ker(A^T)}.$$

(c) Le vecteur $x$ minimise $\Phi$ si et seulement si $Ax$ est le projeté orthogonal de $y$ sur $\operatorname{Im}A$, c’est-à-dire si et seulement si

$$y-Ax\in(\operatorname{Im}A)^\perp.$$

D’après (b), cela équivaut à

$$A^T(y-Ax)=0,$$

ou encore

$$\boxed{A^TAx=A^Ty}.$$

Les équations normales traduisent donc exactement l’orthogonalité du résidu au sous-espace des vecteurs ajustés.

(a) La $(i,j)$-ième entrée de $A^TA$ est le produit scalaire de la $i$-ième et de la $j$-ième colonne de $A$ :

$$\boxed{(A^TA)_{ij}=\langle a_i,a_j\rangle}.$$

C’est donc la matrice de Gram de la famille $(a_1,\ldots,a_n)$.

(b) Si $x\in\ker A$, alors $A^TAx=0$, donc $\ker A\subset\ker(A^TA)$. Réciproquement, si $A^TAx=0$, alors

$$0=\langle x,A^TAx\rangle=\langle Ax,Ax\rangle=\|Ax\|^2,$$

donc $Ax=0$. Ainsi

$$\boxed{\ker(A^TA)=\ker A}.$$

(c) $A^TA$ est une matrice carrée de taille $n$. Elle est inversible si et seulement si son noyau est réduit à $\{0\}$. D’après (b),

$$A^TA\text{ inversible} \iff \ker A=\{0\} \iff (a_1,\ldots,a_n)\text{ est libre}.$$

(d) Sous ces hypothèses, les équations normales ont l’unique solution

$$\boxed{\widehat x=(A^TA)^{-1}A^Ty}.$$

Le vecteur ajusté est donc

$$A\widehat x=A(A^TA)^{-1}A^Ty=P_{\operatorname{Im}A}(y).$$

La matrice de la projection orthogonale sur $\operatorname{Im}A$ est ainsi

$$\boxed{A(A^TA)^{-1}A^T}.$$

(a) Si $x=(x_1,x_2)^T$, alors

$$Ax=\begin{pmatrix}x_1+x_2\\0\end{pmatrix}$$

et

$$\|Ax-y\|^2=(x_1+x_2-1)^2+1.$$

Le minimum vaut $1$ et il est atteint exactement lorsque

$$\boxed{x_1+x_2=1}.$$

Les minimiseurs sont donc les vecteurs

$$\boxed{x=\begin{pmatrix}t\\1-t\end{pmatrix},\qquad t\in\mathbb R}.$$

(b) Pour tout minimiseur,

$$Ax=\begin{pmatrix}1\\0\end{pmatrix}, \qquad y-Ax=\begin{pmatrix}0\\1\end{pmatrix}.$$

Le vecteur ajusté est unique, contrairement au paramètre $x$.

(c) On calcule

$$A^TA=\begin{pmatrix}1&1\\1&1\end{pmatrix}, \qquad A^Ty=\begin{pmatrix}1\\1\end{pmatrix}.$$

Les équations normales sont donc

$$\begin{cases} x_1+x_2=1,\\ x_1+x_2=1. \end{cases}$$

Elles caractérisent exactement la droite affine de minimiseurs trouvée en (a). La singularité de $A^TA$ n’empêche donc pas les équations normales de caractériser les minimiseurs ; elle empêche seulement ici leur unicité.

IV — Ajuster une droite à $N$ observations

(a) Il suffit de prendre

$$\boxed{ A=\begin{pmatrix} x_1&1\\ \vdots&\vdots\\ x_N&1 \end{pmatrix}}.$$

Ses colonnes sont $X$ et $\mathbf1$, et

$$A\begin{pmatrix}a\\b\end{pmatrix}=aX+b\mathbf1.$$

(b) Les colonnes sont liées si et seulement s’il existe $(\lambda,\mu)\neq(0,0)$ tel que

$$\lambda X+\mu\mathbf1=0.$$

Si $\lambda=0$, alors $\mu=0$, contradiction. Il faut donc $\lambda\neq0$, et

$$x_i=-\frac\mu\lambda$$

pour tout $i$ : les $x_i$ sont tous égaux. Réciproquement, s’ils sont tous égaux à $c$, alors $X=c\mathbf1$, donc les colonnes sont liées. Ainsi elles sont indépendantes si et seulement si les $x_i$ ne sont pas tous égaux.

(c) Par hypothèse, les colonnes de $A$ sont indépendantes, donc $\ker A=\{0\}$. D’après la partie III, le problème de moindres carrés possède alors un unique paramètre minimisant. Il existe donc un unique couple $(a,b)$ recherché.

(a) Les équations normales s’écrivent

$$\begin{cases} \displaystyle\sum_{i=1}^N x_i(ax_i+b-y_i)=0,\\[2mm] \displaystyle\sum_{i=1}^N (ax_i+b-y_i)=0. \end{cases}$$

De façon équivalente,

$$\begin{cases} \displaystyle\sum_{i=1}^N x_i(y_i-ax_i-b)=0,\\[2mm] \displaystyle\sum_{i=1}^N (y_i-ax_i-b)=0. \end{cases}$$

(b) La deuxième équation donne

$$N\bar y-aN\bar x-Nb=0,$$

donc

$$\boxed{b=\bar y-a\bar x}.$$

(c) En remplaçant $b$ dans la première équation sous la forme utilisant le résidu,

$$\sum_{i=1}^N x_i\bigl[(y_i-\bar y)-a(x_i-\bar x)\bigr]=0.$$

Or

$$\sum_{i=1}^N(y_i-\bar y)=0, \qquad \sum_{i=1}^N(x_i-\bar x)=0.$$

On peut donc remplacer $x_i$ par $x_i-\bar x$ dans la somme, ce qui donne

$$\sum_{i=1}^N(x_i-\bar x)(y_i-\bar y) -a\sum_{i=1}^N(x_i-\bar x)^2=0.$$

Comme les $x_i$ ne sont pas tous égaux,

$$\sum_{i=1}^N(x_i-\bar x)^2>0.$$

Ainsi

$$\boxed{ a=\frac{\displaystyle\sum_{i=1}^N(x_i-\bar x)(y_i-\bar y)}{\displaystyle\sum_{i=1}^N(x_i-\bar x)^2}}, \qquad \boxed{b=\bar y-a\bar x}.$$

(d) Pour $x=\bar x$, la valeur de la droite ajustée est

$$a\bar x+b=a\bar x+\bar y-a\bar x=\bar y.$$

Elle passe donc par

$$\boxed{(\bar x,\bar y)}.$$

(a) On a

$$\langle X_c,\mathbf1\rangle =\sum_{i=1}^N(x_i-\bar x) =\sum_{i=1}^N x_i-N\bar x=0.$$

Donc $X_c\perp\mathbf1$. Par ailleurs,

$$X_c=X-\bar x\,\mathbf1, \qquad X=X_c+\bar x\,\mathbf1,$$

d’où

$$\boxed{\operatorname{Vect}(X,\mathbf1)=\operatorname{Vect}(X_c,\mathbf1)}.$$

(b) Les vecteurs $X_c$ et $\mathbf1$ sont orthogonaux et non nuls. La projection de $Y$ sur leur plan engendré est donc

$$P(Y) =\frac{\langle Y,X_c\rangle}{\|X_c\|^2}X_c +\frac{\langle Y,\mathbf1\rangle}{\|\mathbf1\|^2}\mathbf1.$$

Or

$$\frac{\langle Y,\mathbf1\rangle}{\|\mathbf1\|^2} =\frac{\sum_i y_i}{N}=\bar y,$$

et

$$\frac{\langle Y,X_c\rangle}{\|X_c\|^2} =\frac{\sum_i(x_i-\bar x)y_i}{\sum_i(x_i-\bar x)^2} =\frac{\sum_i(x_i-\bar x)(y_i-\bar y)}{\sum_i(x_i-\bar x)^2} =a.$$

Ainsi

$$P(Y)=aX_c+\bar y\,\mathbf1 =aX+(\bar y-a\bar x)\mathbf1,$$

ce qui redonne $b=\bar y-a\bar x$ et la formule de $a$ de la question 14.

(c) Pour les trois points de la partie I,

$$\bar x=0, \qquad \bar y=\frac{1+1+2}{3}=\frac43, \qquad X_c=X.$$

Alors

$$\alpha =\frac{\langle Y,X\rangle}{\|X\|^2} =\frac{-1+2}{2} =\frac12,$$

et

$$\beta=\bar y-\alpha\bar x=\frac43.$$

On retrouve bien le résultat de la question 2.

Enfin $X\perp U$ puisque

$$\langle X,U\rangle=-1+0+1=0.$$

Dans

$$\|Y-\alpha X-\beta U\|^2,$$

le terme croisé en $\alpha\beta$ est proportionnel à $\langle X,U\rangle$ ; il est donc nul.

V — Approximer des fonctions

(a) La bilinéarité et la symétrie résultent de celles de l’intégrale et du produit réel. De plus,

$$\langle f,f\rangle=\int_{-1}^1 f(t)^2\,dt\geq0.$$

Si cette intégrale est nulle, la fonction continue $f^2$, positive ou nulle, a une intégrale nulle. Elle est donc identiquement nulle : sinon elle serait strictement positive sur un petit intervalle par continuité, ce qui donnerait une intégrale strictement positive. Ainsi $f=0$. La forme donnée est donc bien un produit scalaire.

(b) Les fonctions $t\mapsto t$ et $t\mapsto1$ sont linéairement indépendantes et engendrent $F$, donc

$$\boxed{\dim F=2}.$$

La construction de la question 6 n’utilise que l’existence d’une base orthonormée du sous-espace sur lequel on projette. Comme $F$ est de dimension finie, on peut choisir une telle base dans $F$ et, pour tout $f\in H$, définir

$$P_F(f)=\sum_i\langle f,e_i\rangle e_i.$$

Le même calcul que dans la question 6 montre alors que $f-P_F(f)\in F^\perp$. La dimension finie de l’espace ambiant n’est donc pas nécessaire ici.

(c) Écrivons $p(t)=at+b$. La condition de projection impose

$$t^2-at-b\perp 1 \qquad\text{et}\qquad t^2-at-b\perp t.$$

La première condition donne

$$\int_{-1}^1(t^2-at-b)\,dt =\frac23-2b=0,$$

donc $b=\frac13$. La seconde donne

$$\int_{-1}^1 t(t^2-at-b)\,dt =-a\int_{-1}^1t^2\,dt =-\frac{2a}{3}=0,$$

donc $a=0$. Ainsi

$$\boxed{p(t)=\frac13}.$$

La valeur minimale est

$$\begin{aligned} \int_{-1}^1\left(t^2-\frac13\right)^2dt &=\int_{-1}^1\left(t^4-\frac23t^2+\frac19\right)dt\\ &=\frac25-\frac49+\frac29 =\boxed{\frac8{45}}. \end{aligned}$$

(a) La condition $f-p\in F^\perp$ signifie que, pour chaque $i\in\{0,\ldots,d\}$,

$$0=\langle f-p,\varphi_i\rangle =\langle f,\varphi_i\rangle- \sum_{j=0}^d c_j\langle\varphi_j,\varphi_i\rangle.$$

Comme le produit scalaire est symétrique,

$$\sum_{j=0}^d G_{ij}c_j=D_i,$$

avec

$$G_{ij}=\langle\varphi_i,\varphi_j\rangle, \qquad D_i=\langle f,\varphi_i\rangle.$$

On obtient bien

$$\boxed{Gc=D}.$$

(b) Pour $c=(c_0,\ldots,c_d)^T$,

$$\begin{aligned} c^TGc &=\sum_{i,j=0}^d c_ic_j\langle\varphi_i,\varphi_j\rangle\\ &=\left\langle\sum_{i=0}^d c_i\varphi_i, \sum_{j=0}^d c_j\varphi_j\right\rangle\\ &=\left\|\sum_{j=0}^d c_j\varphi_j\right\|^2. \end{aligned}$$

Si $c\neq0$, l’indépendance linéaire de $(\varphi_0,\ldots,\varphi_d)$ implique

$$\sum_{j=0}^d c_j\varphi_j\neq0,$$

donc $c^TGc>0$. La matrice symétrique $G$ est définie positive ; en particulier son noyau est réduit à $\{0\}$ et elle est inversible.

(a) Si la famille est orthonormée, alors $G=I_{d+1}$. Le système de la question 17 devient

$$\boxed{c_j=\langle f,\varphi_j\rangle, \qquad 0\leq j\leq d}.$$

(b) Prenons pour $\varphi_j$ les colonnes $a_j$ de $A$. Alors

$$G_{ij}=\langle a_i,a_j\rangle,$$

donc $G=A^TA$. Pour $f=y$,

$$D_i=\langle y,a_i\rangle,$$

donc $D=A^Ty$. Le système $Gc=D$ devient

$$\boxed{A^TAc=A^Ty},$$

qui est précisément le système des équations normales.

(c) Le sous-espace

$$F=\mathbb R_d[X]$$

est de dimension finie $d+1$. La construction de la projection orthogonale sur un sous-espace de dimension finie s’applique donc dans $C([-1,1],\mathbb R)$ muni du produit scalaire de la question 16. Pour toute fonction continue $f$, il existe ainsi un unique

$$p=P_F(f)\in\mathbb R_d[X]$$

qui minimise $\|f-p\|$.

Dans la base monomiale $(1,X,\ldots,X^d)$, les coefficients doivent être obtenus en résolvant le système de Gram $Gc=D$. Dans une base orthonormée $(\varphi_0,\ldots,\varphi_d)$, ce système devient l’identité et

$$p=\sum_{j=0}^d\langle f,\varphi_j\rangle\varphi_j.$$

La même géométrie gouverne donc l’ajustement discret et l’approximation de fonctions : le meilleur approximant est caractérisé par l’orthogonalité du résidu au sous-espace d’approximation.