MIGLIOR APPROSSIMAZIONE IN SPAZI EUCLIDEI^{∗}

A. SOMMARIVA^{†}

Conoscenze richieste. Spazio vettoriale. Spazio normato. Vettori linearmente indipendenti. Sistemi lineari. Operatore delta di Kronecker.

Conoscenze ottenute. Spazi euclidei. Elemento di miglior approssimazione in un sottospazio di dimensione finita di uno spazio euclideo. Determinazione dei coefficienti di Fourier per basi generiche e ortogonali.

Sia E uno spazio vettoriale dotato di un prodotto interno (·, ·) (talvolta un tale spazio è detto euclideo, cf. [5, p.148]), cioè una funzione reale definita sulle coppie x, y ∈ E con le seguenti proprietà

1. (x, x) ≥ 0 per ogni x ∈ E; inoltre (x, x) = 0 se e solo se x = 0;

2. (x, y) = (y, x) per ogni x, y ∈ E;

3. (λx, y) = λ(x, y) per ogni x, y ∈ E e λ ∈ ℝ;

4. (x, y + z) = (x, y) + (x, z) per ogni x, y, z ∈ E.

A partire dal prodotto interno si può definire lo spazio normato (E, ∥ · ∥) ponendo ∥f∥ = \sqrt{(f, f)}.

Vediamo alcuni esempi di spazi euclidei:

1. ℝ^{n} dotato dell’usuale prodotto scalare, è uno spazio euclideo; se e_{1}, …, e_{n} è una base ortonormale, cioè per cui (ϕ_{j}, ϕ_{k}) = δ_{j,k} (dove al solito δ_{j,k} è il delta di Kronecker), allora ogni vettore x ∈ ℝ^{n} si può scrivere come

x = ∑_{k=1}^{n} c_{n}e_{n}, c_{k} = (x, e_{k}).

Infatti, moltiplicando ambo i membri di x per e_{k} si ha per la bilinearità del prodotto scalare

(x, e_{k}) = (∑_{k=1}^{n} c_{n}e_{n}, e_{k}) = ∑_{k=1}^{n} c_{n}(e_{n}, e_{k}) = c_{k}(e_{k}, e_{k}) = c_{k}.

2. lo spazio C([a, b]) delle funzioni continue nel compatto [a, b], dotato del prodotto scalare

(f, g) = ∫_{a}^{b} f(x)g(x) dx

è uno spazio euclideo, cf. [5, p.145]. Una sua base ortogonale (cioè per cui (ϕ_{j}, ϕ_{k}) = c_{j,j}δ_{j,k} con c_{j,j} ≠ 0 per ogni j), facilmente ortonormalizzabile, è il sistema di funzioni trigonometriche

1, cos (\frac{2πnt}{b − a}), sin (\frac{2πnt}{b − a}), n = 1, 2, ….

∗Ultima revisione: 7 novembre 2011 †Dipartimento di Matematica Pura ed Applicata, Universitá degli Studi di Padova, stanza 419, via Trieste 63,

35121 Padova, Italia (alvise@euler.math.unipd.it). Telefono: +39-049-8271350.

1.1. Sull’elemento di miglior approssimazione in spazi euclidei. Nella ricerca dell’elemento di miglior approssimazione in spazi euclidei partiamo da un teorema in un sottospazio di dimensione finita. Cominciamo introducendo una generalizzazione del noto teorema di Pitagora.

Teorema 1.1. Sia E uno spazio euclideo, e siano f, g ∈ E tali che (f, g) = 0 (cioè f e g sono ortogonali). Allora ∥f + g∥^{2} = ∥f∥^{2} + ∥g∥^{2}.

Dimostrazione. Per la dimostrazione si consideri [2, p.90]. Essendo (f, g) = 0, dalla bilinearità del prodotto interno,

∥f + g∥^{2} = (f + g, f + g) = (f, f) + (g, f) + (f, g) + (g, g)
= (f, f) + 0 + 0 + (g, g)
= ∥f∥^{2} + ∥g∥^{2}  (1.1)

Il teorema di Pitagora servirà per dimostrare il seguente teorema (della proiezione ortogonale).

Teorema 1.2. Sia f ∈ E, E spazio euclideo e {ϕ_{j}}_{1,...,N} un sistema finito di elementi di E linearmente indipendenti. Allora la soluzione del problema

∥f − f^{∗}∥_{2} = min_{g∈span{ϕ}_{1,...,N}} ∥f − g∥_{2}

è

f^{∗} = ∑_{1,...,N} c_{j}^{∗}ϕ_{j}

dove i coefficienti c_{j}^{∗} verificano le cosidette equazioni normali

∑_{k=1}^{N}(ϕ_{j}, ϕ_{k})c_{k}^{∗} = (ϕ_{j}, f), j = 1, …, N.

La soluzione è caratterizzata dalla proprietà di ortogonalità cioè che f^{∗} − f è ortogonale a tutti gli ϕ_{k}, con k = 1, …, n, cioè

(f^{∗}, ϕ_{k}) = (f, ϕ_{k}), k = 1, …, n.  (1.2)

Un caso importante è quello in cui {ϕ_{j}}_{j=1,...,N} è un sistema ortogonale, cioè

(ϕ_{j}, ϕ_{k}) = c_{j}δ_{j,k}, c_{j} ≠ 0,

dove al solito δ_{j,k} denota il delta di Kronecker; allora i coefficienti c_{j}^{∗} (detti in questo caso di Fourier) sono calcolabili più semplicemente con la formula

c_{j}^{∗} = \frac{(f, ϕ_{j})}{(ϕ_{j}, ϕ_{j})}, j = 1, …, N.

Dimostrazione. La dimostrazione è tratta da [2, p.92]. Supponiamo f^{∗} − f sia ortogonale a tutti i ϕ_{k}. Sia c = (c_{k})_{1,...,N}, una vettore di coefficienti e supponiamo che per almeno un indice j sia c_{j} ≠ c_{j}^{∗}, cioè c ≠ c^{∗} = (c_{k}^{∗})_{1,...,N}. Allora

∑_{j=1}^{N} c_{j}ϕ_{j} − f = (∑_{j=1}^{N} c_{j}ϕ_{j} − f^{∗}) + (f^{∗} − f)

= ∑_{j=1}^{N}(c_{j} − c_{j}^{∗})ϕ_{j} + (f^{∗} − f)  (1.3)

Se u = f^{∗} − f è ortogonale a tutti i ϕ_{j}, allora è ortogonale pure alla combinazione lineare di ϕ_{j} come ad esempio

v = ∑_{j=1}^{N}(c_{j} − c_{j}^{∗})ϕ_{j} = ∑_{j=1}^{N} c_{j}ϕ_{j} − f^{∗} ∈ span {ϕ_{k}}_{k=1,...,N}.

Dal teorema di Pitagora, poichè (u, v) = 0 implica ∥u+v∥^{2} = ∥u∥^{2} +∥v∥^{2}, da ∥ ∑_{j=1}^{N}(c_{j} − c_{j}^{∗})ϕ_{j}∥ > 0 poichè c ≠ c^{∗} abbiamo

∥ ∑_{j=1}^{N} c_{j}ϕ_{j} − f∥^{2} = ∥ (∑_{j=1}^{N} c_{j}ϕ_{j} − f^{∗}) + (f^{∗} − f)∥^{2}

= ∥ ∑_{j=1}^{N} c_{j}ϕ_{j} − f^{∗}∥^{2} + ∥f^{∗} − f∥^{2}

= ∥ ∑_{j=1}^{N}(c_{j} − c_{j}^{∗})ϕ_{j}∥^{2} + ∥f^{∗} − f∥^{2}
> ∥f^{∗} − f∥^{2}  (1.4)

Di conseguenza se f^{∗} ∈ span{ϕ_{k}}_{k=1,...,N} e f^{∗} − f è ortogonale a tutti i ϕ_{k} allora f^{∗} è la miglior approssimazione di f in span{ϕ_{k}}_{k=1,...,N}. Rimane allora da mostrare che le condizioni di ortogonalità

(∑_{j=1}^{N} c_{j}^{∗}ϕ_{j} − f, ϕ_{k}) = 0, k = 1, …, N

possano essere soddisfatte per un qualche c^{∗} = (c_{j})_{j=1,...,N}. Questo problema è equivalente alla soluzione del sistema di equazioni normali

∑_{k=1}^{N}(ϕ_{j}, ϕ_{k})c_{k}^{∗} = (ϕ_{j}, f), j = 1, …, N  (1.5)

Se ϕ_{1}, …, ϕ_{N} sono N vettori linearmente indipendenti che formano un sistema ortogonale, si ha che

∑_{k=1}^{N}(ϕ_{j}, ϕ_{k})c_{k}^{∗} = (ϕ_{j}, ϕ_{j})c_{j}^{∗}

e quindi da (1.5) che

(ϕ_{k}, ϕ_{k})c_{k}^{∗} = (ϕ_{k}, f).

Visto che (ϕ_{k}, ϕ_{k}) ≠ 0 (se così non fosse 0 = (ϕ_{k}, ϕ_{k}) = ∥ϕ_{k}∥^{2} avremmo ϕ_{k} = 0 e quindi {ϕ_{j}}_{j=1,...,N} non sarebbe un sistema di vettori linearmente indipendenti) si vede subito che (c_{k}^{∗})_{k} esistono unici e uguali a

c_{k}^{∗} = \frac{(ϕ_{k}, f)}{(ϕ_{k}, ϕ_{k})}.

Se invece ϕ_{1}, …, ϕ_{N} non formano un sistema ortogonale, il sistema di equazioni normali ha una e una sola soluzione se il sistema omogeneo di equazioni

∑_{k=1}^{N}(ϕ_{j}, ϕ_{k})c_{k}^{∗} = 0, j = 1, …, N  (1.6)

ha la sola soluzione nulla. Se così non fosse, esisterebbe c^{∗} = (c_{j})_{j=1,...,N} per cui da (1.6)

∥ ∑_{j=1}^{N} c_{j}ϕ_{j}∥^{2} = (∑_{j=1}^{N} c_{j}ϕ_{j}, ∑_{k=1}^{N} c_{k}ϕ_{k})

= ∑_{k=1}^{N} c_{k} ∑_{j=1}^{N} c_{j} (ϕ_{j}, ϕ_{k})

= ∑_{k=1}^{N} c_{k} · 0
= 0  (1.7)

e quindi essendo ∥ · ∥ una norma, necessariamente ∑_{j=1}^{N} c_{j}^{∗}ϕ_{j} = 0, il che contraddice il fatto che i ϕ_{k} erano linearmente indipendenti.

Osserviamo subito che se una base ortogonale è a disposizione allora il calcolo della miglior approssimazione non richiede la soluzione del sistema delle equazioni normali bensi’ il solo calcolo di alcuni prodotti interni e N divisioni. Inoltre si noti che se {ϕ_{k}}_{k=1,...,N} è un sistema ortogonale, allora i coefficienti di Fourier c_{j}^{∗} sono independenti da N col vantaggio che se è necessario aumentare il numero totale di parametri c_{j}^{∗}, non è necessario ricalcolare quelli precedentemente ottenuti.

1.2. Facoltativo: Sui sistemi ortogonali. Al momento non abbiamo detto nulla riguardo una possibile base dello spazio euclideo E. E cosa serve richiedere perchè abbiano cardinalità numerabile? In tal caso, esistono delle basi da preferire, come per esempio quelle ortonormali?

Riguardo a queste questioni, si può provare che ogni spazio euclideo separabile (cioè che contiene un sottinsieme S ⊆ X denso e numerabile, cf. [5, p.48])), ha una base ortonormale finita o numerabile.

Inoltre vale il seguente teorema detto di ortogonalizzazione, basato sull’algoritmo di Gram-Schmidt

Teorema 1.3. Siano f_{1}, …, f_{n}, … un insieme numerabile di elementi linearmente indipendenti di uno spazio euclideo E. Allora E contiene un insieme di elementi {ϕ_{k}}_{k=1,...,n,...} tale che 1. il sistema {ϕ_{n}} è ortonormale (cioè (ϕ_{m}, ϕ_{n})=δ_{m,n}, dove δ_{m,n} è il delta di Kronec-

ker);

2. ogni elemento ϕ_{n} è una combinazione lineare di f_{1}, …, f_{n};

3. ogni elemento f_{n} è una combinazione lineare di ϕ_{1}, …, ϕ_{n}.

Si osservi che

• l’insieme di partenza f_{1}, …, f_{n}, … non deve essere necessariamente finito, come di solito viene spesso richiesto nell’algoritmo di ortogonalizzazione di matrici;

• l’insieme ϕ_{1}, …, ϕ_{n}, … non deve essere necessariamente finito;

• se lo spazio euclideo ha una base numerabile formata da elementi linearmente indipendenti f_{1}, …, f_{n}, …, allora ha pure una base ortonormale.

Alcune definizioni:

Definizione 1.4. I numeri

c_{k} = (x, ϕ_{k}), k = 1, 2, …

sono detti coefficienti di Fourier rispetto il sistema {ϕ_{k}}.

Definizione 1.5. Se {ϕ_{k}} è un sistema ortonormale di E, f ∈ E, la serie (formale)

∑_{k=1}^{+∞} c_{k}ϕ_{k}

è chiamata serie di Fourier di f.

1.3. Facoltativo: Sull’elemento di miglior approssimazione in spazi euclidei. Viene naturale chiedersi quali proprietà ha l’elemento di miglior approssimazione, e cosa bisogna assumere perchè la serie di Fourier di f converga a f. In parte risponde il seguente teorema, detto di Bessel

Teorema 1.6. Dato un sistema ortonormale

ϕ_{1}, …, ϕ_{n}, …

in uno spazio euclideo E, sia f ∈ E. Allora l’espressione

∥f − ∑_{k=1}^{n} a_{k}ϕ_{k}∥

ha il minimo per

a_{k} = c_{k} = (f, ϕ_{k}), k = 1, 2, …, n

ed è uguale a

∥f∥^{2} − ∑_{k=1}^{n} c_{k}^{2}.

Inoltre vale la disuguaglianza di Bessel

∑_{k=1}^{∞} c_{k}^{2} ≤ ∥f∥^{2}.

Osserviamo che • la serie nella disuguaglianza di Bessel ha un insieme numerabile di termini;

• la soluzione al problema di miglior approssimazione in norma ∥ · ∥ esiste ed è unica: per ottenerla basta calcolare i coefficienti di Fourier; questo punto è fondamentale perchè dice costruttivamente come calcolare l’elemento di miglior approssimazione.

Definizione 1.7. Supponiamo che valga l’uguaglianza di Parseval

∑_{k=1}^{∞} c_{k}^{2} = ∥f∥^{2}

per ogni f nello spazio euclideo E. Allora il sistema {ϕ_{k}} si dice chiuso.

Definizione 1.8. Un sistema ortogonale (o ortonormale) {ϕ_{k}}_{k=1,...,n,...} è completo quando il più piccolo sottospazio di E contenente {ϕ_{k}}_{k=1,...,n,...} è l’intero spazio E. Un tale sistema è detto base ortogonale (ortonormale) .

Si possono dimostrare i seguenti ed importanti teoremi

Teorema 1.9. Un sistema ortonormale {ϕ_{k}}_{k=1,...,n,...} in uno spazio euclideo è chiuso se e solo se ogni elemento f ∈ E è la somma della sua serie di Fourier.

Teorema 1.10. Se un sistema ortonormale {ϕ_{k}}_{k=1,...,n,...} è completo allora {ϕ_{k}}_{k=1,...,n,...} è chiuso e viceversa.

A questo punto abbiamo capito che se uno spazio euclideo E ha un sistema ortonormale chiuso (o equivalentemente completo) allora la serie di Fourier di un elemento f di E coincide con f stesso.

RIFERIMENTI BIBLIOGRAFICI

[1] K. Atkinson, An Introduction to Numerical Analysis, Wiley, (1989).

[2] G. Dahlquist e A. Bjorck , Numerical methods, Dover, (2003).

[3] G. Gilardi Analisi Due, seconda edizione, McGraw-Hill, (1996).

[4] D.H. Griffel, Applied functional analysis, Dover publications, 2002.

[5] A.N. Kolmogorov e S.V. Fomin, Introductory Real Analysis, Dover publications, 1970.

[6] A. Quarteroni, R. Sacco e F. Saleri Matematica Numerica, Springer, (1998).