Quoziente di Rayleigh

In matematica, in particolare nell'ambito dell'algebra lineare e dell'analisi funzionale, per una data matrice hermitiana ${\displaystyle A}$ e un vettore non nullo ${\displaystyle x}$, il quoziente di Rayleigh è il numero reale:

${\displaystyle R(A,x):={x^{\dagger }Ax \over x^{\dagger }x}$

dove ${\displaystyle x^{\dagger }$ indica il vettore trasposto coniugato di ${\displaystyle x}$. Anche se definito tramite quantità complesse, il quoziente di Rayleigh è sempre reale, essendo ${\displaystyle x^{\dagger }Ax}$ una forma hermitiana ed essendo ${\displaystyle x^{\dagger }x=\|x\|^{2}$, dove ${\displaystyle \|\cdot \|}$ indica la norma euclidea. Come verifica, è sufficiente porre ${\displaystyle \alpha :=x^{\dagger }Ax}$ e osservare che, essendo ${\displaystyle A^{\dagger }=A}$, si ha:

${\displaystyle \alpha ^{\dagger }=x^{\dagger }A^{\dagger }x=x^{\dagger }Ax=\alpha }$

ma ciò implica che ${\displaystyle \alpha \in \mathbb {R} }$.

Si può dimostrare che il quoziente di Rayleigh assume il valore minimo ${\displaystyle \lambda _{\min }$, che è il più piccolo autovalore di ${\displaystyle A}$, quando ${\displaystyle x}$ è il corrispondente autovettore ${\displaystyle v_{\min }$. Analogamente, si ha ${\displaystyle R(A,x)\leq \lambda _{\max }$ e ${\displaystyle R(A,v_{\max })=\lambda _{\max }$.

L'immagine del quoziente di Rayleigh è lo spettro di ${\displaystyle A}$, e il numero ${\displaystyle \lambda _{\max }$ è il raggio spettrale.

Un caso di particolare importanza si verifica quando la matrice ${\displaystyle A}$ è la matrice delle covarianze. Un tale matrice può essere rappresentata dal prodotto ${\displaystyle D'D}$, dove ${\displaystyle D}$ è una matrice di dati empirici e ${\displaystyle D'}$ la sua trasposta. Essendo simmetrica, ${\displaystyle A}$ possiede autovalori non negativi e autovettori ortogonali (più precisamente, ortonormalizzabili). Infatti:

${\displaystyle Av_{i}=D'Dv_{i}=\lambda _{i}v_{i}$

${\displaystyle \Rightarrow v_{i}'D'Dv_{i}=v_{i}'\lambda _{i}v_{i}$

${\displaystyle \Rightarrow \left\|Dv_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}$

${\displaystyle \Rightarrow \lambda _{i}={\frac {\left\|Dv_{i}\right\|^{2}{\left\|v_{i}\right\|^{2}\geq 0}$

ovvero gli autovalori ${\displaystyle \lambda _{i}$ non sono negativi. Inoltre:

${\displaystyle {\begin{aligned}&\qquad \qquad Av_{i}=\lambda _{i}v_{i}\\&\Rightarrow v_{j}'Av_{i}=\lambda _{i}v_{j}'v_{i}\\&\Rightarrow \left(Av_{j}\right)'v_{i}=\lambda _{j}v_{j}'v_{i}\\&\Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}\\&\Rightarrow \left(\lambda _{j}-\lambda _{i}\right)v_{j}'v_{i}=0\\&\Rightarrow v_{j}'v_{i}=0\end{aligned}$

ovvero gli autovettori ${\displaystyle v_{j}$ sono ortogonali (ortonormalizzabili nel caso di autovettori differenti/molteplici).

Per mostrare che il quoziente di Rayleigh è massimizzato dall'autovettore relativo al più grande autovalore (raggio spettrale), si consideri la decomposizione di un generico vettore ${\displaystyle x}$ nella base degli autovettori ${\displaystyle v_{i}$:

${\displaystyle x=\sum _{i=1}^{n}\alpha _{i}v_{i}$

dove:

${\displaystyle \alpha _{i}={\frac {x'v_{i}{v_{i}'v_{i}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}$

è la coordinata di ${\displaystyle x}$ proiettata ortogonalmente su ${\displaystyle v_{i}$. Quindi si ha:

${\displaystyle R(A,x)={\frac {x'D'Dx}{x'x}={\frac {\left(\sum _{j=1}^{n}\alpha _{j}v_{j}\right)'\left(D'D\right)\left(\sum _{i=1}^{n}\alpha _{i}v_{i}\right)}{\left(\sum _{j=1}^{n}\alpha _{j}v_{j}\right)'\left(\sum _{i=1}^{n}\alpha _{i}v_{i}\right)}$

che per la mutua perpendicolarità degli autovettori diventa:

${\displaystyle R(A,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}{\sum _{i=1}^{n}\alpha _{i}^{2}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}{(x'x)(v_{i}'v_{i})}$

ovvero il quoziente di Rayleigh è la somma dei coseni al quadrato degli angoli formati tra ${\displaystyle x}$ e gli autovettori ${\displaystyle v_{i}$, pesata per i rispettivi autovalori.

Se un vettore ${\displaystyle x}$ massimizza ${\displaystyle R(A,x)}$, allora anche ogni scalare non nullo ${\displaystyle kx}$ massimizza ${\displaystyle R}$ e pertanto il problema può essere ridotto al metodo di Lagrange per massimizzare ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}$, a condizione che:

${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$

Questo risultato può essere ricavato anche utilizzando il metodo dei moltiplicatori di Lagrange. Il problema consiste nel trovare i punti critici della funzione:

${\displaystyle R(A,x)=x^{T}Ax}$

soggetta al vincolo ${\displaystyle \|x\|^{2}=x^{T}x=1}$. Si tratta cioè di trovare i punti critici di:

${\displaystyle {\mathcal {L}(x)=x^{T}Ax-\lambda \left(x^{T}x-1\right)}$

dove ${\displaystyle \lambda }$ è un moltiplicatore di Lagrange. Il punto stazionario di ${\displaystyle {\mathcal {L}(x)}$ si verifica quando:

${\displaystyle {\frac {d{\mathcal {L}(x)}{dx}=0}$

${\displaystyle \Rightarrow 2x^{T}A^{T}-2\lambda x^{T}=0}$

${\displaystyle \Rightarrow Ax=\lambda x}$

e:

${\displaystyle R(A,x)={\frac {x^{T}Ax}{x^{T}x}=\lambda {\frac {x^{T}x}{x^{T}x}=\lambda }$

Quindi, gli autovettori ${\displaystyle x_{1},\cdots ,x_{n}$ di ${\displaystyle A}$ sono i punti critici del quoziente di Rayleigh e i rispettivi autovalori ${\displaystyle \lambda _{1},\cdots ,\lambda _{n}$ sono i valori stazionari di ${\displaystyle R}$.

La teoria di Sturm-Liouville studia l'azione dell'operatore lineare:

${\displaystyle L(y)={\frac {1}{w(x)}\left(-{\frac {d}{dx}\left[p(x){\frac {dy}{dx}\right]+q(x)y\right)}$

sullo spazio prehilbertiano definito da:

${\displaystyle \langle {y_{1},y_{2}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx}$

composto da funzioni che soddisfano alcune specifiche condizioni al contorno in ${\displaystyle a}$ e ${\displaystyle b}$. In tal caso il quoziente di Rayleigh è:

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }={\frac {\int _{a}^{b}y(x)\left(-{\frac {d}{dx}\left[p(x){\frac {dy}{dx}\right]+q(x)y(x)\right)dx}{\int _{a}^{b}{w(x)y(x)^{2}dx}$

Talvolta è presentato in una forma equivalente, ottenuta separando l'integrale al numeratore e utilizzando l'integrazione per parti:

${\displaystyle {\begin{aligned}{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }&={\frac {\left\{\int _{a}^{b}y(x)\left(-{\frac {d}{dx}\left[p(x)y'(x)\right]\right)dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}\,dx\right\}{\int _{a}^{b}{w(x)y(x)^{2}\,dx}\\&={\frac {\left\{\left.-y(x)\left[p(x)y'(x)\right]\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}y'(x)\left[p(x)y'(x)\right]\,dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}\,dx\right\}{\int _{a}^{b}w(x)y(x)^{2}\,dx}\\&={\frac {\left\{\left.-p(x)y(x)y'(x)\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx\right\}{\int _{a}^{b}{w(x)y(x)^{2}\,dx}\end{aligned}$

Per una data coppia di matrici ${\displaystyle (A,B)}$ e per un dato vettore ${\displaystyle x\neq {\vec {0}$, il quoziente di Rayleigh generalizzato è definito come:

${\displaystyle R(A,B;x):={\frac {x^{*}Ax}{x^{*}Bx}$

Il quoziente di Rayleigh generalizzato può essere ridotto al quoziente di Rayleigh ${\displaystyle R(D,C^{*}x)}$ attraverso la trasformazione ${\displaystyle D=C^{-1}A{C^{*}^{-1}$, dove ${\displaystyle CC^{*}$ è la decomposizione di Cholesky della matrice hermitiana ${\displaystyle B}$ definita positiva.

• (EN) Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau, Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining, Ch. 2, Springer, 2011.
• (EN) Horn, R. A. and C. A. Johnson. 1985. Matrix Analysis. Cambridge University Press. pp. 176–180.
• (EN) Parlet B. N. The symmetric eigenvalue problem, SIAM, Classics in Applied Mathematics, 1998.

• Autovettore e autovalore
• Matrice hermitiana
• Matrice trasposta coniugata
• Metodo dei moltiplicatori di Lagrange
• Raggio spettrale
• Spettro (matematica)
• Teoria di Sturm-Liouville

• cs.huji.ac.il - Lagrange Multipliers and the Rayleigh Quotient (PDF), su cs.huji.ac.il.

Portale Matematica: accedi alle voci di Wikipedia che trattano di matematica