(1)

\begin{align*} \left(\boldsymbol{y}-\boldsymbol{x}\right)^{*}\boldsymbol{y} & =\left(P\boldsymbol{x}-\boldsymbol{x}\right)^{*}P\boldsymbol{x}\\ & =\left(\boldsymbol{x}^{*}P^{*}-\boldsymbol{x}^{*}\right)P\boldsymbol{x}\\ & =\left(\boldsymbol{x}^{*}P-\boldsymbol{x}^{*}\right)P\boldsymbol{x}\\ & =\boldsymbol{x}^{*}P^{2}\boldsymbol{x}-\boldsymbol{x}^{*}P\boldsymbol{x}\\ & =\boldsymbol{x}^{*}P\boldsymbol{x}-\boldsymbol{x}^{*}P\boldsymbol{x}\\ & =0 \end{align*} となるので題意は成り立つ。

(2)

\(n\times m\)行列\(A,B\)があり、\(B^{\perp}\)方向で\(\im A\)に射影をする\(n\times n\)射影行列\(P\)は\(B^{*}A\)は正則とすると、
\[ P=A\left(B^{*}A\right)^{-1}B^{*} \] である。
ここで、垂直に射影するように\(B^{\perp}\)方向を\(A^{\perp}\)方向にとれば、
\[ P=A\left(A^{*}A\right)^{-1}A^{*} \] となり、
\begin{align*} P^{*} & =\left(A\left(A^{*}A\right)^{-1}A^{*}\right)^{*}\\ & =A^{**}\left(\left(A^{*}A\right)^{-1}\right)^{*}A^{*}\\ & =A\left(\left(A^{*}A\right)^{*}\right)^{-1}A^{*}\\ & =A\left(A^{*}A\right)^{-1}A^{*}\\ & =P \end{align*} となるので、エルミート行列となり、直交射影行列となる。
\(A\)の列ベクトルを正規直交化しておくと、\(A\)は\(m\times n\)行列なので\(\left\{ u_{k}\right\} _{k\in\left\{ 1,2,\cdots,m\right\} }\)を列ベクトルとして\(A=\left(\boldsymbol{u}_{1},\boldsymbol{u}_{2},\cdots,\boldsymbol{u}_{m}\right)\)とすると、
\begin{align*} \left(A^{*}A\right)_{i,j} & =\left(\left(\begin{array}{c} \boldsymbol{u}_{1}^{*}\\ \boldsymbol{u}_{2}^{*}\\ \vdots\\ \boldsymbol{u}_{m}^{*} \end{array}\right)\left(\begin{array}{cccc} \boldsymbol{u}_{1} & \boldsymbol{u}_{2} & \cdots & \boldsymbol{u}_{m}\end{array}\right)\right)_{i,j}\\ & =\boldsymbol{u}_{i}^{*}\boldsymbol{u}_{j}\\ & =\delta_{i,j}\\ & =\left(I\right)_{i,j} \end{align*} となるので、
\begin{align*} P & =A\left(A^{*}A\right)^{-1}A^{*}\\ & =AI^{-1}A^{*}\\ & =AA^{*} \end{align*} となる。
これらより題意は成り立つ。

(2)-2

\(P=A\left(A^{*}A\right)^{-1}A^{*}\)のみ示す。
任意の\(\boldsymbol{a}\in K^{n}\)に対し\(P\boldsymbol{a}=\boldsymbol{x}\)となり、\(\boldsymbol{x}\in\im A\)なのである\(\boldsymbol{b}\in K^{m}\)が存在し\(A\boldsymbol{b}=\boldsymbol{x}\)を満たす。
このとき、\(P\)は直交射影行列なので、\(\im A\)の基底ベクトルと直交射影行列を作用させる前後のベクトルの変化\(\left(\boldsymbol{a}-\boldsymbol{x}\right)\)とは直交するので、\(A^{*}\left(\boldsymbol{a}-\boldsymbol{x}\right)=\boldsymbol{0}\)となり、\(\boldsymbol{0}=A^{*}\left(\boldsymbol{a}-\boldsymbol{x}\right)=A^{*}\left(\boldsymbol{a}-A\boldsymbol{b}\right)=A^{*}\boldsymbol{a}-A^{*}A\boldsymbol{b}\)となるので、
\[ \boldsymbol{b}=\left(A^{*}A\right)^{-1}A^{*}\boldsymbol{a} \] となる。
これより、\(P\boldsymbol{a}=\boldsymbol{x}=A\boldsymbol{b}=A\left(A^{*}A\right)^{-1}A^{*}\boldsymbol{a}\)となり\(\boldsymbol{a}\)は任意なので\(P=A\left(A^{*}A\right)^{-1}A^{*}\)となる。
従って題意は成り立つ。

(3)

直交射影行列は、\(P=P^{*}\)なのでエルミート行列であり、
\begin{align*} \left\langle P\boldsymbol{x},\boldsymbol{x}\right\rangle & =\left\langle PP\boldsymbol{x},\boldsymbol{x}\right\rangle \\ & =\left\langle P\boldsymbol{x},P^{*}\boldsymbol{x}\right\rangle \\ & =\left\langle P\boldsymbol{x},P\boldsymbol{x}\right\rangle \\ & \geq0 \end{align*} となるので半正定値行列となる。
従って題意は成り立つ

(4)

\(\Rightarrow\)

\begin{align*} \left\Vert \boldsymbol{x}\right\Vert ^{2} & =\left\Vert P\boldsymbol{x}+\left(I-P\right)\boldsymbol{x}\right\Vert \\ & =\left\langle P\boldsymbol{x}+\left(I-P\right)\boldsymbol{x},P\boldsymbol{x}+\left(I-P\right)\boldsymbol{x}\right\rangle \\ & =\left\langle P\boldsymbol{x},P\boldsymbol{x}\right\rangle +\left\langle P\boldsymbol{x},\left(I-P\right)\boldsymbol{x}\right\rangle +\left\langle \left(I-P\right)\boldsymbol{x},P\boldsymbol{x}\right\rangle +\left\langle \left(I-P\right)\boldsymbol{x},\left(I-P\right)\boldsymbol{x}\right\rangle \\ & =\left\Vert P\boldsymbol{x}\right\Vert ^{2}+\left\langle \left(I-P\right)P\boldsymbol{x},\boldsymbol{x}\right\rangle +\left\langle P\left(I-P\right)\boldsymbol{x},\boldsymbol{x}\right\rangle +\left\Vert \left(I-P\right)\boldsymbol{x}\right\Vert ^{2}\\ & =\left\Vert P\boldsymbol{x}\right\Vert ^{2}+\left\Vert \left(I-P\right)\boldsymbol{x}\right\Vert ^{2}\\ & \geq\left\Vert P\boldsymbol{x}\right\Vert ^{2} \end{align*}

逆は一般的に成り立たない

反例で示す。
\(P=\frac{1}{2}I\)とすると、
\begin{align*} \left\Vert P\boldsymbol{x}\right\Vert ^{2} & =\left\langle P\boldsymbol{x},P\boldsymbol{x}\right\rangle \\ & =\left\langle \frac{1}{2}\boldsymbol{x},\frac{1}{2}\boldsymbol{x}\right\rangle \\ & =\frac{1}{4}\left\langle \boldsymbol{x},\boldsymbol{x}\right\rangle \\ & =\frac{1}{4}\left\Vert \boldsymbol{x}\right\Vert ^{2}\\ & \leq\left\Vert \boldsymbol{x}\right\Vert ^{2} \end{align*} となるので\(\left\Vert P\boldsymbol{x}\right\Vert \leq\left\Vert \boldsymbol{x}\right\Vert \)であるが、\(P\)は直交射影行列ではない。
従って逆は一般的に成り立たない。

(5)

\(\Rightarrow\)

\(P\)は直交射影行列なので\(P^{2}=P,P^{*}=P\) となる。
任意の\(\boldsymbol{x}\in K^{n}\)に対し、ある\(\boldsymbol{x}_{1}\in\im P,\boldsymbol{x}_{2}\in\left(\im P\right)^{\perp}\)が唯1つ存在し、\(\boldsymbol{x}=\boldsymbol{x}_{1}+\boldsymbol{x}_{2}\)となる。
このとき、\(\boldsymbol{x}_{1}\in\im P=\left\{ P\boldsymbol{x};\boldsymbol{x}\in K^{n}\right\} \)なので、ある\(\boldsymbol{x}\in K^{n}\)が存在し\(\boldsymbol{x}_{1}=P\boldsymbol{x}\)となるので、
\begin{align*} P\boldsymbol{x}_{1} & =P\left(P\boldsymbol{x}\right)\\ & =P^{2}\boldsymbol{x}\\ & =P\boldsymbol{x}\\ & =\boldsymbol{x}_{1} \end{align*} となる。
また、任意の\(\boldsymbol{y}\in K^{n}\)に対し、
\begin{align*} \left\langle P\boldsymbol{x}_{2},\boldsymbol{y}\right\rangle & =\left\langle \boldsymbol{x}_{2},P^{*}\boldsymbol{y}\right\rangle \\ & =\left\langle \boldsymbol{x}_{2},P\boldsymbol{y}\right\rangle \\ & =0\cmt{\because x_{2}\in\left(\im P\right)^{\perp},P\boldsymbol{y}\in\im P}\\ & =\left\langle \boldsymbol{0},\boldsymbol{y}\right\rangle \end{align*} となるので、\(P\boldsymbol{x}_{2}=\boldsymbol{0}\)となる。
これらより、
\begin{align*} P\left(\boldsymbol{x}_{1}+\boldsymbol{x}_{2}\right) & =P\left(\boldsymbol{x}_{1}\right)+P\left(\boldsymbol{x}_{2}\right)\\ & =\boldsymbol{x}_{1} \end{align*} となる。
従って、\(\Rightarrow\)が成り立つ。

\(\Leftarrow\)

任意の\(\boldsymbol{x}\in K^{n}\)に対し、ある\(\boldsymbol{x}_{1}\in\im P,\boldsymbol{x}_{2}\in\left(\im P\right)^{\perp}\)が唯1つ存在し、\(\boldsymbol{x}=\boldsymbol{x}_{1}+\boldsymbol{x}_{2}\)となるので、
\begin{align*} P^{2}\boldsymbol{x} & =P^{2}\left(\boldsymbol{x}_{1}+\boldsymbol{x}_{2}\right)\\ & =P\left(P\left(\boldsymbol{x}_{1}+\boldsymbol{x}_{2}\right)\right)\\ & =P\boldsymbol{x}_{1}\\ & =\boldsymbol{x}_{1}\\ & =P\left(\boldsymbol{x}_{1}+\boldsymbol{x}_{2}\right)\\ & =P\boldsymbol{x} \end{align*} となるので、\(P^{2}=P\)となる。
また、任意の\(\boldsymbol{y}\in K^{n}\)に対し、ある\(\boldsymbol{y}_{1}\in\im P,\boldsymbol{y}_{2}\in\left(\im P\right)^{\perp}\)が唯1つ存在し、\(\boldsymbol{y}=\boldsymbol{y}_{1}+\boldsymbol{y}_{2}\)となる。
このとき、\(P\boldsymbol{y}=P\left(\boldsymbol{y}_{1}+\boldsymbol{y}_{2}\right)=P\boldsymbol{y}_{1}\)であるので、
\begin{align*} \left\langle P^{*}\boldsymbol{x},\boldsymbol{y}\right\rangle & =\left\langle \boldsymbol{x},P\boldsymbol{y}\right\rangle \\ & =\left\langle \boldsymbol{x}_{1}+\boldsymbol{x}_{2},P\left(\boldsymbol{y}_{1}+\boldsymbol{y}_{2}\right)\right\rangle \\ & =\left\langle \boldsymbol{x}_{1}+\boldsymbol{x}_{2},\boldsymbol{y}_{1}\right\rangle \\ & =\left\langle \boldsymbol{x}_{1},\boldsymbol{y}_{1}\right\rangle +\left\langle \boldsymbol{x}_{2},\boldsymbol{y}_{1}\right\rangle \\ & =\left\langle \boldsymbol{x}_{1},\boldsymbol{y}_{1}\right\rangle \\ & =\left\langle \boldsymbol{x}_{1},\boldsymbol{y}_{1}+\boldsymbol{y}_{2}\right\rangle \\ & =\left\langle \boldsymbol{x}_{1},\boldsymbol{y}\right\rangle \\ & =\left\langle P\boldsymbol{x},\boldsymbol{y}\right\rangle \end{align*} となり、任意の\(\boldsymbol{y}\)に対して成り立っているので、\(P^{*}\boldsymbol{x}=P\boldsymbol{x}\)となり、これは任意の\(\boldsymbol{x}\)に対して成り立っているので、\(P^{*}=P\)となる。

\(\Leftrightarrow\)

これらより、\(\Rightarrow\)と\(\Leftarrow\)が成り立つので\(\Leftrightarrow\)が成り立つ。