内積

$\newcommand{\N}{\mathbb{N}}$ $\newcommand{\Z}{\mathbb{Z}}$ $\newcommand{\Q}{\mathbb{Q}}$ $\newcommand{\R}{\mathbb{R}}$ $\newcommand{\C}{\mathbb{C}}$ $\newcommand{\A}{\mathbb{A}}$ $\newcommand{\K}{\mathbb{K}}$ $\newcommand{\L}{\mathbb{L}}$ $\newcommand{\F}{\mathbb{F}}$ $\newcommand{\Ba}{\mathbf{a}}$ $\newcommand{\Bb}{\mathbf{b}}$ $\newcommand{\Be}{\mathbf{e}}$ $\newcommand{\Bu}{\mathbf{u}}$ $\newcommand{\Bv}{\mathbf{v}}$ $\newcommand{\Bw}{\mathbf{w}}$ $\newcommand{\Bx}{\mathbf{x}}$ $\newcommand{\By}{\mathbf{y}}$ $\newcommand{\Bzr}{\mathbf{0}}$ $\newcommand{\OO}{\mathscr{O}}$ $\newcommand{\SS}{\mathscr{S}}$ $\newcommand{\TT}{\mathscr{T}}$ $\newcommand{\Ker}{\mathrm{Ker}}$ $\newcommand{\span}{\mathrm{span}}$ $\newcommand{\abs}[1]{\left\lvert#1\right\rvert}$ $\newcommand{\wenvert}[1]{\left\lvert\left\lvert#1\right\rvert\right\rvert}$ $\newcommand{\floor}[1]{\left\lfloor#1\right\rfloor}$ $\newcommand{\mathmod}[1]{\ \left(\mathrm{mod}\ #1\right)}$ $\newcommand{\relmid}[1]{\mathrel{}\middle|\mathrel{}}$

本記事では、一般的なベクトル空間上の内積やノルムの概念について解説する。

定義

$\R$ 上のベクトル空間 $V$ における対称双線形形式、つまり $V$ 上の$2$変数写像 $\langle , \rangle\colon V\times V \to \C$ であって、つぎの性質が任意の $\Bu, \Bv, \Bw\in V$ について成り立つものをスカラー積 (scalar product) という。

（対称性） $\langle \Bu, \Bv \rangle=\langle \Bv, \Bu\rangle$ が成り立つ。

（双線形性） 任意の $s, t\in\R$ について $$\langle s\Bu+t\Bv, \Bw\rangle = s\langle \Bu, \Bw\rangle + t\langle \Bv, \Bw\rangle, \langle \Bu, s\Bv+t\Bw\rangle = s\langle \Bu, \Bv\rangle + t\langle \Bu, \Bw\rangle$$ が成り立つ。

さらに、正定値（非退化かつ半正定値）の対称双線形形式、つまり上の$2$つに加えて

（半正定値性） $\langle \Bv, \Bv\rangle\geq 0$

（非退化性） $\langle \Bv, \Bv\rangle=0$ ならば $\Bv=\Bzr$ となる。

が成り立つものを内積 (inner product) という。対称双線形形式で半正定値性のみが成り立つものは半内積、非退化性のみが成り立つものは不定値内積という（半正定値性も非退化性も要求しない対称双線形形式はスカラー積、正定値であるものを内積と呼んで区別することにする）。

また、$\C$ 上のベクトル空間 $V$ におけるエルミート形式 (hermitian form) あるいはエルミート積 (Hermitian product) とは、エルミート対称な半双線形形式をいう。つまり、$V$ 上の$2$変数写像 $\langle , \rangle\colon V\times V \to \C$ であって、つぎの性質が任意の $\Bu, \Bv, \Bw\in V$ について成り立つものをいう（実数上に限定すれば、これらはそれぞれ対称性と双線形性に同値である）。

（エルミート対称性） $\langle \Bu, \Bv \rangle=\overline{\langle \Bv, \Bu \rangle}$ が成り立つ。

（半双線形性） 任意の $\alpha, \beta\in\C$ について $$\langle \alpha\Bu+\beta\Bv, \Bw\rangle = \alpha\langle \Bu, \Bw\rangle + \beta\langle \Bv, \Bw\rangle, \langle \Bu, \alpha\Bv+\beta\Bw\rangle = \bar\alpha\langle \Bu, \Bv\rangle + \bar\beta\langle \Bu, \Bw\rangle$$ が成り立つ。

$\C$ 上のベクトル空間における エルミート内積 (hermitian inner product) あるいは単に内積とは、正定値（非退化かつ半正定値）のエルミート形式をいう。つまり、$V$ 上の$2$変数写像 $\langle , \rangle\colon V\times V \to \C$ であって、上記の$2$つの性質に加え、つぎの性質が任意の $\Bv\in V$ について成り立つものをいう。

（半正定値性） $\langle \Bv, \Bv\rangle\geq 0$

（非退化性） $\langle \Bv, \Bv\rangle=0$ ならば $\Bv=\Bzr$ となる。

例

とくに、$\R$ の部分体 $\K$ 上のベクトル空間 $V=\K^n$ において、ベクトル $\Bu=(u_1, \ldots, u_n), \Bv=(v_1, \ldots, v_n)\in V$ のドット積 (dot product) あるいはスカラー積 (scalar product) を $$\Bu\cdot\Bv=u_1 v_1+\cdots +u_n v_n$$ により定めると、これは内積となる。 また、$\C$ の部分体 $\K$ 上のベクトル空間 $V=\K^n$ において、ベクトル $\Bu=(u_1, \ldots, u_n), \Bv=(v_1, \ldots, v_n)\in V$ のエルミート積 (hermitian product) を $$\langle \Bu, \Bv \rangle=u_1 \bar v_1+\cdots + u_n \bar v_n$$ により定めると、これはエルミート内積となる。

より一般に、$I$ を添え字の集合、$V$ を複素ベクトル空間とし、その基底を $\Bv_i~(i\in I)$ とする（$I$ は $\N$ や $\Z$ のような無限集合でもよい）。$\Ba=\sum_{i\in I}a_i\Bv_i$ と、$\Bb=\sum_{i\in I}b_i\Bv_i$ のエルミート積を $$\langle\Ba, \Bb\rangle=\sum_{i\in I}a_i \bar b_i$$ と定めると、$\langle , \rangle$ はエルミート内積となり、 $V$ が実ベクトル空間であるときには、実ベクトル空間における内積となる。この内積について、つぎの $(2)(3)$ の性質が成り立つ。さらに、複素ベクトル空間 $V$ におけるエルミート内積について、これらの$3$つの性質は互いに同値である。

$(1)$ $\Ba=\sum_{i\in I}a_i\Bv_i$, $\Bb=\sum_{i\in I}b_i\Bv_i$ について $$\langle\Ba, \Bb\rangle=\sum_{i\in I}a_i \bar b_i$$ が成り立つ。

$(2)$ $i, j\in I$ について $$\langle \Bv_i, \Bv_j \rangle=\delta_{ij}$$ が成り立つ。

$(3)$ $\Ba=\sum_{i\in I}a_i\Bv_i$ について $$\langle \Ba, \Ba \rangle=\sum_{i\in I}\abs{a_i}^2$$ が成り立つ。

Proof.

$(1)\Longrightarrow (2)$ $\Ba=\Bb=\Bv_i$ のとき $a_i=b_i=1$ かつその他の $j$ について $a_j=b_j=0$ だから、$(1)$ より $\langle \Bv_i, \Bv_i \rangle=1$ となる。

$\Ba=\Bv_i, \Bb=\Bv_j$ で $i\neq j$ のとき、$k\neq i$ について $a_k=0$、$k=i$ について $b_k=0$ だから、$(1)$ より $\langle \Bv_i, \Bv_j \rangle=0$ となる。

$(2)\Longrightarrow (3)$ 半双線形性より $\Ba=a_1\Bv_1+\cdots +a_n\Bv_n$ について

$$\begin{split} \langle \Ba, \Ba\rangle= & ~ \sum_{i, j\in I} a_i \bar a_j\langle \Bv_i, \Bv_j\rangle \\ = & ~ \sum_{i\in I} a_i \bar a_i \\ = & ~ \sum_{i\in I} \abs{a_i}^2 \end{split}$$ が成り立つ。

$(3)\Longrightarrow (1)$ 半双線形性より

$$\langle \Ba+\Bb, \Ba+\Bb \rangle=\langle \Ba, \Ba\rangle+\langle \Bb, \Bb\rangle+\langle \Ba, \Bb\rangle+\langle \Bb, \Ba\rangle$$ となるから、 $$\begin{split} \langle \Ba, \Bb\rangle+\langle \Bb, \Ba\rangle= & ~ \langle \Ba+\Bb, \Ba+\Bb \rangle-(\langle \Ba, \Ba\rangle+\langle \Bb, \Bb\rangle) \\ = & ~ \sum_{i\in I} (a_i+b_i)\bar{(a_i+b_i)}-\sum_{i\in I} a_i \bar a_i - \sum_{i\in I} b_i \bar b_i \\ = & ~ \sum_{i\in I} (a_i \bar b_i + \bar a_i b_i) \end{split}$$ となる。同様に $$\langle \Ba-\Bb, \Ba+\Bb \rangle=\langle \Ba, \Ba\rangle-\langle \Bb, \Bb\rangle+\langle \Ba, \Bb\rangle-\langle \Bb, \Ba\rangle$$ となるから、 $$\begin{split} \langle \Ba, \Bb\rangle-\langle \Bb, \Ba\rangle= & ~ \langle \Ba-\Bb, \Ba+\Bb \rangle-(\langle \Ba, \Ba\rangle-\langle \Bb, \Bb\rangle) \\ = & ~ \sum_{i\in I} (a_i-b_i)\bar{(a_i+b_i)}-\sum_{i\in I} a_i \bar a_i + \sum_{i\in I} b_i \bar b_i \\ = & ~ \sum_{i\in I} (a_i \bar b_i - \bar a_i b_i) \end{split}$$ となる。よって $$\langle \Ba, \Bb\rangle=\sum_{i\in I} a_i \bar b_i$$ が成り立つ。

□

例 1

$U$ を、$[-1, 1]$ で定義された連続な実関数からなる実ベクトル空間とする。$f, g\in U$ に対して $$\langle f, g\rangle=\int_{-1}^1 f(t)g(t)dt$$ と定めると、$\langle f, g\rangle$ はスカラー積となる。

$V$ を 定数関数 $1/\sqrt{2}$ および $\varphi_n(t)=\sin (\pi nt), \psi_n(t)=\cos(\pi nt)~(n=1, \ldots)$ の線形包とすると、$V$ は $U$ の部分空間で、正の整数 $m, n$ について $$\langle \varphi_m, 1/\sqrt{2}\rangle = \langle 1/\sqrt{2}, \psi_n\rangle=\langle \varphi_m, \psi_n\rangle=0$$ かつ $$\langle \varphi_m, \varphi_n\rangle = \langle \psi_m, \psi_n\rangle=\delta_{mn}$$ が成り立つ。よって、 $$f(t)=\frac{a_0}{\sqrt{2}}+\sum_{n=1}^\infty a_n\sin(\pi nt)+\sum b_n\cos(\pi nt), g(t)=\frac{c_0}{\sqrt{2}}+\sum_{n=1}^\infty c_n\sin(\pi nt)+\sum d_n\cos(\pi nt)$$ について $$\langle f, g\rangle=a_0 c_0 + \sum_{n=1}^\infty (a_n c_n+b_n d_n)$$ となる。

$V$ は有限和であらわされるものしか含まないことに注意が必要である。 Abelの連続性定理の応用例にあるように、 $$\{t\}-\frac{1}{2}=-\frac{1}{\pi}\sum_{n=1}^\infty \frac{\sin (2\pi nt)}{n}$$ が成り立つが、これは $V$ には含まれない（実際、$[-1, 1]$ に限っても連続ではないから、$U$ にも含まれない）。

ノルム

半正定値のスカラー積あるいはエルミート積 $\langle , \rangle$ について $\Bv\in V$ のノルム (norm) を $$\wenvert{\Bv}=\sqrt{\langle \Bv, \Bv\rangle}$$ により定める。

$\langle , \rangle$ は半正定値だから、ノルムは常に $0$ 以上の実数となる（半正定値条件がなければ、平方根は複素数となるが一意的に定まらなくなる）。 $\langle , \rangle$ が正定値ならば、ノルムが $0$ となるのは零ベクトルのみである。 ノルムが $1$ であるベクトルを単位ベクトル (unit vector) という。

任意の $k\in\K, \Bv\in V$ について $$\wenvert{k\Bv}=\abs{k} \wenvert{\Bv}$$ となることがすぐにわかる。実際 $$\wenvert{k\Bv}=\sqrt{\langle k\Bv, k\Bv\rangle}=\sqrt{k\bar k\langle \Bv, \Bv\rangle} =\sqrt{\abs{k}^2 \langle \Bv, \Bv\rangle}=\abs{k} \wenvert{\Bv}$$ となる。

また、任意のベクトル $\Bu, \Bv\in V$ について余弦定理の一般化 $$\wenvert{\Bu+\Bv}^2=\wenvert{\Bu}^2+\wenvert{\Bv}^2+2\mathrm{Re}\langle \Bu, \Bv\rangle$$ が成り立つ。実際 $$ \begin{split} \wenvert{\Bu+\Bv}^2= & ~ \wenvert{\Bu}^2+\langle \Bu, \Bv\rangle + \langle \Bv, \Bu\rangle +\wenvert{\Bv}^2 \\ = & ~ \wenvert{\Bu}^2+ \langle \Bu, \Bv\rangle + \overline{\langle \Bu, \Bv\rangle} +\wenvert{\Bv}^2 \\ = & ~ \wenvert{\Bu}^2+\wenvert{\Bv}^2+2\mathrm{Re}\langle \Bu, \Bv\rangle \end{split}$$ となる。 とくに $\langle \Bu, \Bv\rangle=0$ ならばPythagorasの定理に相当する等式 $$\wenvert{\Bu+\Bv}^2=\wenvert{\Bu}^2+\wenvert{\Bv}^2$$ が成り立つ。 また、$\langle \Bv, \Bu\rangle=\overline{\langle \Bu, \Bv\rangle}$ であるから、 $$\langle \Bu, \Bv\rangle=0 \Longleftrightarrow \langle \Bv, \Bu\rangle=0$$ となる。 それで、$\langle \Bu, \Bv\rangle=0$ であるとき、$\Bu, \Bv$ は直交する (perpendicular) という。

$\Bu, \Bv$ が直交するとき $a, b\in\K$ について $\langle a\Bu, b\Bv\rangle=a\bar b\langle \Bu, \Bv\rangle=0$ となるから、 $a\Bu$ と $b\Bv$ も直交する。よって、 $$\wenvert{a\Bu+b\Bv}^2=\wenvert{a\Bu}^2+\wenvert{b\Bv}^2$$ が成り立つ。

$\wenvert{\Bv}\neq 0$ となるベクトル $\Bv$ について $$\Be=\frac{1}{\wenvert{\Bv}}\Bv$$ とおくと、$\wenvert{\Bv}\geq 0$ より、$\abs{\wenvert{\Bv}}=\wenvert{\Bv}$ なので $$\wenvert{\Be}=\frac{\wenvert{\Bv}}{{\large\lvert} \wenvert{\Bv} {\large\rvert}}=1$$ となる。つまり $\Be$ は単位ベクトルとなる。 さらに、零ベクトル以外の任意のベクトル $\Bv$ について、先述の方法で、単位ベクトル $\Be$ がとれる。

$$\langle \Bu-c\Bv, \Bv \rangle=0$$ となる $c\in \K$ が $$c=\frac{\langle \Bu, \Bv \rangle}{\wenvert{\Bv}^2}$$ により一意的に定まる。とくに $\wenvert{\Bv}=1$ のとき $$\langle \Bu-c\Bv, \Bv \rangle=0 \Longleftrightarrow c=\langle \Bu, \Bv \rangle$$ となる。$c$ を $\Bu$ の、$\Bv$ 方向の成分 (component) という。また、$c\Bv$ を、$\Bu$ の $\Bv$ への正射影ベクトル あるいは単に射影 (projection) という。

例 2

$U$ を、$[0, 1]$ で定義された連続な複素数値関数からなる実ベクトル空間とする。$f, g\in U$ に対して $$\langle f, g\rangle=\int_0^1 f(t)\bar g(t)dt$$ と定めると、$\langle f, g\rangle$ はエルミート内積となる。 整数 $n$ について $$f_n(t)=e^{2\pi i nt}=\cos (2\pi nt)+i\sin (2\pi nt)$$ とおくと、 $$\langle f_n, f_n\rangle=\int_0^1 \abs{f(t)}^2 dt=1$$ より、$f_n$ は単位ベクトルとなり、$m\neq n$ のとき $$\langle f_m, f_n\rangle=\int_0^1 e^{2\pi i(m-n)t} dt=0$$ より、$f_m, f_n$ は直交する。

$V$ を $f_n(t) ~ (n\in\Z)$ の線形包とおく。$V$ に属する関数 $$f(x)=\sum_{k\in\Z} a_k e^{2\pi i kt}$$ について、 $$\langle f, f_n\rangle=\sum_{k\in\Z} a_k \langle f_k, a_n\rangle=a_n$$ より、$f_n$ に関する $f$ の成分は $a_n$ と一致する。

内積とノルムについて、Schwarzの不等式の一般化が成り立つ。

定理 3 (Schwarzの不等式)

$\langle , \rangle$ が内積を与えるとき、 任意のベクトル $\Bu, \Bv\in V$ について $$\abs{\langle \Bu, \Bv\rangle}\leq \wenvert{\Bu} ~ \wenvert{\Bv}$$ が成り立つ。また、等号が成り立つための必要十分条件は $\Bv$ が零ベクトルとなるか、または $\Bu=k\Bv$ となる $k\in \K$ が存在することである。

Proof.

$\Bv$ が零ベクトルならば、両辺ともに $0$ となる。 $\Bv$ が零ベクトルでないとき、$\langle , \rangle$ は内積を与えることから正定値なので、 $\wenvert{\Bv}\neq 0$ となる。 $c=\langle \Bu, \Bv \rangle/\wenvert{\Bv}^2$ とおくと、先述のように $$\langle \Bu-c\Bv, \Bv \rangle=0$$ が成り立つ。よって $$\wenvert{\Bu}^2=\wenvert{\Bu-c\Bv}^2+\wenvert{c\Bv}^2=\wenvert{\Bu-c\Bv}^2+\abs{c}^2\wenvert{\Bv}^2$$ より $$\abs{c} ~ \wenvert{\Bv}\leq\wenvert{\Bu}$$ が成り立つから、 $$\abs{\langle \Bu, \Bv \rangle}=\abs{c}~\wenvert{\Bv}^2\leq \wenvert{\Bu} ~ \wenvert {\Bv}$$ となる。さらに、$\langle , \rangle$ が正定値なので、 $$\begin{split} \abs{\langle \Bu, \Bv \rangle}=\wenvert{\Bu} ~ \wenvert{\Bv} \Longleftrightarrow & ~ \wenvert{\Bu-c\Be}=0 \\ \Longleftrightarrow & ~ \Bu=c\Be \\ \Longleftrightarrow & ~ \Bu=\frac{c}{\wenvert{\Bv}}\Bv \end{split}$$ となる。

□

Schwarzの不等式より $$\wenvert{\Bu+\Bv}^2=\wenvert{\Bu}^2+\wenvert{\Bv}^2+2\mathrm{Re} \langle \Bu, \Bv\rangle \leq \wenvert{\Bu}^2+\wenvert{\Bv}^2+2\wenvert{\Bu} ~ \wenvert{\Bv} =(\wenvert{\Bu}+\wenvert{\Bv})^2$$ だが、$\wenvert{\Bu}$, $\wenvert{\Bv}$, $\wenvert{\Bu+\Bv}$ はいずれも $0$ 以上の実数だから 三角不等式 $$\wenvert{\Bu+\Bv}\leq\wenvert{\Bu}+\wenvert{\Bv}$$ が成り立つ。

ベクトルの射影については、次の性質が成り立つ。

定理 4

$\Bu_i ~ (i\in I)$ を $\wenvert{\Bu_i}\neq 0$ となる、互いに直交するベクトルとする。

$\Bv$ を $V$ のベクトルとすると、各 $i\in I$ について $\Bv$ の $\Bu_i$ 方向の成分 $$c_i=\frac{\langle \Bv, \Bu_i\rangle}{\wenvert{\Bu_i}^2}$$ をとり、 $$\Bw=\Bv-\sum_{i\in I} c_i \Bu_i$$ とおく。

$(1)$ 各 $i\in I$ について $$\langle \Bw, \Bu_i \rangle = 0$$ となる。つまり、$\Bw$ はどの $\Bu_i ~ (i\in I)$ とも直交する。

$(2)$ (Besselの不等式) $\sum_{i\in I} \abs{c_i}^2 \wenvert{\Bu_i}^2 \leq \wenvert{\Bv}^2$ が成り立つ。

$(3)$ $a_i=c_i ~ (i\in I)$ は $$\wenvert{\Bv-\sum_{i\in I} a_i \Bu_i}$$ の最小値を与える。

Proof.

$(1)$ $$\langle \Bw, \Bu_i \rangle = \langle \Bv, \Bu_i \rangle-\sum_{j\in I}c_j \langle \Bu_j, \Bu_i\rangle$$

となるが、$i\neq j$ のとき $\langle \Bu_j, \Bu_i\rangle=0$ なので $$\langle \Bw, \Bu_i \rangle = \langle \Bv, \Bu_i \rangle-c_i \wenvert{\Bu_i}^2=0$$ となる。

$(2)$ $(1)$ より、 $\Bw=\Bv-\sum_{i\in I} c_i \Bu_i$ および $\Bu_i ~ (i\in I)$ はどの2つも互いに直交するので、

$$\wenvert{\Bw}^2+\sum_{i\in I}\abs{c_i}^2\wenvert{\Bu_i}^2=\wenvert{\Bw+\sum_{i\in I} c_i\Bu_i}^2=\wenvert{\Bv}^2$$ つまり $$\wenvert{\Bv}^2-\sum_{i\in I}\abs{c_i}^2\wenvert{\Bu_i}^2=\wenvert{\Bw}^2\geq 0$$ となる。

$(3)$ $$\Bv-\sum_{i\in I} a_i \Bu_i=\Bw+\sum_{i\in I}(c_i-a_i) \Bu_i$$

となるが、前記の事実より、 $\Bw$ および $\Bu_i ~ (i\in I)$ はどの2つも互いに直交するので、 $$\wenvert{\Bv-\sum_{i\in I} a_i \Bu_i}^2=\wenvert{\Bw}^2+\sum_{i\in I}\abs{c_i-a_i}^2 \wenvert{\Bu_i}^2\geq \wenvert{\Bw}^2$$ が成り立つ。当然 $a_i=c_i ~ (i\in I)$ ならば等号は成り立つので、このときに $\wenvert{\Bv-\sum_{i\in I} a_i \Bu_i}$ は最小値をとる。

□

例 5

例 2 において、$V_n$ を $f_{-n}, \ldots, f_0, \ldots, f_n$ の線形包とすると、 $f\in U$, $k\in\Z$ について $$c_k=\langle f, f_k\rangle=\int_0^1 f(t)e^{-2\pi i kt} dt$$ とおくと、 $$\wenvert{f-\sum_{k=-n}^n c_k e^{2\pi i kt}}$$ は $$\wenvert{f-g} ~ (g\in V_n)$$ の最小値を与える。

また、直交性について、つぎのことがわかる。

命題 6

$\Bu_i ~ (i\in I)$, $\Bv$ を $V$ のベクトルとし、$V$ に内積 $\langle, \rangle$ が定義されているとする。この内積について、$\Bv\neq \Bzr$ が各 $\Bu_i$ と直交するとき、 $$\Bv\not\in \span\{\Bu_i: i\in I\}.$$

Proof.

$\Bv\in \span\{\Bu_i: i\in I\}$ と仮定し、 $$\Bv=\sum_{i\in I}a_i \Bu_i$$ とおく。 $$\wenvert{\Bv}^2=\langle a_1 \Bu_1+\cdots a_n \Bu_n, \Bv\rangle =\sum_{i\in I} a_i \langle \Bu_i, \Bv \rangle$$ となるが、仮定より各 $i\in I$ について $\langle \Bu_i, \Bv \rangle=0$ なので $$\wenvert{\Bv}^2=0$$ となるが、$\langle, \rangle$ は内積なので正定値であるから、$\Bv=\Bzr$ となる。

□

直交基底

ベクトル空間 $V$ の基底 $\Bu_1, \ldots, \Bu_n$ が、どの$2$つも互いに直交するベクトルであるとき、$\Bu_1, \ldots, \Bu_n$ を $V$ の直交基底 (orthogonal basis) という。さらに、どの $\Bu_i$ も単位ベクトルであるとき、$\Bu_1, \ldots, \Bu_n$ を $V$ の正規直交基底 (orthonormal basis) という。

有限次元のベクトル空間は直交基底をもつ。さらに強く、つぎの定理が成り立つ。

定理 7

$V$ が有限次元ベクトル空間で、 $\langle \Bu, \Bv \rangle$ を $V$ の内積とする。$W$ が $V$ の部分空間で、$\Bw_1, \ldots, \Bw_m$ が $W$ の直交基底であるとき、$\Bw_1, \ldots, \Bw_m$ を含む $V$ の直交基底 $\Bw_1, \ldots, \Bw_n$ が存在する。

つまり、$V$ の任意の部分空間 $W$ の直交基底は、$V$ の直交基底に拡張できる。

Proof.

$m\leq k\leq n$ となる整数 $k$ について、$V$ の部分空間の列 $W_k$ で、

一般的に、$m\leq k\leq n-1$ となる整数 $k$ について、$\Bw_1, \ldots, \Bw_k$ が、$V$ の部分空間 $W_k$ の直交基底であるとして、$V$ の部分空間で $W_k$ を含む $W_{k+1}$ と、その直交基底 $\Bw_1, \ldots, \Bw_{k+1}$ を構成する。

$W_k=V$ のとき、$\Bw_1, \ldots, \Bw_k$ が $V$ の直交基底となる。$W_k\neq V$ のとき、$W_k$ に属さない $V$ のベクトル $\Bv$ がとれる。 $$W_{k+1}=\span\{\Bw_1, \ldots, \Bw_k, \Bv\}$$ とおくと、$W_{k+1}$ は $W_k$ のベクトルと $\Bv$ から生成される、$V$ の部分空間となる。$\Bv\not\in W_k$ だから、$W_k\subsetneq W_{k+1}$ となる。

$i=1, \ldots, k$ について $$c_i=\frac{\langle \Bv, \Bw_i \rangle}{\wenvert{\Bw_i}^2}$$ とおいて、 $$\Bw_{k+1}=\Bv-\sum_{i=1}^k c_i \Bw_i$$ とおくと、$i=1, \ldots, k$ について $\langle \Bw_i, \Bw_{k+1}\rangle=0$ である。よって、$\Bw_1, \ldots, \Bw_{k+1}$ は、どの$2$つも互いに直交する。

$$\Bv=\Bw_{k+1}+\sum_{i=1}^k c_i \Bw_i$$ より、 $$W_{k+1}=\span \{\Bw_1, \ldots, \Bw_k, \Bw_{k+1}\}$$ となる。 $\Bw_{k+1}\in W_k$ ならば、$\Bv\in W_k$ となってしまうから、 $\Bw_{k+1}\not\in W_k$ となる。よって、$\Bw_1, \ldots, \Bw_k, \Bw_{k+1}$ は $W_{k+1}$ の基底となる。先に記したように、$\Bw_1, \ldots, \Bw_{k+1}$ は、どの$2$つも互いに直交するので、$\Bw_1, \ldots, \Bw_{k+1}$ は $W_{k+1}$ の直交基底である。

$n=\dim V$ とおく。先の議論を $k=m$ から繰り返すことで、$n$ 次元空間 $W_n\subset V$ と、$W_n$ の直交基底$\Bw_1, \ldots, \Bw_n$ がとれる。$\dim W_n=n=\dim V$ より、$V=W_n$ となる。よって $\Bw_1, \ldots, \Bw_n$ は $V$ の直交基底となる。

□

この証明は、有限次元のベクトル空間の直交基底を構成する方法を与えている。この方法をGram-Schmidtの直交化法 (Gram-Schmidt orthogonalization process) という。

$V$ の直交基底 $$\Bw_1, \ldots, \Bw_n$$ に対して $$\Bv_i=\frac{\Bw_i}{\wenvert{\Bw_i}}$$ とおくと、$\Bv_1, \ldots ,\Bv_n$ は $V$ の正規直交基底となる。よって、有限次元のベクトル空間は正規直交基底をもつことがわかる。たとえば、例 2 において、$f_n$ は $V$ の正規直交基底となる。

スカラー積あるいはエルミート積が正定値でない場合は、Gram-Schmidtの直交化法により、$V$ の部分空間 $W$ の直交基底を $V$ の直交基底に拡張することができるとは限らない。たとえば $\R^2$ において、 $$\langle (x, y), (z, w)\rangle=xz-yw$$ によりスカラー積が定義されている場合、$U=\{(x, x): x\in\R\}$ は $\R^2$ の部分空間で、$(1, 1)$ を基底にもつが、この基底は、先のスカラー積に関する $\R^2$ の直交基底には拡張できない。実際、$(x, y)\not\in U$ ならば、$x\neq y$ より $$\langle (1, 1), (x, y)\rangle=x-y\neq 0$$ となり、$(x, y)$ は $(1, 1)$ とは直交しない。

しかし、後に示すように、スカラー積あるいはエルミート積が正定値でない場合でも、直交基底を構成することはできる（Lang, Chapter V, Theorem 5.1）。

直交補空間

$S$ を $V$ の部分集合（部分空間でなくてもよい）とする。このとき $S$ のすべてのベクトルと直交するベクトルからなる集合 $$S^\perp=\{\Bu: (\forall\Bv\in S) ~ [\langle \Bu, \Bv \rangle=0]\}$$ は $V$ の部分空間となる。実際、$\langle \Bu, \Bv \rangle=0 ~ (\forall\Bv\in S)$ ならば、任意の $\Bv\in S$ について $$\langle k\Bu, \Bv \rangle=k\langle \Bu, \Bv\rangle=0$$ より、$k\Bu\in S^\perp$ となるし、$\langle \Bu, \Bv \rangle=\langle \Bw, \Bv \rangle=0 ~ (\forall\Bv\in S)$ ならば、任意の $\Bv\in S$ について $$\langle \Bu+\Bw, \Bv\rangle=\langle \Bu, \Bv\rangle + \langle \Bw, \Bv\rangle=0$$ より、$\Bu+\Bw\in S^\perp$ となる。それで、$S^\perp$ を $S$ の直交補空間 (orthogonal complement) という。

つぎのことがすぐにわかる。

命題 8

$U$ が $S$ により生成される空間であるとき、 $$S^\perp=U^\perp$$ となる。

Proof.

$U$ のベクトルを $\Bu_1, \ldots, \Bu_n\in S$ と $a_1, \ldots, a_n\in\K$ により $a_1\Bu_1+\cdots +a_n\Bu_n\in U$ とあらわすと、$\Bv\in S^\perp$ ならば $$\langle a_1\Bu_1+\cdots +a_n\Bu_n, \Bv\rangle=a_1\langle \Bu_1, \Bv\rangle + \cdots + a_n\langle \Bu_n, \Bv\rangle=0$$ となるから、$\Bv$ は $U$ の任意のベクトルと直交する。つまり $\Bv \in U^\perp$ となる。 当然ながら $\Bv\in U^\perp$ ならば、$\Bv$ は $S$ のベクトルとも直交するから、$\Bv\in S^\perp$ となる。よって $$S^\perp=U^\perp$$ となる。

□

$U$ が $V$ の部分空間で、すべての $\Bv\in U$ について $\langle \Bv, \Bv\rangle=0$ となるとき、$U$ のどの $2$ つのベクトルも互いに直交する。実際、$\Bu, \Bv\in U$ について $$\langle \Bu, \Bv\rangle=\frac{\langle \Bu+\Bv, \Bu+\Bv\rangle-\langle \Bu, \Bu\rangle-\langle \Bv, \Bv\rangle}{2}=0$$ となる。任意の $\Bv\in U$ について $\langle \Bv, \Bv\rangle=0$ となる空間 $U$ を零空間 (null space) という。

定理 9

$U$ が $V$ の部分空間で、$V$ に内積 $\langle, \rangle$ が定義されているとき、$U^\perp$ をこの内積に関する $U$ の直交補空間とすると、$V$ は $U$ と $U^\perp$ の直和となる。

Proof.

$\Bu_i\in U ~ (i\in I)$ を $U$ の直交基底とし、$S=\{\Bu_i: i\in I\}$ とおく。$\Bv\in U^\perp$ ならば、$\Bv$ は各 $\Bu_i$ と直交するから、$\Bv\in U\cap U^\perp$ ならば、命題 6より $\Bv=\Bzr$ となる。よって、$U\cap U^\perp=\{\Bzr\}$ となる。

つぎに、任意の $\Bv\in V$ について、 $c_i=\langle \Bv, \Bu_i \rangle/\wenvert{\Bu_i}^2$ とおいて、 $$\Bu=\sum_{i\in I}c_i \Bu_i, \Bw=\Bv-\Bu$$ とおく。$\Bu\in U$ かつ、各 $k\in I$ について $$\langle \Bw, \Bu_k\rangle=\langle \Bv, \Bu_k\rangle-\sum_{i\in I}c_i \langle \Bu_i, \Bu_k\rangle =\langle \Bv, \Bu_k\rangle-c_k \wenvert{\Bu_k}^2=0$$ となるので、$\Bw\in S^\perp$, 命題 8より $\Bw\in U^\perp$ となる。よって、 $$\Bv=\Bu+\Bw, \Bu\in U, \Bw\in U^\perp$$ とあらわせる。つまり、$V=U+U^\perp$ となる。

これらのことから、$V$ は $U$ と $U^\perp$ の直和となる。

□

この定理は、スカラー積あるいはエルミート積 $\langle, \rangle$ が正定値でない場合は、一般には成り立たない。たとえば $\R^2$ において、 $$\langle (x, y), (z, w)\rangle=xz-yw$$ によりスカラー積が定義されている場合、$U=\{(x, x): x\in\R\}$ とおくと、$U^\perp=U=U+U^\perp$ となってしまう（先の例を参照）。

参考文献

Serge Lang, Linear Algebra, Third Edition, Undergraduate Texts in Mathematics, Springer, 1987, doi:10.1007/978-1-4757-1949-9 (eBook of the softcover reprint version).