信号处理中的矩阵运算

信号处理中的矩阵运算 EE731讲义:信号处理中的矩阵运算 麦克马斯特大学电子与计算机工程学院 James P. Reilly@，2000.2.2 前言: 本书共包含十章，将向读者介绍线性代数在现代工程和科学应用中的基本原则，包括信号处理、控制理论、过程控制、应用统计学以及机器人技术等。我们会从读者角度出发，考虑了解背景，简答介绍一些线性代数、概率论与数理统计、和傅里叶变换的知识。 第一章建立一些本书余下部分所要用到的基本思想。首先，介绍一些基本的概念，如线性无关、子空间、零空间、秩、值域等以及这些概念之间的相互联系。然后，介绍自相关和信号的协方差矩阵的概念，最后对其进行讨论和解读。 第二章讲述所谓的特征分解 ，也即是最基础的矩阵分块，重点在于直观的展示如何完成分块。书中会举例说明怎样通过K-L变换应用特征分解，这样，读者就可以初步了解这种分块法的重要性质。之后再把K-L变换法一般化，延伸到变换编码中。 第三章介绍单值分块法(SVD)，这与矩阵的特征分解紧密联系。书中分析了这两种分块法的联系，并且探讨了单值分块法(SVD)的多个性质。 第四章略。 第一章 基本概念 本章节的目的有两个，一是复习线性代数中的基础概念，而是为书中余下部分做铺垫。首先，讨论基本构件，如矩阵乘法的概述、线性无关、子空间、相关的概念以及矩阵的秩等，在此基础上导出线性代数的精确性。之后讨论矢量规范以及矩阵乘法运算的多种解释，最后以介绍行列式结束本章。 1.1示法 书中若没有特别声明，默认矩阵A是型，矩阵中的元素都是实数，表示为m，n m，nA,,，这表明矩阵A中的元素都是实数的笛卡尔积，总共做次，每次结果对应相m，n ,，\A,C应的元素。相似地，表示A是型，其中的元素都是复数，表示将A包含m，nm，nm行、n列。 m,a,,(C)同理，表示一个m维实(复)矢量，矢量的维表明矢量的长度，即包含m a,,(c)个元素。相似的，表示一个实(复)标量。总之，黑体的大写字母表示矩阵，黑体的小写字母表示矢量，小写字母表示标量。 T按照惯例，矢量通常默认为列向量。对于矩阵A，默认它的第i列为，第j行为，但aaji T这种表示方法会引起歧义，因为也可以认为是的转置。本文的讨论将会解决这一歧义。 aaji 1.2矩阵乘法的分块 定义矩阵 (1) ,CABm，kk，nm，n 这个运算有以下三条解释: 1.2.1表示内积 TTkab假设和是两个长度相同的列向量，表示向量和的内积。若定义表示bbaaa,,i kT矩阵A的的i行，表示矩阵B的第j列，则矩阵C的元素就是的内积。这就b,,Cabijijj 是矩阵乘法中典型的分块。 1.2.2表示列 这是矩阵乘法的最大分块概念。这里列向看这个元素，C的第j列表示A的第i列Caji乘上一个系数，这个系数是B的第j列。因此， k c,ab,j,1,...,n. (2) ,jiij,1i 该运算与上面的内积表示相同，只是这里一次只定义一列积。例如，如果只计算第j列的Cj k 第p的元素，可以看到，(2)式简化成。这表示A的第p行第j列的元素分别与Bab,piiji,1 相乘，也就是表示C的第(p,j)个元素。 1.2.3表示外积 mTna,ba,,b,,这是最大分块的代表。定义一个列向量和一个行向量，则向量的外 TTab积就是一个维矩阵。令、分别为矩阵A、B的第i行，则外积C就可以表示bam，nii 为: kT (3) C,ab,iii,1 通过对列向量乘法的分析，可以看出矩阵乘法其实与列向量乘法一样的。 1.2.4矩阵的左乘和右乘 我们通过分析一些基本的概念来区分左乘与右乘的区别。在这方面上，令矩阵B左乘A得到Y=BA(假定所有的矩阵都具有合适的分块)，则这种乘法表示B只对A的列向量相乘 y,Ba来得到乘积的列。也就是说，Y的每一列都是A的列的变换，即。同样地，若定yiii 义矩阵C右乘A得到X=AC，则这种乘法表示C只对A的行起作用，这是因为乘积的每一行 TTTTx,aC都是A的行的变换，即,其中为A的第i行。 axiiii 例: 假设有一个合适维数的化矩阵，已知标准化矩阵的乘法会引起旋转运算，运算QA使A的列转置，AQ引起行转置。 有另一种方法来理解左乘和右乘。同样，让B左乘A得到Y=BA，再根据式(2)，Y的第j列是矩阵B的列的线性组合，其系数为A的第j列。同理，对于X=AB，X的第i行yj T是B的行的线性组合，其系数为A的第i行。 xi 以上任何一种理解都是等效的，合理的选用一种表示形式是掌握线性代数的重要步骤。 1.3线性代数的基本原则 1.3.1线性无关 1m{a,...,a}假设有一组n个m维向量，其中，这些向量在条件下是线a,,,i,1,...,n1ni 性无关的: n ca,0,当且仅且c,...,c,0 (4) ,j1jn1j, n 总之，等于说(4)式表明，只有满足当向量的系数全为0时，才等于0向量的条件ca,jjj,1 {a,...,a}下，向量才是线性无关的。 1n 当n维空间是由矢量的线性组合构成时，这个n维向量组就是线性无关的。当向量空间的维数小于n时，向量组也是线性无关的。向量空间和向量空间的维数的概念将会在后面做详细介绍。 {a,...,a}记一个向量组为，当n>m时线性相关。 1n 例1: 121，， ,,A,[aaa],03,1 (5) 123,, ,,001，， 12,3，， ,,B,[],03,3向量组A是线性无关的，另外一个向量组bbb就是线性相关的。这是123,, ,,000，，因为，矩阵B的第三列是第一列和第二列的线性组合(第三列等于第一列的-1倍加上第二列的-1倍)，因此(4)式中的相关系数are any scalar multiple of (1, 1, 1). c,0j 1.3.2 域，秩和子空间 在本部分中，我们将讲述这三种联系紧密的概念。事实上，它们的数学定义几乎是一样的，只是在不同的情况下理解不同。 域: m[a,...,a][a,...,a]向量集的域可以写成span，其中，由式(7)映射而来: a,,inini n,,m,,,,,, (7) span[a,...,a]yyca，c,,,injjjj,1,, [a,...,a]换句话说，span是向量的所有可能的线性组合的集合。若向量是线性独立的，那ain 么该线性组合的维数为n;若向量时线性相关的，那么维数小于n。 一个域里的向量组合就是是指一个向量空间。一个向量空间的维数是组成该空间的线性组合的线性独立向量的个数。注意:向量空间的维数不等于组成线性组合的向量的维数。 例2:以图1中的两个向量为例 图1 这两个向量的域就是这张纸所在的平面。 子空间: m给出一个向量组合，子空间S就是该向量集的一个子集，满足以下两[a,...,a],,,m,nin 个条件: 1. 若和y在这个子空间内，那么也在这个子空间内。 x，yx 2. 若将乘以一个标量c，那么也要在这个子空间内。 xcx 这两个条件意味着一个子空间中的任意向量的线性组合都是它本身。将子空间的概念与域 [a,...,a][a,...,a]相比可以看出，以向量组定义的子空间与span是完全相同的。然而，子inin 空间还有另外一层解释，即组成子空间的向量组必须是大空间的一个子向量组。例如，图1中 m,,a,a,的定义了一个三维空间的子空间(纸所在的平面)。 12 [a,...,a][a,...,a]因此形式上，域的子空间由域决定，这里，明显地有ini1ik ,,,,i,...,i,1,...,n,,S,spana,...,a[a,...,a]，即变量空间是域的一个子集。 1ki1ikin [a,...,a]注意并不是子空间S的一个必须的基本成分，只有当它是一个最大独立集合时i1ik 才是一个基本成分。子空间的概念就作此简短介绍，用来定义域和子集的集合不要求是线,,ai性独立的。 [bbb]*例1中向量集得域是什么, 123 值域: 一个矩阵A的值域记作R(A)，是一个满足(8)式的子空间(向量集): mn,, (8) R(A),y,,y,Ax，forx,, y,Ax这里可以从矩阵乘法(2)式中的列表示法来理解矩阵-向量的乘法，乘积C只有一列。因此，y是矩阵A的列的线性组合，它的相关系数是x的元素。从而，(8)式与axii (7)式是等价的，R(A)是矩阵A的列的域。值域和域的区别在于值域是矩阵和域是向量集的论证。若A的列是(不是)线性独立的，则R(A)是(不是)n维的。因此向量空间R(A)的维数小于等于n，任意向量y,R(A)是m维的。 例3: 153，， ,,A,243(最后一列是前两列的平均值) (9) ,, ,,333，， R(A)是A中任意两列线性组合的集合。 m,当时，需要注意的是R(A)是m维空间的一个子集。在这种情况下，R(A)的维数小n,m 于等于n，因此，R(A)不是空间，而是它的一个子空间。 1.3.3 最大自由基 它是一个向量集，而且是最大的线性组合，smaller without remaining maximal，也就是，最大自由基包含了该空间的所有独立的向量。 1.3.4 基 子空间的基可以是子空间里的任何一个最大独立基，且不唯一。 例4: ,,12312，，，，，， ,,,,,,,,A,3,3，S,0，3 ,,,,,,,,,,,,,,,,300，，，，，，,,矩阵A的子空间S的基为: Te,(1,0,0)1 Te,(0,1,0)2 ,,e，e或者是域中其他任何线性独立的基。S中的任何一个向量都可以用基的线性组合唯一12 表示。 1.3.5 正交补充子空间 m[a,...,a]，a,,，i,1,...,n若一个n维子空间S包含向量，当时，S的m-n维正交n,mini S补充子空间定义为: , mT ,, (10) S,y,,yx,0,x,S, SS也就是，中的任意一个向量都与S中的向量正交，读作“S-perp”。 ,,例5:以例4中的向量来定义S 12，， ,,S,03 (11) ,, ,,00，， S则的一个基为 , 0，， ,,0 (12) ,, ,,1，， ?A vector ei is referred to as an elementary vector,and has zeros everywhere except for a 1 in the ith position. 1.3.6 秩 在本部分中，秩将是频繁使用的一个重要概念，这里我们只对一些秩的基本特征做简略介绍。 秩的概念有以下几条扩展: 1. 矩阵的秩是线性独立的行或列的最大个数，因此，它也是一个向量集的基的维数。 2. A的秩记作rank(A)，是R(A)的维数。 rank(A),min(r,r)A,BC，r,rank(B)，r,rank(C)3. 若，则。 1212 m，n4. 矩阵，若，则称A为缺秩;否则，称其为满秩。 rank(A),min(m,n)A,, 5. 若A是方阵且，那么det(A)=0。 rank(A),min(m,n) Trank(A),rank(A)6. 另外，，有关这个稍后将做详细介绍。 1.3.7 A的零空间 A的零空间N(A)定义为: n (13) ,,N(A),x,,,0Ax,0 从之前的讨论中可以看到，乘积是矩阵A的列的线性组合，这里x的元素是相应的Axaxii系数。因此，从式(13)可以看出，N(A)是所有A的列的零线性组合的非零系数。若A的列是线性独立的，那么从定义得出N(A)=0，因为所有的系数都为0，导致了一个零线性组合。在这种情况下，零空间的维数为0，A为满秩。当且仅当A为缺秩时，零空间才是非空的。注意，N(A)中的任何一个向量都是n维的，并且与A的行向量都是正交的，而且也使得A的行的域的元素都是正交的。 例6: TN(A),c(1,1,,2)以例3中的矩阵A为例，则，c为一个实常数。 3,,a,a,a 再举一个更进一步的例子。向量组，其中，被放置在一个二a,,,i,1,...,3123i 维平面内，从而存在一个这三个向量的零线性组合，该线性组合的系数定义了一个矩阵 ,,A,a,a,a的零空间里的向量x。在这种情况下，我们将A看作是一个缺秩阵。 123 矩阵的另一个重要的特性描述是零度，矩阵A的零度是A的零空间的维数。在例6中，A的零度为1。零度与秩之间有如下关系: rank(A)，nullity(A),n (14) 1.4 矩阵的四个基本子空间 矩阵涉及的四个子空间为:列空间，行空间以及它们各自的正交补充子空间。这四个子空间与 m，nr,min(m,n)N(A)和R(A)有密切联系。本部分中，默认，其中。 r,rankA,,1.4.1 列空间 列空间就是R(A)，它的维数为r，是A的列向量的所有线性组合的集合。 1.4.2 列空间的正交补充子空间 TTN(A)N(A)R(A)可以这个写成，维数为m-r，它与等价，如式(15)定义，与x满足: , ————，，x，，1,,————,,,,？,0,,,,———— (15) ,,x,,m，，————，， TA TmTN(A)这里，A的列就是是A的行。从式(15)看出，与是等价的，且与A的所有x,, T列向量(A的行向量)正交。这就是定义的R(A)的正交补充子空间。 1.4.3 行空间 TR(A)行空间可以简单定义为，维数为r，行空间就是A的行向量的值域，或是行向量界定的子空间，也或是A的行向量的所有线性组合。 1.4.4 行空间的正交补充子空间 TR(A)可以将其记作，维数为n-r，且它与A的所有行向量正交，即，若x在此空间内，则, x必满足: ___，， ,,x___，，1,,,,,, (16) ,0___？,,,,,,？xn，，,, ,,___，，,,,rowsofA 因此，若行空间的正交补充子空间x满足式(16)，那么，它就是N(A)。 Trank(A),rank(A)之前我们介绍过，，因此，行空间与列空间的维数是相等的。这就暗示着一个矩阵线性独立的行向量个数与线性独立的列向量个数是相等的，这种观点忽略了矩阵的尺寸和秩。这并不是直接观察出来的结论，而且也没有支持这种结论的直接依据，尽管如此，矩阵的秩还是等于线性独立的行向量或列向量个数。 1.5 矢量规范 n,矢量规范是表达一个矢量长度或距离的一种手段。在矢量空间上的矩阵规范是一个函 nf,数，反应了从到的点映射。它具有一下特性: , nx,,，f(x),01. 对于所有的。 f(x),02. 当且仅当x=0时，。 nx,y,,，f(x，y),f(x)，f(y)3. 对于。 n4. 对于。 a,,,x,,，f(ax),af(x) 记函数为。 f(x)x p-规范:这是一种用途很大的规范，形成于欧几里德规范的思想。定义为: 1ppppx,(x，x，...，x) (17) n12p 若: p,1 那么，也就是简单的对所有元素的绝对值求和。 x,x,i1i 若: p,2 112,,2T2那么，这就是熟悉的欧几里德规范。 x,x,(xx),,,i2i,, 若: p,, 那么，这是取x中的最大值。也可以用下面这种方法表示:随着，式x,maxxp,,i,i (17)中，小括号中的最大项可以代表整个式子的值，因此，式(17)可以改写成: 1n1p，，ppp (18) ,,x,limx,limx,x,ikk,,,,,,,pp,i，，1 这里k是相应的最大元素的序号。 xi p,2注意时，规范有几个有用的性质，但计算起来很费力。明显地，1-和?-规范的计算很简单，但在代数处理中很复杂。所有的p-规范都遵循矢量规范的所有性质。 1.6 行列式 m，m有一方阵，定义A为A的余子阵，即去掉A的第i行和第j列剩下的元素组成A,,ij 的矩阵。det(A)(这里det(?)表示行列式的值)的标量值叫做辅系数，与A的元素a有关。ijij ,ij，c,(,1)det(A)辅系数的符号叫做a的辅因子。 ijijij A的行列式就是A的行(列)元素的m维排列。这种对于行列式的理解十分有用，矩阵的行列式可以通过下式计算得出: m det(A),ac，i,(1...m) (19) ,ijijj,1 或者写成: m det(A),ac，j,(1...m) (20) ,ijij,1i 以上两种写法都是以行列式的辅因子往外扩展得出的。例如，式(19)沿着A的第i行，式(20)沿着A的第j列。以上两种写法都准确地给出了相同的结果，如果不看i或者j的值。 m，m例如:式(19)和式(20)是以A的辅因子的形式给出了维行列式det(A)，它cij m，m，，m,1，(m,1)们本身也是维行列式。因此，m-1次循环就可以求出维矩阵A的行列式值。 若A是三角形的，式(19)的结果就很明显，det(A)的值就是对角线上元素的乘积。由于对角阵是上三角形矩阵的子集，对角阵的行列式也是对角线元素的乘积。从以上解释中可以知道，行列式是一个包含了列向量的量，因此可以用对角线元素的成绩来表示这个量的值(对于上三角型或对角线型行列式)。 行列式的性质: 在讨论该部分之前，先定义一个平行六边形量parallelopiped，包含了一个矩阵的所有列向量，也是该矩阵最重要的量。 下面给出行列式的几条性质，证明省略: m，mdet(AB),det(A)det(B)A,B,,1. 。 矩阵乘积的行列式等于每个矩阵行列式的乘积。 Tdet(A),det(A)2. 。 T3T这条性质表明，A和A的特征多项式相同，因此，随后可以看到，A和A的特征值也相同。 3矩阵的特征多项式将在第二章中定义。 mm，mdet(cA),cdet(A)c,,,A,,3. 。 m这条性质反映出:若矩阵的每一个向量都乘以常数c，那么行列式的值将乘以c。 det(A),0,4. A是单一矩阵。 这条性质暗示，至少one dimension of the principal volume of the corresponding matrix has collapsed to zero length. m,det(A),,5. ，这里是A的特征值。 i,i,i1 这意味着，由矩阵列向量或行向量定义的parallelopiped可以被转换成一个常规m维的立方体，它的边界长度与矩阵的特征值相对应。 46. 标准正交化矩阵的行列式等于1。 , 很明显，这是因为，标准正交化矩阵的向量都是单位化长度的，且相互之间都是正交的，因此，相应的principal volume等于1 , 4标准正交化矩阵将在第二章中定义。 ,1,1,,det(A),det(A)7. 若A是可逆的，那么。 ,1det(BAB),det(A)8. 若B是可逆的，那么。 9. 若B由A交换任意两行(列)得来，那么。 det(B),,det(Α) 10. 若B由A的某一行(列)的n倍加到另一行(列)上得来，那么。 det(B),det(Α) ~A行列式的另一个深层的性质允许我们求A的反转阵，定义为A的伴随阵: Tc？c，，111m~,, (21) ,？？A,, ,,c？c1，，mmm ~T~aA这里是A的辅因子，根据式(19)和式(20)，的第i行乘以第i列就是det(A)，caiiji 也就是: T~aa,det(A)，i,1,...,m (22) ii 也可以将其解释成: T~ (23) aa,0，i,jij ,,i,j,1,...,m结合式(22)和式(23)，对于，可以得出: ~，，AA,detAI (24) -1m，m这里I是维identity矩阵，因而，由式(24)可以得出A的逆阵A为: ~,1,1,,A,det(A)A (25) 式(19)和式(25)都不是计算行列式或逆阵的简便方法，更好的方法将随着之后对多种矩阵性能的介绍而逐一显现出来。 第二章 该部分将在对任意过程的K-L变换法阐述中讨论特征值和特征向量。首先，将讨论特征值和特征向量的基本概念;之后，讨论协方差矩阵。对这两个方面的讨论讲被结合到对K-L变换法的阐述里。最后，将给出一个信号阵列处理的例子，作为线性代数思想的应用。 该部分阐述的主要目的是，通过信号处理中一个重要的应用来揭开特征值和特征向量的神秘面纱。 2.1 特征值和特征向量 假设有一个矩阵A， 41，， (1) A,,,14，， 我们来探讨它的特征值和特征向量。 图2-1 多种向量的矩阵乘法 T,,x,1,0Ax 如图2-1所示，以乘积为例，假设这里，因此 11 4，， (2) Ax,1,,1，， xAxx比较向量与得出，乘积向量是关于的逆时针旋转和比例变换。 111 TT,,,,x,0,1Ax,1，4x再考虑，得到。可以看出乘积向量是关于的顺时针旋转结222果。 TTxAx假设，得到。这里乘积向量与具有相同的结构，向量与,,,,x,1,1Ax,5，53333 Tx具有一定的比例，由于具有这种性质，向量是A的一个特征向量，比例系数,,x,1,133 (本例中为5)记为，并归类于A的一个特征值。 , TT,,,,x,1,,1Ax,3，,3,3x注意到也是一个特征向量，因为在本例中，相应的特征值为3。 n，nx因此我们可以得出，若是的一个特征向量，那么 A,, (3) Ax,,x 乘积系数(特征值) , x也就是，向量跟是相同的结构，只是乘上了一个系数A，既然我们对于基本概念特征向Ax 量就有这样一个理解，那么我们就开始更深的讨论。例3可以写成: ，，A,,Ix,0 (4) n，n这里，I是维单位矩阵。例如，式(4)是等式中的一个齐次等式，从基本线性代数可以知道，等式成立的一个重要因素是当且仅当: ，，detA,,I,0 (5) 这里det(-)是行列式。例如，式(5)估计为n维矩阵A的一个多项式。对于上面提到的矩阵A有: ，，4110,,,,,,,,,det,,0,,,,,,1401,,,,，， ,4,1，，2,det,(4,),1 (6) ,,,14,，， 2,,,8,，15,0 很容易可以看出，上面多项式的根是(5，3)，正好验证了上面讨论出的特征值。式(5)定义为A的特征等式，且相应的多项式就是特征多项式，特征多项式是n阶的。 n，n通常，若A是维的，式(5)就有n种解法，或者特征多项式有n个解。因此，A就有n个特征值满足式(3)，也就是: Ax,,x，i,1,...,n (7) iii 若所有的特征值都不相同，那么就有n个线性独立的特征向量，它们的结构各不相同，每个都跨度了n维欧几里德空间。 重复特征值:举例说明，若有r个重复的特征值，那么就有一个由n个特征向量组成的线 ，，A,,I性独立集合，式(5)中的矩阵的秩就是n-r。r个重复特征值对应的r个特征向量的结构就不唯一。 v,...,v事实上，记r重特征值对应的特征向量组成的r维线性独立集合，用它们表示的ir ,,v,...,v任何一个在域的向量都是特征向量，这就说明，在这种情况下特征向量不唯一。 ir 例1:给出下面这个矩阵 100，， ,, 000 ,, ,,000，， ,,e,e可以很清楚得看出，任何一个在域里的向量都是一个0重特征值对应的特征向量。 12 n，n例2:再考虑维单位阵，它具有n重特征值1。因此，任何n维向量都是单位阵一个特征 n维空间。 向量，且特征向量跨度 例如，式(5)给了我们一个计算特征值的线索。我们可以用公式表达特征多项式，通过计算 ,，，A,,I,i,1,...,n它的根来给出特征值。一旦计算出了特征值，就可以通过计算量的零空ii间来计算相应的特征向量。这种方法对于小矩阵是适用的，但对于相当可观大小的矩阵来说，这种计算方法容易出现数字上的错误。然后，考虑到正交变换可以引出更多有效的计算特征值的方法。 现在，我们给出一些有关特征值和特征向量的性质，加强我们的理解。 性质1: 1若一个对称矩阵(厄密共轭矩阵)的特征值都是不同的，那么它的特征向量就是正交的。 T1A,A一个对称阵就是指，这里上标T表示转置。也就是，对于对称阵，有。一个厄密对a,aijji H称矩阵(或者厄密矩阵)只在复杂的情况下才有意义，且有A,A，这里上标H表示厄密转置。这就意味 *着这种矩阵是转置和复杂的结合体。因此，对于厄密矩阵，有。 a,aijji 这种情况只对实阵成立。然后当是复杂阵时，厄密对称矩阵可以代替对称阵。 ,,i,j,1,...,n,i,j证明:任意取，那么 Av,,v (8) iii Av,,v 和 (9) jjj TT 对式(8)左乘，式(9)左乘得到: vvji TT (10) vAv,,vvjiiji TT (11) vAv,,vvijjij 当A是对称阵时，左边的量与右边相等。式(10)的左边是一个标量，它的转置 TTTT2A,A就是它自己。因此，可以给出，但是，由于A是对称阵，有，因vAv,vAvjiij TTTT而得出。 vAv,vAv,vAvjiijij TTT2()ABBA,这里用到了矩阵或矢量A和B的大小一致性，。 将式(10)、式(11)相减得到: T (12) (,,,)vv,0ijji TT,,,,0 这里用到了，但如果假设，那么，式(12)只有当vv,vvijjiij T时才成立，也就意味着该矢量是正交向量。 vv,0ji ranknr()AI,,,,这里假设特征值是不同的。若特征值是r重的，那么有，而仍然, 可以找出正交矢量集的n个特征值。 对称矩阵的另一个有用的性质为: 性质2:对称阵(厄密共轭阵)的特征值是实数。 3是对称阵A的一个非零复特征值，证明:(对比法):首先，认为A是实数阵。假设, *由于A的元素都是实数，的复共轭也是A的一个特征值。这是因为特征多项式的根是以,, *复共轭对的形式出现的。并且，如果v是A的一个非零特征向量，那么相应的A的一个特征 T**向量就是v即v的复共轭。由于性质1要求特征向量是正交的，则。但又有vv,0TH**vvvv,()，定义为v的规范化的复共轭，由于一个向量的规范是一个纯实数，且已经假 T*定v是非零的，因此一定是一个大于0的数。由此，就有了一个矛盾，所以，一个对称vv 阵的特征值一定不是复数，也就是，它们是实数。 证明只说明了是对实对称阵，可以很容易地推出对于厄密共轭阵也成立。 ,,1,...,in,v性质3:若矩阵A具有特征值和相应的特征向量，那么，矩阵的AI，sii ,，sv特征值就为，相应的特征向量为，这里s为任意实数。 ii 证明:由特征向量的定义可知，，还有，两式相加可以得到Avv,,ssIvv, 。这个关于矩阵的新的特征向量表明特征向量不变，特征值变为()()AIvv，,，ss,AI，s ,，s。 i ,,1,...,in,nn，性质4:若一个维矩阵A具有特征值，那么 i ndet()A,, ?行列式 ,i,1i n4tr()A,, ?迹 ,i,1i 4迹表示一个方阵的tr()，即方阵主对角线上元素的和。 这个性质的证明很直接，由于稍后将在章节中使用概念简单的证明，这里就不再给出。 vcv性质5:若是矩阵A的一个特征向量，那么也是A的特征向量，这里c为实常数或 复常数。 可以直接将式里的v替换成cv证明该性质。这意味着特征向量的方向是唯一Avv,, 的，但它的模不唯一。 2.1.1 正交化矩阵 在进行矩阵的特征值分解前，必须要引出正交化矩阵的概念。这种矩阵要求具有相互正交 的列向量，且模都是单位值。这就暗示着: T (13) qq,,ijij ,qq这里是克罗内克符号，和是正交阵Q的列向量。考虑到式(13)，现在讨论下ijji T乘积QQ，该乘积可以由下图直接得表示: T，，q,1，，,,Tq,,,,,T2 QQ,qq？q,I (14) 12N,,,,？,,,,,,,，，T,,q,N，， TTq(当时，量可以看做模的平方，是一个整体;当时，，因为i,ji,jqqqq,0iijij q是正交向量。)式(14)就是正交矩阵的一个重要性质。 i 因此，对于一个正交矩阵来说，式(14)暗示着可以通过对矩阵的变换方便地计算出矩阵 的逆阵。 Thus, for an orthonormal matrix, (14)implies the inverse may be computed simply by taking the transpose of the matrix, an operation which requires almost no computational effort. Eq. (14) follows directly from the fact Q has orthonormal columns. It is not so clear that the quantity QQT should also equal the identity. We can resolve this question in the following way. Suppose that A and B are any two matrices such that AB = I. Then, BAB = B. By parsing this last expression, we have Clearly, if (15) is to hold, then the quantity BA must be the identity; hence, if AB = I, then BA = I. Therefore, if QTQ = I, then also QQT = I. From this fact, it follows that if a matrix has orthonormal columns, then it also must have orthonormal rows. We now develop a further useful property of orthonormal marices: Property 6 The vector 2-norm zs znvariantunder an orthono-rmal tra-ns- formation. If Q is orthonormal, then IIQxll~ = XTQTQX = XTX = IIXII~ . Thus, because the norm does not change, an orthonormal transformation performs a rotation operation on a vector. We use this norm-invariance property later in our study of the leastsquares problem. Suppose we have a matrix UE蹰…xn, where m >n, whose columns are orthonormal. We see in this case that U is a tall matrix, which can be formed by extracting only the first n columns of an arbitrary orthonormal matrix. (We reserve the term orthonormal matrix to refer to a complete m x m matrix). Because U has orthonormal columns, it follows that the quantity UTU = Inxn. However, it is important to realize that the quantity UUT乒 I",xm in this case, in contrast to the situation when m =n . The latter relation follows from the fact that the 'm column vectors of UT of length n,n