２０１１年１ ２月 第 矩阵奇异值分解在最小二乘法中的应用 严 雯 （天水师范学院数学与统计学院 甘肃 天水７４１０００） 中图分类号：０１５１．２１ 文献标识码：Ａ 文章编号：１００８－９２５Ｘ（２０１１）１２—０１３５—０２ 摘要：总结了奇异值分解矩阵的降维、比例不变性、奇异值对矩阵的扰动不敏感等六个特征，并应用于最小二乘法问题中，列举了 矩阵满秩情形，齐次方程组和带约束方程组的最小二乘解。 关键词：矩阵奇异值分解降维 １ 引言 ｎ矩阵并且对角线以外的元素为零。这方程组的形式是 奇异值分解（ＳＶＤ）是一种正交矩阵分解法；ＳＶＤ是最可霏的 ｂ ｔ 分解法，但是它的计算时间几乎十倍于Ｑｒｔ分解；使用奇异值分 ｂ ２ 解，不仅可以挖掘矩阵中隐藏的重要结构信息，从而发现局部与 ，，ｌ 整体之间潜在的重要关联模式，而且，更为重要的是，它可以降低 Ｄ ｙ２ ｂ 矩阵的维数。以下将讨论矩阵的奇异值分解在最小二乘问题中 ｂ ＋１ 的应用。 ０ ，， １奇异值分解在ＬＳ问题中的应用 ｂ 问题即相当于，设Ａ∈Ｒ （ｍ＞ｎ），ｂ ＥＲ ，求 ∈Ｒ 使得 ｌＩＡｘ—ｂ ｌＩ＝ｍｉｎ｛ｌＩＡ 一ｂ ｌＩ ２： ∈Ｒ ｝ 显然，离６ 最近∑Ｙ的是向量（ｂ ，ｂ ：，Ｌ，ｂ ，０，Ｌ ０） ，并令 Ｙ】＝ｂ＇ｉ／ｄ。（ｉ＝１，２，Ｌ，ｎ）得到。注意假定Ａ的秩为ｎ保证了ｄｌ≠ 假设已知矩阵Ａ有式子得到的ＳＶＤ分解式为ｕ∑ ，ｕ和 ０。最后由 ＝ 求出 ，这里，给出了解的表达式。 分别为ｍ，ｎ阶正交方阵，而∑为和Ａ具有相同维数的对角矩阵， ３齐次方程组的最小二乘解 那么我们可以得到： 一ｂ＝ＵＺｖｒｘ—ｂ 与前一问题类似的问题是求形如Ａｘ＝０的方程组的非零解。 注意到如果 是这方程组的一个解，那么对任何标量ａ， ，也是 ＝ （∑ ）一Ｕ（Ｕ ｂ） 解，因此为了排除非零解，加入约束条件 ｌｌ＝１是合理的。 ＝Ｕ（∑），一ｃ） 这样的方程组一般不存在精确解。假定Ａ的维数是ｍ ｘ ｎ， 因为ｕ是一正交矩阵，所以Ｉ ｌ一ｂ ｌＩ：＝Ｉ ｌ（∑Ｙ—ｃ）ＩＪ： 那么存在精确解的充要条件是ｒａｎｋ（Ａ）＜ｎ，即：矩阵Ａ不是列满 ＝０∑，，一ｃ Ｉｌ：，从而把原最小二乘法问题化为求使ｌｌ∑，，一ｃ ＩＩ： 秩的。当没有精确解时，我们通常将求它的一个最小二乘解。现 最小的Ｙ这一最小二乘法问题，因为∑为对角矩阵，所以使得新 在问题可以叙述为 的这一最ｄ￣－Ｖ－．乘法问题简单的多，接着将对此仔细分析。 问题１在约束条件ｌ ｌｌｌ＝ｌ的条件下，求使ｌ ｌｌＩ最小 假设矩阵Ａ的秩为ｒ，则有： 的 。 ｌＹｔ Ｏ＂１Ｙｌ—ｃ１ 注意到求ｌｌ Ａ ｌＩ的最小值等价于求ＩＩ Ｉｌ。的最小值，而ｌｌ 肘 －ｌ （＾ｒＡ） ，因此这个问题可以化为求对称矩阵Ａ Ａ的最 ，，，， ｏ 一ｃ 小特征值问题，下面我们用来ＳＶＤ求解这个问题： ∑Ｙ＝ ０ ∑，，一ｃ＝ 一Ｃ，＋１ 设Ａ＝ ∑ ，那么问题变成求ｌＩ￡，∑ ＩＩ的最小值。而ｌ ｌＯ 一Ｃｒ＋２ ∑ 。 ｌｌ＝ｌｌ∑ ｌｌ和 ｌＪ＝ｌ Ｉ’ ｌｌｏ因此，问题变成在约束 Ｍ 条件Ｉ ｌ’ ｌｌ＝１下，求ｌｌ∑ｖｒｘ Ｉｌ的最小值。令Ｙ＝ｖｒｘ，则问题简 Ｏ —Ｃｍ 化为： 可知Ｙ。＝ｃ。／ｏ＂ｌ，（ｉ＝１，２，Ｌ，ｒ）使得∑，，一ｃ达到它的最小长度 问题１ 在约束条件ｌ ｌＹｌｌ：１下，求０∑ＹＩＩ的最小值。 ［∑ｃ ］ ，并且可见当ｒ：ｍ时，上面的这一长度为０，也就是当 现在，∑是对角元素按降序排列的一个对角矩阵。由此推出 该问题的解是Ｙ＝（Ｏ，０，Ｌ０，１），它的唯一非零元素ｌ在最后的位 矩阵Ａ的列张成空间时最小二乘法问题可以无误差地求解。而 置上（即为ｅ ）。最后由 ＝ 解出 ，即 就是 的最后一列。 当ｒ＜ｎ时， ＋ ， 可以任意取，而不影响∑，，一ｃ的长度。 的最后一列实际上也是Ａ 的与最小特征值对应的特征向量。 我们将对∑转置并且对非零的对角元素求逆所得到得矩阵 ４带约束方程组的最小二乘解 定义为∑ ，那么Ｙ＝∑ ｃ的前ｒ个元素将等于ｃ￣／ｏ＂ ，（ｉ＝１，２，Ｌ 在一些应用场合，所求解的未知向量必须严格地满足某些线 ｒ），并且其余的元素为０，并且由Ｙ＝ ，ｃ＝Ｕ ｂ，容易得到： 性约束，这样的约束可以用矩阵方程 ＝０来描述。要求它应准 ＝ｖＥ Ｕ ｂ 确地满足，即没有受到噪声的干扰。这导出下列问题： 由此得到的是Ｌｓ问题的最小范数解。 问题２在约束 ＩＩ＝１和 ：０下，求使Ｉ ｌＩ１最小的 。 ２最小二乘法问题（满秩情形） 类似于前一个问题的讨论，这个问题可以看作是在约束Ｃｘ＝ 现在考虑ｍ≥ｎ并且Ａ的秩为ｎ的情形。如果方程组不存在 ０下，求 ’ 的最小特征值问题，利用ＳＶＤ，它可以按如下方式 解，但是在许多情形下，找一个最接近于方程组的向量 仍然是 来解： 有意义的。换句话说，寻求一个向量 使ＩＩ 一ｂ ＩＩ最小，其中ＩＩ 满足条件Ｃｘ＝０意味着 垂直于Ｃ的每一行，因此所有这些 ｌＩ表示欧式范数。这时， 称为该超定方程组的最小二乘解。用 的集合形成一个向量空间，称为ｃ的行空间的正交补。现在考 ＳＶＤ能很方便地求最小二乘解，其方法如下所述。 虑如何表示这个正交补空间。 寻求使Ｉｌ Ａｘ—ｂ ｌＩ＝ｌ ｌ∑Ｖｒ—ｂ『Ｉ的最小值的向量 。利用 设Ｃ∈Ｒｐ ，如果Ｇ的行数少于列数，即Ｐ＜ｎ，那么通过增加 正交矩阵的保范性，有ｌｌ Ｖｒ—ｂ ｌｌ＝ｌＩ∑ 一Ｕ ｂ Ｉｌ记Ｙ＝ 。 若干零行将它扩展成方阵。这样做对约束集合Ｃｘ＝０不产生影 和ｂ ＝Ｕ ｂ，问题变成求ｌｌ∑，，一ｂ ＩＩ的最小化问题，其中∑为ｍ× 响。现在，对ｃ作奇异值分解：Ｃ＝ ∑ 。，其中Ｄ是对角元素，且 １３５ — 嘲 ２０１ １年１ ２月 第４８期总５５６期 重视和加强初中物理实验教学 钟薛猛 （广东省龙川县新城初级中学中图分类号：Ｇ６３２ 文献标识码：Ａ 广东 龙川５１７３００） 文章编号：１００８—９２５Ｘ【２０１１）１２一Ｏ１３６一Ｏ１ 物理是一门以实验为基础的学科，实验在物理教学中具有十 归纳出物理规律 分重要的作用。心理学研究表明，人的思维活动是在感性材料的 例如在串联电路中的电流一节教学中，在学生会正确使用电 基础上产生的，感性材料是思维活动的源泉和依据。各种类型的 流表的基础上，重视培养学生的实验技能和操作能力，使学 物理实验，具体形象地展示了物理知识的形成和发展过程，为学 生养成良好的实验技能，指导学生明确实验的目的和原理，学会 生的学习提供了丰富的感性材料，强化了学生的感知并纠正在感 正确使用物理仪器，会正确读数，通过分析、推理能得出正确结 知中形成的错觉，从而达到丰富学生头脑中感性材料的储存及发 论。实验过程让学生先正确画出串联电路图，根据电路图连接电 展智力。因此，笔者认为，初中物理教学应注重实验教学、切实加 路（注意电流表的正确接法，应串联在电路中，选取适当的量程）， 强实验教学，下面笔者就此问题谈谈自己的几点看法。 连接好电路，检查无误后再闭合开关，测出电路中三处不同位置 １通过实验可以使物理教学直观生动，激发学生的学习兴趣，引 的电流，记录好数据，分析数据总结归纳出串联电路中各处的电 导学生发现物理问题。调动学生学习物理的主动性和积极性 流强度大小相等的规律。 １．１实验具有真实、直观、形象和生动的特点，易于激发学 ３实验是物理教学的重要内容和基础 生的学习兴趣。物理实验有很强的吸引力，能直接激发学生学习 在教学过程中，把教师的演示实验改为学生实验，形成以教 物理的兴趣。例如在大气压强一节的教学中，将一只玻璃杯装满 师为主导，学生为主体，启发为前提，实验为基础的教学方式。 水，用一张硬纸片盖在杯口上，再按住硬纸片将水杯倒置，手离开 在浮力一节的教学中，把教师的演示实验改为学生实验，让 后，硬纸片不会掉落，学生感到惊讶，这时就可以自然而然的引入 学生在教师的指导下，通过探究、总结、归纳出阿基米德原理。 大气压强的教学。紧接着做马德堡半球的实验，将马德堡两个半 ３．１实验一：物体全部浸没在水中的情况。 球挤压在一起，用抽气筒抽出半球里的空气，请两个力气大的同 ①用弹簧秤测出铁块的重力；②将铁块挂在弹簧秤下，浸没 学上来，最后两个同学用了很大的力气都没有拉开，然后提出问 在水中，测出铁块的视重；③用小桶接住从盛满水的水杯中溢出 题，为什么抽气后拉不开半球呢，球的周围有什么？空气。显然 的水，测出水的重力。 是空气对球施加了压力，通过实验，证明大气存在压强。 实验结束，让学生整理数据，对比铁块的重力减去铁块浸没 得出结论：物体受到的 兴趣是吸引学生注意力的重要因素，学生学习兴趣的提高， 在水中的视重和溢出的水的重力的关系，在很大程度上可以激发学生学习的主动性和探究和积极性，在教 浮力的大小的等于物体排开的水的重力。 ３．２实验二：物体部分浸在水中的情况。按照实验一的步 学中通过实验创设一个有声、有色、直观感的教学情境，使学生在 实验时让铁块部分浸在水中，学生通过实验，分析数据，同样 愉悦、轻松的环境中，充分发挥自己的想象力和思维能力，通过观 骤，察、分析，把在实验中得到的感性认识归纳转化成理性认识，实现 得出相同的结论，归纳出阿基米德原理的内容。 从感性认识到理性认识的飞跃。 ３．３实验三：探究物体所受的浮力与物体浸没的深度是否 在热传递一节的教学中，从一个有趣的实验引入新课，我们 有关系。 ①用一个氢气球装水，扎紧氢气球时排出气球里的空气； 用一条小活鱼代替课本中实验的小金鱼，将小活鱼放入盛满水的 上颈烧瓶中，用酒精灯给长颈颈部加热，在加热的过程中 ②将氢气球挂在弹簧秤下浸没在水中，观察弹簧秤的示数。 让学生猜想：当烧瓶上部的水沸腾时小鱼会怎样，有的学生猜想 氢气球浸没在水中时，受到三个力的作用：向下的重力、向上 到小活鱼会被烫死，有的学生猜想到小活鱼被煮熟了。实验结果 的浮力和弹簧秤的拉力，而弹簧秤的示数为零，说明氢气球浸没 当烧瓶颈部中的水沸腾了，小瓶仍在烧瓶底部安然元恙地自由活 在水中时，受到的水对它的向上的浮力等于它的重力。氢气球浸 动，实验的结果与学生的猜想恰好相反，激发了学生的学习兴趣， 没在水中不同深度时弹簧秤的示数始终为零，说明浮力的大小与 物体浸没的深度无关，与液体的密度和浸入物体排开的液体的体 顺利地引入新课的教学内容，提高了教学效果。 １．２实验是有目的性的探究过程。学生观察演示实验，自 积有关，与其他因素无关。 然会产生自己动手的想法，所以在教学中应尽量地让学生动手做 物理教学中好的教学效果只有通过实验才能发挥它的作用， 实验，将演示实验变为边学边实验，组织学生做好分组实验、课外 实验直观生动，通过实验，从感性到理性，从具体到抽象，符合学 能取得很好的教学 实验。既可满足学生自己动手的愿望，也可以让学生体会到发现 生的认知规律。在教学中充分利用实验方法，实验在物理教学过程中发挥着重要的作用。所以中学物理 问题和解决问题获得成功后的喜悦，提高学习兴趣，增强学习物 效果，理知识的欲望，提高探究物理问题的能力。 教学必须以实验为基础，这是由实验本身的特点及其在物理教学 ２通过实验探究，使学生通过感性认识进一步理解物理概念和 中的作用所决定的。 和规律是在实验的基础上建立起来的。帮助学生形成概念，总结 有ｒ个非零的对角矩阵。因此ｃ的秩为ｒ，并且Ｃ的行空间由Ｖ 的前ｒ行生成。Ｃ的行空间的正交补由Ｖ ’余下的行生成。以ｃ 记矩阵Ｖ消去前ｒ列后的矩阵，则ＣＣ ＝０，所以，满足Ｃｘ＝０的 ｘ，Ｏ 问题２ 在约束ｌＩ ｘ，ＩＩ＝１的条件下，求使Ｉ ｌＡｃ ｘ ｌ Ｊ最小的 这正是前面讨论的问题，因此可以求解。 向量ｘ的集合是由Ｃ 的列生成，因此这样的向量ｘ可以用参数 参考文献 形式表示为ｘ＝Ｃ Ｘ ，其中ｘ ∈Ｒ 。因为ｃ 是由正交列组成 ［１］ 徐树方．矩阵计算的理论与方法［肘］．北京：北京大学出版社，１９９５ 的，故有ｌｌｘ ｌＩ＝ｃ ｌＣ ｘ，ｌｌ＝ｌ ｌｘ Ｉｌ。 这样一来，上述最小化问题化为 ［２］ 周波，陈健．基于奇异值分解的、抗几何失真的数字水印算法［Ｊ］．中 国图象图形学报，２００４，９（４） １３６ 嘲酾
