<!DOCTYPE html><html lang="en-US">
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<title>[2402.04553] Curvature-Informed SGD via General Purpose Lie-Group Preconditioners</title><meta property="og:description" content="We present a novel approach to accelerate stochastic gradient descent (SGD) by utilizing curvature information obtained from Hessian-vector products or finite differences of parameters and gradients, similar to the BFG…">
<meta name="viewport" content="width=device-width, initial-scale=1">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="Curvature-Informed SGD via General Purpose Lie-Group Preconditioners">
<meta name="twitter:image:src" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta name="twitter:image:alt" content="ar5iv logo">
<meta property="og:title" content="Curvature-Informed SGD via General Purpose Lie-Group Preconditioners">
<meta property="og:site_name" content="ar5iv">
<meta property="og:image" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta property="og:type" content="article">
<meta property="og:url" content="https://ar5iv.labs.arxiv.org/html/2402.04553">

<!--Generated on Tue Mar  5 16:42:21 2024 by LaTeXML (version 0.8.8) http://dlmf.nist.gov/LaTeXML/.-->
<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
<meta name="keywords" lang="en-US" content="">

<script>
  function detectColorScheme(){
    var theme="light";
    var current_theme = localStorage.getItem("ar5iv_theme");
    if(current_theme){
      if(current_theme == "dark"){
        theme = "dark";
      } }
    else if(!window.matchMedia) { return false; }
    else if(window.matchMedia("(prefers-color-scheme: dark)").matches) {
      theme = "dark"; }
    if (theme=="dark") {
      document.documentElement.setAttribute("data-theme", "dark");
    } else {
      document.documentElement.setAttribute("data-theme", "light"); } }

  detectColorScheme();

  function toggleColorScheme(){
    var current_theme = localStorage.getItem("ar5iv_theme");
    if (current_theme) {
      if (current_theme == "light") {
        localStorage.setItem("ar5iv_theme", "dark"); }
      else {
        localStorage.setItem("ar5iv_theme", "light"); } }
    else {
        localStorage.setItem("ar5iv_theme", "dark"); }
    detectColorScheme(); }
</script>
<link media="all" rel="stylesheet" href="/assets/ar5iv-fonts.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv-site.0.2.2.css">
</head>
<body>
<div class="ltx_page_main">
<div class="ltx_page_content">
<article class="ltx_document ltx_pruned_first" lang="en-US">
<h1 class="ltx_title ltx_title_document">Curvature-Informed SGD via General Purpose Lie-Group Preconditioners</h1>
<div class="ltx_authors">
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Omead Pooladzandi
</span></span>
<span class="ltx_author_before">  </span><span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Xi-Lin Li
</span></span>
</div>

<div class="ltx_abstract">
<h6 class="ltx_title ltx_title_abstract">Abstract</h6>
<p id="id1.id1" class="ltx_p"><span id="id1.id1.1" class="ltx_text">We present a novel approach to accelerate stochastic gradient descent (<span id="id1.id1.1.1" class="ltx_text ltx_font_smallcaps">SGD</span>) by utilizing curvature information obtained from Hessian-vector products or finite differences of parameters and gradients, similar to the BFGS algorithm. Our approach involves two preconditioners: a matrix-free preconditioner and a low-rank approximation preconditioner. We update both preconditioners online using a criterion that is robust to stochastic gradient noise and does not require line search or damping. To preserve the corresponding symmetry or invariance, our preconditioners are constrained to certain connected Lie groups. The Lie group’s equivariance property simplifies the preconditioner fitting process, while its invariance property eliminates the need for damping, which is commonly required in second-order optimizers. As a result, the learning rate for parameter updating and the step size for preconditioner fitting are naturally normalized, and their default values work well in most scenarios. Our proposed approach offers a promising direction for improving the convergence of <span id="id1.id1.1.2" class="ltx_text ltx_font_smallcaps">SGD</span> with low computational overhead. We demonstrate that Preconditioned SGD (PSGD) outperforms SoTA on Vision, NLP, and RL tasks across multiple modern deep-learning architectures. We have provided code for reproducing
<a target="_blank" href="https://github.com/lixilinx/psgd_torch.git" title="" class="ltx_ref ltx_href">toy</a>
and
<a target="_blank" href="https://github.com/opooladz/Preconditioned-Stochastic-Gradient-Descent.git" title="" class="ltx_ref ltx_href">large scale experiments</a>
in this paper.</span></p>
</div>
<div class="ltx_keywords">
<span id="id2.id1" class="ltx_text">Machine Learning, ICML</span>
</div>
<div id="p2" class="ltx_para">
<br class="ltx_break">
</div>
<section id="S1" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">1 </span>Introduction</h2>

<div id="S1.p1" class="ltx_para">
<p id="S1.p1.1" class="ltx_p">Optimizing machine learning models with millions of free parameters presents a significant challenge. While conventional convex optimization algorithms such as Broyden-Fletcher-Goldfarb-Shanno (BFGS), conjugate gradient (CG), &amp; nonlinear versions like Hessian-free (HF) optimization <cite class="ltx_cite ltx_citemacro_citep">[Martens and Sutskever, <a href="#bib.bib30" title="" class="ltx_ref">2012</a>]</cite> have succeeded in small-scale, convex mathematical optimization problems, they are rarely used for large-scale, stochastic optimization problems that arise in machine learning (ML).
One of the main reasons is their reliance on the line search step. In many ML models, such as variational &amp; reinforcement learning models, cost functions are defined as expectations &amp; can only be evaluated through Monte Carlo (MC) sampling averages. This can result in large variances, making optimizers that rely on line search to ensure convergence problematic. Several recent extensions of these methods to deep learning, such as K-BFGS &amp; KFAC, have foregone the line search step in favor of damping <cite class="ltx_cite ltx_citemacro_citep">[Goldfarb et al., <a href="#bib.bib12" title="" class="ltx_ref">2020</a>, Martens and Grosse, <a href="#bib.bib29" title="" class="ltx_ref">2015</a>]</cite>. However, this adds complexity by introducing extra hyperparameters.</p>
</div>
<div id="S1.p2" class="ltx_para">
<p id="S1.p2.1" class="ltx_p">Empirical results indicate that plain SGD is a highly efficient optimizer for most ML problems. However, for problems with a large eigenvalue spread, SGD may converge slowly once the solution is located in a basin of attraction. Adaptive optimizers such as RMSProp &amp; Adam <cite class="ltx_cite ltx_citemacro_citep">[Kingma and Ba, <a href="#bib.bib20" title="" class="ltx_ref">2015</a>]</cite> converge faster but have been shown to generalize worse on many problems <cite class="ltx_cite ltx_citemacro_citep">[Wilson et al., <a href="#bib.bib44" title="" class="ltx_ref">2017</a>, Zhou et al., <a href="#bib.bib49" title="" class="ltx_ref">2020a</a>]</cite>. Reducing the generalization gap between SGD &amp; Adam remains an active topic of research <cite class="ltx_cite ltx_citemacro_citep">[Zhuang et al., <a href="#bib.bib51" title="" class="ltx_ref">2020</a>]</cite>. This work focuses on providing SGD with a good preconditioner to accelerate its convergence around the basin of attraction without undermining its generalization capacity.
The curvature information for preconditioner fitting can be sampled from Hessian-vector products or finite differences of parameters &amp; gradients, similar to the BFGS algorithm. However, constructing a preconditioner in a deterministic way, as in BFGS <cite class="ltx_cite ltx_citemacro_citep">[Boyd and Vandenberghe, <a href="#bib.bib4" title="" class="ltx_ref">2004</a>, Goldfarb et al., <a href="#bib.bib12" title="" class="ltx_ref">2020</a>]</cite>, may not be possible due to potential issues with line search &amp; damping. Therefore, we adopt the more general &amp; gradient-noise-robust preconditioner fitting criterion proposed in <cite class="ltx_cite ltx_citemacro_citet">Li [<a href="#bib.bib26" title="" class="ltx_ref">2015</a>]</cite> &amp; fit the preconditioner online with another “gradient descent”(GD) algorithm. The key is to avoid making the preconditioner fitting more difficult &amp; computationally expensive than the original parameter-learning problem.</p>
</div>
<div id="S1.p3" class="ltx_para">
<p id="S1.p3.4" class="ltx_p">In this paper, we propose using Lie groups as a tool for preconditioner fitting. The “GD” on a Lie group is similar to common gradient descent in Euclidean space. It involves applying a series of small transforms via multiplication with <math id="S1.p3.1.m1.1" class="ltx_Math" alttext="I+\mu G" display="inline"><semantics id="S1.p3.1.m1.1a"><mrow id="S1.p3.1.m1.1.1" xref="S1.p3.1.m1.1.1.cmml"><mi id="S1.p3.1.m1.1.1.2" xref="S1.p3.1.m1.1.1.2.cmml">I</mi><mo id="S1.p3.1.m1.1.1.1" xref="S1.p3.1.m1.1.1.1.cmml">+</mo><mrow id="S1.p3.1.m1.1.1.3" xref="S1.p3.1.m1.1.1.3.cmml"><mi id="S1.p3.1.m1.1.1.3.2" xref="S1.p3.1.m1.1.1.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S1.p3.1.m1.1.1.3.1" xref="S1.p3.1.m1.1.1.3.1.cmml">​</mo><mi id="S1.p3.1.m1.1.1.3.3" xref="S1.p3.1.m1.1.1.3.3.cmml">G</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.p3.1.m1.1b"><apply id="S1.p3.1.m1.1.1.cmml" xref="S1.p3.1.m1.1.1"><plus id="S1.p3.1.m1.1.1.1.cmml" xref="S1.p3.1.m1.1.1.1"></plus><ci id="S1.p3.1.m1.1.1.2.cmml" xref="S1.p3.1.m1.1.1.2">𝐼</ci><apply id="S1.p3.1.m1.1.1.3.cmml" xref="S1.p3.1.m1.1.1.3"><times id="S1.p3.1.m1.1.1.3.1.cmml" xref="S1.p3.1.m1.1.1.3.1"></times><ci id="S1.p3.1.m1.1.1.3.2.cmml" xref="S1.p3.1.m1.1.1.3.2">𝜇</ci><ci id="S1.p3.1.m1.1.1.3.3.cmml" xref="S1.p3.1.m1.1.1.3.3">𝐺</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.1.m1.1c">I+\mu G</annotation></semantics></math>, where <math id="S1.p3.2.m2.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S1.p3.2.m2.1a"><mi id="S1.p3.2.m2.1.1" xref="S1.p3.2.m2.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S1.p3.2.m2.1b"><ci id="S1.p3.2.m2.1.1.cmml" xref="S1.p3.2.m2.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.2.m2.1c">\mu</annotation></semantics></math> is a small scalar &amp; <math id="S1.p3.3.m3.1" class="ltx_Math" alttext="G" display="inline"><semantics id="S1.p3.3.m3.1a"><mi id="S1.p3.3.m3.1.1" xref="S1.p3.3.m3.1.1.cmml">G</mi><annotation-xml encoding="MathML-Content" id="S1.p3.3.m3.1b"><ci id="S1.p3.3.m3.1.1.cmml" xref="S1.p3.3.m3.1.1">𝐺</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.3.m3.1c">G</annotation></semantics></math> is the group generator (see <a href="#A4.SS1" title="D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">D.1</span></a>). The Lie group is a rich &amp; convenient space to work in as moving a preconditioner around any point on the group behaves similarly to moving it around the identity element of the group, i.e., the identity matrix <math id="S1.p3.4.m4.1" class="ltx_Math" alttext="I" display="inline"><semantics id="S1.p3.4.m4.1a"><mi id="S1.p3.4.m4.1.1" xref="S1.p3.4.m4.1.1.cmml">I</mi><annotation-xml encoding="MathML-Content" id="S1.p3.4.m4.1b"><ci id="S1.p3.4.m4.1.1.cmml" xref="S1.p3.4.m4.1.1">𝐼</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.4.m4.1c">I</annotation></semantics></math>. This is known as the Lie group equivariance property.</p>
</div>
<div id="S1.p4" class="ltx_para">
<p id="S1.p4.1" class="ltx_p">Recent curvature-aware optimization methods such as HessianFree, KFAC, AdaHessian <cite class="ltx_cite ltx_citemacro_citep">[Yao et al., <a href="#bib.bib46" title="" class="ltx_ref">2021</a>]</cite>, K-BFGS, Shampoo <cite class="ltx_cite ltx_citemacro_citep">[Gupta et al., <a href="#bib.bib13" title="" class="ltx_ref">2018</a>]</cite> &amp; GGT <cite class="ltx_cite ltx_citemacro_citep">[Agarwal et al., <a href="#bib.bib2" title="" class="ltx_ref">2018</a>]</cite> have shown moderate empirical results in Deep Learning <cite class="ltx_cite ltx_citemacro_citep">[Osawa et al., <a href="#bib.bib33" title="" class="ltx_ref">2022</a>]</cite>. Yet, they require damping, line search, or regret &amp; thus require many hyper-paramers &amp; are prone to pitfalls that do not affect PSGD where gradient noises regularize parameter &amp; preconditioner updates.</p>
</div>
<div id="S1.p5" class="ltx_para">
<p id="S1.p5.1" class="ltx_p"><span id="S1.p5.1.1" class="ltx_text ltx_font_bold">Contributions.</span> In our paper, we are interested in the performance of two novel families of preconditioners (Sparse Matrix-Free &amp; Low Rank Approximation) in the PSGD framework &amp; the structures of the <span id="S1.p5.1.2" class="ltx_text ltx_font_italic">solutions</span> learned by the network. In particular, our main observation is that:
<br class="ltx_break"><span id="S1.p5.1.3" class="ltx_text ltx_font_italic">Precontioned Stochastic Gradient Descent on overparametrized neural networks leads to flat generalized solutions. </span> While standard optimizers can find solutions that are over confident in their predictions, PSGD finds solutions that are significantly flatter, generalize better while being drastically less confident.</p>
</div>
<div id="S1.p6" class="ltx_para">
<p id="S1.p6.1" class="ltx_p"><span id="S1.p6.1.1" class="ltx_text ltx_font_bold">We make the following contributions:</span></p>
</div>
<div id="S1.p7" class="ltx_para">
<p id="S1.p7.1" class="ltx_p"><span id="S1.p7.1.1" class="ltx_text ltx_font_bold">Novel Preconditioners:</span> In Section <a href="#S3" title="3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> we propose two novel precondtioners for PSGD: an extreamly light weight diagonal &amp; coross-diagonal approximation to the Hessian coined <span id="S1.p7.1.2" class="ltx_text ltx_font_smallcaps">XMat</span>, &amp; a powerful light weight Low Rank Approximation to the Hessian LRA. These preconditioners are designed to leverage curvature information, enhancing the performance of SGD. Both of these preconditioners can be used without any adjustment to NN architecture while setting a new SOTA across many deep learning workloads.</p>
</div>
<div id="S1.p8" class="ltx_para">
<p id="S1.p8.1" class="ltx_p"><span id="S1.p8.1.1" class="ltx_text ltx_font_bold">Global Curvature Information:</span> The Affine version of PSGD as well as KFAC &amp; Shampoo type preconditioners all only take each layer’s curvature information into account independently without consideration of interaction of layers. This is clearly an oversimplification. PSGD <span id="S1.p8.1.2" class="ltx_text ltx_font_smallcaps">XMat</span> &amp; LRA are two proposed perconditoners that take into account interaction between all NN layers.</p>
</div>
<div id="S1.p9" class="ltx_para">
<p id="S1.p9.1" class="ltx_p"><span id="S1.p9.1.1" class="ltx_text ltx_font_bold">Lie Group Framework:</span> Our approach utilizes a unique Lie group framework for preconditioner fitting. This methodology simplifies the preconditioner fitting process while preserving the symmetry &amp; invariance properties, contributing to more stable &amp; efficient optimization.</p>
</div>
<div id="S1.p10" class="ltx_para">
<p id="S1.p10.1" class="ltx_p"><span id="S1.p10.1.1" class="ltx_text ltx_font_bold">PSGD finds Flat Solutions Fast:</span> In Section <a href="#S5.SS1" title="5.1 Performance Study with Toy Examples ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5.1</span></a> we present toy experiments showing PSGD is the only optimizer achieving <span id="S1.p10.1.2" class="ltx_text ltx_font_italic">quadratic convergence</span> on the Rosenbrock objective minimization as well as showing clear evidence that PSGD finds flatter solutions while outperforming both standard &amp; sharpness aware optimization methods. There exists empirical evidence that width of a local optimum is related to generalization <cite class="ltx_cite ltx_citemacro_citep">[Keskar et al., <a href="#bib.bib19" title="" class="ltx_ref">2016</a>, Izmailov et al., <a href="#bib.bib17" title="" class="ltx_ref">2018</a>, Chaudhari et al., <a href="#bib.bib7" title="" class="ltx_ref">2019</a>]</cite>.</p>
</div>
<div id="S1.p11" class="ltx_para">
<p id="S1.p11.1" class="ltx_p"><span id="S1.p11.1.1" class="ltx_text ltx_font_bold">Empirical Validation:</span> In Section <a href="#S5.SS2" title="5.2 CIFAR-10 and Friends on ResNet18 ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5.2</span></a>-<a href="#S5.SS4" title="5.4 Reinforcement Learning ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5.4</span></a> we present extensive empirical evidence of PSGD setting a new SoTA across vision, natural language processing (NLP), &amp; reinforcement learning (RL) tasks, &amp; establishes new SoTA for many networks &amp; settings, <span id="S1.p11.1.2" class="ltx_text ltx_font_italic">e.g.</span> ResNet, LSTMs <cite class="ltx_cite ltx_citemacro_citep">[Hochreiter and Schmidhuber, <a href="#bib.bib14" title="" class="ltx_ref">1997</a>]</cite> &amp; GPT-2 <cite class="ltx_cite ltx_citemacro_citep">[Radford et al., <a href="#bib.bib38" title="" class="ltx_ref">2019</a>]</cite>. We consider optimization problems involving MNIST <cite class="ltx_cite ltx_citemacro_citep">[LeCun and Cortes, <a href="#bib.bib24" title="" class="ltx_ref">2010</a>]</cite>, CIFAR-10 (CF10) <cite class="ltx_cite ltx_citemacro_citep">[Krizhevsky, <a href="#bib.bib21" title="" class="ltx_ref">2009</a>]</cite>, Penn Treebank <cite class="ltx_cite ltx_citemacro_citep">[Marcus et al., <a href="#bib.bib28" title="" class="ltx_ref">1993</a>]</cite>, the works of Shakespeare, the Open Web Text (OWT) dataset <cite class="ltx_cite ltx_citemacro_citep">[Gokaslan and Cohen, <a href="#bib.bib11" title="" class="ltx_ref">2019</a>]</cite>, HalfCheetah &amp; RoboWalker <cite class="ltx_cite ltx_citemacro_citep">[Brockman et al., <a href="#bib.bib5" title="" class="ltx_ref">2016</a>]</cite>. PSGD outperforms SoTA methods with negligible overhead compared to SGD on a wide range of optimization tasks.</p>
</div>
<div id="S1.p12" class="ltx_para">
<p id="S1.p12.1" class="ltx_p"><span id="S1.p12.1.1" class="ltx_text ltx_font_bold">Intuitive Experiments:</span> In Section <a href="#S6" title="6 Understanding Second Order Optimizers ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a> we provide intuition for understanding characteristics for solutions founds by PSGD. In addition to flat solutions; we observe four other properties of solutions found by PSGD. textbfUncertanty Analysis: PSGD does not overfit, converging to solutions that are less certain about predictions while outperforming other optimizers. <span id="S1.p12.1.2" class="ltx_text ltx_font_italic">Forgettability Statistics:</span> PSGD focuses on points that are important to generalization &amp; not memorization. <span id="S1.p12.1.3" class="ltx_text ltx_font_italic">Neuro-Plasticity:</span> NNs trained with PSGD are flexible; usually NNs trained with corrupt data early in training concede significant performance even if the data is corrected later in training. NNs trained with PSGD can recover this performance loss. <span id="S1.p12.1.4" class="ltx_text ltx_font_italic">Learning Long Term Dependence:</span> With this simple scenario we show PSGD is the only optimizer that solves the XOR problem, learning long term dependence without memorizing partial solutions.</p>
</div>
<div id="S1.p13" class="ltx_para">
<p id="S1.p13.1" class="ltx_p">Thus, we conclude that PSGD is unique in its ability to both improve generalization, decrease solution curvature without memorization in a data-adaptive fashion. PSGD provides practitioners with a powerful, stable, &amp; efficient optimization tool that can significantly enhance the performance of deep learning models in various domains.</p>
</div>
</section>
<section id="S2" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">2 </span>Related work &amp; background on PSGD</h2>

<section id="S2.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">2.1 </span>Notations</h3>

<div id="S2.SS1.p1" class="ltx_para">
<p id="S2.SS1.p1.8" class="ltx_p">The objective is to minimize a loss function defined as an expectation, <math id="S2.SS1.p1.1.m1.4" class="ltx_Math" alttext="{\cal{L}}(\theta)=E_{z}[\ell(\theta,z)]" display="inline"><semantics id="S2.SS1.p1.1.m1.4a"><mrow id="S2.SS1.p1.1.m1.4.4" xref="S2.SS1.p1.1.m1.4.4.cmml"><mrow id="S2.SS1.p1.1.m1.4.4.3" xref="S2.SS1.p1.1.m1.4.4.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S2.SS1.p1.1.m1.4.4.3.2" xref="S2.SS1.p1.1.m1.4.4.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="S2.SS1.p1.1.m1.4.4.3.1" xref="S2.SS1.p1.1.m1.4.4.3.1.cmml">​</mo><mrow id="S2.SS1.p1.1.m1.4.4.3.3.2" xref="S2.SS1.p1.1.m1.4.4.3.cmml"><mo stretchy="false" id="S2.SS1.p1.1.m1.4.4.3.3.2.1" xref="S2.SS1.p1.1.m1.4.4.3.cmml">(</mo><mi id="S2.SS1.p1.1.m1.1.1" xref="S2.SS1.p1.1.m1.1.1.cmml">θ</mi><mo stretchy="false" id="S2.SS1.p1.1.m1.4.4.3.3.2.2" xref="S2.SS1.p1.1.m1.4.4.3.cmml">)</mo></mrow></mrow><mo id="S2.SS1.p1.1.m1.4.4.2" xref="S2.SS1.p1.1.m1.4.4.2.cmml">=</mo><mrow id="S2.SS1.p1.1.m1.4.4.1" xref="S2.SS1.p1.1.m1.4.4.1.cmml"><msub id="S2.SS1.p1.1.m1.4.4.1.3" xref="S2.SS1.p1.1.m1.4.4.1.3.cmml"><mi id="S2.SS1.p1.1.m1.4.4.1.3.2" xref="S2.SS1.p1.1.m1.4.4.1.3.2.cmml">E</mi><mi id="S2.SS1.p1.1.m1.4.4.1.3.3" xref="S2.SS1.p1.1.m1.4.4.1.3.3.cmml">z</mi></msub><mo lspace="0em" rspace="0em" id="S2.SS1.p1.1.m1.4.4.1.2" xref="S2.SS1.p1.1.m1.4.4.1.2.cmml">​</mo><mrow id="S2.SS1.p1.1.m1.4.4.1.1.1" xref="S2.SS1.p1.1.m1.4.4.1.1.2.cmml"><mo stretchy="false" id="S2.SS1.p1.1.m1.4.4.1.1.1.2" xref="S2.SS1.p1.1.m1.4.4.1.1.2.1.cmml">[</mo><mrow id="S2.SS1.p1.1.m1.4.4.1.1.1.1" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.cmml"><mi mathvariant="normal" id="S2.SS1.p1.1.m1.4.4.1.1.1.1.2" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.2.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="S2.SS1.p1.1.m1.4.4.1.1.1.1.1" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.1.cmml">​</mo><mrow id="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.2" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.1.cmml"><mo stretchy="false" id="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.2.1" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.1.cmml">(</mo><mi id="S2.SS1.p1.1.m1.2.2" xref="S2.SS1.p1.1.m1.2.2.cmml">θ</mi><mo id="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.2.2" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.1.cmml">,</mo><mi id="S2.SS1.p1.1.m1.3.3" xref="S2.SS1.p1.1.m1.3.3.cmml">z</mi><mo stretchy="false" id="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.2.3" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.SS1.p1.1.m1.4.4.1.1.1.3" xref="S2.SS1.p1.1.m1.4.4.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.1.m1.4b"><apply id="S2.SS1.p1.1.m1.4.4.cmml" xref="S2.SS1.p1.1.m1.4.4"><eq id="S2.SS1.p1.1.m1.4.4.2.cmml" xref="S2.SS1.p1.1.m1.4.4.2"></eq><apply id="S2.SS1.p1.1.m1.4.4.3.cmml" xref="S2.SS1.p1.1.m1.4.4.3"><times id="S2.SS1.p1.1.m1.4.4.3.1.cmml" xref="S2.SS1.p1.1.m1.4.4.3.1"></times><ci id="S2.SS1.p1.1.m1.4.4.3.2.cmml" xref="S2.SS1.p1.1.m1.4.4.3.2">ℒ</ci><ci id="S2.SS1.p1.1.m1.1.1.cmml" xref="S2.SS1.p1.1.m1.1.1">𝜃</ci></apply><apply id="S2.SS1.p1.1.m1.4.4.1.cmml" xref="S2.SS1.p1.1.m1.4.4.1"><times id="S2.SS1.p1.1.m1.4.4.1.2.cmml" xref="S2.SS1.p1.1.m1.4.4.1.2"></times><apply id="S2.SS1.p1.1.m1.4.4.1.3.cmml" xref="S2.SS1.p1.1.m1.4.4.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.1.m1.4.4.1.3.1.cmml" xref="S2.SS1.p1.1.m1.4.4.1.3">subscript</csymbol><ci id="S2.SS1.p1.1.m1.4.4.1.3.2.cmml" xref="S2.SS1.p1.1.m1.4.4.1.3.2">𝐸</ci><ci id="S2.SS1.p1.1.m1.4.4.1.3.3.cmml" xref="S2.SS1.p1.1.m1.4.4.1.3.3">𝑧</ci></apply><apply id="S2.SS1.p1.1.m1.4.4.1.1.2.cmml" xref="S2.SS1.p1.1.m1.4.4.1.1.1"><csymbol cd="latexml" id="S2.SS1.p1.1.m1.4.4.1.1.2.1.cmml" xref="S2.SS1.p1.1.m1.4.4.1.1.1.2">delimited-[]</csymbol><apply id="S2.SS1.p1.1.m1.4.4.1.1.1.1.cmml" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1"><times id="S2.SS1.p1.1.m1.4.4.1.1.1.1.1.cmml" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.1"></times><ci id="S2.SS1.p1.1.m1.4.4.1.1.1.1.2.cmml" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.2">ℓ</ci><interval closure="open" id="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.1.cmml" xref="S2.SS1.p1.1.m1.4.4.1.1.1.1.3.2"><ci id="S2.SS1.p1.1.m1.2.2.cmml" xref="S2.SS1.p1.1.m1.2.2">𝜃</ci><ci id="S2.SS1.p1.1.m1.3.3.cmml" xref="S2.SS1.p1.1.m1.3.3">𝑧</ci></interval></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.1.m1.4c">{\cal{L}}(\theta)=E_{z}[\ell(\theta,z)]</annotation></semantics></math>, where <math id="S2.SS1.p1.2.m2.1" class="ltx_Math" alttext="\theta\in\mathbb{R}^{n}" display="inline"><semantics id="S2.SS1.p1.2.m2.1a"><mrow id="S2.SS1.p1.2.m2.1.1" xref="S2.SS1.p1.2.m2.1.1.cmml"><mi id="S2.SS1.p1.2.m2.1.1.2" xref="S2.SS1.p1.2.m2.1.1.2.cmml">θ</mi><mo id="S2.SS1.p1.2.m2.1.1.1" xref="S2.SS1.p1.2.m2.1.1.1.cmml">∈</mo><msup id="S2.SS1.p1.2.m2.1.1.3" xref="S2.SS1.p1.2.m2.1.1.3.cmml"><mi id="S2.SS1.p1.2.m2.1.1.3.2" xref="S2.SS1.p1.2.m2.1.1.3.2.cmml">ℝ</mi><mi id="S2.SS1.p1.2.m2.1.1.3.3" xref="S2.SS1.p1.2.m2.1.1.3.3.cmml">n</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.2.m2.1b"><apply id="S2.SS1.p1.2.m2.1.1.cmml" xref="S2.SS1.p1.2.m2.1.1"><in id="S2.SS1.p1.2.m2.1.1.1.cmml" xref="S2.SS1.p1.2.m2.1.1.1"></in><ci id="S2.SS1.p1.2.m2.1.1.2.cmml" xref="S2.SS1.p1.2.m2.1.1.2">𝜃</ci><apply id="S2.SS1.p1.2.m2.1.1.3.cmml" xref="S2.SS1.p1.2.m2.1.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.2.m2.1.1.3.1.cmml" xref="S2.SS1.p1.2.m2.1.1.3">superscript</csymbol><ci id="S2.SS1.p1.2.m2.1.1.3.2.cmml" xref="S2.SS1.p1.2.m2.1.1.3.2">ℝ</ci><ci id="S2.SS1.p1.2.m2.1.1.3.3.cmml" xref="S2.SS1.p1.2.m2.1.1.3.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.2.m2.1c">\theta\in\mathbb{R}^{n}</annotation></semantics></math> is the parameter vector to be optimized &amp; <math id="S2.SS1.p1.3.m3.1" class="ltx_Math" alttext="z" display="inline"><semantics id="S2.SS1.p1.3.m3.1a"><mi id="S2.SS1.p1.3.m3.1.1" xref="S2.SS1.p1.3.m3.1.1.cmml">z</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.3.m3.1b"><ci id="S2.SS1.p1.3.m3.1.1.cmml" xref="S2.SS1.p1.3.m3.1.1">𝑧</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.3.m3.1c">z</annotation></semantics></math> is a random vector that can be sampled to evaluate the loss <math id="S2.SS1.p1.4.m4.2" class="ltx_Math" alttext="\ell(\theta,z)" display="inline"><semantics id="S2.SS1.p1.4.m4.2a"><mrow id="S2.SS1.p1.4.m4.2.3" xref="S2.SS1.p1.4.m4.2.3.cmml"><mi mathvariant="normal" id="S2.SS1.p1.4.m4.2.3.2" xref="S2.SS1.p1.4.m4.2.3.2.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="S2.SS1.p1.4.m4.2.3.1" xref="S2.SS1.p1.4.m4.2.3.1.cmml">​</mo><mrow id="S2.SS1.p1.4.m4.2.3.3.2" xref="S2.SS1.p1.4.m4.2.3.3.1.cmml"><mo stretchy="false" id="S2.SS1.p1.4.m4.2.3.3.2.1" xref="S2.SS1.p1.4.m4.2.3.3.1.cmml">(</mo><mi id="S2.SS1.p1.4.m4.1.1" xref="S2.SS1.p1.4.m4.1.1.cmml">θ</mi><mo id="S2.SS1.p1.4.m4.2.3.3.2.2" xref="S2.SS1.p1.4.m4.2.3.3.1.cmml">,</mo><mi id="S2.SS1.p1.4.m4.2.2" xref="S2.SS1.p1.4.m4.2.2.cmml">z</mi><mo stretchy="false" id="S2.SS1.p1.4.m4.2.3.3.2.3" xref="S2.SS1.p1.4.m4.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.4.m4.2b"><apply id="S2.SS1.p1.4.m4.2.3.cmml" xref="S2.SS1.p1.4.m4.2.3"><times id="S2.SS1.p1.4.m4.2.3.1.cmml" xref="S2.SS1.p1.4.m4.2.3.1"></times><ci id="S2.SS1.p1.4.m4.2.3.2.cmml" xref="S2.SS1.p1.4.m4.2.3.2">ℓ</ci><interval closure="open" id="S2.SS1.p1.4.m4.2.3.3.1.cmml" xref="S2.SS1.p1.4.m4.2.3.3.2"><ci id="S2.SS1.p1.4.m4.1.1.cmml" xref="S2.SS1.p1.4.m4.1.1">𝜃</ci><ci id="S2.SS1.p1.4.m4.2.2.cmml" xref="S2.SS1.p1.4.m4.2.2">𝑧</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.4.m4.2c">\ell(\theta,z)</annotation></semantics></math>. We assume that the considered problem is second-order differentiable. To simplify the notation, we use <math id="S2.SS1.p1.5.m5.1" class="ltx_Math" alttext="{\cal{\hat{L}}}(\theta)" display="inline"><semantics id="S2.SS1.p1.5.m5.1a"><mrow id="S2.SS1.p1.5.m5.1.2" xref="S2.SS1.p1.5.m5.1.2.cmml"><mover accent="true" id="S2.SS1.p1.5.m5.1.2.2" xref="S2.SS1.p1.5.m5.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S2.SS1.p1.5.m5.1.2.2.2" xref="S2.SS1.p1.5.m5.1.2.2.2.cmml">ℒ</mi><mo id="S2.SS1.p1.5.m5.1.2.2.1" xref="S2.SS1.p1.5.m5.1.2.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.SS1.p1.5.m5.1.2.1" xref="S2.SS1.p1.5.m5.1.2.1.cmml">​</mo><mrow id="S2.SS1.p1.5.m5.1.2.3.2" xref="S2.SS1.p1.5.m5.1.2.cmml"><mo stretchy="false" id="S2.SS1.p1.5.m5.1.2.3.2.1" xref="S2.SS1.p1.5.m5.1.2.cmml">(</mo><mi id="S2.SS1.p1.5.m5.1.1" xref="S2.SS1.p1.5.m5.1.1.cmml">θ</mi><mo stretchy="false" id="S2.SS1.p1.5.m5.1.2.3.2.2" xref="S2.SS1.p1.5.m5.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.5.m5.1b"><apply id="S2.SS1.p1.5.m5.1.2.cmml" xref="S2.SS1.p1.5.m5.1.2"><times id="S2.SS1.p1.5.m5.1.2.1.cmml" xref="S2.SS1.p1.5.m5.1.2.1"></times><apply id="S2.SS1.p1.5.m5.1.2.2.cmml" xref="S2.SS1.p1.5.m5.1.2.2"><ci id="S2.SS1.p1.5.m5.1.2.2.1.cmml" xref="S2.SS1.p1.5.m5.1.2.2.1">^</ci><ci id="S2.SS1.p1.5.m5.1.2.2.2.cmml" xref="S2.SS1.p1.5.m5.1.2.2.2">ℒ</ci></apply><ci id="S2.SS1.p1.5.m5.1.1.cmml" xref="S2.SS1.p1.5.m5.1.1">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.5.m5.1c">{\cal{\hat{L}}}(\theta)</annotation></semantics></math> to denote a sampled noisy evaluation of <math id="S2.SS1.p1.6.m6.1" class="ltx_Math" alttext="{\cal{L}}(\theta)" display="inline"><semantics id="S2.SS1.p1.6.m6.1a"><mrow id="S2.SS1.p1.6.m6.1.2" xref="S2.SS1.p1.6.m6.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S2.SS1.p1.6.m6.1.2.2" xref="S2.SS1.p1.6.m6.1.2.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="S2.SS1.p1.6.m6.1.2.1" xref="S2.SS1.p1.6.m6.1.2.1.cmml">​</mo><mrow id="S2.SS1.p1.6.m6.1.2.3.2" xref="S2.SS1.p1.6.m6.1.2.cmml"><mo stretchy="false" id="S2.SS1.p1.6.m6.1.2.3.2.1" xref="S2.SS1.p1.6.m6.1.2.cmml">(</mo><mi id="S2.SS1.p1.6.m6.1.1" xref="S2.SS1.p1.6.m6.1.1.cmml">θ</mi><mo stretchy="false" id="S2.SS1.p1.6.m6.1.2.3.2.2" xref="S2.SS1.p1.6.m6.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.6.m6.1b"><apply id="S2.SS1.p1.6.m6.1.2.cmml" xref="S2.SS1.p1.6.m6.1.2"><times id="S2.SS1.p1.6.m6.1.2.1.cmml" xref="S2.SS1.p1.6.m6.1.2.1"></times><ci id="S2.SS1.p1.6.m6.1.2.2.cmml" xref="S2.SS1.p1.6.m6.1.2.2">ℒ</ci><ci id="S2.SS1.p1.6.m6.1.1.cmml" xref="S2.SS1.p1.6.m6.1.1">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.6.m6.1c">{\cal{L}}(\theta)</annotation></semantics></math>.
A step of <span id="S2.SS1.p1.8.1" class="ltx_text ltx_font_smallcaps">SGD</span> with learning rate <math id="S2.SS1.p1.7.m7.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S2.SS1.p1.7.m7.1a"><mi id="S2.SS1.p1.7.m7.1.1" xref="S2.SS1.p1.7.m7.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.7.m7.1b"><ci id="S2.SS1.p1.7.m7.1.1.cmml" xref="S2.SS1.p1.7.m7.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.7.m7.1c">\mu</annotation></semantics></math> &amp; an optional positive definite preconditioner <math id="S2.SS1.p1.8.m8.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S2.SS1.p1.8.m8.1a"><mi id="S2.SS1.p1.8.m8.1.1" xref="S2.SS1.p1.8.m8.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.8.m8.1b"><ci id="S2.SS1.p1.8.m8.1.1.cmml" xref="S2.SS1.p1.8.m8.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.8.m8.1c">P</annotation></semantics></math> is:</p>
<table id="S2.E1" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S2.E1.m1.3" class="ltx_Math" alttext="\theta_{i+1}=\theta_{i}-\mu P\,{\partial{\cal{\hat{L}}}(\theta)}/{\partial\theta}\left.\right|_{\theta=\theta_{i}}" display="block"><semantics id="S2.E1.m1.3a"><mrow id="S2.E1.m1.3.3" xref="S2.E1.m1.3.3.cmml"><msub id="S2.E1.m1.3.3.3" xref="S2.E1.m1.3.3.3.cmml"><mi id="S2.E1.m1.3.3.3.2" xref="S2.E1.m1.3.3.3.2.cmml">θ</mi><mrow id="S2.E1.m1.3.3.3.3" xref="S2.E1.m1.3.3.3.3.cmml"><mi id="S2.E1.m1.3.3.3.3.2" xref="S2.E1.m1.3.3.3.3.2.cmml">i</mi><mo id="S2.E1.m1.3.3.3.3.1" xref="S2.E1.m1.3.3.3.3.1.cmml">+</mo><mn id="S2.E1.m1.3.3.3.3.3" xref="S2.E1.m1.3.3.3.3.3.cmml">1</mn></mrow></msub><mo id="S2.E1.m1.3.3.2" xref="S2.E1.m1.3.3.2.cmml">=</mo><mrow id="S2.E1.m1.3.3.1" xref="S2.E1.m1.3.3.1.cmml"><msub id="S2.E1.m1.3.3.1.3" xref="S2.E1.m1.3.3.1.3.cmml"><mi id="S2.E1.m1.3.3.1.3.2" xref="S2.E1.m1.3.3.1.3.2.cmml">θ</mi><mi id="S2.E1.m1.3.3.1.3.3" xref="S2.E1.m1.3.3.1.3.3.cmml">i</mi></msub><mo id="S2.E1.m1.3.3.1.2" xref="S2.E1.m1.3.3.1.2.cmml">−</mo><msub id="S2.E1.m1.3.3.1.1.1" xref="S2.E1.m1.3.3.1.1.2.cmml"><mrow id="S2.E1.m1.3.3.1.1.1.1" xref="S2.E1.m1.3.3.1.1.2.cmml"><mrow id="S2.E1.m1.3.3.1.1.1.1.1" xref="S2.E1.m1.3.3.1.1.1.1.1.cmml"><mi id="S2.E1.m1.3.3.1.1.1.1.1.2" xref="S2.E1.m1.3.3.1.1.1.1.1.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S2.E1.m1.3.3.1.1.1.1.1.1" xref="S2.E1.m1.3.3.1.1.1.1.1.1.cmml">​</mo><mi id="S2.E1.m1.3.3.1.1.1.1.1.3" xref="S2.E1.m1.3.3.1.1.1.1.1.3.cmml">P</mi><mo lspace="0.170em" rspace="0em" id="S2.E1.m1.3.3.1.1.1.1.1.1a" xref="S2.E1.m1.3.3.1.1.1.1.1.1.cmml">​</mo><mrow id="S2.E1.m1.3.3.1.1.1.1.1.4" xref="S2.E1.m1.3.3.1.1.1.1.1.4.cmml"><mo rspace="0em" id="S2.E1.m1.3.3.1.1.1.1.1.4.1" xref="S2.E1.m1.3.3.1.1.1.1.1.4.1.cmml">∂</mo><mrow id="S2.E1.m1.3.3.1.1.1.1.1.4.2" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.cmml"><mrow id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.cmml"><mover accent="true" id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.2" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.2.cmml">ℒ</mi><mo id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.1" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.1" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.1.cmml">​</mo><mrow id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.3.2" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.cmml"><mo stretchy="false" id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.3.2.1" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.cmml">(</mo><mi id="S2.E1.m1.1.1" xref="S2.E1.m1.1.1.cmml">θ</mi><mo stretchy="false" id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.3.2.2" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.cmml">)</mo></mrow></mrow><mo id="S2.E1.m1.3.3.1.1.1.1.1.4.2.1" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.1.cmml">/</mo><mrow id="S2.E1.m1.3.3.1.1.1.1.1.4.2.3" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.cmml"><mo lspace="0em" rspace="0em" id="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.1" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.1.cmml">∂</mo><mi id="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.2" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.2.cmml">θ</mi></mrow></mrow></mrow></mrow><mo id="S2.E1.m1.3.3.1.1.1.1.2" xref="S2.E1.m1.3.3.1.1.2.1.cmml">|</mo></mrow><mrow id="S2.E1.m1.2.2.1" xref="S2.E1.m1.2.2.1.cmml"><mi id="S2.E1.m1.2.2.1.2" xref="S2.E1.m1.2.2.1.2.cmml">θ</mi><mo id="S2.E1.m1.2.2.1.1" xref="S2.E1.m1.2.2.1.1.cmml">=</mo><msub id="S2.E1.m1.2.2.1.3" xref="S2.E1.m1.2.2.1.3.cmml"><mi id="S2.E1.m1.2.2.1.3.2" xref="S2.E1.m1.2.2.1.3.2.cmml">θ</mi><mi id="S2.E1.m1.2.2.1.3.3" xref="S2.E1.m1.2.2.1.3.3.cmml">i</mi></msub></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.E1.m1.3b"><apply id="S2.E1.m1.3.3.cmml" xref="S2.E1.m1.3.3"><eq id="S2.E1.m1.3.3.2.cmml" xref="S2.E1.m1.3.3.2"></eq><apply id="S2.E1.m1.3.3.3.cmml" xref="S2.E1.m1.3.3.3"><csymbol cd="ambiguous" id="S2.E1.m1.3.3.3.1.cmml" xref="S2.E1.m1.3.3.3">subscript</csymbol><ci id="S2.E1.m1.3.3.3.2.cmml" xref="S2.E1.m1.3.3.3.2">𝜃</ci><apply id="S2.E1.m1.3.3.3.3.cmml" xref="S2.E1.m1.3.3.3.3"><plus id="S2.E1.m1.3.3.3.3.1.cmml" xref="S2.E1.m1.3.3.3.3.1"></plus><ci id="S2.E1.m1.3.3.3.3.2.cmml" xref="S2.E1.m1.3.3.3.3.2">𝑖</ci><cn type="integer" id="S2.E1.m1.3.3.3.3.3.cmml" xref="S2.E1.m1.3.3.3.3.3">1</cn></apply></apply><apply id="S2.E1.m1.3.3.1.cmml" xref="S2.E1.m1.3.3.1"><minus id="S2.E1.m1.3.3.1.2.cmml" xref="S2.E1.m1.3.3.1.2"></minus><apply id="S2.E1.m1.3.3.1.3.cmml" xref="S2.E1.m1.3.3.1.3"><csymbol cd="ambiguous" id="S2.E1.m1.3.3.1.3.1.cmml" xref="S2.E1.m1.3.3.1.3">subscript</csymbol><ci id="S2.E1.m1.3.3.1.3.2.cmml" xref="S2.E1.m1.3.3.1.3.2">𝜃</ci><ci id="S2.E1.m1.3.3.1.3.3.cmml" xref="S2.E1.m1.3.3.1.3.3">𝑖</ci></apply><apply id="S2.E1.m1.3.3.1.1.2.cmml" xref="S2.E1.m1.3.3.1.1.1"><csymbol cd="latexml" id="S2.E1.m1.3.3.1.1.2.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.2">evaluated-at</csymbol><apply id="S2.E1.m1.3.3.1.1.1.1.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1"><times id="S2.E1.m1.3.3.1.1.1.1.1.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.1"></times><ci id="S2.E1.m1.3.3.1.1.1.1.1.2.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.2">𝜇</ci><ci id="S2.E1.m1.3.3.1.1.1.1.1.3.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.3">𝑃</ci><apply id="S2.E1.m1.3.3.1.1.1.1.1.4.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4"><partialdiff id="S2.E1.m1.3.3.1.1.1.1.1.4.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.1"></partialdiff><apply id="S2.E1.m1.3.3.1.1.1.1.1.4.2.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2"><divide id="S2.E1.m1.3.3.1.1.1.1.1.4.2.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.1"></divide><apply id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2"><times id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.1"></times><apply id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2"><ci id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.1">^</ci><ci id="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.2.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.2.2.2">ℒ</ci></apply><ci id="S2.E1.m1.1.1.cmml" xref="S2.E1.m1.1.1">𝜃</ci></apply><apply id="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.3"><partialdiff id="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.1.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.1"></partialdiff><ci id="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.2.cmml" xref="S2.E1.m1.3.3.1.1.1.1.1.4.2.3.2">𝜃</ci></apply></apply></apply></apply><apply id="S2.E1.m1.2.2.1.cmml" xref="S2.E1.m1.2.2.1"><eq id="S2.E1.m1.2.2.1.1.cmml" xref="S2.E1.m1.2.2.1.1"></eq><ci id="S2.E1.m1.2.2.1.2.cmml" xref="S2.E1.m1.2.2.1.2">𝜃</ci><apply id="S2.E1.m1.2.2.1.3.cmml" xref="S2.E1.m1.2.2.1.3"><csymbol cd="ambiguous" id="S2.E1.m1.2.2.1.3.1.cmml" xref="S2.E1.m1.2.2.1.3">subscript</csymbol><ci id="S2.E1.m1.2.2.1.3.2.cmml" xref="S2.E1.m1.2.2.1.3.2">𝜃</ci><ci id="S2.E1.m1.2.2.1.3.3.cmml" xref="S2.E1.m1.2.2.1.3.3">𝑖</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.E1.m1.3c">\theta_{i+1}=\theta_{i}-\mu P\,{\partial{\cal{\hat{L}}}(\theta)}/{\partial\theta}\left.\right|_{\theta=\theta_{i}}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(1)</span></td>
</tr></tbody>
</table>
<p id="S2.SS1.p1.12" class="ltx_p">where <math id="S2.SS1.p1.9.m1.1" class="ltx_Math" alttext="i" display="inline"><semantics id="S2.SS1.p1.9.m1.1a"><mi id="S2.SS1.p1.9.m1.1.1" xref="S2.SS1.p1.9.m1.1.1.cmml">i</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.9.m1.1b"><ci id="S2.SS1.p1.9.m1.1.1.cmml" xref="S2.SS1.p1.9.m1.1.1">𝑖</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.9.m1.1c">i</annotation></semantics></math> is the iteration index, <math id="S2.SS1.p1.10.m2.1" class="ltx_Math" alttext="\mu&gt;0" display="inline"><semantics id="S2.SS1.p1.10.m2.1a"><mrow id="S2.SS1.p1.10.m2.1.1" xref="S2.SS1.p1.10.m2.1.1.cmml"><mi id="S2.SS1.p1.10.m2.1.1.2" xref="S2.SS1.p1.10.m2.1.1.2.cmml">μ</mi><mo id="S2.SS1.p1.10.m2.1.1.1" xref="S2.SS1.p1.10.m2.1.1.1.cmml">&gt;</mo><mn id="S2.SS1.p1.10.m2.1.1.3" xref="S2.SS1.p1.10.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.10.m2.1b"><apply id="S2.SS1.p1.10.m2.1.1.cmml" xref="S2.SS1.p1.10.m2.1.1"><gt id="S2.SS1.p1.10.m2.1.1.1.cmml" xref="S2.SS1.p1.10.m2.1.1.1"></gt><ci id="S2.SS1.p1.10.m2.1.1.2.cmml" xref="S2.SS1.p1.10.m2.1.1.2">𝜇</ci><cn type="integer" id="S2.SS1.p1.10.m2.1.1.3.cmml" xref="S2.SS1.p1.10.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.10.m2.1c">\mu&gt;0</annotation></semantics></math> is the learning rate, &amp; <math id="S2.SS1.p1.11.m3.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S2.SS1.p1.11.m3.1a"><mi id="S2.SS1.p1.11.m3.1.1" xref="S2.SS1.p1.11.m3.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.11.m3.1b"><ci id="S2.SS1.p1.11.m3.1.1.cmml" xref="S2.SS1.p1.11.m3.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.11.m3.1c">P</annotation></semantics></math> typically is a variable or adaptive preconditioner.
Once the solution enters a basin of attraction centered at a local minimum <math id="S2.SS1.p1.12.m4.1" class="ltx_Math" alttext="\theta^{*}" display="inline"><semantics id="S2.SS1.p1.12.m4.1a"><msup id="S2.SS1.p1.12.m4.1.1" xref="S2.SS1.p1.12.m4.1.1.cmml"><mi id="S2.SS1.p1.12.m4.1.1.2" xref="S2.SS1.p1.12.m4.1.1.2.cmml">θ</mi><mo id="S2.SS1.p1.12.m4.1.1.3" xref="S2.SS1.p1.12.m4.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.12.m4.1b"><apply id="S2.SS1.p1.12.m4.1.1.cmml" xref="S2.SS1.p1.12.m4.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.12.m4.1.1.1.cmml" xref="S2.SS1.p1.12.m4.1.1">superscript</csymbol><ci id="S2.SS1.p1.12.m4.1.1.2.cmml" xref="S2.SS1.p1.12.m4.1.1.2">𝜃</ci><times id="S2.SS1.p1.12.m4.1.1.3.cmml" xref="S2.SS1.p1.12.m4.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.12.m4.1c">\theta^{*}</annotation></semantics></math>, we approximate the iteration step in Eq <a href="#S2.E1" title="Equation 1 ‣ 2.1 Notations ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> as:</p>
<table id="S2.E2" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S2.E2.m1.2" class="ltx_Math" alttext="\theta_{i+1}-\theta^{*}\approx(I-\mu P\hat{H})(\theta_{i}-\theta^{*})" display="block"><semantics id="S2.E2.m1.2a"><mrow id="S2.E2.m1.2.2" xref="S2.E2.m1.2.2.cmml"><mrow id="S2.E2.m1.2.2.4" xref="S2.E2.m1.2.2.4.cmml"><msub id="S2.E2.m1.2.2.4.2" xref="S2.E2.m1.2.2.4.2.cmml"><mi id="S2.E2.m1.2.2.4.2.2" xref="S2.E2.m1.2.2.4.2.2.cmml">θ</mi><mrow id="S2.E2.m1.2.2.4.2.3" xref="S2.E2.m1.2.2.4.2.3.cmml"><mi id="S2.E2.m1.2.2.4.2.3.2" xref="S2.E2.m1.2.2.4.2.3.2.cmml">i</mi><mo id="S2.E2.m1.2.2.4.2.3.1" xref="S2.E2.m1.2.2.4.2.3.1.cmml">+</mo><mn id="S2.E2.m1.2.2.4.2.3.3" xref="S2.E2.m1.2.2.4.2.3.3.cmml">1</mn></mrow></msub><mo id="S2.E2.m1.2.2.4.1" xref="S2.E2.m1.2.2.4.1.cmml">−</mo><msup id="S2.E2.m1.2.2.4.3" xref="S2.E2.m1.2.2.4.3.cmml"><mi id="S2.E2.m1.2.2.4.3.2" xref="S2.E2.m1.2.2.4.3.2.cmml">θ</mi><mo id="S2.E2.m1.2.2.4.3.3" xref="S2.E2.m1.2.2.4.3.3.cmml">∗</mo></msup></mrow><mo id="S2.E2.m1.2.2.3" xref="S2.E2.m1.2.2.3.cmml">≈</mo><mrow id="S2.E2.m1.2.2.2" xref="S2.E2.m1.2.2.2.cmml"><mrow id="S2.E2.m1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.E2.m1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.E2.m1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.2" xref="S2.E2.m1.1.1.1.1.1.1.2.cmml">I</mi><mo id="S2.E2.m1.1.1.1.1.1.1.1" xref="S2.E2.m1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="S2.E2.m1.1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.1.3.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.3.2" xref="S2.E2.m1.1.1.1.1.1.1.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S2.E2.m1.1.1.1.1.1.1.3.1" xref="S2.E2.m1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="S2.E2.m1.1.1.1.1.1.1.3.3" xref="S2.E2.m1.1.1.1.1.1.1.3.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="S2.E2.m1.1.1.1.1.1.1.3.1a" xref="S2.E2.m1.1.1.1.1.1.1.3.1.cmml">​</mo><mover accent="true" id="S2.E2.m1.1.1.1.1.1.1.3.4" xref="S2.E2.m1.1.1.1.1.1.1.3.4.cmml"><mi id="S2.E2.m1.1.1.1.1.1.1.3.4.2" xref="S2.E2.m1.1.1.1.1.1.1.3.4.2.cmml">H</mi><mo id="S2.E2.m1.1.1.1.1.1.1.3.4.1" xref="S2.E2.m1.1.1.1.1.1.1.3.4.1.cmml">^</mo></mover></mrow></mrow><mo stretchy="false" id="S2.E2.m1.1.1.1.1.1.3" xref="S2.E2.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S2.E2.m1.2.2.2.3" xref="S2.E2.m1.2.2.2.3.cmml">​</mo><mrow id="S2.E2.m1.2.2.2.2.1" xref="S2.E2.m1.2.2.2.2.1.1.cmml"><mo stretchy="false" id="S2.E2.m1.2.2.2.2.1.2" xref="S2.E2.m1.2.2.2.2.1.1.cmml">(</mo><mrow id="S2.E2.m1.2.2.2.2.1.1" xref="S2.E2.m1.2.2.2.2.1.1.cmml"><msub id="S2.E2.m1.2.2.2.2.1.1.2" xref="S2.E2.m1.2.2.2.2.1.1.2.cmml"><mi id="S2.E2.m1.2.2.2.2.1.1.2.2" xref="S2.E2.m1.2.2.2.2.1.1.2.2.cmml">θ</mi><mi id="S2.E2.m1.2.2.2.2.1.1.2.3" xref="S2.E2.m1.2.2.2.2.1.1.2.3.cmml">i</mi></msub><mo id="S2.E2.m1.2.2.2.2.1.1.1" xref="S2.E2.m1.2.2.2.2.1.1.1.cmml">−</mo><msup id="S2.E2.m1.2.2.2.2.1.1.3" xref="S2.E2.m1.2.2.2.2.1.1.3.cmml"><mi id="S2.E2.m1.2.2.2.2.1.1.3.2" xref="S2.E2.m1.2.2.2.2.1.1.3.2.cmml">θ</mi><mo id="S2.E2.m1.2.2.2.2.1.1.3.3" xref="S2.E2.m1.2.2.2.2.1.1.3.3.cmml">∗</mo></msup></mrow><mo stretchy="false" id="S2.E2.m1.2.2.2.2.1.3" xref="S2.E2.m1.2.2.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.E2.m1.2b"><apply id="S2.E2.m1.2.2.cmml" xref="S2.E2.m1.2.2"><approx id="S2.E2.m1.2.2.3.cmml" xref="S2.E2.m1.2.2.3"></approx><apply id="S2.E2.m1.2.2.4.cmml" xref="S2.E2.m1.2.2.4"><minus id="S2.E2.m1.2.2.4.1.cmml" xref="S2.E2.m1.2.2.4.1"></minus><apply id="S2.E2.m1.2.2.4.2.cmml" xref="S2.E2.m1.2.2.4.2"><csymbol cd="ambiguous" id="S2.E2.m1.2.2.4.2.1.cmml" xref="S2.E2.m1.2.2.4.2">subscript</csymbol><ci id="S2.E2.m1.2.2.4.2.2.cmml" xref="S2.E2.m1.2.2.4.2.2">𝜃</ci><apply id="S2.E2.m1.2.2.4.2.3.cmml" xref="S2.E2.m1.2.2.4.2.3"><plus id="S2.E2.m1.2.2.4.2.3.1.cmml" xref="S2.E2.m1.2.2.4.2.3.1"></plus><ci id="S2.E2.m1.2.2.4.2.3.2.cmml" xref="S2.E2.m1.2.2.4.2.3.2">𝑖</ci><cn type="integer" id="S2.E2.m1.2.2.4.2.3.3.cmml" xref="S2.E2.m1.2.2.4.2.3.3">1</cn></apply></apply><apply id="S2.E2.m1.2.2.4.3.cmml" xref="S2.E2.m1.2.2.4.3"><csymbol cd="ambiguous" id="S2.E2.m1.2.2.4.3.1.cmml" xref="S2.E2.m1.2.2.4.3">superscript</csymbol><ci id="S2.E2.m1.2.2.4.3.2.cmml" xref="S2.E2.m1.2.2.4.3.2">𝜃</ci><times id="S2.E2.m1.2.2.4.3.3.cmml" xref="S2.E2.m1.2.2.4.3.3"></times></apply></apply><apply id="S2.E2.m1.2.2.2.cmml" xref="S2.E2.m1.2.2.2"><times id="S2.E2.m1.2.2.2.3.cmml" xref="S2.E2.m1.2.2.2.3"></times><apply id="S2.E2.m1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1"><minus id="S2.E2.m1.1.1.1.1.1.1.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.1"></minus><ci id="S2.E2.m1.1.1.1.1.1.1.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.2">𝐼</ci><apply id="S2.E2.m1.1.1.1.1.1.1.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.3"><times id="S2.E2.m1.1.1.1.1.1.1.3.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.3.1"></times><ci id="S2.E2.m1.1.1.1.1.1.1.3.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.3.2">𝜇</ci><ci id="S2.E2.m1.1.1.1.1.1.1.3.3.cmml" xref="S2.E2.m1.1.1.1.1.1.1.3.3">𝑃</ci><apply id="S2.E2.m1.1.1.1.1.1.1.3.4.cmml" xref="S2.E2.m1.1.1.1.1.1.1.3.4"><ci id="S2.E2.m1.1.1.1.1.1.1.3.4.1.cmml" xref="S2.E2.m1.1.1.1.1.1.1.3.4.1">^</ci><ci id="S2.E2.m1.1.1.1.1.1.1.3.4.2.cmml" xref="S2.E2.m1.1.1.1.1.1.1.3.4.2">𝐻</ci></apply></apply></apply><apply id="S2.E2.m1.2.2.2.2.1.1.cmml" xref="S2.E2.m1.2.2.2.2.1"><minus id="S2.E2.m1.2.2.2.2.1.1.1.cmml" xref="S2.E2.m1.2.2.2.2.1.1.1"></minus><apply id="S2.E2.m1.2.2.2.2.1.1.2.cmml" xref="S2.E2.m1.2.2.2.2.1.1.2"><csymbol cd="ambiguous" id="S2.E2.m1.2.2.2.2.1.1.2.1.cmml" xref="S2.E2.m1.2.2.2.2.1.1.2">subscript</csymbol><ci id="S2.E2.m1.2.2.2.2.1.1.2.2.cmml" xref="S2.E2.m1.2.2.2.2.1.1.2.2">𝜃</ci><ci id="S2.E2.m1.2.2.2.2.1.1.2.3.cmml" xref="S2.E2.m1.2.2.2.2.1.1.2.3">𝑖</ci></apply><apply id="S2.E2.m1.2.2.2.2.1.1.3.cmml" xref="S2.E2.m1.2.2.2.2.1.1.3"><csymbol cd="ambiguous" id="S2.E2.m1.2.2.2.2.1.1.3.1.cmml" xref="S2.E2.m1.2.2.2.2.1.1.3">superscript</csymbol><ci id="S2.E2.m1.2.2.2.2.1.1.3.2.cmml" xref="S2.E2.m1.2.2.2.2.1.1.3.2">𝜃</ci><times id="S2.E2.m1.2.2.2.2.1.1.3.3.cmml" xref="S2.E2.m1.2.2.2.2.1.1.3.3"></times></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.E2.m1.2c">\theta_{i+1}-\theta^{*}\approx(I-\mu P\hat{H})(\theta_{i}-\theta^{*})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(2)</span></td>
</tr></tbody>
</table>
<p id="S2.SS1.p1.18" class="ltx_p">where <math id="S2.SS1.p1.13.m1.2" class="ltx_Math" alttext="\hat{H}=\frac{\partial^{2}{\cal{\hat{L}}}(\theta)}{\partial\theta^{T}\partial\theta}\left.\right|_{\theta=\theta^{*}}" display="inline"><semantics id="S2.SS1.p1.13.m1.2a"><mrow id="S2.SS1.p1.13.m1.2.3" xref="S2.SS1.p1.13.m1.2.3.cmml"><mover accent="true" id="S2.SS1.p1.13.m1.2.3.2" xref="S2.SS1.p1.13.m1.2.3.2.cmml"><mi id="S2.SS1.p1.13.m1.2.3.2.2" xref="S2.SS1.p1.13.m1.2.3.2.2.cmml">H</mi><mo id="S2.SS1.p1.13.m1.2.3.2.1" xref="S2.SS1.p1.13.m1.2.3.2.1.cmml">^</mo></mover><mo id="S2.SS1.p1.13.m1.2.3.1" xref="S2.SS1.p1.13.m1.2.3.1.cmml">=</mo><msub id="S2.SS1.p1.13.m1.2.3.3.2" xref="S2.SS1.p1.13.m1.2.3.3.1.cmml"><mrow id="S2.SS1.p1.13.m1.2.3.3.2.2" xref="S2.SS1.p1.13.m1.2.3.3.1.cmml"><mfrac id="S2.SS1.p1.13.m1.1.1" xref="S2.SS1.p1.13.m1.1.1.cmml"><mrow id="S2.SS1.p1.13.m1.1.1.1" xref="S2.SS1.p1.13.m1.1.1.1.cmml"><msup id="S2.SS1.p1.13.m1.1.1.1.2" xref="S2.SS1.p1.13.m1.1.1.1.2.cmml"><mo id="S2.SS1.p1.13.m1.1.1.1.2.2" xref="S2.SS1.p1.13.m1.1.1.1.2.2.cmml">∂</mo><mn id="S2.SS1.p1.13.m1.1.1.1.2.3" xref="S2.SS1.p1.13.m1.1.1.1.2.3.cmml">2</mn></msup><mrow id="S2.SS1.p1.13.m1.1.1.1.3" xref="S2.SS1.p1.13.m1.1.1.1.3.cmml"><mover accent="true" id="S2.SS1.p1.13.m1.1.1.1.3.2" xref="S2.SS1.p1.13.m1.1.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S2.SS1.p1.13.m1.1.1.1.3.2.2" xref="S2.SS1.p1.13.m1.1.1.1.3.2.2.cmml">ℒ</mi><mo id="S2.SS1.p1.13.m1.1.1.1.3.2.1" xref="S2.SS1.p1.13.m1.1.1.1.3.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.SS1.p1.13.m1.1.1.1.3.1" xref="S2.SS1.p1.13.m1.1.1.1.3.1.cmml">​</mo><mrow id="S2.SS1.p1.13.m1.1.1.1.3.3.2" xref="S2.SS1.p1.13.m1.1.1.1.3.cmml"><mo stretchy="false" id="S2.SS1.p1.13.m1.1.1.1.3.3.2.1" xref="S2.SS1.p1.13.m1.1.1.1.3.cmml">(</mo><mi id="S2.SS1.p1.13.m1.1.1.1.1" xref="S2.SS1.p1.13.m1.1.1.1.1.cmml">θ</mi><mo stretchy="false" id="S2.SS1.p1.13.m1.1.1.1.3.3.2.2" xref="S2.SS1.p1.13.m1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="S2.SS1.p1.13.m1.1.1.3" xref="S2.SS1.p1.13.m1.1.1.3.cmml"><mo rspace="0em" id="S2.SS1.p1.13.m1.1.1.3.1" xref="S2.SS1.p1.13.m1.1.1.3.1.cmml">∂</mo><mrow id="S2.SS1.p1.13.m1.1.1.3.2" xref="S2.SS1.p1.13.m1.1.1.3.2.cmml"><msup id="S2.SS1.p1.13.m1.1.1.3.2.2" xref="S2.SS1.p1.13.m1.1.1.3.2.2.cmml"><mi id="S2.SS1.p1.13.m1.1.1.3.2.2.2" xref="S2.SS1.p1.13.m1.1.1.3.2.2.2.cmml">θ</mi><mi id="S2.SS1.p1.13.m1.1.1.3.2.2.3" xref="S2.SS1.p1.13.m1.1.1.3.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S2.SS1.p1.13.m1.1.1.3.2.1" xref="S2.SS1.p1.13.m1.1.1.3.2.1.cmml">​</mo><mrow id="S2.SS1.p1.13.m1.1.1.3.2.3" xref="S2.SS1.p1.13.m1.1.1.3.2.3.cmml"><mo rspace="0em" id="S2.SS1.p1.13.m1.1.1.3.2.3.1" xref="S2.SS1.p1.13.m1.1.1.3.2.3.1.cmml">∂</mo><mi id="S2.SS1.p1.13.m1.1.1.3.2.3.2" xref="S2.SS1.p1.13.m1.1.1.3.2.3.2.cmml">θ</mi></mrow></mrow></mrow></mfrac><mo id="S2.SS1.p1.13.m1.2.3.3.2.2.1" xref="S2.SS1.p1.13.m1.2.3.3.1.1.cmml">|</mo></mrow><mrow id="S2.SS1.p1.13.m1.2.2.1" xref="S2.SS1.p1.13.m1.2.2.1.cmml"><mi id="S2.SS1.p1.13.m1.2.2.1.2" xref="S2.SS1.p1.13.m1.2.2.1.2.cmml">θ</mi><mo id="S2.SS1.p1.13.m1.2.2.1.1" xref="S2.SS1.p1.13.m1.2.2.1.1.cmml">=</mo><msup id="S2.SS1.p1.13.m1.2.2.1.3" xref="S2.SS1.p1.13.m1.2.2.1.3.cmml"><mi id="S2.SS1.p1.13.m1.2.2.1.3.2" xref="S2.SS1.p1.13.m1.2.2.1.3.2.cmml">θ</mi><mo id="S2.SS1.p1.13.m1.2.2.1.3.3" xref="S2.SS1.p1.13.m1.2.2.1.3.3.cmml">∗</mo></msup></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.13.m1.2b"><apply id="S2.SS1.p1.13.m1.2.3.cmml" xref="S2.SS1.p1.13.m1.2.3"><eq id="S2.SS1.p1.13.m1.2.3.1.cmml" xref="S2.SS1.p1.13.m1.2.3.1"></eq><apply id="S2.SS1.p1.13.m1.2.3.2.cmml" xref="S2.SS1.p1.13.m1.2.3.2"><ci id="S2.SS1.p1.13.m1.2.3.2.1.cmml" xref="S2.SS1.p1.13.m1.2.3.2.1">^</ci><ci id="S2.SS1.p1.13.m1.2.3.2.2.cmml" xref="S2.SS1.p1.13.m1.2.3.2.2">𝐻</ci></apply><apply id="S2.SS1.p1.13.m1.2.3.3.1.cmml" xref="S2.SS1.p1.13.m1.2.3.3.2"><csymbol cd="latexml" id="S2.SS1.p1.13.m1.2.3.3.1.1.cmml" xref="S2.SS1.p1.13.m1.2.3.3.2.2.1">evaluated-at</csymbol><apply id="S2.SS1.p1.13.m1.1.1.cmml" xref="S2.SS1.p1.13.m1.1.1"><divide id="S2.SS1.p1.13.m1.1.1.2.cmml" xref="S2.SS1.p1.13.m1.1.1"></divide><apply id="S2.SS1.p1.13.m1.1.1.1.cmml" xref="S2.SS1.p1.13.m1.1.1.1"><apply id="S2.SS1.p1.13.m1.1.1.1.2.cmml" xref="S2.SS1.p1.13.m1.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.13.m1.1.1.1.2.1.cmml" xref="S2.SS1.p1.13.m1.1.1.1.2">superscript</csymbol><partialdiff id="S2.SS1.p1.13.m1.1.1.1.2.2.cmml" xref="S2.SS1.p1.13.m1.1.1.1.2.2"></partialdiff><cn type="integer" id="S2.SS1.p1.13.m1.1.1.1.2.3.cmml" xref="S2.SS1.p1.13.m1.1.1.1.2.3">2</cn></apply><apply id="S2.SS1.p1.13.m1.1.1.1.3.cmml" xref="S2.SS1.p1.13.m1.1.1.1.3"><times id="S2.SS1.p1.13.m1.1.1.1.3.1.cmml" xref="S2.SS1.p1.13.m1.1.1.1.3.1"></times><apply id="S2.SS1.p1.13.m1.1.1.1.3.2.cmml" xref="S2.SS1.p1.13.m1.1.1.1.3.2"><ci id="S2.SS1.p1.13.m1.1.1.1.3.2.1.cmml" xref="S2.SS1.p1.13.m1.1.1.1.3.2.1">^</ci><ci id="S2.SS1.p1.13.m1.1.1.1.3.2.2.cmml" xref="S2.SS1.p1.13.m1.1.1.1.3.2.2">ℒ</ci></apply><ci id="S2.SS1.p1.13.m1.1.1.1.1.cmml" xref="S2.SS1.p1.13.m1.1.1.1.1">𝜃</ci></apply></apply><apply id="S2.SS1.p1.13.m1.1.1.3.cmml" xref="S2.SS1.p1.13.m1.1.1.3"><partialdiff id="S2.SS1.p1.13.m1.1.1.3.1.cmml" xref="S2.SS1.p1.13.m1.1.1.3.1"></partialdiff><apply id="S2.SS1.p1.13.m1.1.1.3.2.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2"><times id="S2.SS1.p1.13.m1.1.1.3.2.1.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.1"></times><apply id="S2.SS1.p1.13.m1.1.1.3.2.2.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.2"><csymbol cd="ambiguous" id="S2.SS1.p1.13.m1.1.1.3.2.2.1.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.2">superscript</csymbol><ci id="S2.SS1.p1.13.m1.1.1.3.2.2.2.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.2.2">𝜃</ci><ci id="S2.SS1.p1.13.m1.1.1.3.2.2.3.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.2.3">𝑇</ci></apply><apply id="S2.SS1.p1.13.m1.1.1.3.2.3.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.3"><partialdiff id="S2.SS1.p1.13.m1.1.1.3.2.3.1.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.3.1"></partialdiff><ci id="S2.SS1.p1.13.m1.1.1.3.2.3.2.cmml" xref="S2.SS1.p1.13.m1.1.1.3.2.3.2">𝜃</ci></apply></apply></apply></apply><apply id="S2.SS1.p1.13.m1.2.2.1.cmml" xref="S2.SS1.p1.13.m1.2.2.1"><eq id="S2.SS1.p1.13.m1.2.2.1.1.cmml" xref="S2.SS1.p1.13.m1.2.2.1.1"></eq><ci id="S2.SS1.p1.13.m1.2.2.1.2.cmml" xref="S2.SS1.p1.13.m1.2.2.1.2">𝜃</ci><apply id="S2.SS1.p1.13.m1.2.2.1.3.cmml" xref="S2.SS1.p1.13.m1.2.2.1.3"><csymbol cd="ambiguous" id="S2.SS1.p1.13.m1.2.2.1.3.1.cmml" xref="S2.SS1.p1.13.m1.2.2.1.3">superscript</csymbol><ci id="S2.SS1.p1.13.m1.2.2.1.3.2.cmml" xref="S2.SS1.p1.13.m1.2.2.1.3.2">𝜃</ci><times id="S2.SS1.p1.13.m1.2.2.1.3.3.cmml" xref="S2.SS1.p1.13.m1.2.2.1.3.3"></times></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.13.m1.2c">\hat{H}=\frac{\partial^{2}{\cal{\hat{L}}}(\theta)}{\partial\theta^{T}\partial\theta}\left.\right|_{\theta=\theta^{*}}</annotation></semantics></math> is the sampled Hessian at the local minimum. Conceivably, the eigenvalue spread of <math id="S2.SS1.p1.14.m2.1" class="ltx_Math" alttext="P\hat{H}" display="inline"><semantics id="S2.SS1.p1.14.m2.1a"><mrow id="S2.SS1.p1.14.m2.1.1" xref="S2.SS1.p1.14.m2.1.1.cmml"><mi id="S2.SS1.p1.14.m2.1.1.2" xref="S2.SS1.p1.14.m2.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="S2.SS1.p1.14.m2.1.1.1" xref="S2.SS1.p1.14.m2.1.1.1.cmml">​</mo><mover accent="true" id="S2.SS1.p1.14.m2.1.1.3" xref="S2.SS1.p1.14.m2.1.1.3.cmml"><mi id="S2.SS1.p1.14.m2.1.1.3.2" xref="S2.SS1.p1.14.m2.1.1.3.2.cmml">H</mi><mo id="S2.SS1.p1.14.m2.1.1.3.1" xref="S2.SS1.p1.14.m2.1.1.3.1.cmml">^</mo></mover></mrow><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.14.m2.1b"><apply id="S2.SS1.p1.14.m2.1.1.cmml" xref="S2.SS1.p1.14.m2.1.1"><times id="S2.SS1.p1.14.m2.1.1.1.cmml" xref="S2.SS1.p1.14.m2.1.1.1"></times><ci id="S2.SS1.p1.14.m2.1.1.2.cmml" xref="S2.SS1.p1.14.m2.1.1.2">𝑃</ci><apply id="S2.SS1.p1.14.m2.1.1.3.cmml" xref="S2.SS1.p1.14.m2.1.1.3"><ci id="S2.SS1.p1.14.m2.1.1.3.1.cmml" xref="S2.SS1.p1.14.m2.1.1.3.1">^</ci><ci id="S2.SS1.p1.14.m2.1.1.3.2.cmml" xref="S2.SS1.p1.14.m2.1.1.3.2">𝐻</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.14.m2.1c">P\hat{H}</annotation></semantics></math> largely determines the speed of convergence of the quasi-linear system in equation <a href="#S2.E2" title="Equation 2 ‣ 2.1 Notations ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>. Nearly quadratic convergence is possible if we can find a good approximation for <math id="S2.SS1.p1.15.m3.1" class="ltx_Math" alttext="{H}^{\scalebox{0.5}[1.0]{$-$}1}" display="inline"><semantics id="S2.SS1.p1.15.m3.1a"><msup id="S2.SS1.p1.15.m3.1.2" xref="S2.SS1.p1.15.m3.1.2.cmml"><mi id="S2.SS1.p1.15.m3.1.2.2" xref="S2.SS1.p1.15.m3.1.2.2.cmml">H</mi><mrow id="S2.SS1.p1.15.m3.1.1.1" xref="S2.SS1.p1.15.m3.1.1.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.SS1.p1.15.m3.1.1.1a" xref="S2.SS1.p1.15.m3.1.1.1.cmml"><mo id="S2.SS1.p1.15.m3.1.1.1b" xref="S2.SS1.p1.15.m3.1.1.1.cmml">−</mo></mpadded><mn id="S2.SS1.p1.15.m3.1.1.1.3" xref="S2.SS1.p1.15.m3.1.1.1.3.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.15.m3.1b"><apply id="S2.SS1.p1.15.m3.1.2.cmml" xref="S2.SS1.p1.15.m3.1.2"><csymbol cd="ambiguous" id="S2.SS1.p1.15.m3.1.2.1.cmml" xref="S2.SS1.p1.15.m3.1.2">superscript</csymbol><ci id="S2.SS1.p1.15.m3.1.2.2.cmml" xref="S2.SS1.p1.15.m3.1.2.2">𝐻</ci><apply id="S2.SS1.p1.15.m3.1.1.1.cmml" xref="S2.SS1.p1.15.m3.1.1.1"><minus id="S2.SS1.p1.15.m3.1.1.1.2.cmml" xref="S2.SS1.p1.15.m3.1.1.1"></minus><cn type="integer" id="S2.SS1.p1.15.m3.1.1.1.3.cmml" xref="S2.SS1.p1.15.m3.1.1.1.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.15.m3.1c">{H}^{\scalebox{0.5}[1.0]{$-$}1}</annotation></semantics></math>. However, <math id="S2.SS1.p1.16.m4.1" class="ltx_Math" alttext="\hat{H}" display="inline"><semantics id="S2.SS1.p1.16.m4.1a"><mover accent="true" id="S2.SS1.p1.16.m4.1.1" xref="S2.SS1.p1.16.m4.1.1.cmml"><mi id="S2.SS1.p1.16.m4.1.1.2" xref="S2.SS1.p1.16.m4.1.1.2.cmml">H</mi><mo id="S2.SS1.p1.16.m4.1.1.1" xref="S2.SS1.p1.16.m4.1.1.1.cmml">^</mo></mover><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.16.m4.1b"><apply id="S2.SS1.p1.16.m4.1.1.cmml" xref="S2.SS1.p1.16.m4.1.1"><ci id="S2.SS1.p1.16.m4.1.1.1.cmml" xref="S2.SS1.p1.16.m4.1.1.1">^</ci><ci id="S2.SS1.p1.16.m4.1.1.2.cmml" xref="S2.SS1.p1.16.m4.1.1.2">𝐻</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.16.m4.1c">\hat{H}</annotation></semantics></math> is a noisy Hessian &amp; is not necessarily positive definite, even if the exact one at <math id="S2.SS1.p1.17.m5.1" class="ltx_Math" alttext="\theta^{*}" display="inline"><semantics id="S2.SS1.p1.17.m5.1a"><msup id="S2.SS1.p1.17.m5.1.1" xref="S2.SS1.p1.17.m5.1.1.cmml"><mi id="S2.SS1.p1.17.m5.1.1.2" xref="S2.SS1.p1.17.m5.1.1.2.cmml">θ</mi><mo id="S2.SS1.p1.17.m5.1.1.3" xref="S2.SS1.p1.17.m5.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.17.m5.1b"><apply id="S2.SS1.p1.17.m5.1.1.cmml" xref="S2.SS1.p1.17.m5.1.1"><csymbol cd="ambiguous" id="S2.SS1.p1.17.m5.1.1.1.cmml" xref="S2.SS1.p1.17.m5.1.1">superscript</csymbol><ci id="S2.SS1.p1.17.m5.1.1.2.cmml" xref="S2.SS1.p1.17.m5.1.1.2">𝜃</ci><times id="S2.SS1.p1.17.m5.1.1.3.cmml" xref="S2.SS1.p1.17.m5.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.17.m5.1c">\theta^{*}</annotation></semantics></math>, i.e., <math id="S2.SS1.p1.18.m6.1" class="ltx_Math" alttext="H" display="inline"><semantics id="S2.SS1.p1.18.m6.1a"><mi id="S2.SS1.p1.18.m6.1.1" xref="S2.SS1.p1.18.m6.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="S2.SS1.p1.18.m6.1b"><ci id="S2.SS1.p1.18.m6.1.1.cmml" xref="S2.SS1.p1.18.m6.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS1.p1.18.m6.1c">H</annotation></semantics></math>, is.</p>
</div>
</section>
<section id="S2.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">2.2 </span>The Preconditioner Fitting Criterion</h3>

<div id="S2.SS2.p1" class="ltx_para">
<p id="S2.SS2.p1.1" class="ltx_p">We adopt the preconditioner fitting criterion proposed in <cite class="ltx_cite ltx_citemacro_citet">Li [<a href="#bib.bib26" title="" class="ltx_ref">2015</a>]</cite>.
Let <math id="S2.SS2.p1.1.m1.2" class="ltx_Math" alttext="(\delta g,\delta\theta)" display="inline"><semantics id="S2.SS2.p1.1.m1.2a"><mrow id="S2.SS2.p1.1.m1.2.2.2" xref="S2.SS2.p1.1.m1.2.2.3.cmml"><mo stretchy="false" id="S2.SS2.p1.1.m1.2.2.2.3" xref="S2.SS2.p1.1.m1.2.2.3.cmml">(</mo><mrow id="S2.SS2.p1.1.m1.1.1.1.1" xref="S2.SS2.p1.1.m1.1.1.1.1.cmml"><mi id="S2.SS2.p1.1.m1.1.1.1.1.2" xref="S2.SS2.p1.1.m1.1.1.1.1.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.SS2.p1.1.m1.1.1.1.1.1" xref="S2.SS2.p1.1.m1.1.1.1.1.1.cmml">​</mo><mi id="S2.SS2.p1.1.m1.1.1.1.1.3" xref="S2.SS2.p1.1.m1.1.1.1.1.3.cmml">g</mi></mrow><mo id="S2.SS2.p1.1.m1.2.2.2.4" xref="S2.SS2.p1.1.m1.2.2.3.cmml">,</mo><mrow id="S2.SS2.p1.1.m1.2.2.2.2" xref="S2.SS2.p1.1.m1.2.2.2.2.cmml"><mi id="S2.SS2.p1.1.m1.2.2.2.2.2" xref="S2.SS2.p1.1.m1.2.2.2.2.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.SS2.p1.1.m1.2.2.2.2.1" xref="S2.SS2.p1.1.m1.2.2.2.2.1.cmml">​</mo><mi id="S2.SS2.p1.1.m1.2.2.2.2.3" xref="S2.SS2.p1.1.m1.2.2.2.2.3.cmml">θ</mi></mrow><mo stretchy="false" id="S2.SS2.p1.1.m1.2.2.2.5" xref="S2.SS2.p1.1.m1.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.1.m1.2b"><interval closure="open" id="S2.SS2.p1.1.m1.2.2.3.cmml" xref="S2.SS2.p1.1.m1.2.2.2"><apply id="S2.SS2.p1.1.m1.1.1.1.1.cmml" xref="S2.SS2.p1.1.m1.1.1.1.1"><times id="S2.SS2.p1.1.m1.1.1.1.1.1.cmml" xref="S2.SS2.p1.1.m1.1.1.1.1.1"></times><ci id="S2.SS2.p1.1.m1.1.1.1.1.2.cmml" xref="S2.SS2.p1.1.m1.1.1.1.1.2">𝛿</ci><ci id="S2.SS2.p1.1.m1.1.1.1.1.3.cmml" xref="S2.SS2.p1.1.m1.1.1.1.1.3">𝑔</ci></apply><apply id="S2.SS2.p1.1.m1.2.2.2.2.cmml" xref="S2.SS2.p1.1.m1.2.2.2.2"><times id="S2.SS2.p1.1.m1.2.2.2.2.1.cmml" xref="S2.SS2.p1.1.m1.2.2.2.2.1"></times><ci id="S2.SS2.p1.1.m1.2.2.2.2.2.cmml" xref="S2.SS2.p1.1.m1.2.2.2.2.2">𝛿</ci><ci id="S2.SS2.p1.1.m1.2.2.2.2.3.cmml" xref="S2.SS2.p1.1.m1.2.2.2.2.3">𝜃</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.1.m1.2c">(\delta g,\delta\theta)</annotation></semantics></math> be associated gradient parameter perturbations.
Then, the fitting criterion is:</p>
<table id="S2.E3" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S2.E3.m1.3" class="ltx_Math" alttext="c(P)=E_{\delta\theta}[\delta g^{T}P\delta g+\delta\theta^{T}P^{\scalebox{0.5}[1.0]{$-$}1}\delta\theta]" display="block"><semantics id="S2.E3.m1.3a"><mrow id="S2.E3.m1.3.3" xref="S2.E3.m1.3.3.cmml"><mrow id="S2.E3.m1.3.3.3" xref="S2.E3.m1.3.3.3.cmml"><mi id="S2.E3.m1.3.3.3.2" xref="S2.E3.m1.3.3.3.2.cmml">c</mi><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.3.1" xref="S2.E3.m1.3.3.3.1.cmml">​</mo><mrow id="S2.E3.m1.3.3.3.3.2" xref="S2.E3.m1.3.3.3.cmml"><mo stretchy="false" id="S2.E3.m1.3.3.3.3.2.1" xref="S2.E3.m1.3.3.3.cmml">(</mo><mi id="S2.E3.m1.2.2" xref="S2.E3.m1.2.2.cmml">P</mi><mo stretchy="false" id="S2.E3.m1.3.3.3.3.2.2" xref="S2.E3.m1.3.3.3.cmml">)</mo></mrow></mrow><mo id="S2.E3.m1.3.3.2" xref="S2.E3.m1.3.3.2.cmml">=</mo><mrow id="S2.E3.m1.3.3.1" xref="S2.E3.m1.3.3.1.cmml"><msub id="S2.E3.m1.3.3.1.3" xref="S2.E3.m1.3.3.1.3.cmml"><mi id="S2.E3.m1.3.3.1.3.2" xref="S2.E3.m1.3.3.1.3.2.cmml">E</mi><mrow id="S2.E3.m1.3.3.1.3.3" xref="S2.E3.m1.3.3.1.3.3.cmml"><mi id="S2.E3.m1.3.3.1.3.3.2" xref="S2.E3.m1.3.3.1.3.3.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.3.3.1" xref="S2.E3.m1.3.3.1.3.3.1.cmml">​</mo><mi id="S2.E3.m1.3.3.1.3.3.3" xref="S2.E3.m1.3.3.1.3.3.3.cmml">θ</mi></mrow></msub><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.2" xref="S2.E3.m1.3.3.1.2.cmml">​</mo><mrow id="S2.E3.m1.3.3.1.1.1" xref="S2.E3.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="S2.E3.m1.3.3.1.1.1.2" xref="S2.E3.m1.3.3.1.1.2.1.cmml">[</mo><mrow id="S2.E3.m1.3.3.1.1.1.1" xref="S2.E3.m1.3.3.1.1.1.1.cmml"><mrow id="S2.E3.m1.3.3.1.1.1.1.2" xref="S2.E3.m1.3.3.1.1.1.1.2.cmml"><mi id="S2.E3.m1.3.3.1.1.1.1.2.2" xref="S2.E3.m1.3.3.1.1.1.1.2.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.2.1" xref="S2.E3.m1.3.3.1.1.1.1.2.1.cmml">​</mo><msup id="S2.E3.m1.3.3.1.1.1.1.2.3" xref="S2.E3.m1.3.3.1.1.1.1.2.3.cmml"><mi id="S2.E3.m1.3.3.1.1.1.1.2.3.2" xref="S2.E3.m1.3.3.1.1.1.1.2.3.2.cmml">g</mi><mi id="S2.E3.m1.3.3.1.1.1.1.2.3.3" xref="S2.E3.m1.3.3.1.1.1.1.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.2.1a" xref="S2.E3.m1.3.3.1.1.1.1.2.1.cmml">​</mo><mi id="S2.E3.m1.3.3.1.1.1.1.2.4" xref="S2.E3.m1.3.3.1.1.1.1.2.4.cmml">P</mi><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.2.1b" xref="S2.E3.m1.3.3.1.1.1.1.2.1.cmml">​</mo><mi id="S2.E3.m1.3.3.1.1.1.1.2.5" xref="S2.E3.m1.3.3.1.1.1.1.2.5.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.2.1c" xref="S2.E3.m1.3.3.1.1.1.1.2.1.cmml">​</mo><mi id="S2.E3.m1.3.3.1.1.1.1.2.6" xref="S2.E3.m1.3.3.1.1.1.1.2.6.cmml">g</mi></mrow><mo id="S2.E3.m1.3.3.1.1.1.1.1" xref="S2.E3.m1.3.3.1.1.1.1.1.cmml">+</mo><mrow id="S2.E3.m1.3.3.1.1.1.1.3" xref="S2.E3.m1.3.3.1.1.1.1.3.cmml"><mi id="S2.E3.m1.3.3.1.1.1.1.3.2" xref="S2.E3.m1.3.3.1.1.1.1.3.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.3.1" xref="S2.E3.m1.3.3.1.1.1.1.3.1.cmml">​</mo><msup id="S2.E3.m1.3.3.1.1.1.1.3.3" xref="S2.E3.m1.3.3.1.1.1.1.3.3.cmml"><mi id="S2.E3.m1.3.3.1.1.1.1.3.3.2" xref="S2.E3.m1.3.3.1.1.1.1.3.3.2.cmml">θ</mi><mi id="S2.E3.m1.3.3.1.1.1.1.3.3.3" xref="S2.E3.m1.3.3.1.1.1.1.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.3.1a" xref="S2.E3.m1.3.3.1.1.1.1.3.1.cmml">​</mo><msup id="S2.E3.m1.3.3.1.1.1.1.3.4" xref="S2.E3.m1.3.3.1.1.1.1.3.4.cmml"><mi id="S2.E3.m1.3.3.1.1.1.1.3.4.2" xref="S2.E3.m1.3.3.1.1.1.1.3.4.2.cmml">P</mi><mrow id="S2.E3.m1.1.1.1" xref="S2.E3.m1.1.1.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.E3.m1.1.1.1a" xref="S2.E3.m1.1.1.1.cmml"><mo id="S2.E3.m1.1.1.1b" xref="S2.E3.m1.1.1.1.cmml">−</mo></mpadded><mn id="S2.E3.m1.1.1.1.3" xref="S2.E3.m1.1.1.1.3.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.3.1b" xref="S2.E3.m1.3.3.1.1.1.1.3.1.cmml">​</mo><mi id="S2.E3.m1.3.3.1.1.1.1.3.5" xref="S2.E3.m1.3.3.1.1.1.1.3.5.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.E3.m1.3.3.1.1.1.1.3.1c" xref="S2.E3.m1.3.3.1.1.1.1.3.1.cmml">​</mo><mi id="S2.E3.m1.3.3.1.1.1.1.3.6" xref="S2.E3.m1.3.3.1.1.1.1.3.6.cmml">θ</mi></mrow></mrow><mo stretchy="false" id="S2.E3.m1.3.3.1.1.1.3" xref="S2.E3.m1.3.3.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.E3.m1.3b"><apply id="S2.E3.m1.3.3.cmml" xref="S2.E3.m1.3.3"><eq id="S2.E3.m1.3.3.2.cmml" xref="S2.E3.m1.3.3.2"></eq><apply id="S2.E3.m1.3.3.3.cmml" xref="S2.E3.m1.3.3.3"><times id="S2.E3.m1.3.3.3.1.cmml" xref="S2.E3.m1.3.3.3.1"></times><ci id="S2.E3.m1.3.3.3.2.cmml" xref="S2.E3.m1.3.3.3.2">𝑐</ci><ci id="S2.E3.m1.2.2.cmml" xref="S2.E3.m1.2.2">𝑃</ci></apply><apply id="S2.E3.m1.3.3.1.cmml" xref="S2.E3.m1.3.3.1"><times id="S2.E3.m1.3.3.1.2.cmml" xref="S2.E3.m1.3.3.1.2"></times><apply id="S2.E3.m1.3.3.1.3.cmml" xref="S2.E3.m1.3.3.1.3"><csymbol cd="ambiguous" id="S2.E3.m1.3.3.1.3.1.cmml" xref="S2.E3.m1.3.3.1.3">subscript</csymbol><ci id="S2.E3.m1.3.3.1.3.2.cmml" xref="S2.E3.m1.3.3.1.3.2">𝐸</ci><apply id="S2.E3.m1.3.3.1.3.3.cmml" xref="S2.E3.m1.3.3.1.3.3"><times id="S2.E3.m1.3.3.1.3.3.1.cmml" xref="S2.E3.m1.3.3.1.3.3.1"></times><ci id="S2.E3.m1.3.3.1.3.3.2.cmml" xref="S2.E3.m1.3.3.1.3.3.2">𝛿</ci><ci id="S2.E3.m1.3.3.1.3.3.3.cmml" xref="S2.E3.m1.3.3.1.3.3.3">𝜃</ci></apply></apply><apply id="S2.E3.m1.3.3.1.1.2.cmml" xref="S2.E3.m1.3.3.1.1.1"><csymbol cd="latexml" id="S2.E3.m1.3.3.1.1.2.1.cmml" xref="S2.E3.m1.3.3.1.1.1.2">delimited-[]</csymbol><apply id="S2.E3.m1.3.3.1.1.1.1.cmml" xref="S2.E3.m1.3.3.1.1.1.1"><plus id="S2.E3.m1.3.3.1.1.1.1.1.cmml" xref="S2.E3.m1.3.3.1.1.1.1.1"></plus><apply id="S2.E3.m1.3.3.1.1.1.1.2.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2"><times id="S2.E3.m1.3.3.1.1.1.1.2.1.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.1"></times><ci id="S2.E3.m1.3.3.1.1.1.1.2.2.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.2">𝛿</ci><apply id="S2.E3.m1.3.3.1.1.1.1.2.3.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.3"><csymbol cd="ambiguous" id="S2.E3.m1.3.3.1.1.1.1.2.3.1.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.3">superscript</csymbol><ci id="S2.E3.m1.3.3.1.1.1.1.2.3.2.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.3.2">𝑔</ci><ci id="S2.E3.m1.3.3.1.1.1.1.2.3.3.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.3.3">𝑇</ci></apply><ci id="S2.E3.m1.3.3.1.1.1.1.2.4.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.4">𝑃</ci><ci id="S2.E3.m1.3.3.1.1.1.1.2.5.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.5">𝛿</ci><ci id="S2.E3.m1.3.3.1.1.1.1.2.6.cmml" xref="S2.E3.m1.3.3.1.1.1.1.2.6">𝑔</ci></apply><apply id="S2.E3.m1.3.3.1.1.1.1.3.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3"><times id="S2.E3.m1.3.3.1.1.1.1.3.1.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.1"></times><ci id="S2.E3.m1.3.3.1.1.1.1.3.2.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.2">𝛿</ci><apply id="S2.E3.m1.3.3.1.1.1.1.3.3.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S2.E3.m1.3.3.1.1.1.1.3.3.1.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.3">superscript</csymbol><ci id="S2.E3.m1.3.3.1.1.1.1.3.3.2.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.3.2">𝜃</ci><ci id="S2.E3.m1.3.3.1.1.1.1.3.3.3.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.3.3">𝑇</ci></apply><apply id="S2.E3.m1.3.3.1.1.1.1.3.4.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.4"><csymbol cd="ambiguous" id="S2.E3.m1.3.3.1.1.1.1.3.4.1.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.4">superscript</csymbol><ci id="S2.E3.m1.3.3.1.1.1.1.3.4.2.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.4.2">𝑃</ci><apply id="S2.E3.m1.1.1.1.cmml" xref="S2.E3.m1.1.1.1"><minus id="S2.E3.m1.1.1.1.2.cmml" xref="S2.E3.m1.1.1.1"></minus><cn type="integer" id="S2.E3.m1.1.1.1.3.cmml" xref="S2.E3.m1.1.1.1.3">1</cn></apply></apply><ci id="S2.E3.m1.3.3.1.1.1.1.3.5.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.5">𝛿</ci><ci id="S2.E3.m1.3.3.1.1.1.1.3.6.cmml" xref="S2.E3.m1.3.3.1.1.1.1.3.6">𝜃</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.E3.m1.3c">c(P)=E_{\delta\theta}[\delta g^{T}P\delta g+\delta\theta^{T}P^{\scalebox{0.5}[1.0]{$-$}1}\delta\theta]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(3)</span></td>
</tr></tbody>
</table>
<p id="S2.SS2.p1.12" class="ltx_p">With autograd tools, we can replace the pair <math id="S2.SS2.p1.2.m1.2" class="ltx_Math" alttext="(\delta\theta,\delta g)" display="inline"><semantics id="S2.SS2.p1.2.m1.2a"><mrow id="S2.SS2.p1.2.m1.2.2.2" xref="S2.SS2.p1.2.m1.2.2.3.cmml"><mo stretchy="false" id="S2.SS2.p1.2.m1.2.2.2.3" xref="S2.SS2.p1.2.m1.2.2.3.cmml">(</mo><mrow id="S2.SS2.p1.2.m1.1.1.1.1" xref="S2.SS2.p1.2.m1.1.1.1.1.cmml"><mi id="S2.SS2.p1.2.m1.1.1.1.1.2" xref="S2.SS2.p1.2.m1.1.1.1.1.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.SS2.p1.2.m1.1.1.1.1.1" xref="S2.SS2.p1.2.m1.1.1.1.1.1.cmml">​</mo><mi id="S2.SS2.p1.2.m1.1.1.1.1.3" xref="S2.SS2.p1.2.m1.1.1.1.1.3.cmml">θ</mi></mrow><mo id="S2.SS2.p1.2.m1.2.2.2.4" xref="S2.SS2.p1.2.m1.2.2.3.cmml">,</mo><mrow id="S2.SS2.p1.2.m1.2.2.2.2" xref="S2.SS2.p1.2.m1.2.2.2.2.cmml"><mi id="S2.SS2.p1.2.m1.2.2.2.2.2" xref="S2.SS2.p1.2.m1.2.2.2.2.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S2.SS2.p1.2.m1.2.2.2.2.1" xref="S2.SS2.p1.2.m1.2.2.2.2.1.cmml">​</mo><mi id="S2.SS2.p1.2.m1.2.2.2.2.3" xref="S2.SS2.p1.2.m1.2.2.2.2.3.cmml">g</mi></mrow><mo stretchy="false" id="S2.SS2.p1.2.m1.2.2.2.5" xref="S2.SS2.p1.2.m1.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.2.m1.2b"><interval closure="open" id="S2.SS2.p1.2.m1.2.2.3.cmml" xref="S2.SS2.p1.2.m1.2.2.2"><apply id="S2.SS2.p1.2.m1.1.1.1.1.cmml" xref="S2.SS2.p1.2.m1.1.1.1.1"><times id="S2.SS2.p1.2.m1.1.1.1.1.1.cmml" xref="S2.SS2.p1.2.m1.1.1.1.1.1"></times><ci id="S2.SS2.p1.2.m1.1.1.1.1.2.cmml" xref="S2.SS2.p1.2.m1.1.1.1.1.2">𝛿</ci><ci id="S2.SS2.p1.2.m1.1.1.1.1.3.cmml" xref="S2.SS2.p1.2.m1.1.1.1.1.3">𝜃</ci></apply><apply id="S2.SS2.p1.2.m1.2.2.2.2.cmml" xref="S2.SS2.p1.2.m1.2.2.2.2"><times id="S2.SS2.p1.2.m1.2.2.2.2.1.cmml" xref="S2.SS2.p1.2.m1.2.2.2.2.1"></times><ci id="S2.SS2.p1.2.m1.2.2.2.2.2.cmml" xref="S2.SS2.p1.2.m1.2.2.2.2.2">𝛿</ci><ci id="S2.SS2.p1.2.m1.2.2.2.2.3.cmml" xref="S2.SS2.p1.2.m1.2.2.2.2.3">𝑔</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.2.m1.2c">(\delta\theta,\delta g)</annotation></semantics></math> with <math id="S2.SS2.p1.3.m2.2" class="ltx_Math" alttext="(v,\hat{H}v)" display="inline"><semantics id="S2.SS2.p1.3.m2.2a"><mrow id="S2.SS2.p1.3.m2.2.2.1" xref="S2.SS2.p1.3.m2.2.2.2.cmml"><mo stretchy="false" id="S2.SS2.p1.3.m2.2.2.1.2" xref="S2.SS2.p1.3.m2.2.2.2.cmml">(</mo><mi id="S2.SS2.p1.3.m2.1.1" xref="S2.SS2.p1.3.m2.1.1.cmml">v</mi><mo id="S2.SS2.p1.3.m2.2.2.1.3" xref="S2.SS2.p1.3.m2.2.2.2.cmml">,</mo><mrow id="S2.SS2.p1.3.m2.2.2.1.1" xref="S2.SS2.p1.3.m2.2.2.1.1.cmml"><mover accent="true" id="S2.SS2.p1.3.m2.2.2.1.1.2" xref="S2.SS2.p1.3.m2.2.2.1.1.2.cmml"><mi id="S2.SS2.p1.3.m2.2.2.1.1.2.2" xref="S2.SS2.p1.3.m2.2.2.1.1.2.2.cmml">H</mi><mo id="S2.SS2.p1.3.m2.2.2.1.1.2.1" xref="S2.SS2.p1.3.m2.2.2.1.1.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.SS2.p1.3.m2.2.2.1.1.1" xref="S2.SS2.p1.3.m2.2.2.1.1.1.cmml">​</mo><mi id="S2.SS2.p1.3.m2.2.2.1.1.3" xref="S2.SS2.p1.3.m2.2.2.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S2.SS2.p1.3.m2.2.2.1.4" xref="S2.SS2.p1.3.m2.2.2.2.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.3.m2.2b"><interval closure="open" id="S2.SS2.p1.3.m2.2.2.2.cmml" xref="S2.SS2.p1.3.m2.2.2.1"><ci id="S2.SS2.p1.3.m2.1.1.cmml" xref="S2.SS2.p1.3.m2.1.1">𝑣</ci><apply id="S2.SS2.p1.3.m2.2.2.1.1.cmml" xref="S2.SS2.p1.3.m2.2.2.1.1"><times id="S2.SS2.p1.3.m2.2.2.1.1.1.cmml" xref="S2.SS2.p1.3.m2.2.2.1.1.1"></times><apply id="S2.SS2.p1.3.m2.2.2.1.1.2.cmml" xref="S2.SS2.p1.3.m2.2.2.1.1.2"><ci id="S2.SS2.p1.3.m2.2.2.1.1.2.1.cmml" xref="S2.SS2.p1.3.m2.2.2.1.1.2.1">^</ci><ci id="S2.SS2.p1.3.m2.2.2.1.1.2.2.cmml" xref="S2.SS2.p1.3.m2.2.2.1.1.2.2">𝐻</ci></apply><ci id="S2.SS2.p1.3.m2.2.2.1.1.3.cmml" xref="S2.SS2.p1.3.m2.2.2.1.1.3">𝑣</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.3.m2.2c">(v,\hat{H}v)</annotation></semantics></math>, where <math id="S2.SS2.p1.4.m3.1" class="ltx_Math" alttext="v" display="inline"><semantics id="S2.SS2.p1.4.m3.1a"><mi id="S2.SS2.p1.4.m3.1.1" xref="S2.SS2.p1.4.m3.1.1.cmml">v</mi><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.4.m3.1b"><ci id="S2.SS2.p1.4.m3.1.1.cmml" xref="S2.SS2.p1.4.m3.1.1">𝑣</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.4.m3.1c">v</annotation></semantics></math> is a random vector, &amp; <math id="S2.SS2.p1.5.m4.1" class="ltx_Math" alttext="\hat{H}v" display="inline"><semantics id="S2.SS2.p1.5.m4.1a"><mrow id="S2.SS2.p1.5.m4.1.1" xref="S2.SS2.p1.5.m4.1.1.cmml"><mover accent="true" id="S2.SS2.p1.5.m4.1.1.2" xref="S2.SS2.p1.5.m4.1.1.2.cmml"><mi id="S2.SS2.p1.5.m4.1.1.2.2" xref="S2.SS2.p1.5.m4.1.1.2.2.cmml">H</mi><mo id="S2.SS2.p1.5.m4.1.1.2.1" xref="S2.SS2.p1.5.m4.1.1.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.SS2.p1.5.m4.1.1.1" xref="S2.SS2.p1.5.m4.1.1.1.cmml">​</mo><mi id="S2.SS2.p1.5.m4.1.1.3" xref="S2.SS2.p1.5.m4.1.1.3.cmml">v</mi></mrow><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.5.m4.1b"><apply id="S2.SS2.p1.5.m4.1.1.cmml" xref="S2.SS2.p1.5.m4.1.1"><times id="S2.SS2.p1.5.m4.1.1.1.cmml" xref="S2.SS2.p1.5.m4.1.1.1"></times><apply id="S2.SS2.p1.5.m4.1.1.2.cmml" xref="S2.SS2.p1.5.m4.1.1.2"><ci id="S2.SS2.p1.5.m4.1.1.2.1.cmml" xref="S2.SS2.p1.5.m4.1.1.2.1">^</ci><ci id="S2.SS2.p1.5.m4.1.1.2.2.cmml" xref="S2.SS2.p1.5.m4.1.1.2.2">𝐻</ci></apply><ci id="S2.SS2.p1.5.m4.1.1.3.cmml" xref="S2.SS2.p1.5.m4.1.1.3">𝑣</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.5.m4.1c">\hat{H}v</annotation></semantics></math> is the noisy Hessian-vector product, which can be evaluated as cheaply as gradients. Criterion equation <a href="#S2.E3" title="Equation 3 ‣ 2.2 The Preconditioner Fitting Criterion ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> only has one positive definite solution, <math id="S2.SS2.p1.6.m5.2" class="ltx_Math" alttext="P=(H^{2}+E_{v}[\epsilon^{2}])^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}" display="inline"><semantics id="S2.SS2.p1.6.m5.2a"><mrow id="S2.SS2.p1.6.m5.2.2" xref="S2.SS2.p1.6.m5.2.2.cmml"><mi id="S2.SS2.p1.6.m5.2.2.3" xref="S2.SS2.p1.6.m5.2.2.3.cmml">P</mi><mo id="S2.SS2.p1.6.m5.2.2.2" xref="S2.SS2.p1.6.m5.2.2.2.cmml">=</mo><msup id="S2.SS2.p1.6.m5.2.2.1" xref="S2.SS2.p1.6.m5.2.2.1.cmml"><mrow id="S2.SS2.p1.6.m5.2.2.1.1.1" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS2.p1.6.m5.2.2.1.1.1.2" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.cmml">(</mo><mrow id="S2.SS2.p1.6.m5.2.2.1.1.1.1" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.cmml"><msup id="S2.SS2.p1.6.m5.2.2.1.1.1.1.3" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.cmml"><mi id="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.2" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.2.cmml">H</mi><mn id="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.3" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.3.cmml">2</mn></msup><mo id="S2.SS2.p1.6.m5.2.2.1.1.1.1.2" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.2.cmml">+</mo><mrow id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.cmml"><msub id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.cmml"><mi id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.2" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.2.cmml">E</mi><mi id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.3" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.3.cmml">v</mi></msub><mo lspace="0em" rspace="0em" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.2" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.2.cmml">​</mo><mrow id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.2" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.2.1.cmml">[</mo><msup id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.cmml"><mi id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.2" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.2.cmml">ϵ</mi><mn id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.3" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.3.cmml">2</mn></msup><mo stretchy="false" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.3" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo stretchy="false" id="S2.SS2.p1.6.m5.2.2.1.1.1.3" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.cmml">)</mo></mrow><mrow id="S2.SS2.p1.6.m5.1.1.1" xref="S2.SS2.p1.6.m5.1.1.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.SS2.p1.6.m5.1.1.1a" xref="S2.SS2.p1.6.m5.1.1.1.cmml"><mo id="S2.SS2.p1.6.m5.1.1.1b" xref="S2.SS2.p1.6.m5.1.1.1.cmml">−</mo></mpadded><mfrac id="S2.SS2.p1.6.m5.1.1.1.3" xref="S2.SS2.p1.6.m5.1.1.1.3.cmml"><mn id="S2.SS2.p1.6.m5.1.1.1.3.2" xref="S2.SS2.p1.6.m5.1.1.1.3.2.cmml">1</mn><mn id="S2.SS2.p1.6.m5.1.1.1.3.3" xref="S2.SS2.p1.6.m5.1.1.1.3.3.cmml">2</mn></mfrac></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.6.m5.2b"><apply id="S2.SS2.p1.6.m5.2.2.cmml" xref="S2.SS2.p1.6.m5.2.2"><eq id="S2.SS2.p1.6.m5.2.2.2.cmml" xref="S2.SS2.p1.6.m5.2.2.2"></eq><ci id="S2.SS2.p1.6.m5.2.2.3.cmml" xref="S2.SS2.p1.6.m5.2.2.3">𝑃</ci><apply id="S2.SS2.p1.6.m5.2.2.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1"><csymbol cd="ambiguous" id="S2.SS2.p1.6.m5.2.2.1.2.cmml" xref="S2.SS2.p1.6.m5.2.2.1">superscript</csymbol><apply id="S2.SS2.p1.6.m5.2.2.1.1.1.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1"><plus id="S2.SS2.p1.6.m5.2.2.1.1.1.1.2.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.2"></plus><apply id="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.3">superscript</csymbol><ci id="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.2.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.2">𝐻</ci><cn type="integer" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.3.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.3.3">2</cn></apply><apply id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1"><times id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.2.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.2"></times><apply id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3">subscript</csymbol><ci id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.2.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.2">𝐸</ci><ci id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.3.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.3.3">𝑣</ci></apply><apply id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.2.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.2.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.2">italic-ϵ</ci><cn type="integer" id="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="S2.SS2.p1.6.m5.2.2.1.1.1.1.1.1.1.1.3">2</cn></apply></apply></apply></apply><apply id="S2.SS2.p1.6.m5.1.1.1.cmml" xref="S2.SS2.p1.6.m5.1.1.1"><minus id="S2.SS2.p1.6.m5.1.1.1.2.cmml" xref="S2.SS2.p1.6.m5.1.1.1"></minus><apply id="S2.SS2.p1.6.m5.1.1.1.3.cmml" xref="S2.SS2.p1.6.m5.1.1.1.3"><divide id="S2.SS2.p1.6.m5.1.1.1.3.1.cmml" xref="S2.SS2.p1.6.m5.1.1.1.3"></divide><cn type="integer" id="S2.SS2.p1.6.m5.1.1.1.3.2.cmml" xref="S2.SS2.p1.6.m5.1.1.1.3.2">1</cn><cn type="integer" id="S2.SS2.p1.6.m5.1.1.1.3.3.cmml" xref="S2.SS2.p1.6.m5.1.1.1.3.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.6.m5.2c">P=(H^{2}+E_{v}[\epsilon^{2}])^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}</annotation></semantics></math>, even for indefinite <math id="S2.SS2.p1.7.m6.1" class="ltx_Math" alttext="H" display="inline"><semantics id="S2.SS2.p1.7.m6.1a"><mi id="S2.SS2.p1.7.m6.1.1" xref="S2.SS2.p1.7.m6.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.7.m6.1b"><ci id="S2.SS2.p1.7.m6.1.1.cmml" xref="S2.SS2.p1.7.m6.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.7.m6.1c">H</annotation></semantics></math>, where <math id="S2.SS2.p1.8.m7.1" class="ltx_Math" alttext="\epsilon=\hat{H}-H" display="inline"><semantics id="S2.SS2.p1.8.m7.1a"><mrow id="S2.SS2.p1.8.m7.1.1" xref="S2.SS2.p1.8.m7.1.1.cmml"><mi id="S2.SS2.p1.8.m7.1.1.2" xref="S2.SS2.p1.8.m7.1.1.2.cmml">ϵ</mi><mo id="S2.SS2.p1.8.m7.1.1.1" xref="S2.SS2.p1.8.m7.1.1.1.cmml">=</mo><mrow id="S2.SS2.p1.8.m7.1.1.3" xref="S2.SS2.p1.8.m7.1.1.3.cmml"><mover accent="true" id="S2.SS2.p1.8.m7.1.1.3.2" xref="S2.SS2.p1.8.m7.1.1.3.2.cmml"><mi id="S2.SS2.p1.8.m7.1.1.3.2.2" xref="S2.SS2.p1.8.m7.1.1.3.2.2.cmml">H</mi><mo id="S2.SS2.p1.8.m7.1.1.3.2.1" xref="S2.SS2.p1.8.m7.1.1.3.2.1.cmml">^</mo></mover><mo id="S2.SS2.p1.8.m7.1.1.3.1" xref="S2.SS2.p1.8.m7.1.1.3.1.cmml">−</mo><mi id="S2.SS2.p1.8.m7.1.1.3.3" xref="S2.SS2.p1.8.m7.1.1.3.3.cmml">H</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.8.m7.1b"><apply id="S2.SS2.p1.8.m7.1.1.cmml" xref="S2.SS2.p1.8.m7.1.1"><eq id="S2.SS2.p1.8.m7.1.1.1.cmml" xref="S2.SS2.p1.8.m7.1.1.1"></eq><ci id="S2.SS2.p1.8.m7.1.1.2.cmml" xref="S2.SS2.p1.8.m7.1.1.2">italic-ϵ</ci><apply id="S2.SS2.p1.8.m7.1.1.3.cmml" xref="S2.SS2.p1.8.m7.1.1.3"><minus id="S2.SS2.p1.8.m7.1.1.3.1.cmml" xref="S2.SS2.p1.8.m7.1.1.3.1"></minus><apply id="S2.SS2.p1.8.m7.1.1.3.2.cmml" xref="S2.SS2.p1.8.m7.1.1.3.2"><ci id="S2.SS2.p1.8.m7.1.1.3.2.1.cmml" xref="S2.SS2.p1.8.m7.1.1.3.2.1">^</ci><ci id="S2.SS2.p1.8.m7.1.1.3.2.2.cmml" xref="S2.SS2.p1.8.m7.1.1.3.2.2">𝐻</ci></apply><ci id="S2.SS2.p1.8.m7.1.1.3.3.cmml" xref="S2.SS2.p1.8.m7.1.1.3.3">𝐻</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.8.m7.1c">\epsilon=\hat{H}-H</annotation></semantics></math> is a stochastic noise term. This preconditioner automatically dampens gradient noise. It is worth noting that criterion equation <a href="#S2.E3" title="Equation 3 ‣ 2.2 The Preconditioner Fitting Criterion ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> gives the same preconditioner used in equilibrated <span id="S2.SS2.p1.12.1" class="ltx_text ltx_font_smallcaps">SGD</span> (ESGD) <cite class="ltx_cite ltx_citemacro_citep">[Dauphin et al., <a href="#bib.bib8" title="" class="ltx_ref">2015</a>]</cite> &amp; AdaHessian <cite class="ltx_cite ltx_citemacro_citep">[Yao et al., <a href="#bib.bib46" title="" class="ltx_ref">2021</a>]</cite> when <math id="S2.SS2.p1.9.m8.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S2.SS2.p1.9.m8.1a"><mi id="S2.SS2.p1.9.m8.1.1" xref="S2.SS2.p1.9.m8.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.9.m8.1b"><ci id="S2.SS2.p1.9.m8.1.1.cmml" xref="S2.SS2.p1.9.m8.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.9.m8.1c">P</annotation></semantics></math> is diagonal, i.e., <math id="S2.SS2.p1.10.m9.2" class="ltx_Math" alttext="E[v\odot v]\oslash E[(\hat{H}v)\odot(\hat{H}v)]" display="inline"><semantics id="S2.SS2.p1.10.m9.2a"><mrow id="S2.SS2.p1.10.m9.2.2" xref="S2.SS2.p1.10.m9.2.2.cmml"><mrow id="S2.SS2.p1.10.m9.1.1.1" xref="S2.SS2.p1.10.m9.1.1.1.cmml"><mrow id="S2.SS2.p1.10.m9.1.1.1.1" xref="S2.SS2.p1.10.m9.1.1.1.1.cmml"><mi id="S2.SS2.p1.10.m9.1.1.1.1.3" xref="S2.SS2.p1.10.m9.1.1.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="S2.SS2.p1.10.m9.1.1.1.1.2" xref="S2.SS2.p1.10.m9.1.1.1.1.2.cmml">​</mo><mrow id="S2.SS2.p1.10.m9.1.1.1.1.1.1" xref="S2.SS2.p1.10.m9.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S2.SS2.p1.10.m9.1.1.1.1.1.1.2" xref="S2.SS2.p1.10.m9.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.cmml"><mi id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.2" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.2.cmml">v</mi><mo lspace="0.222em" rspace="0.222em" id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.1" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.1.cmml">⊙</mo><mi id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.3" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S2.SS2.p1.10.m9.1.1.1.1.1.1.3" xref="S2.SS2.p1.10.m9.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="S2.SS2.p1.10.m9.1.1.1.2" xref="S2.SS2.p1.10.m9.1.1.1.2.cmml">⊘</mo><mi id="S2.SS2.p1.10.m9.1.1.1.3" xref="S2.SS2.p1.10.m9.1.1.1.3.cmml">E</mi></mrow><mo lspace="0em" rspace="0em" id="S2.SS2.p1.10.m9.2.2.3" xref="S2.SS2.p1.10.m9.2.2.3.cmml">​</mo><mrow id="S2.SS2.p1.10.m9.2.2.2.1" xref="S2.SS2.p1.10.m9.2.2.2.2.cmml"><mo stretchy="false" id="S2.SS2.p1.10.m9.2.2.2.1.2" xref="S2.SS2.p1.10.m9.2.2.2.2.1.cmml">[</mo><mrow id="S2.SS2.p1.10.m9.2.2.2.1.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.cmml"><mrow id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.2" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.cmml"><mover accent="true" id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.cmml"><mi id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.2" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.2.cmml">H</mi><mo id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.1.cmml">​</mo><mi id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.3" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.3.cmml">v</mi></mrow><mo rspace="0.055em" stretchy="false" id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.3" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="S2.SS2.p1.10.m9.2.2.2.1.1.3" xref="S2.SS2.p1.10.m9.2.2.2.1.1.3.cmml">⊙</mo><mrow id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.cmml"><mo stretchy="false" id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.2" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.cmml">(</mo><mrow id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.cmml"><mover accent="true" id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.cmml"><mi id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.2" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.2.cmml">H</mi><mo id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.1" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.1.cmml">​</mo><mi id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.3" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.3" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.SS2.p1.10.m9.2.2.2.1.3" xref="S2.SS2.p1.10.m9.2.2.2.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.10.m9.2b"><apply id="S2.SS2.p1.10.m9.2.2.cmml" xref="S2.SS2.p1.10.m9.2.2"><times id="S2.SS2.p1.10.m9.2.2.3.cmml" xref="S2.SS2.p1.10.m9.2.2.3"></times><apply id="S2.SS2.p1.10.m9.1.1.1.cmml" xref="S2.SS2.p1.10.m9.1.1.1"><ci id="S2.SS2.p1.10.m9.1.1.1.2.cmml" xref="S2.SS2.p1.10.m9.1.1.1.2">⊘</ci><apply id="S2.SS2.p1.10.m9.1.1.1.1.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1"><times id="S2.SS2.p1.10.m9.1.1.1.1.2.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.2"></times><ci id="S2.SS2.p1.10.m9.1.1.1.1.3.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.3">𝐸</ci><apply id="S2.SS2.p1.10.m9.1.1.1.1.1.2.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1"><csymbol cd="latexml" id="S2.SS2.p1.10.m9.1.1.1.1.1.2.1.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.1.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.1">direct-product</csymbol><ci id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.2.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.2">𝑣</ci><ci id="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.3.cmml" xref="S2.SS2.p1.10.m9.1.1.1.1.1.1.1.3">𝑣</ci></apply></apply></apply><ci id="S2.SS2.p1.10.m9.1.1.1.3.cmml" xref="S2.SS2.p1.10.m9.1.1.1.3">𝐸</ci></apply><apply id="S2.SS2.p1.10.m9.2.2.2.2.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1"><csymbol cd="latexml" id="S2.SS2.p1.10.m9.2.2.2.2.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.2">delimited-[]</csymbol><apply id="S2.SS2.p1.10.m9.2.2.2.1.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1"><csymbol cd="latexml" id="S2.SS2.p1.10.m9.2.2.2.1.1.3.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.3">direct-product</csymbol><apply id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1"><times id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.1"></times><apply id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2"><ci id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.1">^</ci><ci id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.2.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.2.2">𝐻</ci></apply><ci id="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.3.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.1.1.1.3">𝑣</ci></apply><apply id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1"><times id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.1"></times><apply id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2"><ci id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.1.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.1">^</ci><ci id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.2.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.2.2">𝐻</ci></apply><ci id="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.3.cmml" xref="S2.SS2.p1.10.m9.2.2.2.1.1.2.1.1.3">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.10.m9.2c">E[v\odot v]\oslash E[(\hat{H}v)\odot(\hat{H}v)]</annotation></semantics></math>, where <math id="S2.SS2.p1.11.m10.1" class="ltx_Math" alttext="\odot" display="inline"><semantics id="S2.SS2.p1.11.m10.1a"><mo id="S2.SS2.p1.11.m10.1.1" xref="S2.SS2.p1.11.m10.1.1.cmml">⊙</mo><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.11.m10.1b"><csymbol cd="latexml" id="S2.SS2.p1.11.m10.1.1.cmml" xref="S2.SS2.p1.11.m10.1.1">direct-product</csymbol></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.11.m10.1c">\odot</annotation></semantics></math> &amp; <math id="S2.SS2.p1.12.m11.1" class="ltx_Math" alttext="\oslash" display="inline"><semantics id="S2.SS2.p1.12.m11.1a"><mo id="S2.SS2.p1.12.m11.1.1" xref="S2.SS2.p1.12.m11.1.1.cmml">⊘</mo><annotation-xml encoding="MathML-Content" id="S2.SS2.p1.12.m11.1b"><ci id="S2.SS2.p1.12.m11.1.1.cmml" xref="S2.SS2.p1.12.m11.1.1">⊘</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS2.p1.12.m11.1c">\oslash</annotation></semantics></math> denote element-wise product &amp; division, respectively.</p>
</div>
</section>
<section id="S2.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">2.3 </span>Preconditioners on Lie Groups Naturally Arise</h3>

<div id="S2.SS3.p1" class="ltx_para">
<p id="S2.SS3.p1.6" class="ltx_p">It is natural to fit the preconditioner on a Lie group for several reasons.
First, by rewriting equation equation <a href="#S2.E1" title="Equation 1 ‣ 2.1 Notations ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> as
<math id="S2.SS3.p1.1.m1.6" class="ltx_Math" alttext="P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta_{i+1}=P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta_{i}-\mu{\partial{\cal{\hat{L}}}(\theta)}/{\partial(P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta)}\left.\right|_{\theta=\theta_{i}}," display="inline"><semantics id="S2.SS3.p1.1.m1.6a"><mrow id="S2.SS3.p1.1.m1.6.6.1" xref="S2.SS3.p1.1.m1.6.6.1.1.cmml"><mrow id="S2.SS3.p1.1.m1.6.6.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.cmml"><mrow id="S2.SS3.p1.1.m1.6.6.1.1.3" xref="S2.SS3.p1.1.m1.6.6.1.1.3.cmml"><msup id="S2.SS3.p1.1.m1.6.6.1.1.3.2" xref="S2.SS3.p1.1.m1.6.6.1.1.3.2.cmml"><mi id="S2.SS3.p1.1.m1.6.6.1.1.3.2.2" xref="S2.SS3.p1.1.m1.6.6.1.1.3.2.2.cmml">P</mi><mrow id="S2.SS3.p1.1.m1.1.1.1" xref="S2.SS3.p1.1.m1.1.1.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.SS3.p1.1.m1.1.1.1a" xref="S2.SS3.p1.1.m1.1.1.1.cmml"><mo id="S2.SS3.p1.1.m1.1.1.1b" xref="S2.SS3.p1.1.m1.1.1.1.cmml">−</mo></mpadded><mfrac id="S2.SS3.p1.1.m1.1.1.1.3" xref="S2.SS3.p1.1.m1.1.1.1.3.cmml"><mn id="S2.SS3.p1.1.m1.1.1.1.3.2" xref="S2.SS3.p1.1.m1.1.1.1.3.2.cmml">1</mn><mn id="S2.SS3.p1.1.m1.1.1.1.3.3" xref="S2.SS3.p1.1.m1.1.1.1.3.3.cmml">2</mn></mfrac></mrow></msup><mo lspace="0em" rspace="0em" id="S2.SS3.p1.1.m1.6.6.1.1.3.1" xref="S2.SS3.p1.1.m1.6.6.1.1.3.1.cmml">​</mo><msub id="S2.SS3.p1.1.m1.6.6.1.1.3.3" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.cmml"><mi id="S2.SS3.p1.1.m1.6.6.1.1.3.3.2" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.2.cmml">θ</mi><mrow id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.cmml"><mi id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.2" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.2.cmml">i</mi><mo id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.1" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.1.cmml">+</mo><mn id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.3" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.3.cmml">1</mn></mrow></msub></mrow><mo id="S2.SS3.p1.1.m1.6.6.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.2.cmml">=</mo><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.cmml"><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.3" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.cmml"><msup id="S2.SS3.p1.1.m1.6.6.1.1.1.3.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.2.cmml"><mi id="S2.SS3.p1.1.m1.6.6.1.1.1.3.2.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.2.2.cmml">P</mi><mrow id="S2.SS3.p1.1.m1.2.2.1" xref="S2.SS3.p1.1.m1.2.2.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.SS3.p1.1.m1.2.2.1a" xref="S2.SS3.p1.1.m1.2.2.1.cmml"><mo id="S2.SS3.p1.1.m1.2.2.1b" xref="S2.SS3.p1.1.m1.2.2.1.cmml">−</mo></mpadded><mfrac id="S2.SS3.p1.1.m1.2.2.1.3" xref="S2.SS3.p1.1.m1.2.2.1.3.cmml"><mn id="S2.SS3.p1.1.m1.2.2.1.3.2" xref="S2.SS3.p1.1.m1.2.2.1.3.2.cmml">1</mn><mn id="S2.SS3.p1.1.m1.2.2.1.3.3" xref="S2.SS3.p1.1.m1.2.2.1.3.3.cmml">2</mn></mfrac></mrow></msup><mo lspace="0em" rspace="0em" id="S2.SS3.p1.1.m1.6.6.1.1.1.3.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.1.cmml">​</mo><msub id="S2.SS3.p1.1.m1.6.6.1.1.1.3.3" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.cmml"><mi id="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.2.cmml">θ</mi><mi id="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.3" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.3.cmml">i</mi></msub></mrow><mo id="S2.SS3.p1.1.m1.6.6.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.2.cmml">−</mo><msub id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.2.cmml"><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.2.cmml"><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.cmml"><mi id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.3" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.cmml"><mo rspace="0em" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.2.cmml">∂</mo><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.cmml"><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.cmml"><mover accent="true" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.2.cmml">ℒ</mi><mo id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.1.cmml">​</mo><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.3.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.cmml"><mo stretchy="false" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.3.2.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.cmml">(</mo><mi id="S2.SS3.p1.1.m1.4.4" xref="S2.SS3.p1.1.m1.4.4.cmml">θ</mi><mo stretchy="false" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.3.2.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.cmml">)</mo></mrow></mrow><mo id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.2.cmml">/</mo><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.cmml"><mo lspace="0em" rspace="0em" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.2.cmml">∂</mo><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><msup id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml">P</mi><mrow id="S2.SS3.p1.1.m1.3.3.1" xref="S2.SS3.p1.1.m1.3.3.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.SS3.p1.1.m1.3.3.1a" xref="S2.SS3.p1.1.m1.3.3.1.cmml"><mo id="S2.SS3.p1.1.m1.3.3.1b" xref="S2.SS3.p1.1.m1.3.3.1.cmml">−</mo></mpadded><mfrac id="S2.SS3.p1.1.m1.3.3.1.3" xref="S2.SS3.p1.1.m1.3.3.1.3.cmml"><mn id="S2.SS3.p1.1.m1.3.3.1.3.2" xref="S2.SS3.p1.1.m1.3.3.1.3.2.cmml">1</mn><mn id="S2.SS3.p1.1.m1.3.3.1.3.3" xref="S2.SS3.p1.1.m1.3.3.1.3.3.cmml">2</mn></mfrac></mrow></msup><mo lspace="0em" rspace="0em" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">θ</mi></mrow><mo stretchy="false" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><mo id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.2.1.cmml">|</mo></mrow><mrow id="S2.SS3.p1.1.m1.5.5.1" xref="S2.SS3.p1.1.m1.5.5.1.cmml"><mi id="S2.SS3.p1.1.m1.5.5.1.2" xref="S2.SS3.p1.1.m1.5.5.1.2.cmml">θ</mi><mo id="S2.SS3.p1.1.m1.5.5.1.1" xref="S2.SS3.p1.1.m1.5.5.1.1.cmml">=</mo><msub id="S2.SS3.p1.1.m1.5.5.1.3" xref="S2.SS3.p1.1.m1.5.5.1.3.cmml"><mi id="S2.SS3.p1.1.m1.5.5.1.3.2" xref="S2.SS3.p1.1.m1.5.5.1.3.2.cmml">θ</mi><mi id="S2.SS3.p1.1.m1.5.5.1.3.3" xref="S2.SS3.p1.1.m1.5.5.1.3.3.cmml">i</mi></msub></mrow></msub></mrow></mrow><mo id="S2.SS3.p1.1.m1.6.6.1.2" xref="S2.SS3.p1.1.m1.6.6.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S2.SS3.p1.1.m1.6b"><apply id="S2.SS3.p1.1.m1.6.6.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1"><eq id="S2.SS3.p1.1.m1.6.6.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.2"></eq><apply id="S2.SS3.p1.1.m1.6.6.1.1.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3"><times id="S2.SS3.p1.1.m1.6.6.1.1.3.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.1"></times><apply id="S2.SS3.p1.1.m1.6.6.1.1.3.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.2"><csymbol cd="ambiguous" id="S2.SS3.p1.1.m1.6.6.1.1.3.2.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.2">superscript</csymbol><ci id="S2.SS3.p1.1.m1.6.6.1.1.3.2.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.2.2">𝑃</ci><apply id="S2.SS3.p1.1.m1.1.1.1.cmml" xref="S2.SS3.p1.1.m1.1.1.1"><minus id="S2.SS3.p1.1.m1.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.1.1.1"></minus><apply id="S2.SS3.p1.1.m1.1.1.1.3.cmml" xref="S2.SS3.p1.1.m1.1.1.1.3"><divide id="S2.SS3.p1.1.m1.1.1.1.3.1.cmml" xref="S2.SS3.p1.1.m1.1.1.1.3"></divide><cn type="integer" id="S2.SS3.p1.1.m1.1.1.1.3.2.cmml" xref="S2.SS3.p1.1.m1.1.1.1.3.2">1</cn><cn type="integer" id="S2.SS3.p1.1.m1.1.1.1.3.3.cmml" xref="S2.SS3.p1.1.m1.1.1.1.3.3">2</cn></apply></apply></apply><apply id="S2.SS3.p1.1.m1.6.6.1.1.3.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3"><csymbol cd="ambiguous" id="S2.SS3.p1.1.m1.6.6.1.1.3.3.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3">subscript</csymbol><ci id="S2.SS3.p1.1.m1.6.6.1.1.3.3.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.2">𝜃</ci><apply id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3"><plus id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.1"></plus><ci id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.2">𝑖</ci><cn type="integer" id="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.3.3.3.3">1</cn></apply></apply></apply><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1"><minus id="S2.SS3.p1.1.m1.6.6.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.2"></minus><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3"><times id="S2.SS3.p1.1.m1.6.6.1.1.1.3.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.1"></times><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.3.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.2"><csymbol cd="ambiguous" id="S2.SS3.p1.1.m1.6.6.1.1.1.3.2.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.2">superscript</csymbol><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.3.2.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.2.2">𝑃</ci><apply id="S2.SS3.p1.1.m1.2.2.1.cmml" xref="S2.SS3.p1.1.m1.2.2.1"><minus id="S2.SS3.p1.1.m1.2.2.1.2.cmml" xref="S2.SS3.p1.1.m1.2.2.1"></minus><apply id="S2.SS3.p1.1.m1.2.2.1.3.cmml" xref="S2.SS3.p1.1.m1.2.2.1.3"><divide id="S2.SS3.p1.1.m1.2.2.1.3.1.cmml" xref="S2.SS3.p1.1.m1.2.2.1.3"></divide><cn type="integer" id="S2.SS3.p1.1.m1.2.2.1.3.2.cmml" xref="S2.SS3.p1.1.m1.2.2.1.3.2">1</cn><cn type="integer" id="S2.SS3.p1.1.m1.2.2.1.3.3.cmml" xref="S2.SS3.p1.1.m1.2.2.1.3.3">2</cn></apply></apply></apply><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.3"><csymbol cd="ambiguous" id="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.3">subscript</csymbol><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.2">𝜃</ci><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.3.3.3">𝑖</ci></apply></apply><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1"><csymbol cd="latexml" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.2.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.2">evaluated-at</csymbol><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1"><times id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.2"></times><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.3">𝜇</ci><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1"><partialdiff id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.2"></partialdiff><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1"><divide id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.2"></divide><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3"><times id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.1"></times><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2"><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.1">^</ci><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.3.2.2">ℒ</ci></apply><ci id="S2.SS3.p1.1.m1.4.4.cmml" xref="S2.SS3.p1.1.m1.4.4">𝜃</ci></apply><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1"><partialdiff id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.2"></partialdiff><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1"><times id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.2.2">𝑃</ci><apply id="S2.SS3.p1.1.m1.3.3.1.cmml" xref="S2.SS3.p1.1.m1.3.3.1"><minus id="S2.SS3.p1.1.m1.3.3.1.2.cmml" xref="S2.SS3.p1.1.m1.3.3.1"></minus><apply id="S2.SS3.p1.1.m1.3.3.1.3.cmml" xref="S2.SS3.p1.1.m1.3.3.1.3"><divide id="S2.SS3.p1.1.m1.3.3.1.3.1.cmml" xref="S2.SS3.p1.1.m1.3.3.1.3"></divide><cn type="integer" id="S2.SS3.p1.1.m1.3.3.1.3.2.cmml" xref="S2.SS3.p1.1.m1.3.3.1.3.2">1</cn><cn type="integer" id="S2.SS3.p1.1.m1.3.3.1.3.3.cmml" xref="S2.SS3.p1.1.m1.3.3.1.3.3">2</cn></apply></apply></apply><ci id="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S2.SS3.p1.1.m1.6.6.1.1.1.1.1.1.1.1.1.1.1.1.1.3">𝜃</ci></apply></apply></apply></apply></apply><apply id="S2.SS3.p1.1.m1.5.5.1.cmml" xref="S2.SS3.p1.1.m1.5.5.1"><eq id="S2.SS3.p1.1.m1.5.5.1.1.cmml" xref="S2.SS3.p1.1.m1.5.5.1.1"></eq><ci id="S2.SS3.p1.1.m1.5.5.1.2.cmml" xref="S2.SS3.p1.1.m1.5.5.1.2">𝜃</ci><apply id="S2.SS3.p1.1.m1.5.5.1.3.cmml" xref="S2.SS3.p1.1.m1.5.5.1.3"><csymbol cd="ambiguous" id="S2.SS3.p1.1.m1.5.5.1.3.1.cmml" xref="S2.SS3.p1.1.m1.5.5.1.3">subscript</csymbol><ci id="S2.SS3.p1.1.m1.5.5.1.3.2.cmml" xref="S2.SS3.p1.1.m1.5.5.1.3.2">𝜃</ci><ci id="S2.SS3.p1.1.m1.5.5.1.3.3.cmml" xref="S2.SS3.p1.1.m1.5.5.1.3.3">𝑖</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS3.p1.1.m1.6c">P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta_{i+1}=P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta_{i}-\mu{\partial{\cal{\hat{L}}}(\theta)}/{\partial(P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta)}\left.\right|_{\theta=\theta_{i}},</annotation></semantics></math>
it is clear that a preconditioned <span id="S2.SS3.p1.6.1" class="ltx_text ltx_font_smallcaps">SGD</span> is equivalent to <span id="S2.SS3.p1.6.2" class="ltx_text ltx_font_smallcaps">SGD</span> in a new set of coordinates defined by <math id="S2.SS3.p1.2.m2.1" class="ltx_Math" alttext="\vartheta=P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta" display="inline"><semantics id="S2.SS3.p1.2.m2.1a"><mrow id="S2.SS3.p1.2.m2.1.2" xref="S2.SS3.p1.2.m2.1.2.cmml"><mi id="S2.SS3.p1.2.m2.1.2.2" xref="S2.SS3.p1.2.m2.1.2.2.cmml">ϑ</mi><mo id="S2.SS3.p1.2.m2.1.2.1" xref="S2.SS3.p1.2.m2.1.2.1.cmml">=</mo><mrow id="S2.SS3.p1.2.m2.1.2.3" xref="S2.SS3.p1.2.m2.1.2.3.cmml"><msup id="S2.SS3.p1.2.m2.1.2.3.2" xref="S2.SS3.p1.2.m2.1.2.3.2.cmml"><mi id="S2.SS3.p1.2.m2.1.2.3.2.2" xref="S2.SS3.p1.2.m2.1.2.3.2.2.cmml">P</mi><mrow id="S2.SS3.p1.2.m2.1.1.1" xref="S2.SS3.p1.2.m2.1.1.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.SS3.p1.2.m2.1.1.1a" xref="S2.SS3.p1.2.m2.1.1.1.cmml"><mo id="S2.SS3.p1.2.m2.1.1.1b" xref="S2.SS3.p1.2.m2.1.1.1.cmml">−</mo></mpadded><mfrac id="S2.SS3.p1.2.m2.1.1.1.3" xref="S2.SS3.p1.2.m2.1.1.1.3.cmml"><mn id="S2.SS3.p1.2.m2.1.1.1.3.2" xref="S2.SS3.p1.2.m2.1.1.1.3.2.cmml">1</mn><mn id="S2.SS3.p1.2.m2.1.1.1.3.3" xref="S2.SS3.p1.2.m2.1.1.1.3.3.cmml">2</mn></mfrac></mrow></msup><mo lspace="0em" rspace="0em" id="S2.SS3.p1.2.m2.1.2.3.1" xref="S2.SS3.p1.2.m2.1.2.3.1.cmml">​</mo><mi id="S2.SS3.p1.2.m2.1.2.3.3" xref="S2.SS3.p1.2.m2.1.2.3.3.cmml">θ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS3.p1.2.m2.1b"><apply id="S2.SS3.p1.2.m2.1.2.cmml" xref="S2.SS3.p1.2.m2.1.2"><eq id="S2.SS3.p1.2.m2.1.2.1.cmml" xref="S2.SS3.p1.2.m2.1.2.1"></eq><ci id="S2.SS3.p1.2.m2.1.2.2.cmml" xref="S2.SS3.p1.2.m2.1.2.2">italic-ϑ</ci><apply id="S2.SS3.p1.2.m2.1.2.3.cmml" xref="S2.SS3.p1.2.m2.1.2.3"><times id="S2.SS3.p1.2.m2.1.2.3.1.cmml" xref="S2.SS3.p1.2.m2.1.2.3.1"></times><apply id="S2.SS3.p1.2.m2.1.2.3.2.cmml" xref="S2.SS3.p1.2.m2.1.2.3.2"><csymbol cd="ambiguous" id="S2.SS3.p1.2.m2.1.2.3.2.1.cmml" xref="S2.SS3.p1.2.m2.1.2.3.2">superscript</csymbol><ci id="S2.SS3.p1.2.m2.1.2.3.2.2.cmml" xref="S2.SS3.p1.2.m2.1.2.3.2.2">𝑃</ci><apply id="S2.SS3.p1.2.m2.1.1.1.cmml" xref="S2.SS3.p1.2.m2.1.1.1"><minus id="S2.SS3.p1.2.m2.1.1.1.2.cmml" xref="S2.SS3.p1.2.m2.1.1.1"></minus><apply id="S2.SS3.p1.2.m2.1.1.1.3.cmml" xref="S2.SS3.p1.2.m2.1.1.1.3"><divide id="S2.SS3.p1.2.m2.1.1.1.3.1.cmml" xref="S2.SS3.p1.2.m2.1.1.1.3"></divide><cn type="integer" id="S2.SS3.p1.2.m2.1.1.1.3.2.cmml" xref="S2.SS3.p1.2.m2.1.1.1.3.2">1</cn><cn type="integer" id="S2.SS3.p1.2.m2.1.1.1.3.3.cmml" xref="S2.SS3.p1.2.m2.1.1.1.3.3">2</cn></apply></apply></apply><ci id="S2.SS3.p1.2.m2.1.2.3.3.cmml" xref="S2.SS3.p1.2.m2.1.2.3.3">𝜃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS3.p1.2.m2.1c">\vartheta=P^{\scalebox{0.5}[1.0]{$-$}\frac{1}{2}}\theta</annotation></semantics></math>.
This coordinate change consists of rotations &amp; scalings, i.e., operations on the orthogonal group <math id="S2.SS3.p1.3.m3.1" class="ltx_Math" alttext="O(n)" display="inline"><semantics id="S2.SS3.p1.3.m3.1a"><mrow id="S2.SS3.p1.3.m3.1.2" xref="S2.SS3.p1.3.m3.1.2.cmml"><mi id="S2.SS3.p1.3.m3.1.2.2" xref="S2.SS3.p1.3.m3.1.2.2.cmml">O</mi><mo lspace="0em" rspace="0em" id="S2.SS3.p1.3.m3.1.2.1" xref="S2.SS3.p1.3.m3.1.2.1.cmml">​</mo><mrow id="S2.SS3.p1.3.m3.1.2.3.2" xref="S2.SS3.p1.3.m3.1.2.cmml"><mo stretchy="false" id="S2.SS3.p1.3.m3.1.2.3.2.1" xref="S2.SS3.p1.3.m3.1.2.cmml">(</mo><mi id="S2.SS3.p1.3.m3.1.1" xref="S2.SS3.p1.3.m3.1.1.cmml">n</mi><mo stretchy="false" id="S2.SS3.p1.3.m3.1.2.3.2.2" xref="S2.SS3.p1.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS3.p1.3.m3.1b"><apply id="S2.SS3.p1.3.m3.1.2.cmml" xref="S2.SS3.p1.3.m3.1.2"><times id="S2.SS3.p1.3.m3.1.2.1.cmml" xref="S2.SS3.p1.3.m3.1.2.1"></times><ci id="S2.SS3.p1.3.m3.1.2.2.cmml" xref="S2.SS3.p1.3.m3.1.2.2">𝑂</ci><ci id="S2.SS3.p1.3.m3.1.1.cmml" xref="S2.SS3.p1.3.m3.1.1">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS3.p1.3.m3.1c">O(n)</annotation></semantics></math> &amp; the group of nonsingular diagonal matrices.
We can represent this coordinate transform with matrix <math id="S2.SS3.p1.4.m4.1" class="ltx_Math" alttext="Q^{\scalebox{0.5}[1.0]{$-$}1}" display="inline"><semantics id="S2.SS3.p1.4.m4.1a"><msup id="S2.SS3.p1.4.m4.1.2" xref="S2.SS3.p1.4.m4.1.2.cmml"><mi id="S2.SS3.p1.4.m4.1.2.2" xref="S2.SS3.p1.4.m4.1.2.2.cmml">Q</mi><mrow id="S2.SS3.p1.4.m4.1.1.1" xref="S2.SS3.p1.4.m4.1.1.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="S2.SS3.p1.4.m4.1.1.1a" xref="S2.SS3.p1.4.m4.1.1.1.cmml"><mo id="S2.SS3.p1.4.m4.1.1.1b" xref="S2.SS3.p1.4.m4.1.1.1.cmml">−</mo></mpadded><mn id="S2.SS3.p1.4.m4.1.1.1.3" xref="S2.SS3.p1.4.m4.1.1.1.3.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S2.SS3.p1.4.m4.1b"><apply id="S2.SS3.p1.4.m4.1.2.cmml" xref="S2.SS3.p1.4.m4.1.2"><csymbol cd="ambiguous" id="S2.SS3.p1.4.m4.1.2.1.cmml" xref="S2.SS3.p1.4.m4.1.2">superscript</csymbol><ci id="S2.SS3.p1.4.m4.1.2.2.cmml" xref="S2.SS3.p1.4.m4.1.2.2">𝑄</ci><apply id="S2.SS3.p1.4.m4.1.1.1.cmml" xref="S2.SS3.p1.4.m4.1.1.1"><minus id="S2.SS3.p1.4.m4.1.1.1.2.cmml" xref="S2.SS3.p1.4.m4.1.1.1"></minus><cn type="integer" id="S2.SS3.p1.4.m4.1.1.1.3.cmml" xref="S2.SS3.p1.4.m4.1.1.1.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS3.p1.4.m4.1c">Q^{\scalebox{0.5}[1.0]{$-$}1}</annotation></semantics></math> &amp;, accordingly, <math id="S2.SS3.p1.5.m5.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="S2.SS3.p1.5.m5.1a"><mrow id="S2.SS3.p1.5.m5.1.1" xref="S2.SS3.p1.5.m5.1.1.cmml"><mi id="S2.SS3.p1.5.m5.1.1.2" xref="S2.SS3.p1.5.m5.1.1.2.cmml">P</mi><mo id="S2.SS3.p1.5.m5.1.1.1" xref="S2.SS3.p1.5.m5.1.1.1.cmml">=</mo><mrow id="S2.SS3.p1.5.m5.1.1.3" xref="S2.SS3.p1.5.m5.1.1.3.cmml"><msup id="S2.SS3.p1.5.m5.1.1.3.2" xref="S2.SS3.p1.5.m5.1.1.3.2.cmml"><mi id="S2.SS3.p1.5.m5.1.1.3.2.2" xref="S2.SS3.p1.5.m5.1.1.3.2.2.cmml">Q</mi><mi id="S2.SS3.p1.5.m5.1.1.3.2.3" xref="S2.SS3.p1.5.m5.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S2.SS3.p1.5.m5.1.1.3.1" xref="S2.SS3.p1.5.m5.1.1.3.1.cmml">​</mo><mi id="S2.SS3.p1.5.m5.1.1.3.3" xref="S2.SS3.p1.5.m5.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.SS3.p1.5.m5.1b"><apply id="S2.SS3.p1.5.m5.1.1.cmml" xref="S2.SS3.p1.5.m5.1.1"><eq id="S2.SS3.p1.5.m5.1.1.1.cmml" xref="S2.SS3.p1.5.m5.1.1.1"></eq><ci id="S2.SS3.p1.5.m5.1.1.2.cmml" xref="S2.SS3.p1.5.m5.1.1.2">𝑃</ci><apply id="S2.SS3.p1.5.m5.1.1.3.cmml" xref="S2.SS3.p1.5.m5.1.1.3"><times id="S2.SS3.p1.5.m5.1.1.3.1.cmml" xref="S2.SS3.p1.5.m5.1.1.3.1"></times><apply id="S2.SS3.p1.5.m5.1.1.3.2.cmml" xref="S2.SS3.p1.5.m5.1.1.3.2"><csymbol cd="ambiguous" id="S2.SS3.p1.5.m5.1.1.3.2.1.cmml" xref="S2.SS3.p1.5.m5.1.1.3.2">superscript</csymbol><ci id="S2.SS3.p1.5.m5.1.1.3.2.2.cmml" xref="S2.SS3.p1.5.m5.1.1.3.2.2">𝑄</ci><ci id="S2.SS3.p1.5.m5.1.1.3.2.3.cmml" xref="S2.SS3.p1.5.m5.1.1.3.2.3">𝑇</ci></apply><ci id="S2.SS3.p1.5.m5.1.1.3.3.cmml" xref="S2.SS3.p1.5.m5.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.SS3.p1.5.m5.1c">P=Q^{T}Q</annotation></semantics></math>.
Thus, we pursue a variable <math id="S2.SS3.p1.6.m6.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S2.SS3.p1.6.m6.1a"><mi id="S2.SS3.p1.6.m6.1.1" xref="S2.SS3.p1.6.m6.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S2.SS3.p1.6.m6.1b"><ci id="S2.SS3.p1.6.m6.1.1.cmml" xref="S2.SS3.p1.6.m6.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.SS3.p1.6.m6.1c">Q</annotation></semantics></math> on the Lie group to fit it.</p>
</div>
<div id="S2.SS3.p2" class="ltx_para">
<p id="S2.SS3.p2.1" class="ltx_p">Second, <span id="S2.SS3.p2.1.1" class="ltx_text ltx_font_smallcaps">PSGD</span> can also be viewed as <span id="S2.SS3.p2.1.2" class="ltx_text ltx_font_smallcaps">SGD</span> with transformed features when the parameters to be learned are a list of affine transform matrices <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib25" title="" class="ltx_ref">2019</a>]</cite>.
Specifically, the most commonly used feature transformations (e.g., whitening, normalization, &amp; scaling) can be represented as matrices on the affine groups.
For example, the popular batch normalization <cite class="ltx_cite ltx_citemacro_citep">[Ioffe and Szegedy, <a href="#bib.bib16" title="" class="ltx_ref">2015</a>]</cite>, layer normalization <cite class="ltx_cite ltx_citemacro_citep">[Ba et al., <a href="#bib.bib3" title="" class="ltx_ref">2016</a>]</cite>, &amp; group normalization <cite class="ltx_cite ltx_citemacro_citep">[Wu and He, <a href="#bib.bib45" title="" class="ltx_ref">2018</a>]</cite> can be represented as a sparse affine Lie group matrix where only the diagonal &amp; last column can have nonzero values <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib25" title="" class="ltx_ref">2019</a>]</cite> (See Appendix <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:coro:matrixfree</span>). The decorrelated batch normalization <cite class="ltx_cite ltx_citemacro_citep">[Huang et al., <a href="#bib.bib15" title="" class="ltx_ref">2018</a>]</cite> is related to the whitening affine preconditioner in <cite class="ltx_cite ltx_citemacro_citet">Li [<a href="#bib.bib25" title="" class="ltx_ref">2019</a>]</cite>. Thus, the Lie group arises as a natural object to work with.</p>
</div>
</section>
</section>
<section id="S3" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">3 </span>General Lie Group Preconditioners</h2>

<div id="S3.p1" class="ltx_para">
<p id="S3.p1.1" class="ltx_p">Here we discuss relevant Lie groups properties, PSGD convergence &amp; present two novel Lie group preconditioners.</p>
</div>
<section id="S3.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.1 </span>Properties and Convergence of PSGD</h3>

<div id="S3.SS1.p1" class="ltx_para">
<p id="S3.SS1.p1.4" class="ltx_p">Lie groups have two properties that are particularly suitable for our task. Like any group, a specific Lie group preserves certain symmetries or invariances.
For example, with <math id="S3.SS1.p1.1.m1.2" class="ltx_Math" alttext="Q\in GL^{+}(n,\mathbb{R})" display="inline"><semantics id="S3.SS1.p1.1.m1.2a"><mrow id="S3.SS1.p1.1.m1.2.3" xref="S3.SS1.p1.1.m1.2.3.cmml"><mi id="S3.SS1.p1.1.m1.2.3.2" xref="S3.SS1.p1.1.m1.2.3.2.cmml">Q</mi><mo id="S3.SS1.p1.1.m1.2.3.1" xref="S3.SS1.p1.1.m1.2.3.1.cmml">∈</mo><mrow id="S3.SS1.p1.1.m1.2.3.3" xref="S3.SS1.p1.1.m1.2.3.3.cmml"><mi id="S3.SS1.p1.1.m1.2.3.3.2" xref="S3.SS1.p1.1.m1.2.3.3.2.cmml">G</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p1.1.m1.2.3.3.1" xref="S3.SS1.p1.1.m1.2.3.3.1.cmml">​</mo><msup id="S3.SS1.p1.1.m1.2.3.3.3" xref="S3.SS1.p1.1.m1.2.3.3.3.cmml"><mi id="S3.SS1.p1.1.m1.2.3.3.3.2" xref="S3.SS1.p1.1.m1.2.3.3.3.2.cmml">L</mi><mo id="S3.SS1.p1.1.m1.2.3.3.3.3" xref="S3.SS1.p1.1.m1.2.3.3.3.3.cmml">+</mo></msup><mo lspace="0em" rspace="0em" id="S3.SS1.p1.1.m1.2.3.3.1a" xref="S3.SS1.p1.1.m1.2.3.3.1.cmml">​</mo><mrow id="S3.SS1.p1.1.m1.2.3.3.4.2" xref="S3.SS1.p1.1.m1.2.3.3.4.1.cmml"><mo stretchy="false" id="S3.SS1.p1.1.m1.2.3.3.4.2.1" xref="S3.SS1.p1.1.m1.2.3.3.4.1.cmml">(</mo><mi id="S3.SS1.p1.1.m1.1.1" xref="S3.SS1.p1.1.m1.1.1.cmml">n</mi><mo id="S3.SS1.p1.1.m1.2.3.3.4.2.2" xref="S3.SS1.p1.1.m1.2.3.3.4.1.cmml">,</mo><mi id="S3.SS1.p1.1.m1.2.2" xref="S3.SS1.p1.1.m1.2.2.cmml">ℝ</mi><mo stretchy="false" id="S3.SS1.p1.1.m1.2.3.3.4.2.3" xref="S3.SS1.p1.1.m1.2.3.3.4.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.1.m1.2b"><apply id="S3.SS1.p1.1.m1.2.3.cmml" xref="S3.SS1.p1.1.m1.2.3"><in id="S3.SS1.p1.1.m1.2.3.1.cmml" xref="S3.SS1.p1.1.m1.2.3.1"></in><ci id="S3.SS1.p1.1.m1.2.3.2.cmml" xref="S3.SS1.p1.1.m1.2.3.2">𝑄</ci><apply id="S3.SS1.p1.1.m1.2.3.3.cmml" xref="S3.SS1.p1.1.m1.2.3.3"><times id="S3.SS1.p1.1.m1.2.3.3.1.cmml" xref="S3.SS1.p1.1.m1.2.3.3.1"></times><ci id="S3.SS1.p1.1.m1.2.3.3.2.cmml" xref="S3.SS1.p1.1.m1.2.3.3.2">𝐺</ci><apply id="S3.SS1.p1.1.m1.2.3.3.3.cmml" xref="S3.SS1.p1.1.m1.2.3.3.3"><csymbol cd="ambiguous" id="S3.SS1.p1.1.m1.2.3.3.3.1.cmml" xref="S3.SS1.p1.1.m1.2.3.3.3">superscript</csymbol><ci id="S3.SS1.p1.1.m1.2.3.3.3.2.cmml" xref="S3.SS1.p1.1.m1.2.3.3.3.2">𝐿</ci><plus id="S3.SS1.p1.1.m1.2.3.3.3.3.cmml" xref="S3.SS1.p1.1.m1.2.3.3.3.3"></plus></apply><interval closure="open" id="S3.SS1.p1.1.m1.2.3.3.4.1.cmml" xref="S3.SS1.p1.1.m1.2.3.3.4.2"><ci id="S3.SS1.p1.1.m1.1.1.cmml" xref="S3.SS1.p1.1.m1.1.1">𝑛</ci><ci id="S3.SS1.p1.1.m1.2.2.cmml" xref="S3.SS1.p1.1.m1.2.2">ℝ</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.1.m1.2c">Q\in GL^{+}(n,\mathbb{R})</annotation></semantics></math>, the general linear group with positive determinant, <math id="S3.SS1.p1.2.m2.1" class="ltx_Math" alttext="\vartheta" display="inline"><semantics id="S3.SS1.p1.2.m2.1a"><mi id="S3.SS1.p1.2.m2.1.1" xref="S3.SS1.p1.2.m2.1.1.cmml">ϑ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.2.m2.1b"><ci id="S3.SS1.p1.2.m2.1.1.cmml" xref="S3.SS1.p1.2.m2.1.1">italic-ϑ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.2.m2.1c">\vartheta</annotation></semantics></math> &amp; <math id="S3.SS1.p1.3.m3.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S3.SS1.p1.3.m3.1a"><mi id="S3.SS1.p1.3.m3.1.1" xref="S3.SS1.p1.3.m3.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.3.m3.1b"><ci id="S3.SS1.p1.3.m3.1.1.cmml" xref="S3.SS1.p1.3.m3.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.3.m3.1c">\theta</annotation></semantics></math> will always have the same orientation.
This eliminates the need for damping to avoid degenerate solutions, since <math id="S3.SS1.p1.4.m4.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="S3.SS1.p1.4.m4.1a"><mrow id="S3.SS1.p1.4.m4.1.1" xref="S3.SS1.p1.4.m4.1.1.cmml"><mi id="S3.SS1.p1.4.m4.1.1.2" xref="S3.SS1.p1.4.m4.1.1.2.cmml">P</mi><mo id="S3.SS1.p1.4.m4.1.1.1" xref="S3.SS1.p1.4.m4.1.1.1.cmml">=</mo><mrow id="S3.SS1.p1.4.m4.1.1.3" xref="S3.SS1.p1.4.m4.1.1.3.cmml"><msup id="S3.SS1.p1.4.m4.1.1.3.2" xref="S3.SS1.p1.4.m4.1.1.3.2.cmml"><mi id="S3.SS1.p1.4.m4.1.1.3.2.2" xref="S3.SS1.p1.4.m4.1.1.3.2.2.cmml">Q</mi><mi id="S3.SS1.p1.4.m4.1.1.3.2.3" xref="S3.SS1.p1.4.m4.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS1.p1.4.m4.1.1.3.1" xref="S3.SS1.p1.4.m4.1.1.3.1.cmml">​</mo><mi id="S3.SS1.p1.4.m4.1.1.3.3" xref="S3.SS1.p1.4.m4.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p1.4.m4.1b"><apply id="S3.SS1.p1.4.m4.1.1.cmml" xref="S3.SS1.p1.4.m4.1.1"><eq id="S3.SS1.p1.4.m4.1.1.1.cmml" xref="S3.SS1.p1.4.m4.1.1.1"></eq><ci id="S3.SS1.p1.4.m4.1.1.2.cmml" xref="S3.SS1.p1.4.m4.1.1.2">𝑃</ci><apply id="S3.SS1.p1.4.m4.1.1.3.cmml" xref="S3.SS1.p1.4.m4.1.1.3"><times id="S3.SS1.p1.4.m4.1.1.3.1.cmml" xref="S3.SS1.p1.4.m4.1.1.3.1"></times><apply id="S3.SS1.p1.4.m4.1.1.3.2.cmml" xref="S3.SS1.p1.4.m4.1.1.3.2"><csymbol cd="ambiguous" id="S3.SS1.p1.4.m4.1.1.3.2.1.cmml" xref="S3.SS1.p1.4.m4.1.1.3.2">superscript</csymbol><ci id="S3.SS1.p1.4.m4.1.1.3.2.2.cmml" xref="S3.SS1.p1.4.m4.1.1.3.2.2">𝑄</ci><ci id="S3.SS1.p1.4.m4.1.1.3.2.3.cmml" xref="S3.SS1.p1.4.m4.1.1.3.2.3">𝑇</ci></apply><ci id="S3.SS1.p1.4.m4.1.1.3.3.cmml" xref="S3.SS1.p1.4.m4.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p1.4.m4.1c">P=Q^{T}Q</annotation></semantics></math> is guaranteed to be invertible.
The equivariance property of Lie groups further facilitates the preconditioner fitting.
The same group generator, i.e., the one at the identity matrix, is used to move a preconditioner on any point of the Lie group.</p>
</div>
<div id="S3.SS1.p2" class="ltx_para">
<p id="S3.SS1.p2.1" class="ltx_p">In fact, the preconditioner <math id="S3.SS1.p2.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S3.SS1.p2.1.m1.1a"><mi id="S3.SS1.p2.1.m1.1.1" xref="S3.SS1.p2.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.1.m1.1b"><ci id="S3.SS1.p2.1.m1.1.1.cmml" xref="S3.SS1.p2.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.1.m1.1c">P</annotation></semantics></math> estimated by PSGD converges to the inverse of “absolute” Hessian regardless of the definiteness of Hessian. From this, one can show that the parameters converge following the established results in open literature. For more details &amp; proof see <a href="#A1" title="Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">A</span></a>. Note that the following statements are general to PSGD.</p>
</div>
<div id="S3.Thmprop1" class="ltx_theorem ltx_theorem_prop">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="S3.Thmprop1.1.1.1" class="ltx_text ltx_font_bold">Proposition 3.1</span></span><span id="S3.Thmprop1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="S3.Thmprop1.p1" class="ltx_para">
<p id="S3.Thmprop1.p1.8" class="ltx_p"><span id="S3.Thmprop1.p1.8.8" class="ltx_text ltx_font_italic">Assume that <math id="S3.Thmprop1.p1.1.1.m1.1" class="ltx_Math" alttext="H" display="inline"><semantics id="S3.Thmprop1.p1.1.1.m1.1a"><mi id="S3.Thmprop1.p1.1.1.m1.1.1" xref="S3.Thmprop1.p1.1.1.m1.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.1.1.m1.1b"><ci id="S3.Thmprop1.p1.1.1.m1.1.1.cmml" xref="S3.Thmprop1.p1.1.1.m1.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.1.1.m1.1c">H</annotation></semantics></math> is invertible, &amp; <math id="S3.Thmprop1.p1.2.2.m2.1" class="ltx_Math" alttext="dQ=-\mu\frac{\partial c}{\partial Q}" display="inline"><semantics id="S3.Thmprop1.p1.2.2.m2.1a"><mrow id="S3.Thmprop1.p1.2.2.m2.1.1" xref="S3.Thmprop1.p1.2.2.m2.1.1.cmml"><mrow id="S3.Thmprop1.p1.2.2.m2.1.1.2" xref="S3.Thmprop1.p1.2.2.m2.1.1.2.cmml"><mi id="S3.Thmprop1.p1.2.2.m2.1.1.2.2" xref="S3.Thmprop1.p1.2.2.m2.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="S3.Thmprop1.p1.2.2.m2.1.1.2.1" xref="S3.Thmprop1.p1.2.2.m2.1.1.2.1.cmml">​</mo><mi id="S3.Thmprop1.p1.2.2.m2.1.1.2.3" xref="S3.Thmprop1.p1.2.2.m2.1.1.2.3.cmml">Q</mi></mrow><mo id="S3.Thmprop1.p1.2.2.m2.1.1.1" xref="S3.Thmprop1.p1.2.2.m2.1.1.1.cmml">=</mo><mrow id="S3.Thmprop1.p1.2.2.m2.1.1.3" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.cmml"><mo id="S3.Thmprop1.p1.2.2.m2.1.1.3a" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.cmml">−</mo><mrow id="S3.Thmprop1.p1.2.2.m2.1.1.3.2" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.cmml"><mi id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.2" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.1" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.1.cmml">​</mo><mfrac id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.cmml"><mrow id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.cmml"><mo rspace="0em" id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.1" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.1.cmml">∂</mo><mi id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.2" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.2.cmml">c</mi></mrow><mrow id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.cmml"><mo rspace="0em" id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.1" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.1.cmml">∂</mo><mi id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.2" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.2.cmml">Q</mi></mrow></mfrac></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.2.2.m2.1b"><apply id="S3.Thmprop1.p1.2.2.m2.1.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1"><eq id="S3.Thmprop1.p1.2.2.m2.1.1.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.1"></eq><apply id="S3.Thmprop1.p1.2.2.m2.1.1.2.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.2"><times id="S3.Thmprop1.p1.2.2.m2.1.1.2.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.2.1"></times><ci id="S3.Thmprop1.p1.2.2.m2.1.1.2.2.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.2.2">𝑑</ci><ci id="S3.Thmprop1.p1.2.2.m2.1.1.2.3.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.2.3">𝑄</ci></apply><apply id="S3.Thmprop1.p1.2.2.m2.1.1.3.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3"><minus id="S3.Thmprop1.p1.2.2.m2.1.1.3.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3"></minus><apply id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2"><times id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.1"></times><ci id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.2.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.2">𝜇</ci><apply id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3"><divide id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3"></divide><apply id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2"><partialdiff id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.1"></partialdiff><ci id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.2.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.2.2">𝑐</ci></apply><apply id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3"><partialdiff id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.1.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.1"></partialdiff><ci id="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.2.cmml" xref="S3.Thmprop1.p1.2.2.m2.1.1.3.2.3.3.2">𝑄</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.2.2.m2.1c">dQ=-\mu\frac{\partial c}{\partial Q}</annotation></semantics></math> or <math id="S3.Thmprop1.p1.3.3.m3.1" class="ltx_Math" alttext="\mathcal{E}=-\mu Q^{T}\frac{\partial c}{\partial Q}" display="inline"><semantics id="S3.Thmprop1.p1.3.3.m3.1a"><mrow id="S3.Thmprop1.p1.3.3.m3.1.1" xref="S3.Thmprop1.p1.3.3.m3.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Thmprop1.p1.3.3.m3.1.1.2" xref="S3.Thmprop1.p1.3.3.m3.1.1.2.cmml">ℰ</mi><mo id="S3.Thmprop1.p1.3.3.m3.1.1.1" xref="S3.Thmprop1.p1.3.3.m3.1.1.1.cmml">=</mo><mrow id="S3.Thmprop1.p1.3.3.m3.1.1.3" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.cmml"><mo id="S3.Thmprop1.p1.3.3.m3.1.1.3a" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.cmml">−</mo><mrow id="S3.Thmprop1.p1.3.3.m3.1.1.3.2" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.cmml"><mi id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.2" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.1" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.1.cmml">​</mo><msup id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.cmml"><mi id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.2" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.2.cmml">Q</mi><mi id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.3" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.1a" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.1.cmml">​</mo><mfrac id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.cmml"><mrow id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.cmml"><mo rspace="0em" id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.1" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.1.cmml">∂</mo><mi id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.2" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.2.cmml">c</mi></mrow><mrow id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.cmml"><mo rspace="0em" id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.1" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.1.cmml">∂</mo><mi id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.2" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.2.cmml">Q</mi></mrow></mfrac></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.3.3.m3.1b"><apply id="S3.Thmprop1.p1.3.3.m3.1.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1"><eq id="S3.Thmprop1.p1.3.3.m3.1.1.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.1"></eq><ci id="S3.Thmprop1.p1.3.3.m3.1.1.2.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.2">ℰ</ci><apply id="S3.Thmprop1.p1.3.3.m3.1.1.3.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3"><minus id="S3.Thmprop1.p1.3.3.m3.1.1.3.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3"></minus><apply id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2"><times id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.1"></times><ci id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.2.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.2">𝜇</ci><apply id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3">superscript</csymbol><ci id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.2.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.2">𝑄</ci><ci id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.3.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.3.3">𝑇</ci></apply><apply id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4"><divide id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4"></divide><apply id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2"><partialdiff id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.1"></partialdiff><ci id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.2.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.2.2">𝑐</ci></apply><apply id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3"><partialdiff id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.1.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.1"></partialdiff><ci id="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.2.cmml" xref="S3.Thmprop1.p1.3.3.m3.1.1.3.2.4.3.2">𝑄</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.3.3.m3.1c">\mathcal{E}=-\mu Q^{T}\frac{\partial c}{\partial Q}</annotation></semantics></math>. Then, <math id="S3.Thmprop1.p1.4.4.m4.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.Thmprop1.p1.4.4.m4.1a"><mi id="S3.Thmprop1.p1.4.4.m4.1.1" xref="S3.Thmprop1.p1.4.4.m4.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.4.4.m4.1b"><ci id="S3.Thmprop1.p1.4.4.m4.1.1.cmml" xref="S3.Thmprop1.p1.4.4.m4.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.4.4.m4.1c">Q</annotation></semantics></math> converges to <math id="S3.Thmprop1.p1.5.5.m5.1" class="ltx_Math" alttext="\pm|H|^{-0.5}" display="inline"><semantics id="S3.Thmprop1.p1.5.5.m5.1a"><mrow id="S3.Thmprop1.p1.5.5.m5.1.2" xref="S3.Thmprop1.p1.5.5.m5.1.2.cmml"><mo id="S3.Thmprop1.p1.5.5.m5.1.2a" xref="S3.Thmprop1.p1.5.5.m5.1.2.cmml">±</mo><msup id="S3.Thmprop1.p1.5.5.m5.1.2.2" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.cmml"><mrow id="S3.Thmprop1.p1.5.5.m5.1.2.2.2.2" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.2.1.cmml"><mo stretchy="false" id="S3.Thmprop1.p1.5.5.m5.1.2.2.2.2.1" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.2.1.1.cmml">|</mo><mi id="S3.Thmprop1.p1.5.5.m5.1.1" xref="S3.Thmprop1.p1.5.5.m5.1.1.cmml">H</mi><mo stretchy="false" id="S3.Thmprop1.p1.5.5.m5.1.2.2.2.2.2" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.2.1.1.cmml">|</mo></mrow><mrow id="S3.Thmprop1.p1.5.5.m5.1.2.2.3" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.3.cmml"><mo id="S3.Thmprop1.p1.5.5.m5.1.2.2.3a" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.3.cmml">−</mo><mn id="S3.Thmprop1.p1.5.5.m5.1.2.2.3.2" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.3.2.cmml">0.5</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.5.5.m5.1b"><apply id="S3.Thmprop1.p1.5.5.m5.1.2.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2"><csymbol cd="latexml" id="S3.Thmprop1.p1.5.5.m5.1.2.1.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2">plus-or-minus</csymbol><apply id="S3.Thmprop1.p1.5.5.m5.1.2.2.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2.2"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.5.5.m5.1.2.2.1.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2.2">superscript</csymbol><apply id="S3.Thmprop1.p1.5.5.m5.1.2.2.2.1.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.2.2"><abs id="S3.Thmprop1.p1.5.5.m5.1.2.2.2.1.1.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.2.2.1"></abs><ci id="S3.Thmprop1.p1.5.5.m5.1.1.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.1">𝐻</ci></apply><apply id="S3.Thmprop1.p1.5.5.m5.1.2.2.3.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.3"><minus id="S3.Thmprop1.p1.5.5.m5.1.2.2.3.1.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.3"></minus><cn type="float" id="S3.Thmprop1.p1.5.5.m5.1.2.2.3.2.cmml" xref="S3.Thmprop1.p1.5.5.m5.1.2.2.3.2">0.5</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.5.5.m5.1c">\pm|H|^{-0.5}</annotation></semantics></math> by update equation <a href="#A1.E6" title="Equation 6 ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>, <math id="S3.Thmprop1.p1.6.6.m6.1" class="ltx_Math" alttext="Q^{\rm new}=[(Q^{\prime})^{T}Q^{\prime}]^{0.5}" display="inline"><semantics id="S3.Thmprop1.p1.6.6.m6.1a"><mrow id="S3.Thmprop1.p1.6.6.m6.1.1" xref="S3.Thmprop1.p1.6.6.m6.1.1.cmml"><msup id="S3.Thmprop1.p1.6.6.m6.1.1.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.3.cmml"><mi id="S3.Thmprop1.p1.6.6.m6.1.1.3.2" xref="S3.Thmprop1.p1.6.6.m6.1.1.3.2.cmml">Q</mi><mi id="S3.Thmprop1.p1.6.6.m6.1.1.3.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.3.3.cmml">new</mi></msup><mo id="S3.Thmprop1.p1.6.6.m6.1.1.2" xref="S3.Thmprop1.p1.6.6.m6.1.1.2.cmml">=</mo><msup id="S3.Thmprop1.p1.6.6.m6.1.1.1" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.cmml"><mrow id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.2" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.2.1.cmml">[</mo><mrow id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.cmml"><msup id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.cmml"><mrow id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.2" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.2" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.2" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.2.cmml">​</mo><msup id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.cmml"><mi id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.2" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.2.cmml">Q</mi><mo id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.3.cmml">′</mo></msup></mrow><mo stretchy="false" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.2.1.cmml">]</mo></mrow><mn id="S3.Thmprop1.p1.6.6.m6.1.1.1.3" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.3.cmml">0.5</mn></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.6.6.m6.1b"><apply id="S3.Thmprop1.p1.6.6.m6.1.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1"><eq id="S3.Thmprop1.p1.6.6.m6.1.1.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.2"></eq><apply id="S3.Thmprop1.p1.6.6.m6.1.1.3.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.3"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.6.6.m6.1.1.3.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.3">superscript</csymbol><ci id="S3.Thmprop1.p1.6.6.m6.1.1.3.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.3.2">𝑄</ci><ci id="S3.Thmprop1.p1.6.6.m6.1.1.3.3.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.3.3">new</ci></apply><apply id="S3.Thmprop1.p1.6.6.m6.1.1.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.6.6.m6.1.1.1.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1">superscript</csymbol><apply id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1"><csymbol cd="latexml" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.2.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1"><times id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.2"></times><apply id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1">superscript</csymbol><apply id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.1.1.1.3">′</ci></apply><ci id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.3.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.1.3">𝑇</ci></apply><apply id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.1.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3">superscript</csymbol><ci id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.2.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.2">𝑄</ci><ci id="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.3.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.1.1.1.3.3">′</ci></apply></apply></apply><cn type="float" id="S3.Thmprop1.p1.6.6.m6.1.1.1.3.cmml" xref="S3.Thmprop1.p1.6.6.m6.1.1.1.3">0.5</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.6.6.m6.1c">Q^{\rm new}=[(Q^{\prime})^{T}Q^{\prime}]^{0.5}</annotation></semantics></math> with <math id="S3.Thmprop1.p1.7.7.m7.1" class="ltx_Math" alttext="Q^{\prime}=Q^{\rm old}+Q\mathcal{E}" display="inline"><semantics id="S3.Thmprop1.p1.7.7.m7.1a"><mrow id="S3.Thmprop1.p1.7.7.m7.1.1" xref="S3.Thmprop1.p1.7.7.m7.1.1.cmml"><msup id="S3.Thmprop1.p1.7.7.m7.1.1.2" xref="S3.Thmprop1.p1.7.7.m7.1.1.2.cmml"><mi id="S3.Thmprop1.p1.7.7.m7.1.1.2.2" xref="S3.Thmprop1.p1.7.7.m7.1.1.2.2.cmml">Q</mi><mo id="S3.Thmprop1.p1.7.7.m7.1.1.2.3" xref="S3.Thmprop1.p1.7.7.m7.1.1.2.3.cmml">′</mo></msup><mo id="S3.Thmprop1.p1.7.7.m7.1.1.1" xref="S3.Thmprop1.p1.7.7.m7.1.1.1.cmml">=</mo><mrow id="S3.Thmprop1.p1.7.7.m7.1.1.3" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.cmml"><msup id="S3.Thmprop1.p1.7.7.m7.1.1.3.2" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.2.cmml"><mi id="S3.Thmprop1.p1.7.7.m7.1.1.3.2.2" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.2.2.cmml">Q</mi><mi id="S3.Thmprop1.p1.7.7.m7.1.1.3.2.3" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.2.3.cmml">old</mi></msup><mo id="S3.Thmprop1.p1.7.7.m7.1.1.3.1" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.1.cmml">+</mo><mrow id="S3.Thmprop1.p1.7.7.m7.1.1.3.3" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3.cmml"><mi id="S3.Thmprop1.p1.7.7.m7.1.1.3.3.2" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S3.Thmprop1.p1.7.7.m7.1.1.3.3.1" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="S3.Thmprop1.p1.7.7.m7.1.1.3.3.3" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3.3.cmml">ℰ</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.7.7.m7.1b"><apply id="S3.Thmprop1.p1.7.7.m7.1.1.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1"><eq id="S3.Thmprop1.p1.7.7.m7.1.1.1.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.1"></eq><apply id="S3.Thmprop1.p1.7.7.m7.1.1.2.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.2"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.7.7.m7.1.1.2.1.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.2">superscript</csymbol><ci id="S3.Thmprop1.p1.7.7.m7.1.1.2.2.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.2.2">𝑄</ci><ci id="S3.Thmprop1.p1.7.7.m7.1.1.2.3.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.2.3">′</ci></apply><apply id="S3.Thmprop1.p1.7.7.m7.1.1.3.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3"><plus id="S3.Thmprop1.p1.7.7.m7.1.1.3.1.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.1"></plus><apply id="S3.Thmprop1.p1.7.7.m7.1.1.3.2.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.2"><csymbol cd="ambiguous" id="S3.Thmprop1.p1.7.7.m7.1.1.3.2.1.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.2">superscript</csymbol><ci id="S3.Thmprop1.p1.7.7.m7.1.1.3.2.2.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.2.2">𝑄</ci><ci id="S3.Thmprop1.p1.7.7.m7.1.1.3.2.3.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.2.3">old</ci></apply><apply id="S3.Thmprop1.p1.7.7.m7.1.1.3.3.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3"><times id="S3.Thmprop1.p1.7.7.m7.1.1.3.3.1.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3.1"></times><ci id="S3.Thmprop1.p1.7.7.m7.1.1.3.3.2.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3.2">𝑄</ci><ci id="S3.Thmprop1.p1.7.7.m7.1.1.3.3.3.cmml" xref="S3.Thmprop1.p1.7.7.m7.1.1.3.3.3">ℰ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.7.7.m7.1c">Q^{\prime}=Q^{\rm old}+Q\mathcal{E}</annotation></semantics></math>, &amp; a small enough positive step size <math id="S3.Thmprop1.p1.8.8.m8.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S3.Thmprop1.p1.8.8.m8.1a"><mi id="S3.Thmprop1.p1.8.8.m8.1.1" xref="S3.Thmprop1.p1.8.8.m8.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.p1.8.8.m8.1b"><ci id="S3.Thmprop1.p1.8.8.m8.1.1.cmml" xref="S3.Thmprop1.p1.8.8.m8.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.p1.8.8.m8.1c">\mu</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="S3.Thmprop1.Thmcor1" class="ltx_theorem ltx_theorem_cor">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="S3.Thmprop1.Thmcor1.1.1.1" class="ltx_text ltx_font_bold">Corollary 3.1.1</span></span><span id="S3.Thmprop1.Thmcor1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="S3.Thmprop1.Thmcor1.p1" class="ltx_para">
<p id="S3.Thmprop1.Thmcor1.p1.3" class="ltx_p"><span id="S3.Thmprop1.Thmcor1.p1.3.3" class="ltx_text ltx_font_italic">Assume <math id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1" class="ltx_Math" alttext="{\cal{L}}(\theta)" display="inline"><semantics id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1a"><mrow id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.2" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.1" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.1.cmml">​</mo><mrow id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.3.2" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.cmml"><mo stretchy="false" id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.3.2.1" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.cmml">(</mo><mi id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.1" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.1.cmml">θ</mi><mo stretchy="false" id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.3.2.2" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1b"><apply id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.cmml" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2"><times id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.1"></times><ci id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.2.cmml" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.2.2">ℒ</ci><ci id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.1.1.m1.1.1">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.Thmcor1.p1.1.1.m1.1c">{\cal{L}}(\theta)</annotation></semantics></math> is second order differentiable with absolute eigenvalues of the Hessian well bounded, i.e., <math id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2" class="ltx_Math" alttext="0&lt;l\leq|\lambda(H)|\leq u&lt;\infty" display="inline"><semantics id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2a"><mrow id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.cmml"><mn id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.3" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.3.cmml">0</mn><mo id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.4" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.4.cmml">&lt;</mo><mi id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.5" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.5.cmml">l</mi><mo id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.6" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.6.cmml">≤</mo><mrow id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.2.cmml"><mo stretchy="false" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.2" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.2.1.cmml">|</mo><mrow id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.cmml"><mi id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.2" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.2.cmml">λ</mi><mo lspace="0em" rspace="0em" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.1" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.1.cmml">​</mo><mrow id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.3.2" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.3.2.1" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.cmml">(</mo><mi id="S3.Thmprop1.Thmcor1.p1.2.2.m2.1.1" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.1.1.cmml">H</mi><mo stretchy="false" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.3.2.2" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.3" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.2.1.cmml">|</mo></mrow><mo id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.7" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.7.cmml">≤</mo><mi id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.8" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.8.cmml">u</mi><mo id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.9" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.9.cmml">&lt;</mo><mi mathvariant="normal" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.10" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.10.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2b"><apply id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"><and id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2a.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"></and><apply id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2b.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"><lt id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.4.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.4"></lt><cn type="integer" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.3.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.3">0</cn><ci id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.5.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.5">𝑙</ci></apply><apply id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2c.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"><leq id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.6.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.6"></leq><share href="#S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.5.cmml" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2d.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"></share><apply id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.2.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1"><abs id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.2.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.2"></abs><apply id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1"><times id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.1"></times><ci id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.2.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.1.1.2">𝜆</ci><ci id="S3.Thmprop1.Thmcor1.p1.2.2.m2.1.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.1.1">𝐻</ci></apply></apply></apply><apply id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2e.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"><leq id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.7.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.7"></leq><share href="#S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.1.cmml" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2f.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"></share><ci id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.8.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.8">𝑢</ci></apply><apply id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2g.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"><lt id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.9.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.9"></lt><share href="#S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.8.cmml" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2h.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2"></share><infinity id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.10.cmml" xref="S3.Thmprop1.Thmcor1.p1.2.2.m2.2.2.10"></infinity></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.Thmcor1.p1.2.2.m2.2c">0&lt;l\leq|\lambda(H)|\leq u&lt;\infty</annotation></semantics></math>. Then with PSGD, the loss drops at least with a linear rate, &amp; parameters converge at least linearly to the optimal solution <math id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1" class="ltx_Math" alttext="\theta^{*}" display="inline"><semantics id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1a"><msup id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1" xref="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.cmml"><mi id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.2" xref="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.2.cmml">θ</mi><mo id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.3" xref="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1b"><apply id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.1.cmml" xref="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1">superscript</csymbol><ci id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.2.cmml" xref="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.2">𝜃</ci><times id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.3.cmml" xref="S3.Thmprop1.Thmcor1.p1.3.3.m3.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmprop1.Thmcor1.p1.3.3.m3.1c">\theta^{*}</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="S3.SS1.p3" class="ltx_para">
<p id="S3.SS1.p3.1" class="ltx_p">It is worth mentioning no convergence rate beyond linear are observed for first or second order line-search-free stochastic optimization. Proposition <a href="#S3.Thmprop1" title="Proposition 3.1. ‣ 3.1 Properties and Convergence of PSGD ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a> &amp; Corollary <a href="#S3.Thmprop1.Thmcor1" title="Corollary 3.1.1. ‣ 3.1 Properties and Convergence of PSGD ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1.1</span></a> (proved in <a href="#A1.SS1" title="A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">A.1</span></a>, <a href="#A1.SS2" title="A.2 Linear Convergence of PSGD under General Setting ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">A.2</span></a>) are not aimed to push the theoretical convergence limits. Instead they investigate how PSGD converges asymptoticlly with small enough step size.</p>
</div>
<div id="S3.SS1.p4" class="ltx_para">
<p id="S3.SS1.p4.1" class="ltx_p">The preconditioners proposed in <cite class="ltx_cite ltx_citemacro_citet">Li [<a href="#bib.bib25" title="" class="ltx_ref">2019</a>]</cite> can only be applied to a list of affine transform matrix parameters.
Although many machine learning models exclusively consist of affine transforms
&amp; activation functions, this is not always the case.
Additionally, it can be impractical to reparameterize many existing modules, such as a convolutional layer, into their equivalent affine transformation form.
Hence, in this paper, we propose two types of novel general purpose preconditioners.</p>
</div>
</section>
<section id="S3.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.2 </span>Sparse Matrix-Free Preconditioners</h3>

<div id="S3.SS2.p1" class="ltx_para">
<p id="S3.SS2.p1.2" class="ltx_p">Let us consider bijective mappings that take vectors in <math id="S3.SS2.p1.1.m1.1" class="ltx_Math" alttext="\mathbb{R}^{n}" display="inline"><semantics id="S3.SS2.p1.1.m1.1a"><msup id="S3.SS2.p1.1.m1.1.1" xref="S3.SS2.p1.1.m1.1.1.cmml"><mi id="S3.SS2.p1.1.m1.1.1.2" xref="S3.SS2.p1.1.m1.1.1.2.cmml">ℝ</mi><mi id="S3.SS2.p1.1.m1.1.1.3" xref="S3.SS2.p1.1.m1.1.1.3.cmml">n</mi></msup><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.1.m1.1b"><apply id="S3.SS2.p1.1.m1.1.1.cmml" xref="S3.SS2.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p1.1.m1.1.1.1.cmml" xref="S3.SS2.p1.1.m1.1.1">superscript</csymbol><ci id="S3.SS2.p1.1.m1.1.1.2.cmml" xref="S3.SS2.p1.1.m1.1.1.2">ℝ</ci><ci id="S3.SS2.p1.1.m1.1.1.3.cmml" xref="S3.SS2.p1.1.m1.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.1.m1.1c">\mathbb{R}^{n}</annotation></semantics></math> &amp; map them to other vectors in the same space, i.e., <math id="S3.SS2.p1.2.m2.1" class="ltx_Math" alttext="T:\mathbb{R}^{n}\mapsto\mathbb{R}^{n}" display="inline"><semantics id="S3.SS2.p1.2.m2.1a"><mrow id="S3.SS2.p1.2.m2.1.1" xref="S3.SS2.p1.2.m2.1.1.cmml"><mi id="S3.SS2.p1.2.m2.1.1.2" xref="S3.SS2.p1.2.m2.1.1.2.cmml">T</mi><mo lspace="0.278em" rspace="0.278em" id="S3.SS2.p1.2.m2.1.1.1" xref="S3.SS2.p1.2.m2.1.1.1.cmml">:</mo><mrow id="S3.SS2.p1.2.m2.1.1.3" xref="S3.SS2.p1.2.m2.1.1.3.cmml"><msup id="S3.SS2.p1.2.m2.1.1.3.2" xref="S3.SS2.p1.2.m2.1.1.3.2.cmml"><mi id="S3.SS2.p1.2.m2.1.1.3.2.2" xref="S3.SS2.p1.2.m2.1.1.3.2.2.cmml">ℝ</mi><mi id="S3.SS2.p1.2.m2.1.1.3.2.3" xref="S3.SS2.p1.2.m2.1.1.3.2.3.cmml">n</mi></msup><mo stretchy="false" id="S3.SS2.p1.2.m2.1.1.3.1" xref="S3.SS2.p1.2.m2.1.1.3.1.cmml">↦</mo><msup id="S3.SS2.p1.2.m2.1.1.3.3" xref="S3.SS2.p1.2.m2.1.1.3.3.cmml"><mi id="S3.SS2.p1.2.m2.1.1.3.3.2" xref="S3.SS2.p1.2.m2.1.1.3.3.2.cmml">ℝ</mi><mi id="S3.SS2.p1.2.m2.1.1.3.3.3" xref="S3.SS2.p1.2.m2.1.1.3.3.3.cmml">n</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p1.2.m2.1b"><apply id="S3.SS2.p1.2.m2.1.1.cmml" xref="S3.SS2.p1.2.m2.1.1"><ci id="S3.SS2.p1.2.m2.1.1.1.cmml" xref="S3.SS2.p1.2.m2.1.1.1">:</ci><ci id="S3.SS2.p1.2.m2.1.1.2.cmml" xref="S3.SS2.p1.2.m2.1.1.2">𝑇</ci><apply id="S3.SS2.p1.2.m2.1.1.3.cmml" xref="S3.SS2.p1.2.m2.1.1.3"><csymbol cd="latexml" id="S3.SS2.p1.2.m2.1.1.3.1.cmml" xref="S3.SS2.p1.2.m2.1.1.3.1">maps-to</csymbol><apply id="S3.SS2.p1.2.m2.1.1.3.2.cmml" xref="S3.SS2.p1.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.1.1.3.2.1.cmml" xref="S3.SS2.p1.2.m2.1.1.3.2">superscript</csymbol><ci id="S3.SS2.p1.2.m2.1.1.3.2.2.cmml" xref="S3.SS2.p1.2.m2.1.1.3.2.2">ℝ</ci><ci id="S3.SS2.p1.2.m2.1.1.3.2.3.cmml" xref="S3.SS2.p1.2.m2.1.1.3.2.3">𝑛</ci></apply><apply id="S3.SS2.p1.2.m2.1.1.3.3.cmml" xref="S3.SS2.p1.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S3.SS2.p1.2.m2.1.1.3.3.1.cmml" xref="S3.SS2.p1.2.m2.1.1.3.3">superscript</csymbol><ci id="S3.SS2.p1.2.m2.1.1.3.3.2.cmml" xref="S3.SS2.p1.2.m2.1.1.3.3.2">ℝ</ci><ci id="S3.SS2.p1.2.m2.1.1.3.3.3.cmml" xref="S3.SS2.p1.2.m2.1.1.3.3.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p1.2.m2.1c">T:\mathbb{R}^{n}\mapsto\mathbb{R}^{n}</annotation></semantics></math>.
The following claim gives one way to construct such sparse matrix-free Lie group preconditioners.</p>
</div>
<div id="S3.Thmclaim1" class="ltx_theorem ltx_theorem_claim">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="S3.Thmclaim1.1.1.1" class="ltx_text ltx_font_bold">Claim 3.1</span></span><span id="S3.Thmclaim1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="S3.Thmclaim1.p1" class="ltx_para">
<p id="S3.Thmclaim1.p1.9" class="ltx_p"><span id="S3.Thmclaim1.p1.9.9" class="ltx_text ltx_font_italic">Let <math id="S3.Thmclaim1.p1.1.1.m1.3" class="ltx_Math" alttext="K=\{\sigma_{1},\ldots,\sigma_{m}\}" display="inline"><semantics id="S3.Thmclaim1.p1.1.1.m1.3a"><mrow id="S3.Thmclaim1.p1.1.1.m1.3.3" xref="S3.Thmclaim1.p1.1.1.m1.3.3.cmml"><mi id="S3.Thmclaim1.p1.1.1.m1.3.3.4" xref="S3.Thmclaim1.p1.1.1.m1.3.3.4.cmml">K</mi><mo id="S3.Thmclaim1.p1.1.1.m1.3.3.3" xref="S3.Thmclaim1.p1.1.1.m1.3.3.3.cmml">=</mo><mrow id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.3.cmml"><mo stretchy="false" id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.3" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.3.cmml">{</mo><msub id="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1" xref="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.cmml"><mi id="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.2" xref="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.2.cmml">σ</mi><mn id="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.3" xref="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.3.cmml">1</mn></msub><mo id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.4" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.3.cmml">,</mo><mi mathvariant="normal" id="S3.Thmclaim1.p1.1.1.m1.1.1" xref="S3.Thmclaim1.p1.1.1.m1.1.1.cmml">…</mi><mo id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.5" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.3.cmml">,</mo><msub id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.cmml"><mi id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.2" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.2.cmml">σ</mi><mi id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.3" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.3.cmml">m</mi></msub><mo stretchy="false" id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.6" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.3.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.1.1.m1.3b"><apply id="S3.Thmclaim1.p1.1.1.m1.3.3.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3"><eq id="S3.Thmclaim1.p1.1.1.m1.3.3.3.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3.3"></eq><ci id="S3.Thmclaim1.p1.1.1.m1.3.3.4.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3.4">𝐾</ci><set id="S3.Thmclaim1.p1.1.1.m1.3.3.2.3.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2"><apply id="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.cmml" xref="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.1.cmml" xref="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1">subscript</csymbol><ci id="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.2.cmml" xref="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.2">𝜎</ci><cn type="integer" id="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.3.cmml" xref="S3.Thmclaim1.p1.1.1.m1.2.2.1.1.1.3">1</cn></apply><ci id="S3.Thmclaim1.p1.1.1.m1.1.1.cmml" xref="S3.Thmclaim1.p1.1.1.m1.1.1">…</ci><apply id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.1.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2">subscript</csymbol><ci id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.2.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.2">𝜎</ci><ci id="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.3.cmml" xref="S3.Thmclaim1.p1.1.1.m1.3.3.2.2.2.3">𝑚</ci></apply></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.1.1.m1.3c">K=\{\sigma_{1},\ldots,\sigma_{m}\}</annotation></semantics></math> be a subgroup of the permutation group <math id="S3.Thmclaim1.p1.2.2.m2.1" class="ltx_Math" alttext="S_{n}" display="inline"><semantics id="S3.Thmclaim1.p1.2.2.m2.1a"><msub id="S3.Thmclaim1.p1.2.2.m2.1.1" xref="S3.Thmclaim1.p1.2.2.m2.1.1.cmml"><mi id="S3.Thmclaim1.p1.2.2.m2.1.1.2" xref="S3.Thmclaim1.p1.2.2.m2.1.1.2.cmml">S</mi><mi id="S3.Thmclaim1.p1.2.2.m2.1.1.3" xref="S3.Thmclaim1.p1.2.2.m2.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.2.2.m2.1b"><apply id="S3.Thmclaim1.p1.2.2.m2.1.1.cmml" xref="S3.Thmclaim1.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.2.2.m2.1.1.1.cmml" xref="S3.Thmclaim1.p1.2.2.m2.1.1">subscript</csymbol><ci id="S3.Thmclaim1.p1.2.2.m2.1.1.2.cmml" xref="S3.Thmclaim1.p1.2.2.m2.1.1.2">𝑆</ci><ci id="S3.Thmclaim1.p1.2.2.m2.1.1.3.cmml" xref="S3.Thmclaim1.p1.2.2.m2.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.2.2.m2.1c">S_{n}</annotation></semantics></math>.
Then, linear transform
<math id="S3.Thmclaim1.p1.3.3.m3.4" class="ltx_Math" alttext="T:\mathbb{R}^{n}\mapsto\mathbb{R}^{n},\quad T(x|a_{1},\ldots,a_{m})=\sum_{i=1}^{m}a_{i}\odot\sigma_{i}(x)" display="inline"><semantics id="S3.Thmclaim1.p1.3.3.m3.4a"><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4" xref="S3.Thmclaim1.p1.3.3.m3.4.4.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.4" xref="S3.Thmclaim1.p1.3.3.m3.4.4.4.cmml">T</mi><mo lspace="0.278em" rspace="0.278em" id="S3.Thmclaim1.p1.3.3.m3.4.4.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.3.cmml">:</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.3.cmml"><mrow id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.cmml"><msup id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.2" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.2.cmml">ℝ</mi><mi id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.3" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.3.cmml">n</mi></msup><mo stretchy="false" id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.1" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.1.cmml">↦</mo><msup id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.2" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.2.cmml">ℝ</mi><mi id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.3" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.3.cmml">n</mi></msup></mrow><mo rspace="1.167em" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.3a.cmml">,</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.cmml"><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.3.cmml">T</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.2.cmml">​</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.cmml"><mo stretchy="false" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.cmml">(</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.4" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.4.cmml">x</mi><mo fence="false" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.3.cmml">|</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.3.cmml"><msub id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.2.cmml">a</mi><mn id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.3.cmml">1</mn></msub><mo id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.3.cmml">,</mo><mi mathvariant="normal" id="S3.Thmclaim1.p1.3.3.m3.1.1" xref="S3.Thmclaim1.p1.3.3.m3.1.1.cmml">…</mi><mo id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.4" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.3.cmml">,</mo><msub id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.2.cmml">a</mi><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.3.cmml">m</mi></msub></mrow></mrow><mo stretchy="false" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.111em" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.2.cmml">=</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.cmml"><msubsup id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.cmml"><mo id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.2.cmml">∑</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.2.cmml">i</mi><mo id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.1.cmml">=</mo><mn id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.3.cmml">1</mn></mrow><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.3.cmml">m</mi></msubsup><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.cmml"><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.cmml"><msub id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.2.cmml">a</mi><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.3.cmml">i</mi></msub><mo lspace="0.222em" rspace="0.222em" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.1.cmml">⊙</mo><msub id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.cmml"><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.2.cmml">σ</mi><mi id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.3" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.3.cmml">i</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.1.cmml">​</mo><mrow id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.3.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.cmml"><mo stretchy="false" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.3.2.1" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.cmml">(</mo><mi id="S3.Thmclaim1.p1.3.3.m3.2.2" xref="S3.Thmclaim1.p1.3.3.m3.2.2.cmml">x</mi><mo stretchy="false" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.3.2.2" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.3.3.m3.4b"><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4"><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.3">:</ci><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.4.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.4">𝑇</ci><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.3a.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.3">formulae-sequence</csymbol><apply id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1"><csymbol cd="latexml" id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.1">maps-to</csymbol><apply id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2">superscript</csymbol><ci id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.2">ℝ</ci><ci id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.2.3">𝑛</ci></apply><apply id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3">superscript</csymbol><ci id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.2">ℝ</ci><ci id="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.3.3.1.1.1.3.3">𝑛</ci></apply></apply><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2"><eq id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.2"></eq><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1"><times id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.2"></times><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.3">𝑇</ci><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1"><csymbol cd="latexml" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.3">conditional</csymbol><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.4.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.4">𝑥</ci><list id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2"><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.2">𝑎</ci><cn type="integer" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.1.1.1.3">1</cn></apply><ci id="S3.Thmclaim1.p1.3.3.m3.1.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.1.1">…</ci><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2">subscript</csymbol><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.2">𝑎</ci><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.1.1.1.1.2.2.2.3">𝑚</ci></apply></list></apply></apply><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3"><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1">superscript</csymbol><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1">subscript</csymbol><sum id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.2"></sum><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3"><eq id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.1"></eq><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.2">𝑖</ci><cn type="integer" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.2.3.3">1</cn></apply></apply><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.1.3">𝑚</ci></apply><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2"><times id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.1"></times><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2"><csymbol cd="latexml" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.1">direct-product</csymbol><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2">subscript</csymbol><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.2">𝑎</ci><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.2.3">𝑖</ci></apply><apply id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.1.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3">subscript</csymbol><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.2">𝜎</ci><ci id="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.3.cmml" xref="S3.Thmclaim1.p1.3.3.m3.4.4.2.2.2.3.2.2.3.3">𝑖</ci></apply></apply><ci id="S3.Thmclaim1.p1.3.3.m3.2.2.cmml" xref="S3.Thmclaim1.p1.3.3.m3.2.2">𝑥</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.3.3.m3.4c">T:\mathbb{R}^{n}\mapsto\mathbb{R}^{n},\quad T(x|a_{1},\ldots,a_{m})=\sum_{i=1}^{m}a_{i}\odot\sigma_{i}(x)</annotation></semantics></math>
, forms a subgroup of <math id="S3.Thmclaim1.p1.4.4.m4.2" class="ltx_Math" alttext="GL(n,\mathbb{R})" display="inline"><semantics id="S3.Thmclaim1.p1.4.4.m4.2a"><mrow id="S3.Thmclaim1.p1.4.4.m4.2.3" xref="S3.Thmclaim1.p1.4.4.m4.2.3.cmml"><mi id="S3.Thmclaim1.p1.4.4.m4.2.3.2" xref="S3.Thmclaim1.p1.4.4.m4.2.3.2.cmml">G</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim1.p1.4.4.m4.2.3.1" xref="S3.Thmclaim1.p1.4.4.m4.2.3.1.cmml">​</mo><mi id="S3.Thmclaim1.p1.4.4.m4.2.3.3" xref="S3.Thmclaim1.p1.4.4.m4.2.3.3.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim1.p1.4.4.m4.2.3.1a" xref="S3.Thmclaim1.p1.4.4.m4.2.3.1.cmml">​</mo><mrow id="S3.Thmclaim1.p1.4.4.m4.2.3.4.2" xref="S3.Thmclaim1.p1.4.4.m4.2.3.4.1.cmml"><mo stretchy="false" id="S3.Thmclaim1.p1.4.4.m4.2.3.4.2.1" xref="S3.Thmclaim1.p1.4.4.m4.2.3.4.1.cmml">(</mo><mi id="S3.Thmclaim1.p1.4.4.m4.1.1" xref="S3.Thmclaim1.p1.4.4.m4.1.1.cmml">n</mi><mo id="S3.Thmclaim1.p1.4.4.m4.2.3.4.2.2" xref="S3.Thmclaim1.p1.4.4.m4.2.3.4.1.cmml">,</mo><mi id="S3.Thmclaim1.p1.4.4.m4.2.2" xref="S3.Thmclaim1.p1.4.4.m4.2.2.cmml">ℝ</mi><mo stretchy="false" id="S3.Thmclaim1.p1.4.4.m4.2.3.4.2.3" xref="S3.Thmclaim1.p1.4.4.m4.2.3.4.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.4.4.m4.2b"><apply id="S3.Thmclaim1.p1.4.4.m4.2.3.cmml" xref="S3.Thmclaim1.p1.4.4.m4.2.3"><times id="S3.Thmclaim1.p1.4.4.m4.2.3.1.cmml" xref="S3.Thmclaim1.p1.4.4.m4.2.3.1"></times><ci id="S3.Thmclaim1.p1.4.4.m4.2.3.2.cmml" xref="S3.Thmclaim1.p1.4.4.m4.2.3.2">𝐺</ci><ci id="S3.Thmclaim1.p1.4.4.m4.2.3.3.cmml" xref="S3.Thmclaim1.p1.4.4.m4.2.3.3">𝐿</ci><interval closure="open" id="S3.Thmclaim1.p1.4.4.m4.2.3.4.1.cmml" xref="S3.Thmclaim1.p1.4.4.m4.2.3.4.2"><ci id="S3.Thmclaim1.p1.4.4.m4.1.1.cmml" xref="S3.Thmclaim1.p1.4.4.m4.1.1">𝑛</ci><ci id="S3.Thmclaim1.p1.4.4.m4.2.2.cmml" xref="S3.Thmclaim1.p1.4.4.m4.2.2">ℝ</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.4.4.m4.2c">GL(n,\mathbb{R})</annotation></semantics></math> parameterized with <math id="S3.Thmclaim1.p1.5.5.m5.3" class="ltx_Math" alttext="\{a_{1},\ldots,a_{m}\}" display="inline"><semantics id="S3.Thmclaim1.p1.5.5.m5.3a"><mrow id="S3.Thmclaim1.p1.5.5.m5.3.3.2" xref="S3.Thmclaim1.p1.5.5.m5.3.3.3.cmml"><mo stretchy="false" id="S3.Thmclaim1.p1.5.5.m5.3.3.2.3" xref="S3.Thmclaim1.p1.5.5.m5.3.3.3.cmml">{</mo><msub id="S3.Thmclaim1.p1.5.5.m5.2.2.1.1" xref="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.cmml"><mi id="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.2" xref="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.2.cmml">a</mi><mn id="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.3" xref="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.3.cmml">1</mn></msub><mo id="S3.Thmclaim1.p1.5.5.m5.3.3.2.4" xref="S3.Thmclaim1.p1.5.5.m5.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S3.Thmclaim1.p1.5.5.m5.1.1" xref="S3.Thmclaim1.p1.5.5.m5.1.1.cmml">…</mi><mo id="S3.Thmclaim1.p1.5.5.m5.3.3.2.5" xref="S3.Thmclaim1.p1.5.5.m5.3.3.3.cmml">,</mo><msub id="S3.Thmclaim1.p1.5.5.m5.3.3.2.2" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.cmml"><mi id="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.2" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.2.cmml">a</mi><mi id="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.3" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.3.cmml">m</mi></msub><mo stretchy="false" id="S3.Thmclaim1.p1.5.5.m5.3.3.2.6" xref="S3.Thmclaim1.p1.5.5.m5.3.3.3.cmml">}</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.5.5.m5.3b"><set id="S3.Thmclaim1.p1.5.5.m5.3.3.3.cmml" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2"><apply id="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.cmml" xref="S3.Thmclaim1.p1.5.5.m5.2.2.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.1.cmml" xref="S3.Thmclaim1.p1.5.5.m5.2.2.1.1">subscript</csymbol><ci id="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.2.cmml" xref="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.2">𝑎</ci><cn type="integer" id="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.3.cmml" xref="S3.Thmclaim1.p1.5.5.m5.2.2.1.1.3">1</cn></apply><ci id="S3.Thmclaim1.p1.5.5.m5.1.1.cmml" xref="S3.Thmclaim1.p1.5.5.m5.1.1">…</ci><apply id="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.cmml" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2.2"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.1.cmml" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2.2">subscript</csymbol><ci id="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.2.cmml" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.2">𝑎</ci><ci id="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.3.cmml" xref="S3.Thmclaim1.p1.5.5.m5.3.3.2.2.3">𝑚</ci></apply></set></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.5.5.m5.3c">\{a_{1},\ldots,a_{m}\}</annotation></semantics></math> if <math id="S3.Thmclaim1.p1.6.6.m6.1" class="ltx_math_unparsed" alttext="T(\cdot|a_{1},\ldots,a_{m})" display="inline"><semantics id="S3.Thmclaim1.p1.6.6.m6.1a"><mrow id="S3.Thmclaim1.p1.6.6.m6.1b"><mi id="S3.Thmclaim1.p1.6.6.m6.1.1">T</mi><mrow id="S3.Thmclaim1.p1.6.6.m6.1.2"><mo stretchy="false" id="S3.Thmclaim1.p1.6.6.m6.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Thmclaim1.p1.6.6.m6.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Thmclaim1.p1.6.6.m6.1.2.3">|</mo><msub id="S3.Thmclaim1.p1.6.6.m6.1.2.4"><mi id="S3.Thmclaim1.p1.6.6.m6.1.2.4.2">a</mi><mn id="S3.Thmclaim1.p1.6.6.m6.1.2.4.3">1</mn></msub><mo id="S3.Thmclaim1.p1.6.6.m6.1.2.5">,</mo><mi mathvariant="normal" id="S3.Thmclaim1.p1.6.6.m6.1.2.6">…</mi><mo id="S3.Thmclaim1.p1.6.6.m6.1.2.7">,</mo><msub id="S3.Thmclaim1.p1.6.6.m6.1.2.8"><mi id="S3.Thmclaim1.p1.6.6.m6.1.2.8.2">a</mi><mi id="S3.Thmclaim1.p1.6.6.m6.1.2.8.3">m</mi></msub><mo stretchy="false" id="S3.Thmclaim1.p1.6.6.m6.1.2.9">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.6.6.m6.1c">T(\cdot|a_{1},\ldots,a_{m})</annotation></semantics></math> is bijective, where both <math id="S3.Thmclaim1.p1.7.7.m7.1" class="ltx_Math" alttext="a_{i}" display="inline"><semantics id="S3.Thmclaim1.p1.7.7.m7.1a"><msub id="S3.Thmclaim1.p1.7.7.m7.1.1" xref="S3.Thmclaim1.p1.7.7.m7.1.1.cmml"><mi id="S3.Thmclaim1.p1.7.7.m7.1.1.2" xref="S3.Thmclaim1.p1.7.7.m7.1.1.2.cmml">a</mi><mi id="S3.Thmclaim1.p1.7.7.m7.1.1.3" xref="S3.Thmclaim1.p1.7.7.m7.1.1.3.cmml">i</mi></msub><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.7.7.m7.1b"><apply id="S3.Thmclaim1.p1.7.7.m7.1.1.cmml" xref="S3.Thmclaim1.p1.7.7.m7.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.7.7.m7.1.1.1.cmml" xref="S3.Thmclaim1.p1.7.7.m7.1.1">subscript</csymbol><ci id="S3.Thmclaim1.p1.7.7.m7.1.1.2.cmml" xref="S3.Thmclaim1.p1.7.7.m7.1.1.2">𝑎</ci><ci id="S3.Thmclaim1.p1.7.7.m7.1.1.3.cmml" xref="S3.Thmclaim1.p1.7.7.m7.1.1.3">𝑖</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.7.7.m7.1c">a_{i}</annotation></semantics></math> &amp; <math id="S3.Thmclaim1.p1.8.8.m8.1" class="ltx_Math" alttext="x" display="inline"><semantics id="S3.Thmclaim1.p1.8.8.m8.1a"><mi id="S3.Thmclaim1.p1.8.8.m8.1.1" xref="S3.Thmclaim1.p1.8.8.m8.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.8.8.m8.1b"><ci id="S3.Thmclaim1.p1.8.8.m8.1.1.cmml" xref="S3.Thmclaim1.p1.8.8.m8.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.8.8.m8.1c">x</annotation></semantics></math> are <math id="S3.Thmclaim1.p1.9.9.m9.1" class="ltx_Math" alttext="\in\mathbb{R}^{n}" display="inline"><semantics id="S3.Thmclaim1.p1.9.9.m9.1a"><mrow id="S3.Thmclaim1.p1.9.9.m9.1.1" xref="S3.Thmclaim1.p1.9.9.m9.1.1.cmml"><mi id="S3.Thmclaim1.p1.9.9.m9.1.1.2" xref="S3.Thmclaim1.p1.9.9.m9.1.1.2.cmml"></mi><mo id="S3.Thmclaim1.p1.9.9.m9.1.1.1" xref="S3.Thmclaim1.p1.9.9.m9.1.1.1.cmml">∈</mo><msup id="S3.Thmclaim1.p1.9.9.m9.1.1.3" xref="S3.Thmclaim1.p1.9.9.m9.1.1.3.cmml"><mi id="S3.Thmclaim1.p1.9.9.m9.1.1.3.2" xref="S3.Thmclaim1.p1.9.9.m9.1.1.3.2.cmml">ℝ</mi><mi id="S3.Thmclaim1.p1.9.9.m9.1.1.3.3" xref="S3.Thmclaim1.p1.9.9.m9.1.1.3.3.cmml">n</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim1.p1.9.9.m9.1b"><apply id="S3.Thmclaim1.p1.9.9.m9.1.1.cmml" xref="S3.Thmclaim1.p1.9.9.m9.1.1"><in id="S3.Thmclaim1.p1.9.9.m9.1.1.1.cmml" xref="S3.Thmclaim1.p1.9.9.m9.1.1.1"></in><csymbol cd="latexml" id="S3.Thmclaim1.p1.9.9.m9.1.1.2.cmml" xref="S3.Thmclaim1.p1.9.9.m9.1.1.2">absent</csymbol><apply id="S3.Thmclaim1.p1.9.9.m9.1.1.3.cmml" xref="S3.Thmclaim1.p1.9.9.m9.1.1.3"><csymbol cd="ambiguous" id="S3.Thmclaim1.p1.9.9.m9.1.1.3.1.cmml" xref="S3.Thmclaim1.p1.9.9.m9.1.1.3">superscript</csymbol><ci id="S3.Thmclaim1.p1.9.9.m9.1.1.3.2.cmml" xref="S3.Thmclaim1.p1.9.9.m9.1.1.3.2">ℝ</ci><ci id="S3.Thmclaim1.p1.9.9.m9.1.1.3.3.cmml" xref="S3.Thmclaim1.p1.9.9.m9.1.1.3.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim1.p1.9.9.m9.1c">\in\mathbb{R}^{n}</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="S3.SS2.p2" class="ltx_para">
<p id="S3.SS2.p2.1" class="ltx_p">See proof of Claim <a href="#S3.Thmclaim1" title="Claim 3.1. ‣ 3.2 Sparse Matrix-Free Preconditioners ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a> in Appendix <a href="#A2" title="Appendix B Construction of matrix-free preconditioner ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">B</span></a>.</p>
</div>
<div id="S3.SS2.p3" class="ltx_para">
<p id="S3.SS2.p3.8" class="ltx_p"><em id="S3.SS2.p3.8.1" class="ltx_emph ltx_font_italic">Example 1</em>: the group of invertible diagonal matrices. We must have <math id="S3.SS2.p3.1.m1.1" class="ltx_Math" alttext="K=\{e\}" display="inline"><semantics id="S3.SS2.p3.1.m1.1a"><mrow id="S3.SS2.p3.1.m1.1.2" xref="S3.SS2.p3.1.m1.1.2.cmml"><mi id="S3.SS2.p3.1.m1.1.2.2" xref="S3.SS2.p3.1.m1.1.2.2.cmml">K</mi><mo id="S3.SS2.p3.1.m1.1.2.1" xref="S3.SS2.p3.1.m1.1.2.1.cmml">=</mo><mrow id="S3.SS2.p3.1.m1.1.2.3.2" xref="S3.SS2.p3.1.m1.1.2.3.1.cmml"><mo stretchy="false" id="S3.SS2.p3.1.m1.1.2.3.2.1" xref="S3.SS2.p3.1.m1.1.2.3.1.cmml">{</mo><mi id="S3.SS2.p3.1.m1.1.1" xref="S3.SS2.p3.1.m1.1.1.cmml">e</mi><mo stretchy="false" id="S3.SS2.p3.1.m1.1.2.3.2.2" xref="S3.SS2.p3.1.m1.1.2.3.1.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.1.m1.1b"><apply id="S3.SS2.p3.1.m1.1.2.cmml" xref="S3.SS2.p3.1.m1.1.2"><eq id="S3.SS2.p3.1.m1.1.2.1.cmml" xref="S3.SS2.p3.1.m1.1.2.1"></eq><ci id="S3.SS2.p3.1.m1.1.2.2.cmml" xref="S3.SS2.p3.1.m1.1.2.2">𝐾</ci><set id="S3.SS2.p3.1.m1.1.2.3.1.cmml" xref="S3.SS2.p3.1.m1.1.2.3.2"><ci id="S3.SS2.p3.1.m1.1.1.cmml" xref="S3.SS2.p3.1.m1.1.1">𝑒</ci></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.1.m1.1c">K=\{e\}</annotation></semantics></math> if <math id="S3.SS2.p3.2.m2.1" class="ltx_Math" alttext="|K|=1" display="inline"><semantics id="S3.SS2.p3.2.m2.1a"><mrow id="S3.SS2.p3.2.m2.1.2" xref="S3.SS2.p3.2.m2.1.2.cmml"><mrow id="S3.SS2.p3.2.m2.1.2.2.2" xref="S3.SS2.p3.2.m2.1.2.2.1.cmml"><mo stretchy="false" id="S3.SS2.p3.2.m2.1.2.2.2.1" xref="S3.SS2.p3.2.m2.1.2.2.1.1.cmml">|</mo><mi id="S3.SS2.p3.2.m2.1.1" xref="S3.SS2.p3.2.m2.1.1.cmml">K</mi><mo stretchy="false" id="S3.SS2.p3.2.m2.1.2.2.2.2" xref="S3.SS2.p3.2.m2.1.2.2.1.1.cmml">|</mo></mrow><mo id="S3.SS2.p3.2.m2.1.2.1" xref="S3.SS2.p3.2.m2.1.2.1.cmml">=</mo><mn id="S3.SS2.p3.2.m2.1.2.3" xref="S3.SS2.p3.2.m2.1.2.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.2.m2.1b"><apply id="S3.SS2.p3.2.m2.1.2.cmml" xref="S3.SS2.p3.2.m2.1.2"><eq id="S3.SS2.p3.2.m2.1.2.1.cmml" xref="S3.SS2.p3.2.m2.1.2.1"></eq><apply id="S3.SS2.p3.2.m2.1.2.2.1.cmml" xref="S3.SS2.p3.2.m2.1.2.2.2"><abs id="S3.SS2.p3.2.m2.1.2.2.1.1.cmml" xref="S3.SS2.p3.2.m2.1.2.2.2.1"></abs><ci id="S3.SS2.p3.2.m2.1.1.cmml" xref="S3.SS2.p3.2.m2.1.1">𝐾</ci></apply><cn type="integer" id="S3.SS2.p3.2.m2.1.2.3.cmml" xref="S3.SS2.p3.2.m2.1.2.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.2.m2.1c">|K|=1</annotation></semantics></math>, where <math id="S3.SS2.p3.3.m3.1" class="ltx_Math" alttext="e" display="inline"><semantics id="S3.SS2.p3.3.m3.1a"><mi id="S3.SS2.p3.3.m3.1.1" xref="S3.SS2.p3.3.m3.1.1.cmml">e</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.3.m3.1b"><ci id="S3.SS2.p3.3.m3.1.1.cmml" xref="S3.SS2.p3.3.m3.1.1">𝑒</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.3.m3.1c">e</annotation></semantics></math> is the identity element of <math id="S3.SS2.p3.4.m4.1" class="ltx_Math" alttext="S_{n}" display="inline"><semantics id="S3.SS2.p3.4.m4.1a"><msub id="S3.SS2.p3.4.m4.1.1" xref="S3.SS2.p3.4.m4.1.1.cmml"><mi id="S3.SS2.p3.4.m4.1.1.2" xref="S3.SS2.p3.4.m4.1.1.2.cmml">S</mi><mi id="S3.SS2.p3.4.m4.1.1.3" xref="S3.SS2.p3.4.m4.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.4.m4.1b"><apply id="S3.SS2.p3.4.m4.1.1.cmml" xref="S3.SS2.p3.4.m4.1.1"><csymbol cd="ambiguous" id="S3.SS2.p3.4.m4.1.1.1.cmml" xref="S3.SS2.p3.4.m4.1.1">subscript</csymbol><ci id="S3.SS2.p3.4.m4.1.1.2.cmml" xref="S3.SS2.p3.4.m4.1.1.2">𝑆</ci><ci id="S3.SS2.p3.4.m4.1.1.3.cmml" xref="S3.SS2.p3.4.m4.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.4.m4.1c">S_{n}</annotation></semantics></math>, i.e., <math id="S3.SS2.p3.5.m5.1" class="ltx_Math" alttext="e(x)=x" display="inline"><semantics id="S3.SS2.p3.5.m5.1a"><mrow id="S3.SS2.p3.5.m5.1.2" xref="S3.SS2.p3.5.m5.1.2.cmml"><mrow id="S3.SS2.p3.5.m5.1.2.2" xref="S3.SS2.p3.5.m5.1.2.2.cmml"><mi id="S3.SS2.p3.5.m5.1.2.2.2" xref="S3.SS2.p3.5.m5.1.2.2.2.cmml">e</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p3.5.m5.1.2.2.1" xref="S3.SS2.p3.5.m5.1.2.2.1.cmml">​</mo><mrow id="S3.SS2.p3.5.m5.1.2.2.3.2" xref="S3.SS2.p3.5.m5.1.2.2.cmml"><mo stretchy="false" id="S3.SS2.p3.5.m5.1.2.2.3.2.1" xref="S3.SS2.p3.5.m5.1.2.2.cmml">(</mo><mi id="S3.SS2.p3.5.m5.1.1" xref="S3.SS2.p3.5.m5.1.1.cmml">x</mi><mo stretchy="false" id="S3.SS2.p3.5.m5.1.2.2.3.2.2" xref="S3.SS2.p3.5.m5.1.2.2.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p3.5.m5.1.2.1" xref="S3.SS2.p3.5.m5.1.2.1.cmml">=</mo><mi id="S3.SS2.p3.5.m5.1.2.3" xref="S3.SS2.p3.5.m5.1.2.3.cmml">x</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.5.m5.1b"><apply id="S3.SS2.p3.5.m5.1.2.cmml" xref="S3.SS2.p3.5.m5.1.2"><eq id="S3.SS2.p3.5.m5.1.2.1.cmml" xref="S3.SS2.p3.5.m5.1.2.1"></eq><apply id="S3.SS2.p3.5.m5.1.2.2.cmml" xref="S3.SS2.p3.5.m5.1.2.2"><times id="S3.SS2.p3.5.m5.1.2.2.1.cmml" xref="S3.SS2.p3.5.m5.1.2.2.1"></times><ci id="S3.SS2.p3.5.m5.1.2.2.2.cmml" xref="S3.SS2.p3.5.m5.1.2.2.2">𝑒</ci><ci id="S3.SS2.p3.5.m5.1.1.cmml" xref="S3.SS2.p3.5.m5.1.1">𝑥</ci></apply><ci id="S3.SS2.p3.5.m5.1.2.3.cmml" xref="S3.SS2.p3.5.m5.1.2.3">𝑥</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.5.m5.1c">e(x)=x</annotation></semantics></math>.
Then, <math id="S3.SS2.p3.6.m6.1" class="ltx_Math" alttext="T" display="inline"><semantics id="S3.SS2.p3.6.m6.1a"><mi id="S3.SS2.p3.6.m6.1.1" xref="S3.SS2.p3.6.m6.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.6.m6.1b"><ci id="S3.SS2.p3.6.m6.1.1.cmml" xref="S3.SS2.p3.6.m6.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.6.m6.1c">T</annotation></semantics></math> simply has a diagonal matrix representation, i.e., <math id="S3.SS2.p3.7.m7.2" class="ltx_Math" alttext="T(x|a_{1})={\rm diag}(a_{1})x" display="inline"><semantics id="S3.SS2.p3.7.m7.2a"><mrow id="S3.SS2.p3.7.m7.2.2" xref="S3.SS2.p3.7.m7.2.2.cmml"><mrow id="S3.SS2.p3.7.m7.1.1.1" xref="S3.SS2.p3.7.m7.1.1.1.cmml"><mi id="S3.SS2.p3.7.m7.1.1.1.3" xref="S3.SS2.p3.7.m7.1.1.1.3.cmml">T</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p3.7.m7.1.1.1.2" xref="S3.SS2.p3.7.m7.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.p3.7.m7.1.1.1.1.1" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p3.7.m7.1.1.1.1.1.2" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS2.p3.7.m7.1.1.1.1.1.1" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.cmml"><mi id="S3.SS2.p3.7.m7.1.1.1.1.1.1.2" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.2.cmml">x</mi><mo fence="false" id="S3.SS2.p3.7.m7.1.1.1.1.1.1.1" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml">|</mo><msub id="S3.SS2.p3.7.m7.1.1.1.1.1.1.3" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.cmml"><mi id="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.2" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.2.cmml">a</mi><mn id="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.3" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.3.cmml">1</mn></msub></mrow><mo stretchy="false" id="S3.SS2.p3.7.m7.1.1.1.1.1.3" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p3.7.m7.2.2.3" xref="S3.SS2.p3.7.m7.2.2.3.cmml">=</mo><mrow id="S3.SS2.p3.7.m7.2.2.2" xref="S3.SS2.p3.7.m7.2.2.2.cmml"><mi id="S3.SS2.p3.7.m7.2.2.2.3" xref="S3.SS2.p3.7.m7.2.2.2.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p3.7.m7.2.2.2.2" xref="S3.SS2.p3.7.m7.2.2.2.2.cmml">​</mo><mrow id="S3.SS2.p3.7.m7.2.2.2.1.1" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.p3.7.m7.2.2.2.1.1.2" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.cmml">(</mo><msub id="S3.SS2.p3.7.m7.2.2.2.1.1.1" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.cmml"><mi id="S3.SS2.p3.7.m7.2.2.2.1.1.1.2" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.2.cmml">a</mi><mn id="S3.SS2.p3.7.m7.2.2.2.1.1.1.3" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.3.cmml">1</mn></msub><mo stretchy="false" id="S3.SS2.p3.7.m7.2.2.2.1.1.3" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.p3.7.m7.2.2.2.2a" xref="S3.SS2.p3.7.m7.2.2.2.2.cmml">​</mo><mi id="S3.SS2.p3.7.m7.2.2.2.4" xref="S3.SS2.p3.7.m7.2.2.2.4.cmml">x</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.7.m7.2b"><apply id="S3.SS2.p3.7.m7.2.2.cmml" xref="S3.SS2.p3.7.m7.2.2"><eq id="S3.SS2.p3.7.m7.2.2.3.cmml" xref="S3.SS2.p3.7.m7.2.2.3"></eq><apply id="S3.SS2.p3.7.m7.1.1.1.cmml" xref="S3.SS2.p3.7.m7.1.1.1"><times id="S3.SS2.p3.7.m7.1.1.1.2.cmml" xref="S3.SS2.p3.7.m7.1.1.1.2"></times><ci id="S3.SS2.p3.7.m7.1.1.1.3.cmml" xref="S3.SS2.p3.7.m7.1.1.1.3">𝑇</ci><apply id="S3.SS2.p3.7.m7.1.1.1.1.1.1.cmml" xref="S3.SS2.p3.7.m7.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.p3.7.m7.1.1.1.1.1.1.1.cmml" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.1">conditional</csymbol><ci id="S3.SS2.p3.7.m7.1.1.1.1.1.1.2.cmml" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.2">𝑥</ci><apply id="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.cmml" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.1.cmml" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.2.cmml" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.2">𝑎</ci><cn type="integer" id="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.3.cmml" xref="S3.SS2.p3.7.m7.1.1.1.1.1.1.3.3">1</cn></apply></apply></apply><apply id="S3.SS2.p3.7.m7.2.2.2.cmml" xref="S3.SS2.p3.7.m7.2.2.2"><times id="S3.SS2.p3.7.m7.2.2.2.2.cmml" xref="S3.SS2.p3.7.m7.2.2.2.2"></times><ci id="S3.SS2.p3.7.m7.2.2.2.3.cmml" xref="S3.SS2.p3.7.m7.2.2.2.3">diag</ci><apply id="S3.SS2.p3.7.m7.2.2.2.1.1.1.cmml" xref="S3.SS2.p3.7.m7.2.2.2.1.1"><csymbol cd="ambiguous" id="S3.SS2.p3.7.m7.2.2.2.1.1.1.1.cmml" xref="S3.SS2.p3.7.m7.2.2.2.1.1">subscript</csymbol><ci id="S3.SS2.p3.7.m7.2.2.2.1.1.1.2.cmml" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.2">𝑎</ci><cn type="integer" id="S3.SS2.p3.7.m7.2.2.2.1.1.1.3.cmml" xref="S3.SS2.p3.7.m7.2.2.2.1.1.1.3">1</cn></apply><ci id="S3.SS2.p3.7.m7.2.2.2.4.cmml" xref="S3.SS2.p3.7.m7.2.2.2.4">𝑥</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.7.m7.2c">T(x|a_{1})={\rm diag}(a_{1})x</annotation></semantics></math>.
Criterion equation <a href="#S2.E3" title="Equation 3 ‣ 2.2 The Preconditioner Fitting Criterion ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> gives the preconditioner in ESGD <cite class="ltx_cite ltx_citemacro_citep">[Dauphin et al., <a href="#bib.bib8" title="" class="ltx_ref">2015</a>]</cite> &amp; AdaHessian <cite class="ltx_cite ltx_citemacro_citep">[Yao et al., <a href="#bib.bib46" title="" class="ltx_ref">2021</a>]</cite> as a special case when <math id="S3.SS2.p3.8.m8.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S3.SS2.p3.8.m8.1a"><mi id="S3.SS2.p3.8.m8.1.1" xref="S3.SS2.p3.8.m8.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p3.8.m8.1b"><ci id="S3.SS2.p3.8.m8.1.1.cmml" xref="S3.SS2.p3.8.m8.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p3.8.m8.1c">P</annotation></semantics></math> is on this group.</p>
</div>
<div id="S3.SS2.p4" class="ltx_para">
<p id="S3.SS2.p4.2" class="ltx_p"><em id="S3.SS2.p4.2.1" class="ltx_emph ltx_font_italic">Example 2</em>: The group of “X-shape matrices.”
Let <math id="S3.SS2.p4.1.m1.2" class="ltx_Math" alttext="K=\{e,\sigma_{f}\}" display="inline"><semantics id="S3.SS2.p4.1.m1.2a"><mrow id="S3.SS2.p4.1.m1.2.2" xref="S3.SS2.p4.1.m1.2.2.cmml"><mi id="S3.SS2.p4.1.m1.2.2.3" xref="S3.SS2.p4.1.m1.2.2.3.cmml">K</mi><mo id="S3.SS2.p4.1.m1.2.2.2" xref="S3.SS2.p4.1.m1.2.2.2.cmml">=</mo><mrow id="S3.SS2.p4.1.m1.2.2.1.1" xref="S3.SS2.p4.1.m1.2.2.1.2.cmml"><mo stretchy="false" id="S3.SS2.p4.1.m1.2.2.1.1.2" xref="S3.SS2.p4.1.m1.2.2.1.2.cmml">{</mo><mi id="S3.SS2.p4.1.m1.1.1" xref="S3.SS2.p4.1.m1.1.1.cmml">e</mi><mo id="S3.SS2.p4.1.m1.2.2.1.1.3" xref="S3.SS2.p4.1.m1.2.2.1.2.cmml">,</mo><msub id="S3.SS2.p4.1.m1.2.2.1.1.1" xref="S3.SS2.p4.1.m1.2.2.1.1.1.cmml"><mi id="S3.SS2.p4.1.m1.2.2.1.1.1.2" xref="S3.SS2.p4.1.m1.2.2.1.1.1.2.cmml">σ</mi><mi id="S3.SS2.p4.1.m1.2.2.1.1.1.3" xref="S3.SS2.p4.1.m1.2.2.1.1.1.3.cmml">f</mi></msub><mo stretchy="false" id="S3.SS2.p4.1.m1.2.2.1.1.4" xref="S3.SS2.p4.1.m1.2.2.1.2.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p4.1.m1.2b"><apply id="S3.SS2.p4.1.m1.2.2.cmml" xref="S3.SS2.p4.1.m1.2.2"><eq id="S3.SS2.p4.1.m1.2.2.2.cmml" xref="S3.SS2.p4.1.m1.2.2.2"></eq><ci id="S3.SS2.p4.1.m1.2.2.3.cmml" xref="S3.SS2.p4.1.m1.2.2.3">𝐾</ci><set id="S3.SS2.p4.1.m1.2.2.1.2.cmml" xref="S3.SS2.p4.1.m1.2.2.1.1"><ci id="S3.SS2.p4.1.m1.1.1.cmml" xref="S3.SS2.p4.1.m1.1.1">𝑒</ci><apply id="S3.SS2.p4.1.m1.2.2.1.1.1.cmml" xref="S3.SS2.p4.1.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p4.1.m1.2.2.1.1.1.1.cmml" xref="S3.SS2.p4.1.m1.2.2.1.1.1">subscript</csymbol><ci id="S3.SS2.p4.1.m1.2.2.1.1.1.2.cmml" xref="S3.SS2.p4.1.m1.2.2.1.1.1.2">𝜎</ci><ci id="S3.SS2.p4.1.m1.2.2.1.1.1.3.cmml" xref="S3.SS2.p4.1.m1.2.2.1.1.1.3">𝑓</ci></apply></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p4.1.m1.2c">K=\{e,\sigma_{f}\}</annotation></semantics></math>, where <math id="S3.SS2.p4.2.m2.1" class="ltx_Math" alttext="\sigma_{f}" display="inline"><semantics id="S3.SS2.p4.2.m2.1a"><msub id="S3.SS2.p4.2.m2.1.1" xref="S3.SS2.p4.2.m2.1.1.cmml"><mi id="S3.SS2.p4.2.m2.1.1.2" xref="S3.SS2.p4.2.m2.1.1.2.cmml">σ</mi><mi id="S3.SS2.p4.2.m2.1.1.3" xref="S3.SS2.p4.2.m2.1.1.3.cmml">f</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p4.2.m2.1b"><apply id="S3.SS2.p4.2.m2.1.1.cmml" xref="S3.SS2.p4.2.m2.1.1"><csymbol cd="ambiguous" id="S3.SS2.p4.2.m2.1.1.1.cmml" xref="S3.SS2.p4.2.m2.1.1">subscript</csymbol><ci id="S3.SS2.p4.2.m2.1.1.2.cmml" xref="S3.SS2.p4.2.m2.1.1.2">𝜎</ci><ci id="S3.SS2.p4.2.m2.1.1.3.cmml" xref="S3.SS2.p4.2.m2.1.1.3">𝑓</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p4.2.m2.1c">\sigma_{f}</annotation></semantics></math> denotes the flipping permutation.
Then:</p>
<table id="A12.EGx1" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.Ex1"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.Ex1.m1.1" class="ltx_math_unparsed" alttext="\displaystyle T(\cdot|a,b)T(\cdot|u,v)" display="inline"><semantics id="S3.Ex1.m1.1a"><mrow id="S3.Ex1.m1.1b"><mi id="S3.Ex1.m1.1.1">T</mi><mrow id="S3.Ex1.m1.1.2"><mo stretchy="false" id="S3.Ex1.m1.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex1.m1.1.2.3">|</mo><mi id="S3.Ex1.m1.1.2.4">a</mi><mo id="S3.Ex1.m1.1.2.5">,</mo><mi id="S3.Ex1.m1.1.2.6">b</mi><mo stretchy="false" id="S3.Ex1.m1.1.2.7">)</mo></mrow><mi id="S3.Ex1.m1.1.3">T</mi><mrow id="S3.Ex1.m1.1.4"><mo stretchy="false" id="S3.Ex1.m1.1.4.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex1.m1.1.4.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex1.m1.1.4.3">|</mo><mi id="S3.Ex1.m1.1.4.4">u</mi><mo id="S3.Ex1.m1.1.4.5">,</mo><mi id="S3.Ex1.m1.1.4.6">v</mi><mo stretchy="false" id="S3.Ex1.m1.1.4.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.Ex1.m1.1c">\displaystyle T(\cdot|a,b)T(\cdot|u,v)</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex1.m2.1" class="ltx_math_unparsed" alttext="\displaystyle=T(\cdot|a\odot u+b\odot\sigma_{f}(v)," display="inline"><semantics id="S3.Ex1.m2.1a"><mrow id="S3.Ex1.m2.1b"><mo id="S3.Ex1.m2.1.1">=</mo><mi id="S3.Ex1.m2.1.2">T</mi><mrow id="S3.Ex1.m2.1.3"><mo stretchy="false" id="S3.Ex1.m2.1.3.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex1.m2.1.3.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex1.m2.1.3.3">|</mo><mi id="S3.Ex1.m2.1.3.4">a</mi><mo lspace="0.222em" rspace="0.222em" id="S3.Ex1.m2.1.3.5">⊙</mo><mi id="S3.Ex1.m2.1.3.6">u</mi><mo id="S3.Ex1.m2.1.3.7">+</mo><mi id="S3.Ex1.m2.1.3.8">b</mi><mo lspace="0.222em" rspace="0.222em" id="S3.Ex1.m2.1.3.9">⊙</mo><msub id="S3.Ex1.m2.1.3.10"><mi id="S3.Ex1.m2.1.3.10.2">σ</mi><mi id="S3.Ex1.m2.1.3.10.3">f</mi></msub><mrow id="S3.Ex1.m2.1.3.11"><mo stretchy="false" id="S3.Ex1.m2.1.3.11.1">(</mo><mi id="S3.Ex1.m2.1.3.11.2">v</mi><mo stretchy="false" id="S3.Ex1.m2.1.3.11.3">)</mo></mrow><mo id="S3.Ex1.m2.1.3.12">,</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.Ex1.m2.1c">\displaystyle=T(\cdot|a\odot u+b\odot\sigma_{f}(v),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S3.Ex2"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex2.m1.1" class="ltx_math_unparsed" alttext="\displaystyle a\odot v+b\odot\sigma_{f}(u))" display="inline"><semantics id="S3.Ex2.m1.1a"><mrow id="S3.Ex2.m1.1b"><mi id="S3.Ex2.m1.1.2">a</mi><mo lspace="0.222em" rspace="0.222em" id="S3.Ex2.m1.1.3">⊙</mo><mi id="S3.Ex2.m1.1.4">v</mi><mo id="S3.Ex2.m1.1.5">+</mo><mi id="S3.Ex2.m1.1.6">b</mi><mo lspace="0.222em" rspace="0.222em" id="S3.Ex2.m1.1.7">⊙</mo><msub id="S3.Ex2.m1.1.8"><mi id="S3.Ex2.m1.1.8.2">σ</mi><mi id="S3.Ex2.m1.1.8.3">f</mi></msub><mrow id="S3.Ex2.m1.1.9"><mo stretchy="false" id="S3.Ex2.m1.1.9.1">(</mo><mi id="S3.Ex2.m1.1.1">u</mi><mo stretchy="false" id="S3.Ex2.m1.1.9.2">)</mo></mrow><mo stretchy="false" id="S3.Ex2.m1.1.10">)</mo></mrow><annotation encoding="application/x-tex" id="S3.Ex2.m1.1c">\displaystyle a\odot v+b\odot\sigma_{f}(u))</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="S3.Ex3"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.Ex3.m1.1" class="ltx_math_unparsed" alttext="\displaystyle T^{-1}(\cdot|a,b)" display="inline"><semantics id="S3.Ex3.m1.1a"><mrow id="S3.Ex3.m1.1b"><msup id="S3.Ex3.m1.1.1"><mi id="S3.Ex3.m1.1.1.2">T</mi><mrow id="S3.Ex3.m1.1.1.3"><mo id="S3.Ex3.m1.1.1.3a">−</mo><mn id="S3.Ex3.m1.1.1.3.2">1</mn></mrow></msup><mrow id="S3.Ex3.m1.1.2"><mo stretchy="false" id="S3.Ex3.m1.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex3.m1.1.2.3">|</mo><mi id="S3.Ex3.m1.1.2.4">a</mi><mo id="S3.Ex3.m1.1.2.5">,</mo><mi id="S3.Ex3.m1.1.2.6">b</mi><mo stretchy="false" id="S3.Ex3.m1.1.2.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.Ex3.m1.1c">\displaystyle T^{-1}(\cdot|a,b)</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.Ex3.m2.1" class="ltx_math_unparsed" alttext="\displaystyle=T(\cdot|{\sigma_{f}(a)\oslash c,-b\oslash c})" display="inline"><semantics id="S3.Ex3.m2.1a"><mrow id="S3.Ex3.m2.1b"><mo id="S3.Ex3.m2.1.1">=</mo><mi id="S3.Ex3.m2.1.2">T</mi><mrow id="S3.Ex3.m2.1.3"><mo stretchy="false" id="S3.Ex3.m2.1.3.1">(</mo><mo lspace="0em" rspace="0em" id="S3.Ex3.m2.1.3.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="S3.Ex3.m2.1.3.3">|</mo><msub id="S3.Ex3.m2.1.3.4"><mi id="S3.Ex3.m2.1.3.4.2">σ</mi><mi id="S3.Ex3.m2.1.3.4.3">f</mi></msub><mrow id="S3.Ex3.m2.1.3.5"><mo stretchy="false" id="S3.Ex3.m2.1.3.5.1">(</mo><mi id="S3.Ex3.m2.1.3.5.2">a</mi><mo stretchy="false" id="S3.Ex3.m2.1.3.5.3">)</mo></mrow><mo id="S3.Ex3.m2.1.3.6">⊘</mo><mi id="S3.Ex3.m2.1.3.7">c</mi><mo rspace="0em" id="S3.Ex3.m2.1.3.8">,</mo><mo lspace="0em" id="S3.Ex3.m2.1.3.9">−</mo><mi id="S3.Ex3.m2.1.3.10">b</mi><mo id="S3.Ex3.m2.1.3.11">⊘</mo><mi id="S3.Ex3.m2.1.3.12">c</mi><mo stretchy="false" id="S3.Ex3.m2.1.3.13">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="S3.Ex3.m2.1c">\displaystyle=T(\cdot|{\sigma_{f}(a)\oslash c,-b\oslash c})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="S3.SS2.p4.5" class="ltx_p">where <math id="S3.SS2.p4.3.m1.2" class="ltx_Math" alttext="c=a\odot\sigma_{f}(a)-b\odot\sigma_{f}(b)" display="inline"><semantics id="S3.SS2.p4.3.m1.2a"><mrow id="S3.SS2.p4.3.m1.2.3" xref="S3.SS2.p4.3.m1.2.3.cmml"><mi id="S3.SS2.p4.3.m1.2.3.2" xref="S3.SS2.p4.3.m1.2.3.2.cmml">c</mi><mo id="S3.SS2.p4.3.m1.2.3.1" xref="S3.SS2.p4.3.m1.2.3.1.cmml">=</mo><mrow id="S3.SS2.p4.3.m1.2.3.3" xref="S3.SS2.p4.3.m1.2.3.3.cmml"><mrow id="S3.SS2.p4.3.m1.2.3.3.2" xref="S3.SS2.p4.3.m1.2.3.3.2.cmml"><mrow id="S3.SS2.p4.3.m1.2.3.3.2.2" xref="S3.SS2.p4.3.m1.2.3.3.2.2.cmml"><mi id="S3.SS2.p4.3.m1.2.3.3.2.2.2" xref="S3.SS2.p4.3.m1.2.3.3.2.2.2.cmml">a</mi><mo lspace="0.222em" rspace="0.222em" id="S3.SS2.p4.3.m1.2.3.3.2.2.1" xref="S3.SS2.p4.3.m1.2.3.3.2.2.1.cmml">⊙</mo><msub id="S3.SS2.p4.3.m1.2.3.3.2.2.3" xref="S3.SS2.p4.3.m1.2.3.3.2.2.3.cmml"><mi id="S3.SS2.p4.3.m1.2.3.3.2.2.3.2" xref="S3.SS2.p4.3.m1.2.3.3.2.2.3.2.cmml">σ</mi><mi id="S3.SS2.p4.3.m1.2.3.3.2.2.3.3" xref="S3.SS2.p4.3.m1.2.3.3.2.2.3.3.cmml">f</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.p4.3.m1.2.3.3.2.1" xref="S3.SS2.p4.3.m1.2.3.3.2.1.cmml">​</mo><mrow id="S3.SS2.p4.3.m1.2.3.3.2.3.2" xref="S3.SS2.p4.3.m1.2.3.3.2.cmml"><mo stretchy="false" id="S3.SS2.p4.3.m1.2.3.3.2.3.2.1" xref="S3.SS2.p4.3.m1.2.3.3.2.cmml">(</mo><mi id="S3.SS2.p4.3.m1.1.1" xref="S3.SS2.p4.3.m1.1.1.cmml">a</mi><mo stretchy="false" id="S3.SS2.p4.3.m1.2.3.3.2.3.2.2" xref="S3.SS2.p4.3.m1.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="S3.SS2.p4.3.m1.2.3.3.1" xref="S3.SS2.p4.3.m1.2.3.3.1.cmml">−</mo><mrow id="S3.SS2.p4.3.m1.2.3.3.3" xref="S3.SS2.p4.3.m1.2.3.3.3.cmml"><mrow id="S3.SS2.p4.3.m1.2.3.3.3.2" xref="S3.SS2.p4.3.m1.2.3.3.3.2.cmml"><mi id="S3.SS2.p4.3.m1.2.3.3.3.2.2" xref="S3.SS2.p4.3.m1.2.3.3.3.2.2.cmml">b</mi><mo lspace="0.222em" rspace="0.222em" id="S3.SS2.p4.3.m1.2.3.3.3.2.1" xref="S3.SS2.p4.3.m1.2.3.3.3.2.1.cmml">⊙</mo><msub id="S3.SS2.p4.3.m1.2.3.3.3.2.3" xref="S3.SS2.p4.3.m1.2.3.3.3.2.3.cmml"><mi id="S3.SS2.p4.3.m1.2.3.3.3.2.3.2" xref="S3.SS2.p4.3.m1.2.3.3.3.2.3.2.cmml">σ</mi><mi id="S3.SS2.p4.3.m1.2.3.3.3.2.3.3" xref="S3.SS2.p4.3.m1.2.3.3.3.2.3.3.cmml">f</mi></msub></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.p4.3.m1.2.3.3.3.1" xref="S3.SS2.p4.3.m1.2.3.3.3.1.cmml">​</mo><mrow id="S3.SS2.p4.3.m1.2.3.3.3.3.2" xref="S3.SS2.p4.3.m1.2.3.3.3.cmml"><mo stretchy="false" id="S3.SS2.p4.3.m1.2.3.3.3.3.2.1" xref="S3.SS2.p4.3.m1.2.3.3.3.cmml">(</mo><mi id="S3.SS2.p4.3.m1.2.2" xref="S3.SS2.p4.3.m1.2.2.cmml">b</mi><mo stretchy="false" id="S3.SS2.p4.3.m1.2.3.3.3.3.2.2" xref="S3.SS2.p4.3.m1.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p4.3.m1.2b"><apply id="S3.SS2.p4.3.m1.2.3.cmml" xref="S3.SS2.p4.3.m1.2.3"><eq id="S3.SS2.p4.3.m1.2.3.1.cmml" xref="S3.SS2.p4.3.m1.2.3.1"></eq><ci id="S3.SS2.p4.3.m1.2.3.2.cmml" xref="S3.SS2.p4.3.m1.2.3.2">𝑐</ci><apply id="S3.SS2.p4.3.m1.2.3.3.cmml" xref="S3.SS2.p4.3.m1.2.3.3"><minus id="S3.SS2.p4.3.m1.2.3.3.1.cmml" xref="S3.SS2.p4.3.m1.2.3.3.1"></minus><apply id="S3.SS2.p4.3.m1.2.3.3.2.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2"><times id="S3.SS2.p4.3.m1.2.3.3.2.1.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.1"></times><apply id="S3.SS2.p4.3.m1.2.3.3.2.2.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.2"><csymbol cd="latexml" id="S3.SS2.p4.3.m1.2.3.3.2.2.1.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.2.1">direct-product</csymbol><ci id="S3.SS2.p4.3.m1.2.3.3.2.2.2.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.2.2">𝑎</ci><apply id="S3.SS2.p4.3.m1.2.3.3.2.2.3.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.2.3"><csymbol cd="ambiguous" id="S3.SS2.p4.3.m1.2.3.3.2.2.3.1.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.2.3">subscript</csymbol><ci id="S3.SS2.p4.3.m1.2.3.3.2.2.3.2.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.2.3.2">𝜎</ci><ci id="S3.SS2.p4.3.m1.2.3.3.2.2.3.3.cmml" xref="S3.SS2.p4.3.m1.2.3.3.2.2.3.3">𝑓</ci></apply></apply><ci id="S3.SS2.p4.3.m1.1.1.cmml" xref="S3.SS2.p4.3.m1.1.1">𝑎</ci></apply><apply id="S3.SS2.p4.3.m1.2.3.3.3.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3"><times id="S3.SS2.p4.3.m1.2.3.3.3.1.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.1"></times><apply id="S3.SS2.p4.3.m1.2.3.3.3.2.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.2"><csymbol cd="latexml" id="S3.SS2.p4.3.m1.2.3.3.3.2.1.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.2.1">direct-product</csymbol><ci id="S3.SS2.p4.3.m1.2.3.3.3.2.2.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.2.2">𝑏</ci><apply id="S3.SS2.p4.3.m1.2.3.3.3.2.3.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.2.3"><csymbol cd="ambiguous" id="S3.SS2.p4.3.m1.2.3.3.3.2.3.1.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.2.3">subscript</csymbol><ci id="S3.SS2.p4.3.m1.2.3.3.3.2.3.2.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.2.3.2">𝜎</ci><ci id="S3.SS2.p4.3.m1.2.3.3.3.2.3.3.cmml" xref="S3.SS2.p4.3.m1.2.3.3.3.2.3.3">𝑓</ci></apply></apply><ci id="S3.SS2.p4.3.m1.2.2.cmml" xref="S3.SS2.p4.3.m1.2.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p4.3.m1.2c">c=a\odot\sigma_{f}(a)-b\odot\sigma_{f}(b)</annotation></semantics></math>.
Clearly, such transforms form a Lie group if they are invertible, i.e., no element of <math id="S3.SS2.p4.4.m2.1" class="ltx_Math" alttext="c" display="inline"><semantics id="S3.SS2.p4.4.m2.1a"><mi id="S3.SS2.p4.4.m2.1.1" xref="S3.SS2.p4.4.m2.1.1.cmml">c</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p4.4.m2.1b"><ci id="S3.SS2.p4.4.m2.1.1.cmml" xref="S3.SS2.p4.4.m2.1.1">𝑐</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p4.4.m2.1c">c</annotation></semantics></math> is zero.
The matrix representation of this <math id="S3.SS2.p4.5.m3.1" class="ltx_Math" alttext="T" display="inline"><semantics id="S3.SS2.p4.5.m3.1a"><mi id="S3.SS2.p4.5.m3.1.1" xref="S3.SS2.p4.5.m3.1.1.cmml">T</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p4.5.m3.1b"><ci id="S3.SS2.p4.5.m3.1.1.cmml" xref="S3.SS2.p4.5.m3.1.1">𝑇</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p4.5.m3.1c">T</annotation></semantics></math> only has nonzero diagonal &amp; anti-diagonal elements, thus the name X-shape matrix (<span id="S3.SS2.p4.5.1" class="ltx_text ltx_font_smallcaps">XMat</span>). This becomes our minimal overhead general purpose preconditioner for PSGD.</p>
</div>
<div id="S3.SS2.p5" class="ltx_para">
<p id="S3.SS2.p5.4" class="ltx_p"><em id="S3.SS2.p5.4.1" class="ltx_emph ltx_font_italic">Example 3</em>: The butterfly matrix. For an even <math id="S3.SS2.p5.1.m1.1" class="ltx_Math" alttext="n" display="inline"><semantics id="S3.SS2.p5.1.m1.1a"><mi id="S3.SS2.p5.1.m1.1.1" xref="S3.SS2.p5.1.m1.1.1.cmml">n</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p5.1.m1.1b"><ci id="S3.SS2.p5.1.m1.1.1.cmml" xref="S3.SS2.p5.1.m1.1.1">𝑛</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p5.1.m1.1c">n</annotation></semantics></math>, subgroup <math id="S3.SS2.p5.2.m2.2" class="ltx_Math" alttext="K=\{e,s_{\frac{n}{2}}\}" display="inline"><semantics id="S3.SS2.p5.2.m2.2a"><mrow id="S3.SS2.p5.2.m2.2.2" xref="S3.SS2.p5.2.m2.2.2.cmml"><mi id="S3.SS2.p5.2.m2.2.2.3" xref="S3.SS2.p5.2.m2.2.2.3.cmml">K</mi><mo id="S3.SS2.p5.2.m2.2.2.2" xref="S3.SS2.p5.2.m2.2.2.2.cmml">=</mo><mrow id="S3.SS2.p5.2.m2.2.2.1.1" xref="S3.SS2.p5.2.m2.2.2.1.2.cmml"><mo stretchy="false" id="S3.SS2.p5.2.m2.2.2.1.1.2" xref="S3.SS2.p5.2.m2.2.2.1.2.cmml">{</mo><mi id="S3.SS2.p5.2.m2.1.1" xref="S3.SS2.p5.2.m2.1.1.cmml">e</mi><mo id="S3.SS2.p5.2.m2.2.2.1.1.3" xref="S3.SS2.p5.2.m2.2.2.1.2.cmml">,</mo><msub id="S3.SS2.p5.2.m2.2.2.1.1.1" xref="S3.SS2.p5.2.m2.2.2.1.1.1.cmml"><mi id="S3.SS2.p5.2.m2.2.2.1.1.1.2" xref="S3.SS2.p5.2.m2.2.2.1.1.1.2.cmml">s</mi><mfrac id="S3.SS2.p5.2.m2.2.2.1.1.1.3" xref="S3.SS2.p5.2.m2.2.2.1.1.1.3.cmml"><mi id="S3.SS2.p5.2.m2.2.2.1.1.1.3.2" xref="S3.SS2.p5.2.m2.2.2.1.1.1.3.2.cmml">n</mi><mn id="S3.SS2.p5.2.m2.2.2.1.1.1.3.3" xref="S3.SS2.p5.2.m2.2.2.1.1.1.3.3.cmml">2</mn></mfrac></msub><mo stretchy="false" id="S3.SS2.p5.2.m2.2.2.1.1.4" xref="S3.SS2.p5.2.m2.2.2.1.2.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p5.2.m2.2b"><apply id="S3.SS2.p5.2.m2.2.2.cmml" xref="S3.SS2.p5.2.m2.2.2"><eq id="S3.SS2.p5.2.m2.2.2.2.cmml" xref="S3.SS2.p5.2.m2.2.2.2"></eq><ci id="S3.SS2.p5.2.m2.2.2.3.cmml" xref="S3.SS2.p5.2.m2.2.2.3">𝐾</ci><set id="S3.SS2.p5.2.m2.2.2.1.2.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1"><ci id="S3.SS2.p5.2.m2.1.1.cmml" xref="S3.SS2.p5.2.m2.1.1">𝑒</ci><apply id="S3.SS2.p5.2.m2.2.2.1.1.1.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p5.2.m2.2.2.1.1.1.1.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1.1">subscript</csymbol><ci id="S3.SS2.p5.2.m2.2.2.1.1.1.2.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1.1.2">𝑠</ci><apply id="S3.SS2.p5.2.m2.2.2.1.1.1.3.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1.1.3"><divide id="S3.SS2.p5.2.m2.2.2.1.1.1.3.1.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1.1.3"></divide><ci id="S3.SS2.p5.2.m2.2.2.1.1.1.3.2.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1.1.3.2">𝑛</ci><cn type="integer" id="S3.SS2.p5.2.m2.2.2.1.1.1.3.3.cmml" xref="S3.SS2.p5.2.m2.2.2.1.1.1.3.3">2</cn></apply></apply></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p5.2.m2.2c">K=\{e,s_{\frac{n}{2}}\}</annotation></semantics></math> induces a Lie group whose representations are invertible butterfly matrices, where <math id="S3.SS2.p5.3.m3.1" class="ltx_Math" alttext="s_{\frac{n}{2}}" display="inline"><semantics id="S3.SS2.p5.3.m3.1a"><msub id="S3.SS2.p5.3.m3.1.1" xref="S3.SS2.p5.3.m3.1.1.cmml"><mi id="S3.SS2.p5.3.m3.1.1.2" xref="S3.SS2.p5.3.m3.1.1.2.cmml">s</mi><mfrac id="S3.SS2.p5.3.m3.1.1.3" xref="S3.SS2.p5.3.m3.1.1.3.cmml"><mi id="S3.SS2.p5.3.m3.1.1.3.2" xref="S3.SS2.p5.3.m3.1.1.3.2.cmml">n</mi><mn id="S3.SS2.p5.3.m3.1.1.3.3" xref="S3.SS2.p5.3.m3.1.1.3.3.cmml">2</mn></mfrac></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p5.3.m3.1b"><apply id="S3.SS2.p5.3.m3.1.1.cmml" xref="S3.SS2.p5.3.m3.1.1"><csymbol cd="ambiguous" id="S3.SS2.p5.3.m3.1.1.1.cmml" xref="S3.SS2.p5.3.m3.1.1">subscript</csymbol><ci id="S3.SS2.p5.3.m3.1.1.2.cmml" xref="S3.SS2.p5.3.m3.1.1.2">𝑠</ci><apply id="S3.SS2.p5.3.m3.1.1.3.cmml" xref="S3.SS2.p5.3.m3.1.1.3"><divide id="S3.SS2.p5.3.m3.1.1.3.1.cmml" xref="S3.SS2.p5.3.m3.1.1.3"></divide><ci id="S3.SS2.p5.3.m3.1.1.3.2.cmml" xref="S3.SS2.p5.3.m3.1.1.3.2">𝑛</ci><cn type="integer" id="S3.SS2.p5.3.m3.1.1.3.3.cmml" xref="S3.SS2.p5.3.m3.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p5.3.m3.1c">s_{\frac{n}{2}}</annotation></semantics></math> denotes circular shifting by <math id="S3.SS2.p5.4.m4.1" class="ltx_Math" alttext="\frac{n}{2}" display="inline"><semantics id="S3.SS2.p5.4.m4.1a"><mfrac id="S3.SS2.p5.4.m4.1.1" xref="S3.SS2.p5.4.m4.1.1.cmml"><mi id="S3.SS2.p5.4.m4.1.1.2" xref="S3.SS2.p5.4.m4.1.1.2.cmml">n</mi><mn id="S3.SS2.p5.4.m4.1.1.3" xref="S3.SS2.p5.4.m4.1.1.3.cmml">2</mn></mfrac><annotation-xml encoding="MathML-Content" id="S3.SS2.p5.4.m4.1b"><apply id="S3.SS2.p5.4.m4.1.1.cmml" xref="S3.SS2.p5.4.m4.1.1"><divide id="S3.SS2.p5.4.m4.1.1.1.cmml" xref="S3.SS2.p5.4.m4.1.1"></divide><ci id="S3.SS2.p5.4.m4.1.1.2.cmml" xref="S3.SS2.p5.4.m4.1.1.2">𝑛</ci><cn type="integer" id="S3.SS2.p5.4.m4.1.1.3.cmml" xref="S3.SS2.p5.4.m4.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p5.4.m4.1c">\frac{n}{2}</annotation></semantics></math> positions. This group of matrices are the building blocks of Kaleidoscope matrices.</p>
</div>
<div id="S3.SS2.p6" class="ltx_para">
<p id="S3.SS2.p6.6" class="ltx_p">Additionally, the group <math id="S3.SS2.p6.1.m1.2" class="ltx_Math" alttext="GL(n,\mathbb{R})" display="inline"><semantics id="S3.SS2.p6.1.m1.2a"><mrow id="S3.SS2.p6.1.m1.2.3" xref="S3.SS2.p6.1.m1.2.3.cmml"><mi id="S3.SS2.p6.1.m1.2.3.2" xref="S3.SS2.p6.1.m1.2.3.2.cmml">G</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p6.1.m1.2.3.1" xref="S3.SS2.p6.1.m1.2.3.1.cmml">​</mo><mi id="S3.SS2.p6.1.m1.2.3.3" xref="S3.SS2.p6.1.m1.2.3.3.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p6.1.m1.2.3.1a" xref="S3.SS2.p6.1.m1.2.3.1.cmml">​</mo><mrow id="S3.SS2.p6.1.m1.2.3.4.2" xref="S3.SS2.p6.1.m1.2.3.4.1.cmml"><mo stretchy="false" id="S3.SS2.p6.1.m1.2.3.4.2.1" xref="S3.SS2.p6.1.m1.2.3.4.1.cmml">(</mo><mi id="S3.SS2.p6.1.m1.1.1" xref="S3.SS2.p6.1.m1.1.1.cmml">n</mi><mo id="S3.SS2.p6.1.m1.2.3.4.2.2" xref="S3.SS2.p6.1.m1.2.3.4.1.cmml">,</mo><mi id="S3.SS2.p6.1.m1.2.2" xref="S3.SS2.p6.1.m1.2.2.cmml">ℝ</mi><mo stretchy="false" id="S3.SS2.p6.1.m1.2.3.4.2.3" xref="S3.SS2.p6.1.m1.2.3.4.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p6.1.m1.2b"><apply id="S3.SS2.p6.1.m1.2.3.cmml" xref="S3.SS2.p6.1.m1.2.3"><times id="S3.SS2.p6.1.m1.2.3.1.cmml" xref="S3.SS2.p6.1.m1.2.3.1"></times><ci id="S3.SS2.p6.1.m1.2.3.2.cmml" xref="S3.SS2.p6.1.m1.2.3.2">𝐺</ci><ci id="S3.SS2.p6.1.m1.2.3.3.cmml" xref="S3.SS2.p6.1.m1.2.3.3">𝐿</ci><interval closure="open" id="S3.SS2.p6.1.m1.2.3.4.1.cmml" xref="S3.SS2.p6.1.m1.2.3.4.2"><ci id="S3.SS2.p6.1.m1.1.1.cmml" xref="S3.SS2.p6.1.m1.1.1">𝑛</ci><ci id="S3.SS2.p6.1.m1.2.2.cmml" xref="S3.SS2.p6.1.m1.2.2">ℝ</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p6.1.m1.2c">GL(n,\mathbb{R})</annotation></semantics></math> can be recovered by letting <math id="S3.SS2.p6.2.m2.4" class="ltx_Math" alttext="K=\{e,s_{1},\ldots,s_{n-1}\}" display="inline"><semantics id="S3.SS2.p6.2.m2.4a"><mrow id="S3.SS2.p6.2.m2.4.4" xref="S3.SS2.p6.2.m2.4.4.cmml"><mi id="S3.SS2.p6.2.m2.4.4.4" xref="S3.SS2.p6.2.m2.4.4.4.cmml">K</mi><mo id="S3.SS2.p6.2.m2.4.4.3" xref="S3.SS2.p6.2.m2.4.4.3.cmml">=</mo><mrow id="S3.SS2.p6.2.m2.4.4.2.2" xref="S3.SS2.p6.2.m2.4.4.2.3.cmml"><mo stretchy="false" id="S3.SS2.p6.2.m2.4.4.2.2.3" xref="S3.SS2.p6.2.m2.4.4.2.3.cmml">{</mo><mi id="S3.SS2.p6.2.m2.1.1" xref="S3.SS2.p6.2.m2.1.1.cmml">e</mi><mo id="S3.SS2.p6.2.m2.4.4.2.2.4" xref="S3.SS2.p6.2.m2.4.4.2.3.cmml">,</mo><msub id="S3.SS2.p6.2.m2.3.3.1.1.1" xref="S3.SS2.p6.2.m2.3.3.1.1.1.cmml"><mi id="S3.SS2.p6.2.m2.3.3.1.1.1.2" xref="S3.SS2.p6.2.m2.3.3.1.1.1.2.cmml">s</mi><mn id="S3.SS2.p6.2.m2.3.3.1.1.1.3" xref="S3.SS2.p6.2.m2.3.3.1.1.1.3.cmml">1</mn></msub><mo id="S3.SS2.p6.2.m2.4.4.2.2.5" xref="S3.SS2.p6.2.m2.4.4.2.3.cmml">,</mo><mi mathvariant="normal" id="S3.SS2.p6.2.m2.2.2" xref="S3.SS2.p6.2.m2.2.2.cmml">…</mi><mo id="S3.SS2.p6.2.m2.4.4.2.2.6" xref="S3.SS2.p6.2.m2.4.4.2.3.cmml">,</mo><msub id="S3.SS2.p6.2.m2.4.4.2.2.2" xref="S3.SS2.p6.2.m2.4.4.2.2.2.cmml"><mi id="S3.SS2.p6.2.m2.4.4.2.2.2.2" xref="S3.SS2.p6.2.m2.4.4.2.2.2.2.cmml">s</mi><mrow id="S3.SS2.p6.2.m2.4.4.2.2.2.3" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3.cmml"><mi id="S3.SS2.p6.2.m2.4.4.2.2.2.3.2" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3.2.cmml">n</mi><mo id="S3.SS2.p6.2.m2.4.4.2.2.2.3.1" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3.1.cmml">−</mo><mn id="S3.SS2.p6.2.m2.4.4.2.2.2.3.3" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="S3.SS2.p6.2.m2.4.4.2.2.7" xref="S3.SS2.p6.2.m2.4.4.2.3.cmml">}</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p6.2.m2.4b"><apply id="S3.SS2.p6.2.m2.4.4.cmml" xref="S3.SS2.p6.2.m2.4.4"><eq id="S3.SS2.p6.2.m2.4.4.3.cmml" xref="S3.SS2.p6.2.m2.4.4.3"></eq><ci id="S3.SS2.p6.2.m2.4.4.4.cmml" xref="S3.SS2.p6.2.m2.4.4.4">𝐾</ci><set id="S3.SS2.p6.2.m2.4.4.2.3.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2"><ci id="S3.SS2.p6.2.m2.1.1.cmml" xref="S3.SS2.p6.2.m2.1.1">𝑒</ci><apply id="S3.SS2.p6.2.m2.3.3.1.1.1.cmml" xref="S3.SS2.p6.2.m2.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.p6.2.m2.3.3.1.1.1.1.cmml" xref="S3.SS2.p6.2.m2.3.3.1.1.1">subscript</csymbol><ci id="S3.SS2.p6.2.m2.3.3.1.1.1.2.cmml" xref="S3.SS2.p6.2.m2.3.3.1.1.1.2">𝑠</ci><cn type="integer" id="S3.SS2.p6.2.m2.3.3.1.1.1.3.cmml" xref="S3.SS2.p6.2.m2.3.3.1.1.1.3">1</cn></apply><ci id="S3.SS2.p6.2.m2.2.2.cmml" xref="S3.SS2.p6.2.m2.2.2">…</ci><apply id="S3.SS2.p6.2.m2.4.4.2.2.2.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.p6.2.m2.4.4.2.2.2.1.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2.2">subscript</csymbol><ci id="S3.SS2.p6.2.m2.4.4.2.2.2.2.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2.2.2">𝑠</ci><apply id="S3.SS2.p6.2.m2.4.4.2.2.2.3.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3"><minus id="S3.SS2.p6.2.m2.4.4.2.2.2.3.1.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3.1"></minus><ci id="S3.SS2.p6.2.m2.4.4.2.2.2.3.2.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3.2">𝑛</ci><cn type="integer" id="S3.SS2.p6.2.m2.4.4.2.2.2.3.3.cmml" xref="S3.SS2.p6.2.m2.4.4.2.2.2.3.3">1</cn></apply></apply></set></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p6.2.m2.4c">K=\{e,s_{1},\ldots,s_{n-1}\}</annotation></semantics></math>, where <math id="S3.SS2.p6.3.m3.1" class="ltx_Math" alttext="s_{i}" display="inline"><semantics id="S3.SS2.p6.3.m3.1a"><msub id="S3.SS2.p6.3.m3.1.1" xref="S3.SS2.p6.3.m3.1.1.cmml"><mi id="S3.SS2.p6.3.m3.1.1.2" xref="S3.SS2.p6.3.m3.1.1.2.cmml">s</mi><mi id="S3.SS2.p6.3.m3.1.1.3" xref="S3.SS2.p6.3.m3.1.1.3.cmml">i</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.p6.3.m3.1b"><apply id="S3.SS2.p6.3.m3.1.1.cmml" xref="S3.SS2.p6.3.m3.1.1"><csymbol cd="ambiguous" id="S3.SS2.p6.3.m3.1.1.1.cmml" xref="S3.SS2.p6.3.m3.1.1">subscript</csymbol><ci id="S3.SS2.p6.3.m3.1.1.2.cmml" xref="S3.SS2.p6.3.m3.1.1.2">𝑠</ci><ci id="S3.SS2.p6.3.m3.1.1.3.cmml" xref="S3.SS2.p6.3.m3.1.1.3">𝑖</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p6.3.m3.1c">s_{i}</annotation></semantics></math> denotes circular shifting by <math id="S3.SS2.p6.4.m4.1" class="ltx_Math" alttext="i" display="inline"><semantics id="S3.SS2.p6.4.m4.1a"><mi id="S3.SS2.p6.4.m4.1.1" xref="S3.SS2.p6.4.m4.1.1.cmml">i</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.p6.4.m4.1b"><ci id="S3.SS2.p6.4.m4.1.1.cmml" xref="S3.SS2.p6.4.m4.1.1">𝑖</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p6.4.m4.1c">i</annotation></semantics></math> positions. But, <math id="S3.SS2.p6.5.m5.2" class="ltx_Math" alttext="GL(n,\mathbb{R})" display="inline"><semantics id="S3.SS2.p6.5.m5.2a"><mrow id="S3.SS2.p6.5.m5.2.3" xref="S3.SS2.p6.5.m5.2.3.cmml"><mi id="S3.SS2.p6.5.m5.2.3.2" xref="S3.SS2.p6.5.m5.2.3.2.cmml">G</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p6.5.m5.2.3.1" xref="S3.SS2.p6.5.m5.2.3.1.cmml">​</mo><mi id="S3.SS2.p6.5.m5.2.3.3" xref="S3.SS2.p6.5.m5.2.3.3.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.SS2.p6.5.m5.2.3.1a" xref="S3.SS2.p6.5.m5.2.3.1.cmml">​</mo><mrow id="S3.SS2.p6.5.m5.2.3.4.2" xref="S3.SS2.p6.5.m5.2.3.4.1.cmml"><mo stretchy="false" id="S3.SS2.p6.5.m5.2.3.4.2.1" xref="S3.SS2.p6.5.m5.2.3.4.1.cmml">(</mo><mi id="S3.SS2.p6.5.m5.1.1" xref="S3.SS2.p6.5.m5.1.1.cmml">n</mi><mo id="S3.SS2.p6.5.m5.2.3.4.2.2" xref="S3.SS2.p6.5.m5.2.3.4.1.cmml">,</mo><mi id="S3.SS2.p6.5.m5.2.2" xref="S3.SS2.p6.5.m5.2.2.cmml">ℝ</mi><mo stretchy="false" id="S3.SS2.p6.5.m5.2.3.4.2.3" xref="S3.SS2.p6.5.m5.2.3.4.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p6.5.m5.2b"><apply id="S3.SS2.p6.5.m5.2.3.cmml" xref="S3.SS2.p6.5.m5.2.3"><times id="S3.SS2.p6.5.m5.2.3.1.cmml" xref="S3.SS2.p6.5.m5.2.3.1"></times><ci id="S3.SS2.p6.5.m5.2.3.2.cmml" xref="S3.SS2.p6.5.m5.2.3.2">𝐺</ci><ci id="S3.SS2.p6.5.m5.2.3.3.cmml" xref="S3.SS2.p6.5.m5.2.3.3">𝐿</ci><interval closure="open" id="S3.SS2.p6.5.m5.2.3.4.1.cmml" xref="S3.SS2.p6.5.m5.2.3.4.2"><ci id="S3.SS2.p6.5.m5.1.1.cmml" xref="S3.SS2.p6.5.m5.1.1">𝑛</ci><ci id="S3.SS2.p6.5.m5.2.2.cmml" xref="S3.SS2.p6.5.m5.2.2">ℝ</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p6.5.m5.2c">GL(n,\mathbb{R})</annotation></semantics></math> is too expensive for large scale problems.
The group of diagonal matrices, i.e., the Jacobi preconditioner, is sparse but empirically shown to be less effective without the help of momentum for certain machine learning problems <cite class="ltx_cite ltx_citemacro_citep">[Dauphin et al., <a href="#bib.bib8" title="" class="ltx_ref">2015</a>]</cite>.
We are mostly interested in the cases with <math id="S3.SS2.p6.6.m6.1" class="ltx_Math" alttext="2\leq|K|\leq 4" display="inline"><semantics id="S3.SS2.p6.6.m6.1a"><mrow id="S3.SS2.p6.6.m6.1.2" xref="S3.SS2.p6.6.m6.1.2.cmml"><mn id="S3.SS2.p6.6.m6.1.2.2" xref="S3.SS2.p6.6.m6.1.2.2.cmml">2</mn><mo id="S3.SS2.p6.6.m6.1.2.3" xref="S3.SS2.p6.6.m6.1.2.3.cmml">≤</mo><mrow id="S3.SS2.p6.6.m6.1.2.4.2" xref="S3.SS2.p6.6.m6.1.2.4.1.cmml"><mo stretchy="false" id="S3.SS2.p6.6.m6.1.2.4.2.1" xref="S3.SS2.p6.6.m6.1.2.4.1.1.cmml">|</mo><mi id="S3.SS2.p6.6.m6.1.1" xref="S3.SS2.p6.6.m6.1.1.cmml">K</mi><mo stretchy="false" id="S3.SS2.p6.6.m6.1.2.4.2.2" xref="S3.SS2.p6.6.m6.1.2.4.1.1.cmml">|</mo></mrow><mo id="S3.SS2.p6.6.m6.1.2.5" xref="S3.SS2.p6.6.m6.1.2.5.cmml">≤</mo><mn id="S3.SS2.p6.6.m6.1.2.6" xref="S3.SS2.p6.6.m6.1.2.6.cmml">4</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.p6.6.m6.1b"><apply id="S3.SS2.p6.6.m6.1.2.cmml" xref="S3.SS2.p6.6.m6.1.2"><and id="S3.SS2.p6.6.m6.1.2a.cmml" xref="S3.SS2.p6.6.m6.1.2"></and><apply id="S3.SS2.p6.6.m6.1.2b.cmml" xref="S3.SS2.p6.6.m6.1.2"><leq id="S3.SS2.p6.6.m6.1.2.3.cmml" xref="S3.SS2.p6.6.m6.1.2.3"></leq><cn type="integer" id="S3.SS2.p6.6.m6.1.2.2.cmml" xref="S3.SS2.p6.6.m6.1.2.2">2</cn><apply id="S3.SS2.p6.6.m6.1.2.4.1.cmml" xref="S3.SS2.p6.6.m6.1.2.4.2"><abs id="S3.SS2.p6.6.m6.1.2.4.1.1.cmml" xref="S3.SS2.p6.6.m6.1.2.4.2.1"></abs><ci id="S3.SS2.p6.6.m6.1.1.cmml" xref="S3.SS2.p6.6.m6.1.1">𝐾</ci></apply></apply><apply id="S3.SS2.p6.6.m6.1.2c.cmml" xref="S3.SS2.p6.6.m6.1.2"><leq id="S3.SS2.p6.6.m6.1.2.5.cmml" xref="S3.SS2.p6.6.m6.1.2.5"></leq><share href="#S3.SS2.p6.6.m6.1.2.4.cmml" id="S3.SS2.p6.6.m6.1.2d.cmml" xref="S3.SS2.p6.6.m6.1.2"></share><cn type="integer" id="S3.SS2.p6.6.m6.1.2.6.cmml" xref="S3.SS2.p6.6.m6.1.2.6">4</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.p6.6.m6.1c">2\leq|K|\leq 4</annotation></semantics></math>.
These Lie groups are sparse enough, yet simple enough to derive their inverse manually, &amp; at the same time can significantly accelerate the convergence of <span id="S3.SS2.p6.6.1" class="ltx_text ltx_font_smallcaps">SGD</span> by shortcutting gradients separated far away in positions.</p>
</div>
</section>
<section id="S3.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.3 </span>Low-Rank Approximation Preconditioner</h3>

<div id="S3.SS3.p1" class="ltx_para">
<p id="S3.SS3.p1.6" class="ltx_p">Low-rank approximation (LRA) is a standard technique for processing large-scale matrices. Commonly adopted forms of positive definite low-rank approximation, such as <math id="S3.SS3.p1.1.m1.1" class="ltx_Math" alttext="P=\rho I+UU^{T}" display="inline"><semantics id="S3.SS3.p1.1.m1.1a"><mrow id="S3.SS3.p1.1.m1.1.1" xref="S3.SS3.p1.1.m1.1.1.cmml"><mi id="S3.SS3.p1.1.m1.1.1.2" xref="S3.SS3.p1.1.m1.1.1.2.cmml">P</mi><mo id="S3.SS3.p1.1.m1.1.1.1" xref="S3.SS3.p1.1.m1.1.1.1.cmml">=</mo><mrow id="S3.SS3.p1.1.m1.1.1.3" xref="S3.SS3.p1.1.m1.1.1.3.cmml"><mrow id="S3.SS3.p1.1.m1.1.1.3.2" xref="S3.SS3.p1.1.m1.1.1.3.2.cmml"><mi id="S3.SS3.p1.1.m1.1.1.3.2.2" xref="S3.SS3.p1.1.m1.1.1.3.2.2.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p1.1.m1.1.1.3.2.1" xref="S3.SS3.p1.1.m1.1.1.3.2.1.cmml">​</mo><mi id="S3.SS3.p1.1.m1.1.1.3.2.3" xref="S3.SS3.p1.1.m1.1.1.3.2.3.cmml">I</mi></mrow><mo id="S3.SS3.p1.1.m1.1.1.3.1" xref="S3.SS3.p1.1.m1.1.1.3.1.cmml">+</mo><mrow id="S3.SS3.p1.1.m1.1.1.3.3" xref="S3.SS3.p1.1.m1.1.1.3.3.cmml"><mi id="S3.SS3.p1.1.m1.1.1.3.3.2" xref="S3.SS3.p1.1.m1.1.1.3.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p1.1.m1.1.1.3.3.1" xref="S3.SS3.p1.1.m1.1.1.3.3.1.cmml">​</mo><msup id="S3.SS3.p1.1.m1.1.1.3.3.3" xref="S3.SS3.p1.1.m1.1.1.3.3.3.cmml"><mi id="S3.SS3.p1.1.m1.1.1.3.3.3.2" xref="S3.SS3.p1.1.m1.1.1.3.3.3.2.cmml">U</mi><mi id="S3.SS3.p1.1.m1.1.1.3.3.3.3" xref="S3.SS3.p1.1.m1.1.1.3.3.3.3.cmml">T</mi></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p1.1.m1.1b"><apply id="S3.SS3.p1.1.m1.1.1.cmml" xref="S3.SS3.p1.1.m1.1.1"><eq id="S3.SS3.p1.1.m1.1.1.1.cmml" xref="S3.SS3.p1.1.m1.1.1.1"></eq><ci id="S3.SS3.p1.1.m1.1.1.2.cmml" xref="S3.SS3.p1.1.m1.1.1.2">𝑃</ci><apply id="S3.SS3.p1.1.m1.1.1.3.cmml" xref="S3.SS3.p1.1.m1.1.1.3"><plus id="S3.SS3.p1.1.m1.1.1.3.1.cmml" xref="S3.SS3.p1.1.m1.1.1.3.1"></plus><apply id="S3.SS3.p1.1.m1.1.1.3.2.cmml" xref="S3.SS3.p1.1.m1.1.1.3.2"><times id="S3.SS3.p1.1.m1.1.1.3.2.1.cmml" xref="S3.SS3.p1.1.m1.1.1.3.2.1"></times><ci id="S3.SS3.p1.1.m1.1.1.3.2.2.cmml" xref="S3.SS3.p1.1.m1.1.1.3.2.2">𝜌</ci><ci id="S3.SS3.p1.1.m1.1.1.3.2.3.cmml" xref="S3.SS3.p1.1.m1.1.1.3.2.3">𝐼</ci></apply><apply id="S3.SS3.p1.1.m1.1.1.3.3.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3"><times id="S3.SS3.p1.1.m1.1.1.3.3.1.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3.1"></times><ci id="S3.SS3.p1.1.m1.1.1.3.3.2.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3.2">𝑈</ci><apply id="S3.SS3.p1.1.m1.1.1.3.3.3.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3.3"><csymbol cd="ambiguous" id="S3.SS3.p1.1.m1.1.1.3.3.3.1.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3.3">superscript</csymbol><ci id="S3.SS3.p1.1.m1.1.1.3.3.3.2.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3.3.2">𝑈</ci><ci id="S3.SS3.p1.1.m1.1.1.3.3.3.3.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3.3.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p1.1.m1.1c">P=\rho I+UU^{T}</annotation></semantics></math>, cannot always be factorized as <math id="S3.SS3.p1.2.m2.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="S3.SS3.p1.2.m2.1a"><mrow id="S3.SS3.p1.2.m2.1.1" xref="S3.SS3.p1.2.m2.1.1.cmml"><mi id="S3.SS3.p1.2.m2.1.1.2" xref="S3.SS3.p1.2.m2.1.1.2.cmml">P</mi><mo id="S3.SS3.p1.2.m2.1.1.1" xref="S3.SS3.p1.2.m2.1.1.1.cmml">=</mo><mrow id="S3.SS3.p1.2.m2.1.1.3" xref="S3.SS3.p1.2.m2.1.1.3.cmml"><msup id="S3.SS3.p1.2.m2.1.1.3.2" xref="S3.SS3.p1.2.m2.1.1.3.2.cmml"><mi id="S3.SS3.p1.2.m2.1.1.3.2.2" xref="S3.SS3.p1.2.m2.1.1.3.2.2.cmml">Q</mi><mi id="S3.SS3.p1.2.m2.1.1.3.2.3" xref="S3.SS3.p1.2.m2.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS3.p1.2.m2.1.1.3.1" xref="S3.SS3.p1.2.m2.1.1.3.1.cmml">​</mo><mi id="S3.SS3.p1.2.m2.1.1.3.3" xref="S3.SS3.p1.2.m2.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p1.2.m2.1b"><apply id="S3.SS3.p1.2.m2.1.1.cmml" xref="S3.SS3.p1.2.m2.1.1"><eq id="S3.SS3.p1.2.m2.1.1.1.cmml" xref="S3.SS3.p1.2.m2.1.1.1"></eq><ci id="S3.SS3.p1.2.m2.1.1.2.cmml" xref="S3.SS3.p1.2.m2.1.1.2">𝑃</ci><apply id="S3.SS3.p1.2.m2.1.1.3.cmml" xref="S3.SS3.p1.2.m2.1.1.3"><times id="S3.SS3.p1.2.m2.1.1.3.1.cmml" xref="S3.SS3.p1.2.m2.1.1.3.1"></times><apply id="S3.SS3.p1.2.m2.1.1.3.2.cmml" xref="S3.SS3.p1.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="S3.SS3.p1.2.m2.1.1.3.2.1.cmml" xref="S3.SS3.p1.2.m2.1.1.3.2">superscript</csymbol><ci id="S3.SS3.p1.2.m2.1.1.3.2.2.cmml" xref="S3.SS3.p1.2.m2.1.1.3.2.2">𝑄</ci><ci id="S3.SS3.p1.2.m2.1.1.3.2.3.cmml" xref="S3.SS3.p1.2.m2.1.1.3.2.3">𝑇</ci></apply><ci id="S3.SS3.p1.2.m2.1.1.3.3.cmml" xref="S3.SS3.p1.2.m2.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p1.2.m2.1c">P=Q^{T}Q</annotation></semantics></math> for certain Lie groups, where <math id="S3.SS3.p1.3.m3.1" class="ltx_Math" alttext="\rho&gt;0" display="inline"><semantics id="S3.SS3.p1.3.m3.1a"><mrow id="S3.SS3.p1.3.m3.1.1" xref="S3.SS3.p1.3.m3.1.1.cmml"><mi id="S3.SS3.p1.3.m3.1.1.2" xref="S3.SS3.p1.3.m3.1.1.2.cmml">ρ</mi><mo id="S3.SS3.p1.3.m3.1.1.1" xref="S3.SS3.p1.3.m3.1.1.1.cmml">&gt;</mo><mn id="S3.SS3.p1.3.m3.1.1.3" xref="S3.SS3.p1.3.m3.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p1.3.m3.1b"><apply id="S3.SS3.p1.3.m3.1.1.cmml" xref="S3.SS3.p1.3.m3.1.1"><gt id="S3.SS3.p1.3.m3.1.1.1.cmml" xref="S3.SS3.p1.3.m3.1.1.1"></gt><ci id="S3.SS3.p1.3.m3.1.1.2.cmml" xref="S3.SS3.p1.3.m3.1.1.2">𝜌</ci><cn type="integer" id="S3.SS3.p1.3.m3.1.1.3.cmml" xref="S3.SS3.p1.3.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p1.3.m3.1c">\rho&gt;0</annotation></semantics></math> is a small positive number. Additionally, this form of approximation is not effective for reducing eigenvalue spread. In many real-world problems, the Hessian has a few very large &amp; very small eigenvalues, i.e., tails on both ends of the spectra <cite class="ltx_cite ltx_citemacro_citep">[Sagun et al., <a href="#bib.bib39" title="" class="ltx_ref">2016</a>, <a href="#bib.bib40" title="" class="ltx_ref">2017</a>]</cite>. However, all the eigenvalues of <math id="S3.SS3.p1.4.m4.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S3.SS3.p1.4.m4.1a"><mi id="S3.SS3.p1.4.m4.1.1" xref="S3.SS3.p1.4.m4.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p1.4.m4.1b"><ci id="S3.SS3.p1.4.m4.1.1.cmml" xref="S3.SS3.p1.4.m4.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p1.4.m4.1c">P</annotation></semantics></math> in this form are lower bounded by <math id="S3.SS3.p1.5.m5.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS3.p1.5.m5.1a"><mi id="S3.SS3.p1.5.m5.1.1" xref="S3.SS3.p1.5.m5.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p1.5.m5.1b"><ci id="S3.SS3.p1.5.m5.1.1.cmml" xref="S3.SS3.p1.5.m5.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p1.5.m5.1c">\rho</annotation></semantics></math>, meaning that it can only fit one tail of the spectra when rank<math id="S3.SS3.p1.6.m6.1" class="ltx_Math" alttext="(U)\ll n" display="inline"><semantics id="S3.SS3.p1.6.m6.1a"><mrow id="S3.SS3.p1.6.m6.1.2" xref="S3.SS3.p1.6.m6.1.2.cmml"><mrow id="S3.SS3.p1.6.m6.1.2.2.2" xref="S3.SS3.p1.6.m6.1.2.cmml"><mo stretchy="false" id="S3.SS3.p1.6.m6.1.2.2.2.1" xref="S3.SS3.p1.6.m6.1.2.cmml">(</mo><mi id="S3.SS3.p1.6.m6.1.1" xref="S3.SS3.p1.6.m6.1.1.cmml">U</mi><mo stretchy="false" id="S3.SS3.p1.6.m6.1.2.2.2.2" xref="S3.SS3.p1.6.m6.1.2.cmml">)</mo></mrow><mo id="S3.SS3.p1.6.m6.1.2.1" xref="S3.SS3.p1.6.m6.1.2.1.cmml">≪</mo><mi id="S3.SS3.p1.6.m6.1.2.3" xref="S3.SS3.p1.6.m6.1.2.3.cmml">n</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p1.6.m6.1b"><apply id="S3.SS3.p1.6.m6.1.2.cmml" xref="S3.SS3.p1.6.m6.1.2"><csymbol cd="latexml" id="S3.SS3.p1.6.m6.1.2.1.cmml" xref="S3.SS3.p1.6.m6.1.2.1">much-less-than</csymbol><ci id="S3.SS3.p1.6.m6.1.1.cmml" xref="S3.SS3.p1.6.m6.1.1">𝑈</ci><ci id="S3.SS3.p1.6.m6.1.2.3.cmml" xref="S3.SS3.p1.6.m6.1.2.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p1.6.m6.1c">(U)\ll n</annotation></semantics></math>.</p>
</div>
<div id="S3.SS3.p2" class="ltx_para">
<p id="S3.SS3.p2.7" class="ltx_p">Thus, we propose a new LRA with form <math id="S3.SS3.p2.1.m1.1" class="ltx_Math" alttext="Q=\rho(I+UV^{T})" display="inline"><semantics id="S3.SS3.p2.1.m1.1a"><mrow id="S3.SS3.p2.1.m1.1.1" xref="S3.SS3.p2.1.m1.1.1.cmml"><mi id="S3.SS3.p2.1.m1.1.1.3" xref="S3.SS3.p2.1.m1.1.1.3.cmml">Q</mi><mo id="S3.SS3.p2.1.m1.1.1.2" xref="S3.SS3.p2.1.m1.1.1.2.cmml">=</mo><mrow id="S3.SS3.p2.1.m1.1.1.1" xref="S3.SS3.p2.1.m1.1.1.1.cmml"><mi id="S3.SS3.p2.1.m1.1.1.1.3" xref="S3.SS3.p2.1.m1.1.1.1.3.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p2.1.m1.1.1.1.2" xref="S3.SS3.p2.1.m1.1.1.1.2.cmml">​</mo><mrow id="S3.SS3.p2.1.m1.1.1.1.1.1" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS3.p2.1.m1.1.1.1.1.1.2" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS3.p2.1.m1.1.1.1.1.1.1" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.cmml"><mi id="S3.SS3.p2.1.m1.1.1.1.1.1.1.2" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.2.cmml">I</mi><mo id="S3.SS3.p2.1.m1.1.1.1.1.1.1.1" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.cmml"><mi id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.2" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.1" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.cmml"><mi id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.2" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.3" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S3.SS3.p2.1.m1.1.1.1.1.1.3" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p2.1.m1.1b"><apply id="S3.SS3.p2.1.m1.1.1.cmml" xref="S3.SS3.p2.1.m1.1.1"><eq id="S3.SS3.p2.1.m1.1.1.2.cmml" xref="S3.SS3.p2.1.m1.1.1.2"></eq><ci id="S3.SS3.p2.1.m1.1.1.3.cmml" xref="S3.SS3.p2.1.m1.1.1.3">𝑄</ci><apply id="S3.SS3.p2.1.m1.1.1.1.cmml" xref="S3.SS3.p2.1.m1.1.1.1"><times id="S3.SS3.p2.1.m1.1.1.1.2.cmml" xref="S3.SS3.p2.1.m1.1.1.1.2"></times><ci id="S3.SS3.p2.1.m1.1.1.1.3.cmml" xref="S3.SS3.p2.1.m1.1.1.1.3">𝜌</ci><apply id="S3.SS3.p2.1.m1.1.1.1.1.1.1.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1"><plus id="S3.SS3.p2.1.m1.1.1.1.1.1.1.1.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.1"></plus><ci id="S3.SS3.p2.1.m1.1.1.1.1.1.1.2.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.2">𝐼</ci><apply id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3"><times id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.1.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.1"></times><ci id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.2.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.2">𝑈</ci><apply id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.1.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.2.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.3.cmml" xref="S3.SS3.p2.1.m1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p2.1.m1.1c">Q=\rho(I+UV^{T})</annotation></semantics></math>, where <math id="S3.SS3.p2.2.m2.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS3.p2.2.m2.1a"><mi id="S3.SS3.p2.2.m2.1.1" xref="S3.SS3.p2.2.m2.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p2.2.m2.1b"><ci id="S3.SS3.p2.2.m2.1.1.cmml" xref="S3.SS3.p2.2.m2.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p2.2.m2.1c">\rho</annotation></semantics></math> is not necessarily small nor positive, &amp; <math id="S3.SS3.p2.3.m3.1" class="ltx_Math" alttext="U" display="inline"><semantics id="S3.SS3.p2.3.m3.1a"><mi id="S3.SS3.p2.3.m3.1.1" xref="S3.SS3.p2.3.m3.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p2.3.m3.1b"><ci id="S3.SS3.p2.3.m3.1.1.cmml" xref="S3.SS3.p2.3.m3.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p2.3.m3.1c">U</annotation></semantics></math> &amp; <math id="S3.SS3.p2.4.m4.1" class="ltx_Math" alttext="V" display="inline"><semantics id="S3.SS3.p2.4.m4.1a"><mi id="S3.SS3.p2.4.m4.1.1" xref="S3.SS3.p2.4.m4.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p2.4.m4.1b"><ci id="S3.SS3.p2.4.m4.1.1.cmml" xref="S3.SS3.p2.4.m4.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p2.4.m4.1c">V</annotation></semantics></math> have <math id="S3.SS3.p2.5.m5.1" class="ltx_Math" alttext="r" display="inline"><semantics id="S3.SS3.p2.5.m5.1a"><mi id="S3.SS3.p2.5.m5.1.1" xref="S3.SS3.p2.5.m5.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p2.5.m5.1b"><ci id="S3.SS3.p2.5.m5.1.1.cmml" xref="S3.SS3.p2.5.m5.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p2.5.m5.1c">r</annotation></semantics></math> columns with <math id="S3.SS3.p2.6.m6.1" class="ltx_Math" alttext="r\ll n" display="inline"><semantics id="S3.SS3.p2.6.m6.1a"><mrow id="S3.SS3.p2.6.m6.1.1" xref="S3.SS3.p2.6.m6.1.1.cmml"><mi id="S3.SS3.p2.6.m6.1.1.2" xref="S3.SS3.p2.6.m6.1.1.2.cmml">r</mi><mo id="S3.SS3.p2.6.m6.1.1.1" xref="S3.SS3.p2.6.m6.1.1.1.cmml">≪</mo><mi id="S3.SS3.p2.6.m6.1.1.3" xref="S3.SS3.p2.6.m6.1.1.3.cmml">n</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p2.6.m6.1b"><apply id="S3.SS3.p2.6.m6.1.1.cmml" xref="S3.SS3.p2.6.m6.1.1"><csymbol cd="latexml" id="S3.SS3.p2.6.m6.1.1.1.cmml" xref="S3.SS3.p2.6.m6.1.1.1">much-less-than</csymbol><ci id="S3.SS3.p2.6.m6.1.1.2.cmml" xref="S3.SS3.p2.6.m6.1.1.2">𝑟</ci><ci id="S3.SS3.p2.6.m6.1.1.3.cmml" xref="S3.SS3.p2.6.m6.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p2.6.m6.1c">r\ll n</annotation></semantics></math>. To justify this form of approximation, we need to establish two facts. First, it forms a Lie group. Second, <math id="S3.SS3.p2.7.m7.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="S3.SS3.p2.7.m7.1a"><mrow id="S3.SS3.p2.7.m7.1.1" xref="S3.SS3.p2.7.m7.1.1.cmml"><mi id="S3.SS3.p2.7.m7.1.1.2" xref="S3.SS3.p2.7.m7.1.1.2.cmml">P</mi><mo id="S3.SS3.p2.7.m7.1.1.1" xref="S3.SS3.p2.7.m7.1.1.1.cmml">=</mo><mrow id="S3.SS3.p2.7.m7.1.1.3" xref="S3.SS3.p2.7.m7.1.1.3.cmml"><msup id="S3.SS3.p2.7.m7.1.1.3.2" xref="S3.SS3.p2.7.m7.1.1.3.2.cmml"><mi id="S3.SS3.p2.7.m7.1.1.3.2.2" xref="S3.SS3.p2.7.m7.1.1.3.2.2.cmml">Q</mi><mi id="S3.SS3.p2.7.m7.1.1.3.2.3" xref="S3.SS3.p2.7.m7.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.SS3.p2.7.m7.1.1.3.1" xref="S3.SS3.p2.7.m7.1.1.3.1.cmml">​</mo><mi id="S3.SS3.p2.7.m7.1.1.3.3" xref="S3.SS3.p2.7.m7.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p2.7.m7.1b"><apply id="S3.SS3.p2.7.m7.1.1.cmml" xref="S3.SS3.p2.7.m7.1.1"><eq id="S3.SS3.p2.7.m7.1.1.1.cmml" xref="S3.SS3.p2.7.m7.1.1.1"></eq><ci id="S3.SS3.p2.7.m7.1.1.2.cmml" xref="S3.SS3.p2.7.m7.1.1.2">𝑃</ci><apply id="S3.SS3.p2.7.m7.1.1.3.cmml" xref="S3.SS3.p2.7.m7.1.1.3"><times id="S3.SS3.p2.7.m7.1.1.3.1.cmml" xref="S3.SS3.p2.7.m7.1.1.3.1"></times><apply id="S3.SS3.p2.7.m7.1.1.3.2.cmml" xref="S3.SS3.p2.7.m7.1.1.3.2"><csymbol cd="ambiguous" id="S3.SS3.p2.7.m7.1.1.3.2.1.cmml" xref="S3.SS3.p2.7.m7.1.1.3.2">superscript</csymbol><ci id="S3.SS3.p2.7.m7.1.1.3.2.2.cmml" xref="S3.SS3.p2.7.m7.1.1.3.2.2">𝑄</ci><ci id="S3.SS3.p2.7.m7.1.1.3.2.3.cmml" xref="S3.SS3.p2.7.m7.1.1.3.2.3">𝑇</ci></apply><ci id="S3.SS3.p2.7.m7.1.1.3.3.cmml" xref="S3.SS3.p2.7.m7.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p2.7.m7.1c">P=Q^{T}Q</annotation></semantics></math> with this form can fit both tails of the spectra of Hessian, providing an accurate characterization of the curvature of a function, improving optimization algorithms, &amp; assessing their robustness.</p>
</div>
<div id="S3.Thmclaim2" class="ltx_theorem ltx_theorem_claim">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="S3.Thmclaim2.1.1.1" class="ltx_text ltx_font_bold">Claim 3.2</span></span><span id="S3.Thmclaim2.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="S3.Thmclaim2.p1" class="ltx_para">
<p id="S3.Thmclaim2.p1.6" class="ltx_p"><span id="S3.Thmclaim2.p1.6.6" class="ltx_text ltx_font_italic">Preconditioner <math id="S3.Thmclaim2.p1.1.1.m1.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="S3.Thmclaim2.p1.1.1.m1.1a"><mrow id="S3.Thmclaim2.p1.1.1.m1.1.1" xref="S3.Thmclaim2.p1.1.1.m1.1.1.cmml"><mi id="S3.Thmclaim2.p1.1.1.m1.1.1.2" xref="S3.Thmclaim2.p1.1.1.m1.1.1.2.cmml">P</mi><mo id="S3.Thmclaim2.p1.1.1.m1.1.1.1" xref="S3.Thmclaim2.p1.1.1.m1.1.1.1.cmml">=</mo><mrow id="S3.Thmclaim2.p1.1.1.m1.1.1.3" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.cmml"><msup id="S3.Thmclaim2.p1.1.1.m1.1.1.3.2" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.cmml"><mi id="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.2" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.2.cmml">Q</mi><mi id="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.3" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.Thmclaim2.p1.1.1.m1.1.1.3.1" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.1.cmml">​</mo><mi id="S3.Thmclaim2.p1.1.1.m1.1.1.3.3" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim2.p1.1.1.m1.1b"><apply id="S3.Thmclaim2.p1.1.1.m1.1.1.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1"><eq id="S3.Thmclaim2.p1.1.1.m1.1.1.1.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.1"></eq><ci id="S3.Thmclaim2.p1.1.1.m1.1.1.2.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.2">𝑃</ci><apply id="S3.Thmclaim2.p1.1.1.m1.1.1.3.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3"><times id="S3.Thmclaim2.p1.1.1.m1.1.1.3.1.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.1"></times><apply id="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.2"><csymbol cd="ambiguous" id="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.1.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.2">superscript</csymbol><ci id="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.2.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.2">𝑄</ci><ci id="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.3.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.2.3">𝑇</ci></apply><ci id="S3.Thmclaim2.p1.1.1.m1.1.1.3.3.cmml" xref="S3.Thmclaim2.p1.1.1.m1.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim2.p1.1.1.m1.1c">P=Q^{T}Q</annotation></semantics></math> with <math id="S3.Thmclaim2.p1.2.2.m2.1" class="ltx_Math" alttext="Q=\rho(I+UV^{T})" display="inline"><semantics id="S3.Thmclaim2.p1.2.2.m2.1a"><mrow id="S3.Thmclaim2.p1.2.2.m2.1.1" xref="S3.Thmclaim2.p1.2.2.m2.1.1.cmml"><mi id="S3.Thmclaim2.p1.2.2.m2.1.1.3" xref="S3.Thmclaim2.p1.2.2.m2.1.1.3.cmml">Q</mi><mo id="S3.Thmclaim2.p1.2.2.m2.1.1.2" xref="S3.Thmclaim2.p1.2.2.m2.1.1.2.cmml">=</mo><mrow id="S3.Thmclaim2.p1.2.2.m2.1.1.1" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.cmml"><mi id="S3.Thmclaim2.p1.2.2.m2.1.1.1.3" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.3.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim2.p1.2.2.m2.1.1.1.2" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.2.cmml">​</mo><mrow id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.2" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.cmml"><mi id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.2" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.2.cmml">I</mi><mo id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.1" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.cmml"><mi id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.2" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.1" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.cmml"><mi id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.2" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.3" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.3" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim2.p1.2.2.m2.1b"><apply id="S3.Thmclaim2.p1.2.2.m2.1.1.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1"><eq id="S3.Thmclaim2.p1.2.2.m2.1.1.2.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.2"></eq><ci id="S3.Thmclaim2.p1.2.2.m2.1.1.3.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.3">𝑄</ci><apply id="S3.Thmclaim2.p1.2.2.m2.1.1.1.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1"><times id="S3.Thmclaim2.p1.2.2.m2.1.1.1.2.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.2"></times><ci id="S3.Thmclaim2.p1.2.2.m2.1.1.1.3.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.3">𝜌</ci><apply id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1"><plus id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.1.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.1"></plus><ci id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.2.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.2">𝐼</ci><apply id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3"><times id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.1.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.1"></times><ci id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.2.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.2">𝑈</ci><apply id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.1.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.2.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.3.cmml" xref="S3.Thmclaim2.p1.2.2.m2.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim2.p1.2.2.m2.1c">Q=\rho(I+UV^{T})</annotation></semantics></math> can have positive eigenvalues arbitrarily larger than <math id="S3.Thmclaim2.p1.3.3.m3.1" class="ltx_Math" alttext="\rho^{2}" display="inline"><semantics id="S3.Thmclaim2.p1.3.3.m3.1a"><msup id="S3.Thmclaim2.p1.3.3.m3.1.1" xref="S3.Thmclaim2.p1.3.3.m3.1.1.cmml"><mi id="S3.Thmclaim2.p1.3.3.m3.1.1.2" xref="S3.Thmclaim2.p1.3.3.m3.1.1.2.cmml">ρ</mi><mn id="S3.Thmclaim2.p1.3.3.m3.1.1.3" xref="S3.Thmclaim2.p1.3.3.m3.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S3.Thmclaim2.p1.3.3.m3.1b"><apply id="S3.Thmclaim2.p1.3.3.m3.1.1.cmml" xref="S3.Thmclaim2.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim2.p1.3.3.m3.1.1.1.cmml" xref="S3.Thmclaim2.p1.3.3.m3.1.1">superscript</csymbol><ci id="S3.Thmclaim2.p1.3.3.m3.1.1.2.cmml" xref="S3.Thmclaim2.p1.3.3.m3.1.1.2">𝜌</ci><cn type="integer" id="S3.Thmclaim2.p1.3.3.m3.1.1.3.cmml" xref="S3.Thmclaim2.p1.3.3.m3.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim2.p1.3.3.m3.1c">\rho^{2}</annotation></semantics></math> &amp; arbitrarily less than <math id="S3.Thmclaim2.p1.4.4.m4.1" class="ltx_Math" alttext="\rho^{2}" display="inline"><semantics id="S3.Thmclaim2.p1.4.4.m4.1a"><msup id="S3.Thmclaim2.p1.4.4.m4.1.1" xref="S3.Thmclaim2.p1.4.4.m4.1.1.cmml"><mi id="S3.Thmclaim2.p1.4.4.m4.1.1.2" xref="S3.Thmclaim2.p1.4.4.m4.1.1.2.cmml">ρ</mi><mn id="S3.Thmclaim2.p1.4.4.m4.1.1.3" xref="S3.Thmclaim2.p1.4.4.m4.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S3.Thmclaim2.p1.4.4.m4.1b"><apply id="S3.Thmclaim2.p1.4.4.m4.1.1.cmml" xref="S3.Thmclaim2.p1.4.4.m4.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim2.p1.4.4.m4.1.1.1.cmml" xref="S3.Thmclaim2.p1.4.4.m4.1.1">superscript</csymbol><ci id="S3.Thmclaim2.p1.4.4.m4.1.1.2.cmml" xref="S3.Thmclaim2.p1.4.4.m4.1.1.2">𝜌</ci><cn type="integer" id="S3.Thmclaim2.p1.4.4.m4.1.1.3.cmml" xref="S3.Thmclaim2.p1.4.4.m4.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim2.p1.4.4.m4.1c">\rho^{2}</annotation></semantics></math> with proper <math id="S3.Thmclaim2.p1.5.5.m5.1" class="ltx_Math" alttext="U" display="inline"><semantics id="S3.Thmclaim2.p1.5.5.m5.1a"><mi id="S3.Thmclaim2.p1.5.5.m5.1.1" xref="S3.Thmclaim2.p1.5.5.m5.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="S3.Thmclaim2.p1.5.5.m5.1b"><ci id="S3.Thmclaim2.p1.5.5.m5.1.1.cmml" xref="S3.Thmclaim2.p1.5.5.m5.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim2.p1.5.5.m5.1c">U</annotation></semantics></math> &amp; <math id="S3.Thmclaim2.p1.6.6.m6.1" class="ltx_Math" alttext="V" display="inline"><semantics id="S3.Thmclaim2.p1.6.6.m6.1a"><mi id="S3.Thmclaim2.p1.6.6.m6.1.1" xref="S3.Thmclaim2.p1.6.6.m6.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="S3.Thmclaim2.p1.6.6.m6.1b"><ci id="S3.Thmclaim2.p1.6.6.m6.1.1.cmml" xref="S3.Thmclaim2.p1.6.6.m6.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim2.p1.6.6.m6.1c">V</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="S3.Thmclaim3" class="ltx_theorem ltx_theorem_claim">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="S3.Thmclaim3.1.1.1" class="ltx_text ltx_font_bold">Claim 3.3</span></span><span id="S3.Thmclaim3.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="S3.Thmclaim3.p1" class="ltx_para">
<p id="S3.Thmclaim3.p1.11" class="ltx_p"><span id="S3.Thmclaim3.p1.11.11" class="ltx_text ltx_font_italic">If <math id="S3.Thmclaim3.p1.1.1.m1.1" class="ltx_Math" alttext="\rho\neq 0" display="inline"><semantics id="S3.Thmclaim3.p1.1.1.m1.1a"><mrow id="S3.Thmclaim3.p1.1.1.m1.1.1" xref="S3.Thmclaim3.p1.1.1.m1.1.1.cmml"><mi id="S3.Thmclaim3.p1.1.1.m1.1.1.2" xref="S3.Thmclaim3.p1.1.1.m1.1.1.2.cmml">ρ</mi><mo id="S3.Thmclaim3.p1.1.1.m1.1.1.1" xref="S3.Thmclaim3.p1.1.1.m1.1.1.1.cmml">≠</mo><mn id="S3.Thmclaim3.p1.1.1.m1.1.1.3" xref="S3.Thmclaim3.p1.1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.1.1.m1.1b"><apply id="S3.Thmclaim3.p1.1.1.m1.1.1.cmml" xref="S3.Thmclaim3.p1.1.1.m1.1.1"><neq id="S3.Thmclaim3.p1.1.1.m1.1.1.1.cmml" xref="S3.Thmclaim3.p1.1.1.m1.1.1.1"></neq><ci id="S3.Thmclaim3.p1.1.1.m1.1.1.2.cmml" xref="S3.Thmclaim3.p1.1.1.m1.1.1.2">𝜌</ci><cn type="integer" id="S3.Thmclaim3.p1.1.1.m1.1.1.3.cmml" xref="S3.Thmclaim3.p1.1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.1.1.m1.1c">\rho\neq 0</annotation></semantics></math> &amp; <math id="S3.Thmclaim3.p1.2.2.m2.1" class="ltx_Math" alttext="(I+V^{T}U)^{-1}" display="inline"><semantics id="S3.Thmclaim3.p1.2.2.m2.1a"><msup id="S3.Thmclaim3.p1.2.2.m2.1.1" xref="S3.Thmclaim3.p1.2.2.m2.1.1.cmml"><mrow id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.2" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.cmml"><mi id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.2" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.2.cmml">I</mi><mo id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.1" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.cmml"><msup id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.cmml"><mi id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.2" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.3" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.1" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.1.cmml">​</mo><mi id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.3" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.3" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S3.Thmclaim3.p1.2.2.m2.1.1.3" xref="S3.Thmclaim3.p1.2.2.m2.1.1.3.cmml"><mo id="S3.Thmclaim3.p1.2.2.m2.1.1.3a" xref="S3.Thmclaim3.p1.2.2.m2.1.1.3.cmml">−</mo><mn id="S3.Thmclaim3.p1.2.2.m2.1.1.3.2" xref="S3.Thmclaim3.p1.2.2.m2.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.2.2.m2.1b"><apply id="S3.Thmclaim3.p1.2.2.m2.1.1.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.2.2.m2.1.1.2.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1">superscript</csymbol><apply id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1"><plus id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.1"></plus><ci id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.2.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.2">𝐼</ci><apply id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3"><times id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.1.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.1"></times><apply id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.1.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2">superscript</csymbol><ci id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.2.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.2">𝑉</ci><ci id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.3.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.3.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.1.1.1.3.3">𝑈</ci></apply></apply><apply id="S3.Thmclaim3.p1.2.2.m2.1.1.3.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.3"><minus id="S3.Thmclaim3.p1.2.2.m2.1.1.3.1.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.3"></minus><cn type="integer" id="S3.Thmclaim3.p1.2.2.m2.1.1.3.2.cmml" xref="S3.Thmclaim3.p1.2.2.m2.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.2.2.m2.1c">(I+V^{T}U)^{-1}</annotation></semantics></math> or <math id="S3.Thmclaim3.p1.3.3.m3.1" class="ltx_Math" alttext="(I+U^{T}V)^{-1}" display="inline"><semantics id="S3.Thmclaim3.p1.3.3.m3.1a"><msup id="S3.Thmclaim3.p1.3.3.m3.1.1" xref="S3.Thmclaim3.p1.3.3.m3.1.1.cmml"><mrow id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.2" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.cmml">(</mo><mrow id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.cmml"><mi id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.2" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.2.cmml">I</mi><mo id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.1" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.cmml"><msup id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.cmml"><mi id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.2" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.2.cmml">U</mi><mi id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.3" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.1" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.1.cmml">​</mo><mi id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.3" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.3.cmml">V</mi></mrow></mrow><mo stretchy="false" id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.3" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S3.Thmclaim3.p1.3.3.m3.1.1.3" xref="S3.Thmclaim3.p1.3.3.m3.1.1.3.cmml"><mo id="S3.Thmclaim3.p1.3.3.m3.1.1.3a" xref="S3.Thmclaim3.p1.3.3.m3.1.1.3.cmml">−</mo><mn id="S3.Thmclaim3.p1.3.3.m3.1.1.3.2" xref="S3.Thmclaim3.p1.3.3.m3.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.3.3.m3.1b"><apply id="S3.Thmclaim3.p1.3.3.m3.1.1.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.3.3.m3.1.1.2.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1">superscript</csymbol><apply id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1"><plus id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.1"></plus><ci id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.2.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.2">𝐼</ci><apply id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3"><times id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.1.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.1"></times><apply id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.1.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2">superscript</csymbol><ci id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.2.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.2">𝑈</ci><ci id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.3.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.3.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.1.1.1.3.3">𝑉</ci></apply></apply><apply id="S3.Thmclaim3.p1.3.3.m3.1.1.3.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.3"><minus id="S3.Thmclaim3.p1.3.3.m3.1.1.3.1.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.3"></minus><cn type="integer" id="S3.Thmclaim3.p1.3.3.m3.1.1.3.2.cmml" xref="S3.Thmclaim3.p1.3.3.m3.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.3.3.m3.1c">(I+U^{T}V)^{-1}</annotation></semantics></math> exists, <math id="S3.Thmclaim3.p1.4.4.m4.3" class="ltx_Math" alttext="A_{V}(\rho,U)=\rho(I+UV^{T})" display="inline"><semantics id="S3.Thmclaim3.p1.4.4.m4.3a"><mrow id="S3.Thmclaim3.p1.4.4.m4.3.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.cmml"><mrow id="S3.Thmclaim3.p1.4.4.m4.3.3.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.cmml"><msub id="S3.Thmclaim3.p1.4.4.m4.3.3.3.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.cmml"><mi id="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.2.cmml">A</mi><mi id="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.4.4.m4.3.3.3.1" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.1.cmml">​</mo><mrow id="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.2.1" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.1.cmml">(</mo><mi id="S3.Thmclaim3.p1.4.4.m4.1.1" xref="S3.Thmclaim3.p1.4.4.m4.1.1.cmml">ρ</mi><mo id="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.2.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.1.cmml">,</mo><mi id="S3.Thmclaim3.p1.4.4.m4.2.2" xref="S3.Thmclaim3.p1.4.4.m4.2.2.cmml">U</mi><mo stretchy="false" id="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.2.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Thmclaim3.p1.4.4.m4.3.3.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.2.cmml">=</mo><mrow id="S3.Thmclaim3.p1.4.4.m4.3.3.1" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.cmml"><mi id="S3.Thmclaim3.p1.4.4.m4.3.3.1.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.3.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.4.4.m4.3.3.1.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.2.cmml">​</mo><mrow id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.cmml">(</mo><mrow id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.cmml"><mi id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.2.cmml">I</mi><mo id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.1" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.1.cmml">+</mo><mrow id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.cmml"><mi id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.1" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.1.cmml">​</mo><msup id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.cmml"><mi id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.2" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.2.cmml">V</mi><mi id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.3" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.4.4.m4.3b"><apply id="S3.Thmclaim3.p1.4.4.m4.3.3.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3"><eq id="S3.Thmclaim3.p1.4.4.m4.3.3.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.2"></eq><apply id="S3.Thmclaim3.p1.4.4.m4.3.3.3.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3"><times id="S3.Thmclaim3.p1.4.4.m4.3.3.3.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.1"></times><apply id="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.2"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.2">subscript</csymbol><ci id="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.2">𝐴</ci><ci id="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.3.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.2.3">𝑉</ci></apply><interval closure="open" id="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.3.3.2"><ci id="S3.Thmclaim3.p1.4.4.m4.1.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.1.1">𝜌</ci><ci id="S3.Thmclaim3.p1.4.4.m4.2.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.2.2">𝑈</ci></interval></apply><apply id="S3.Thmclaim3.p1.4.4.m4.3.3.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1"><times id="S3.Thmclaim3.p1.4.4.m4.3.3.1.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.2"></times><ci id="S3.Thmclaim3.p1.4.4.m4.3.3.1.3.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.3">𝜌</ci><apply id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1"><plus id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.1"></plus><ci id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.2">𝐼</ci><apply id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3"><times id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.1"></times><ci id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.2">𝑈</ci><apply id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.1.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3">superscript</csymbol><ci id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.2.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.2">𝑉</ci><ci id="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.3.cmml" xref="S3.Thmclaim3.p1.4.4.m4.3.3.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.4.4.m4.3c">A_{V}(\rho,U)=\rho(I+UV^{T})</annotation></semantics></math> defines a subgroup of <math id="S3.Thmclaim3.p1.5.5.m5.2" class="ltx_Math" alttext="GL(n,\mathbb{R})" display="inline"><semantics id="S3.Thmclaim3.p1.5.5.m5.2a"><mrow id="S3.Thmclaim3.p1.5.5.m5.2.3" xref="S3.Thmclaim3.p1.5.5.m5.2.3.cmml"><mi id="S3.Thmclaim3.p1.5.5.m5.2.3.2" xref="S3.Thmclaim3.p1.5.5.m5.2.3.2.cmml">G</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.5.5.m5.2.3.1" xref="S3.Thmclaim3.p1.5.5.m5.2.3.1.cmml">​</mo><mi id="S3.Thmclaim3.p1.5.5.m5.2.3.3" xref="S3.Thmclaim3.p1.5.5.m5.2.3.3.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.5.5.m5.2.3.1a" xref="S3.Thmclaim3.p1.5.5.m5.2.3.1.cmml">​</mo><mrow id="S3.Thmclaim3.p1.5.5.m5.2.3.4.2" xref="S3.Thmclaim3.p1.5.5.m5.2.3.4.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.5.5.m5.2.3.4.2.1" xref="S3.Thmclaim3.p1.5.5.m5.2.3.4.1.cmml">(</mo><mi id="S3.Thmclaim3.p1.5.5.m5.1.1" xref="S3.Thmclaim3.p1.5.5.m5.1.1.cmml">n</mi><mo id="S3.Thmclaim3.p1.5.5.m5.2.3.4.2.2" xref="S3.Thmclaim3.p1.5.5.m5.2.3.4.1.cmml">,</mo><mi id="S3.Thmclaim3.p1.5.5.m5.2.2" xref="S3.Thmclaim3.p1.5.5.m5.2.2.cmml">ℝ</mi><mo stretchy="false" id="S3.Thmclaim3.p1.5.5.m5.2.3.4.2.3" xref="S3.Thmclaim3.p1.5.5.m5.2.3.4.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.5.5.m5.2b"><apply id="S3.Thmclaim3.p1.5.5.m5.2.3.cmml" xref="S3.Thmclaim3.p1.5.5.m5.2.3"><times id="S3.Thmclaim3.p1.5.5.m5.2.3.1.cmml" xref="S3.Thmclaim3.p1.5.5.m5.2.3.1"></times><ci id="S3.Thmclaim3.p1.5.5.m5.2.3.2.cmml" xref="S3.Thmclaim3.p1.5.5.m5.2.3.2">𝐺</ci><ci id="S3.Thmclaim3.p1.5.5.m5.2.3.3.cmml" xref="S3.Thmclaim3.p1.5.5.m5.2.3.3">𝐿</ci><interval closure="open" id="S3.Thmclaim3.p1.5.5.m5.2.3.4.1.cmml" xref="S3.Thmclaim3.p1.5.5.m5.2.3.4.2"><ci id="S3.Thmclaim3.p1.5.5.m5.1.1.cmml" xref="S3.Thmclaim3.p1.5.5.m5.1.1">𝑛</ci><ci id="S3.Thmclaim3.p1.5.5.m5.2.2.cmml" xref="S3.Thmclaim3.p1.5.5.m5.2.2">ℝ</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.5.5.m5.2c">GL(n,\mathbb{R})</annotation></semantics></math> parameterized with <math id="S3.Thmclaim3.p1.6.6.m6.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.Thmclaim3.p1.6.6.m6.1a"><mi id="S3.Thmclaim3.p1.6.6.m6.1.1" xref="S3.Thmclaim3.p1.6.6.m6.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.6.6.m6.1b"><ci id="S3.Thmclaim3.p1.6.6.m6.1.1.cmml" xref="S3.Thmclaim3.p1.6.6.m6.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.6.6.m6.1c">\rho</annotation></semantics></math> &amp; <math id="S3.Thmclaim3.p1.7.7.m7.1" class="ltx_Math" alttext="U" display="inline"><semantics id="S3.Thmclaim3.p1.7.7.m7.1a"><mi id="S3.Thmclaim3.p1.7.7.m7.1.1" xref="S3.Thmclaim3.p1.7.7.m7.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.7.7.m7.1b"><ci id="S3.Thmclaim3.p1.7.7.m7.1.1.cmml" xref="S3.Thmclaim3.p1.7.7.m7.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.7.7.m7.1c">U</annotation></semantics></math>. Similarly, <math id="S3.Thmclaim3.p1.8.8.m8.3" class="ltx_Math" alttext="A_{U}(\rho,V)=\rho(I+UV^{T})" display="inline"><semantics id="S3.Thmclaim3.p1.8.8.m8.3a"><mrow id="S3.Thmclaim3.p1.8.8.m8.3.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.cmml"><mrow id="S3.Thmclaim3.p1.8.8.m8.3.3.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.cmml"><msub id="S3.Thmclaim3.p1.8.8.m8.3.3.3.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.cmml"><mi id="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.2.cmml">A</mi><mi id="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.3.cmml">U</mi></msub><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.8.8.m8.3.3.3.1" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.1.cmml">​</mo><mrow id="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.2.1" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.1.cmml">(</mo><mi id="S3.Thmclaim3.p1.8.8.m8.1.1" xref="S3.Thmclaim3.p1.8.8.m8.1.1.cmml">ρ</mi><mo id="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.2.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.1.cmml">,</mo><mi id="S3.Thmclaim3.p1.8.8.m8.2.2" xref="S3.Thmclaim3.p1.8.8.m8.2.2.cmml">V</mi><mo stretchy="false" id="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.2.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.1.cmml">)</mo></mrow></mrow><mo id="S3.Thmclaim3.p1.8.8.m8.3.3.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.2.cmml">=</mo><mrow id="S3.Thmclaim3.p1.8.8.m8.3.3.1" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.cmml"><mi id="S3.Thmclaim3.p1.8.8.m8.3.3.1.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.3.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.8.8.m8.3.3.1.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.2.cmml">​</mo><mrow id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.cmml">(</mo><mrow id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.cmml"><mi id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.2.cmml">I</mi><mo id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.1" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.1.cmml">+</mo><mrow id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.cmml"><mi id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.1" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.1.cmml">​</mo><msup id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.cmml"><mi id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.2" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.2.cmml">V</mi><mi id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.3" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.8.8.m8.3b"><apply id="S3.Thmclaim3.p1.8.8.m8.3.3.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3"><eq id="S3.Thmclaim3.p1.8.8.m8.3.3.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.2"></eq><apply id="S3.Thmclaim3.p1.8.8.m8.3.3.3.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3"><times id="S3.Thmclaim3.p1.8.8.m8.3.3.3.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.1"></times><apply id="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.2"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.2">subscript</csymbol><ci id="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.2">𝐴</ci><ci id="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.3.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.2.3">𝑈</ci></apply><interval closure="open" id="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.3.3.2"><ci id="S3.Thmclaim3.p1.8.8.m8.1.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.1.1">𝜌</ci><ci id="S3.Thmclaim3.p1.8.8.m8.2.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.2.2">𝑉</ci></interval></apply><apply id="S3.Thmclaim3.p1.8.8.m8.3.3.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1"><times id="S3.Thmclaim3.p1.8.8.m8.3.3.1.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.2"></times><ci id="S3.Thmclaim3.p1.8.8.m8.3.3.1.3.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.3">𝜌</ci><apply id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1"><plus id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.1"></plus><ci id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.2">𝐼</ci><apply id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3"><times id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.1"></times><ci id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.2">𝑈</ci><apply id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.1.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3">superscript</csymbol><ci id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.2.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.2">𝑉</ci><ci id="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.3.cmml" xref="S3.Thmclaim3.p1.8.8.m8.3.3.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.8.8.m8.3c">A_{U}(\rho,V)=\rho(I+UV^{T})</annotation></semantics></math> defines another subgroup of <math id="S3.Thmclaim3.p1.9.9.m9.2" class="ltx_Math" alttext="GL(n,\mathbb{R})" display="inline"><semantics id="S3.Thmclaim3.p1.9.9.m9.2a"><mrow id="S3.Thmclaim3.p1.9.9.m9.2.3" xref="S3.Thmclaim3.p1.9.9.m9.2.3.cmml"><mi id="S3.Thmclaim3.p1.9.9.m9.2.3.2" xref="S3.Thmclaim3.p1.9.9.m9.2.3.2.cmml">G</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.9.9.m9.2.3.1" xref="S3.Thmclaim3.p1.9.9.m9.2.3.1.cmml">​</mo><mi id="S3.Thmclaim3.p1.9.9.m9.2.3.3" xref="S3.Thmclaim3.p1.9.9.m9.2.3.3.cmml">L</mi><mo lspace="0em" rspace="0em" id="S3.Thmclaim3.p1.9.9.m9.2.3.1a" xref="S3.Thmclaim3.p1.9.9.m9.2.3.1.cmml">​</mo><mrow id="S3.Thmclaim3.p1.9.9.m9.2.3.4.2" xref="S3.Thmclaim3.p1.9.9.m9.2.3.4.1.cmml"><mo stretchy="false" id="S3.Thmclaim3.p1.9.9.m9.2.3.4.2.1" xref="S3.Thmclaim3.p1.9.9.m9.2.3.4.1.cmml">(</mo><mi id="S3.Thmclaim3.p1.9.9.m9.1.1" xref="S3.Thmclaim3.p1.9.9.m9.1.1.cmml">n</mi><mo id="S3.Thmclaim3.p1.9.9.m9.2.3.4.2.2" xref="S3.Thmclaim3.p1.9.9.m9.2.3.4.1.cmml">,</mo><mi id="S3.Thmclaim3.p1.9.9.m9.2.2" xref="S3.Thmclaim3.p1.9.9.m9.2.2.cmml">ℝ</mi><mo stretchy="false" id="S3.Thmclaim3.p1.9.9.m9.2.3.4.2.3" xref="S3.Thmclaim3.p1.9.9.m9.2.3.4.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.9.9.m9.2b"><apply id="S3.Thmclaim3.p1.9.9.m9.2.3.cmml" xref="S3.Thmclaim3.p1.9.9.m9.2.3"><times id="S3.Thmclaim3.p1.9.9.m9.2.3.1.cmml" xref="S3.Thmclaim3.p1.9.9.m9.2.3.1"></times><ci id="S3.Thmclaim3.p1.9.9.m9.2.3.2.cmml" xref="S3.Thmclaim3.p1.9.9.m9.2.3.2">𝐺</ci><ci id="S3.Thmclaim3.p1.9.9.m9.2.3.3.cmml" xref="S3.Thmclaim3.p1.9.9.m9.2.3.3">𝐿</ci><interval closure="open" id="S3.Thmclaim3.p1.9.9.m9.2.3.4.1.cmml" xref="S3.Thmclaim3.p1.9.9.m9.2.3.4.2"><ci id="S3.Thmclaim3.p1.9.9.m9.1.1.cmml" xref="S3.Thmclaim3.p1.9.9.m9.1.1">𝑛</ci><ci id="S3.Thmclaim3.p1.9.9.m9.2.2.cmml" xref="S3.Thmclaim3.p1.9.9.m9.2.2">ℝ</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.9.9.m9.2c">GL(n,\mathbb{R})</annotation></semantics></math> parameterized with <math id="S3.Thmclaim3.p1.10.10.m10.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.Thmclaim3.p1.10.10.m10.1a"><mi id="S3.Thmclaim3.p1.10.10.m10.1.1" xref="S3.Thmclaim3.p1.10.10.m10.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.10.10.m10.1b"><ci id="S3.Thmclaim3.p1.10.10.m10.1.1.cmml" xref="S3.Thmclaim3.p1.10.10.m10.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.10.10.m10.1c">\rho</annotation></semantics></math> &amp; <math id="S3.Thmclaim3.p1.11.11.m11.1" class="ltx_Math" alttext="V" display="inline"><semantics id="S3.Thmclaim3.p1.11.11.m11.1a"><mi id="S3.Thmclaim3.p1.11.11.m11.1.1" xref="S3.Thmclaim3.p1.11.11.m11.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="S3.Thmclaim3.p1.11.11.m11.1b"><ci id="S3.Thmclaim3.p1.11.11.m11.1.1.cmml" xref="S3.Thmclaim3.p1.11.11.m11.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.Thmclaim3.p1.11.11.m11.1c">V</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="S3.SS3.p3" class="ltx_para">
<p id="S3.SS3.p3.1" class="ltx_p">See proofs of Claim <a href="#S3.Thmclaim2" title="Claim 3.2. ‣ 3.3 Low-Rank Approximation Preconditioner ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.2</span></a> &amp;<a href="#S3.Thmclaim3" title="Claim 3.3. ‣ 3.3 Low-Rank Approximation Preconditioner ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.3</span></a> in Appendix <a href="#A3.SS1" title="C.1 Notations ‣ Appendix C Construction of low-rank approximation preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C.1</span></a> &amp; <a href="#A3.SS1" title="C.1 Notations ‣ Appendix C Construction of low-rank approximation preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C.1</span></a>.</p>
</div>
<div id="S3.SS3.p4" class="ltx_para">
<p id="S3.SS3.p4.10" class="ltx_p">The form of <math id="S3.SS3.p4.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS3.p4.1.m1.1a"><mi id="S3.SS3.p4.1.m1.1.1" xref="S3.SS3.p4.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.1.m1.1b"><ci id="S3.SS3.p4.1.m1.1.1.cmml" xref="S3.SS3.p4.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.1.m1.1c">Q</annotation></semantics></math> in Claim 3.2 is rather constrained as <math id="S3.SS3.p4.2.m2.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS3.p4.2.m2.1a"><mi id="S3.SS3.p4.2.m2.1.1" xref="S3.SS3.p4.2.m2.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.2.m2.1b"><ci id="S3.SS3.p4.2.m2.1.1.cmml" xref="S3.SS3.p4.2.m2.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.2.m2.1c">\rho</annotation></semantics></math> is a scalar. In practice, we replace <math id="S3.SS3.p4.3.m3.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="S3.SS3.p4.3.m3.1a"><mi id="S3.SS3.p4.3.m3.1.1" xref="S3.SS3.p4.3.m3.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.3.m3.1b"><ci id="S3.SS3.p4.3.m3.1.1.cmml" xref="S3.SS3.p4.3.m3.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.3.m3.1c">\rho</annotation></semantics></math> with another Lie group matrix &amp; define <math id="S3.SS3.p4.4.m4.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S3.SS3.p4.4.m4.1a"><mi id="S3.SS3.p4.4.m4.1.1" xref="S3.SS3.p4.4.m4.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.4.m4.1b"><ci id="S3.SS3.p4.4.m4.1.1.cmml" xref="S3.SS3.p4.4.m4.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.4.m4.1c">Q</annotation></semantics></math> as <math id="S3.SS3.p4.5.m5.1" class="ltx_Math" alttext="Q=B(I+UV^{T})" display="inline"><semantics id="S3.SS3.p4.5.m5.1a"><mrow id="S3.SS3.p4.5.m5.1.1" xref="S3.SS3.p4.5.m5.1.1.cmml"><mi id="S3.SS3.p4.5.m5.1.1.3" xref="S3.SS3.p4.5.m5.1.1.3.cmml">Q</mi><mo id="S3.SS3.p4.5.m5.1.1.2" xref="S3.SS3.p4.5.m5.1.1.2.cmml">=</mo><mrow id="S3.SS3.p4.5.m5.1.1.1" xref="S3.SS3.p4.5.m5.1.1.1.cmml"><mi id="S3.SS3.p4.5.m5.1.1.1.3" xref="S3.SS3.p4.5.m5.1.1.1.3.cmml">B</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p4.5.m5.1.1.1.2" xref="S3.SS3.p4.5.m5.1.1.1.2.cmml">​</mo><mrow id="S3.SS3.p4.5.m5.1.1.1.1.1" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS3.p4.5.m5.1.1.1.1.1.2" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS3.p4.5.m5.1.1.1.1.1.1" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.cmml"><mi id="S3.SS3.p4.5.m5.1.1.1.1.1.1.2" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.2.cmml">I</mi><mo id="S3.SS3.p4.5.m5.1.1.1.1.1.1.1" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.cmml"><mi id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.2" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.1" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.cmml"><mi id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.2" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.3" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S3.SS3.p4.5.m5.1.1.1.1.1.3" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.5.m5.1b"><apply id="S3.SS3.p4.5.m5.1.1.cmml" xref="S3.SS3.p4.5.m5.1.1"><eq id="S3.SS3.p4.5.m5.1.1.2.cmml" xref="S3.SS3.p4.5.m5.1.1.2"></eq><ci id="S3.SS3.p4.5.m5.1.1.3.cmml" xref="S3.SS3.p4.5.m5.1.1.3">𝑄</ci><apply id="S3.SS3.p4.5.m5.1.1.1.cmml" xref="S3.SS3.p4.5.m5.1.1.1"><times id="S3.SS3.p4.5.m5.1.1.1.2.cmml" xref="S3.SS3.p4.5.m5.1.1.1.2"></times><ci id="S3.SS3.p4.5.m5.1.1.1.3.cmml" xref="S3.SS3.p4.5.m5.1.1.1.3">𝐵</ci><apply id="S3.SS3.p4.5.m5.1.1.1.1.1.1.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1"><plus id="S3.SS3.p4.5.m5.1.1.1.1.1.1.1.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.1"></plus><ci id="S3.SS3.p4.5.m5.1.1.1.1.1.1.2.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.2">𝐼</ci><apply id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3"><times id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.1.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.1"></times><ci id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.2.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.2">𝑈</ci><apply id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.1.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.2.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.3.cmml" xref="S3.SS3.p4.5.m5.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.5.m5.1c">Q=B(I+UV^{T})</annotation></semantics></math>. In our implementations, we choose <math id="S3.SS3.p4.6.m6.1" class="ltx_Math" alttext="B" display="inline"><semantics id="S3.SS3.p4.6.m6.1a"><mi id="S3.SS3.p4.6.m6.1.1" xref="S3.SS3.p4.6.m6.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.6.m6.1b"><ci id="S3.SS3.p4.6.m6.1.1.cmml" xref="S3.SS3.p4.6.m6.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.6.m6.1c">B</annotation></semantics></math> to be the group of diagonal matrix with positive diagonals &amp; update <math id="S3.SS3.p4.7.m7.1" class="ltx_Math" alttext="B" display="inline"><semantics id="S3.SS3.p4.7.m7.1a"><mi id="S3.SS3.p4.7.m7.1.1" xref="S3.SS3.p4.7.m7.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.7.m7.1b"><ci id="S3.SS3.p4.7.m7.1.1.cmml" xref="S3.SS3.p4.7.m7.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.7.m7.1c">B</annotation></semantics></math> along with <math id="S3.SS3.p4.8.m8.1" class="ltx_Math" alttext="U" display="inline"><semantics id="S3.SS3.p4.8.m8.1a"><mi id="S3.SS3.p4.8.m8.1.1" xref="S3.SS3.p4.8.m8.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.8.m8.1b"><ci id="S3.SS3.p4.8.m8.1.1.cmml" xref="S3.SS3.p4.8.m8.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.8.m8.1c">U</annotation></semantics></math> &amp; <math id="S3.SS3.p4.9.m9.1" class="ltx_Math" alttext="V" display="inline"><semantics id="S3.SS3.p4.9.m9.1a"><mi id="S3.SS3.p4.9.m9.1.1" xref="S3.SS3.p4.9.m9.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.9.m9.1b"><ci id="S3.SS3.p4.9.m9.1.1.cmml" xref="S3.SS3.p4.9.m9.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.9.m9.1c">V</annotation></semantics></math> on two separate Lie groups. Note that now <math id="S3.SS3.p4.10.m10.1" class="ltx_Math" alttext="B(I+UV^{T})" display="inline"><semantics id="S3.SS3.p4.10.m10.1a"><mrow id="S3.SS3.p4.10.m10.1.1" xref="S3.SS3.p4.10.m10.1.1.cmml"><mi id="S3.SS3.p4.10.m10.1.1.3" xref="S3.SS3.p4.10.m10.1.1.3.cmml">B</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p4.10.m10.1.1.2" xref="S3.SS3.p4.10.m10.1.1.2.cmml">​</mo><mrow id="S3.SS3.p4.10.m10.1.1.1.1" xref="S3.SS3.p4.10.m10.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS3.p4.10.m10.1.1.1.1.2" xref="S3.SS3.p4.10.m10.1.1.1.1.1.cmml">(</mo><mrow id="S3.SS3.p4.10.m10.1.1.1.1.1" xref="S3.SS3.p4.10.m10.1.1.1.1.1.cmml"><mi id="S3.SS3.p4.10.m10.1.1.1.1.1.2" xref="S3.SS3.p4.10.m10.1.1.1.1.1.2.cmml">I</mi><mo id="S3.SS3.p4.10.m10.1.1.1.1.1.1" xref="S3.SS3.p4.10.m10.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.SS3.p4.10.m10.1.1.1.1.1.3" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.cmml"><mi id="S3.SS3.p4.10.m10.1.1.1.1.1.3.2" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p4.10.m10.1.1.1.1.1.3.1" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.1.cmml">​</mo><msup id="S3.SS3.p4.10.m10.1.1.1.1.1.3.3" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.cmml"><mi id="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.2" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.3" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S3.SS3.p4.10.m10.1.1.1.1.3" xref="S3.SS3.p4.10.m10.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p4.10.m10.1b"><apply id="S3.SS3.p4.10.m10.1.1.cmml" xref="S3.SS3.p4.10.m10.1.1"><times id="S3.SS3.p4.10.m10.1.1.2.cmml" xref="S3.SS3.p4.10.m10.1.1.2"></times><ci id="S3.SS3.p4.10.m10.1.1.3.cmml" xref="S3.SS3.p4.10.m10.1.1.3">𝐵</ci><apply id="S3.SS3.p4.10.m10.1.1.1.1.1.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1"><plus id="S3.SS3.p4.10.m10.1.1.1.1.1.1.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.1"></plus><ci id="S3.SS3.p4.10.m10.1.1.1.1.1.2.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.2">𝐼</ci><apply id="S3.SS3.p4.10.m10.1.1.1.1.1.3.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3"><times id="S3.SS3.p4.10.m10.1.1.1.1.1.3.1.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.1"></times><ci id="S3.SS3.p4.10.m10.1.1.1.1.1.3.2.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.2">𝑈</ci><apply id="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.1.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.3">superscript</csymbol><ci id="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.2.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.2">𝑉</ci><ci id="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.3.cmml" xref="S3.SS3.p4.10.m10.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p4.10.m10.1c">B(I+UV^{T})</annotation></semantics></math> generally no longer forms a single Lie group.</p>
</div>
</section>
</section>
<section id="S4" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">4 </span>Practical Considerations</h2>

<div id="S4.p1" class="ltx_para">
<p id="S4.p1.5" class="ltx_p">Above-proposed preconditioners can be fit online by minimizing criterion equation <a href="#S2.E3" title="Equation 3 ‣ 2.2 The Preconditioner Fitting Criterion ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> using GD on Lie groups. Unlike traditional GD, moving an object on a Lie group is achieved by multiplying it with <math id="S4.p1.1.m1.1" class="ltx_Math" alttext="I+\mu G" display="inline"><semantics id="S4.p1.1.m1.1a"><mrow id="S4.p1.1.m1.1.1" xref="S4.p1.1.m1.1.1.cmml"><mi id="S4.p1.1.m1.1.1.2" xref="S4.p1.1.m1.1.1.2.cmml">I</mi><mo id="S4.p1.1.m1.1.1.1" xref="S4.p1.1.m1.1.1.1.cmml">+</mo><mrow id="S4.p1.1.m1.1.1.3" xref="S4.p1.1.m1.1.1.3.cmml"><mi id="S4.p1.1.m1.1.1.3.2" xref="S4.p1.1.m1.1.1.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S4.p1.1.m1.1.1.3.1" xref="S4.p1.1.m1.1.1.3.1.cmml">​</mo><mi id="S4.p1.1.m1.1.1.3.3" xref="S4.p1.1.m1.1.1.3.3.cmml">G</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p1.1.m1.1b"><apply id="S4.p1.1.m1.1.1.cmml" xref="S4.p1.1.m1.1.1"><plus id="S4.p1.1.m1.1.1.1.cmml" xref="S4.p1.1.m1.1.1.1"></plus><ci id="S4.p1.1.m1.1.1.2.cmml" xref="S4.p1.1.m1.1.1.2">𝐼</ci><apply id="S4.p1.1.m1.1.1.3.cmml" xref="S4.p1.1.m1.1.1.3"><times id="S4.p1.1.m1.1.1.3.1.cmml" xref="S4.p1.1.m1.1.1.3.1"></times><ci id="S4.p1.1.m1.1.1.3.2.cmml" xref="S4.p1.1.m1.1.1.3.2">𝜇</ci><ci id="S4.p1.1.m1.1.1.3.3.cmml" xref="S4.p1.1.m1.1.1.3.3">𝐺</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.1.m1.1c">I+\mu G</annotation></semantics></math>, where <math id="S4.p1.2.m2.1" class="ltx_Math" alttext="G" display="inline"><semantics id="S4.p1.2.m2.1a"><mi id="S4.p1.2.m2.1.1" xref="S4.p1.2.m2.1.1.cmml">G</mi><annotation-xml encoding="MathML-Content" id="S4.p1.2.m2.1b"><ci id="S4.p1.2.m2.1.1.cmml" xref="S4.p1.2.m2.1.1">𝐺</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.2.m2.1c">G</annotation></semantics></math> is the group generator &amp; <math id="S4.p1.3.m3.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S4.p1.3.m3.1a"><mi id="S4.p1.3.m3.1.1" xref="S4.p1.3.m3.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S4.p1.3.m3.1b"><ci id="S4.p1.3.m3.1.1.cmml" xref="S4.p1.3.m3.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.3.m3.1c">\mu</annotation></semantics></math> is small enough such that <math id="S4.p1.4.m4.1" class="ltx_Math" alttext="\|\mu G\|&lt;1" display="inline"><semantics id="S4.p1.4.m4.1a"><mrow id="S4.p1.4.m4.1.1" xref="S4.p1.4.m4.1.1.cmml"><mrow id="S4.p1.4.m4.1.1.1.1" xref="S4.p1.4.m4.1.1.1.2.cmml"><mo stretchy="false" id="S4.p1.4.m4.1.1.1.1.2" xref="S4.p1.4.m4.1.1.1.2.1.cmml">‖</mo><mrow id="S4.p1.4.m4.1.1.1.1.1" xref="S4.p1.4.m4.1.1.1.1.1.cmml"><mi id="S4.p1.4.m4.1.1.1.1.1.2" xref="S4.p1.4.m4.1.1.1.1.1.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S4.p1.4.m4.1.1.1.1.1.1" xref="S4.p1.4.m4.1.1.1.1.1.1.cmml">​</mo><mi id="S4.p1.4.m4.1.1.1.1.1.3" xref="S4.p1.4.m4.1.1.1.1.1.3.cmml">G</mi></mrow><mo stretchy="false" id="S4.p1.4.m4.1.1.1.1.3" xref="S4.p1.4.m4.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p1.4.m4.1.1.2" xref="S4.p1.4.m4.1.1.2.cmml">&lt;</mo><mn id="S4.p1.4.m4.1.1.3" xref="S4.p1.4.m4.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.p1.4.m4.1b"><apply id="S4.p1.4.m4.1.1.cmml" xref="S4.p1.4.m4.1.1"><lt id="S4.p1.4.m4.1.1.2.cmml" xref="S4.p1.4.m4.1.1.2"></lt><apply id="S4.p1.4.m4.1.1.1.2.cmml" xref="S4.p1.4.m4.1.1.1.1"><csymbol cd="latexml" id="S4.p1.4.m4.1.1.1.2.1.cmml" xref="S4.p1.4.m4.1.1.1.1.2">norm</csymbol><apply id="S4.p1.4.m4.1.1.1.1.1.cmml" xref="S4.p1.4.m4.1.1.1.1.1"><times id="S4.p1.4.m4.1.1.1.1.1.1.cmml" xref="S4.p1.4.m4.1.1.1.1.1.1"></times><ci id="S4.p1.4.m4.1.1.1.1.1.2.cmml" xref="S4.p1.4.m4.1.1.1.1.1.2">𝜇</ci><ci id="S4.p1.4.m4.1.1.1.1.1.3.cmml" xref="S4.p1.4.m4.1.1.1.1.1.3">𝐺</ci></apply></apply><cn type="integer" id="S4.p1.4.m4.1.1.3.cmml" xref="S4.p1.4.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.4.m4.1c">\|\mu G\|&lt;1</annotation></semantics></math>. This series of small movements trace a curve on the Lie group manifold, &amp; <math id="S4.p1.5.m5.1" class="ltx_Math" alttext="G" display="inline"><semantics id="S4.p1.5.m5.1a"><mi id="S4.p1.5.m5.1.1" xref="S4.p1.5.m5.1.1.cmml">G</mi><annotation-xml encoding="MathML-Content" id="S4.p1.5.m5.1b"><ci id="S4.p1.5.m5.1.1.cmml" xref="S4.p1.5.m5.1.1">𝐺</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.5.m5.1c">G</annotation></semantics></math> is in the tangent space of the group as the Lie algebra is closed. See App <a href="#A4" title="Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">D</span></a>.</p>
</div>
<div id="S4.p2" class="ltx_para">
<p id="S4.p2.11" class="ltx_p">Note that optimizer damping is neither necessary nor generally feasible on a Lie group, although it is widely used in other second-order optimizers to avoid degenerate solutions. On one hand, by fitting <math id="S4.p2.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="S4.p2.1.m1.1a"><mi id="S4.p2.1.m1.1.1" xref="S4.p2.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="S4.p2.1.m1.1b"><ci id="S4.p2.1.m1.1.1.cmml" xref="S4.p2.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.1.m1.1c">Q</annotation></semantics></math> on a connected Lie group, <math id="S4.p2.2.m2.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="S4.p2.2.m2.1a"><mrow id="S4.p2.2.m2.1.1" xref="S4.p2.2.m2.1.1.cmml"><mi id="S4.p2.2.m2.1.1.2" xref="S4.p2.2.m2.1.1.2.cmml">P</mi><mo id="S4.p2.2.m2.1.1.1" xref="S4.p2.2.m2.1.1.1.cmml">=</mo><mrow id="S4.p2.2.m2.1.1.3" xref="S4.p2.2.m2.1.1.3.cmml"><msup id="S4.p2.2.m2.1.1.3.2" xref="S4.p2.2.m2.1.1.3.2.cmml"><mi id="S4.p2.2.m2.1.1.3.2.2" xref="S4.p2.2.m2.1.1.3.2.2.cmml">Q</mi><mi id="S4.p2.2.m2.1.1.3.2.3" xref="S4.p2.2.m2.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S4.p2.2.m2.1.1.3.1" xref="S4.p2.2.m2.1.1.3.1.cmml">​</mo><mi id="S4.p2.2.m2.1.1.3.3" xref="S4.p2.2.m2.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p2.2.m2.1b"><apply id="S4.p2.2.m2.1.1.cmml" xref="S4.p2.2.m2.1.1"><eq id="S4.p2.2.m2.1.1.1.cmml" xref="S4.p2.2.m2.1.1.1"></eq><ci id="S4.p2.2.m2.1.1.2.cmml" xref="S4.p2.2.m2.1.1.2">𝑃</ci><apply id="S4.p2.2.m2.1.1.3.cmml" xref="S4.p2.2.m2.1.1.3"><times id="S4.p2.2.m2.1.1.3.1.cmml" xref="S4.p2.2.m2.1.1.3.1"></times><apply id="S4.p2.2.m2.1.1.3.2.cmml" xref="S4.p2.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="S4.p2.2.m2.1.1.3.2.1.cmml" xref="S4.p2.2.m2.1.1.3.2">superscript</csymbol><ci id="S4.p2.2.m2.1.1.3.2.2.cmml" xref="S4.p2.2.m2.1.1.3.2.2">𝑄</ci><ci id="S4.p2.2.m2.1.1.3.2.3.cmml" xref="S4.p2.2.m2.1.1.3.2.3">𝑇</ci></apply><ci id="S4.p2.2.m2.1.1.3.3.cmml" xref="S4.p2.2.m2.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.2.m2.1c">P=Q^{T}Q</annotation></semantics></math> cannot be singular. On the other hand, damping could be incompatible with certain forms of Lie groups, as we may not always be able to find another <math id="S4.p2.3.m3.1" class="ltx_Math" alttext="Q^{\prime}" display="inline"><semantics id="S4.p2.3.m3.1a"><msup id="S4.p2.3.m3.1.1" xref="S4.p2.3.m3.1.1.cmml"><mi id="S4.p2.3.m3.1.1.2" xref="S4.p2.3.m3.1.1.2.cmml">Q</mi><mo id="S4.p2.3.m3.1.1.3" xref="S4.p2.3.m3.1.1.3.cmml">′</mo></msup><annotation-xml encoding="MathML-Content" id="S4.p2.3.m3.1b"><apply id="S4.p2.3.m3.1.1.cmml" xref="S4.p2.3.m3.1.1"><csymbol cd="ambiguous" id="S4.p2.3.m3.1.1.1.cmml" xref="S4.p2.3.m3.1.1">superscript</csymbol><ci id="S4.p2.3.m3.1.1.2.cmml" xref="S4.p2.3.m3.1.1.2">𝑄</ci><ci id="S4.p2.3.m3.1.1.3.cmml" xref="S4.p2.3.m3.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.3.m3.1c">Q^{\prime}</annotation></semantics></math> on the same group such that <math id="S4.p2.4.m4.2" class="ltx_Math" alttext="Q^{\prime T}Q^{\prime}=Q^{T}Q+\lambda I" display="inline"><semantics id="S4.p2.4.m4.2a"><mrow id="S4.p2.4.m4.2.3" xref="S4.p2.4.m4.2.3.cmml"><mrow id="S4.p2.4.m4.2.3.2" xref="S4.p2.4.m4.2.3.2.cmml"><msup id="S4.p2.4.m4.2.3.2.2" xref="S4.p2.4.m4.2.3.2.2.cmml"><mi id="S4.p2.4.m4.2.3.2.2.2" xref="S4.p2.4.m4.2.3.2.2.2.cmml">Q</mi><mrow id="S4.p2.4.m4.2.2.2.2" xref="S4.p2.4.m4.2.2.2.3.cmml"><mo mathsize="142%" id="S4.p2.4.m4.2.2.2.2.1" xref="S4.p2.4.m4.2.2.2.2.1.cmml">′</mo><mo lspace="0em" id="S4.p2.4.m4.2.2.2.2.2" xref="S4.p2.4.m4.2.2.2.3.cmml">⁣</mo><mi id="S4.p2.4.m4.1.1.1.1" xref="S4.p2.4.m4.1.1.1.1.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="S4.p2.4.m4.2.3.2.1" xref="S4.p2.4.m4.2.3.2.1.cmml">​</mo><msup id="S4.p2.4.m4.2.3.2.3" xref="S4.p2.4.m4.2.3.2.3.cmml"><mi id="S4.p2.4.m4.2.3.2.3.2" xref="S4.p2.4.m4.2.3.2.3.2.cmml">Q</mi><mo id="S4.p2.4.m4.2.3.2.3.3" xref="S4.p2.4.m4.2.3.2.3.3.cmml">′</mo></msup></mrow><mo id="S4.p2.4.m4.2.3.1" xref="S4.p2.4.m4.2.3.1.cmml">=</mo><mrow id="S4.p2.4.m4.2.3.3" xref="S4.p2.4.m4.2.3.3.cmml"><mrow id="S4.p2.4.m4.2.3.3.2" xref="S4.p2.4.m4.2.3.3.2.cmml"><msup id="S4.p2.4.m4.2.3.3.2.2" xref="S4.p2.4.m4.2.3.3.2.2.cmml"><mi id="S4.p2.4.m4.2.3.3.2.2.2" xref="S4.p2.4.m4.2.3.3.2.2.2.cmml">Q</mi><mi id="S4.p2.4.m4.2.3.3.2.2.3" xref="S4.p2.4.m4.2.3.3.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S4.p2.4.m4.2.3.3.2.1" xref="S4.p2.4.m4.2.3.3.2.1.cmml">​</mo><mi id="S4.p2.4.m4.2.3.3.2.3" xref="S4.p2.4.m4.2.3.3.2.3.cmml">Q</mi></mrow><mo id="S4.p2.4.m4.2.3.3.1" xref="S4.p2.4.m4.2.3.3.1.cmml">+</mo><mrow id="S4.p2.4.m4.2.3.3.3" xref="S4.p2.4.m4.2.3.3.3.cmml"><mi id="S4.p2.4.m4.2.3.3.3.2" xref="S4.p2.4.m4.2.3.3.3.2.cmml">λ</mi><mo lspace="0em" rspace="0em" id="S4.p2.4.m4.2.3.3.3.1" xref="S4.p2.4.m4.2.3.3.3.1.cmml">​</mo><mi id="S4.p2.4.m4.2.3.3.3.3" xref="S4.p2.4.m4.2.3.3.3.3.cmml">I</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p2.4.m4.2b"><apply id="S4.p2.4.m4.2.3.cmml" xref="S4.p2.4.m4.2.3"><eq id="S4.p2.4.m4.2.3.1.cmml" xref="S4.p2.4.m4.2.3.1"></eq><apply id="S4.p2.4.m4.2.3.2.cmml" xref="S4.p2.4.m4.2.3.2"><times id="S4.p2.4.m4.2.3.2.1.cmml" xref="S4.p2.4.m4.2.3.2.1"></times><apply id="S4.p2.4.m4.2.3.2.2.cmml" xref="S4.p2.4.m4.2.3.2.2"><csymbol cd="ambiguous" id="S4.p2.4.m4.2.3.2.2.1.cmml" xref="S4.p2.4.m4.2.3.2.2">superscript</csymbol><ci id="S4.p2.4.m4.2.3.2.2.2.cmml" xref="S4.p2.4.m4.2.3.2.2.2">𝑄</ci><list id="S4.p2.4.m4.2.2.2.3.cmml" xref="S4.p2.4.m4.2.2.2.2"><ci id="S4.p2.4.m4.2.2.2.2.1.cmml" xref="S4.p2.4.m4.2.2.2.2.1">′</ci><ci id="S4.p2.4.m4.1.1.1.1.cmml" xref="S4.p2.4.m4.1.1.1.1">𝑇</ci></list></apply><apply id="S4.p2.4.m4.2.3.2.3.cmml" xref="S4.p2.4.m4.2.3.2.3"><csymbol cd="ambiguous" id="S4.p2.4.m4.2.3.2.3.1.cmml" xref="S4.p2.4.m4.2.3.2.3">superscript</csymbol><ci id="S4.p2.4.m4.2.3.2.3.2.cmml" xref="S4.p2.4.m4.2.3.2.3.2">𝑄</ci><ci id="S4.p2.4.m4.2.3.2.3.3.cmml" xref="S4.p2.4.m4.2.3.2.3.3">′</ci></apply></apply><apply id="S4.p2.4.m4.2.3.3.cmml" xref="S4.p2.4.m4.2.3.3"><plus id="S4.p2.4.m4.2.3.3.1.cmml" xref="S4.p2.4.m4.2.3.3.1"></plus><apply id="S4.p2.4.m4.2.3.3.2.cmml" xref="S4.p2.4.m4.2.3.3.2"><times id="S4.p2.4.m4.2.3.3.2.1.cmml" xref="S4.p2.4.m4.2.3.3.2.1"></times><apply id="S4.p2.4.m4.2.3.3.2.2.cmml" xref="S4.p2.4.m4.2.3.3.2.2"><csymbol cd="ambiguous" id="S4.p2.4.m4.2.3.3.2.2.1.cmml" xref="S4.p2.4.m4.2.3.3.2.2">superscript</csymbol><ci id="S4.p2.4.m4.2.3.3.2.2.2.cmml" xref="S4.p2.4.m4.2.3.3.2.2.2">𝑄</ci><ci id="S4.p2.4.m4.2.3.3.2.2.3.cmml" xref="S4.p2.4.m4.2.3.3.2.2.3">𝑇</ci></apply><ci id="S4.p2.4.m4.2.3.3.2.3.cmml" xref="S4.p2.4.m4.2.3.3.2.3">𝑄</ci></apply><apply id="S4.p2.4.m4.2.3.3.3.cmml" xref="S4.p2.4.m4.2.3.3.3"><times id="S4.p2.4.m4.2.3.3.3.1.cmml" xref="S4.p2.4.m4.2.3.3.3.1"></times><ci id="S4.p2.4.m4.2.3.3.3.2.cmml" xref="S4.p2.4.m4.2.3.3.3.2">𝜆</ci><ci id="S4.p2.4.m4.2.3.3.3.3.cmml" xref="S4.p2.4.m4.2.3.3.3.3">𝐼</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.4.m4.2c">Q^{\prime T}Q^{\prime}=Q^{T}Q+\lambda I</annotation></semantics></math>, where <math id="S4.p2.5.m5.1" class="ltx_Math" alttext="\lambda&gt;0" display="inline"><semantics id="S4.p2.5.m5.1a"><mrow id="S4.p2.5.m5.1.1" xref="S4.p2.5.m5.1.1.cmml"><mi id="S4.p2.5.m5.1.1.2" xref="S4.p2.5.m5.1.1.2.cmml">λ</mi><mo id="S4.p2.5.m5.1.1.1" xref="S4.p2.5.m5.1.1.1.cmml">&gt;</mo><mn id="S4.p2.5.m5.1.1.3" xref="S4.p2.5.m5.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.p2.5.m5.1b"><apply id="S4.p2.5.m5.1.1.cmml" xref="S4.p2.5.m5.1.1"><gt id="S4.p2.5.m5.1.1.1.cmml" xref="S4.p2.5.m5.1.1.1"></gt><ci id="S4.p2.5.m5.1.1.2.cmml" xref="S4.p2.5.m5.1.1.2">𝜆</ci><cn type="integer" id="S4.p2.5.m5.1.1.3.cmml" xref="S4.p2.5.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.5.m5.1c">\lambda&gt;0</annotation></semantics></math>. This eliminates the need for setting up a proper damping schedule.
However, gradient clipping can be helpful in promoting stability. The quadratic approximation leading to the quasi-linear system equation <a href="#S2.E2" title="Equation 2 ‣ 2.1 Notations ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> is only valid within a certain region around <math id="S4.p2.6.m6.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="S4.p2.6.m6.1a"><mi id="S4.p2.6.m6.1.1" xref="S4.p2.6.m6.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="S4.p2.6.m6.1b"><ci id="S4.p2.6.m6.1.1.cmml" xref="S4.p2.6.m6.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.6.m6.1c">\theta</annotation></semantics></math>. Thus, <math id="S4.p2.7.m7.3" class="ltx_Math" alttext="\|\delta\theta\|=\mu\|P{\partial{\cal{\hat{L}}}(\theta)}/{\partial\theta}\|" display="inline"><semantics id="S4.p2.7.m7.3a"><mrow id="S4.p2.7.m7.3.3" xref="S4.p2.7.m7.3.3.cmml"><mrow id="S4.p2.7.m7.2.2.1.1" xref="S4.p2.7.m7.2.2.1.2.cmml"><mo stretchy="false" id="S4.p2.7.m7.2.2.1.1.2" xref="S4.p2.7.m7.2.2.1.2.1.cmml">‖</mo><mrow id="S4.p2.7.m7.2.2.1.1.1" xref="S4.p2.7.m7.2.2.1.1.1.cmml"><mi id="S4.p2.7.m7.2.2.1.1.1.2" xref="S4.p2.7.m7.2.2.1.1.1.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S4.p2.7.m7.2.2.1.1.1.1" xref="S4.p2.7.m7.2.2.1.1.1.1.cmml">​</mo><mi id="S4.p2.7.m7.2.2.1.1.1.3" xref="S4.p2.7.m7.2.2.1.1.1.3.cmml">θ</mi></mrow><mo stretchy="false" id="S4.p2.7.m7.2.2.1.1.3" xref="S4.p2.7.m7.2.2.1.2.1.cmml">‖</mo></mrow><mo id="S4.p2.7.m7.3.3.3" xref="S4.p2.7.m7.3.3.3.cmml">=</mo><mrow id="S4.p2.7.m7.3.3.2" xref="S4.p2.7.m7.3.3.2.cmml"><mi id="S4.p2.7.m7.3.3.2.3" xref="S4.p2.7.m7.3.3.2.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="S4.p2.7.m7.3.3.2.2" xref="S4.p2.7.m7.3.3.2.2.cmml">​</mo><mrow id="S4.p2.7.m7.3.3.2.1.1" xref="S4.p2.7.m7.3.3.2.1.2.cmml"><mo stretchy="false" id="S4.p2.7.m7.3.3.2.1.1.2" xref="S4.p2.7.m7.3.3.2.1.2.1.cmml">‖</mo><mrow id="S4.p2.7.m7.3.3.2.1.1.1" xref="S4.p2.7.m7.3.3.2.1.1.1.cmml"><mi id="S4.p2.7.m7.3.3.2.1.1.1.2" xref="S4.p2.7.m7.3.3.2.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="S4.p2.7.m7.3.3.2.1.1.1.1" xref="S4.p2.7.m7.3.3.2.1.1.1.1.cmml">​</mo><mrow id="S4.p2.7.m7.3.3.2.1.1.1.3" xref="S4.p2.7.m7.3.3.2.1.1.1.3.cmml"><mo rspace="0em" id="S4.p2.7.m7.3.3.2.1.1.1.3.1" xref="S4.p2.7.m7.3.3.2.1.1.1.3.1.cmml">∂</mo><mrow id="S4.p2.7.m7.3.3.2.1.1.1.3.2" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.cmml"><mrow id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.cmml"><mover accent="true" id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.2" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.2.cmml">ℒ</mi><mo id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.1" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.1" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.1.cmml">​</mo><mrow id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.3.2" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.cmml"><mo stretchy="false" id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.3.2.1" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.cmml">(</mo><mi id="S4.p2.7.m7.1.1" xref="S4.p2.7.m7.1.1.cmml">θ</mi><mo stretchy="false" id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.3.2.2" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.cmml">)</mo></mrow></mrow><mo id="S4.p2.7.m7.3.3.2.1.1.1.3.2.1" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.1.cmml">/</mo><mrow id="S4.p2.7.m7.3.3.2.1.1.1.3.2.3" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.cmml"><mo lspace="0em" rspace="0em" id="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.1" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.1.cmml">∂</mo><mi id="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.2" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.2.cmml">θ</mi></mrow></mrow></mrow></mrow><mo stretchy="false" id="S4.p2.7.m7.3.3.2.1.1.3" xref="S4.p2.7.m7.3.3.2.1.2.1.cmml">‖</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p2.7.m7.3b"><apply id="S4.p2.7.m7.3.3.cmml" xref="S4.p2.7.m7.3.3"><eq id="S4.p2.7.m7.3.3.3.cmml" xref="S4.p2.7.m7.3.3.3"></eq><apply id="S4.p2.7.m7.2.2.1.2.cmml" xref="S4.p2.7.m7.2.2.1.1"><csymbol cd="latexml" id="S4.p2.7.m7.2.2.1.2.1.cmml" xref="S4.p2.7.m7.2.2.1.1.2">norm</csymbol><apply id="S4.p2.7.m7.2.2.1.1.1.cmml" xref="S4.p2.7.m7.2.2.1.1.1"><times id="S4.p2.7.m7.2.2.1.1.1.1.cmml" xref="S4.p2.7.m7.2.2.1.1.1.1"></times><ci id="S4.p2.7.m7.2.2.1.1.1.2.cmml" xref="S4.p2.7.m7.2.2.1.1.1.2">𝛿</ci><ci id="S4.p2.7.m7.2.2.1.1.1.3.cmml" xref="S4.p2.7.m7.2.2.1.1.1.3">𝜃</ci></apply></apply><apply id="S4.p2.7.m7.3.3.2.cmml" xref="S4.p2.7.m7.3.3.2"><times id="S4.p2.7.m7.3.3.2.2.cmml" xref="S4.p2.7.m7.3.3.2.2"></times><ci id="S4.p2.7.m7.3.3.2.3.cmml" xref="S4.p2.7.m7.3.3.2.3">𝜇</ci><apply id="S4.p2.7.m7.3.3.2.1.2.cmml" xref="S4.p2.7.m7.3.3.2.1.1"><csymbol cd="latexml" id="S4.p2.7.m7.3.3.2.1.2.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.2">norm</csymbol><apply id="S4.p2.7.m7.3.3.2.1.1.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1"><times id="S4.p2.7.m7.3.3.2.1.1.1.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.1"></times><ci id="S4.p2.7.m7.3.3.2.1.1.1.2.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.2">𝑃</ci><apply id="S4.p2.7.m7.3.3.2.1.1.1.3.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3"><partialdiff id="S4.p2.7.m7.3.3.2.1.1.1.3.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.1"></partialdiff><apply id="S4.p2.7.m7.3.3.2.1.1.1.3.2.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2"><divide id="S4.p2.7.m7.3.3.2.1.1.1.3.2.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.1"></divide><apply id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2"><times id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.1"></times><apply id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2"><ci id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.1">^</ci><ci id="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.2.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.2.2.2">ℒ</ci></apply><ci id="S4.p2.7.m7.1.1.cmml" xref="S4.p2.7.m7.1.1">𝜃</ci></apply><apply id="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.3"><partialdiff id="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.1.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.1"></partialdiff><ci id="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.2.cmml" xref="S4.p2.7.m7.3.3.2.1.1.1.3.2.3.2">𝜃</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.7.m7.3c">\|\delta\theta\|=\mu\|P{\partial{\cal{\hat{L}}}(\theta)}/{\partial\theta}\|</annotation></semantics></math> should be small enough such that <math id="S4.p2.8.m8.1" class="ltx_Math" alttext="\theta+\delta\theta" display="inline"><semantics id="S4.p2.8.m8.1a"><mrow id="S4.p2.8.m8.1.1" xref="S4.p2.8.m8.1.1.cmml"><mi id="S4.p2.8.m8.1.1.2" xref="S4.p2.8.m8.1.1.2.cmml">θ</mi><mo id="S4.p2.8.m8.1.1.1" xref="S4.p2.8.m8.1.1.1.cmml">+</mo><mrow id="S4.p2.8.m8.1.1.3" xref="S4.p2.8.m8.1.1.3.cmml"><mi id="S4.p2.8.m8.1.1.3.2" xref="S4.p2.8.m8.1.1.3.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S4.p2.8.m8.1.1.3.1" xref="S4.p2.8.m8.1.1.3.1.cmml">​</mo><mi id="S4.p2.8.m8.1.1.3.3" xref="S4.p2.8.m8.1.1.3.3.cmml">θ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p2.8.m8.1b"><apply id="S4.p2.8.m8.1.1.cmml" xref="S4.p2.8.m8.1.1"><plus id="S4.p2.8.m8.1.1.1.cmml" xref="S4.p2.8.m8.1.1.1"></plus><ci id="S4.p2.8.m8.1.1.2.cmml" xref="S4.p2.8.m8.1.1.2">𝜃</ci><apply id="S4.p2.8.m8.1.1.3.cmml" xref="S4.p2.8.m8.1.1.3"><times id="S4.p2.8.m8.1.1.3.1.cmml" xref="S4.p2.8.m8.1.1.3.1"></times><ci id="S4.p2.8.m8.1.1.3.2.cmml" xref="S4.p2.8.m8.1.1.3.2">𝛿</ci><ci id="S4.p2.8.m8.1.1.3.3.cmml" xref="S4.p2.8.m8.1.1.3.3">𝜃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.8.m8.1c">\theta+\delta\theta</annotation></semantics></math> still locates in this trust region. We can adjust <math id="S4.p2.9.m9.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S4.p2.9.m9.1a"><mi id="S4.p2.9.m9.1.1" xref="S4.p2.9.m9.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S4.p2.9.m9.1b"><ci id="S4.p2.9.m9.1.1.cmml" xref="S4.p2.9.m9.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.9.m9.1c">\mu</annotation></semantics></math> or clip <math id="S4.p2.10.m10.2" class="ltx_Math" alttext="\|P{\partial{\cal{\hat{L}}}(\theta)}/{\partial\theta}\|" display="inline"><semantics id="S4.p2.10.m10.2a"><mrow id="S4.p2.10.m10.2.2.1" xref="S4.p2.10.m10.2.2.2.cmml"><mo stretchy="false" id="S4.p2.10.m10.2.2.1.2" xref="S4.p2.10.m10.2.2.2.1.cmml">‖</mo><mrow id="S4.p2.10.m10.2.2.1.1" xref="S4.p2.10.m10.2.2.1.1.cmml"><mi id="S4.p2.10.m10.2.2.1.1.2" xref="S4.p2.10.m10.2.2.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="S4.p2.10.m10.2.2.1.1.1" xref="S4.p2.10.m10.2.2.1.1.1.cmml">​</mo><mrow id="S4.p2.10.m10.2.2.1.1.3" xref="S4.p2.10.m10.2.2.1.1.3.cmml"><mo rspace="0em" id="S4.p2.10.m10.2.2.1.1.3.1" xref="S4.p2.10.m10.2.2.1.1.3.1.cmml">∂</mo><mrow id="S4.p2.10.m10.2.2.1.1.3.2" xref="S4.p2.10.m10.2.2.1.1.3.2.cmml"><mrow id="S4.p2.10.m10.2.2.1.1.3.2.2" xref="S4.p2.10.m10.2.2.1.1.3.2.2.cmml"><mover accent="true" id="S4.p2.10.m10.2.2.1.1.3.2.2.2" xref="S4.p2.10.m10.2.2.1.1.3.2.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S4.p2.10.m10.2.2.1.1.3.2.2.2.2" xref="S4.p2.10.m10.2.2.1.1.3.2.2.2.2.cmml">ℒ</mi><mo id="S4.p2.10.m10.2.2.1.1.3.2.2.2.1" xref="S4.p2.10.m10.2.2.1.1.3.2.2.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="S4.p2.10.m10.2.2.1.1.3.2.2.1" xref="S4.p2.10.m10.2.2.1.1.3.2.2.1.cmml">​</mo><mrow id="S4.p2.10.m10.2.2.1.1.3.2.2.3.2" xref="S4.p2.10.m10.2.2.1.1.3.2.2.cmml"><mo stretchy="false" id="S4.p2.10.m10.2.2.1.1.3.2.2.3.2.1" xref="S4.p2.10.m10.2.2.1.1.3.2.2.cmml">(</mo><mi id="S4.p2.10.m10.1.1" xref="S4.p2.10.m10.1.1.cmml">θ</mi><mo stretchy="false" id="S4.p2.10.m10.2.2.1.1.3.2.2.3.2.2" xref="S4.p2.10.m10.2.2.1.1.3.2.2.cmml">)</mo></mrow></mrow><mo id="S4.p2.10.m10.2.2.1.1.3.2.1" xref="S4.p2.10.m10.2.2.1.1.3.2.1.cmml">/</mo><mrow id="S4.p2.10.m10.2.2.1.1.3.2.3" xref="S4.p2.10.m10.2.2.1.1.3.2.3.cmml"><mo lspace="0em" rspace="0em" id="S4.p2.10.m10.2.2.1.1.3.2.3.1" xref="S4.p2.10.m10.2.2.1.1.3.2.3.1.cmml">∂</mo><mi id="S4.p2.10.m10.2.2.1.1.3.2.3.2" xref="S4.p2.10.m10.2.2.1.1.3.2.3.2.cmml">θ</mi></mrow></mrow></mrow></mrow><mo stretchy="false" id="S4.p2.10.m10.2.2.1.3" xref="S4.p2.10.m10.2.2.2.1.cmml">‖</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.p2.10.m10.2b"><apply id="S4.p2.10.m10.2.2.2.cmml" xref="S4.p2.10.m10.2.2.1"><csymbol cd="latexml" id="S4.p2.10.m10.2.2.2.1.cmml" xref="S4.p2.10.m10.2.2.1.2">norm</csymbol><apply id="S4.p2.10.m10.2.2.1.1.cmml" xref="S4.p2.10.m10.2.2.1.1"><times id="S4.p2.10.m10.2.2.1.1.1.cmml" xref="S4.p2.10.m10.2.2.1.1.1"></times><ci id="S4.p2.10.m10.2.2.1.1.2.cmml" xref="S4.p2.10.m10.2.2.1.1.2">𝑃</ci><apply id="S4.p2.10.m10.2.2.1.1.3.cmml" xref="S4.p2.10.m10.2.2.1.1.3"><partialdiff id="S4.p2.10.m10.2.2.1.1.3.1.cmml" xref="S4.p2.10.m10.2.2.1.1.3.1"></partialdiff><apply id="S4.p2.10.m10.2.2.1.1.3.2.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2"><divide id="S4.p2.10.m10.2.2.1.1.3.2.1.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.1"></divide><apply id="S4.p2.10.m10.2.2.1.1.3.2.2.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.2"><times id="S4.p2.10.m10.2.2.1.1.3.2.2.1.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.2.1"></times><apply id="S4.p2.10.m10.2.2.1.1.3.2.2.2.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.2.2"><ci id="S4.p2.10.m10.2.2.1.1.3.2.2.2.1.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.2.2.1">^</ci><ci id="S4.p2.10.m10.2.2.1.1.3.2.2.2.2.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.2.2.2">ℒ</ci></apply><ci id="S4.p2.10.m10.1.1.cmml" xref="S4.p2.10.m10.1.1">𝜃</ci></apply><apply id="S4.p2.10.m10.2.2.1.1.3.2.3.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.3"><partialdiff id="S4.p2.10.m10.2.2.1.1.3.2.3.1.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.3.1"></partialdiff><ci id="S4.p2.10.m10.2.2.1.1.3.2.3.2.cmml" xref="S4.p2.10.m10.2.2.1.1.3.2.3.2">𝜃</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.10.m10.2c">\|P{\partial{\cal{\hat{L}}}(\theta)}/{\partial\theta}\|</annotation></semantics></math> to ensure that <math id="S4.p2.11.m11.1" class="ltx_Math" alttext="\|\delta\theta\|" display="inline"><semantics id="S4.p2.11.m11.1a"><mrow id="S4.p2.11.m11.1.1.1" xref="S4.p2.11.m11.1.1.2.cmml"><mo stretchy="false" id="S4.p2.11.m11.1.1.1.2" xref="S4.p2.11.m11.1.1.2.1.cmml">‖</mo><mrow id="S4.p2.11.m11.1.1.1.1" xref="S4.p2.11.m11.1.1.1.1.cmml"><mi id="S4.p2.11.m11.1.1.1.1.2" xref="S4.p2.11.m11.1.1.1.1.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="S4.p2.11.m11.1.1.1.1.1" xref="S4.p2.11.m11.1.1.1.1.1.cmml">​</mo><mi id="S4.p2.11.m11.1.1.1.1.3" xref="S4.p2.11.m11.1.1.1.1.3.cmml">θ</mi></mrow><mo stretchy="false" id="S4.p2.11.m11.1.1.1.3" xref="S4.p2.11.m11.1.1.2.1.cmml">‖</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.p2.11.m11.1b"><apply id="S4.p2.11.m11.1.1.2.cmml" xref="S4.p2.11.m11.1.1.1"><csymbol cd="latexml" id="S4.p2.11.m11.1.1.2.1.cmml" xref="S4.p2.11.m11.1.1.1.2">norm</csymbol><apply id="S4.p2.11.m11.1.1.1.1.cmml" xref="S4.p2.11.m11.1.1.1.1"><times id="S4.p2.11.m11.1.1.1.1.1.cmml" xref="S4.p2.11.m11.1.1.1.1.1"></times><ci id="S4.p2.11.m11.1.1.1.1.2.cmml" xref="S4.p2.11.m11.1.1.1.1.2">𝛿</ci><ci id="S4.p2.11.m11.1.1.1.1.3.cmml" xref="S4.p2.11.m11.1.1.1.1.3">𝜃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p2.11.m11.1c">\|\delta\theta\|</annotation></semantics></math> is small enough.</p>
</div>
<div id="S4.p3" class="ltx_para">
<p id="S4.p3.4" class="ltx_p">Theoretically, one Hessian-vector product evaluation doubles the complexity of one gradient evaluation. In practice, we could update the curvature estimation with probability <math id="S4.p3.1.m1.1" class="ltx_Math" alttext="0.1" display="inline"><semantics id="S4.p3.1.m1.1a"><mn id="S4.p3.1.m1.1.1" xref="S4.p3.1.m1.1.1.cmml">0.1</mn><annotation-xml encoding="MathML-Content" id="S4.p3.1.m1.1b"><cn type="float" id="S4.p3.1.m1.1.1.cmml" xref="S4.p3.1.m1.1.1">0.1</cn></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.1.m1.1c">0.1</annotation></semantics></math>. The cost of updating <math id="S4.p3.2.m2.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S4.p3.2.m2.1a"><mi id="S4.p3.2.m2.1.1" xref="S4.p3.2.m2.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S4.p3.2.m2.1b"><ci id="S4.p3.2.m2.1.1.cmml" xref="S4.p3.2.m2.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.2.m2.1c">P</annotation></semantics></math> is negligible for <math id="S4.p3.3.m3.1" class="ltx_Math" alttext="r\leq 100" display="inline"><semantics id="S4.p3.3.m3.1a"><mrow id="S4.p3.3.m3.1.1" xref="S4.p3.3.m3.1.1.cmml"><mi id="S4.p3.3.m3.1.1.2" xref="S4.p3.3.m3.1.1.2.cmml">r</mi><mo id="S4.p3.3.m3.1.1.1" xref="S4.p3.3.m3.1.1.1.cmml">≤</mo><mn id="S4.p3.3.m3.1.1.3" xref="S4.p3.3.m3.1.1.3.cmml">100</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.p3.3.m3.1b"><apply id="S4.p3.3.m3.1.1.cmml" xref="S4.p3.3.m3.1.1"><leq id="S4.p3.3.m3.1.1.1.cmml" xref="S4.p3.3.m3.1.1.1"></leq><ci id="S4.p3.3.m3.1.1.2.cmml" xref="S4.p3.3.m3.1.1.2">𝑟</ci><cn type="integer" id="S4.p3.3.m3.1.1.3.cmml" xref="S4.p3.3.m3.1.1.3">100</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.3.m3.1c">r\leq 100</annotation></semantics></math> compared with SGD. Then the per iteration complexity of PSGD becomes <math id="S4.p3.4.m4.1" class="ltx_Math" alttext="1+2\times 0.1=1.2" display="inline"><semantics id="S4.p3.4.m4.1a"><mrow id="S4.p3.4.m4.1.1" xref="S4.p3.4.m4.1.1.cmml"><mrow id="S4.p3.4.m4.1.1.2" xref="S4.p3.4.m4.1.1.2.cmml"><mn id="S4.p3.4.m4.1.1.2.2" xref="S4.p3.4.m4.1.1.2.2.cmml">1</mn><mo id="S4.p3.4.m4.1.1.2.1" xref="S4.p3.4.m4.1.1.2.1.cmml">+</mo><mrow id="S4.p3.4.m4.1.1.2.3" xref="S4.p3.4.m4.1.1.2.3.cmml"><mn id="S4.p3.4.m4.1.1.2.3.2" xref="S4.p3.4.m4.1.1.2.3.2.cmml">2</mn><mo lspace="0.222em" rspace="0.222em" id="S4.p3.4.m4.1.1.2.3.1" xref="S4.p3.4.m4.1.1.2.3.1.cmml">×</mo><mn id="S4.p3.4.m4.1.1.2.3.3" xref="S4.p3.4.m4.1.1.2.3.3.cmml">0.1</mn></mrow></mrow><mo id="S4.p3.4.m4.1.1.1" xref="S4.p3.4.m4.1.1.1.cmml">=</mo><mn id="S4.p3.4.m4.1.1.3" xref="S4.p3.4.m4.1.1.3.cmml">1.2</mn></mrow><annotation-xml encoding="MathML-Content" id="S4.p3.4.m4.1b"><apply id="S4.p3.4.m4.1.1.cmml" xref="S4.p3.4.m4.1.1"><eq id="S4.p3.4.m4.1.1.1.cmml" xref="S4.p3.4.m4.1.1.1"></eq><apply id="S4.p3.4.m4.1.1.2.cmml" xref="S4.p3.4.m4.1.1.2"><plus id="S4.p3.4.m4.1.1.2.1.cmml" xref="S4.p3.4.m4.1.1.2.1"></plus><cn type="integer" id="S4.p3.4.m4.1.1.2.2.cmml" xref="S4.p3.4.m4.1.1.2.2">1</cn><apply id="S4.p3.4.m4.1.1.2.3.cmml" xref="S4.p3.4.m4.1.1.2.3"><times id="S4.p3.4.m4.1.1.2.3.1.cmml" xref="S4.p3.4.m4.1.1.2.3.1"></times><cn type="integer" id="S4.p3.4.m4.1.1.2.3.2.cmml" xref="S4.p3.4.m4.1.1.2.3.2">2</cn><cn type="float" id="S4.p3.4.m4.1.1.2.3.3.cmml" xref="S4.p3.4.m4.1.1.2.3.3">0.1</cn></apply></apply><cn type="float" id="S4.p3.4.m4.1.1.3.cmml" xref="S4.p3.4.m4.1.1.3">1.2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.4.m4.1c">1+2\times 0.1=1.2</annotation></semantics></math> times of that of SGD, as shown empirically in <a href="#A11.T15" title="Table 15 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a> &amp; <a href="#A11.F9" title="Figure 9 ‣ Wall-Clock Timings ‣ K.4 Toy Example: Investigating the Flatness of SAM based solution ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">9</span></a>. For time &amp; space complexity analysis see App. Tables <a href="#A6.T5" title="Table 5 ‣ Appendix F Space and Time Complexity ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a> &amp; <a href="#A6.T6" title="Table 6 ‣ Appendix F Space and Time Complexity ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>. Lastly, we use a learning rate of 0.01 but find PSGD is quite robust to learning rate and weight decay, see App <a href="#A11.SS5.SSSx1" title="PSGD is robust to hyper-parameters ‣ K.5 CIFAR10 Image Classification with ResNet18 ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.5</span></a>.</p>
</div>
<div id="S4.p4" class="ltx_para">
<p id="S4.p4.3" class="ltx_p">For the LRA preconditioner, the gradients on the Lie groups are given by <math id="S4.p4.1.m1.1" class="ltx_Math" alttext="0.5\nabla_{B}={\rm diag}[(Ph)h^{T}-v(P^{-1}v)^{T}]" display="inline"><semantics id="S4.p4.1.m1.1a"><mrow id="S4.p4.1.m1.1.1" xref="S4.p4.1.m1.1.1.cmml"><mrow id="S4.p4.1.m1.1.1.3" xref="S4.p4.1.m1.1.1.3.cmml"><mn id="S4.p4.1.m1.1.1.3.2" xref="S4.p4.1.m1.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="S4.p4.1.m1.1.1.3.1" xref="S4.p4.1.m1.1.1.3.1.cmml">​</mo><msub id="S4.p4.1.m1.1.1.3.3" xref="S4.p4.1.m1.1.1.3.3.cmml"><mo id="S4.p4.1.m1.1.1.3.3.2" xref="S4.p4.1.m1.1.1.3.3.2.cmml">∇</mo><mi id="S4.p4.1.m1.1.1.3.3.3" xref="S4.p4.1.m1.1.1.3.3.3.cmml">B</mi></msub></mrow><mo id="S4.p4.1.m1.1.1.2" xref="S4.p4.1.m1.1.1.2.cmml">=</mo><mrow id="S4.p4.1.m1.1.1.1" xref="S4.p4.1.m1.1.1.1.cmml"><mi id="S4.p4.1.m1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.2.cmml">​</mo><mrow id="S4.p4.1.m1.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.1.2.1.cmml">[</mo><mrow id="S4.p4.1.m1.1.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.cmml"><mrow id="S4.p4.1.m1.1.1.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.1.cmml"><mrow id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.1.1.1.1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.1.1.1.1.2.cmml">​</mo><msup id="S4.p4.1.m1.1.1.1.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.p4.1.m1.1.1.1.1.1.1.1.3.2" xref="S4.p4.1.m1.1.1.1.1.1.1.1.3.2.cmml">h</mi><mi id="S4.p4.1.m1.1.1.1.1.1.1.1.3.3" xref="S4.p4.1.m1.1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo id="S4.p4.1.m1.1.1.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.1.1.3.cmml">−</mo><mrow id="S4.p4.1.m1.1.1.1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.1.1.1.2.cmml"><mi id="S4.p4.1.m1.1.1.1.1.1.1.2.3" xref="S4.p4.1.m1.1.1.1.1.1.1.2.3.cmml">v</mi><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.1.1.1.1.1.1.2.2" xref="S4.p4.1.m1.1.1.1.1.1.1.2.2.cmml">​</mo><msup id="S4.p4.1.m1.1.1.1.1.1.1.2.1" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.cmml"><mrow id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.2" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">(</mo><mrow id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.cmml"><msup id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.cmml"><mi id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.2" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml">P</mi><mrow id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml"><mo id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3a" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml">−</mo><mn id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.1.cmml">​</mo><mi id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">)</mo></mrow><mi id="S4.p4.1.m1.1.1.1.1.1.1.2.1.3" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.1.m1.1b"><apply id="S4.p4.1.m1.1.1.cmml" xref="S4.p4.1.m1.1.1"><eq id="S4.p4.1.m1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.2"></eq><apply id="S4.p4.1.m1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.3"><times id="S4.p4.1.m1.1.1.3.1.cmml" xref="S4.p4.1.m1.1.1.3.1"></times><cn type="float" id="S4.p4.1.m1.1.1.3.2.cmml" xref="S4.p4.1.m1.1.1.3.2">0.5</cn><apply id="S4.p4.1.m1.1.1.3.3.cmml" xref="S4.p4.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="S4.p4.1.m1.1.1.3.3.1.cmml" xref="S4.p4.1.m1.1.1.3.3">subscript</csymbol><ci id="S4.p4.1.m1.1.1.3.3.2.cmml" xref="S4.p4.1.m1.1.1.3.3.2">∇</ci><ci id="S4.p4.1.m1.1.1.3.3.3.cmml" xref="S4.p4.1.m1.1.1.3.3.3">𝐵</ci></apply></apply><apply id="S4.p4.1.m1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1"><times id="S4.p4.1.m1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.2"></times><ci id="S4.p4.1.m1.1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.1.3">diag</ci><apply id="S4.p4.1.m1.1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1"><csymbol cd="latexml" id="S4.p4.1.m1.1.1.1.1.2.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S4.p4.1.m1.1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1"><minus id="S4.p4.1.m1.1.1.1.1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.3"></minus><apply id="S4.p4.1.m1.1.1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1"><times id="S4.p4.1.m1.1.1.1.1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.2"></times><apply id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1"><times id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="S4.p4.1.m1.1.1.1.1.1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p4.1.m1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="S4.p4.1.m1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.3.2">ℎ</ci><ci id="S4.p4.1.m1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply><apply id="S4.p4.1.m1.1.1.1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2"><times id="S4.p4.1.m1.1.1.1.1.1.1.2.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.2"></times><ci id="S4.p4.1.m1.1.1.1.1.1.1.2.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.3">𝑣</ci><apply id="S4.p4.1.m1.1.1.1.1.1.1.2.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="S4.p4.1.m1.1.1.1.1.1.1.2.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1">superscript</csymbol><apply id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1"><times id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.1"></times><apply id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2">superscript</csymbol><ci id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.2">𝑃</ci><apply id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3"><minus id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3"></minus><cn type="integer" id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2">1</cn></apply></apply><ci id="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.1.1.1.3">𝑣</ci></apply><ci id="S4.p4.1.m1.1.1.1.1.1.1.2.1.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.1.2.1.3">𝑇</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.1.m1.1c">0.5\nabla_{B}={\rm diag}[(Ph)h^{T}-v(P^{-1}v)^{T}]</annotation></semantics></math>, <math id="S4.p4.2.m2.1" class="ltx_Math" alttext="0.5\nabla_{U}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]V" display="inline"><semantics id="S4.p4.2.m2.1a"><mrow id="S4.p4.2.m2.1.1" xref="S4.p4.2.m2.1.1.cmml"><mrow id="S4.p4.2.m2.1.1.3" xref="S4.p4.2.m2.1.1.3.cmml"><mn id="S4.p4.2.m2.1.1.3.2" xref="S4.p4.2.m2.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="S4.p4.2.m2.1.1.3.1" xref="S4.p4.2.m2.1.1.3.1.cmml">​</mo><msub id="S4.p4.2.m2.1.1.3.3" xref="S4.p4.2.m2.1.1.3.3.cmml"><mo id="S4.p4.2.m2.1.1.3.3.2" xref="S4.p4.2.m2.1.1.3.3.2.cmml">∇</mo><mi id="S4.p4.2.m2.1.1.3.3.3" xref="S4.p4.2.m2.1.1.3.3.3.cmml">U</mi></msub></mrow><mo id="S4.p4.2.m2.1.1.2" xref="S4.p4.2.m2.1.1.2.cmml">=</mo><mrow id="S4.p4.2.m2.1.1.1" xref="S4.p4.2.m2.1.1.1.cmml"><mrow id="S4.p4.2.m2.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.2.1.cmml">[</mo><mrow id="S4.p4.2.m2.1.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.cmml"><mrow id="S4.p4.2.m2.1.1.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.2.cmml"><mrow id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.1.1.1.1.2.3" xref="S4.p4.2.m2.1.1.1.1.1.1.2.3.cmml">​</mo><msup id="S4.p4.2.m2.1.1.1.1.1.1.2.2" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.cmml"><mrow id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.cmml">(</mo><mrow id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.cmml"><mi id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.1.cmml">​</mo><mi id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.cmml">)</mo></mrow><mi id="S4.p4.2.m2.1.1.1.1.1.1.2.2.3" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.3.cmml">T</mi></msup></mrow><mo id="S4.p4.2.m2.1.1.1.1.1.1.5" xref="S4.p4.2.m2.1.1.1.1.1.1.5.cmml">−</mo><mrow id="S4.p4.2.m2.1.1.1.1.1.1.4" xref="S4.p4.2.m2.1.1.1.1.1.1.4.cmml"><mrow id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.cmml"><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.cmml"><msup id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.cmml"><mi id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.2" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.2.cmml">Q</mi><mrow id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.cmml"><mo id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3a" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.cmml">−</mo><mi id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.2" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.1.cmml">​</mo><mi id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.1.1.1.1.4.3" xref="S4.p4.2.m2.1.1.1.1.1.1.4.3.cmml">​</mo><msup id="S4.p4.2.m2.1.1.1.1.1.1.4.2" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.cmml"><mrow id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.cmml"><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.cmml">(</mo><mrow id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.cmml"><msup id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.cmml"><mi id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.2" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml"><mo id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3a" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml">−</mo><mi id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.2" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.1.cmml">​</mo><mi id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.cmml">)</mo></mrow><mi id="S4.p4.2.m2.1.1.1.1.1.1.4.2.3" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="S4.p4.2.m2.1.1.1.2" xref="S4.p4.2.m2.1.1.1.2.cmml">​</mo><mi id="S4.p4.2.m2.1.1.1.3" xref="S4.p4.2.m2.1.1.1.3.cmml">V</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.2.m2.1b"><apply id="S4.p4.2.m2.1.1.cmml" xref="S4.p4.2.m2.1.1"><eq id="S4.p4.2.m2.1.1.2.cmml" xref="S4.p4.2.m2.1.1.2"></eq><apply id="S4.p4.2.m2.1.1.3.cmml" xref="S4.p4.2.m2.1.1.3"><times id="S4.p4.2.m2.1.1.3.1.cmml" xref="S4.p4.2.m2.1.1.3.1"></times><cn type="float" id="S4.p4.2.m2.1.1.3.2.cmml" xref="S4.p4.2.m2.1.1.3.2">0.5</cn><apply id="S4.p4.2.m2.1.1.3.3.cmml" xref="S4.p4.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.3.3.1.cmml" xref="S4.p4.2.m2.1.1.3.3">subscript</csymbol><ci id="S4.p4.2.m2.1.1.3.3.2.cmml" xref="S4.p4.2.m2.1.1.3.3.2">∇</ci><ci id="S4.p4.2.m2.1.1.3.3.3.cmml" xref="S4.p4.2.m2.1.1.3.3.3">𝑈</ci></apply></apply><apply id="S4.p4.2.m2.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1"><times id="S4.p4.2.m2.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.2"></times><apply id="S4.p4.2.m2.1.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1"><csymbol cd="latexml" id="S4.p4.2.m2.1.1.1.1.2.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S4.p4.2.m2.1.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1"><minus id="S4.p4.2.m2.1.1.1.1.1.1.5.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.5"></minus><apply id="S4.p4.2.m2.1.1.1.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2"><times id="S4.p4.2.m2.1.1.1.1.1.1.2.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.3"></times><apply id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1"><times id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="S4.p4.2.m2.1.1.1.1.1.1.2.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.1.1.1.1.2.2.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2">superscript</csymbol><apply id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1"><times id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.1"></times><ci id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.2">𝑄</ci><ci id="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.1.1.1.3">ℎ</ci></apply><ci id="S4.p4.2.m2.1.1.1.1.1.1.2.2.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2.2.3">𝑇</ci></apply></apply><apply id="S4.p4.2.m2.1.1.1.1.1.1.4.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4"><times id="S4.p4.2.m2.1.1.1.1.1.1.4.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.3"></times><apply id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1"><times id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.1"></times><apply id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2">superscript</csymbol><ci id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.2">𝑄</ci><apply id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3"><minus id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3"></minus><ci id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.1.1.1.3">𝑣</ci></apply><apply id="S4.p4.2.m2.1.1.1.1.1.1.4.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.1.1.1.1.4.2.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2">superscript</csymbol><apply id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1"><times id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.1"></times><apply id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2">superscript</csymbol><ci id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.2">𝑄</ci><apply id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3"><minus id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3"></minus><ci id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.1.1.1.3">𝑣</ci></apply><ci id="S4.p4.2.m2.1.1.1.1.1.1.4.2.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.4.2.3">𝑇</ci></apply></apply></apply></apply><ci id="S4.p4.2.m2.1.1.1.3.cmml" xref="S4.p4.2.m2.1.1.1.3">𝑉</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.2.m2.1c">0.5\nabla_{U}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]V</annotation></semantics></math> &amp; <math id="S4.p4.3.m3.1" class="ltx_Math" alttext="0.5\nabla_{V}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]U" display="inline"><semantics id="S4.p4.3.m3.1a"><mrow id="S4.p4.3.m3.1.1" xref="S4.p4.3.m3.1.1.cmml"><mrow id="S4.p4.3.m3.1.1.3" xref="S4.p4.3.m3.1.1.3.cmml"><mn id="S4.p4.3.m3.1.1.3.2" xref="S4.p4.3.m3.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="S4.p4.3.m3.1.1.3.1" xref="S4.p4.3.m3.1.1.3.1.cmml">​</mo><msub id="S4.p4.3.m3.1.1.3.3" xref="S4.p4.3.m3.1.1.3.3.cmml"><mo id="S4.p4.3.m3.1.1.3.3.2" xref="S4.p4.3.m3.1.1.3.3.2.cmml">∇</mo><mi id="S4.p4.3.m3.1.1.3.3.3" xref="S4.p4.3.m3.1.1.3.3.3.cmml">V</mi></msub></mrow><mo id="S4.p4.3.m3.1.1.2" xref="S4.p4.3.m3.1.1.2.cmml">=</mo><mrow id="S4.p4.3.m3.1.1.1" xref="S4.p4.3.m3.1.1.1.cmml"><mrow id="S4.p4.3.m3.1.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.2.1.cmml">[</mo><mrow id="S4.p4.3.m3.1.1.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.cmml"><mrow id="S4.p4.3.m3.1.1.1.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.2.cmml"><mrow id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.1.1.1.1.1.1.2.3" xref="S4.p4.3.m3.1.1.1.1.1.1.2.3.cmml">​</mo><msup id="S4.p4.3.m3.1.1.1.1.1.1.2.2" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.cmml"><mrow id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.cmml">(</mo><mrow id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.cmml"><mi id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.1.cmml">​</mo><mi id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.cmml">)</mo></mrow><mi id="S4.p4.3.m3.1.1.1.1.1.1.2.2.3" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.3.cmml">T</mi></msup></mrow><mo id="S4.p4.3.m3.1.1.1.1.1.1.5" xref="S4.p4.3.m3.1.1.1.1.1.1.5.cmml">−</mo><mrow id="S4.p4.3.m3.1.1.1.1.1.1.4" xref="S4.p4.3.m3.1.1.1.1.1.1.4.cmml"><mrow id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.cmml"><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.cmml"><msup id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.cmml"><mi id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.2" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.2.cmml">Q</mi><mrow id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.cmml"><mo id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3a" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.cmml">−</mo><mi id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.2" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.1.cmml">​</mo><mi id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.1.1.1.1.1.1.4.3" xref="S4.p4.3.m3.1.1.1.1.1.1.4.3.cmml">​</mo><msup id="S4.p4.3.m3.1.1.1.1.1.1.4.2" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.cmml"><mrow id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.cmml"><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.cmml">(</mo><mrow id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.cmml"><msup id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.cmml"><mi id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.2" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml"><mo id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3a" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml">−</mo><mi id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.2" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.1" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.1.cmml">​</mo><mi id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.3" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.cmml">)</mo></mrow><mi id="S4.p4.3.m3.1.1.1.1.1.1.4.2.3" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="S4.p4.3.m3.1.1.1.1.1.3" xref="S4.p4.3.m3.1.1.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="S4.p4.3.m3.1.1.1.2" xref="S4.p4.3.m3.1.1.1.2.cmml">​</mo><mi id="S4.p4.3.m3.1.1.1.3" xref="S4.p4.3.m3.1.1.1.3.cmml">U</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p4.3.m3.1b"><apply id="S4.p4.3.m3.1.1.cmml" xref="S4.p4.3.m3.1.1"><eq id="S4.p4.3.m3.1.1.2.cmml" xref="S4.p4.3.m3.1.1.2"></eq><apply id="S4.p4.3.m3.1.1.3.cmml" xref="S4.p4.3.m3.1.1.3"><times id="S4.p4.3.m3.1.1.3.1.cmml" xref="S4.p4.3.m3.1.1.3.1"></times><cn type="float" id="S4.p4.3.m3.1.1.3.2.cmml" xref="S4.p4.3.m3.1.1.3.2">0.5</cn><apply id="S4.p4.3.m3.1.1.3.3.cmml" xref="S4.p4.3.m3.1.1.3.3"><csymbol cd="ambiguous" id="S4.p4.3.m3.1.1.3.3.1.cmml" xref="S4.p4.3.m3.1.1.3.3">subscript</csymbol><ci id="S4.p4.3.m3.1.1.3.3.2.cmml" xref="S4.p4.3.m3.1.1.3.3.2">∇</ci><ci id="S4.p4.3.m3.1.1.3.3.3.cmml" xref="S4.p4.3.m3.1.1.3.3.3">𝑉</ci></apply></apply><apply id="S4.p4.3.m3.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1"><times id="S4.p4.3.m3.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.2"></times><apply id="S4.p4.3.m3.1.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1"><csymbol cd="latexml" id="S4.p4.3.m3.1.1.1.1.2.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S4.p4.3.m3.1.1.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1"><minus id="S4.p4.3.m3.1.1.1.1.1.1.5.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.5"></minus><apply id="S4.p4.3.m3.1.1.1.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2"><times id="S4.p4.3.m3.1.1.1.1.1.1.2.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.3"></times><apply id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1"><times id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="S4.p4.3.m3.1.1.1.1.1.1.2.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S4.p4.3.m3.1.1.1.1.1.1.2.2.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2">superscript</csymbol><apply id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1"><times id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.1"></times><ci id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.2">𝑄</ci><ci id="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.1.1.1.3">ℎ</ci></apply><ci id="S4.p4.3.m3.1.1.1.1.1.1.2.2.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.2.2.3">𝑇</ci></apply></apply><apply id="S4.p4.3.m3.1.1.1.1.1.1.4.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4"><times id="S4.p4.3.m3.1.1.1.1.1.1.4.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.3"></times><apply id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1"><times id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.1"></times><apply id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2">superscript</csymbol><ci id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.2">𝑄</ci><apply id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3"><minus id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3"></minus><ci id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.3.1.1.1.3">𝑣</ci></apply><apply id="S4.p4.3.m3.1.1.1.1.1.1.4.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="S4.p4.3.m3.1.1.1.1.1.1.4.2.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2">superscript</csymbol><apply id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1"><times id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.1"></times><apply id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2"><csymbol cd="ambiguous" id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2">superscript</csymbol><ci id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.2">𝑄</ci><apply id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3"><minus id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.1.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3"></minus><ci id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.1.1.1.3">𝑣</ci></apply><ci id="S4.p4.3.m3.1.1.1.1.1.1.4.2.3.cmml" xref="S4.p4.3.m3.1.1.1.1.1.1.4.2.3">𝑇</ci></apply></apply></apply></apply><ci id="S4.p4.3.m3.1.1.1.3.cmml" xref="S4.p4.3.m3.1.1.1.3">𝑈</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.3.m3.1c">0.5\nabla_{V}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]U</annotation></semantics></math>, respectively. Interested readers can refer to the App for details. To put these together, we summarize the proposed PSGD methods into Algorithms <a href="#alg1" title="Algorithm 1 ‣ 4 Practical Considerations ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> <a href="#alg2" title="Algorithm 2 ‣ 4 Practical Considerations ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>,<a href="#alg4" title="Algorithm 4 ‣ Appendix E Algorithm ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">4</span></a> and App <a href="#A5" title="Appendix E Algorithm ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">E</span></a>.</p>
</div>
<figure id="alg1" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg1.17.1.1" class="ltx_text ltx_font_bold">Algorithm 1</span> </span> PSGD Optimizer</figcaption>
<p id="alg1.15" class="ltx_p"><span id="alg1.15.1" class="ltx_text ltx_font_bold">Initialize:</span> <math id="alg1.1.m1.1" class="ltx_Math" alttext="\theta_{0}" display="inline"><semantics id="alg1.1.m1.1a"><msub id="alg1.1.m1.1.1" xref="alg1.1.m1.1.1.cmml"><mi id="alg1.1.m1.1.1.2" xref="alg1.1.m1.1.1.2.cmml">θ</mi><mn id="alg1.1.m1.1.1.3" xref="alg1.1.m1.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="alg1.1.m1.1b"><apply id="alg1.1.m1.1.1.cmml" xref="alg1.1.m1.1.1"><csymbol cd="ambiguous" id="alg1.1.m1.1.1.1.cmml" xref="alg1.1.m1.1.1">subscript</csymbol><ci id="alg1.1.m1.1.1.2.cmml" xref="alg1.1.m1.1.1.2">𝜃</ci><cn type="integer" id="alg1.1.m1.1.1.3.cmml" xref="alg1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.1.m1.1c">\theta_{0}</annotation></semantics></math>, <math id="alg1.2.m2.1" class="ltx_Math" alttext="t\leftarrow 0" display="inline"><semantics id="alg1.2.m2.1a"><mrow id="alg1.2.m2.1.1" xref="alg1.2.m2.1.1.cmml"><mi id="alg1.2.m2.1.1.2" xref="alg1.2.m2.1.1.2.cmml">t</mi><mo stretchy="false" id="alg1.2.m2.1.1.1" xref="alg1.2.m2.1.1.1.cmml">←</mo><mn id="alg1.2.m2.1.1.3" xref="alg1.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="alg1.2.m2.1b"><apply id="alg1.2.m2.1.1.cmml" xref="alg1.2.m2.1.1"><ci id="alg1.2.m2.1.1.1.cmml" xref="alg1.2.m2.1.1.1">←</ci><ci id="alg1.2.m2.1.1.2.cmml" xref="alg1.2.m2.1.1.2">𝑡</ci><cn type="integer" id="alg1.2.m2.1.1.3.cmml" xref="alg1.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.2.m2.1c">t\leftarrow 0</annotation></semantics></math>, <math id="alg1.3.m3.1" class="ltx_Math" alttext="Q_{0}\propto I" display="inline"><semantics id="alg1.3.m3.1a"><mrow id="alg1.3.m3.1.1" xref="alg1.3.m3.1.1.cmml"><msub id="alg1.3.m3.1.1.2" xref="alg1.3.m3.1.1.2.cmml"><mi id="alg1.3.m3.1.1.2.2" xref="alg1.3.m3.1.1.2.2.cmml">Q</mi><mn id="alg1.3.m3.1.1.2.3" xref="alg1.3.m3.1.1.2.3.cmml">0</mn></msub><mo id="alg1.3.m3.1.1.1" xref="alg1.3.m3.1.1.1.cmml">∝</mo><mi id="alg1.3.m3.1.1.3" xref="alg1.3.m3.1.1.3.cmml">I</mi></mrow><annotation-xml encoding="MathML-Content" id="alg1.3.m3.1b"><apply id="alg1.3.m3.1.1.cmml" xref="alg1.3.m3.1.1"><csymbol cd="latexml" id="alg1.3.m3.1.1.1.cmml" xref="alg1.3.m3.1.1.1">proportional-to</csymbol><apply id="alg1.3.m3.1.1.2.cmml" xref="alg1.3.m3.1.1.2"><csymbol cd="ambiguous" id="alg1.3.m3.1.1.2.1.cmml" xref="alg1.3.m3.1.1.2">subscript</csymbol><ci id="alg1.3.m3.1.1.2.2.cmml" xref="alg1.3.m3.1.1.2.2">𝑄</ci><cn type="integer" id="alg1.3.m3.1.1.2.3.cmml" xref="alg1.3.m3.1.1.2.3">0</cn></apply><ci id="alg1.3.m3.1.1.3.cmml" xref="alg1.3.m3.1.1.3">𝐼</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.3.m3.1c">Q_{0}\propto I</annotation></semantics></math> 
<br class="ltx_break"><span id="alg1.15.2" class="ltx_text ltx_font_bold">While</span> <math id="alg1.4.m4.1" class="ltx_Math" alttext="\theta_{t}" display="inline"><semantics id="alg1.4.m4.1a"><msub id="alg1.4.m4.1.1" xref="alg1.4.m4.1.1.cmml"><mi id="alg1.4.m4.1.1.2" xref="alg1.4.m4.1.1.2.cmml">θ</mi><mi id="alg1.4.m4.1.1.3" xref="alg1.4.m4.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="alg1.4.m4.1b"><apply id="alg1.4.m4.1.1.cmml" xref="alg1.4.m4.1.1"><csymbol cd="ambiguous" id="alg1.4.m4.1.1.1.cmml" xref="alg1.4.m4.1.1">subscript</csymbol><ci id="alg1.4.m4.1.1.2.cmml" xref="alg1.4.m4.1.1.2">𝜃</ci><ci id="alg1.4.m4.1.1.3.cmml" xref="alg1.4.m4.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.4.m4.1c">\theta_{t}</annotation></semantics></math> not converged <span id="alg1.15.3" class="ltx_text ltx_font_bold">do</span> 
<br class="ltx_break">
     <math id="alg1.5.m5.1" class="ltx_Math" alttext="t\leftarrow t+1" display="inline"><semantics id="alg1.5.m5.1a"><mrow id="alg1.5.m5.1.1" xref="alg1.5.m5.1.1.cmml"><mi id="alg1.5.m5.1.1.2" xref="alg1.5.m5.1.1.2.cmml">t</mi><mo stretchy="false" id="alg1.5.m5.1.1.1" xref="alg1.5.m5.1.1.1.cmml">←</mo><mrow id="alg1.5.m5.1.1.3" xref="alg1.5.m5.1.1.3.cmml"><mi id="alg1.5.m5.1.1.3.2" xref="alg1.5.m5.1.1.3.2.cmml">t</mi><mo id="alg1.5.m5.1.1.3.1" xref="alg1.5.m5.1.1.3.1.cmml">+</mo><mn id="alg1.5.m5.1.1.3.3" xref="alg1.5.m5.1.1.3.3.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.5.m5.1b"><apply id="alg1.5.m5.1.1.cmml" xref="alg1.5.m5.1.1"><ci id="alg1.5.m5.1.1.1.cmml" xref="alg1.5.m5.1.1.1">←</ci><ci id="alg1.5.m5.1.1.2.cmml" xref="alg1.5.m5.1.1.2">𝑡</ci><apply id="alg1.5.m5.1.1.3.cmml" xref="alg1.5.m5.1.1.3"><plus id="alg1.5.m5.1.1.3.1.cmml" xref="alg1.5.m5.1.1.3.1"></plus><ci id="alg1.5.m5.1.1.3.2.cmml" xref="alg1.5.m5.1.1.3.2">𝑡</ci><cn type="integer" id="alg1.5.m5.1.1.3.3.cmml" xref="alg1.5.m5.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.5.m5.1c">t\leftarrow t+1</annotation></semantics></math> 
<br class="ltx_break">
     <math id="alg1.6.m6.1" class="ltx_Math" alttext="g_{t}\leftarrow\nabla_{\theta}f_{t}(\theta_{t-1})" display="inline"><semantics id="alg1.6.m6.1a"><mrow id="alg1.6.m6.1.1" xref="alg1.6.m6.1.1.cmml"><msub id="alg1.6.m6.1.1.3" xref="alg1.6.m6.1.1.3.cmml"><mi id="alg1.6.m6.1.1.3.2" xref="alg1.6.m6.1.1.3.2.cmml">g</mi><mi id="alg1.6.m6.1.1.3.3" xref="alg1.6.m6.1.1.3.3.cmml">t</mi></msub><mo stretchy="false" id="alg1.6.m6.1.1.2" xref="alg1.6.m6.1.1.2.cmml">←</mo><mrow id="alg1.6.m6.1.1.1" xref="alg1.6.m6.1.1.1.cmml"><mrow id="alg1.6.m6.1.1.1.3" xref="alg1.6.m6.1.1.1.3.cmml"><msub id="alg1.6.m6.1.1.1.3.1" xref="alg1.6.m6.1.1.1.3.1.cmml"><mo rspace="0.167em" id="alg1.6.m6.1.1.1.3.1.2" xref="alg1.6.m6.1.1.1.3.1.2.cmml">∇</mo><mi id="alg1.6.m6.1.1.1.3.1.3" xref="alg1.6.m6.1.1.1.3.1.3.cmml">θ</mi></msub><msub id="alg1.6.m6.1.1.1.3.2" xref="alg1.6.m6.1.1.1.3.2.cmml"><mi id="alg1.6.m6.1.1.1.3.2.2" xref="alg1.6.m6.1.1.1.3.2.2.cmml">f</mi><mi id="alg1.6.m6.1.1.1.3.2.3" xref="alg1.6.m6.1.1.1.3.2.3.cmml">t</mi></msub></mrow><mo lspace="0em" rspace="0em" id="alg1.6.m6.1.1.1.2" xref="alg1.6.m6.1.1.1.2.cmml">​</mo><mrow id="alg1.6.m6.1.1.1.1.1" xref="alg1.6.m6.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg1.6.m6.1.1.1.1.1.2" xref="alg1.6.m6.1.1.1.1.1.1.cmml">(</mo><msub id="alg1.6.m6.1.1.1.1.1.1" xref="alg1.6.m6.1.1.1.1.1.1.cmml"><mi id="alg1.6.m6.1.1.1.1.1.1.2" xref="alg1.6.m6.1.1.1.1.1.1.2.cmml">θ</mi><mrow id="alg1.6.m6.1.1.1.1.1.1.3" xref="alg1.6.m6.1.1.1.1.1.1.3.cmml"><mi id="alg1.6.m6.1.1.1.1.1.1.3.2" xref="alg1.6.m6.1.1.1.1.1.1.3.2.cmml">t</mi><mo id="alg1.6.m6.1.1.1.1.1.1.3.1" xref="alg1.6.m6.1.1.1.1.1.1.3.1.cmml">−</mo><mn id="alg1.6.m6.1.1.1.1.1.1.3.3" xref="alg1.6.m6.1.1.1.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="alg1.6.m6.1.1.1.1.1.3" xref="alg1.6.m6.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.6.m6.1b"><apply id="alg1.6.m6.1.1.cmml" xref="alg1.6.m6.1.1"><ci id="alg1.6.m6.1.1.2.cmml" xref="alg1.6.m6.1.1.2">←</ci><apply id="alg1.6.m6.1.1.3.cmml" xref="alg1.6.m6.1.1.3"><csymbol cd="ambiguous" id="alg1.6.m6.1.1.3.1.cmml" xref="alg1.6.m6.1.1.3">subscript</csymbol><ci id="alg1.6.m6.1.1.3.2.cmml" xref="alg1.6.m6.1.1.3.2">𝑔</ci><ci id="alg1.6.m6.1.1.3.3.cmml" xref="alg1.6.m6.1.1.3.3">𝑡</ci></apply><apply id="alg1.6.m6.1.1.1.cmml" xref="alg1.6.m6.1.1.1"><times id="alg1.6.m6.1.1.1.2.cmml" xref="alg1.6.m6.1.1.1.2"></times><apply id="alg1.6.m6.1.1.1.3.cmml" xref="alg1.6.m6.1.1.1.3"><apply id="alg1.6.m6.1.1.1.3.1.cmml" xref="alg1.6.m6.1.1.1.3.1"><csymbol cd="ambiguous" id="alg1.6.m6.1.1.1.3.1.1.cmml" xref="alg1.6.m6.1.1.1.3.1">subscript</csymbol><ci id="alg1.6.m6.1.1.1.3.1.2.cmml" xref="alg1.6.m6.1.1.1.3.1.2">∇</ci><ci id="alg1.6.m6.1.1.1.3.1.3.cmml" xref="alg1.6.m6.1.1.1.3.1.3">𝜃</ci></apply><apply id="alg1.6.m6.1.1.1.3.2.cmml" xref="alg1.6.m6.1.1.1.3.2"><csymbol cd="ambiguous" id="alg1.6.m6.1.1.1.3.2.1.cmml" xref="alg1.6.m6.1.1.1.3.2">subscript</csymbol><ci id="alg1.6.m6.1.1.1.3.2.2.cmml" xref="alg1.6.m6.1.1.1.3.2.2">𝑓</ci><ci id="alg1.6.m6.1.1.1.3.2.3.cmml" xref="alg1.6.m6.1.1.1.3.2.3">𝑡</ci></apply></apply><apply id="alg1.6.m6.1.1.1.1.1.1.cmml" xref="alg1.6.m6.1.1.1.1.1"><csymbol cd="ambiguous" id="alg1.6.m6.1.1.1.1.1.1.1.cmml" xref="alg1.6.m6.1.1.1.1.1">subscript</csymbol><ci id="alg1.6.m6.1.1.1.1.1.1.2.cmml" xref="alg1.6.m6.1.1.1.1.1.1.2">𝜃</ci><apply id="alg1.6.m6.1.1.1.1.1.1.3.cmml" xref="alg1.6.m6.1.1.1.1.1.1.3"><minus id="alg1.6.m6.1.1.1.1.1.1.3.1.cmml" xref="alg1.6.m6.1.1.1.1.1.1.3.1"></minus><ci id="alg1.6.m6.1.1.1.1.1.1.3.2.cmml" xref="alg1.6.m6.1.1.1.1.1.1.3.2">𝑡</ci><cn type="integer" id="alg1.6.m6.1.1.1.1.1.1.3.3.cmml" xref="alg1.6.m6.1.1.1.1.1.1.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.6.m6.1c">g_{t}\leftarrow\nabla_{\theta}f_{t}(\theta_{t-1})</annotation></semantics></math> 
<br class="ltx_break">
     <span id="alg1.15.4" class="ltx_text ltx_font_bold">If</span> <math id="alg1.7.m7.1" class="ltx_Math" alttext="u&lt;p" display="inline"><semantics id="alg1.7.m7.1a"><mrow id="alg1.7.m7.1.1" xref="alg1.7.m7.1.1.cmml"><mi id="alg1.7.m7.1.1.2" xref="alg1.7.m7.1.1.2.cmml">u</mi><mo id="alg1.7.m7.1.1.1" xref="alg1.7.m7.1.1.1.cmml">&lt;</mo><mi id="alg1.7.m7.1.1.3" xref="alg1.7.m7.1.1.3.cmml">p</mi></mrow><annotation-xml encoding="MathML-Content" id="alg1.7.m7.1b"><apply id="alg1.7.m7.1.1.cmml" xref="alg1.7.m7.1.1"><lt id="alg1.7.m7.1.1.1.cmml" xref="alg1.7.m7.1.1.1"></lt><ci id="alg1.7.m7.1.1.2.cmml" xref="alg1.7.m7.1.1.2">𝑢</ci><ci id="alg1.7.m7.1.1.3.cmml" xref="alg1.7.m7.1.1.3">𝑝</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.7.m7.1c">u&lt;p</annotation></semantics></math> with <math id="alg1.8.m8.2" class="ltx_Math" alttext="u\sim\mathcal{U}(0,1)" display="inline"><semantics id="alg1.8.m8.2a"><mrow id="alg1.8.m8.2.3" xref="alg1.8.m8.2.3.cmml"><mi id="alg1.8.m8.2.3.2" xref="alg1.8.m8.2.3.2.cmml">u</mi><mo id="alg1.8.m8.2.3.1" xref="alg1.8.m8.2.3.1.cmml">∼</mo><mrow id="alg1.8.m8.2.3.3" xref="alg1.8.m8.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg1.8.m8.2.3.3.2" xref="alg1.8.m8.2.3.3.2.cmml">𝒰</mi><mo lspace="0em" rspace="0em" id="alg1.8.m8.2.3.3.1" xref="alg1.8.m8.2.3.3.1.cmml">​</mo><mrow id="alg1.8.m8.2.3.3.3.2" xref="alg1.8.m8.2.3.3.3.1.cmml"><mo stretchy="false" id="alg1.8.m8.2.3.3.3.2.1" xref="alg1.8.m8.2.3.3.3.1.cmml">(</mo><mn id="alg1.8.m8.1.1" xref="alg1.8.m8.1.1.cmml">0</mn><mo id="alg1.8.m8.2.3.3.3.2.2" xref="alg1.8.m8.2.3.3.3.1.cmml">,</mo><mn id="alg1.8.m8.2.2" xref="alg1.8.m8.2.2.cmml">1</mn><mo stretchy="false" id="alg1.8.m8.2.3.3.3.2.3" xref="alg1.8.m8.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.8.m8.2b"><apply id="alg1.8.m8.2.3.cmml" xref="alg1.8.m8.2.3"><csymbol cd="latexml" id="alg1.8.m8.2.3.1.cmml" xref="alg1.8.m8.2.3.1">similar-to</csymbol><ci id="alg1.8.m8.2.3.2.cmml" xref="alg1.8.m8.2.3.2">𝑢</ci><apply id="alg1.8.m8.2.3.3.cmml" xref="alg1.8.m8.2.3.3"><times id="alg1.8.m8.2.3.3.1.cmml" xref="alg1.8.m8.2.3.3.1"></times><ci id="alg1.8.m8.2.3.3.2.cmml" xref="alg1.8.m8.2.3.3.2">𝒰</ci><interval closure="open" id="alg1.8.m8.2.3.3.3.1.cmml" xref="alg1.8.m8.2.3.3.3.2"><cn type="integer" id="alg1.8.m8.1.1.cmml" xref="alg1.8.m8.1.1">0</cn><cn type="integer" id="alg1.8.m8.2.2.cmml" xref="alg1.8.m8.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.8.m8.2c">u\sim\mathcal{U}(0,1)</annotation></semantics></math> <span id="alg1.15.5" class="ltx_text ltx_font_bold">then</span> 
<br class="ltx_break">
        <math id="alg1.9.m9.2" class="ltx_Math" alttext="h_{t}\leftarrow\nabla_{\theta}(v_{t}^{T}g_{t})" display="inline"><semantics id="alg1.9.m9.2a"><mrow id="alg1.9.m9.2.2" xref="alg1.9.m9.2.2.cmml"><msub id="alg1.9.m9.2.2.4" xref="alg1.9.m9.2.2.4.cmml"><mi id="alg1.9.m9.2.2.4.2" xref="alg1.9.m9.2.2.4.2.cmml">h</mi><mi id="alg1.9.m9.2.2.4.3" xref="alg1.9.m9.2.2.4.3.cmml">t</mi></msub><mo stretchy="false" id="alg1.9.m9.2.2.3" xref="alg1.9.m9.2.2.3.cmml">←</mo><mrow id="alg1.9.m9.2.2.2.2" xref="alg1.9.m9.2.2.2.3.cmml"><msub id="alg1.9.m9.1.1.1.1.1" xref="alg1.9.m9.1.1.1.1.1.cmml"><mo id="alg1.9.m9.1.1.1.1.1.2" xref="alg1.9.m9.1.1.1.1.1.2.cmml">∇</mo><mi id="alg1.9.m9.1.1.1.1.1.3" xref="alg1.9.m9.1.1.1.1.1.3.cmml">θ</mi></msub><mrow id="alg1.9.m9.2.2.2.2.2" xref="alg1.9.m9.2.2.2.3.cmml"><mo stretchy="false" id="alg1.9.m9.2.2.2.2.2.2" xref="alg1.9.m9.2.2.2.3.cmml">(</mo><mrow id="alg1.9.m9.2.2.2.2.2.1" xref="alg1.9.m9.2.2.2.2.2.1.cmml"><msubsup id="alg1.9.m9.2.2.2.2.2.1.2" xref="alg1.9.m9.2.2.2.2.2.1.2.cmml"><mi id="alg1.9.m9.2.2.2.2.2.1.2.2.2" xref="alg1.9.m9.2.2.2.2.2.1.2.2.2.cmml">v</mi><mi id="alg1.9.m9.2.2.2.2.2.1.2.2.3" xref="alg1.9.m9.2.2.2.2.2.1.2.2.3.cmml">t</mi><mi id="alg1.9.m9.2.2.2.2.2.1.2.3" xref="alg1.9.m9.2.2.2.2.2.1.2.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="alg1.9.m9.2.2.2.2.2.1.1" xref="alg1.9.m9.2.2.2.2.2.1.1.cmml">​</mo><msub id="alg1.9.m9.2.2.2.2.2.1.3" xref="alg1.9.m9.2.2.2.2.2.1.3.cmml"><mi id="alg1.9.m9.2.2.2.2.2.1.3.2" xref="alg1.9.m9.2.2.2.2.2.1.3.2.cmml">g</mi><mi id="alg1.9.m9.2.2.2.2.2.1.3.3" xref="alg1.9.m9.2.2.2.2.2.1.3.3.cmml">t</mi></msub></mrow><mo stretchy="false" id="alg1.9.m9.2.2.2.2.2.3" xref="alg1.9.m9.2.2.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.9.m9.2b"><apply id="alg1.9.m9.2.2.cmml" xref="alg1.9.m9.2.2"><ci id="alg1.9.m9.2.2.3.cmml" xref="alg1.9.m9.2.2.3">←</ci><apply id="alg1.9.m9.2.2.4.cmml" xref="alg1.9.m9.2.2.4"><csymbol cd="ambiguous" id="alg1.9.m9.2.2.4.1.cmml" xref="alg1.9.m9.2.2.4">subscript</csymbol><ci id="alg1.9.m9.2.2.4.2.cmml" xref="alg1.9.m9.2.2.4.2">ℎ</ci><ci id="alg1.9.m9.2.2.4.3.cmml" xref="alg1.9.m9.2.2.4.3">𝑡</ci></apply><apply id="alg1.9.m9.2.2.2.3.cmml" xref="alg1.9.m9.2.2.2.2"><apply id="alg1.9.m9.1.1.1.1.1.cmml" xref="alg1.9.m9.1.1.1.1.1"><csymbol cd="ambiguous" id="alg1.9.m9.1.1.1.1.1.1.cmml" xref="alg1.9.m9.1.1.1.1.1">subscript</csymbol><ci id="alg1.9.m9.1.1.1.1.1.2.cmml" xref="alg1.9.m9.1.1.1.1.1.2">∇</ci><ci id="alg1.9.m9.1.1.1.1.1.3.cmml" xref="alg1.9.m9.1.1.1.1.1.3">𝜃</ci></apply><apply id="alg1.9.m9.2.2.2.2.2.1.cmml" xref="alg1.9.m9.2.2.2.2.2.1"><times id="alg1.9.m9.2.2.2.2.2.1.1.cmml" xref="alg1.9.m9.2.2.2.2.2.1.1"></times><apply id="alg1.9.m9.2.2.2.2.2.1.2.cmml" xref="alg1.9.m9.2.2.2.2.2.1.2"><csymbol cd="ambiguous" id="alg1.9.m9.2.2.2.2.2.1.2.1.cmml" xref="alg1.9.m9.2.2.2.2.2.1.2">superscript</csymbol><apply id="alg1.9.m9.2.2.2.2.2.1.2.2.cmml" xref="alg1.9.m9.2.2.2.2.2.1.2"><csymbol cd="ambiguous" id="alg1.9.m9.2.2.2.2.2.1.2.2.1.cmml" xref="alg1.9.m9.2.2.2.2.2.1.2">subscript</csymbol><ci id="alg1.9.m9.2.2.2.2.2.1.2.2.2.cmml" xref="alg1.9.m9.2.2.2.2.2.1.2.2.2">𝑣</ci><ci id="alg1.9.m9.2.2.2.2.2.1.2.2.3.cmml" xref="alg1.9.m9.2.2.2.2.2.1.2.2.3">𝑡</ci></apply><ci id="alg1.9.m9.2.2.2.2.2.1.2.3.cmml" xref="alg1.9.m9.2.2.2.2.2.1.2.3">𝑇</ci></apply><apply id="alg1.9.m9.2.2.2.2.2.1.3.cmml" xref="alg1.9.m9.2.2.2.2.2.1.3"><csymbol cd="ambiguous" id="alg1.9.m9.2.2.2.2.2.1.3.1.cmml" xref="alg1.9.m9.2.2.2.2.2.1.3">subscript</csymbol><ci id="alg1.9.m9.2.2.2.2.2.1.3.2.cmml" xref="alg1.9.m9.2.2.2.2.2.1.3.2">𝑔</ci><ci id="alg1.9.m9.2.2.2.2.2.1.3.3.cmml" xref="alg1.9.m9.2.2.2.2.2.1.3.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.9.m9.2c">h_{t}\leftarrow\nabla_{\theta}(v_{t}^{T}g_{t})</annotation></semantics></math>, where <math id="alg1.10.m10.2" class="ltx_Math" alttext="v_{t}\sim\mathcal{N}(0,I)" display="inline"><semantics id="alg1.10.m10.2a"><mrow id="alg1.10.m10.2.3" xref="alg1.10.m10.2.3.cmml"><msub id="alg1.10.m10.2.3.2" xref="alg1.10.m10.2.3.2.cmml"><mi id="alg1.10.m10.2.3.2.2" xref="alg1.10.m10.2.3.2.2.cmml">v</mi><mi id="alg1.10.m10.2.3.2.3" xref="alg1.10.m10.2.3.2.3.cmml">t</mi></msub><mo id="alg1.10.m10.2.3.1" xref="alg1.10.m10.2.3.1.cmml">∼</mo><mrow id="alg1.10.m10.2.3.3" xref="alg1.10.m10.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg1.10.m10.2.3.3.2" xref="alg1.10.m10.2.3.3.2.cmml">𝒩</mi><mo lspace="0em" rspace="0em" id="alg1.10.m10.2.3.3.1" xref="alg1.10.m10.2.3.3.1.cmml">​</mo><mrow id="alg1.10.m10.2.3.3.3.2" xref="alg1.10.m10.2.3.3.3.1.cmml"><mo stretchy="false" id="alg1.10.m10.2.3.3.3.2.1" xref="alg1.10.m10.2.3.3.3.1.cmml">(</mo><mn id="alg1.10.m10.1.1" xref="alg1.10.m10.1.1.cmml">0</mn><mo id="alg1.10.m10.2.3.3.3.2.2" xref="alg1.10.m10.2.3.3.3.1.cmml">,</mo><mi id="alg1.10.m10.2.2" xref="alg1.10.m10.2.2.cmml">I</mi><mo stretchy="false" id="alg1.10.m10.2.3.3.3.2.3" xref="alg1.10.m10.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.10.m10.2b"><apply id="alg1.10.m10.2.3.cmml" xref="alg1.10.m10.2.3"><csymbol cd="latexml" id="alg1.10.m10.2.3.1.cmml" xref="alg1.10.m10.2.3.1">similar-to</csymbol><apply id="alg1.10.m10.2.3.2.cmml" xref="alg1.10.m10.2.3.2"><csymbol cd="ambiguous" id="alg1.10.m10.2.3.2.1.cmml" xref="alg1.10.m10.2.3.2">subscript</csymbol><ci id="alg1.10.m10.2.3.2.2.cmml" xref="alg1.10.m10.2.3.2.2">𝑣</ci><ci id="alg1.10.m10.2.3.2.3.cmml" xref="alg1.10.m10.2.3.2.3">𝑡</ci></apply><apply id="alg1.10.m10.2.3.3.cmml" xref="alg1.10.m10.2.3.3"><times id="alg1.10.m10.2.3.3.1.cmml" xref="alg1.10.m10.2.3.3.1"></times><ci id="alg1.10.m10.2.3.3.2.cmml" xref="alg1.10.m10.2.3.3.2">𝒩</ci><interval closure="open" id="alg1.10.m10.2.3.3.3.1.cmml" xref="alg1.10.m10.2.3.3.3.2"><cn type="integer" id="alg1.10.m10.1.1.cmml" xref="alg1.10.m10.1.1">0</cn><ci id="alg1.10.m10.2.2.cmml" xref="alg1.10.m10.2.2">𝐼</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.10.m10.2c">v_{t}\sim\mathcal{N}(0,I)</annotation></semantics></math> 
<br class="ltx_break">
        <span id="alg1.15.6" class="ltx_text ltx_font_bold">Update</span> <math id="alg1.11.m11.1" class="ltx_Math" alttext="Q_{t}" display="inline"><semantics id="alg1.11.m11.1a"><msub id="alg1.11.m11.1.1" xref="alg1.11.m11.1.1.cmml"><mi id="alg1.11.m11.1.1.2" xref="alg1.11.m11.1.1.2.cmml">Q</mi><mi id="alg1.11.m11.1.1.3" xref="alg1.11.m11.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="alg1.11.m11.1b"><apply id="alg1.11.m11.1.1.cmml" xref="alg1.11.m11.1.1"><csymbol cd="ambiguous" id="alg1.11.m11.1.1.1.cmml" xref="alg1.11.m11.1.1">subscript</csymbol><ci id="alg1.11.m11.1.1.2.cmml" xref="alg1.11.m11.1.1.2">𝑄</ci><ci id="alg1.11.m11.1.1.3.cmml" xref="alg1.11.m11.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.11.m11.1c">Q_{t}</annotation></semantics></math> <span id="alg1.15.7" class="ltx_text ltx_font_bold">via</span> <math id="alg1.12.m12.2" class="ltx_Math" alttext="(v_{t},h_{t})" display="inline"><semantics id="alg1.12.m12.2a"><mrow id="alg1.12.m12.2.2.2" xref="alg1.12.m12.2.2.3.cmml"><mo stretchy="false" id="alg1.12.m12.2.2.2.3" xref="alg1.12.m12.2.2.3.cmml">(</mo><msub id="alg1.12.m12.1.1.1.1" xref="alg1.12.m12.1.1.1.1.cmml"><mi id="alg1.12.m12.1.1.1.1.2" xref="alg1.12.m12.1.1.1.1.2.cmml">v</mi><mi id="alg1.12.m12.1.1.1.1.3" xref="alg1.12.m12.1.1.1.1.3.cmml">t</mi></msub><mo id="alg1.12.m12.2.2.2.4" xref="alg1.12.m12.2.2.3.cmml">,</mo><msub id="alg1.12.m12.2.2.2.2" xref="alg1.12.m12.2.2.2.2.cmml"><mi id="alg1.12.m12.2.2.2.2.2" xref="alg1.12.m12.2.2.2.2.2.cmml">h</mi><mi id="alg1.12.m12.2.2.2.2.3" xref="alg1.12.m12.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg1.12.m12.2.2.2.5" xref="alg1.12.m12.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="alg1.12.m12.2b"><interval closure="open" id="alg1.12.m12.2.2.3.cmml" xref="alg1.12.m12.2.2.2"><apply id="alg1.12.m12.1.1.1.1.cmml" xref="alg1.12.m12.1.1.1.1"><csymbol cd="ambiguous" id="alg1.12.m12.1.1.1.1.1.cmml" xref="alg1.12.m12.1.1.1.1">subscript</csymbol><ci id="alg1.12.m12.1.1.1.1.2.cmml" xref="alg1.12.m12.1.1.1.1.2">𝑣</ci><ci id="alg1.12.m12.1.1.1.1.3.cmml" xref="alg1.12.m12.1.1.1.1.3">𝑡</ci></apply><apply id="alg1.12.m12.2.2.2.2.cmml" xref="alg1.12.m12.2.2.2.2"><csymbol cd="ambiguous" id="alg1.12.m12.2.2.2.2.1.cmml" xref="alg1.12.m12.2.2.2.2">subscript</csymbol><ci id="alg1.12.m12.2.2.2.2.2.cmml" xref="alg1.12.m12.2.2.2.2.2">ℎ</ci><ci id="alg1.12.m12.2.2.2.2.3.cmml" xref="alg1.12.m12.2.2.2.2.3">𝑡</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="alg1.12.m12.2c">(v_{t},h_{t})</annotation></semantics></math>: 
<br class="ltx_break">

            <span id="alg1.15.8" class="ltx_text ltx_font_italic">Q Update Step</span> 
<br class="ltx_break">
     <span id="alg1.15.9" class="ltx_text ltx_font_bold">Else</span> <math id="alg1.13.m13.1" class="ltx_Math" alttext="Q_{t}\leftarrow Q_{t-1}" display="inline"><semantics id="alg1.13.m13.1a"><mrow id="alg1.13.m13.1.1" xref="alg1.13.m13.1.1.cmml"><msub id="alg1.13.m13.1.1.2" xref="alg1.13.m13.1.1.2.cmml"><mi id="alg1.13.m13.1.1.2.2" xref="alg1.13.m13.1.1.2.2.cmml">Q</mi><mi id="alg1.13.m13.1.1.2.3" xref="alg1.13.m13.1.1.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg1.13.m13.1.1.1" xref="alg1.13.m13.1.1.1.cmml">←</mo><msub id="alg1.13.m13.1.1.3" xref="alg1.13.m13.1.1.3.cmml"><mi id="alg1.13.m13.1.1.3.2" xref="alg1.13.m13.1.1.3.2.cmml">Q</mi><mrow id="alg1.13.m13.1.1.3.3" xref="alg1.13.m13.1.1.3.3.cmml"><mi id="alg1.13.m13.1.1.3.3.2" xref="alg1.13.m13.1.1.3.3.2.cmml">t</mi><mo id="alg1.13.m13.1.1.3.3.1" xref="alg1.13.m13.1.1.3.3.1.cmml">−</mo><mn id="alg1.13.m13.1.1.3.3.3" xref="alg1.13.m13.1.1.3.3.3.cmml">1</mn></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="alg1.13.m13.1b"><apply id="alg1.13.m13.1.1.cmml" xref="alg1.13.m13.1.1"><ci id="alg1.13.m13.1.1.1.cmml" xref="alg1.13.m13.1.1.1">←</ci><apply id="alg1.13.m13.1.1.2.cmml" xref="alg1.13.m13.1.1.2"><csymbol cd="ambiguous" id="alg1.13.m13.1.1.2.1.cmml" xref="alg1.13.m13.1.1.2">subscript</csymbol><ci id="alg1.13.m13.1.1.2.2.cmml" xref="alg1.13.m13.1.1.2.2">𝑄</ci><ci id="alg1.13.m13.1.1.2.3.cmml" xref="alg1.13.m13.1.1.2.3">𝑡</ci></apply><apply id="alg1.13.m13.1.1.3.cmml" xref="alg1.13.m13.1.1.3"><csymbol cd="ambiguous" id="alg1.13.m13.1.1.3.1.cmml" xref="alg1.13.m13.1.1.3">subscript</csymbol><ci id="alg1.13.m13.1.1.3.2.cmml" xref="alg1.13.m13.1.1.3.2">𝑄</ci><apply id="alg1.13.m13.1.1.3.3.cmml" xref="alg1.13.m13.1.1.3.3"><minus id="alg1.13.m13.1.1.3.3.1.cmml" xref="alg1.13.m13.1.1.3.3.1"></minus><ci id="alg1.13.m13.1.1.3.3.2.cmml" xref="alg1.13.m13.1.1.3.3.2">𝑡</ci><cn type="integer" id="alg1.13.m13.1.1.3.3.3.cmml" xref="alg1.13.m13.1.1.3.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.13.m13.1c">Q_{t}\leftarrow Q_{t-1}</annotation></semantics></math> 
<br class="ltx_break">     <math id="alg1.14.m14.1" class="ltx_Math" alttext="\mathfrak{g}_{t}\leftarrow Q_{t}^{T}Q_{t}g_{t}" display="inline"><semantics id="alg1.14.m14.1a"><mrow id="alg1.14.m14.1.1" xref="alg1.14.m14.1.1.cmml"><msub id="alg1.14.m14.1.1.2" xref="alg1.14.m14.1.1.2.cmml"><mi id="alg1.14.m14.1.1.2.2" xref="alg1.14.m14.1.1.2.2.cmml">𝔤</mi><mi id="alg1.14.m14.1.1.2.3" xref="alg1.14.m14.1.1.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg1.14.m14.1.1.1" xref="alg1.14.m14.1.1.1.cmml">←</mo><mrow id="alg1.14.m14.1.1.3" xref="alg1.14.m14.1.1.3.cmml"><msubsup id="alg1.14.m14.1.1.3.2" xref="alg1.14.m14.1.1.3.2.cmml"><mi id="alg1.14.m14.1.1.3.2.2.2" xref="alg1.14.m14.1.1.3.2.2.2.cmml">Q</mi><mi id="alg1.14.m14.1.1.3.2.2.3" xref="alg1.14.m14.1.1.3.2.2.3.cmml">t</mi><mi id="alg1.14.m14.1.1.3.2.3" xref="alg1.14.m14.1.1.3.2.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="alg1.14.m14.1.1.3.1" xref="alg1.14.m14.1.1.3.1.cmml">​</mo><msub id="alg1.14.m14.1.1.3.3" xref="alg1.14.m14.1.1.3.3.cmml"><mi id="alg1.14.m14.1.1.3.3.2" xref="alg1.14.m14.1.1.3.3.2.cmml">Q</mi><mi id="alg1.14.m14.1.1.3.3.3" xref="alg1.14.m14.1.1.3.3.3.cmml">t</mi></msub><mo lspace="0em" rspace="0em" id="alg1.14.m14.1.1.3.1a" xref="alg1.14.m14.1.1.3.1.cmml">​</mo><msub id="alg1.14.m14.1.1.3.4" xref="alg1.14.m14.1.1.3.4.cmml"><mi id="alg1.14.m14.1.1.3.4.2" xref="alg1.14.m14.1.1.3.4.2.cmml">g</mi><mi id="alg1.14.m14.1.1.3.4.3" xref="alg1.14.m14.1.1.3.4.3.cmml">t</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.14.m14.1b"><apply id="alg1.14.m14.1.1.cmml" xref="alg1.14.m14.1.1"><ci id="alg1.14.m14.1.1.1.cmml" xref="alg1.14.m14.1.1.1">←</ci><apply id="alg1.14.m14.1.1.2.cmml" xref="alg1.14.m14.1.1.2"><csymbol cd="ambiguous" id="alg1.14.m14.1.1.2.1.cmml" xref="alg1.14.m14.1.1.2">subscript</csymbol><ci id="alg1.14.m14.1.1.2.2.cmml" xref="alg1.14.m14.1.1.2.2">𝔤</ci><ci id="alg1.14.m14.1.1.2.3.cmml" xref="alg1.14.m14.1.1.2.3">𝑡</ci></apply><apply id="alg1.14.m14.1.1.3.cmml" xref="alg1.14.m14.1.1.3"><times id="alg1.14.m14.1.1.3.1.cmml" xref="alg1.14.m14.1.1.3.1"></times><apply id="alg1.14.m14.1.1.3.2.cmml" xref="alg1.14.m14.1.1.3.2"><csymbol cd="ambiguous" id="alg1.14.m14.1.1.3.2.1.cmml" xref="alg1.14.m14.1.1.3.2">superscript</csymbol><apply id="alg1.14.m14.1.1.3.2.2.cmml" xref="alg1.14.m14.1.1.3.2"><csymbol cd="ambiguous" id="alg1.14.m14.1.1.3.2.2.1.cmml" xref="alg1.14.m14.1.1.3.2">subscript</csymbol><ci id="alg1.14.m14.1.1.3.2.2.2.cmml" xref="alg1.14.m14.1.1.3.2.2.2">𝑄</ci><ci id="alg1.14.m14.1.1.3.2.2.3.cmml" xref="alg1.14.m14.1.1.3.2.2.3">𝑡</ci></apply><ci id="alg1.14.m14.1.1.3.2.3.cmml" xref="alg1.14.m14.1.1.3.2.3">𝑇</ci></apply><apply id="alg1.14.m14.1.1.3.3.cmml" xref="alg1.14.m14.1.1.3.3"><csymbol cd="ambiguous" id="alg1.14.m14.1.1.3.3.1.cmml" xref="alg1.14.m14.1.1.3.3">subscript</csymbol><ci id="alg1.14.m14.1.1.3.3.2.cmml" xref="alg1.14.m14.1.1.3.3.2">𝑄</ci><ci id="alg1.14.m14.1.1.3.3.3.cmml" xref="alg1.14.m14.1.1.3.3.3">𝑡</ci></apply><apply id="alg1.14.m14.1.1.3.4.cmml" xref="alg1.14.m14.1.1.3.4"><csymbol cd="ambiguous" id="alg1.14.m14.1.1.3.4.1.cmml" xref="alg1.14.m14.1.1.3.4">subscript</csymbol><ci id="alg1.14.m14.1.1.3.4.2.cmml" xref="alg1.14.m14.1.1.3.4.2">𝑔</ci><ci id="alg1.14.m14.1.1.3.4.3.cmml" xref="alg1.14.m14.1.1.3.4.3">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.14.m14.1c">\mathfrak{g}_{t}\leftarrow Q_{t}^{T}Q_{t}g_{t}</annotation></semantics></math> 
<br class="ltx_break">     <math id="alg1.15.m15.1" class="ltx_Math" alttext="\theta_{t}\leftarrow\theta_{t-1}-\mu_{1}\mathfrak{g}_{t}" display="inline"><semantics id="alg1.15.m15.1a"><mrow id="alg1.15.m15.1.1" xref="alg1.15.m15.1.1.cmml"><msub id="alg1.15.m15.1.1.2" xref="alg1.15.m15.1.1.2.cmml"><mi id="alg1.15.m15.1.1.2.2" xref="alg1.15.m15.1.1.2.2.cmml">θ</mi><mi id="alg1.15.m15.1.1.2.3" xref="alg1.15.m15.1.1.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg1.15.m15.1.1.1" xref="alg1.15.m15.1.1.1.cmml">←</mo><mrow id="alg1.15.m15.1.1.3" xref="alg1.15.m15.1.1.3.cmml"><msub id="alg1.15.m15.1.1.3.2" xref="alg1.15.m15.1.1.3.2.cmml"><mi id="alg1.15.m15.1.1.3.2.2" xref="alg1.15.m15.1.1.3.2.2.cmml">θ</mi><mrow id="alg1.15.m15.1.1.3.2.3" xref="alg1.15.m15.1.1.3.2.3.cmml"><mi id="alg1.15.m15.1.1.3.2.3.2" xref="alg1.15.m15.1.1.3.2.3.2.cmml">t</mi><mo id="alg1.15.m15.1.1.3.2.3.1" xref="alg1.15.m15.1.1.3.2.3.1.cmml">−</mo><mn id="alg1.15.m15.1.1.3.2.3.3" xref="alg1.15.m15.1.1.3.2.3.3.cmml">1</mn></mrow></msub><mo id="alg1.15.m15.1.1.3.1" xref="alg1.15.m15.1.1.3.1.cmml">−</mo><mrow id="alg1.15.m15.1.1.3.3" xref="alg1.15.m15.1.1.3.3.cmml"><msub id="alg1.15.m15.1.1.3.3.2" xref="alg1.15.m15.1.1.3.3.2.cmml"><mi id="alg1.15.m15.1.1.3.3.2.2" xref="alg1.15.m15.1.1.3.3.2.2.cmml">μ</mi><mn id="alg1.15.m15.1.1.3.3.2.3" xref="alg1.15.m15.1.1.3.3.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="alg1.15.m15.1.1.3.3.1" xref="alg1.15.m15.1.1.3.3.1.cmml">​</mo><msub id="alg1.15.m15.1.1.3.3.3" xref="alg1.15.m15.1.1.3.3.3.cmml"><mi id="alg1.15.m15.1.1.3.3.3.2" xref="alg1.15.m15.1.1.3.3.3.2.cmml">𝔤</mi><mi id="alg1.15.m15.1.1.3.3.3.3" xref="alg1.15.m15.1.1.3.3.3.3.cmml">t</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg1.15.m15.1b"><apply id="alg1.15.m15.1.1.cmml" xref="alg1.15.m15.1.1"><ci id="alg1.15.m15.1.1.1.cmml" xref="alg1.15.m15.1.1.1">←</ci><apply id="alg1.15.m15.1.1.2.cmml" xref="alg1.15.m15.1.1.2"><csymbol cd="ambiguous" id="alg1.15.m15.1.1.2.1.cmml" xref="alg1.15.m15.1.1.2">subscript</csymbol><ci id="alg1.15.m15.1.1.2.2.cmml" xref="alg1.15.m15.1.1.2.2">𝜃</ci><ci id="alg1.15.m15.1.1.2.3.cmml" xref="alg1.15.m15.1.1.2.3">𝑡</ci></apply><apply id="alg1.15.m15.1.1.3.cmml" xref="alg1.15.m15.1.1.3"><minus id="alg1.15.m15.1.1.3.1.cmml" xref="alg1.15.m15.1.1.3.1"></minus><apply id="alg1.15.m15.1.1.3.2.cmml" xref="alg1.15.m15.1.1.3.2"><csymbol cd="ambiguous" id="alg1.15.m15.1.1.3.2.1.cmml" xref="alg1.15.m15.1.1.3.2">subscript</csymbol><ci id="alg1.15.m15.1.1.3.2.2.cmml" xref="alg1.15.m15.1.1.3.2.2">𝜃</ci><apply id="alg1.15.m15.1.1.3.2.3.cmml" xref="alg1.15.m15.1.1.3.2.3"><minus id="alg1.15.m15.1.1.3.2.3.1.cmml" xref="alg1.15.m15.1.1.3.2.3.1"></minus><ci id="alg1.15.m15.1.1.3.2.3.2.cmml" xref="alg1.15.m15.1.1.3.2.3.2">𝑡</ci><cn type="integer" id="alg1.15.m15.1.1.3.2.3.3.cmml" xref="alg1.15.m15.1.1.3.2.3.3">1</cn></apply></apply><apply id="alg1.15.m15.1.1.3.3.cmml" xref="alg1.15.m15.1.1.3.3"><times id="alg1.15.m15.1.1.3.3.1.cmml" xref="alg1.15.m15.1.1.3.3.1"></times><apply id="alg1.15.m15.1.1.3.3.2.cmml" xref="alg1.15.m15.1.1.3.3.2"><csymbol cd="ambiguous" id="alg1.15.m15.1.1.3.3.2.1.cmml" xref="alg1.15.m15.1.1.3.3.2">subscript</csymbol><ci id="alg1.15.m15.1.1.3.3.2.2.cmml" xref="alg1.15.m15.1.1.3.3.2.2">𝜇</ci><cn type="integer" id="alg1.15.m15.1.1.3.3.2.3.cmml" xref="alg1.15.m15.1.1.3.3.2.3">1</cn></apply><apply id="alg1.15.m15.1.1.3.3.3.cmml" xref="alg1.15.m15.1.1.3.3.3"><csymbol cd="ambiguous" id="alg1.15.m15.1.1.3.3.3.1.cmml" xref="alg1.15.m15.1.1.3.3.3">subscript</csymbol><ci id="alg1.15.m15.1.1.3.3.3.2.cmml" xref="alg1.15.m15.1.1.3.3.3.2">𝔤</ci><ci id="alg1.15.m15.1.1.3.3.3.3.cmml" xref="alg1.15.m15.1.1.3.3.3.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg1.15.m15.1c">\theta_{t}\leftarrow\theta_{t-1}-\mu_{1}\mathfrak{g}_{t}</annotation></semantics></math> 
<br class="ltx_break"><span id="alg1.15.10" class="ltx_text ltx_font_bold">end while</span> 
<br class="ltx_break"></p>
</figure>
<figure id="alg2" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg2.13.1.1" class="ltx_text ltx_font_bold">Algorithm 2</span> </span> LRA Q Update Step</figcaption>
<p id="alg2.11" class="ltx_p"><math id="alg2.1.m1.1" class="ltx_Math" alttext="Ph=Q^{T}(Qh)" display="inline"><semantics id="alg2.1.m1.1a"><mrow id="alg2.1.m1.1.1" xref="alg2.1.m1.1.1.cmml"><mrow id="alg2.1.m1.1.1.3" xref="alg2.1.m1.1.1.3.cmml"><mi id="alg2.1.m1.1.1.3.2" xref="alg2.1.m1.1.1.3.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="alg2.1.m1.1.1.3.1" xref="alg2.1.m1.1.1.3.1.cmml">​</mo><mi id="alg2.1.m1.1.1.3.3" xref="alg2.1.m1.1.1.3.3.cmml">h</mi></mrow><mo id="alg2.1.m1.1.1.2" xref="alg2.1.m1.1.1.2.cmml">=</mo><mrow id="alg2.1.m1.1.1.1" xref="alg2.1.m1.1.1.1.cmml"><msup id="alg2.1.m1.1.1.1.3" xref="alg2.1.m1.1.1.1.3.cmml"><mi id="alg2.1.m1.1.1.1.3.2" xref="alg2.1.m1.1.1.1.3.2.cmml">Q</mi><mi id="alg2.1.m1.1.1.1.3.3" xref="alg2.1.m1.1.1.1.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg2.1.m1.1.1.1.2" xref="alg2.1.m1.1.1.1.2.cmml">​</mo><mrow id="alg2.1.m1.1.1.1.1.1" xref="alg2.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg2.1.m1.1.1.1.1.1.2" xref="alg2.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg2.1.m1.1.1.1.1.1.1" xref="alg2.1.m1.1.1.1.1.1.1.cmml"><mi id="alg2.1.m1.1.1.1.1.1.1.2" xref="alg2.1.m1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg2.1.m1.1.1.1.1.1.1.1" xref="alg2.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg2.1.m1.1.1.1.1.1.1.3" xref="alg2.1.m1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg2.1.m1.1.1.1.1.1.3" xref="alg2.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.1.m1.1b"><apply id="alg2.1.m1.1.1.cmml" xref="alg2.1.m1.1.1"><eq id="alg2.1.m1.1.1.2.cmml" xref="alg2.1.m1.1.1.2"></eq><apply id="alg2.1.m1.1.1.3.cmml" xref="alg2.1.m1.1.1.3"><times id="alg2.1.m1.1.1.3.1.cmml" xref="alg2.1.m1.1.1.3.1"></times><ci id="alg2.1.m1.1.1.3.2.cmml" xref="alg2.1.m1.1.1.3.2">𝑃</ci><ci id="alg2.1.m1.1.1.3.3.cmml" xref="alg2.1.m1.1.1.3.3">ℎ</ci></apply><apply id="alg2.1.m1.1.1.1.cmml" xref="alg2.1.m1.1.1.1"><times id="alg2.1.m1.1.1.1.2.cmml" xref="alg2.1.m1.1.1.1.2"></times><apply id="alg2.1.m1.1.1.1.3.cmml" xref="alg2.1.m1.1.1.1.3"><csymbol cd="ambiguous" id="alg2.1.m1.1.1.1.3.1.cmml" xref="alg2.1.m1.1.1.1.3">superscript</csymbol><ci id="alg2.1.m1.1.1.1.3.2.cmml" xref="alg2.1.m1.1.1.1.3.2">𝑄</ci><ci id="alg2.1.m1.1.1.1.3.3.cmml" xref="alg2.1.m1.1.1.1.3.3">𝑇</ci></apply><apply id="alg2.1.m1.1.1.1.1.1.1.cmml" xref="alg2.1.m1.1.1.1.1.1"><times id="alg2.1.m1.1.1.1.1.1.1.1.cmml" xref="alg2.1.m1.1.1.1.1.1.1.1"></times><ci id="alg2.1.m1.1.1.1.1.1.1.2.cmml" xref="alg2.1.m1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg2.1.m1.1.1.1.1.1.1.3.cmml" xref="alg2.1.m1.1.1.1.1.1.1.3">ℎ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.1.m1.1c">Ph=Q^{T}(Qh)</annotation></semantics></math>
<br class="ltx_break"><math id="alg2.2.m2.1" class="ltx_Math" alttext="P^{-1}v=Q^{-1}(Q^{-T}v)" display="inline"><semantics id="alg2.2.m2.1a"><mrow id="alg2.2.m2.1.1" xref="alg2.2.m2.1.1.cmml"><mrow id="alg2.2.m2.1.1.3" xref="alg2.2.m2.1.1.3.cmml"><msup id="alg2.2.m2.1.1.3.2" xref="alg2.2.m2.1.1.3.2.cmml"><mi id="alg2.2.m2.1.1.3.2.2" xref="alg2.2.m2.1.1.3.2.2.cmml">P</mi><mrow id="alg2.2.m2.1.1.3.2.3" xref="alg2.2.m2.1.1.3.2.3.cmml"><mo id="alg2.2.m2.1.1.3.2.3a" xref="alg2.2.m2.1.1.3.2.3.cmml">−</mo><mn id="alg2.2.m2.1.1.3.2.3.2" xref="alg2.2.m2.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.2.m2.1.1.3.1" xref="alg2.2.m2.1.1.3.1.cmml">​</mo><mi id="alg2.2.m2.1.1.3.3" xref="alg2.2.m2.1.1.3.3.cmml">v</mi></mrow><mo id="alg2.2.m2.1.1.2" xref="alg2.2.m2.1.1.2.cmml">=</mo><mrow id="alg2.2.m2.1.1.1" xref="alg2.2.m2.1.1.1.cmml"><msup id="alg2.2.m2.1.1.1.3" xref="alg2.2.m2.1.1.1.3.cmml"><mi id="alg2.2.m2.1.1.1.3.2" xref="alg2.2.m2.1.1.1.3.2.cmml">Q</mi><mrow id="alg2.2.m2.1.1.1.3.3" xref="alg2.2.m2.1.1.1.3.3.cmml"><mo id="alg2.2.m2.1.1.1.3.3a" xref="alg2.2.m2.1.1.1.3.3.cmml">−</mo><mn id="alg2.2.m2.1.1.1.3.3.2" xref="alg2.2.m2.1.1.1.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.2.m2.1.1.1.2" xref="alg2.2.m2.1.1.1.2.cmml">​</mo><mrow id="alg2.2.m2.1.1.1.1.1" xref="alg2.2.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg2.2.m2.1.1.1.1.1.2" xref="alg2.2.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="alg2.2.m2.1.1.1.1.1.1" xref="alg2.2.m2.1.1.1.1.1.1.cmml"><msup id="alg2.2.m2.1.1.1.1.1.1.2" xref="alg2.2.m2.1.1.1.1.1.1.2.cmml"><mi id="alg2.2.m2.1.1.1.1.1.1.2.2" xref="alg2.2.m2.1.1.1.1.1.1.2.2.cmml">Q</mi><mrow id="alg2.2.m2.1.1.1.1.1.1.2.3" xref="alg2.2.m2.1.1.1.1.1.1.2.3.cmml"><mo id="alg2.2.m2.1.1.1.1.1.1.2.3a" xref="alg2.2.m2.1.1.1.1.1.1.2.3.cmml">−</mo><mi id="alg2.2.m2.1.1.1.1.1.1.2.3.2" xref="alg2.2.m2.1.1.1.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.2.m2.1.1.1.1.1.1.1" xref="alg2.2.m2.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg2.2.m2.1.1.1.1.1.1.3" xref="alg2.2.m2.1.1.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg2.2.m2.1.1.1.1.1.3" xref="alg2.2.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.2.m2.1b"><apply id="alg2.2.m2.1.1.cmml" xref="alg2.2.m2.1.1"><eq id="alg2.2.m2.1.1.2.cmml" xref="alg2.2.m2.1.1.2"></eq><apply id="alg2.2.m2.1.1.3.cmml" xref="alg2.2.m2.1.1.3"><times id="alg2.2.m2.1.1.3.1.cmml" xref="alg2.2.m2.1.1.3.1"></times><apply id="alg2.2.m2.1.1.3.2.cmml" xref="alg2.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="alg2.2.m2.1.1.3.2.1.cmml" xref="alg2.2.m2.1.1.3.2">superscript</csymbol><ci id="alg2.2.m2.1.1.3.2.2.cmml" xref="alg2.2.m2.1.1.3.2.2">𝑃</ci><apply id="alg2.2.m2.1.1.3.2.3.cmml" xref="alg2.2.m2.1.1.3.2.3"><minus id="alg2.2.m2.1.1.3.2.3.1.cmml" xref="alg2.2.m2.1.1.3.2.3"></minus><cn type="integer" id="alg2.2.m2.1.1.3.2.3.2.cmml" xref="alg2.2.m2.1.1.3.2.3.2">1</cn></apply></apply><ci id="alg2.2.m2.1.1.3.3.cmml" xref="alg2.2.m2.1.1.3.3">𝑣</ci></apply><apply id="alg2.2.m2.1.1.1.cmml" xref="alg2.2.m2.1.1.1"><times id="alg2.2.m2.1.1.1.2.cmml" xref="alg2.2.m2.1.1.1.2"></times><apply id="alg2.2.m2.1.1.1.3.cmml" xref="alg2.2.m2.1.1.1.3"><csymbol cd="ambiguous" id="alg2.2.m2.1.1.1.3.1.cmml" xref="alg2.2.m2.1.1.1.3">superscript</csymbol><ci id="alg2.2.m2.1.1.1.3.2.cmml" xref="alg2.2.m2.1.1.1.3.2">𝑄</ci><apply id="alg2.2.m2.1.1.1.3.3.cmml" xref="alg2.2.m2.1.1.1.3.3"><minus id="alg2.2.m2.1.1.1.3.3.1.cmml" xref="alg2.2.m2.1.1.1.3.3"></minus><cn type="integer" id="alg2.2.m2.1.1.1.3.3.2.cmml" xref="alg2.2.m2.1.1.1.3.3.2">1</cn></apply></apply><apply id="alg2.2.m2.1.1.1.1.1.1.cmml" xref="alg2.2.m2.1.1.1.1.1"><times id="alg2.2.m2.1.1.1.1.1.1.1.cmml" xref="alg2.2.m2.1.1.1.1.1.1.1"></times><apply id="alg2.2.m2.1.1.1.1.1.1.2.cmml" xref="alg2.2.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="alg2.2.m2.1.1.1.1.1.1.2.1.cmml" xref="alg2.2.m2.1.1.1.1.1.1.2">superscript</csymbol><ci id="alg2.2.m2.1.1.1.1.1.1.2.2.cmml" xref="alg2.2.m2.1.1.1.1.1.1.2.2">𝑄</ci><apply id="alg2.2.m2.1.1.1.1.1.1.2.3.cmml" xref="alg2.2.m2.1.1.1.1.1.1.2.3"><minus id="alg2.2.m2.1.1.1.1.1.1.2.3.1.cmml" xref="alg2.2.m2.1.1.1.1.1.1.2.3"></minus><ci id="alg2.2.m2.1.1.1.1.1.1.2.3.2.cmml" xref="alg2.2.m2.1.1.1.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg2.2.m2.1.1.1.1.1.1.3.cmml" xref="alg2.2.m2.1.1.1.1.1.1.3">𝑣</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.2.m2.1c">P^{-1}v=Q^{-1}(Q^{-T}v)</annotation></semantics></math>     <span id="alg2.11.9" class="ltx_text" style="font-size:70%;">via Woodbury identity 2x
<br class="ltx_break"><math id="alg2.3.1.m1.2" class="ltx_Math" alttext="\nabla_{d}=(Ph)\odot h-v\odot(P^{-1}v)" display="inline"><semantics id="alg2.3.1.m1.2a"><mrow id="alg2.3.1.m1.2.2" xref="alg2.3.1.m1.2.2.cmml"><msub id="alg2.3.1.m1.2.2.4" xref="alg2.3.1.m1.2.2.4.cmml"><mo mathsize="129%" id="alg2.3.1.m1.2.2.4.2" xref="alg2.3.1.m1.2.2.4.2.cmml">∇</mo><mi mathsize="128%" id="alg2.3.1.m1.2.2.4.3" xref="alg2.3.1.m1.2.2.4.3.cmml">d</mi></msub><mo mathsize="129%" id="alg2.3.1.m1.2.2.3" xref="alg2.3.1.m1.2.2.3.cmml">=</mo><mrow id="alg2.3.1.m1.2.2.2" xref="alg2.3.1.m1.2.2.2.cmml"><mrow id="alg2.3.1.m1.1.1.1.1" xref="alg2.3.1.m1.1.1.1.1.cmml"><mrow id="alg2.3.1.m1.1.1.1.1.1.1" xref="alg2.3.1.m1.1.1.1.1.1.1.1.cmml"><mo maxsize="129%" minsize="129%" id="alg2.3.1.m1.1.1.1.1.1.1.2" xref="alg2.3.1.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg2.3.1.m1.1.1.1.1.1.1.1" xref="alg2.3.1.m1.1.1.1.1.1.1.1.cmml"><mi mathsize="129%" id="alg2.3.1.m1.1.1.1.1.1.1.1.2" xref="alg2.3.1.m1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="alg2.3.1.m1.1.1.1.1.1.1.1.1" xref="alg2.3.1.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi mathsize="129%" id="alg2.3.1.m1.1.1.1.1.1.1.1.3" xref="alg2.3.1.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo maxsize="129%" minsize="129%" rspace="0.055em" id="alg2.3.1.m1.1.1.1.1.1.1.3" xref="alg2.3.1.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo mathsize="129%" rspace="0.222em" id="alg2.3.1.m1.1.1.1.1.2" xref="alg2.3.1.m1.1.1.1.1.2.cmml">⊙</mo><mi mathsize="129%" id="alg2.3.1.m1.1.1.1.1.3" xref="alg2.3.1.m1.1.1.1.1.3.cmml">h</mi></mrow><mo mathsize="129%" id="alg2.3.1.m1.2.2.2.3" xref="alg2.3.1.m1.2.2.2.3.cmml">−</mo><mrow id="alg2.3.1.m1.2.2.2.2" xref="alg2.3.1.m1.2.2.2.2.cmml"><mi mathsize="129%" id="alg2.3.1.m1.2.2.2.2.3" xref="alg2.3.1.m1.2.2.2.2.3.cmml">v</mi><mo lspace="0.222em" mathsize="129%" rspace="0.222em" id="alg2.3.1.m1.2.2.2.2.2" xref="alg2.3.1.m1.2.2.2.2.2.cmml">⊙</mo><mrow id="alg2.3.1.m1.2.2.2.2.1.1" xref="alg2.3.1.m1.2.2.2.2.1.1.1.cmml"><mo maxsize="129%" minsize="129%" id="alg2.3.1.m1.2.2.2.2.1.1.2" xref="alg2.3.1.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg2.3.1.m1.2.2.2.2.1.1.1" xref="alg2.3.1.m1.2.2.2.2.1.1.1.cmml"><msup id="alg2.3.1.m1.2.2.2.2.1.1.1.2" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.cmml"><mi mathsize="129%" id="alg2.3.1.m1.2.2.2.2.1.1.1.2.2" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.2.cmml">P</mi><mrow id="alg2.3.1.m1.2.2.2.2.1.1.1.2.3" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.cmml"><mo mathsize="128%" id="alg2.3.1.m1.2.2.2.2.1.1.1.2.3a" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.cmml">−</mo><mn mathsize="128%" id="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.2" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.3.1.m1.2.2.2.2.1.1.1.1" xref="alg2.3.1.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mi mathsize="129%" id="alg2.3.1.m1.2.2.2.2.1.1.1.3" xref="alg2.3.1.m1.2.2.2.2.1.1.1.3.cmml">v</mi></mrow><mo maxsize="129%" minsize="129%" id="alg2.3.1.m1.2.2.2.2.1.1.3" xref="alg2.3.1.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.3.1.m1.2b"><apply id="alg2.3.1.m1.2.2.cmml" xref="alg2.3.1.m1.2.2"><eq id="alg2.3.1.m1.2.2.3.cmml" xref="alg2.3.1.m1.2.2.3"></eq><apply id="alg2.3.1.m1.2.2.4.cmml" xref="alg2.3.1.m1.2.2.4"><csymbol cd="ambiguous" id="alg2.3.1.m1.2.2.4.1.cmml" xref="alg2.3.1.m1.2.2.4">subscript</csymbol><ci id="alg2.3.1.m1.2.2.4.2.cmml" xref="alg2.3.1.m1.2.2.4.2">∇</ci><ci id="alg2.3.1.m1.2.2.4.3.cmml" xref="alg2.3.1.m1.2.2.4.3">𝑑</ci></apply><apply id="alg2.3.1.m1.2.2.2.cmml" xref="alg2.3.1.m1.2.2.2"><minus id="alg2.3.1.m1.2.2.2.3.cmml" xref="alg2.3.1.m1.2.2.2.3"></minus><apply id="alg2.3.1.m1.1.1.1.1.cmml" xref="alg2.3.1.m1.1.1.1.1"><csymbol cd="latexml" id="alg2.3.1.m1.1.1.1.1.2.cmml" xref="alg2.3.1.m1.1.1.1.1.2">direct-product</csymbol><apply id="alg2.3.1.m1.1.1.1.1.1.1.1.cmml" xref="alg2.3.1.m1.1.1.1.1.1.1"><times id="alg2.3.1.m1.1.1.1.1.1.1.1.1.cmml" xref="alg2.3.1.m1.1.1.1.1.1.1.1.1"></times><ci id="alg2.3.1.m1.1.1.1.1.1.1.1.2.cmml" xref="alg2.3.1.m1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="alg2.3.1.m1.1.1.1.1.1.1.1.3.cmml" xref="alg2.3.1.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><ci id="alg2.3.1.m1.1.1.1.1.3.cmml" xref="alg2.3.1.m1.1.1.1.1.3">ℎ</ci></apply><apply id="alg2.3.1.m1.2.2.2.2.cmml" xref="alg2.3.1.m1.2.2.2.2"><csymbol cd="latexml" id="alg2.3.1.m1.2.2.2.2.2.cmml" xref="alg2.3.1.m1.2.2.2.2.2">direct-product</csymbol><ci id="alg2.3.1.m1.2.2.2.2.3.cmml" xref="alg2.3.1.m1.2.2.2.2.3">𝑣</ci><apply id="alg2.3.1.m1.2.2.2.2.1.1.1.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1"><times id="alg2.3.1.m1.2.2.2.2.1.1.1.1.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.1"></times><apply id="alg2.3.1.m1.2.2.2.2.1.1.1.2.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="alg2.3.1.m1.2.2.2.2.1.1.1.2.1.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2">superscript</csymbol><ci id="alg2.3.1.m1.2.2.2.2.1.1.1.2.2.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.2">𝑃</ci><apply id="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.3"><minus id="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.1.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.3"></minus><cn type="integer" id="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.2.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.2.3.2">1</cn></apply></apply><ci id="alg2.3.1.m1.2.2.2.2.1.1.1.3.cmml" xref="alg2.3.1.m1.2.2.2.2.1.1.1.3">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.3.1.m1.2c">\nabla_{d}=(Ph)\odot h-v\odot(P^{-1}v)</annotation></semantics></math>
<br class="ltx_break"><math id="alg2.4.2.m2.2" class="ltx_Math" alttext="d\leftarrow d-\mu_{2}d\odot\nabla_{d}/\max(|\nabla_{d}|)" display="inline"><semantics id="alg2.4.2.m2.2a"><mrow id="alg2.4.2.m2.2.2" xref="alg2.4.2.m2.2.2.cmml"><mi mathsize="129%" id="alg2.4.2.m2.2.2.3" xref="alg2.4.2.m2.2.2.3.cmml">d</mi><mo mathsize="129%" stretchy="false" id="alg2.4.2.m2.2.2.2" xref="alg2.4.2.m2.2.2.2.cmml">←</mo><mrow id="alg2.4.2.m2.2.2.1" xref="alg2.4.2.m2.2.2.1.cmml"><mi mathsize="129%" id="alg2.4.2.m2.2.2.1.3" xref="alg2.4.2.m2.2.2.1.3.cmml">d</mi><mo mathsize="129%" id="alg2.4.2.m2.2.2.1.2" xref="alg2.4.2.m2.2.2.1.2.cmml">−</mo><mrow id="alg2.4.2.m2.2.2.1.1" xref="alg2.4.2.m2.2.2.1.1.cmml"><mrow id="alg2.4.2.m2.2.2.1.1.3" xref="alg2.4.2.m2.2.2.1.1.3.cmml"><mrow id="alg2.4.2.m2.2.2.1.1.3.2" xref="alg2.4.2.m2.2.2.1.1.3.2.cmml"><msub id="alg2.4.2.m2.2.2.1.1.3.2.2" xref="alg2.4.2.m2.2.2.1.1.3.2.2.cmml"><mi mathsize="129%" id="alg2.4.2.m2.2.2.1.1.3.2.2.2" xref="alg2.4.2.m2.2.2.1.1.3.2.2.2.cmml">μ</mi><mn mathsize="128%" id="alg2.4.2.m2.2.2.1.1.3.2.2.3" xref="alg2.4.2.m2.2.2.1.1.3.2.2.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="alg2.4.2.m2.2.2.1.1.3.2.1" xref="alg2.4.2.m2.2.2.1.1.3.2.1.cmml">​</mo><mi mathsize="129%" id="alg2.4.2.m2.2.2.1.1.3.2.3" xref="alg2.4.2.m2.2.2.1.1.3.2.3.cmml">d</mi></mrow><mo lspace="0.222em" mathsize="129%" rspace="0.222em" id="alg2.4.2.m2.2.2.1.1.3.1" xref="alg2.4.2.m2.2.2.1.1.3.1.cmml">⊙</mo><msub id="alg2.4.2.m2.2.2.1.1.3.3" xref="alg2.4.2.m2.2.2.1.1.3.3.cmml"><mo mathsize="129%" id="alg2.4.2.m2.2.2.1.1.3.3.2" xref="alg2.4.2.m2.2.2.1.1.3.3.2.cmml">∇</mo><mi mathsize="128%" id="alg2.4.2.m2.2.2.1.1.3.3.3" xref="alg2.4.2.m2.2.2.1.1.3.3.3.cmml">d</mi></msub></mrow><mo lspace="0em" maxsize="129%" minsize="129%" stretchy="true" symmetric="true" id="alg2.4.2.m2.2.2.1.1.2" xref="alg2.4.2.m2.2.2.1.1.2.cmml">/</mo><mrow id="alg2.4.2.m2.2.2.1.1.1.1" xref="alg2.4.2.m2.2.2.1.1.1.2.cmml"><mi mathsize="129%" id="alg2.4.2.m2.1.1" xref="alg2.4.2.m2.1.1.cmml">max</mi><mo id="alg2.4.2.m2.2.2.1.1.1.1a" xref="alg2.4.2.m2.2.2.1.1.1.2.cmml">⁡</mo><mrow id="alg2.4.2.m2.2.2.1.1.1.1.1" xref="alg2.4.2.m2.2.2.1.1.1.2.cmml"><mo maxsize="129%" minsize="129%" id="alg2.4.2.m2.2.2.1.1.1.1.1.2" xref="alg2.4.2.m2.2.2.1.1.1.2.cmml">(</mo><mrow id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.2.cmml"><mo maxsize="129%" minsize="129%" id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.2" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.2.1.cmml">|</mo><msub id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.cmml"><mo mathsize="129%" id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.2" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.2.cmml">∇</mo><mi mathsize="128%" id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.3" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.3.cmml">d</mi></msub><mo maxsize="129%" minsize="129%" id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.3" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.2.1.cmml">|</mo></mrow><mo maxsize="129%" minsize="129%" id="alg2.4.2.m2.2.2.1.1.1.1.1.3" xref="alg2.4.2.m2.2.2.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.4.2.m2.2b"><apply id="alg2.4.2.m2.2.2.cmml" xref="alg2.4.2.m2.2.2"><ci id="alg2.4.2.m2.2.2.2.cmml" xref="alg2.4.2.m2.2.2.2">←</ci><ci id="alg2.4.2.m2.2.2.3.cmml" xref="alg2.4.2.m2.2.2.3">𝑑</ci><apply id="alg2.4.2.m2.2.2.1.cmml" xref="alg2.4.2.m2.2.2.1"><minus id="alg2.4.2.m2.2.2.1.2.cmml" xref="alg2.4.2.m2.2.2.1.2"></minus><ci id="alg2.4.2.m2.2.2.1.3.cmml" xref="alg2.4.2.m2.2.2.1.3">𝑑</ci><apply id="alg2.4.2.m2.2.2.1.1.cmml" xref="alg2.4.2.m2.2.2.1.1"><divide id="alg2.4.2.m2.2.2.1.1.2.cmml" xref="alg2.4.2.m2.2.2.1.1.2"></divide><apply id="alg2.4.2.m2.2.2.1.1.3.cmml" xref="alg2.4.2.m2.2.2.1.1.3"><csymbol cd="latexml" id="alg2.4.2.m2.2.2.1.1.3.1.cmml" xref="alg2.4.2.m2.2.2.1.1.3.1">direct-product</csymbol><apply id="alg2.4.2.m2.2.2.1.1.3.2.cmml" xref="alg2.4.2.m2.2.2.1.1.3.2"><times id="alg2.4.2.m2.2.2.1.1.3.2.1.cmml" xref="alg2.4.2.m2.2.2.1.1.3.2.1"></times><apply id="alg2.4.2.m2.2.2.1.1.3.2.2.cmml" xref="alg2.4.2.m2.2.2.1.1.3.2.2"><csymbol cd="ambiguous" id="alg2.4.2.m2.2.2.1.1.3.2.2.1.cmml" xref="alg2.4.2.m2.2.2.1.1.3.2.2">subscript</csymbol><ci id="alg2.4.2.m2.2.2.1.1.3.2.2.2.cmml" xref="alg2.4.2.m2.2.2.1.1.3.2.2.2">𝜇</ci><cn type="integer" id="alg2.4.2.m2.2.2.1.1.3.2.2.3.cmml" xref="alg2.4.2.m2.2.2.1.1.3.2.2.3">2</cn></apply><ci id="alg2.4.2.m2.2.2.1.1.3.2.3.cmml" xref="alg2.4.2.m2.2.2.1.1.3.2.3">𝑑</ci></apply><apply id="alg2.4.2.m2.2.2.1.1.3.3.cmml" xref="alg2.4.2.m2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="alg2.4.2.m2.2.2.1.1.3.3.1.cmml" xref="alg2.4.2.m2.2.2.1.1.3.3">subscript</csymbol><ci id="alg2.4.2.m2.2.2.1.1.3.3.2.cmml" xref="alg2.4.2.m2.2.2.1.1.3.3.2">∇</ci><ci id="alg2.4.2.m2.2.2.1.1.3.3.3.cmml" xref="alg2.4.2.m2.2.2.1.1.3.3.3">𝑑</ci></apply></apply><apply id="alg2.4.2.m2.2.2.1.1.1.2.cmml" xref="alg2.4.2.m2.2.2.1.1.1.1"><max id="alg2.4.2.m2.1.1.cmml" xref="alg2.4.2.m2.1.1"></max><apply id="alg2.4.2.m2.2.2.1.1.1.1.1.1.2.cmml" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1"><abs id="alg2.4.2.m2.2.2.1.1.1.1.1.1.2.1.cmml" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.2"></abs><apply id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.cmml" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.2">∇</ci><ci id="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="alg2.4.2.m2.2.2.1.1.1.1.1.1.1.1.3">𝑑</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.4.2.m2.2c">d\leftarrow d-\mu_{2}d\odot\nabla_{d}/\max(|\nabla_{d}|)</annotation></semantics></math>
<br class="ltx_break"><span id="alg2.11.9.7" class="ltx_text ltx_font_bold" style="font-size:129%;">If<span id="alg2.8.6.4.4" class="ltx_text ltx_font_medium"> <math id="alg2.5.3.1.1.m1.1" class="ltx_Math" alttext="u&lt;0.5" display="inline"><semantics id="alg2.5.3.1.1.m1.1a"><mrow id="alg2.5.3.1.1.m1.1.1" xref="alg2.5.3.1.1.m1.1.1.cmml"><mi id="alg2.5.3.1.1.m1.1.1.2" xref="alg2.5.3.1.1.m1.1.1.2.cmml">u</mi><mo id="alg2.5.3.1.1.m1.1.1.1" xref="alg2.5.3.1.1.m1.1.1.1.cmml">&lt;</mo><mn id="alg2.5.3.1.1.m1.1.1.3" xref="alg2.5.3.1.1.m1.1.1.3.cmml">0.5</mn></mrow><annotation-xml encoding="MathML-Content" id="alg2.5.3.1.1.m1.1b"><apply id="alg2.5.3.1.1.m1.1.1.cmml" xref="alg2.5.3.1.1.m1.1.1"><lt id="alg2.5.3.1.1.m1.1.1.1.cmml" xref="alg2.5.3.1.1.m1.1.1.1"></lt><ci id="alg2.5.3.1.1.m1.1.1.2.cmml" xref="alg2.5.3.1.1.m1.1.1.2">𝑢</ci><cn type="float" id="alg2.5.3.1.1.m1.1.1.3.cmml" xref="alg2.5.3.1.1.m1.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.5.3.1.1.m1.1c">u&lt;0.5</annotation></semantics></math> with <math id="alg2.6.4.2.2.m2.2" class="ltx_Math" alttext="u\sim\mathcal{U}(0,1)" display="inline"><semantics id="alg2.6.4.2.2.m2.2a"><mrow id="alg2.6.4.2.2.m2.2.3" xref="alg2.6.4.2.2.m2.2.3.cmml"><mi id="alg2.6.4.2.2.m2.2.3.2" xref="alg2.6.4.2.2.m2.2.3.2.cmml">u</mi><mo id="alg2.6.4.2.2.m2.2.3.1" xref="alg2.6.4.2.2.m2.2.3.1.cmml">∼</mo><mrow id="alg2.6.4.2.2.m2.2.3.3" xref="alg2.6.4.2.2.m2.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg2.6.4.2.2.m2.2.3.3.2" xref="alg2.6.4.2.2.m2.2.3.3.2.cmml">𝒰</mi><mo lspace="0em" rspace="0em" id="alg2.6.4.2.2.m2.2.3.3.1" xref="alg2.6.4.2.2.m2.2.3.3.1.cmml">​</mo><mrow id="alg2.6.4.2.2.m2.2.3.3.3.2" xref="alg2.6.4.2.2.m2.2.3.3.3.1.cmml"><mo stretchy="false" id="alg2.6.4.2.2.m2.2.3.3.3.2.1" xref="alg2.6.4.2.2.m2.2.3.3.3.1.cmml">(</mo><mn id="alg2.6.4.2.2.m2.1.1" xref="alg2.6.4.2.2.m2.1.1.cmml">0</mn><mo id="alg2.6.4.2.2.m2.2.3.3.3.2.2" xref="alg2.6.4.2.2.m2.2.3.3.3.1.cmml">,</mo><mn id="alg2.6.4.2.2.m2.2.2" xref="alg2.6.4.2.2.m2.2.2.cmml">1</mn><mo stretchy="false" id="alg2.6.4.2.2.m2.2.3.3.3.2.3" xref="alg2.6.4.2.2.m2.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.6.4.2.2.m2.2b"><apply id="alg2.6.4.2.2.m2.2.3.cmml" xref="alg2.6.4.2.2.m2.2.3"><csymbol cd="latexml" id="alg2.6.4.2.2.m2.2.3.1.cmml" xref="alg2.6.4.2.2.m2.2.3.1">similar-to</csymbol><ci id="alg2.6.4.2.2.m2.2.3.2.cmml" xref="alg2.6.4.2.2.m2.2.3.2">𝑢</ci><apply id="alg2.6.4.2.2.m2.2.3.3.cmml" xref="alg2.6.4.2.2.m2.2.3.3"><times id="alg2.6.4.2.2.m2.2.3.3.1.cmml" xref="alg2.6.4.2.2.m2.2.3.3.1"></times><ci id="alg2.6.4.2.2.m2.2.3.3.2.cmml" xref="alg2.6.4.2.2.m2.2.3.3.2">𝒰</ci><interval closure="open" id="alg2.6.4.2.2.m2.2.3.3.3.1.cmml" xref="alg2.6.4.2.2.m2.2.3.3.3.2"><cn type="integer" id="alg2.6.4.2.2.m2.1.1.cmml" xref="alg2.6.4.2.2.m2.1.1">0</cn><cn type="integer" id="alg2.6.4.2.2.m2.2.2.cmml" xref="alg2.6.4.2.2.m2.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.6.4.2.2.m2.2c">u\sim\mathcal{U}(0,1)</annotation></semantics></math>
<br class="ltx_break">     <math id="alg2.7.5.3.3.m3.4" class="ltx_Math" alttext="\nabla_{U}=(Qh)(Qh)^{T}V-(Q^{-T}v)(Q^{-T}v)^{T}V" display="inline"><semantics id="alg2.7.5.3.3.m3.4a"><mrow id="alg2.7.5.3.3.m3.4.4" xref="alg2.7.5.3.3.m3.4.4.cmml"><msub id="alg2.7.5.3.3.m3.4.4.6" xref="alg2.7.5.3.3.m3.4.4.6.cmml"><mo id="alg2.7.5.3.3.m3.4.4.6.2" xref="alg2.7.5.3.3.m3.4.4.6.2.cmml">∇</mo><mi id="alg2.7.5.3.3.m3.4.4.6.3" xref="alg2.7.5.3.3.m3.4.4.6.3.cmml">U</mi></msub><mo id="alg2.7.5.3.3.m3.4.4.5" xref="alg2.7.5.3.3.m3.4.4.5.cmml">=</mo><mrow id="alg2.7.5.3.3.m3.4.4.4" xref="alg2.7.5.3.3.m3.4.4.4.cmml"><mrow id="alg2.7.5.3.3.m3.2.2.2.2" xref="alg2.7.5.3.3.m3.2.2.2.2.cmml"><mrow id="alg2.7.5.3.3.m3.1.1.1.1.1.1" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg2.7.5.3.3.m3.1.1.1.1.1.1.2" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.cmml"><mi id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.2" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.1" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.3" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg2.7.5.3.3.m3.1.1.1.1.1.1.3" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.2.2.2.2.3" xref="alg2.7.5.3.3.m3.2.2.2.2.3.cmml">​</mo><msup id="alg2.7.5.3.3.m3.2.2.2.2.2" xref="alg2.7.5.3.3.m3.2.2.2.2.2.cmml"><mrow id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.2" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml"><mi id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.2" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.1" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.3" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.3" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mi id="alg2.7.5.3.3.m3.2.2.2.2.2.3" xref="alg2.7.5.3.3.m3.2.2.2.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.2.2.2.2.3a" xref="alg2.7.5.3.3.m3.2.2.2.2.3.cmml">​</mo><mi id="alg2.7.5.3.3.m3.2.2.2.2.4" xref="alg2.7.5.3.3.m3.2.2.2.2.4.cmml">V</mi></mrow><mo id="alg2.7.5.3.3.m3.4.4.4.5" xref="alg2.7.5.3.3.m3.4.4.4.5.cmml">−</mo><mrow id="alg2.7.5.3.3.m3.4.4.4.4" xref="alg2.7.5.3.3.m3.4.4.4.4.cmml"><mrow id="alg2.7.5.3.3.m3.3.3.3.3.1.1" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg2.7.5.3.3.m3.3.3.3.3.1.1.2" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.cmml">(</mo><mrow id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.cmml"><msup id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.cmml"><mi id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.2" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.cmml"><mo id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3a" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.1" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.3" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg2.7.5.3.3.m3.3.3.3.3.1.1.3" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.4.4.4.4.3" xref="alg2.7.5.3.3.m3.4.4.4.4.3.cmml">​</mo><msup id="alg2.7.5.3.3.m3.4.4.4.4.2" xref="alg2.7.5.3.3.m3.4.4.4.4.2.cmml"><mrow id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml"><mo stretchy="false" id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.2" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml">(</mo><mrow id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml"><msup id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.cmml"><mi id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.cmml"><mo id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3a" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.cmml">−</mo><mi id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.1" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.1.cmml">​</mo><mi id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.3" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.3" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml">)</mo></mrow><mi id="alg2.7.5.3.3.m3.4.4.4.4.2.3" xref="alg2.7.5.3.3.m3.4.4.4.4.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg2.7.5.3.3.m3.4.4.4.4.3a" xref="alg2.7.5.3.3.m3.4.4.4.4.3.cmml">​</mo><mi id="alg2.7.5.3.3.m3.4.4.4.4.4" xref="alg2.7.5.3.3.m3.4.4.4.4.4.cmml">V</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.7.5.3.3.m3.4b"><apply id="alg2.7.5.3.3.m3.4.4.cmml" xref="alg2.7.5.3.3.m3.4.4"><eq id="alg2.7.5.3.3.m3.4.4.5.cmml" xref="alg2.7.5.3.3.m3.4.4.5"></eq><apply id="alg2.7.5.3.3.m3.4.4.6.cmml" xref="alg2.7.5.3.3.m3.4.4.6"><csymbol cd="ambiguous" id="alg2.7.5.3.3.m3.4.4.6.1.cmml" xref="alg2.7.5.3.3.m3.4.4.6">subscript</csymbol><ci id="alg2.7.5.3.3.m3.4.4.6.2.cmml" xref="alg2.7.5.3.3.m3.4.4.6.2">∇</ci><ci id="alg2.7.5.3.3.m3.4.4.6.3.cmml" xref="alg2.7.5.3.3.m3.4.4.6.3">𝑈</ci></apply><apply id="alg2.7.5.3.3.m3.4.4.4.cmml" xref="alg2.7.5.3.3.m3.4.4.4"><minus id="alg2.7.5.3.3.m3.4.4.4.5.cmml" xref="alg2.7.5.3.3.m3.4.4.4.5"></minus><apply id="alg2.7.5.3.3.m3.2.2.2.2.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2"><times id="alg2.7.5.3.3.m3.2.2.2.2.3.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.3"></times><apply id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.cmml" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1"><times id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.1.cmml" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.1"></times><ci id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.2.cmml" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.3.cmml" xref="alg2.7.5.3.3.m3.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg2.7.5.3.3.m3.2.2.2.2.2.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.2"><csymbol cd="ambiguous" id="alg2.7.5.3.3.m3.2.2.2.2.2.2.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.2">superscript</csymbol><apply id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1"><times id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.1.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.1"></times><ci id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.2.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.2">𝑄</ci><ci id="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.3.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.2.1.1.1.3">ℎ</ci></apply><ci id="alg2.7.5.3.3.m3.2.2.2.2.2.3.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.2.3">𝑇</ci></apply><ci id="alg2.7.5.3.3.m3.2.2.2.2.4.cmml" xref="alg2.7.5.3.3.m3.2.2.2.2.4">𝑉</ci></apply><apply id="alg2.7.5.3.3.m3.4.4.4.4.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4"><times id="alg2.7.5.3.3.m3.4.4.4.4.3.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.3"></times><apply id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1"><times id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.1.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.1"></times><apply id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.1.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.2.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3"><minus id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.1.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3"></minus><ci id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.3.cmml" xref="alg2.7.5.3.3.m3.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg2.7.5.3.3.m3.4.4.4.4.2.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2"><csymbol cd="ambiguous" id="alg2.7.5.3.3.m3.4.4.4.4.2.2.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2">superscript</csymbol><apply id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1"><times id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.1.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.1"></times><apply id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2"><csymbol cd="ambiguous" id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.1.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2">superscript</csymbol><ci id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2">𝑄</ci><apply id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3"><minus id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.1.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3"></minus><ci id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.3.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.1.1.1.3">𝑣</ci></apply><ci id="alg2.7.5.3.3.m3.4.4.4.4.2.3.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.2.3">𝑇</ci></apply><ci id="alg2.7.5.3.3.m3.4.4.4.4.4.cmml" xref="alg2.7.5.3.3.m3.4.4.4.4.4">𝑉</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.7.5.3.3.m3.4c">\nabla_{U}=(Qh)(Qh)^{T}V-(Q^{-T}v)(Q^{-T}v)^{T}V</annotation></semantics></math>
<br class="ltx_break">     <math id="alg2.8.6.4.4.m4.3" class="ltx_Math" alttext="U\leftarrow U-\mu_{2}\|\nabla_{U}V^{T}\|^{-1}\nabla_{U}(I+V^{T}U)" display="inline"><semantics id="alg2.8.6.4.4.m4.3a"><mrow id="alg2.8.6.4.4.m4.3.3" xref="alg2.8.6.4.4.m4.3.3.cmml"><mi id="alg2.8.6.4.4.m4.3.3.5" xref="alg2.8.6.4.4.m4.3.3.5.cmml">U</mi><mo stretchy="false" id="alg2.8.6.4.4.m4.3.3.4" xref="alg2.8.6.4.4.m4.3.3.4.cmml">←</mo><mrow id="alg2.8.6.4.4.m4.3.3.3" xref="alg2.8.6.4.4.m4.3.3.3.cmml"><mi id="alg2.8.6.4.4.m4.3.3.3.5" xref="alg2.8.6.4.4.m4.3.3.3.5.cmml">U</mi><mo id="alg2.8.6.4.4.m4.3.3.3.4" xref="alg2.8.6.4.4.m4.3.3.3.4.cmml">−</mo><mrow id="alg2.8.6.4.4.m4.3.3.3.3" xref="alg2.8.6.4.4.m4.3.3.3.3.cmml"><msub id="alg2.8.6.4.4.m4.3.3.3.3.5" xref="alg2.8.6.4.4.m4.3.3.3.3.5.cmml"><mi id="alg2.8.6.4.4.m4.3.3.3.3.5.2" xref="alg2.8.6.4.4.m4.3.3.3.3.5.2.cmml">μ</mi><mn id="alg2.8.6.4.4.m4.3.3.3.3.5.3" xref="alg2.8.6.4.4.m4.3.3.3.3.5.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="alg2.8.6.4.4.m4.3.3.3.3.4" xref="alg2.8.6.4.4.m4.3.3.3.3.4.cmml">​</mo><msup id="alg2.8.6.4.4.m4.1.1.1.1.1" xref="alg2.8.6.4.4.m4.1.1.1.1.1.cmml"><mrow id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.2" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.cmml"><msub id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3.cmml">U</mi></msub><msup id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.cmml"><mi id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2.cmml">V</mi><mi id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.3" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mrow id="alg2.8.6.4.4.m4.1.1.1.1.1.3" xref="alg2.8.6.4.4.m4.1.1.1.1.1.3.cmml"><mo id="alg2.8.6.4.4.m4.1.1.1.1.1.3a" xref="alg2.8.6.4.4.m4.1.1.1.1.1.3.cmml">−</mo><mn id="alg2.8.6.4.4.m4.1.1.1.1.1.3.2" xref="alg2.8.6.4.4.m4.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0.167em" rspace="0em" id="alg2.8.6.4.4.m4.3.3.3.3.4a" xref="alg2.8.6.4.4.m4.3.3.3.3.4.cmml">​</mo><mrow id="alg2.8.6.4.4.m4.3.3.3.3.3.2" xref="alg2.8.6.4.4.m4.3.3.3.3.3.3.cmml"><msub id="alg2.8.6.4.4.m4.2.2.2.2.2.1.1" xref="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.cmml"><mo id="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.2" xref="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.2.cmml">∇</mo><mi id="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.3" xref="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.3.cmml">U</mi></msub><mrow id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2" xref="alg2.8.6.4.4.m4.3.3.3.3.3.3.cmml"><mo stretchy="false" id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.2" xref="alg2.8.6.4.4.m4.3.3.3.3.3.3.cmml">(</mo><mrow id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.cmml"><mi id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.2" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.2.cmml">I</mi><mo id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.1" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.1.cmml">+</mo><mrow id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.cmml"><msup id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.cmml"><mi id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2.cmml">V</mi><mi id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1.cmml">​</mo><mi id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.3" xref="alg2.8.6.4.4.m4.3.3.3.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.8.6.4.4.m4.3b"><apply id="alg2.8.6.4.4.m4.3.3.cmml" xref="alg2.8.6.4.4.m4.3.3"><ci id="alg2.8.6.4.4.m4.3.3.4.cmml" xref="alg2.8.6.4.4.m4.3.3.4">←</ci><ci id="alg2.8.6.4.4.m4.3.3.5.cmml" xref="alg2.8.6.4.4.m4.3.3.5">𝑈</ci><apply id="alg2.8.6.4.4.m4.3.3.3.cmml" xref="alg2.8.6.4.4.m4.3.3.3"><minus id="alg2.8.6.4.4.m4.3.3.3.4.cmml" xref="alg2.8.6.4.4.m4.3.3.3.4"></minus><ci id="alg2.8.6.4.4.m4.3.3.3.5.cmml" xref="alg2.8.6.4.4.m4.3.3.3.5">𝑈</ci><apply id="alg2.8.6.4.4.m4.3.3.3.3.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3"><times id="alg2.8.6.4.4.m4.3.3.3.3.4.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.4"></times><apply id="alg2.8.6.4.4.m4.3.3.3.3.5.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.5"><csymbol cd="ambiguous" id="alg2.8.6.4.4.m4.3.3.3.3.5.1.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.5">subscript</csymbol><ci id="alg2.8.6.4.4.m4.3.3.3.3.5.2.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.5.2">𝜇</ci><cn type="integer" id="alg2.8.6.4.4.m4.3.3.3.3.5.3.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.5.3">2</cn></apply><apply id="alg2.8.6.4.4.m4.1.1.1.1.1.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1"><csymbol cd="ambiguous" id="alg2.8.6.4.4.m4.1.1.1.1.1.2.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1">superscript</csymbol><apply id="alg2.8.6.4.4.m4.1.1.1.1.1.1.2.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1"><csymbol cd="latexml" id="alg2.8.6.4.4.m4.1.1.1.1.1.1.2.1.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.2">norm</csymbol><apply id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1"><apply id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.1.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2">∇</ci><ci id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3">𝑈</ci></apply><apply id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.1.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2">𝑉</ci><ci id="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3">𝑇</ci></apply></apply></apply><apply id="alg2.8.6.4.4.m4.1.1.1.1.1.3.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.3"><minus id="alg2.8.6.4.4.m4.1.1.1.1.1.3.1.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.3"></minus><cn type="integer" id="alg2.8.6.4.4.m4.1.1.1.1.1.3.2.cmml" xref="alg2.8.6.4.4.m4.1.1.1.1.1.3.2">1</cn></apply></apply><apply id="alg2.8.6.4.4.m4.3.3.3.3.3.3.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2"><apply id="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.cmml" xref="alg2.8.6.4.4.m4.2.2.2.2.2.1.1"><csymbol cd="ambiguous" id="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.1.cmml" xref="alg2.8.6.4.4.m4.2.2.2.2.2.1.1">subscript</csymbol><ci id="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.2.cmml" xref="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.2">∇</ci><ci id="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.3.cmml" xref="alg2.8.6.4.4.m4.2.2.2.2.2.1.1.3">𝑈</ci></apply><apply id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1"><plus id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.1.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.1"></plus><ci id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.2.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.2">𝐼</ci><apply id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3"><times id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1"></times><apply id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2"><csymbol cd="ambiguous" id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.1.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2">superscript</csymbol><ci id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2">𝑉</ci><ci id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3">𝑇</ci></apply><ci id="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3.cmml" xref="alg2.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3">𝑈</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.8.6.4.4.m4.3c">U\leftarrow U-\mu_{2}\|\nabla_{U}V^{T}\|^{-1}\nabla_{U}(I+V^{T}U)</annotation></semantics></math>
<br class="ltx_break"></span>Else<span id="alg2.10.8.6.6" class="ltx_text ltx_font_medium"> 
<br class="ltx_break">
     <math id="alg2.9.7.5.5.m1.4" class="ltx_Math" alttext="\nabla_{V}=(Qh)(Qh)^{T}U-(Q^{-T}v)(Q^{-T}v)^{T}U" display="inline"><semantics id="alg2.9.7.5.5.m1.4a"><mrow id="alg2.9.7.5.5.m1.4.4" xref="alg2.9.7.5.5.m1.4.4.cmml"><msub id="alg2.9.7.5.5.m1.4.4.6" xref="alg2.9.7.5.5.m1.4.4.6.cmml"><mo id="alg2.9.7.5.5.m1.4.4.6.2" xref="alg2.9.7.5.5.m1.4.4.6.2.cmml">∇</mo><mi id="alg2.9.7.5.5.m1.4.4.6.3" xref="alg2.9.7.5.5.m1.4.4.6.3.cmml">V</mi></msub><mo id="alg2.9.7.5.5.m1.4.4.5" xref="alg2.9.7.5.5.m1.4.4.5.cmml">=</mo><mrow id="alg2.9.7.5.5.m1.4.4.4" xref="alg2.9.7.5.5.m1.4.4.4.cmml"><mrow id="alg2.9.7.5.5.m1.2.2.2.2" xref="alg2.9.7.5.5.m1.2.2.2.2.cmml"><mrow id="alg2.9.7.5.5.m1.1.1.1.1.1.1" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg2.9.7.5.5.m1.1.1.1.1.1.1.2" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.cmml"><mi id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.2" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.1" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.3" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg2.9.7.5.5.m1.1.1.1.1.1.1.3" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.2.2.2.2.3" xref="alg2.9.7.5.5.m1.2.2.2.2.3.cmml">​</mo><msup id="alg2.9.7.5.5.m1.2.2.2.2.2" xref="alg2.9.7.5.5.m1.2.2.2.2.2.cmml"><mrow id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.2" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml"><mi id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.2" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.1" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.3" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.3" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mi id="alg2.9.7.5.5.m1.2.2.2.2.2.3" xref="alg2.9.7.5.5.m1.2.2.2.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.2.2.2.2.3a" xref="alg2.9.7.5.5.m1.2.2.2.2.3.cmml">​</mo><mi id="alg2.9.7.5.5.m1.2.2.2.2.4" xref="alg2.9.7.5.5.m1.2.2.2.2.4.cmml">U</mi></mrow><mo id="alg2.9.7.5.5.m1.4.4.4.5" xref="alg2.9.7.5.5.m1.4.4.4.5.cmml">−</mo><mrow id="alg2.9.7.5.5.m1.4.4.4.4" xref="alg2.9.7.5.5.m1.4.4.4.4.cmml"><mrow id="alg2.9.7.5.5.m1.3.3.3.3.1.1" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg2.9.7.5.5.m1.3.3.3.3.1.1.2" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.cmml">(</mo><mrow id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.cmml"><msup id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.cmml"><mi id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.2" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.cmml"><mo id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3a" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.1" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.3" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg2.9.7.5.5.m1.3.3.3.3.1.1.3" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.4.4.4.4.3" xref="alg2.9.7.5.5.m1.4.4.4.4.3.cmml">​</mo><msup id="alg2.9.7.5.5.m1.4.4.4.4.2" xref="alg2.9.7.5.5.m1.4.4.4.4.2.cmml"><mrow id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml"><mo stretchy="false" id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.2" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml">(</mo><mrow id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml"><msup id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.cmml"><mi id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.cmml"><mo id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3a" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.cmml">−</mo><mi id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.1" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.1.cmml">​</mo><mi id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.3" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.3" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml">)</mo></mrow><mi id="alg2.9.7.5.5.m1.4.4.4.4.2.3" xref="alg2.9.7.5.5.m1.4.4.4.4.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg2.9.7.5.5.m1.4.4.4.4.3a" xref="alg2.9.7.5.5.m1.4.4.4.4.3.cmml">​</mo><mi id="alg2.9.7.5.5.m1.4.4.4.4.4" xref="alg2.9.7.5.5.m1.4.4.4.4.4.cmml">U</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.9.7.5.5.m1.4b"><apply id="alg2.9.7.5.5.m1.4.4.cmml" xref="alg2.9.7.5.5.m1.4.4"><eq id="alg2.9.7.5.5.m1.4.4.5.cmml" xref="alg2.9.7.5.5.m1.4.4.5"></eq><apply id="alg2.9.7.5.5.m1.4.4.6.cmml" xref="alg2.9.7.5.5.m1.4.4.6"><csymbol cd="ambiguous" id="alg2.9.7.5.5.m1.4.4.6.1.cmml" xref="alg2.9.7.5.5.m1.4.4.6">subscript</csymbol><ci id="alg2.9.7.5.5.m1.4.4.6.2.cmml" xref="alg2.9.7.5.5.m1.4.4.6.2">∇</ci><ci id="alg2.9.7.5.5.m1.4.4.6.3.cmml" xref="alg2.9.7.5.5.m1.4.4.6.3">𝑉</ci></apply><apply id="alg2.9.7.5.5.m1.4.4.4.cmml" xref="alg2.9.7.5.5.m1.4.4.4"><minus id="alg2.9.7.5.5.m1.4.4.4.5.cmml" xref="alg2.9.7.5.5.m1.4.4.4.5"></minus><apply id="alg2.9.7.5.5.m1.2.2.2.2.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2"><times id="alg2.9.7.5.5.m1.2.2.2.2.3.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.3"></times><apply id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.cmml" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1"><times id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.1.cmml" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.1"></times><ci id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.2.cmml" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.3.cmml" xref="alg2.9.7.5.5.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg2.9.7.5.5.m1.2.2.2.2.2.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.2"><csymbol cd="ambiguous" id="alg2.9.7.5.5.m1.2.2.2.2.2.2.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.2">superscript</csymbol><apply id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1"><times id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.1.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.1"></times><ci id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.2.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.2">𝑄</ci><ci id="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.3.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.2.1.1.1.3">ℎ</ci></apply><ci id="alg2.9.7.5.5.m1.2.2.2.2.2.3.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.2.3">𝑇</ci></apply><ci id="alg2.9.7.5.5.m1.2.2.2.2.4.cmml" xref="alg2.9.7.5.5.m1.2.2.2.2.4">𝑈</ci></apply><apply id="alg2.9.7.5.5.m1.4.4.4.4.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4"><times id="alg2.9.7.5.5.m1.4.4.4.4.3.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.3"></times><apply id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1"><times id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.1.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.1"></times><apply id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.1.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.2.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3"><minus id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.1.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3"></minus><ci id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.3.cmml" xref="alg2.9.7.5.5.m1.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg2.9.7.5.5.m1.4.4.4.4.2.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2"><csymbol cd="ambiguous" id="alg2.9.7.5.5.m1.4.4.4.4.2.2.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2">superscript</csymbol><apply id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1"><times id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.1.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.1"></times><apply id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2"><csymbol cd="ambiguous" id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.1.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2">superscript</csymbol><ci id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2">𝑄</ci><apply id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3"><minus id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.1.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3"></minus><ci id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.3.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.1.1.1.3">𝑣</ci></apply><ci id="alg2.9.7.5.5.m1.4.4.4.4.2.3.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.2.3">𝑇</ci></apply><ci id="alg2.9.7.5.5.m1.4.4.4.4.4.cmml" xref="alg2.9.7.5.5.m1.4.4.4.4.4">𝑈</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.9.7.5.5.m1.4c">\nabla_{V}=(Qh)(Qh)^{T}U-(Q^{-T}v)(Q^{-T}v)^{T}U</annotation></semantics></math>
<br class="ltx_break">
     <math id="alg2.10.8.6.6.m2.2" class="ltx_Math" alttext="V\leftarrow V-\mu_{2}\|U\nabla_{V}^{T}\|^{-1}(I+VU^{T})\nabla_{V}" display="inline"><semantics id="alg2.10.8.6.6.m2.2a"><mrow id="alg2.10.8.6.6.m2.2.2" xref="alg2.10.8.6.6.m2.2.2.cmml"><mi id="alg2.10.8.6.6.m2.2.2.4" xref="alg2.10.8.6.6.m2.2.2.4.cmml">V</mi><mo stretchy="false" id="alg2.10.8.6.6.m2.2.2.3" xref="alg2.10.8.6.6.m2.2.2.3.cmml">←</mo><mrow id="alg2.10.8.6.6.m2.2.2.2" xref="alg2.10.8.6.6.m2.2.2.2.cmml"><mi id="alg2.10.8.6.6.m2.2.2.2.4" xref="alg2.10.8.6.6.m2.2.2.2.4.cmml">V</mi><mo id="alg2.10.8.6.6.m2.2.2.2.3" xref="alg2.10.8.6.6.m2.2.2.2.3.cmml">−</mo><mrow id="alg2.10.8.6.6.m2.2.2.2.2" xref="alg2.10.8.6.6.m2.2.2.2.2.cmml"><msub id="alg2.10.8.6.6.m2.2.2.2.2.4" xref="alg2.10.8.6.6.m2.2.2.2.2.4.cmml"><mi id="alg2.10.8.6.6.m2.2.2.2.2.4.2" xref="alg2.10.8.6.6.m2.2.2.2.2.4.2.cmml">μ</mi><mn id="alg2.10.8.6.6.m2.2.2.2.2.4.3" xref="alg2.10.8.6.6.m2.2.2.2.2.4.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="alg2.10.8.6.6.m2.2.2.2.2.3" xref="alg2.10.8.6.6.m2.2.2.2.2.3.cmml">​</mo><msup id="alg2.10.8.6.6.m2.1.1.1.1.1" xref="alg2.10.8.6.6.m2.1.1.1.1.1.cmml"><mrow id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.2" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.cmml"><mi id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.2" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.2.cmml">U</mi><mo lspace="0.167em" rspace="0em" id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.1" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.1.cmml">​</mo><msubsup id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.cmml"><mo id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2.cmml">∇</mo><mi id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3.cmml">V</mi><mi id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3.cmml">T</mi></msubsup></mrow><mo stretchy="false" id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.3" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mrow id="alg2.10.8.6.6.m2.1.1.1.1.1.3" xref="alg2.10.8.6.6.m2.1.1.1.1.1.3.cmml"><mo id="alg2.10.8.6.6.m2.1.1.1.1.1.3a" xref="alg2.10.8.6.6.m2.1.1.1.1.1.3.cmml">−</mo><mn id="alg2.10.8.6.6.m2.1.1.1.1.1.3.2" xref="alg2.10.8.6.6.m2.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg2.10.8.6.6.m2.2.2.2.2.3a" xref="alg2.10.8.6.6.m2.2.2.2.2.3.cmml">​</mo><mrow id="alg2.10.8.6.6.m2.2.2.2.2.2.1" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="alg2.10.8.6.6.m2.2.2.2.2.2.1.2" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.cmml">(</mo><mrow id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.cmml"><mi id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.2" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.2.cmml">I</mi><mo id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.1" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.1.cmml">+</mo><mrow id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.cmml"><mi id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.2" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.1" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.1.cmml">​</mo><msup id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.cmml"><mi id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2.cmml">U</mi><mi id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="alg2.10.8.6.6.m2.2.2.2.2.2.1.3" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.cmml">)</mo></mrow><mo lspace="0.167em" rspace="0em" id="alg2.10.8.6.6.m2.2.2.2.2.3b" xref="alg2.10.8.6.6.m2.2.2.2.2.3.cmml">​</mo><msub id="alg2.10.8.6.6.m2.2.2.2.2.5" xref="alg2.10.8.6.6.m2.2.2.2.2.5.cmml"><mo id="alg2.10.8.6.6.m2.2.2.2.2.5.2" xref="alg2.10.8.6.6.m2.2.2.2.2.5.2.cmml">∇</mo><mi id="alg2.10.8.6.6.m2.2.2.2.2.5.3" xref="alg2.10.8.6.6.m2.2.2.2.2.5.3.cmml">V</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.10.8.6.6.m2.2b"><apply id="alg2.10.8.6.6.m2.2.2.cmml" xref="alg2.10.8.6.6.m2.2.2"><ci id="alg2.10.8.6.6.m2.2.2.3.cmml" xref="alg2.10.8.6.6.m2.2.2.3">←</ci><ci id="alg2.10.8.6.6.m2.2.2.4.cmml" xref="alg2.10.8.6.6.m2.2.2.4">𝑉</ci><apply id="alg2.10.8.6.6.m2.2.2.2.cmml" xref="alg2.10.8.6.6.m2.2.2.2"><minus id="alg2.10.8.6.6.m2.2.2.2.3.cmml" xref="alg2.10.8.6.6.m2.2.2.2.3"></minus><ci id="alg2.10.8.6.6.m2.2.2.2.4.cmml" xref="alg2.10.8.6.6.m2.2.2.2.4">𝑉</ci><apply id="alg2.10.8.6.6.m2.2.2.2.2.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2"><times id="alg2.10.8.6.6.m2.2.2.2.2.3.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.3"></times><apply id="alg2.10.8.6.6.m2.2.2.2.2.4.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.4"><csymbol cd="ambiguous" id="alg2.10.8.6.6.m2.2.2.2.2.4.1.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.4">subscript</csymbol><ci id="alg2.10.8.6.6.m2.2.2.2.2.4.2.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.4.2">𝜇</ci><cn type="integer" id="alg2.10.8.6.6.m2.2.2.2.2.4.3.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.4.3">2</cn></apply><apply id="alg2.10.8.6.6.m2.1.1.1.1.1.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="alg2.10.8.6.6.m2.1.1.1.1.1.2.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1">superscript</csymbol><apply id="alg2.10.8.6.6.m2.1.1.1.1.1.1.2.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="alg2.10.8.6.6.m2.1.1.1.1.1.1.2.1.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.2">norm</csymbol><apply id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1"><times id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.1.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.1"></times><ci id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.2.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.2">𝑈</ci><apply id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.1.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2">∇</ci><ci id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3">𝑉</ci></apply><ci id="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply><apply id="alg2.10.8.6.6.m2.1.1.1.1.1.3.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.3"><minus id="alg2.10.8.6.6.m2.1.1.1.1.1.3.1.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.3"></minus><cn type="integer" id="alg2.10.8.6.6.m2.1.1.1.1.1.3.2.cmml" xref="alg2.10.8.6.6.m2.1.1.1.1.1.3.2">1</cn></apply></apply><apply id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1"><plus id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.1.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.1"></plus><ci id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.2.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.2">𝐼</ci><apply id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3"><times id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.1.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.1"></times><ci id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.2.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.2">𝑉</ci><apply id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.1.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3">superscript</csymbol><ci id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2">𝑈</ci><ci id="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="alg2.10.8.6.6.m2.2.2.2.2.5.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.5"><csymbol cd="ambiguous" id="alg2.10.8.6.6.m2.2.2.2.2.5.1.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.5">subscript</csymbol><ci id="alg2.10.8.6.6.m2.2.2.2.2.5.2.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.5.2">∇</ci><ci id="alg2.10.8.6.6.m2.2.2.2.2.5.3.cmml" xref="alg2.10.8.6.6.m2.2.2.2.2.5.3">𝑉</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.10.8.6.6.m2.2c">V\leftarrow V-\mu_{2}\|U\nabla_{V}^{T}\|^{-1}(I+VU^{T})\nabla_{V}</annotation></semantics></math>
<br class="ltx_break"> </span>Return<span id="alg2.11.9.7.7" class="ltx_text ltx_font_medium"> <math id="alg2.11.9.7.7.m1.2" class="ltx_Math" alttext="Q=(I+UV^{T}){\rm diag}(d)" display="inline"><semantics id="alg2.11.9.7.7.m1.2a"><mrow id="alg2.11.9.7.7.m1.2.2" xref="alg2.11.9.7.7.m1.2.2.cmml"><mi id="alg2.11.9.7.7.m1.2.2.3" xref="alg2.11.9.7.7.m1.2.2.3.cmml">Q</mi><mo id="alg2.11.9.7.7.m1.2.2.2" xref="alg2.11.9.7.7.m1.2.2.2.cmml">=</mo><mrow id="alg2.11.9.7.7.m1.2.2.1" xref="alg2.11.9.7.7.m1.2.2.1.cmml"><mrow id="alg2.11.9.7.7.m1.2.2.1.1.1" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="alg2.11.9.7.7.m1.2.2.1.1.1.2" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="alg2.11.9.7.7.m1.2.2.1.1.1.1" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.cmml"><mi id="alg2.11.9.7.7.m1.2.2.1.1.1.1.2" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.2.cmml">I</mi><mo id="alg2.11.9.7.7.m1.2.2.1.1.1.1.1" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.1.cmml">+</mo><mrow id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.cmml"><mi id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.2" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.1" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.1.cmml">​</mo><msup id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.cmml"><mi id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.2" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.2.cmml">V</mi><mi id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.3" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="alg2.11.9.7.7.m1.2.2.1.1.1.3" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg2.11.9.7.7.m1.2.2.1.2" xref="alg2.11.9.7.7.m1.2.2.1.2.cmml">​</mo><mi id="alg2.11.9.7.7.m1.2.2.1.3" xref="alg2.11.9.7.7.m1.2.2.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="alg2.11.9.7.7.m1.2.2.1.2a" xref="alg2.11.9.7.7.m1.2.2.1.2.cmml">​</mo><mrow id="alg2.11.9.7.7.m1.2.2.1.4.2" xref="alg2.11.9.7.7.m1.2.2.1.cmml"><mo stretchy="false" id="alg2.11.9.7.7.m1.2.2.1.4.2.1" xref="alg2.11.9.7.7.m1.2.2.1.cmml">(</mo><mi id="alg2.11.9.7.7.m1.1.1" xref="alg2.11.9.7.7.m1.1.1.cmml">d</mi><mo stretchy="false" id="alg2.11.9.7.7.m1.2.2.1.4.2.2" xref="alg2.11.9.7.7.m1.2.2.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg2.11.9.7.7.m1.2b"><apply id="alg2.11.9.7.7.m1.2.2.cmml" xref="alg2.11.9.7.7.m1.2.2"><eq id="alg2.11.9.7.7.m1.2.2.2.cmml" xref="alg2.11.9.7.7.m1.2.2.2"></eq><ci id="alg2.11.9.7.7.m1.2.2.3.cmml" xref="alg2.11.9.7.7.m1.2.2.3">𝑄</ci><apply id="alg2.11.9.7.7.m1.2.2.1.cmml" xref="alg2.11.9.7.7.m1.2.2.1"><times id="alg2.11.9.7.7.m1.2.2.1.2.cmml" xref="alg2.11.9.7.7.m1.2.2.1.2"></times><apply id="alg2.11.9.7.7.m1.2.2.1.1.1.1.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1"><plus id="alg2.11.9.7.7.m1.2.2.1.1.1.1.1.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.1"></plus><ci id="alg2.11.9.7.7.m1.2.2.1.1.1.1.2.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.2">𝐼</ci><apply id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3"><times id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.1.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.1"></times><ci id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.2.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.2">𝑈</ci><apply id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.1.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3">superscript</csymbol><ci id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.2.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.2">𝑉</ci><ci id="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.3.cmml" xref="alg2.11.9.7.7.m1.2.2.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="alg2.11.9.7.7.m1.2.2.1.3.cmml" xref="alg2.11.9.7.7.m1.2.2.1.3">diag</ci><ci id="alg2.11.9.7.7.m1.1.1.cmml" xref="alg2.11.9.7.7.m1.1.1">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg2.11.9.7.7.m1.2c">Q=(I+UV^{T}){\rm diag}(d)</annotation></semantics></math></span></span></span></p>
</figure>
</section>
<section id="S5" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">5 </span>Empirical Results</h2>

<div id="S5.p1" class="ltx_para">
<p id="S5.p1.1" class="ltx_p">In this work, we evaluate the performance of the PSGD algorithm on a diverse set of tasks. First we consider two toy problems, Rosenbrock objective minimization to show quadratic convergence of PSGD, as well as using a LeNet5 <cite class="ltx_cite ltx_citemacro_citep">[Lecun et al., <a href="#bib.bib23" title="" class="ltx_ref">1998</a>]</cite> (see Figure <a href="#S5.F1.sf2" title="Figure 1(b) ‣ Figure 1 ‣ 5.1 Performance Study with Toy Examples ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1(b)</span></a> &amp; Table <a href="#A11.T13" title="Table 13 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">13</span></a>) for MNIST <cite class="ltx_cite ltx_citemacro_citep">[LeCun and Cortes, <a href="#bib.bib24" title="" class="ltx_ref">2010</a>]</cite> digit recognition for studying the generalization property of PSGD.</p>
</div>
<div id="S5.p2" class="ltx_para">
<p id="S5.p2.1" class="ltx_p">Next, we benchmark more large-scale vision, natural language processing (NLP), &amp; reinforcement learning (RL) tasks. For each task we benchmark PSGD vs the leading SoTA optimizers. In the domain of computer vision, we evaluate algorithm performance on the MNIST dataset via convex large-scale logistic regression (see Appendix <a href="#A11.SS6" title="K.6 A Large-Scale Logistic Regression Problem ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.6</span></a>). Additionally we consider the CIFAR10 (CF10) <cite class="ltx_cite ltx_citemacro_citep">[Krizhevsky, <a href="#bib.bib21" title="" class="ltx_ref">2009</a>]</cite> &amp; CF10 derived datasets, namely noisy labels, blur-deficit, adversarial attacks, &amp; class imbalances, (see Figure <a href="#S5.F2.sf1" title="Figure 2(a) ‣ Figure 2 ‣ 5.2 CIFAR-10 and Friends on ResNet18 ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2(a)</span></a> &amp; Table <a href="#A11.T15" title="Table 15 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a>) with ResNet18 (RN18) to explore generalization performance.
For NLP tasks, we study the use of LSTMs <cite class="ltx_cite ltx_citemacro_citep">[Hochreiter and Schmidhuber, <a href="#bib.bib14" title="" class="ltx_ref">1997</a>]</cite> &amp; GPT-2 style transformers <cite class="ltx_cite ltx_citemacro_citep">[Radford et al., <a href="#bib.bib38" title="" class="ltx_ref">2019</a>]</cite>, on various text corpora, including the Penn Treebank <cite class="ltx_cite ltx_citemacro_citep">[Marcus et al., <a href="#bib.bib28" title="" class="ltx_ref">1993</a>]</cite>, the complete works of Shakespeare, &amp; the Open Web Text (OWT) dataset <cite class="ltx_cite ltx_citemacro_citep">[Gokaslan and Cohen, <a href="#bib.bib11" title="" class="ltx_ref">2019</a>]</cite> (see Table <a href="#A11.T17" title="Table 17 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">17</span></a> &amp; <a href="#S5.T1" title="Table 1 ‣ 5.3 Language Modeling: nanoGPT ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>). In the RL setting, we consider a Proximal Policy Optimization (PPO) <cite class="ltx_cite ltx_citemacro_citep">[Schulman et al., <a href="#bib.bib41" title="" class="ltx_ref">2017</a>]</cite> applied to the HalfCheetah &amp; RoboWalker environments using OpenAI’s gym environments <cite class="ltx_cite ltx_citemacro_citep">[Brockman et al., <a href="#bib.bib5" title="" class="ltx_ref">2016</a>]</cite> (see Fig. <a href="#A11.F5" title="Figure 5 ‣ K.1 RL Problems ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a>).</p>
</div>
<div id="S5.p3" class="ltx_para">
<p id="S5.p3.1" class="ltx_p">To provide insight into the fundamental differences between SGD &amp; PSGD, we perform uncertainty &amp; forgettability analysis <cite class="ltx_cite ltx_citemacro_citep">[Toneva et al., <a href="#bib.bib42" title="" class="ltx_ref">2018</a>]</cite>.
Finally, we examine the pathological delayed XOR problem, first introduced in <cite class="ltx_cite ltx_citemacro_citet">Hochreiter and Schmidhuber [<a href="#bib.bib14" title="" class="ltx_ref">1997</a>]</cite>, in order to further our understanding of the strengths &amp; limitations of different optimization methods.</p>
</div>
<section id="S5.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.1 </span>Performance Study with Toy Examples</h3>

<figure id="S5.F1" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_3">
<figure id="S5.F1.sf1" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/Figs/rosen.png" id="S5.F1.sf1.g1" class="ltx_graphics ltx_img_landscape" width="598" height="431" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="S5.F1.sf1.2.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span><span id="S5.F1.sf1.3.2" class="ltx_text" style="font-size:90%;">Rosenbrock objective minimization</span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_3">
<figure id="S5.F1.sf2" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/Figs/how_psgd_generalize_.png" id="S5.F1.sf2.g1" class="ltx_graphics ltx_img_square" width="598" height="614" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="S5.F1.sf2.2.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span><span id="S5.F1.sf2.3.2" class="ltx_text" style="font-size:90%;"> LeNet5 minima pair</span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_3">
<figure id="S5.F1.sf3" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/Figs/psgd_neumerical_stability.png" id="S5.F1.sf3.g1" class="ltx_graphics ltx_img_landscape" width="598" height="399" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="S5.F1.sf3.2.1.1" class="ltx_text" style="font-size:90%;">(c)</span> </span><span id="S5.F1.sf3.3.2" class="ltx_text" style="font-size:90%;">PSGD excels in bfloat16</span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S5.F1.2.1.1" class="ltx_text" style="font-size:90%;">Figure 1</span>: </span><span id="S5.F1.3.2" class="ltx_text" style="font-size:90%;">(a) Rosenbrock objective minimization comparison among PSGD &amp; its competitors. Only PSGD shows a clear quadratic convergence curve. (b) MNIST hand written digit recognition with LeNet5. Hessians at the minima of Adam are estimated with a dummy LRA PSGD optimizer that only updates the preconditioner.
(c) PSGD is able to significantly outperform closed form solutions for curvature at bfloat16. This exemplifies the stability of our method.
</span></figcaption>
</figure>
<div id="S5.SS1.p1" class="ltx_para">
<p id="S5.SS1.p1.4" class="ltx_p"><span id="S5.SS1.p1.4.1" class="ltx_text ltx_font_bold">Quadratic Convergence: </span> The first toy example is the minimization of the Rosenbrock function demonstrating the recovery of curvature information by PSGD.
As shown by Proposition <a href="#S3.Thmprop1" title="Proposition 3.1. ‣ 3.1 Properties and Convergence of PSGD ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a>, preconditioner <math id="S5.SS1.p1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="S5.SS1.p1.1.m1.1a"><mi id="S5.SS1.p1.1.m1.1.1" xref="S5.SS1.p1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.1.m1.1b"><ci id="S5.SS1.p1.1.m1.1.1.cmml" xref="S5.SS1.p1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.1.m1.1c">P</annotation></semantics></math> follows <math id="S5.SS1.p1.2.m2.1" class="ltx_Math" alttext="(H^{T}H)^{-1/2}" display="inline"><semantics id="S5.SS1.p1.2.m2.1a"><msup id="S5.SS1.p1.2.m2.1.1" xref="S5.SS1.p1.2.m2.1.1.cmml"><mrow id="S5.SS1.p1.2.m2.1.1.1.1" xref="S5.SS1.p1.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="S5.SS1.p1.2.m2.1.1.1.1.2" xref="S5.SS1.p1.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS1.p1.2.m2.1.1.1.1.1" xref="S5.SS1.p1.2.m2.1.1.1.1.1.cmml"><msup id="S5.SS1.p1.2.m2.1.1.1.1.1.2" xref="S5.SS1.p1.2.m2.1.1.1.1.1.2.cmml"><mi id="S5.SS1.p1.2.m2.1.1.1.1.1.2.2" xref="S5.SS1.p1.2.m2.1.1.1.1.1.2.2.cmml">H</mi><mi id="S5.SS1.p1.2.m2.1.1.1.1.1.2.3" xref="S5.SS1.p1.2.m2.1.1.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="S5.SS1.p1.2.m2.1.1.1.1.1.1" xref="S5.SS1.p1.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="S5.SS1.p1.2.m2.1.1.1.1.1.3" xref="S5.SS1.p1.2.m2.1.1.1.1.1.3.cmml">H</mi></mrow><mo stretchy="false" id="S5.SS1.p1.2.m2.1.1.1.1.3" xref="S5.SS1.p1.2.m2.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S5.SS1.p1.2.m2.1.1.3" xref="S5.SS1.p1.2.m2.1.1.3.cmml"><mo id="S5.SS1.p1.2.m2.1.1.3a" xref="S5.SS1.p1.2.m2.1.1.3.cmml">−</mo><mrow id="S5.SS1.p1.2.m2.1.1.3.2" xref="S5.SS1.p1.2.m2.1.1.3.2.cmml"><mn id="S5.SS1.p1.2.m2.1.1.3.2.2" xref="S5.SS1.p1.2.m2.1.1.3.2.2.cmml">1</mn><mo id="S5.SS1.p1.2.m2.1.1.3.2.1" xref="S5.SS1.p1.2.m2.1.1.3.2.1.cmml">/</mo><mn id="S5.SS1.p1.2.m2.1.1.3.2.3" xref="S5.SS1.p1.2.m2.1.1.3.2.3.cmml">2</mn></mrow></mrow></msup><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.2.m2.1b"><apply id="S5.SS1.p1.2.m2.1.1.cmml" xref="S5.SS1.p1.2.m2.1.1"><csymbol cd="ambiguous" id="S5.SS1.p1.2.m2.1.1.2.cmml" xref="S5.SS1.p1.2.m2.1.1">superscript</csymbol><apply id="S5.SS1.p1.2.m2.1.1.1.1.1.cmml" xref="S5.SS1.p1.2.m2.1.1.1.1"><times id="S5.SS1.p1.2.m2.1.1.1.1.1.1.cmml" xref="S5.SS1.p1.2.m2.1.1.1.1.1.1"></times><apply id="S5.SS1.p1.2.m2.1.1.1.1.1.2.cmml" xref="S5.SS1.p1.2.m2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S5.SS1.p1.2.m2.1.1.1.1.1.2.1.cmml" xref="S5.SS1.p1.2.m2.1.1.1.1.1.2">superscript</csymbol><ci id="S5.SS1.p1.2.m2.1.1.1.1.1.2.2.cmml" xref="S5.SS1.p1.2.m2.1.1.1.1.1.2.2">𝐻</ci><ci id="S5.SS1.p1.2.m2.1.1.1.1.1.2.3.cmml" xref="S5.SS1.p1.2.m2.1.1.1.1.1.2.3">𝑇</ci></apply><ci id="S5.SS1.p1.2.m2.1.1.1.1.1.3.cmml" xref="S5.SS1.p1.2.m2.1.1.1.1.1.3">𝐻</ci></apply><apply id="S5.SS1.p1.2.m2.1.1.3.cmml" xref="S5.SS1.p1.2.m2.1.1.3"><minus id="S5.SS1.p1.2.m2.1.1.3.1.cmml" xref="S5.SS1.p1.2.m2.1.1.3"></minus><apply id="S5.SS1.p1.2.m2.1.1.3.2.cmml" xref="S5.SS1.p1.2.m2.1.1.3.2"><divide id="S5.SS1.p1.2.m2.1.1.3.2.1.cmml" xref="S5.SS1.p1.2.m2.1.1.3.2.1"></divide><cn type="integer" id="S5.SS1.p1.2.m2.1.1.3.2.2.cmml" xref="S5.SS1.p1.2.m2.1.1.3.2.2">1</cn><cn type="integer" id="S5.SS1.p1.2.m2.1.1.3.2.3.cmml" xref="S5.SS1.p1.2.m2.1.1.3.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.2.m2.1c">(H^{T}H)^{-1/2}</annotation></semantics></math>. This property helps PSGD to escape saddle points as <math id="S5.SS1.p1.3.m3.1" class="ltx_Math" alttext="P\rightarrow\infty" display="inline"><semantics id="S5.SS1.p1.3.m3.1a"><mrow id="S5.SS1.p1.3.m3.1.1" xref="S5.SS1.p1.3.m3.1.1.cmml"><mi id="S5.SS1.p1.3.m3.1.1.2" xref="S5.SS1.p1.3.m3.1.1.2.cmml">P</mi><mo stretchy="false" id="S5.SS1.p1.3.m3.1.1.1" xref="S5.SS1.p1.3.m3.1.1.1.cmml">→</mo><mi mathvariant="normal" id="S5.SS1.p1.3.m3.1.1.3" xref="S5.SS1.p1.3.m3.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.3.m3.1b"><apply id="S5.SS1.p1.3.m3.1.1.cmml" xref="S5.SS1.p1.3.m3.1.1"><ci id="S5.SS1.p1.3.m3.1.1.1.cmml" xref="S5.SS1.p1.3.m3.1.1.1">→</ci><ci id="S5.SS1.p1.3.m3.1.1.2.cmml" xref="S5.SS1.p1.3.m3.1.1.2">𝑃</ci><infinity id="S5.SS1.p1.3.m3.1.1.3.cmml" xref="S5.SS1.p1.3.m3.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.3.m3.1c">P\rightarrow\infty</annotation></semantics></math> when <math id="S5.SS1.p1.4.m4.1" class="ltx_Math" alttext="H\rightarrow 0" display="inline"><semantics id="S5.SS1.p1.4.m4.1a"><mrow id="S5.SS1.p1.4.m4.1.1" xref="S5.SS1.p1.4.m4.1.1.cmml"><mi id="S5.SS1.p1.4.m4.1.1.2" xref="S5.SS1.p1.4.m4.1.1.2.cmml">H</mi><mo stretchy="false" id="S5.SS1.p1.4.m4.1.1.1" xref="S5.SS1.p1.4.m4.1.1.1.cmml">→</mo><mn id="S5.SS1.p1.4.m4.1.1.3" xref="S5.SS1.p1.4.m4.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.4.m4.1b"><apply id="S5.SS1.p1.4.m4.1.1.cmml" xref="S5.SS1.p1.4.m4.1.1"><ci id="S5.SS1.p1.4.m4.1.1.1.cmml" xref="S5.SS1.p1.4.m4.1.1.1">→</ci><ci id="S5.SS1.p1.4.m4.1.1.2.cmml" xref="S5.SS1.p1.4.m4.1.1.2">𝐻</ci><cn type="integer" id="S5.SS1.p1.4.m4.1.1.3.cmml" xref="S5.SS1.p1.4.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.4.m4.1c">H\rightarrow 0</annotation></semantics></math>, &amp; accelerate convergence around the basin of attraction. This quadratic convergence behavior of PSGD is clearly shown by the convergence curve solving the Rosenbrock benchmark problem in Fig. <a href="#S5.F1.sf1" title="Figure 1(a) ‣ Figure 1 ‣ 5.1 Performance Study with Toy Examples ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1(a)</span></a>. For more comparison see App Fig <a href="#A11.F18" title="Figure 18 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">18</span></a>.</p>
</div>
<div id="S5.SS1.p2" class="ltx_para">
<p id="S5.SS1.p2.1" class="ltx_p"><span id="S5.SS1.p2.1.1" class="ltx_text ltx_font_bold">PSGD Finds Flatter NNs:</span> Next, we demonstrates that PSGD preserves the generalization property of its kin, SGD, as the gradient noises regularize both parameter &amp; preconditioner updates. The task is the MNIST digit recognition with the LeNet5. Adam is selected as the counter-example as it is known to be more easily trapped in sharp minima than SGD <cite class="ltx_cite ltx_citemacro_citep">[Zhou et al., <a href="#bib.bib50" title="" class="ltx_ref">2020b</a>]</cite>. Fig. <a href="#S5.F1.sf2" title="Figure 1(b) ‣ Figure 1 ‣ 5.1 Performance Study with Toy Examples ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1(b)</span></a> shows ten pairs of minima, each starting from the same random initial initialization. We see that PSGD converges to minima with flatter or smaller Hessian, i.e., larger preconditioner. From the view of information theory, the total cross entropy &amp; <math id="S5.SS1.p2.1.m1.2" class="ltx_Math" alttext="0.5\log\det(H)\approx-0.5\log\det(P)" display="inline"><semantics id="S5.SS1.p2.1.m1.2a"><mrow id="S5.SS1.p2.1.m1.2.3" xref="S5.SS1.p2.1.m1.2.3.cmml"><mrow id="S5.SS1.p2.1.m1.2.3.2" xref="S5.SS1.p2.1.m1.2.3.2.cmml"><mn id="S5.SS1.p2.1.m1.2.3.2.2" xref="S5.SS1.p2.1.m1.2.3.2.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="S5.SS1.p2.1.m1.2.3.2.1" xref="S5.SS1.p2.1.m1.2.3.2.1.cmml">​</mo><mi id="S5.SS1.p2.1.m1.2.3.2.3" xref="S5.SS1.p2.1.m1.2.3.2.3.cmml">log</mi><mo lspace="0.167em" rspace="0em" id="S5.SS1.p2.1.m1.2.3.2.1a" xref="S5.SS1.p2.1.m1.2.3.2.1.cmml">​</mo><mrow id="S5.SS1.p2.1.m1.2.3.2.4" xref="S5.SS1.p2.1.m1.2.3.2.4.cmml"><mo rspace="0em" id="S5.SS1.p2.1.m1.2.3.2.4.1" xref="S5.SS1.p2.1.m1.2.3.2.4.1.cmml">det</mo><mrow id="S5.SS1.p2.1.m1.2.3.2.4.2.2" xref="S5.SS1.p2.1.m1.2.3.2.4.cmml"><mo stretchy="false" id="S5.SS1.p2.1.m1.2.3.2.4.2.2.1" xref="S5.SS1.p2.1.m1.2.3.2.4.cmml">(</mo><mi id="S5.SS1.p2.1.m1.1.1" xref="S5.SS1.p2.1.m1.1.1.cmml">H</mi><mo stretchy="false" id="S5.SS1.p2.1.m1.2.3.2.4.2.2.2" xref="S5.SS1.p2.1.m1.2.3.2.4.cmml">)</mo></mrow></mrow></mrow><mo id="S5.SS1.p2.1.m1.2.3.1" xref="S5.SS1.p2.1.m1.2.3.1.cmml">≈</mo><mrow id="S5.SS1.p2.1.m1.2.3.3" xref="S5.SS1.p2.1.m1.2.3.3.cmml"><mo id="S5.SS1.p2.1.m1.2.3.3a" xref="S5.SS1.p2.1.m1.2.3.3.cmml">−</mo><mrow id="S5.SS1.p2.1.m1.2.3.3.2" xref="S5.SS1.p2.1.m1.2.3.3.2.cmml"><mn id="S5.SS1.p2.1.m1.2.3.3.2.2" xref="S5.SS1.p2.1.m1.2.3.3.2.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="S5.SS1.p2.1.m1.2.3.3.2.1" xref="S5.SS1.p2.1.m1.2.3.3.2.1.cmml">​</mo><mi id="S5.SS1.p2.1.m1.2.3.3.2.3" xref="S5.SS1.p2.1.m1.2.3.3.2.3.cmml">log</mi><mo lspace="0.167em" rspace="0em" id="S5.SS1.p2.1.m1.2.3.3.2.1a" xref="S5.SS1.p2.1.m1.2.3.3.2.1.cmml">​</mo><mrow id="S5.SS1.p2.1.m1.2.3.3.2.4" xref="S5.SS1.p2.1.m1.2.3.3.2.4.cmml"><mo rspace="0em" id="S5.SS1.p2.1.m1.2.3.3.2.4.1" xref="S5.SS1.p2.1.m1.2.3.3.2.4.1.cmml">det</mo><mrow id="S5.SS1.p2.1.m1.2.3.3.2.4.2.2" xref="S5.SS1.p2.1.m1.2.3.3.2.4.cmml"><mo stretchy="false" id="S5.SS1.p2.1.m1.2.3.3.2.4.2.2.1" xref="S5.SS1.p2.1.m1.2.3.3.2.4.cmml">(</mo><mi id="S5.SS1.p2.1.m1.2.2" xref="S5.SS1.p2.1.m1.2.2.cmml">P</mi><mo stretchy="false" id="S5.SS1.p2.1.m1.2.3.3.2.4.2.2.2" xref="S5.SS1.p2.1.m1.2.3.3.2.4.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p2.1.m1.2b"><apply id="S5.SS1.p2.1.m1.2.3.cmml" xref="S5.SS1.p2.1.m1.2.3"><approx id="S5.SS1.p2.1.m1.2.3.1.cmml" xref="S5.SS1.p2.1.m1.2.3.1"></approx><apply id="S5.SS1.p2.1.m1.2.3.2.cmml" xref="S5.SS1.p2.1.m1.2.3.2"><times id="S5.SS1.p2.1.m1.2.3.2.1.cmml" xref="S5.SS1.p2.1.m1.2.3.2.1"></times><cn type="float" id="S5.SS1.p2.1.m1.2.3.2.2.cmml" xref="S5.SS1.p2.1.m1.2.3.2.2">0.5</cn><log id="S5.SS1.p2.1.m1.2.3.2.3.cmml" xref="S5.SS1.p2.1.m1.2.3.2.3"></log><apply id="S5.SS1.p2.1.m1.2.3.2.4.cmml" xref="S5.SS1.p2.1.m1.2.3.2.4"><determinant id="S5.SS1.p2.1.m1.2.3.2.4.1.cmml" xref="S5.SS1.p2.1.m1.2.3.2.4.1"></determinant><ci id="S5.SS1.p2.1.m1.1.1.cmml" xref="S5.SS1.p2.1.m1.1.1">𝐻</ci></apply></apply><apply id="S5.SS1.p2.1.m1.2.3.3.cmml" xref="S5.SS1.p2.1.m1.2.3.3"><minus id="S5.SS1.p2.1.m1.2.3.3.1.cmml" xref="S5.SS1.p2.1.m1.2.3.3"></minus><apply id="S5.SS1.p2.1.m1.2.3.3.2.cmml" xref="S5.SS1.p2.1.m1.2.3.3.2"><times id="S5.SS1.p2.1.m1.2.3.3.2.1.cmml" xref="S5.SS1.p2.1.m1.2.3.3.2.1"></times><cn type="float" id="S5.SS1.p2.1.m1.2.3.3.2.2.cmml" xref="S5.SS1.p2.1.m1.2.3.3.2.2">0.5</cn><log id="S5.SS1.p2.1.m1.2.3.3.2.3.cmml" xref="S5.SS1.p2.1.m1.2.3.3.2.3"></log><apply id="S5.SS1.p2.1.m1.2.3.3.2.4.cmml" xref="S5.SS1.p2.1.m1.2.3.3.2.4"><determinant id="S5.SS1.p2.1.m1.2.3.3.2.4.1.cmml" xref="S5.SS1.p2.1.m1.2.3.3.2.4.1"></determinant><ci id="S5.SS1.p2.1.m1.2.2.cmml" xref="S5.SS1.p2.1.m1.2.2">𝑃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p2.1.m1.2c">0.5\log\det(H)\approx-0.5\log\det(P)</annotation></semantics></math> are good proxies of the description lengths of the train image-label pairs &amp; model parameters, respectively. Fig. <a href="#S5.F1.sf2" title="Figure 1(b) ‣ Figure 1 ‣ 5.1 Performance Study with Toy Examples ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1(b)</span></a> shows that minima with smaller description lengths tend to perform better on the test sets as well, as suggested by an arrow pointing to the down-left-front corner of the cube.</p>
</div>
<div id="S5.SS1.p3" class="ltx_para">
<p id="S5.SS1.p3.6" class="ltx_p"><span id="S5.SS1.p3.6.1" class="ltx_text ltx_font_bold">Curvature Representations at Low Precision:</span>
Here we exemplify PSGD’s robust performance &amp; resilience to noise in low-precision settings. All PSGD implementations maintain stability across both single &amp; half (bfloat16) precision computations. The inherent equivariance property associated with the Lie group is instrumental in PSGD’s approach, leading to a scenario where PSGD effectively fits the product <math id="S5.SS1.p3.1.m1.1" class="ltx_Math" alttext="PH" display="inline"><semantics id="S5.SS1.p3.1.m1.1a"><mrow id="S5.SS1.p3.1.m1.1.1" xref="S5.SS1.p3.1.m1.1.1.cmml"><mi id="S5.SS1.p3.1.m1.1.1.2" xref="S5.SS1.p3.1.m1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p3.1.m1.1.1.1" xref="S5.SS1.p3.1.m1.1.1.1.cmml">​</mo><mi id="S5.SS1.p3.1.m1.1.1.3" xref="S5.SS1.p3.1.m1.1.1.3.cmml">H</mi></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p3.1.m1.1b"><apply id="S5.SS1.p3.1.m1.1.1.cmml" xref="S5.SS1.p3.1.m1.1.1"><times id="S5.SS1.p3.1.m1.1.1.1.cmml" xref="S5.SS1.p3.1.m1.1.1.1"></times><ci id="S5.SS1.p3.1.m1.1.1.2.cmml" xref="S5.SS1.p3.1.m1.1.1.2">𝑃</ci><ci id="S5.SS1.p3.1.m1.1.1.3.cmml" xref="S5.SS1.p3.1.m1.1.1.3">𝐻</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p3.1.m1.1c">PH</annotation></semantics></math>, which asymptotically approximates the identity matrix <math id="S5.SS1.p3.2.m2.1" class="ltx_Math" alttext="I" display="inline"><semantics id="S5.SS1.p3.2.m2.1a"><mi id="S5.SS1.p3.2.m2.1.1" xref="S5.SS1.p3.2.m2.1.1.cmml">I</mi><annotation-xml encoding="MathML-Content" id="S5.SS1.p3.2.m2.1b"><ci id="S5.SS1.p3.2.m2.1.1.cmml" xref="S5.SS1.p3.2.m2.1.1">𝐼</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p3.2.m2.1c">I</annotation></semantics></math>, irrespective of the condition number of <math id="S5.SS1.p3.3.m3.1" class="ltx_Math" alttext="H" display="inline"><semantics id="S5.SS1.p3.3.m3.1a"><mi id="S5.SS1.p3.3.m3.1.1" xref="S5.SS1.p3.3.m3.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="S5.SS1.p3.3.m3.1b"><ci id="S5.SS1.p3.3.m3.1.1.cmml" xref="S5.SS1.p3.3.m3.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p3.3.m3.1c">H</annotation></semantics></math>. In figure <a href="#S5.F1.sf3" title="Figure 1(c) ‣ Figure 1 ‣ 5.1 Performance Study with Toy Examples ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1(c)</span></a> we compare PSGD’s adaptive solution vs prevalent closed-form methods. Specifically we compare fitting PSGD via <math id="S5.SS1.p3.4.m4.1" class="ltx_Math" alttext="P={\rm tr}(PH^{2}+P^{-1}-2H)" display="inline"><semantics id="S5.SS1.p3.4.m4.1a"><mrow id="S5.SS1.p3.4.m4.1.1" xref="S5.SS1.p3.4.m4.1.1.cmml"><mi id="S5.SS1.p3.4.m4.1.1.3" xref="S5.SS1.p3.4.m4.1.1.3.cmml">P</mi><mo id="S5.SS1.p3.4.m4.1.1.2" xref="S5.SS1.p3.4.m4.1.1.2.cmml">=</mo><mrow id="S5.SS1.p3.4.m4.1.1.1" xref="S5.SS1.p3.4.m4.1.1.1.cmml"><mi id="S5.SS1.p3.4.m4.1.1.1.3" xref="S5.SS1.p3.4.m4.1.1.1.3.cmml">tr</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p3.4.m4.1.1.1.2" xref="S5.SS1.p3.4.m4.1.1.1.2.cmml">​</mo><mrow id="S5.SS1.p3.4.m4.1.1.1.1.1" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S5.SS1.p3.4.m4.1.1.1.1.1.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.SS1.p3.4.m4.1.1.1.1.1.1" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.cmml"><mrow id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.cmml"><mrow id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.cmml"><mi id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.1" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.1.cmml">​</mo><msup id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.cmml"><mi id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.2.cmml">H</mi><mn id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.3" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.3.cmml">2</mn></msup></mrow><mo id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.1" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.1.cmml">+</mo><msup id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.cmml"><mi id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.2.cmml">P</mi><mrow id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.cmml"><mo id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3a" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.cmml">−</mo><mn id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.2.cmml">1</mn></mrow></msup></mrow><mo id="S5.SS1.p3.4.m4.1.1.1.1.1.1.1" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.1.cmml">−</mo><mrow id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.cmml"><mn id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.2" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.1" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.3" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.3.cmml">H</mi></mrow></mrow><mo stretchy="false" id="S5.SS1.p3.4.m4.1.1.1.1.1.3" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p3.4.m4.1b"><apply id="S5.SS1.p3.4.m4.1.1.cmml" xref="S5.SS1.p3.4.m4.1.1"><eq id="S5.SS1.p3.4.m4.1.1.2.cmml" xref="S5.SS1.p3.4.m4.1.1.2"></eq><ci id="S5.SS1.p3.4.m4.1.1.3.cmml" xref="S5.SS1.p3.4.m4.1.1.3">𝑃</ci><apply id="S5.SS1.p3.4.m4.1.1.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1"><times id="S5.SS1.p3.4.m4.1.1.1.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.2"></times><ci id="S5.SS1.p3.4.m4.1.1.1.3.cmml" xref="S5.SS1.p3.4.m4.1.1.1.3">tr</ci><apply id="S5.SS1.p3.4.m4.1.1.1.1.1.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1"><minus id="S5.SS1.p3.4.m4.1.1.1.1.1.1.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.1"></minus><apply id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2"><plus id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.1"></plus><apply id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2"><times id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.1"></times><ci id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.2">𝑃</ci><apply id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3"><csymbol cd="ambiguous" id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3">superscript</csymbol><ci id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.2">𝐻</ci><cn type="integer" id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.3.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.2.3.3">2</cn></apply></apply><apply id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3">superscript</csymbol><ci id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.2">𝑃</ci><apply id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3"><minus id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3"></minus><cn type="integer" id="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.2.3.3.2">1</cn></apply></apply></apply><apply id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3"><times id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.1.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.1"></times><cn type="integer" id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.2.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.2">2</cn><ci id="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.3.cmml" xref="S5.SS1.p3.4.m4.1.1.1.1.1.1.3.3">𝐻</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p3.4.m4.1c">P={\rm tr}(PH^{2}+P^{-1}-2H)</annotation></semantics></math> vs the well known closed form solution <math id="S5.SS1.p3.5.m5.1" class="ltx_Math" alttext="P=E[hh^{T}]^{-0.5}" display="inline"><semantics id="S5.SS1.p3.5.m5.1a"><mrow id="S5.SS1.p3.5.m5.1.1" xref="S5.SS1.p3.5.m5.1.1.cmml"><mi id="S5.SS1.p3.5.m5.1.1.3" xref="S5.SS1.p3.5.m5.1.1.3.cmml">P</mi><mo id="S5.SS1.p3.5.m5.1.1.2" xref="S5.SS1.p3.5.m5.1.1.2.cmml">=</mo><mrow id="S5.SS1.p3.5.m5.1.1.1" xref="S5.SS1.p3.5.m5.1.1.1.cmml"><mi id="S5.SS1.p3.5.m5.1.1.1.3" xref="S5.SS1.p3.5.m5.1.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p3.5.m5.1.1.1.2" xref="S5.SS1.p3.5.m5.1.1.1.2.cmml">​</mo><msup id="S5.SS1.p3.5.m5.1.1.1.1" xref="S5.SS1.p3.5.m5.1.1.1.1.cmml"><mrow id="S5.SS1.p3.5.m5.1.1.1.1.1.1" xref="S5.SS1.p3.5.m5.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S5.SS1.p3.5.m5.1.1.1.1.1.1.2" xref="S5.SS1.p3.5.m5.1.1.1.1.1.2.1.cmml">[</mo><mrow id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.cmml"><mi id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.2" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.2.cmml">h</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.1" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.1.cmml">​</mo><msup id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.cmml"><mi id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.2" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.2.cmml">h</mi><mi id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.3" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="S5.SS1.p3.5.m5.1.1.1.1.1.1.3" xref="S5.SS1.p3.5.m5.1.1.1.1.1.2.1.cmml">]</mo></mrow><mrow id="S5.SS1.p3.5.m5.1.1.1.1.3" xref="S5.SS1.p3.5.m5.1.1.1.1.3.cmml"><mo id="S5.SS1.p3.5.m5.1.1.1.1.3a" xref="S5.SS1.p3.5.m5.1.1.1.1.3.cmml">−</mo><mn id="S5.SS1.p3.5.m5.1.1.1.1.3.2" xref="S5.SS1.p3.5.m5.1.1.1.1.3.2.cmml">0.5</mn></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p3.5.m5.1b"><apply id="S5.SS1.p3.5.m5.1.1.cmml" xref="S5.SS1.p3.5.m5.1.1"><eq id="S5.SS1.p3.5.m5.1.1.2.cmml" xref="S5.SS1.p3.5.m5.1.1.2"></eq><ci id="S5.SS1.p3.5.m5.1.1.3.cmml" xref="S5.SS1.p3.5.m5.1.1.3">𝑃</ci><apply id="S5.SS1.p3.5.m5.1.1.1.cmml" xref="S5.SS1.p3.5.m5.1.1.1"><times id="S5.SS1.p3.5.m5.1.1.1.2.cmml" xref="S5.SS1.p3.5.m5.1.1.1.2"></times><ci id="S5.SS1.p3.5.m5.1.1.1.3.cmml" xref="S5.SS1.p3.5.m5.1.1.1.3">𝐸</ci><apply id="S5.SS1.p3.5.m5.1.1.1.1.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS1.p3.5.m5.1.1.1.1.2.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1">superscript</csymbol><apply id="S5.SS1.p3.5.m5.1.1.1.1.1.2.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1"><csymbol cd="latexml" id="S5.SS1.p3.5.m5.1.1.1.1.1.2.1.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1"><times id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.1.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.1"></times><ci id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.2.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.2">ℎ</ci><apply id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.1.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.2.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.2">ℎ</ci><ci id="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.3.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply><apply id="S5.SS1.p3.5.m5.1.1.1.1.3.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.3"><minus id="S5.SS1.p3.5.m5.1.1.1.1.3.1.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.3"></minus><cn type="float" id="S5.SS1.p3.5.m5.1.1.1.1.3.2.cmml" xref="S5.SS1.p3.5.m5.1.1.1.1.3.2">0.5</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p3.5.m5.1c">P=E[hh^{T}]^{-0.5}</annotation></semantics></math> when <math id="S5.SS1.p3.6.m6.2" class="ltx_Math" alttext="v\sim N(0,I)" display="inline"><semantics id="S5.SS1.p3.6.m6.2a"><mrow id="S5.SS1.p3.6.m6.2.3" xref="S5.SS1.p3.6.m6.2.3.cmml"><mi id="S5.SS1.p3.6.m6.2.3.2" xref="S5.SS1.p3.6.m6.2.3.2.cmml">v</mi><mo id="S5.SS1.p3.6.m6.2.3.1" xref="S5.SS1.p3.6.m6.2.3.1.cmml">∼</mo><mrow id="S5.SS1.p3.6.m6.2.3.3" xref="S5.SS1.p3.6.m6.2.3.3.cmml"><mi id="S5.SS1.p3.6.m6.2.3.3.2" xref="S5.SS1.p3.6.m6.2.3.3.2.cmml">N</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p3.6.m6.2.3.3.1" xref="S5.SS1.p3.6.m6.2.3.3.1.cmml">​</mo><mrow id="S5.SS1.p3.6.m6.2.3.3.3.2" xref="S5.SS1.p3.6.m6.2.3.3.3.1.cmml"><mo stretchy="false" id="S5.SS1.p3.6.m6.2.3.3.3.2.1" xref="S5.SS1.p3.6.m6.2.3.3.3.1.cmml">(</mo><mn id="S5.SS1.p3.6.m6.1.1" xref="S5.SS1.p3.6.m6.1.1.cmml">0</mn><mo id="S5.SS1.p3.6.m6.2.3.3.3.2.2" xref="S5.SS1.p3.6.m6.2.3.3.3.1.cmml">,</mo><mi id="S5.SS1.p3.6.m6.2.2" xref="S5.SS1.p3.6.m6.2.2.cmml">I</mi><mo stretchy="false" id="S5.SS1.p3.6.m6.2.3.3.3.2.3" xref="S5.SS1.p3.6.m6.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p3.6.m6.2b"><apply id="S5.SS1.p3.6.m6.2.3.cmml" xref="S5.SS1.p3.6.m6.2.3"><csymbol cd="latexml" id="S5.SS1.p3.6.m6.2.3.1.cmml" xref="S5.SS1.p3.6.m6.2.3.1">similar-to</csymbol><ci id="S5.SS1.p3.6.m6.2.3.2.cmml" xref="S5.SS1.p3.6.m6.2.3.2">𝑣</ci><apply id="S5.SS1.p3.6.m6.2.3.3.cmml" xref="S5.SS1.p3.6.m6.2.3.3"><times id="S5.SS1.p3.6.m6.2.3.3.1.cmml" xref="S5.SS1.p3.6.m6.2.3.3.1"></times><ci id="S5.SS1.p3.6.m6.2.3.3.2.cmml" xref="S5.SS1.p3.6.m6.2.3.3.2">𝑁</ci><interval closure="open" id="S5.SS1.p3.6.m6.2.3.3.3.1.cmml" xref="S5.SS1.p3.6.m6.2.3.3.3.2"><cn type="integer" id="S5.SS1.p3.6.m6.1.1.cmml" xref="S5.SS1.p3.6.m6.1.1">0</cn><ci id="S5.SS1.p3.6.m6.2.2.cmml" xref="S5.SS1.p3.6.m6.2.2">𝐼</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p3.6.m6.2c">v\sim N(0,I)</annotation></semantics></math>. This showcases PSGD’s efficiency in solving the secant equation. Moreover, PSGD circumvents numerical challenges commonly encountered in operations such as matrix inversion, Cholesky decomposition, &amp; eigenvalue decompositions. These attributes contribute to PSGD’s robustness &amp; efficiency, especially in low-precision computational environments. For more see App Fig <a href="#A11.F19" title="Figure 19 ‣ K.9 Effectiveness of Lie Group Preconditioner under limited precision ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a>.</p>
</div>
</section>
<section id="S5.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.2 </span>CIFAR-10 and Friends on ResNet18</h3>

<figure id="S5.F2" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_1">
<figure id="S5.F2.sf1" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/x1.png" id="S5.F2.sf1.g1" class="ltx_graphics ltx_img_landscape" width="152" height="118" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="S5.F2.sf1.2.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span></figcaption>
</figure>
</div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<figure id="S5.F2.sf2" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/Figs/noisy_train.png" id="S5.F2.sf2.g1" class="ltx_graphics ltx_img_landscape" width="198" height="158" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="S5.F2.sf2.2.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span></figcaption>
</figure>
</div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<figure id="S5.F2.sf3" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/Figs/noisy_test.png" id="S5.F2.sf3.g1" class="ltx_graphics ltx_img_landscape" width="198" height="158" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="S5.F2.sf3.2.1.1" class="ltx_text" style="font-size:90%;">(c)</span> </span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S5.F2.4.2.1" class="ltx_text" style="font-size:90%;">Figure 2</span>: </span><span id="S5.F2.2.1" class="ltx_text" style="font-size:90%;">CIFAR-10 ResNet-18: (a) Robustness of PSGD: We clearly see as classification task increases in complexity(<math id="S5.F2.2.1.m1.1" class="ltx_Math" alttext="\rightarrow" display="inline"><semantics id="S5.F2.2.1.m1.1b"><mo stretchy="false" id="S5.F2.2.1.m1.1.1" xref="S5.F2.2.1.m1.1.1.cmml">→</mo><annotation-xml encoding="MathML-Content" id="S5.F2.2.1.m1.1c"><ci id="S5.F2.2.1.m1.1.1.cmml" xref="S5.F2.2.1.m1.1.1">→</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.F2.2.1.m1.1d">\rightarrow</annotation></semantics></math>), PSGD is able to consistently outperform other first and second order optimizers. (b) Assym Label Noise Train Acc: Accuracy plots based on incorrect noisy labels. PSGD effectively mitigates label noise, learning the true underlying solution with low variance, while other optimizers tend to overfit/memorize the miss-leading trainset. (c) Assym Label Noise Test Acc: Under ground truth test labels, we see that PSGD reaches a significantly better test accuracy with a very low variance compared to Apollo, Adam, and SGD.
</span></figcaption>
</figure>
<div id="S5.SS2.p1" class="ltx_para">
<p id="S5.SS2.p1.1" class="ltx_p">We train an RN18 on the CF10 image classification task using PSGD, SGD, Adam, &amp; Apollo (Adaptive Quasi Newton Diagonal). We adopt the cosine learning rate scheduler <cite class="ltx_cite ltx_citemacro_citep">[Loshchilov and Hutter, <a href="#bib.bib27" title="" class="ltx_ref">2016</a>]</cite> &amp; train for 200 epochs (see <a href="#A11.SS8.SSSx1" title="Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.8</span></a>). We find that as other first &amp; second-order optimizers performance reduces &amp; increases in variance as task complexity increases, PSGD is able to sustain the classification accuracy of the RN18, outperforming other optimizers by as much as much as <math id="S5.SS2.p1.1.m1.1" class="ltx_Math" alttext="64\%" display="inline"><semantics id="S5.SS2.p1.1.m1.1a"><mrow id="S5.SS2.p1.1.m1.1.1" xref="S5.SS2.p1.1.m1.1.1.cmml"><mn id="S5.SS2.p1.1.m1.1.1.2" xref="S5.SS2.p1.1.m1.1.1.2.cmml">64</mn><mo id="S5.SS2.p1.1.m1.1.1.1" xref="S5.SS2.p1.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p1.1.m1.1b"><apply id="S5.SS2.p1.1.m1.1.1.cmml" xref="S5.SS2.p1.1.m1.1.1"><csymbol cd="latexml" id="S5.SS2.p1.1.m1.1.1.1.cmml" xref="S5.SS2.p1.1.m1.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p1.1.m1.1.1.2.cmml" xref="S5.SS2.p1.1.m1.1.1.2">64</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p1.1.m1.1c">64\%</annotation></semantics></math>, see Figure <a href="#S5.F2.sf1" title="Figure 2(a) ‣ Figure 2 ‣ 5.2 CIFAR-10 and Friends on ResNet18 ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2(a)</span></a> Table <a href="#A11.T15" title="Table 15 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a> for details.</p>
</div>
<div id="S5.SS2.p2" class="ltx_para">
<p id="S5.SS2.p2.1" class="ltx_p">These tasks provide a rigorous test for the generalization ability of optimizers. We maintain the tuned hyperparameters from the standard RN18 CF10 classification task for a fair comparison between the optimizers. For robustness &amp; sensitivity analysis on PSGD’s hyper-parameters as well as more experimental details see <a href="#A11.SS5.SSSx1" title="PSGD is robust to hyper-parameters ‣ K.5 CIFAR10 Image Classification with ResNet18 ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.5</span></a>.
We update the preconditioner of PSGD every ten iterations, resulting in a <math id="S5.SS2.p2.1.m1.1" class="ltx_Math" alttext="20\%" display="inline"><semantics id="S5.SS2.p2.1.m1.1a"><mrow id="S5.SS2.p2.1.m1.1.1" xref="S5.SS2.p2.1.m1.1.1.cmml"><mn id="S5.SS2.p2.1.m1.1.1.2" xref="S5.SS2.p2.1.m1.1.1.2.cmml">20</mn><mo id="S5.SS2.p2.1.m1.1.1.1" xref="S5.SS2.p2.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p2.1.m1.1b"><apply id="S5.SS2.p2.1.m1.1.1.cmml" xref="S5.SS2.p2.1.m1.1.1"><csymbol cd="latexml" id="S5.SS2.p2.1.m1.1.1.1.cmml" xref="S5.SS2.p2.1.m1.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p2.1.m1.1.1.2.cmml" xref="S5.SS2.p2.1.m1.1.1.2">20</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p2.1.m1.1c">20\%</annotation></semantics></math> overhead over SGD, see Table <a href="#A11.T15" title="Table 15 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a> &amp; <a href="#A11.SS4.SSSx1" title="Wall-Clock Timings ‣ K.4 Toy Example: Investigating the Flatness of SAM based solution ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.4</span></a> for empirical &amp; theoretical timing analysis.</p>
</div>
<div id="S5.SS2.p3" class="ltx_para">
<p id="S5.SS2.p3.3" class="ltx_p"><span id="S5.SS2.p3.3.1" class="ltx_text ltx_font_bold">CIFAR10 with Asymmetric Noisy Labels:</span>

We asymmetrically perturb <math id="S5.SS2.p3.1.m1.1" class="ltx_Math" alttext="60\%" display="inline"><semantics id="S5.SS2.p3.1.m1.1a"><mrow id="S5.SS2.p3.1.m1.1.1" xref="S5.SS2.p3.1.m1.1.1.cmml"><mn id="S5.SS2.p3.1.m1.1.1.2" xref="S5.SS2.p3.1.m1.1.1.2.cmml">60</mn><mo id="S5.SS2.p3.1.m1.1.1.1" xref="S5.SS2.p3.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.1.m1.1b"><apply id="S5.SS2.p3.1.m1.1.1.cmml" xref="S5.SS2.p3.1.m1.1.1"><csymbol cd="latexml" id="S5.SS2.p3.1.m1.1.1.1.cmml" xref="S5.SS2.p3.1.m1.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p3.1.m1.1.1.2.cmml" xref="S5.SS2.p3.1.m1.1.1.2">60</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.1.m1.1c">60\%</annotation></semantics></math> of the CF10 training labels randomly, resulting in one of the classes having approximately <math id="S5.SS2.p3.2.m2.1" class="ltx_Math" alttext="55\%" display="inline"><semantics id="S5.SS2.p3.2.m2.1a"><mrow id="S5.SS2.p3.2.m2.1.1" xref="S5.SS2.p3.2.m2.1.1.cmml"><mn id="S5.SS2.p3.2.m2.1.1.2" xref="S5.SS2.p3.2.m2.1.1.2.cmml">55</mn><mo id="S5.SS2.p3.2.m2.1.1.1" xref="S5.SS2.p3.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.2.m2.1b"><apply id="S5.SS2.p3.2.m2.1.1.cmml" xref="S5.SS2.p3.2.m2.1.1"><csymbol cd="latexml" id="S5.SS2.p3.2.m2.1.1.1.cmml" xref="S5.SS2.p3.2.m2.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p3.2.m2.1.1.2.cmml" xref="S5.SS2.p3.2.m2.1.1.2">55</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.2.m2.1c">55\%</annotation></semantics></math> incorrect labels &amp; the other 9 classes having <math id="S5.SS2.p3.3.m3.1" class="ltx_Math" alttext="5\%" display="inline"><semantics id="S5.SS2.p3.3.m3.1a"><mrow id="S5.SS2.p3.3.m3.1.1" xref="S5.SS2.p3.3.m3.1.1.cmml"><mn id="S5.SS2.p3.3.m3.1.1.2" xref="S5.SS2.p3.3.m3.1.1.2.cmml">5</mn><mo id="S5.SS2.p3.3.m3.1.1.1" xref="S5.SS2.p3.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p3.3.m3.1b"><apply id="S5.SS2.p3.3.m3.1.1.cmml" xref="S5.SS2.p3.3.m3.1.1"><csymbol cd="latexml" id="S5.SS2.p3.3.m3.1.1.1.cmml" xref="S5.SS2.p3.3.m3.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p3.3.m3.1.1.2.cmml" xref="S5.SS2.p3.3.m3.1.1.2">5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p3.3.m3.1c">5\%</annotation></semantics></math> incorrect labels, yielding <span id="S5.SS2.p3.3.2" class="ltx_text ltx_font_italic">asymmetric label noise</span>. We use (P)SGD, Adam &amp; Apollo to train an RN18 on this task for 100 epochs with 8 different seeds &amp; compare train &amp; test classification accuracy Fig. <a href="#A11.F6.sf1" title="Figure 6(a) ‣ Figure 6 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6(a)</span></a> &amp; <a href="#A11.F6.sf2" title="Figure 6(b) ‣ Figure 6 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6(b)</span></a>.</p>
</div>
<div id="S5.SS2.p4" class="ltx_para">
<p id="S5.SS2.p4.4" class="ltx_p">Figure <a href="#A11.F6.sf1" title="Figure 6(a) ‣ Figure 6 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6(a)</span></a> &amp; <a href="#A11.F6.sf2" title="Figure 6(b) ‣ Figure 6 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6(b)</span></a>, show that PSGD achieves the lowest average train accuracy (assuming incorrect noisy labels) with the highest ground truth test accuracy. SGD gets an average training accuracy between Adam &amp; Apollo. SGD has seven runs reaching <math id="S5.SS2.p4.1.m1.1" class="ltx_Math" alttext="55\%" display="inline"><semantics id="S5.SS2.p4.1.m1.1a"><mrow id="S5.SS2.p4.1.m1.1.1" xref="S5.SS2.p4.1.m1.1.1.cmml"><mn id="S5.SS2.p4.1.m1.1.1.2" xref="S5.SS2.p4.1.m1.1.1.2.cmml">55</mn><mo id="S5.SS2.p4.1.m1.1.1.1" xref="S5.SS2.p4.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.1.m1.1b"><apply id="S5.SS2.p4.1.m1.1.1.cmml" xref="S5.SS2.p4.1.m1.1.1"><csymbol cd="latexml" id="S5.SS2.p4.1.m1.1.1.1.cmml" xref="S5.SS2.p4.1.m1.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p4.1.m1.1.1.2.cmml" xref="S5.SS2.p4.1.m1.1.1.2">55</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.1.m1.1c">55\%</annotation></semantics></math> memorizing the train set, yielding <math id="S5.SS2.p4.2.m2.1" class="ltx_Math" alttext="10\%" display="inline"><semantics id="S5.SS2.p4.2.m2.1a"><mrow id="S5.SS2.p4.2.m2.1.1" xref="S5.SS2.p4.2.m2.1.1.cmml"><mn id="S5.SS2.p4.2.m2.1.1.2" xref="S5.SS2.p4.2.m2.1.1.2.cmml">10</mn><mo id="S5.SS2.p4.2.m2.1.1.1" xref="S5.SS2.p4.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.2.m2.1b"><apply id="S5.SS2.p4.2.m2.1.1.cmml" xref="S5.SS2.p4.2.m2.1.1"><csymbol cd="latexml" id="S5.SS2.p4.2.m2.1.1.1.cmml" xref="S5.SS2.p4.2.m2.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p4.2.m2.1.1.2.cmml" xref="S5.SS2.p4.2.m2.1.1.2">10</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.2.m2.1c">10\%</annotation></semantics></math> accuracy on the test set. &amp; one run (due to <span id="S5.SS2.p4.4.1" class="ltx_text ltx_font_italic">lucky initialization</span>) reaching <math id="S5.SS2.p4.3.m3.1" class="ltx_Math" alttext="34\%" display="inline"><semantics id="S5.SS2.p4.3.m3.1a"><mrow id="S5.SS2.p4.3.m3.1.1" xref="S5.SS2.p4.3.m3.1.1.cmml"><mn id="S5.SS2.p4.3.m3.1.1.2" xref="S5.SS2.p4.3.m3.1.1.2.cmml">34</mn><mo id="S5.SS2.p4.3.m3.1.1.1" xref="S5.SS2.p4.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.3.m3.1b"><apply id="S5.SS2.p4.3.m3.1.1.cmml" xref="S5.SS2.p4.3.m3.1.1"><csymbol cd="latexml" id="S5.SS2.p4.3.m3.1.1.1.cmml" xref="S5.SS2.p4.3.m3.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p4.3.m3.1.1.2.cmml" xref="S5.SS2.p4.3.m3.1.1.2">34</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.3.m3.1c">34\%</annotation></semantics></math> on the train set, learning an underfit yet generalizing solution, yielding <math id="S5.SS2.p4.4.m4.1" class="ltx_Math" alttext="77\%" display="inline"><semantics id="S5.SS2.p4.4.m4.1a"><mrow id="S5.SS2.p4.4.m4.1.1" xref="S5.SS2.p4.4.m4.1.1.cmml"><mn id="S5.SS2.p4.4.m4.1.1.2" xref="S5.SS2.p4.4.m4.1.1.2.cmml">77</mn><mo id="S5.SS2.p4.4.m4.1.1.1" xref="S5.SS2.p4.4.m4.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p4.4.m4.1b"><apply id="S5.SS2.p4.4.m4.1.1.cmml" xref="S5.SS2.p4.4.m4.1.1"><csymbol cd="latexml" id="S5.SS2.p4.4.m4.1.1.1.cmml" xref="S5.SS2.p4.4.m4.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p4.4.m4.1.1.2.cmml" xref="S5.SS2.p4.4.m4.1.1.2">77</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p4.4.m4.1c">77\%</annotation></semantics></math> on the test set.</p>
</div>
<div id="S5.SS2.p5" class="ltx_para">
<p id="S5.SS2.p5.2" class="ltx_p">For SGD, this is not a standard case of over-fitting nor a case of catastrophic forgetting, since the training accuracy does not change. Instead, our experiments show there exists a tipping point in the test accuracy at around epoch 35, where within a single epoch the test accuracy drops from <math id="S5.SS2.p5.1.m1.1" class="ltx_Math" alttext="71\%" display="inline"><semantics id="S5.SS2.p5.1.m1.1a"><mrow id="S5.SS2.p5.1.m1.1.1" xref="S5.SS2.p5.1.m1.1.1.cmml"><mn id="S5.SS2.p5.1.m1.1.1.2" xref="S5.SS2.p5.1.m1.1.1.2.cmml">71</mn><mo id="S5.SS2.p5.1.m1.1.1.1" xref="S5.SS2.p5.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p5.1.m1.1b"><apply id="S5.SS2.p5.1.m1.1.1.cmml" xref="S5.SS2.p5.1.m1.1.1"><csymbol cd="latexml" id="S5.SS2.p5.1.m1.1.1.1.cmml" xref="S5.SS2.p5.1.m1.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p5.1.m1.1.1.2.cmml" xref="S5.SS2.p5.1.m1.1.1.2">71</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p5.1.m1.1c">71\%</annotation></semantics></math> to <math id="S5.SS2.p5.2.m2.1" class="ltx_Math" alttext="10\%" display="inline"><semantics id="S5.SS2.p5.2.m2.1a"><mrow id="S5.SS2.p5.2.m2.1.1" xref="S5.SS2.p5.2.m2.1.1.cmml"><mn id="S5.SS2.p5.2.m2.1.1.2" xref="S5.SS2.p5.2.m2.1.1.2.cmml">10</mn><mo id="S5.SS2.p5.2.m2.1.1.1" xref="S5.SS2.p5.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p5.2.m2.1b"><apply id="S5.SS2.p5.2.m2.1.1.cmml" xref="S5.SS2.p5.2.m2.1.1"><csymbol cd="latexml" id="S5.SS2.p5.2.m2.1.1.1.cmml" xref="S5.SS2.p5.2.m2.1.1.1">percent</csymbol><cn type="integer" id="S5.SS2.p5.2.m2.1.1.2.cmml" xref="S5.SS2.p5.2.m2.1.1.2">10</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p5.2.m2.1c">10\%</annotation></semantics></math> while the training accuracy shows no intelligible indication of this change. Furthermore, the test accuracy does not increase for the rest of the 65 epochs.
At the 35 epoch mark Adam &amp; Apollo both go through a period of high variance over-fitting that eventually converges. Note that the average margins or predicted probabilities in Table <a href="#S6.T3" title="Table 3 ‣ 6 Understanding Second Order Optimizers ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> indicate that PSGD finds a generalizable solution whereas other first &amp; second-order optimizers fall into a regime of overfitting/memorization further discussed in <a href="#S6" title="6 Understanding Second Order Optimizers ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>.
In conclusion, we show PSGD finds a generalizable solution that can mitigate both over &amp; underfitting. Other optimizers easily over/under-fit or memorize incorrect image label pairs, have large optimization instabilities during training, &amp; reach degenerate solutions where the NNs have reasonable train accuracy but random test accuracy. For more details &amp; experiments on learning under <span id="S5.SS2.p5.2.1" class="ltx_text ltx_font_italic">asymmetric</span> &amp; <span id="S5.SS2.p5.2.2" class="ltx_text ltx_font_italic">symmetric</span> label noise see <a href="#A11.SS2" title="K.2 Noisy Label CIFAR10 ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.2</span></a> &amp; <a href="#A11.SSx1" title="Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K</span></a>.</p>
</div>
</section>
<section id="S5.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.3 </span>Language Modeling: nanoGPT</h3>

<div id="S5.SS3.p1" class="ltx_para">
<p id="S5.SS3.p1.1" class="ltx_p">Transformers have become the de facto language modeling architecture, largely replacing RNN-based models. Transformers employ sparse self-attention mechanisms that allow for efficient computation of gradients. Thus, they are typically trained using first-order methods. In this section, we study the effect of curvature information in training transformer models.
And provide results for LSTM-based experiments for predicting the Penn TreeBank Dataset using <cite class="ltx_cite ltx_citemacro_citet">Zhuang et al. [<a href="#bib.bib51" title="" class="ltx_ref">2020</a>]</cite>’s framework in Table <a href="#A11.T17" title="Table 17 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">17</span></a>.</p>
</div>
<div id="S5.SS3.p2" class="ltx_para">
<p id="S5.SS3.p2.1" class="ltx_p">In a recent study, <cite class="ltx_cite ltx_citemacro_citet">Karpathy [<a href="#bib.bib18" title="" class="ltx_ref">2022</a>]</cite> proposed a framework for reproducing GPT-2 results using the OpenWebText dataset. Here, we expand upon this by investigating the training of GPT-2 models of different sizes on both the OpenWebText &amp; Shakespeare character datasets. Our primary objective is to benchmark the performance of PSGD against other SoTA optimization algorithms.</p>
</div>
<div id="S5.SS3.p3" class="ltx_para">
<p id="S5.SS3.p3.1" class="ltx_p">As shown in Table <a href="#S5.T1" title="Table 1 ‣ 5.3 Language Modeling: nanoGPT ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, our results indicate that PSGD consistently outperforms other optimization algorithms across various model sizes. Notably, a moderate gap in perplexity is observed for the smaller GPT-2 model trained for 5k iterations on the Shakespeare-char dataset, with a significant gap observed on the 50M parameter GPT-2 LLM trained on the OpenWebText dataset, for 600k iterations using AdamW &amp; 100k iterations using PSGD. We found that decreasing the <span id="S5.SS3.p3.1.1" class="ltx_text ltx_font_italic">precond lr</span> to 0.001 greatly improved the performance of transformer models. Lowering the <span id="S5.SS3.p3.1.2" class="ltx_text ltx_font_italic">precond lr</span> smoothens the curvature in the sparse embedding layer of GPT-2 over time &amp; enables the optimizer to consider a larger window of curvature information. This “curvature memory” improves performance &amp; prevents divergence resulting from the otherwise sparse embedding space. For LSTM experiments see Table <a href="#A11.T17" title="Table 17 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">17</span></a>.</p>
</div>
<figure id="S5.T1" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="S5.T1.2.1.1" class="ltx_text" style="font-size:90%;">Table 1</span>: </span><span id="S5.T1.3.2" class="ltx_text" style="font-size:90%;">Comparing different test loss of optimizers over GPT-2 style transformers on the Shakespeare-char (SC) &amp; OpenWebText (OWT) datasets. PSGD outperforms other optimizers including the SoTA optimizer AdamW over various model sizes. Trainined on a single NVIDIA 3080 GPU.</span></figcaption>
<div id="S5.T1.4" class="ltx_inline-block ltx_align_center ltx_transformed_outer" style="width:258.9pt;height:67.5pt;vertical-align:-0.0pt;"><span class="ltx_transformed_inner" style="transform:translate(-43.2pt,11.3pt) scale(0.75,0.75) ;">
<table id="S5.T1.4.1" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="S5.T1.4.1.1.1" class="ltx_tr">
<th id="S5.T1.4.1.1.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_th_row ltx_border_r ltx_border_tt">nanoGPT</th>
<th id="S5.T1.4.1.1.1.2" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt">PSGD</th>
<th id="S5.T1.4.1.1.1.3" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt">SGD</th>
<th id="S5.T1.4.1.1.1.4" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt">AdamW</th>
<th id="S5.T1.4.1.1.1.5" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt">AdanW</th>
<th id="S5.T1.4.1.1.1.6" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt">AdaBelief</th>
<th id="S5.T1.4.1.1.1.7" class="ltx_td ltx_nopad_r ltx_align_left ltx_th ltx_th_column ltx_border_tt">AdanBelief</th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="S5.T1.4.1.2.1" class="ltx_tr">
<th id="S5.T1.4.1.2.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_row ltx_border_r ltx_border_t">SC: 0.82M</th>
<td id="S5.T1.4.1.2.1.2" class="ltx_td ltx_align_left ltx_border_t"><span id="S5.T1.4.1.2.1.2.1" class="ltx_text ltx_font_bold">4.52</span></td>
<td id="S5.T1.4.1.2.1.3" class="ltx_td ltx_align_left ltx_border_t">4.68</td>
<td id="S5.T1.4.1.2.1.4" class="ltx_td ltx_align_left ltx_border_t">4.68</td>
<td id="S5.T1.4.1.2.1.5" class="ltx_td ltx_align_left ltx_border_t">5.52</td>
<td id="S5.T1.4.1.2.1.6" class="ltx_td ltx_align_left ltx_border_t">5.94</td>
<td id="S5.T1.4.1.2.1.7" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_t">6.66</td>
</tr>
<tr id="S5.T1.4.1.3.2" class="ltx_tr">
<th id="S5.T1.4.1.3.2.1" class="ltx_td ltx_align_left ltx_th ltx_th_row ltx_border_r">SC: 1.61M</th>
<td id="S5.T1.4.1.3.2.2" class="ltx_td ltx_align_left"><span id="S5.T1.4.1.3.2.2.1" class="ltx_text ltx_font_bold">4.47</span></td>
<td id="S5.T1.4.1.3.2.3" class="ltx_td ltx_align_left">4.75</td>
<td id="S5.T1.4.1.3.2.4" class="ltx_td ltx_align_left">5.03</td>
<td id="S5.T1.4.1.3.2.5" class="ltx_td ltx_align_left">5.05</td>
<td id="S5.T1.4.1.3.2.6" class="ltx_td ltx_align_left">5.06</td>
<td id="S5.T1.4.1.3.2.7" class="ltx_td ltx_nopad_r ltx_align_left">6.47</td>
</tr>
<tr id="S5.T1.4.1.4.3" class="ltx_tr">
<th id="S5.T1.4.1.4.3.1" class="ltx_td ltx_align_left ltx_th ltx_th_row ltx_border_r">SC: 6.37M</th>
<td id="S5.T1.4.1.4.3.2" class="ltx_td ltx_align_left"><span id="S5.T1.4.1.4.3.2.1" class="ltx_text ltx_font_bold">4.53</span></td>
<td id="S5.T1.4.1.4.3.3" class="ltx_td ltx_align_left">5.31</td>
<td id="S5.T1.4.1.4.3.4" class="ltx_td ltx_align_left">19.53</td>
<td id="S5.T1.4.1.4.3.5" class="ltx_td ltx_align_left">4.92</td>
<td id="S5.T1.4.1.4.3.6" class="ltx_td ltx_align_left">21.04</td>
<td id="S5.T1.4.1.4.3.7" class="ltx_td ltx_nopad_r ltx_align_left">5.34</td>
</tr>
<tr id="S5.T1.4.1.5.4" class="ltx_tr">
<th id="S5.T1.4.1.5.4.1" class="ltx_td ltx_align_left ltx_th ltx_th_row ltx_border_bb ltx_border_r ltx_border_t">OWT: 50M</th>
<td id="S5.T1.4.1.5.4.2" class="ltx_td ltx_align_left ltx_border_bb ltx_border_t"><span id="S5.T1.4.1.5.4.2.1" class="ltx_text ltx_font_bold">197.07</span></td>
<td id="S5.T1.4.1.5.4.3" class="ltx_td ltx_border_bb ltx_border_t"></td>
<td id="S5.T1.4.1.5.4.4" class="ltx_td ltx_align_left ltx_border_bb ltx_border_t">257.86</td>
<td id="S5.T1.4.1.5.4.5" class="ltx_td ltx_border_bb ltx_border_t"></td>
<td id="S5.T1.4.1.5.4.6" class="ltx_td ltx_border_bb ltx_border_t"></td>
<td id="S5.T1.4.1.5.4.7" class="ltx_td ltx_nopad_r ltx_border_bb ltx_border_t"></td>
</tr>
</tbody>
</table>
</span></div>
</figure>
<figure id="S5.F3" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="S5.F3.sf1" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/Walker2d-v2.png" id="S5.F3.sf1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="479" height="302" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S5.F3.sf1.3.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span><span id="S5.F3.sf1.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">Walker2d<span id="S5.F3.sf1.4.2.1" class="ltx_text ltx_font_medium"> </span></span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="S5.F3.sf2" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/download_.png" id="S5.F3.sf2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="479" height="302" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="S5.F3.sf2.3.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span><span id="S5.F3.sf2.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">HalfCheetah</span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="S5.F3.2.1.1" class="ltx_text" style="font-size:90%;">Figure 3</span>: </span><span id="S5.F3.3.2" class="ltx_text" style="font-size:90%;"> PSGD outperforms SOTA optimizers on PPO RL on Walker2d &amp; HalfCheetah.
</span></figcaption>
</figure>
</section>
<section id="S5.SS4" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.4 </span>Reinforcement Learning</h3>

<div id="S5.SS4.p1" class="ltx_para">
<p id="S5.SS4.p1.1" class="ltx_p">Here we consider two standard Proximal Policy Optimization (PPO) problems in Reinforcement Learning (RL): Walker2d and HalfCheetah. We optimize the actor and critic independently. We compare the performance of the two SOTA optimizers AdaBelief and Adan to PSGD. We optimize the actor and critic independently.We find that PSGD can find a higher reward for both Walker2d &amp; HalfCheetah as shown in Figure <a href="#A11.F5" title="Figure 5 ‣ K.1 RL Problems ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a>.</p>
</div>
</section>
</section>
<section id="S6" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">6 </span>Understanding Second Order Optimizers</h2>

<div id="S6.p1" class="ltx_para">
<p id="S6.p1.1" class="ltx_p">With the performance distinctions between PSGD &amp; the SoTA optimiziers now apparent, we aim to conduct a series of simple experiments to better understand the nature of solutions PSGD finds.</p>
</div>
<figure id="S6.T2" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="S6.T2.2.1.1" class="ltx_text" style="font-size:90%;">Table 2</span>: </span><span id="S6.T2.3.2" class="ltx_text" style="font-size:90%;">Success rate on the delayed XOR problem with variant sequence lengths, optimizers, &amp; networks.</span></figcaption>
<div id="S6.T2.4" class="ltx_inline-block ltx_align_center ltx_transformed_outer" style="width:449.7pt;height:76.3pt;vertical-align:-0.7pt;"><span class="ltx_transformed_inner" style="transform:translate(-96.4pt,16.2pt) scale(0.7,0.7) ;">
<table id="S6.T2.4.1" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<tbody class="ltx_tbody">
<tr id="S6.T2.4.1.1.1" class="ltx_tr">
<th id="S6.T2.4.1.1.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r ltx_border_tt"><span id="S6.T2.4.1.1.1.1.1" class="ltx_text ltx_font_bold">XOR</span></th>
<td id="S6.T2.4.1.1.1.2" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.2.1" class="ltx_text ltx_font_bold">PSGD LRA</span></td>
<td id="S6.T2.4.1.1.1.3" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.3.1" class="ltx_text ltx_font_bold">AdaHessian</span></td>
<td id="S6.T2.4.1.1.1.4" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.4.1" class="ltx_text ltx_font_bold">KFAC</span></td>
<td id="S6.T2.4.1.1.1.5" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.5.1" class="ltx_text ltx_font_bold">HessianFree</span></td>
<td id="S6.T2.4.1.1.1.6" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.6.1" class="ltx_text ltx_font_bold">Shampoo</span></td>
<td id="S6.T2.4.1.1.1.7" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.7.1" class="ltx_text ltx_font_bold">SGD</span></td>
<td id="S6.T2.4.1.1.1.8" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.8.1" class="ltx_text ltx_font_bold">AdaBelief</span></td>
<td id="S6.T2.4.1.1.1.9" class="ltx_td ltx_align_center ltx_border_tt" colspan="2"><span id="S6.T2.4.1.1.1.9.1" class="ltx_text ltx_font_bold">Adan</span></td>
</tr>
<tr id="S6.T2.4.1.2.2" class="ltx_tr">
<th id="S6.T2.4.1.2.2.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><span id="S6.T2.4.1.2.2.1.1" class="ltx_text ltx_font_bold">Length</span></th>
<td id="S6.T2.4.1.2.2.2" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.3" class="ltx_td ltx_align_center">LSTM</td>
<td id="S6.T2.4.1.2.2.4" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.5" class="ltx_td ltx_align_center">LSTM</td>
<td id="S6.T2.4.1.2.2.6" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.7" class="ltx_td ltx_align_center">LSTM</td>
<td id="S6.T2.4.1.2.2.8" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.9" class="ltx_td ltx_align_center">LSTM</td>
<td id="S6.T2.4.1.2.2.10" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.11" class="ltx_td ltx_align_center">LSTM</td>
<td id="S6.T2.4.1.2.2.12" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.13" class="ltx_td ltx_align_center">LSTM</td>
<td id="S6.T2.4.1.2.2.14" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.15" class="ltx_td ltx_align_center">LSTM</td>
<td id="S6.T2.4.1.2.2.16" class="ltx_td ltx_align_center">RNN</td>
<td id="S6.T2.4.1.2.2.17" class="ltx_td ltx_align_center">LSTM</td>
</tr>
<tr id="S6.T2.4.1.3.3" class="ltx_tr">
<th id="S6.T2.4.1.3.3.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r ltx_border_t"><span id="S6.T2.4.1.3.3.1.1" class="ltx_text ltx_font_bold">32</span></th>
<td id="S6.T2.4.1.3.3.2" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.3" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.4" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.5" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.6" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.7" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.8" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.9" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.10" class="ltx_td ltx_align_center ltx_border_t">0</td>
<td id="S6.T2.4.1.3.3.11" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.12" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.13" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.14" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.15" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.16" class="ltx_td ltx_align_center ltx_border_t">1</td>
<td id="S6.T2.4.1.3.3.17" class="ltx_td ltx_align_center ltx_border_t">1</td>
</tr>
<tr id="S6.T2.4.1.4.4" class="ltx_tr">
<th id="S6.T2.4.1.4.4.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><span id="S6.T2.4.1.4.4.1.1" class="ltx_text ltx_font_bold">55</span></th>
<td id="S6.T2.4.1.4.4.2" class="ltx_td ltx_align_center">1</td>
<td id="S6.T2.4.1.4.4.3" class="ltx_td ltx_align_center">1</td>
<td id="S6.T2.4.1.4.4.4" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.5" class="ltx_td ltx_align_center">1</td>
<td id="S6.T2.4.1.4.4.6" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.7" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.8" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.9" class="ltx_td ltx_align_center">0.6</td>
<td id="S6.T2.4.1.4.4.10" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.11" class="ltx_td ltx_align_center">0.8</td>
<td id="S6.T2.4.1.4.4.12" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.13" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.14" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.15" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.16" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.4.4.17" class="ltx_td ltx_align_center">0</td>
</tr>
<tr id="S6.T2.4.1.5.5" class="ltx_tr">
<th id="S6.T2.4.1.5.5.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><span id="S6.T2.4.1.5.5.1.1" class="ltx_text ltx_font_bold">64</span></th>
<td id="S6.T2.4.1.5.5.2" class="ltx_td ltx_align_center">1</td>
<td id="S6.T2.4.1.5.5.3" class="ltx_td ltx_align_center">1</td>
<td id="S6.T2.4.1.5.5.4" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.5" class="ltx_td ltx_align_center">0.8</td>
<td id="S6.T2.4.1.5.5.6" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.7" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.8" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.9" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.10" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.11" class="ltx_td ltx_align_center">0.6</td>
<td id="S6.T2.4.1.5.5.12" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.13" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.14" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.15" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.16" class="ltx_td ltx_align_center">0</td>
<td id="S6.T2.4.1.5.5.17" class="ltx_td ltx_align_center">0</td>
</tr>
<tr id="S6.T2.4.1.6.6" class="ltx_tr">
<th id="S6.T2.4.1.6.6.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_bb ltx_border_r"><span id="S6.T2.4.1.6.6.1.1" class="ltx_text ltx_font_bold">112</span></th>
<td id="S6.T2.4.1.6.6.2" class="ltx_td ltx_align_center ltx_border_bb">1</td>
<td id="S6.T2.4.1.6.6.3" class="ltx_td ltx_align_center ltx_border_bb">1</td>
<td id="S6.T2.4.1.6.6.4" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.5" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.6" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.7" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.8" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.9" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.10" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.11" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.12" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.13" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.14" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.15" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.16" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="S6.T2.4.1.6.6.17" class="ltx_td ltx_align_center ltx_border_bb">0</td>
</tr>
</tbody>
</table>
</span></div>
</figure>
<div id="S6.p2" class="ltx_para">
<p id="S6.p2.1" class="ltx_p"><span id="S6.p2.1.1" class="ltx_text ltx_font_bold">Uncertainty Analysis:</span>
We train a standard RN18 on CF10 with PSGD, SGD, Adam, &amp; Apollo, &amp; after 200 epochs we check the entropy over the softmax-logits &amp; miss-classification margin <cite class="ltx_cite ltx_citemacro_citet">Toneva et al. [<a href="#bib.bib42" title="" class="ltx_ref">2018</a>]</cite> of both NNs.
We see in Table <a href="#S6.T3" title="Table 3 ‣ 6 Understanding Second Order Optimizers ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> that PSGD has higher entropy &amp; a lower margin of classification compared to other optimizers. This very low minimum entropy of other optimizers may be interpreted as a form of overfitting or memorization. Intuitively, some data points that are low entropy have information that is easily memorized by NNs, giving up network capacity learning points that do not improve generalization.
Conversely, we observe that PSGD never becomes overly certain about any data point, with the minimum entropy being six orders of magnitude larger than other optimizers. Similar trends can be observed in the mean &amp; maximum entropy values.
From these statistics, we believe standard first &amp; second-order optimizers can push NNs into a dangerous regime of overconfidence which given clean labels can reduce their generalization capacity with the potential of catastrophic forgetting. In the scenario where a network is given noisy labels (or imaginably poisoned points), training other SoTA methods may lead to memorization of the training set with little to no generalization capacity as seen in the noisy labeled experiments <a href="#S5.F2.sf1" title="Figure 2(a) ‣ Figure 2 ‣ 5.2 CIFAR-10 and Friends on ResNet18 ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2(a)</span></a>.</p>
</div>
<div id="S6.p3" class="ltx_para">
<p id="S6.p3.1" class="ltx_p">PSGD’s higher entropy &amp; lower margins are indications of a larger exploration of the parameter space, more diverse solutions, &amp; a lack of memorization.
Suggesting that PSGD is able to better balance the trade-off between overfitting &amp; underfitting, without memorizing points.</p>
</div>
<div id="S6.p4" class="ltx_para">
<p id="S6.p4.1" class="ltx_p">For more on the nature of low &amp; high entropy points and its connection to Forgettability see <a href="#A11.SS7" title="K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.7</span></a> &amp;<a href="#A11.T16" title="Table 16 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">16</span></a>.</p>
</div>
<figure id="S6.T3" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="S6.T3.5.1.1" class="ltx_text" style="font-size:90%;">Table 3</span>: </span><span id="S6.T3.6.2" class="ltx_text" style="font-size:90%;">Uncertainty Statistics: PSGD’s higher uncertainty leads to better generalization &amp; less over-fitting.</span></figcaption>
<div id="S6.T3.3" class="ltx_inline-block ltx_align_center ltx_transformed_outer" style="width:199.2pt;height:78.8pt;vertical-align:-0.0pt;"><span class="ltx_transformed_inner" style="transform:translate(-36.8pt,14.6pt) scale(0.73,0.73) ;">
<table id="S6.T3.3.3" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="S6.T3.3.3.4.1" class="ltx_tr">
<th id="S6.T3.3.3.4.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="S6.T3.3.3.4.1.1.1" class="ltx_text ltx_font_bold">NTK</span></th>
<th id="S6.T3.3.3.4.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" colspan="3"><span id="S6.T3.3.3.4.1.2.1" class="ltx_text ltx_font_bold">Entropy</span></th>
<th id="S6.T3.3.3.4.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" colspan="3"><span id="S6.T3.3.3.4.1.3.1" class="ltx_text ltx_font_bold">Margin</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="S6.T3.3.3.5.1" class="ltx_tr">
<td id="S6.T3.3.3.5.1.1" class="ltx_td ltx_border_t"></td>
<td id="S6.T3.3.3.5.1.2" class="ltx_td ltx_align_center ltx_border_t">Min</td>
<td id="S6.T3.3.3.5.1.3" class="ltx_td ltx_align_center ltx_border_t">Mean</td>
<td id="S6.T3.3.3.5.1.4" class="ltx_td ltx_align_center ltx_border_t">Max</td>
<td id="S6.T3.3.3.5.1.5" class="ltx_td ltx_align_center ltx_border_t">Min</td>
<td id="S6.T3.3.3.5.1.6" class="ltx_td ltx_align_center ltx_border_t">Mean</td>
<td id="S6.T3.3.3.5.1.7" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_t">Max</td>
</tr>
<tr id="S6.T3.3.3.6.2" class="ltx_tr">
<td id="S6.T3.3.3.6.2.1" class="ltx_td ltx_align_left">PSGD</td>
<td id="S6.T3.3.3.6.2.2" class="ltx_td ltx_align_center">0.139</td>
<td id="S6.T3.3.3.6.2.3" class="ltx_td ltx_align_center">0.260</td>
<td id="S6.T3.3.3.6.2.4" class="ltx_td ltx_align_center">1.545</td>
<td id="S6.T3.3.3.6.2.5" class="ltx_td ltx_align_center">0.144</td>
<td id="S6.T3.3.3.6.2.6" class="ltx_td ltx_align_center">0.956</td>
<td id="S6.T3.3.3.6.2.7" class="ltx_td ltx_nopad_r ltx_align_center">0.994</td>
</tr>
<tr id="S6.T3.1.1.1" class="ltx_tr">
<td id="S6.T3.1.1.1.2" class="ltx_td ltx_align_left">SGD</td>
<td id="S6.T3.1.1.1.1" class="ltx_td ltx_align_center">7x<math id="S6.T3.1.1.1.1.m1.1" class="ltx_Math" alttext="10^{-7}" display="inline"><semantics id="S6.T3.1.1.1.1.m1.1a"><msup id="S6.T3.1.1.1.1.m1.1.1" xref="S6.T3.1.1.1.1.m1.1.1.cmml"><mn id="S6.T3.1.1.1.1.m1.1.1.2" xref="S6.T3.1.1.1.1.m1.1.1.2.cmml">10</mn><mrow id="S6.T3.1.1.1.1.m1.1.1.3" xref="S6.T3.1.1.1.1.m1.1.1.3.cmml"><mo id="S6.T3.1.1.1.1.m1.1.1.3a" xref="S6.T3.1.1.1.1.m1.1.1.3.cmml">−</mo><mn id="S6.T3.1.1.1.1.m1.1.1.3.2" xref="S6.T3.1.1.1.1.m1.1.1.3.2.cmml">7</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S6.T3.1.1.1.1.m1.1b"><apply id="S6.T3.1.1.1.1.m1.1.1.cmml" xref="S6.T3.1.1.1.1.m1.1.1"><csymbol cd="ambiguous" id="S6.T3.1.1.1.1.m1.1.1.1.cmml" xref="S6.T3.1.1.1.1.m1.1.1">superscript</csymbol><cn type="integer" id="S6.T3.1.1.1.1.m1.1.1.2.cmml" xref="S6.T3.1.1.1.1.m1.1.1.2">10</cn><apply id="S6.T3.1.1.1.1.m1.1.1.3.cmml" xref="S6.T3.1.1.1.1.m1.1.1.3"><minus id="S6.T3.1.1.1.1.m1.1.1.3.1.cmml" xref="S6.T3.1.1.1.1.m1.1.1.3"></minus><cn type="integer" id="S6.T3.1.1.1.1.m1.1.1.3.2.cmml" xref="S6.T3.1.1.1.1.m1.1.1.3.2">7</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.T3.1.1.1.1.m1.1c">10^{-7}</annotation></semantics></math>
</td>
<td id="S6.T3.1.1.1.3" class="ltx_td ltx_align_center">0.01</td>
<td id="S6.T3.1.1.1.4" class="ltx_td ltx_align_center">0.8975</td>
<td id="S6.T3.1.1.1.5" class="ltx_td ltx_align_center">0.3925</td>
<td id="S6.T3.1.1.1.6" class="ltx_td ltx_align_center">0.999</td>
<td id="S6.T3.1.1.1.7" class="ltx_td ltx_nopad_r ltx_align_center">1</td>
</tr>
<tr id="S6.T3.2.2.2" class="ltx_tr">
<td id="S6.T3.2.2.2.2" class="ltx_td ltx_align_left">Adam</td>
<td id="S6.T3.2.2.2.1" class="ltx_td ltx_align_center">1.5x<math id="S6.T3.2.2.2.1.m1.1" class="ltx_Math" alttext="10^{-7}" display="inline"><semantics id="S6.T3.2.2.2.1.m1.1a"><msup id="S6.T3.2.2.2.1.m1.1.1" xref="S6.T3.2.2.2.1.m1.1.1.cmml"><mn id="S6.T3.2.2.2.1.m1.1.1.2" xref="S6.T3.2.2.2.1.m1.1.1.2.cmml">10</mn><mrow id="S6.T3.2.2.2.1.m1.1.1.3" xref="S6.T3.2.2.2.1.m1.1.1.3.cmml"><mo id="S6.T3.2.2.2.1.m1.1.1.3a" xref="S6.T3.2.2.2.1.m1.1.1.3.cmml">−</mo><mn id="S6.T3.2.2.2.1.m1.1.1.3.2" xref="S6.T3.2.2.2.1.m1.1.1.3.2.cmml">7</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S6.T3.2.2.2.1.m1.1b"><apply id="S6.T3.2.2.2.1.m1.1.1.cmml" xref="S6.T3.2.2.2.1.m1.1.1"><csymbol cd="ambiguous" id="S6.T3.2.2.2.1.m1.1.1.1.cmml" xref="S6.T3.2.2.2.1.m1.1.1">superscript</csymbol><cn type="integer" id="S6.T3.2.2.2.1.m1.1.1.2.cmml" xref="S6.T3.2.2.2.1.m1.1.1.2">10</cn><apply id="S6.T3.2.2.2.1.m1.1.1.3.cmml" xref="S6.T3.2.2.2.1.m1.1.1.3"><minus id="S6.T3.2.2.2.1.m1.1.1.3.1.cmml" xref="S6.T3.2.2.2.1.m1.1.1.3"></minus><cn type="integer" id="S6.T3.2.2.2.1.m1.1.1.3.2.cmml" xref="S6.T3.2.2.2.1.m1.1.1.3.2">7</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.T3.2.2.2.1.m1.1c">10^{-7}</annotation></semantics></math>
</td>
<td id="S6.T3.2.2.2.3" class="ltx_td ltx_align_center">0.009</td>
<td id="S6.T3.2.2.2.4" class="ltx_td ltx_align_center">0.8645</td>
<td id="S6.T3.2.2.2.5" class="ltx_td ltx_align_center">0.3625</td>
<td id="S6.T3.2.2.2.6" class="ltx_td ltx_align_center">0.999</td>
<td id="S6.T3.2.2.2.7" class="ltx_td ltx_nopad_r ltx_align_center">1</td>
</tr>
<tr id="S6.T3.3.3.3" class="ltx_tr">
<td id="S6.T3.3.3.3.2" class="ltx_td ltx_align_left ltx_border_bb">Apollo</td>
<td id="S6.T3.3.3.3.1" class="ltx_td ltx_align_center ltx_border_bb">1x<math id="S6.T3.3.3.3.1.m1.1" class="ltx_Math" alttext="10^{-6}" display="inline"><semantics id="S6.T3.3.3.3.1.m1.1a"><msup id="S6.T3.3.3.3.1.m1.1.1" xref="S6.T3.3.3.3.1.m1.1.1.cmml"><mn id="S6.T3.3.3.3.1.m1.1.1.2" xref="S6.T3.3.3.3.1.m1.1.1.2.cmml">10</mn><mrow id="S6.T3.3.3.3.1.m1.1.1.3" xref="S6.T3.3.3.3.1.m1.1.1.3.cmml"><mo id="S6.T3.3.3.3.1.m1.1.1.3a" xref="S6.T3.3.3.3.1.m1.1.1.3.cmml">−</mo><mn id="S6.T3.3.3.3.1.m1.1.1.3.2" xref="S6.T3.3.3.3.1.m1.1.1.3.2.cmml">6</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="S6.T3.3.3.3.1.m1.1b"><apply id="S6.T3.3.3.3.1.m1.1.1.cmml" xref="S6.T3.3.3.3.1.m1.1.1"><csymbol cd="ambiguous" id="S6.T3.3.3.3.1.m1.1.1.1.cmml" xref="S6.T3.3.3.3.1.m1.1.1">superscript</csymbol><cn type="integer" id="S6.T3.3.3.3.1.m1.1.1.2.cmml" xref="S6.T3.3.3.3.1.m1.1.1.2">10</cn><apply id="S6.T3.3.3.3.1.m1.1.1.3.cmml" xref="S6.T3.3.3.3.1.m1.1.1.3"><minus id="S6.T3.3.3.3.1.m1.1.1.3.1.cmml" xref="S6.T3.3.3.3.1.m1.1.1.3"></minus><cn type="integer" id="S6.T3.3.3.3.1.m1.1.1.3.2.cmml" xref="S6.T3.3.3.3.1.m1.1.1.3.2">6</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.T3.3.3.3.1.m1.1c">10^{-6}</annotation></semantics></math>
</td>
<td id="S6.T3.3.3.3.3" class="ltx_td ltx_align_center ltx_border_bb">0.05</td>
<td id="S6.T3.3.3.3.4" class="ltx_td ltx_align_center ltx_border_bb">0.8851</td>
<td id="S6.T3.3.3.3.5" class="ltx_td ltx_align_center ltx_border_bb">0.4326</td>
<td id="S6.T3.3.3.3.6" class="ltx_td ltx_align_center ltx_border_bb">0.999</td>
<td id="S6.T3.3.3.3.7" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_bb">1</td>
</tr>
</tbody>
</table>
</span></div>
</figure>
<div id="S6.p5" class="ltx_para">
<p id="S6.p5.1" class="ltx_p"><span id="S6.p5.1.1" class="ltx_text ltx_font_bold">Forgettability Statistics &amp; Learning</span>
<cite class="ltx_cite ltx_citemacro_citet">Toneva et al. [<a href="#bib.bib42" title="" class="ltx_ref">2018</a>]</cite> found that one can prune <math id="S6.p5.1.m1.1" class="ltx_Math" alttext="30\%" display="inline"><semantics id="S6.p5.1.m1.1a"><mrow id="S6.p5.1.m1.1.1" xref="S6.p5.1.m1.1.1.cmml"><mn id="S6.p5.1.m1.1.1.2" xref="S6.p5.1.m1.1.1.2.cmml">30</mn><mo id="S6.p5.1.m1.1.1.1" xref="S6.p5.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="S6.p5.1.m1.1b"><apply id="S6.p5.1.m1.1.1.cmml" xref="S6.p5.1.m1.1.1"><csymbol cd="latexml" id="S6.p5.1.m1.1.1.1.cmml" xref="S6.p5.1.m1.1.1.1">percent</csymbol><cn type="integer" id="S6.p5.1.m1.1.1.2.cmml" xref="S6.p5.1.m1.1.1.2">30</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p5.1.m1.1c">30\%</annotation></semantics></math> of the CF10 train samples without loss of generalization via Forgettability. Toneva found point’s generalization utility is directly correlated with the number of times it is learned and forgotten during training. We investigate whether the performance difference between PSGD &amp; SGD’s generalization performance can be attributed to this forgettability ordering.</p>
</div>
<div id="S6.p6" class="ltx_para">
<p id="S6.p6.1" class="ltx_p">We train the RN18 and keep the top <math id="S6.p6.1.m1.1" class="ltx_Math" alttext="N" display="inline"><semantics id="S6.p6.1.m1.1a"><mi id="S6.p6.1.m1.1.1" xref="S6.p6.1.m1.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="S6.p6.1.m1.1b"><ci id="S6.p6.1.m1.1.1.cmml" xref="S6.p6.1.m1.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p6.1.m1.1c">N</annotation></semantics></math> important points based on each optimizer’s expected forgettability score.
Table <a href="#A11.T16" title="Table 16 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">16</span></a> shows that PSGD focuses on points that are central to generalization. When we limit the dataset to only the 5k most forgettable data points deemed by each optimizer, PSGD is able to outperform SGD by nearly 14%.</p>
</div>
<figure id="S6.T4" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="S6.T4.2.1.1" class="ltx_text" style="font-size:90%;">Table 4</span>: </span><span id="S6.T4.3.2" class="ltx_text" style="font-size:90%;">Forgetting statistics for CF10 on RN18. PSGD finds better forgettability statistics outperforming SGD.</span></figcaption>
<div id="S6.T4.4" class="ltx_inline-block ltx_align_center ltx_transformed_outer" style="width:157.6pt;height:43.2pt;vertical-align:-0.0pt;"><span class="ltx_transformed_inner" style="transform:translate(-19.7pt,5.4pt) scale(0.8,0.8) ;">
<table id="S6.T4.4.1" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="S6.T4.4.1.1.1" class="ltx_tr">
<th id="S6.T4.4.1.1.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="S6.T4.4.1.1.1.1.1" class="ltx_text ltx_font_bold">Forgetting</span></th>
<th id="S6.T4.4.1.1.1.2" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="S6.T4.4.1.1.1.2.1" class="ltx_text ltx_font_bold">50k</span></th>
<th id="S6.T4.4.1.1.1.3" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="S6.T4.4.1.1.1.3.1" class="ltx_text ltx_font_bold">25k</span></th>
<th id="S6.T4.4.1.1.1.4" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="S6.T4.4.1.1.1.4.1" class="ltx_text ltx_font_bold">15k</span></th>
<th id="S6.T4.4.1.1.1.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="S6.T4.4.1.1.1.5.1" class="ltx_text ltx_font_bold">5k</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="S6.T4.4.1.2.1" class="ltx_tr">
<td id="S6.T4.4.1.2.1.1" class="ltx_td ltx_align_left ltx_border_t">PSGD</td>
<td id="S6.T4.4.1.2.1.2" class="ltx_td ltx_align_left ltx_border_t">96.65</td>
<td id="S6.T4.4.1.2.1.3" class="ltx_td ltx_align_left ltx_border_t">95.83</td>
<td id="S6.T4.4.1.2.1.4" class="ltx_td ltx_align_left ltx_border_t">94.95</td>
<td id="S6.T4.4.1.2.1.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_t">56.46</td>
</tr>
<tr id="S6.T4.4.1.3.2" class="ltx_tr">
<td id="S6.T4.4.1.3.2.1" class="ltx_td ltx_align_left ltx_border_bb">SGD</td>
<td id="S6.T4.4.1.3.2.2" class="ltx_td ltx_align_left ltx_border_bb">96.21</td>
<td id="S6.T4.4.1.3.2.3" class="ltx_td ltx_align_left ltx_border_bb">95.56</td>
<td id="S6.T4.4.1.3.2.4" class="ltx_td ltx_align_left ltx_border_bb">93.7</td>
<td id="S6.T4.4.1.3.2.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_bb">42.48</td>
</tr>
</tbody>
</table>
</span></div>
</figure>
<div id="S6.p7" class="ltx_para">
<p id="S6.p7.1" class="ltx_p"><span id="S6.p7.1.1" class="ltx_text ltx_font_bold">PSGD Preserves Neuro-Plasticity:</span>
Recently, <cite class="ltx_cite ltx_citemacro_citet">Achille et al. [<a href="#bib.bib1" title="" class="ltx_ref">2017</a>]</cite> studied the phenomenon of neuroplasticity in NNs.
They found that NNs exhibit a critical learning period, during which if a learning deficit is not removed, the NN becomes unable to learn effectively. To simulate this deficit, CIFAR10 images are blurred for the first half of training, after which the deficit is removed. Following <cite class="ltx_cite ltx_citemacro_citet">Achille et al. [<a href="#bib.bib1" title="" class="ltx_ref">2017</a>]</cite>, we used an exponential learning rate decay. To investigate the impact of optimization on neuro-plasticity we compare SGD &amp; PSGD. We find that PSGD retains neuro-plasticity outperforming SGD by 6% &amp; 3% on test &amp; train sets seen in Fig <a href="#S5.F2.sf1" title="Figure 2(a) ‣ Figure 2 ‣ 5.2 CIFAR-10 and Friends on ResNet18 ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2(a)</span></a>, <a href="#A11.F16.sf2" title="Figure 16(b) ‣ Figure 16 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">16(b)</span></a> &amp; Table <a href="#A11.T15" title="Table 15 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a>.</p>
</div>
<div id="S6.p8" class="ltx_para">
<p id="S6.p8.1" class="ltx_p">For more on critical learning periods &amp; the importance of curvature information early in training for improving distributional shift for transfer learning, see &amp; <a href="#A11.SS8.SSSx1" title="Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.8</span></a> &amp; <a href="#A11.SS8.SSSx1" title="Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.8</span></a>.</p>
</div>
<div id="S6.p9" class="ltx_para">
<p id="S6.p9.5" class="ltx_p"><span id="S6.p9.5.1" class="ltx_text ltx_font_bold">Understanding long term dependence and memorization via the Delayed XOR Problem:</span> 
The task is to predict the XOR relation of <math id="S6.p9.1.m1.1" class="ltx_Math" alttext="a" display="inline"><semantics id="S6.p9.1.m1.1a"><mi id="S6.p9.1.m1.1.1" xref="S6.p9.1.m1.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="S6.p9.1.m1.1b"><ci id="S6.p9.1.m1.1.1.cmml" xref="S6.p9.1.m1.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p9.1.m1.1c">a</annotation></semantics></math> and <math id="S6.p9.2.m2.1" class="ltx_Math" alttext="b" display="inline"><semantics id="S6.p9.2.m2.1a"><mi id="S6.p9.2.m2.1.1" xref="S6.p9.2.m2.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="S6.p9.2.m2.1b"><ci id="S6.p9.2.m2.1.1.cmml" xref="S6.p9.2.m2.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p9.2.m2.1c">b</annotation></semantics></math> randomly scattered far away in a long sequence.
This problem is challenging for many architectures and optimizers because it cannot be “partially solved” as memorizing either <math id="S6.p9.3.m3.1" class="ltx_Math" alttext="a" display="inline"><semantics id="S6.p9.3.m3.1a"><mi id="S6.p9.3.m3.1.1" xref="S6.p9.3.m3.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="S6.p9.3.m3.1b"><ci id="S6.p9.3.m3.1.1.cmml" xref="S6.p9.3.m3.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p9.3.m3.1c">a</annotation></semantics></math> or <math id="S6.p9.4.m4.1" class="ltx_Math" alttext="b" display="inline"><semantics id="S6.p9.4.m4.1a"><mi id="S6.p9.4.m4.1.1" xref="S6.p9.4.m4.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="S6.p9.4.m4.1b"><ci id="S6.p9.4.m4.1.1.cmml" xref="S6.p9.4.m4.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p9.4.m4.1c">b</annotation></semantics></math> alone does not help to predict XOR<math id="S6.p9.5.m5.2" class="ltx_Math" alttext="(a,b)" display="inline"><semantics id="S6.p9.5.m5.2a"><mrow id="S6.p9.5.m5.2.3.2" xref="S6.p9.5.m5.2.3.1.cmml"><mo stretchy="false" id="S6.p9.5.m5.2.3.2.1" xref="S6.p9.5.m5.2.3.1.cmml">(</mo><mi id="S6.p9.5.m5.1.1" xref="S6.p9.5.m5.1.1.cmml">a</mi><mo id="S6.p9.5.m5.2.3.2.2" xref="S6.p9.5.m5.2.3.1.cmml">,</mo><mi id="S6.p9.5.m5.2.2" xref="S6.p9.5.m5.2.2.cmml">b</mi><mo stretchy="false" id="S6.p9.5.m5.2.3.2.3" xref="S6.p9.5.m5.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S6.p9.5.m5.2b"><interval closure="open" id="S6.p9.5.m5.2.3.1.cmml" xref="S6.p9.5.m5.2.3.2"><ci id="S6.p9.5.m5.1.1.cmml" xref="S6.p9.5.m5.1.1">𝑎</ci><ci id="S6.p9.5.m5.2.2.cmml" xref="S6.p9.5.m5.2.2">𝑏</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="S6.p9.5.m5.2c">(a,b)</annotation></semantics></math>.
We consider solving it with the vanilla RNNs and LSTMs optimized using SGD, AdaBelief, Adan, AdaHessian, Apollo, Hessian Free, Shampoo, KFAC, and PSGD at different sequence lengths. Apollo was not able to solve the XOR problem in any scenario.
The success rates for each optimizer are shown in Table <a href="#S6.T2" title="Table 2 ‣ 6 Understanding Second Order Optimizers ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>.
Clearly, PSGD LRA is the only method that can solve the XOR problem passing sequence length 32 with an RNN. Furthermore, LSTMs show no benefit to RNNs without using curvature information. Also, RNN optimized with PSGD outperforms LSTM optimized by any other methods. These results hint at two points. First, the choice of optimizer could be equally important as model architecture. Second, similar to the CF10 tasks, PSGD relies less on the memorization of train samples in problem-solving. See <a href="#A11.SS8" title="K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.8</span></a> for rank analysis.</p>
</div>
</section>
<section id="S7" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">7 </span>Conclusion</h2>

<div id="S7.p1" class="ltx_para">
<p id="S7.p1.1" class="ltx_p">This work presents a comprehensive study of the proposed general-purpose Lie group preconditioners for optimization of deep learning problems. We’ve provided theoretical guarantees for the convergence of Lie group preconditioned optimization methods, &amp; empirical results demonstrating PSGD outperforms SoTA optimizers in generalization, robustness, &amp; stability across various tasks in Vision, NLP, &amp; RL. Our analysis of forgettability &amp; entropy shows that PSGD effectively focuses on forgettable points, leading to improved generalization. These findings provide valuable insights for further developing efficient &amp; effective optimization techniques for deep learning models.</p>
</div>
</section>
<section id="S8" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">8 </span>Acknowledgments</h2>

<div id="S8.p1" class="ltx_para">
<p id="S8.p1.1" class="ltx_p">This work was partially supported with Cloud TPUs from Google’s Tensorflow Research Cloud (TFRC). We would like to acknowledge Yang Gao and Lalin Theverapperuma for their discussion on PSGD as well as Yaroslav Bulatov for his continued encouragements of the work on PSGD.</p>
</div>
<div class="ltx_pagination ltx_role_newpage"></div>
<div class="ltx_pagination ltx_role_newpage"></div>
<section id="bib" class="ltx_bibliography">
<h2 class="ltx_title ltx_title_bibliography">References</h2>

<ul class="ltx_biblist">
<li id="bib.bib1" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Achille et al. [2017]</span>
<span class="ltx_bibblock">
Alessandro Achille, Matteo Rovere, and Stefano Soatto.

</span>
<span class="ltx_bibblock">Critical learning periods in deep neural networks.

</span>
<span class="ltx_bibblock"><em id="bib.bib1.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/1711.08856, 2017.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://arxiv.org/abs/1711.08856" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://arxiv.org/abs/1711.08856</a>.

</span>
</li>
<li id="bib.bib2" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Agarwal et al. [2018]</span>
<span class="ltx_bibblock">
Naman Agarwal, Brian Bullins, Xinyi Chen, Elad Hazan, Karan Singh, Cyril Zhang, and Yi Zhang.

</span>
<span class="ltx_bibblock">Efficient full-matrix adaptive regularization.

</span>
<span class="ltx_bibblock"><em id="bib.bib2.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1806.02958</em>, 2018.

</span>
</li>
<li id="bib.bib3" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ba et al. [2016]</span>
<span class="ltx_bibblock">
Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton.

</span>
<span class="ltx_bibblock">Layer normalization, 2016.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/1607.06450" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/1607.06450</a>.

</span>
</li>
<li id="bib.bib4" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Boyd and Vandenberghe [2004]</span>
<span class="ltx_bibblock">
S. Boyd and L. Vandenberghe.

</span>
<span class="ltx_bibblock"><em id="bib.bib4.1.1" class="ltx_emph ltx_font_italic">Convex Optimization</em>.

</span>
<span class="ltx_bibblock">Cambridge University Press, 2004.

</span>
</li>
<li id="bib.bib5" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Brockman et al. [2016]</span>
<span class="ltx_bibblock">
Greg Brockman, Vicki Cheung, Ludwig Pettersson, Jonas Schneider, John Schulman, Jie Tang, and Wojciech Zaremba.

</span>
<span class="ltx_bibblock">Openai gym.

</span>
<span class="ltx_bibblock"><em id="bib.bib5.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1606.01540</em>, 2016.

</span>
</li>
<li id="bib.bib6" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Cao and Gu [2019]</span>
<span class="ltx_bibblock">
Yuan Cao and Quanquan Gu.

</span>
<span class="ltx_bibblock">Generalization error bounds of gradient descent for learning over-parameterized deep relu networks, 2019.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/1902.01384" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/1902.01384</a>.

</span>
</li>
<li id="bib.bib7" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Chaudhari et al. [2019]</span>
<span class="ltx_bibblock">
Pratik Chaudhari, Anna Choromanska, Stefano Soatto, Yann LeCun, Carlo Baldassi, Christian Borgs, Jennifer Chayes, Levent Sagun, and Riccardo Zecchina.

</span>
<span class="ltx_bibblock">Entropy-sgd: Biasing gradient descent into wide valleys.

</span>
<span class="ltx_bibblock"><em id="bib.bib7.1.1" class="ltx_emph ltx_font_italic">Journal of Statistical Mechanics: Theory and Experiment</em>, 2019(12):124018, 2019.

</span>
</li>
<li id="bib.bib8" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Dauphin et al. [2015]</span>
<span class="ltx_bibblock">
Y. N. Dauphin, H. Vries, and Y. Bengio.

</span>
<span class="ltx_bibblock">Equilibrated adaptive learning rates for non-convex optimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib8.1.1" class="ltx_emph ltx_font_italic">NIPS</em>, pages 1504–1512. MIT Press, 2015.

</span>
</li>
<li id="bib.bib9" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Deng et al. [2009]</span>
<span class="ltx_bibblock">
Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei.

</span>
<span class="ltx_bibblock">Imagenet: A large-scale hierarchical image database.

</span>
<span class="ltx_bibblock">In <em id="bib.bib9.1.1" class="ltx_emph ltx_font_italic">2009 IEEE Conference on Computer Vision and Pattern Recognition</em>, pages 248–255, 2009.

</span>
<span class="ltx_bibblock">doi: <span class="ltx_ref ltx_nolink ltx_Url ltx_ref_self">10.1109/CVPR.2009.5206848</span>.

</span>
</li>
<li id="bib.bib10" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Dosovitskiy et al. [2020]</span>
<span class="ltx_bibblock">
Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby.

</span>
<span class="ltx_bibblock">An image is worth 16x16 words: Transformers for image recognition at scale.

</span>
<span class="ltx_bibblock"><em id="bib.bib10.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/2010.11929, 2020.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/2010.11929" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/2010.11929</a>.

</span>
</li>
<li id="bib.bib11" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Gokaslan and Cohen [2019]</span>
<span class="ltx_bibblock">
Aaron Gokaslan and Vanya Cohen.

</span>
<span class="ltx_bibblock">Openwebtext corpus, 2019.

</span>
</li>
<li id="bib.bib12" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Goldfarb et al. [2020]</span>
<span class="ltx_bibblock">
Donald Goldfarb, Yi Ren, and Achraf Bahamou.

</span>
<span class="ltx_bibblock">Practical quasi-newton methods for training deep neural networks.

</span>
<span class="ltx_bibblock"><em id="bib.bib12.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/2006.08877, 2020.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/2006.08877" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/2006.08877</a>.

</span>
</li>
<li id="bib.bib13" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Gupta et al. [2018]</span>
<span class="ltx_bibblock">
Vineet Gupta, Tomer Koren, and Yoram Singer.

</span>
<span class="ltx_bibblock">Shampoo: Preconditioned stochastic tensor optimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib13.1.1" class="ltx_emph ltx_font_italic">International Conference on Machine Learning</em>, pages 1842–1850. PMLR, 2018.

</span>
</li>
<li id="bib.bib14" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Hochreiter and Schmidhuber [1997]</span>
<span class="ltx_bibblock">
S. Hochreiter and J. Schmidhuber.

</span>
<span class="ltx_bibblock">Long short-term memory.

</span>
<span class="ltx_bibblock"><em id="bib.bib14.1.1" class="ltx_emph ltx_font_italic">Neural Computation</em>, 9(8):1735–1780, 1997.

</span>
</li>
<li id="bib.bib15" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Huang et al. [2018]</span>
<span class="ltx_bibblock">
Lei Huang, Dawei Yang, Bo Lang, and Jia Deng.

</span>
<span class="ltx_bibblock">Decorrelated batch normalization.

</span>
<span class="ltx_bibblock"><em id="bib.bib15.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/1804.08450, 2018.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://arxiv.org/abs/1804.08450" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://arxiv.org/abs/1804.08450</a>.

</span>
</li>
<li id="bib.bib16" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ioffe and Szegedy [2015]</span>
<span class="ltx_bibblock">
Sergey Ioffe and Christian Szegedy.

</span>
<span class="ltx_bibblock">Batch normalization: Accelerating deep network training by reducing internal covariate shift.

</span>
<span class="ltx_bibblock"><em id="bib.bib16.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/1502.03167, 2015.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://arxiv.org/abs/1502.03167" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://arxiv.org/abs/1502.03167</a>.

</span>
</li>
<li id="bib.bib17" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Izmailov et al. [2018]</span>
<span class="ltx_bibblock">
Pavel Izmailov, Dmitrii Podoprikhin, Timur Garipov, Dmitry Vetrov, and Andrew Gordon Wilson.

</span>
<span class="ltx_bibblock">Averaging weights leads to wider optima and better generalization.

</span>
<span class="ltx_bibblock"><em id="bib.bib17.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1803.05407</em>, 2018.

</span>
</li>
<li id="bib.bib18" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Karpathy [2022]</span>
<span class="ltx_bibblock">
Andrej Karpathy.

</span>
<span class="ltx_bibblock">Nanogpt: Small gpt implementations.

</span>
<span class="ltx_bibblock"><a target="_blank" href="https://github.com/karpathy/nanoGPT" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://github.com/karpathy/nanoGPT</a>, 2022.

</span>
<span class="ltx_bibblock">Accessed on 22 February 2023.

</span>
</li>
<li id="bib.bib19" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Keskar et al. [2016]</span>
<span class="ltx_bibblock">
Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, and Ping Tak Peter Tang.

</span>
<span class="ltx_bibblock">On large-batch training for deep learning: Generalization gap and sharp minima.

</span>
<span class="ltx_bibblock"><em id="bib.bib19.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1609.04836</em>, 2016.

</span>
</li>
<li id="bib.bib20" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Kingma and Ba [2015]</span>
<span class="ltx_bibblock">
D. P. Kingma and J. L. Ba.

</span>
<span class="ltx_bibblock">Adam: a method for stochastic optimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib20.1.1" class="ltx_emph ltx_font_italic">ICLR</em>. Ithaca, NY: arXiv.org, 2015.

</span>
</li>
<li id="bib.bib21" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Krizhevsky [2009]</span>
<span class="ltx_bibblock">
Alex Krizhevsky.

</span>
<span class="ltx_bibblock">Learning multiple layers of features from tiny images.

</span>
<span class="ltx_bibblock">pages 32–33, 2009.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf</a>.

</span>
</li>
<li id="bib.bib22" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Kwon et al. [2021]</span>
<span class="ltx_bibblock">
Jungmin Kwon, Jeongseop Kim, Hyunseo Park, and In Kwon Choi.

</span>
<span class="ltx_bibblock">Asam: Adaptive sharpness-aware minimization for scale-invariant learning of deep neural networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib22.1.1" class="ltx_emph ltx_font_italic">International Conference on Machine Learning</em>, pages 5905–5914. PMLR, 2021.

</span>
</li>
<li id="bib.bib23" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Lecun et al. [1998]</span>
<span class="ltx_bibblock">
Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner.

</span>
<span class="ltx_bibblock">Gradient-based learning applied to document recognition.

</span>
<span class="ltx_bibblock"><em id="bib.bib23.1.1" class="ltx_emph ltx_font_italic">Proceedings of the IEEE</em>, 86(11):2278–2324, 1998.

</span>
<span class="ltx_bibblock">doi: <span class="ltx_ref ltx_nolink ltx_Url ltx_ref_self">10.1109/5.726791</span>.

</span>
</li>
<li id="bib.bib24" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">LeCun and Cortes [2010]</span>
<span class="ltx_bibblock">
Yann LeCun and Corinna Cortes.

</span>
<span class="ltx_bibblock">MNIST handwritten digit database.

</span>
<span class="ltx_bibblock">2010.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://yann.lecun.com/exdb/mnist/" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://yann.lecun.com/exdb/mnist/</a>.

</span>
</li>
<li id="bib.bib25" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Li [2019]</span>
<span class="ltx_bibblock">
X. L. Li.

</span>
<span class="ltx_bibblock">Preconditioner on matrix lie group for SGD.

</span>
<span class="ltx_bibblock">In <em id="bib.bib25.1.1" class="ltx_emph ltx_font_italic">7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019</em>. OpenReview.net, 2019.

</span>
</li>
<li id="bib.bib26" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Li [2015]</span>
<span class="ltx_bibblock">
Xi-Lin Li.

</span>
<span class="ltx_bibblock">Preconditioned stochastic gradient descent, 2015.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/1512.04202" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/1512.04202</a>.

</span>
</li>
<li id="bib.bib27" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Loshchilov and Hutter [2016]</span>
<span class="ltx_bibblock">
Ilya Loshchilov and Frank Hutter.

</span>
<span class="ltx_bibblock">Sgdr: Stochastic gradient descent with warm restarts.

</span>
<span class="ltx_bibblock"><em id="bib.bib27.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1608.03983</em>, 2016.

</span>
</li>
<li id="bib.bib28" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Marcus et al. [1993]</span>
<span class="ltx_bibblock">
Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz.

</span>
<span class="ltx_bibblock">Building a large annotated corpus of English: The Penn Treebank.

</span>
<span class="ltx_bibblock"><em id="bib.bib28.1.1" class="ltx_emph ltx_font_italic">Computational Linguistics</em>, 19(2):313–330, 1993.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://aclanthology.org/J93-2004" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://aclanthology.org/J93-2004</a>.

</span>
</li>
<li id="bib.bib29" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Martens and Grosse [2015]</span>
<span class="ltx_bibblock">
J. Martens and R. B. Grosse.

</span>
<span class="ltx_bibblock">Optimizing neural networks with Kronecker-factored approximate curvature.

</span>
<span class="ltx_bibblock">In <em id="bib.bib29.1.1" class="ltx_emph ltx_font_italic">ICML</em>, pages 2408–2417, 2015.

</span>
</li>
<li id="bib.bib30" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Martens and Sutskever [2012]</span>
<span class="ltx_bibblock">
J. Martens and I. Sutskever.

</span>
<span class="ltx_bibblock">Training deep and recurrent neural networks with hessian-free optimization.

</span>
<span class="ltx_bibblock">In G. Montavon, G. B. Orr, and K. R. Muller, editors, <em id="bib.bib30.1.1" class="ltx_emph ltx_font_italic">Neural Networks: Tricks of the Trade</em>. Springer, Berlin Heidelberg, 2012.

</span>
</li>
<li id="bib.bib31" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Martens [2016]</span>
<span class="ltx_bibblock">
James Martens.

</span>
<span class="ltx_bibblock"><em id="bib.bib31.1.1" class="ltx_emph ltx_font_italic">Second-order Optimization for Neural Networks</em>.

</span>
<span class="ltx_bibblock">PhD thesis, University of Toronto, Canada, 2016.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://hdl.handle.net/1807/71732" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://hdl.handle.net/1807/71732</a>.

</span>
</li>
<li id="bib.bib32" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Novik [2020]</span>
<span class="ltx_bibblock">
Mykola Novik.

</span>
<span class="ltx_bibblock">torch-optimizer – collection of optimization algorithms for PyTorch., January 2020.

</span>
</li>
<li id="bib.bib33" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Osawa et al. [2022]</span>
<span class="ltx_bibblock">
Kazuki Osawa, Satoki Ishikawa, Rio Yokota, Shigang Li, and Torsten Hoefler.

</span>
<span class="ltx_bibblock">Asdl: A unified interface for gradient preconditioning in pytorch.

</span>
<span class="ltx_bibblock">In <em id="bib.bib33.1.1" class="ltx_emph ltx_font_italic">Order Up! The Benefits of Higher-Order Optimization in Machine Learning, NeurIPS 2022 Workshop</em>, 2022.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://order-up-ml.github.io/papers/19.pdf" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://order-up-ml.github.io/papers/19.pdf</a>.

</span>
</li>
<li id="bib.bib34" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Paszke et al. [2017]</span>
<span class="ltx_bibblock">
Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer.

</span>
<span class="ltx_bibblock">Automatic differentiation in pytorch.

</span>
<span class="ltx_bibblock">In <em id="bib.bib34.1.1" class="ltx_emph ltx_font_italic">NIPS-W</em>, 2017.

</span>
</li>
<li id="bib.bib35" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Pearlmutter [1994]</span>
<span class="ltx_bibblock">
Barak A Pearlmutter.

</span>
<span class="ltx_bibblock">Fast exact multiplication by the hessian.

</span>
<span class="ltx_bibblock"><em id="bib.bib35.1.1" class="ltx_emph ltx_font_italic">Neural computation</em>, 6(1):147–160, 1994.

</span>
</li>
<li id="bib.bib36" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Pooladzandi et al. [2022]</span>
<span class="ltx_bibblock">
Omead Pooladzandi, David Davini, and Baharan Mirzasoleiman.

</span>
<span class="ltx_bibblock">Adaptive second order coresets for data-efficient machine learning.

</span>
<span class="ltx_bibblock">In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors, <em id="bib.bib36.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 39th International Conference on Machine Learning</em>, volume 162 of <em id="bib.bib36.2.2" class="ltx_emph ltx_font_italic">Proceedings of Machine Learning Research</em>, pages 17848–17869. PMLR, 17–23 Jul 2022.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://proceedings.mlr.press/v162/pooladzandi22a.html" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://proceedings.mlr.press/v162/pooladzandi22a.html</a>.

</span>
</li>
<li id="bib.bib37" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Pooladzandi et al. [2023]</span>
<span class="ltx_bibblock">
Omead Pooladzandi, Pasha Khosravi, Erik Nijkamp, and Baharan Mirzasoleiman.

</span>
<span class="ltx_bibblock">Generating high fidelity synthetic data via coreset selection and entropic regularization, 2023.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/2302.00138" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/2302.00138</a>.

</span>
</li>
<li id="bib.bib38" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Radford et al. [2019]</span>
<span class="ltx_bibblock">
Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever.

</span>
<span class="ltx_bibblock">Language models are unsupervised multitask learners.

</span>
<span class="ltx_bibblock">2019.

</span>
</li>
<li id="bib.bib39" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sagun et al. [2016]</span>
<span class="ltx_bibblock">
Levent Sagun, Léon Bottou, and Yann LeCun.

</span>
<span class="ltx_bibblock">Singularity of the hessian in deep learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib39.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/1611.07476, 2016.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://arxiv.org/abs/1611.07476" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://arxiv.org/abs/1611.07476</a>.

</span>
</li>
<li id="bib.bib40" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sagun et al. [2017]</span>
<span class="ltx_bibblock">
Levent Sagun, Utku Evci, V. Ugur Güney, Yann N. Dauphin, and Léon Bottou.

</span>
<span class="ltx_bibblock">Empirical analysis of the hessian of over-parametrized neural networks.

</span>
<span class="ltx_bibblock"><em id="bib.bib40.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/1706.04454, 2017.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://arxiv.org/abs/1706.04454" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://arxiv.org/abs/1706.04454</a>.

</span>
</li>
<li id="bib.bib41" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Schulman et al. [2017]</span>
<span class="ltx_bibblock">
John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov.

</span>
<span class="ltx_bibblock">Proximal policy optimization algorithms, 2017.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/1707.06347" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/1707.06347</a>.

</span>
</li>
<li id="bib.bib42" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Toneva et al. [2018]</span>
<span class="ltx_bibblock">
Mariya Toneva, Alessandro Sordoni, Remi Tachet des Combes, Adam Trischler, Yoshua Bengio, and Geoffrey J Gordon.

</span>
<span class="ltx_bibblock">An empirical study of example forgetting during deep neural network learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib42.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:1812.05159</em>, 2018.

</span>
</li>
<li id="bib.bib43" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Veit et al. [2016]</span>
<span class="ltx_bibblock">
Andreas Veit, Michael Wilber, and Serge Belongie.

</span>
<span class="ltx_bibblock">Residual networks behave like ensembles of relatively shallow networks, 2016.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/1605.06431" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/1605.06431</a>.

</span>
</li>
<li id="bib.bib44" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Wilson et al. [2017]</span>
<span class="ltx_bibblock">
Ashia C. Wilson, Rebecca Roelofs, Mitchell Stern, Nathan Srebro, and Benjamin Recht.

</span>
<span class="ltx_bibblock">The marginal value of adaptive gradient methods in machine learning, 2017.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/1705.08292" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/1705.08292</a>.

</span>
</li>
<li id="bib.bib45" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Wu and He [2018]</span>
<span class="ltx_bibblock">
Yuxin Wu and Kaiming He.

</span>
<span class="ltx_bibblock">Group normalization.

</span>
<span class="ltx_bibblock"><em id="bib.bib45.1.1" class="ltx_emph ltx_font_italic">CoRR</em>, abs/1803.08494, 2018.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="http://arxiv.org/abs/1803.08494" title="" class="ltx_ref ltx_url ltx_font_typewriter">http://arxiv.org/abs/1803.08494</a>.

</span>
</li>
<li id="bib.bib46" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yao et al. [2021]</span>
<span class="ltx_bibblock">
Zhewei Yao, Amir Gholami, Sheng Shen, Mustafa Mustafa, Kurt Keutzer, and Michael W. Mahoney.

</span>
<span class="ltx_bibblock">Adahessian: an adaptive second order optimizer for machine learning.

</span>
<span class="ltx_bibblock">In <em id="bib.bib46.1.1" class="ltx_emph ltx_font_italic">AAAI</em>, 2021.

</span>
</li>
<li id="bib.bib47" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yuan and Wu [2021]</span>
<span class="ltx_bibblock">
Chia-Hung Yuan and Shan-Hung Wu.

</span>
<span class="ltx_bibblock">Neural tangent generalization attacks.

</span>
<span class="ltx_bibblock">In Marina Meila and Tong Zhang, editors, <em id="bib.bib47.1.1" class="ltx_emph ltx_font_italic">Proceedings of the 38th International Conference on Machine Learning</em>, volume 139 of <em id="bib.bib47.2.2" class="ltx_emph ltx_font_italic">Proceedings of Machine Learning Research</em>, pages 12230–12240. PMLR, 18–24 Jul 2021.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://proceedings.mlr.press/v139/yuan21b.html" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://proceedings.mlr.press/v139/yuan21b.html</a>.

</span>
</li>
<li id="bib.bib48" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhang et al. [2022]</span>
<span class="ltx_bibblock">
Guodong Zhang, Aleksandar Botev, and James Martens.

</span>
<span class="ltx_bibblock">Deep learning without shortcuts: Shaping the kernel with tailored rectifiers.

</span>
<span class="ltx_bibblock"><em id="bib.bib48.1.1" class="ltx_emph ltx_font_italic">arXiv preprint arXiv:2203.08120</em>, 2022.

</span>
</li>
<li id="bib.bib49" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhou et al. [2020a]</span>
<span class="ltx_bibblock">
Pan Zhou, Jiashi Feng, Chao Ma, Caiming Xiong, Steven Hoi, and Weinan E.

</span>
<span class="ltx_bibblock">Towards theoretically understanding why sgd generalizes better than adam in deep learning, 2020a.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/2010.05627" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/2010.05627</a>.

</span>
</li>
<li id="bib.bib50" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhou et al. [2020b]</span>
<span class="ltx_bibblock">
Pan Zhou, Jiashi Feng, Chao Ma, Caiming Xiong, Steven Chu Hong Hoi, et al.

</span>
<span class="ltx_bibblock">Towards theoretically understanding why sgd generalizes better than adam in deep learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib50.1.1" class="ltx_emph ltx_font_italic">Advances in Neural Information Processing Systems</em>, 33:21285–21296, 2020b.

</span>
</li>
<li id="bib.bib51" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zhuang et al. [2020]</span>
<span class="ltx_bibblock">
Juntang Zhuang, Tommy Tang, Yifan Ding, Sekhar Tatikonda, Nicha Dvornek, Xenophon Papademetris, and James S. Duncan.

</span>
<span class="ltx_bibblock">Adabelief optimizer: adapting stepsizes by the belief in observed gradients.

</span>
<span class="ltx_bibblock">In <em id="bib.bib51.1.1" class="ltx_emph ltx_font_italic">NeurIPS 2020</em>, 2020.

</span>
</li>
</ul>
</section>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
<section id="A1" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix A </span>On the Convergence of PSGD</h2>

<div id="A1.p1" class="ltx_para">
<p id="A1.p1.2" class="ltx_p">In this section, we first show that the preconditioner <math id="A1.p1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.p1.1.m1.1a"><mi id="A1.p1.1.m1.1.1" xref="A1.p1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.p1.1.m1.1b"><ci id="A1.p1.1.m1.1.1.cmml" xref="A1.p1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.1.m1.1c">P</annotation></semantics></math> estimated by PSGD converges to the inverse of Hessian under mild conditions. We then show the quadratic convergence of <span id="A1.p1.2.1" class="ltx_text ltx_markedasmath ltx_font_smallcaps">PSGD</span> under the convex setting.</p>
</div>
<section id="A1.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">A.1 </span>PSGD’s preconditioner <math id="A1.SS1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS1.1.m1.1b"><mi id="A1.SS1.1.m1.1.1" xref="A1.SS1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.1.m1.1c"><ci id="A1.SS1.1.m1.1.1.cmml" xref="A1.SS1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.1.m1.1d">P</annotation></semantics></math> recovers <math id="A1.SS1.2.m2.1" class="ltx_Math" alttext="H^{-1}" display="inline"><semantics id="A1.SS1.2.m2.1b"><msup id="A1.SS1.2.m2.1.1" xref="A1.SS1.2.m2.1.1.cmml"><mi id="A1.SS1.2.m2.1.1.2" xref="A1.SS1.2.m2.1.1.2.cmml">H</mi><mrow id="A1.SS1.2.m2.1.1.3" xref="A1.SS1.2.m2.1.1.3.cmml"><mo id="A1.SS1.2.m2.1.1.3b" xref="A1.SS1.2.m2.1.1.3.cmml">−</mo><mn id="A1.SS1.2.m2.1.1.3.2" xref="A1.SS1.2.m2.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.2.m2.1c"><apply id="A1.SS1.2.m2.1.1.cmml" xref="A1.SS1.2.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.2.m2.1.1.1.cmml" xref="A1.SS1.2.m2.1.1">superscript</csymbol><ci id="A1.SS1.2.m2.1.1.2.cmml" xref="A1.SS1.2.m2.1.1.2">𝐻</ci><apply id="A1.SS1.2.m2.1.1.3.cmml" xref="A1.SS1.2.m2.1.1.3"><minus id="A1.SS1.2.m2.1.1.3.1.cmml" xref="A1.SS1.2.m2.1.1.3"></minus><cn type="integer" id="A1.SS1.2.m2.1.1.3.2.cmml" xref="A1.SS1.2.m2.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.2.m2.1d">H^{-1}</annotation></semantics></math> </h3>

<div id="A1.SS1.p1" class="ltx_para">
<p id="A1.SS1.p1.4" class="ltx_p">To begin, let us formulate the problem clearly. Let <math id="A1.SS1.p1.1.m1.2" class="ltx_Math" alttext="(v,h)" display="inline"><semantics id="A1.SS1.p1.1.m1.2a"><mrow id="A1.SS1.p1.1.m1.2.3.2" xref="A1.SS1.p1.1.m1.2.3.1.cmml"><mo stretchy="false" id="A1.SS1.p1.1.m1.2.3.2.1" xref="A1.SS1.p1.1.m1.2.3.1.cmml">(</mo><mi id="A1.SS1.p1.1.m1.1.1" xref="A1.SS1.p1.1.m1.1.1.cmml">v</mi><mo id="A1.SS1.p1.1.m1.2.3.2.2" xref="A1.SS1.p1.1.m1.2.3.1.cmml">,</mo><mi id="A1.SS1.p1.1.m1.2.2" xref="A1.SS1.p1.1.m1.2.2.cmml">h</mi><mo stretchy="false" id="A1.SS1.p1.1.m1.2.3.2.3" xref="A1.SS1.p1.1.m1.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.1.m1.2b"><interval closure="open" id="A1.SS1.p1.1.m1.2.3.1.cmml" xref="A1.SS1.p1.1.m1.2.3.2"><ci id="A1.SS1.p1.1.m1.1.1.cmml" xref="A1.SS1.p1.1.m1.1.1">𝑣</ci><ci id="A1.SS1.p1.1.m1.2.2.cmml" xref="A1.SS1.p1.1.m1.2.2">ℎ</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.1.m1.2c">(v,h)</annotation></semantics></math> be a pair of vector and the associated noisy Hessian-vector product. We assume that <math id="A1.SS1.p1.2.m2.1" class="ltx_Math" alttext="v" display="inline"><semantics id="A1.SS1.p1.2.m2.1a"><mi id="A1.SS1.p1.2.m2.1.1" xref="A1.SS1.p1.2.m2.1.1.cmml">v</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.2.m2.1b"><ci id="A1.SS1.p1.2.m2.1.1.cmml" xref="A1.SS1.p1.2.m2.1.1">𝑣</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.2.m2.1c">v</annotation></semantics></math> is drawn from distribution <math id="A1.SS1.p1.3.m3.2" class="ltx_Math" alttext="\mathcal{N}(0,I)" display="inline"><semantics id="A1.SS1.p1.3.m3.2a"><mrow id="A1.SS1.p1.3.m3.2.3" xref="A1.SS1.p1.3.m3.2.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.SS1.p1.3.m3.2.3.2" xref="A1.SS1.p1.3.m3.2.3.2.cmml">𝒩</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p1.3.m3.2.3.1" xref="A1.SS1.p1.3.m3.2.3.1.cmml">​</mo><mrow id="A1.SS1.p1.3.m3.2.3.3.2" xref="A1.SS1.p1.3.m3.2.3.3.1.cmml"><mo stretchy="false" id="A1.SS1.p1.3.m3.2.3.3.2.1" xref="A1.SS1.p1.3.m3.2.3.3.1.cmml">(</mo><mn id="A1.SS1.p1.3.m3.1.1" xref="A1.SS1.p1.3.m3.1.1.cmml">0</mn><mo id="A1.SS1.p1.3.m3.2.3.3.2.2" xref="A1.SS1.p1.3.m3.2.3.3.1.cmml">,</mo><mi id="A1.SS1.p1.3.m3.2.2" xref="A1.SS1.p1.3.m3.2.2.cmml">I</mi><mo stretchy="false" id="A1.SS1.p1.3.m3.2.3.3.2.3" xref="A1.SS1.p1.3.m3.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.3.m3.2b"><apply id="A1.SS1.p1.3.m3.2.3.cmml" xref="A1.SS1.p1.3.m3.2.3"><times id="A1.SS1.p1.3.m3.2.3.1.cmml" xref="A1.SS1.p1.3.m3.2.3.1"></times><ci id="A1.SS1.p1.3.m3.2.3.2.cmml" xref="A1.SS1.p1.3.m3.2.3.2">𝒩</ci><interval closure="open" id="A1.SS1.p1.3.m3.2.3.3.1.cmml" xref="A1.SS1.p1.3.m3.2.3.3.2"><cn type="integer" id="A1.SS1.p1.3.m3.1.1.cmml" xref="A1.SS1.p1.3.m3.1.1">0</cn><ci id="A1.SS1.p1.3.m3.2.2.cmml" xref="A1.SS1.p1.3.m3.2.2">𝐼</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.3.m3.2c">\mathcal{N}(0,I)</annotation></semantics></math>. The noisy Hessian-vector product <math id="A1.SS1.p1.4.m4.1" class="ltx_Math" alttext="h" display="inline"><semantics id="A1.SS1.p1.4.m4.1a"><mi id="A1.SS1.p1.4.m4.1.1" xref="A1.SS1.p1.4.m4.1.1.cmml">h</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.4.m4.1b"><ci id="A1.SS1.p1.4.m4.1.1.cmml" xref="A1.SS1.p1.4.m4.1.1">ℎ</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.4.m4.1c">h</annotation></semantics></math> is modeled by</p>
<table id="A12.EGx2" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex4"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex4.m1.1" class="ltx_Math" alttext="\displaystyle h=H_{0}v+\varepsilon" display="inline"><semantics id="A1.Ex4.m1.1a"><mrow id="A1.Ex4.m1.1.1" xref="A1.Ex4.m1.1.1.cmml"><mi id="A1.Ex4.m1.1.1.2" xref="A1.Ex4.m1.1.1.2.cmml">h</mi><mo id="A1.Ex4.m1.1.1.1" xref="A1.Ex4.m1.1.1.1.cmml">=</mo><mrow id="A1.Ex4.m1.1.1.3" xref="A1.Ex4.m1.1.1.3.cmml"><mrow id="A1.Ex4.m1.1.1.3.2" xref="A1.Ex4.m1.1.1.3.2.cmml"><msub id="A1.Ex4.m1.1.1.3.2.2" xref="A1.Ex4.m1.1.1.3.2.2.cmml"><mi id="A1.Ex4.m1.1.1.3.2.2.2" xref="A1.Ex4.m1.1.1.3.2.2.2.cmml">H</mi><mn id="A1.Ex4.m1.1.1.3.2.2.3" xref="A1.Ex4.m1.1.1.3.2.2.3.cmml">0</mn></msub><mo lspace="0em" rspace="0em" id="A1.Ex4.m1.1.1.3.2.1" xref="A1.Ex4.m1.1.1.3.2.1.cmml">​</mo><mi id="A1.Ex4.m1.1.1.3.2.3" xref="A1.Ex4.m1.1.1.3.2.3.cmml">v</mi></mrow><mo id="A1.Ex4.m1.1.1.3.1" xref="A1.Ex4.m1.1.1.3.1.cmml">+</mo><mi id="A1.Ex4.m1.1.1.3.3" xref="A1.Ex4.m1.1.1.3.3.cmml">ε</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex4.m1.1b"><apply id="A1.Ex4.m1.1.1.cmml" xref="A1.Ex4.m1.1.1"><eq id="A1.Ex4.m1.1.1.1.cmml" xref="A1.Ex4.m1.1.1.1"></eq><ci id="A1.Ex4.m1.1.1.2.cmml" xref="A1.Ex4.m1.1.1.2">ℎ</ci><apply id="A1.Ex4.m1.1.1.3.cmml" xref="A1.Ex4.m1.1.1.3"><plus id="A1.Ex4.m1.1.1.3.1.cmml" xref="A1.Ex4.m1.1.1.3.1"></plus><apply id="A1.Ex4.m1.1.1.3.2.cmml" xref="A1.Ex4.m1.1.1.3.2"><times id="A1.Ex4.m1.1.1.3.2.1.cmml" xref="A1.Ex4.m1.1.1.3.2.1"></times><apply id="A1.Ex4.m1.1.1.3.2.2.cmml" xref="A1.Ex4.m1.1.1.3.2.2"><csymbol cd="ambiguous" id="A1.Ex4.m1.1.1.3.2.2.1.cmml" xref="A1.Ex4.m1.1.1.3.2.2">subscript</csymbol><ci id="A1.Ex4.m1.1.1.3.2.2.2.cmml" xref="A1.Ex4.m1.1.1.3.2.2.2">𝐻</ci><cn type="integer" id="A1.Ex4.m1.1.1.3.2.2.3.cmml" xref="A1.Ex4.m1.1.1.3.2.2.3">0</cn></apply><ci id="A1.Ex4.m1.1.1.3.2.3.cmml" xref="A1.Ex4.m1.1.1.3.2.3">𝑣</ci></apply><ci id="A1.Ex4.m1.1.1.3.3.cmml" xref="A1.Ex4.m1.1.1.3.3">𝜀</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex4.m1.1c">\displaystyle h=H_{0}v+\varepsilon</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.p1.8" class="ltx_p">where <math id="A1.SS1.p1.5.m1.1" class="ltx_Math" alttext="H_{0}" display="inline"><semantics id="A1.SS1.p1.5.m1.1a"><msub id="A1.SS1.p1.5.m1.1.1" xref="A1.SS1.p1.5.m1.1.1.cmml"><mi id="A1.SS1.p1.5.m1.1.1.2" xref="A1.SS1.p1.5.m1.1.1.2.cmml">H</mi><mn id="A1.SS1.p1.5.m1.1.1.3" xref="A1.SS1.p1.5.m1.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.5.m1.1b"><apply id="A1.SS1.p1.5.m1.1.1.cmml" xref="A1.SS1.p1.5.m1.1.1"><csymbol cd="ambiguous" id="A1.SS1.p1.5.m1.1.1.1.cmml" xref="A1.SS1.p1.5.m1.1.1">subscript</csymbol><ci id="A1.SS1.p1.5.m1.1.1.2.cmml" xref="A1.SS1.p1.5.m1.1.1.2">𝐻</ci><cn type="integer" id="A1.SS1.p1.5.m1.1.1.3.cmml" xref="A1.SS1.p1.5.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.5.m1.1c">H_{0}</annotation></semantics></math> is the true Hessian, and <math id="A1.SS1.p1.6.m2.1" class="ltx_Math" alttext="\varepsilon" display="inline"><semantics id="A1.SS1.p1.6.m2.1a"><mi id="A1.SS1.p1.6.m2.1.1" xref="A1.SS1.p1.6.m2.1.1.cmml">ε</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.6.m2.1b"><ci id="A1.SS1.p1.6.m2.1.1.cmml" xref="A1.SS1.p1.6.m2.1.1">𝜀</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.6.m2.1c">\varepsilon</annotation></semantics></math> is a noise term independent of <math id="A1.SS1.p1.7.m3.1" class="ltx_Math" alttext="v" display="inline"><semantics id="A1.SS1.p1.7.m3.1a"><mi id="A1.SS1.p1.7.m3.1.1" xref="A1.SS1.p1.7.m3.1.1.cmml">v</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.7.m3.1b"><ci id="A1.SS1.p1.7.m3.1.1.cmml" xref="A1.SS1.p1.7.m3.1.1">𝑣</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.7.m3.1c">v</annotation></semantics></math> due to use of sample averaged loss instead of the true loss. Note, the full Hessian expansion is circumvented, and instead only requires us to calculate the much cheaper Hessian vector product <math id="A1.SS1.p1.8.m4.1" class="ltx_Math" alttext="H_{0}v" display="inline"><semantics id="A1.SS1.p1.8.m4.1a"><mrow id="A1.SS1.p1.8.m4.1.1" xref="A1.SS1.p1.8.m4.1.1.cmml"><msub id="A1.SS1.p1.8.m4.1.1.2" xref="A1.SS1.p1.8.m4.1.1.2.cmml"><mi id="A1.SS1.p1.8.m4.1.1.2.2" xref="A1.SS1.p1.8.m4.1.1.2.2.cmml">H</mi><mn id="A1.SS1.p1.8.m4.1.1.2.3" xref="A1.SS1.p1.8.m4.1.1.2.3.cmml">0</mn></msub><mo lspace="0em" rspace="0em" id="A1.SS1.p1.8.m4.1.1.1" xref="A1.SS1.p1.8.m4.1.1.1.cmml">​</mo><mi id="A1.SS1.p1.8.m4.1.1.3" xref="A1.SS1.p1.8.m4.1.1.3.cmml">v</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.8.m4.1b"><apply id="A1.SS1.p1.8.m4.1.1.cmml" xref="A1.SS1.p1.8.m4.1.1"><times id="A1.SS1.p1.8.m4.1.1.1.cmml" xref="A1.SS1.p1.8.m4.1.1.1"></times><apply id="A1.SS1.p1.8.m4.1.1.2.cmml" xref="A1.SS1.p1.8.m4.1.1.2"><csymbol cd="ambiguous" id="A1.SS1.p1.8.m4.1.1.2.1.cmml" xref="A1.SS1.p1.8.m4.1.1.2">subscript</csymbol><ci id="A1.SS1.p1.8.m4.1.1.2.2.cmml" xref="A1.SS1.p1.8.m4.1.1.2.2">𝐻</ci><cn type="integer" id="A1.SS1.p1.8.m4.1.1.2.3.cmml" xref="A1.SS1.p1.8.m4.1.1.2.3">0</cn></apply><ci id="A1.SS1.p1.8.m4.1.1.3.cmml" xref="A1.SS1.p1.8.m4.1.1.3">𝑣</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.8.m4.1c">H_{0}v</annotation></semantics></math>. Then, we can write the criterion for the preconditioner estimation in PSGD as</p>
<table id="A12.EGx3" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex5"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex5.m1.1" class="ltx_Math" alttext="\displaystyle c(P)=" display="inline"><semantics id="A1.Ex5.m1.1a"><mrow id="A1.Ex5.m1.1.2" xref="A1.Ex5.m1.1.2.cmml"><mrow id="A1.Ex5.m1.1.2.2" xref="A1.Ex5.m1.1.2.2.cmml"><mi id="A1.Ex5.m1.1.2.2.2" xref="A1.Ex5.m1.1.2.2.2.cmml">c</mi><mo lspace="0em" rspace="0em" id="A1.Ex5.m1.1.2.2.1" xref="A1.Ex5.m1.1.2.2.1.cmml">​</mo><mrow id="A1.Ex5.m1.1.2.2.3.2" xref="A1.Ex5.m1.1.2.2.cmml"><mo stretchy="false" id="A1.Ex5.m1.1.2.2.3.2.1" xref="A1.Ex5.m1.1.2.2.cmml">(</mo><mi id="A1.Ex5.m1.1.1" xref="A1.Ex5.m1.1.1.cmml">P</mi><mo stretchy="false" id="A1.Ex5.m1.1.2.2.3.2.2" xref="A1.Ex5.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="A1.Ex5.m1.1.2.1" xref="A1.Ex5.m1.1.2.1.cmml">=</mo><mi id="A1.Ex5.m1.1.2.3" xref="A1.Ex5.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex5.m1.1b"><apply id="A1.Ex5.m1.1.2.cmml" xref="A1.Ex5.m1.1.2"><eq id="A1.Ex5.m1.1.2.1.cmml" xref="A1.Ex5.m1.1.2.1"></eq><apply id="A1.Ex5.m1.1.2.2.cmml" xref="A1.Ex5.m1.1.2.2"><times id="A1.Ex5.m1.1.2.2.1.cmml" xref="A1.Ex5.m1.1.2.2.1"></times><ci id="A1.Ex5.m1.1.2.2.2.cmml" xref="A1.Ex5.m1.1.2.2.2">𝑐</ci><ci id="A1.Ex5.m1.1.1.cmml" xref="A1.Ex5.m1.1.1">𝑃</ci></apply><csymbol cd="latexml" id="A1.Ex5.m1.1.2.3.cmml" xref="A1.Ex5.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex5.m1.1c">\displaystyle c(P)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex5.m2.1" class="ltx_Math" alttext="\displaystyle E[h^{T}Ph+v^{T}P^{-1}v]" display="inline"><semantics id="A1.Ex5.m2.1a"><mrow id="A1.Ex5.m2.1.1" xref="A1.Ex5.m2.1.1.cmml"><mi id="A1.Ex5.m2.1.1.3" xref="A1.Ex5.m2.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A1.Ex5.m2.1.1.2" xref="A1.Ex5.m2.1.1.2.cmml">​</mo><mrow id="A1.Ex5.m2.1.1.1.1" xref="A1.Ex5.m2.1.1.1.2.cmml"><mo stretchy="false" id="A1.Ex5.m2.1.1.1.1.2" xref="A1.Ex5.m2.1.1.1.2.1.cmml">[</mo><mrow id="A1.Ex5.m2.1.1.1.1.1" xref="A1.Ex5.m2.1.1.1.1.1.cmml"><mrow id="A1.Ex5.m2.1.1.1.1.1.2" xref="A1.Ex5.m2.1.1.1.1.1.2.cmml"><msup id="A1.Ex5.m2.1.1.1.1.1.2.2" xref="A1.Ex5.m2.1.1.1.1.1.2.2.cmml"><mi id="A1.Ex5.m2.1.1.1.1.1.2.2.2" xref="A1.Ex5.m2.1.1.1.1.1.2.2.2.cmml">h</mi><mi id="A1.Ex5.m2.1.1.1.1.1.2.2.3" xref="A1.Ex5.m2.1.1.1.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex5.m2.1.1.1.1.1.2.1" xref="A1.Ex5.m2.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.Ex5.m2.1.1.1.1.1.2.3" xref="A1.Ex5.m2.1.1.1.1.1.2.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex5.m2.1.1.1.1.1.2.1a" xref="A1.Ex5.m2.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.Ex5.m2.1.1.1.1.1.2.4" xref="A1.Ex5.m2.1.1.1.1.1.2.4.cmml">h</mi></mrow><mo id="A1.Ex5.m2.1.1.1.1.1.1" xref="A1.Ex5.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex5.m2.1.1.1.1.1.3" xref="A1.Ex5.m2.1.1.1.1.1.3.cmml"><msup id="A1.Ex5.m2.1.1.1.1.1.3.2" xref="A1.Ex5.m2.1.1.1.1.1.3.2.cmml"><mi id="A1.Ex5.m2.1.1.1.1.1.3.2.2" xref="A1.Ex5.m2.1.1.1.1.1.3.2.2.cmml">v</mi><mi id="A1.Ex5.m2.1.1.1.1.1.3.2.3" xref="A1.Ex5.m2.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex5.m2.1.1.1.1.1.3.1" xref="A1.Ex5.m2.1.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex5.m2.1.1.1.1.1.3.3" xref="A1.Ex5.m2.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex5.m2.1.1.1.1.1.3.3.2" xref="A1.Ex5.m2.1.1.1.1.1.3.3.2.cmml">P</mi><mrow id="A1.Ex5.m2.1.1.1.1.1.3.3.3" xref="A1.Ex5.m2.1.1.1.1.1.3.3.3.cmml"><mo id="A1.Ex5.m2.1.1.1.1.1.3.3.3a" xref="A1.Ex5.m2.1.1.1.1.1.3.3.3.cmml">−</mo><mn id="A1.Ex5.m2.1.1.1.1.1.3.3.3.2" xref="A1.Ex5.m2.1.1.1.1.1.3.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex5.m2.1.1.1.1.1.3.1a" xref="A1.Ex5.m2.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex5.m2.1.1.1.1.1.3.4" xref="A1.Ex5.m2.1.1.1.1.1.3.4.cmml">v</mi></mrow></mrow><mo stretchy="false" id="A1.Ex5.m2.1.1.1.1.3" xref="A1.Ex5.m2.1.1.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex5.m2.1b"><apply id="A1.Ex5.m2.1.1.cmml" xref="A1.Ex5.m2.1.1"><times id="A1.Ex5.m2.1.1.2.cmml" xref="A1.Ex5.m2.1.1.2"></times><ci id="A1.Ex5.m2.1.1.3.cmml" xref="A1.Ex5.m2.1.1.3">𝐸</ci><apply id="A1.Ex5.m2.1.1.1.2.cmml" xref="A1.Ex5.m2.1.1.1.1"><csymbol cd="latexml" id="A1.Ex5.m2.1.1.1.2.1.cmml" xref="A1.Ex5.m2.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.Ex5.m2.1.1.1.1.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1"><plus id="A1.Ex5.m2.1.1.1.1.1.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1.1"></plus><apply id="A1.Ex5.m2.1.1.1.1.1.2.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2"><times id="A1.Ex5.m2.1.1.1.1.1.2.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2.1"></times><apply id="A1.Ex5.m2.1.1.1.1.1.2.2.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A1.Ex5.m2.1.1.1.1.1.2.2.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2.2">superscript</csymbol><ci id="A1.Ex5.m2.1.1.1.1.1.2.2.2.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2.2.2">ℎ</ci><ci id="A1.Ex5.m2.1.1.1.1.1.2.2.3.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2.2.3">𝑇</ci></apply><ci id="A1.Ex5.m2.1.1.1.1.1.2.3.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2.3">𝑃</ci><ci id="A1.Ex5.m2.1.1.1.1.1.2.4.cmml" xref="A1.Ex5.m2.1.1.1.1.1.2.4">ℎ</ci></apply><apply id="A1.Ex5.m2.1.1.1.1.1.3.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3"><times id="A1.Ex5.m2.1.1.1.1.1.3.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.1"></times><apply id="A1.Ex5.m2.1.1.1.1.1.3.2.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex5.m2.1.1.1.1.1.3.2.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.2">superscript</csymbol><ci id="A1.Ex5.m2.1.1.1.1.1.3.2.2.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.2.2">𝑣</ci><ci id="A1.Ex5.m2.1.1.1.1.1.3.2.3.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.2.3">𝑇</ci></apply><apply id="A1.Ex5.m2.1.1.1.1.1.3.3.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex5.m2.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.3">superscript</csymbol><ci id="A1.Ex5.m2.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.3.2">𝑃</ci><apply id="A1.Ex5.m2.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.3.3"><minus id="A1.Ex5.m2.1.1.1.1.1.3.3.3.1.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.3.3"></minus><cn type="integer" id="A1.Ex5.m2.1.1.1.1.1.3.3.3.2.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.3.3.2">1</cn></apply></apply><ci id="A1.Ex5.m2.1.1.1.1.1.3.4.cmml" xref="A1.Ex5.m2.1.1.1.1.1.3.4">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex5.m2.1c">\displaystyle E[h^{T}Ph+v^{T}P^{-1}v]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex6.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex6.m1.1a"><mo id="A1.Ex6.m1.1.1" xref="A1.Ex6.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex6.m1.1b"><eq id="A1.Ex6.m1.1.1.cmml" xref="A1.Ex6.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex6.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex6.m2.1" class="ltx_Math" alttext="\displaystyle{\rm tr}(PE[hh^{T}]+P^{-1}E[vv^{T}])" display="inline"><semantics id="A1.Ex6.m2.1a"><mrow id="A1.Ex6.m2.1.1" xref="A1.Ex6.m2.1.1.cmml"><mi id="A1.Ex6.m2.1.1.3" xref="A1.Ex6.m2.1.1.3.cmml">tr</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m2.1.1.2" xref="A1.Ex6.m2.1.1.2.cmml">​</mo><mrow id="A1.Ex6.m2.1.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex6.m2.1.1.1.1.2" xref="A1.Ex6.m2.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex6.m2.1.1.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.cmml"><mrow id="A1.Ex6.m2.1.1.1.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.1.cmml"><mi id="A1.Ex6.m2.1.1.1.1.1.1.3" xref="A1.Ex6.m2.1.1.1.1.1.1.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m2.1.1.1.1.1.1.2" xref="A1.Ex6.m2.1.1.1.1.1.1.2.cmml">​</mo><mi id="A1.Ex6.m2.1.1.1.1.1.1.4" xref="A1.Ex6.m2.1.1.1.1.1.1.4.cmml">E</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m2.1.1.1.1.1.1.2a" xref="A1.Ex6.m2.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A1.Ex6.m2.1.1.1.1.1.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A1.Ex6.m2.1.1.1.1.1.1.1.1.2" xref="A1.Ex6.m2.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.2" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.2.cmml">h</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><msup id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.2" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.2.cmml">h</mi><mi id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.3" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A1.Ex6.m2.1.1.1.1.1.1.1.1.3" xref="A1.Ex6.m2.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A1.Ex6.m2.1.1.1.1.1.3" xref="A1.Ex6.m2.1.1.1.1.1.3.cmml">+</mo><mrow id="A1.Ex6.m2.1.1.1.1.1.2" xref="A1.Ex6.m2.1.1.1.1.1.2.cmml"><msup id="A1.Ex6.m2.1.1.1.1.1.2.3" xref="A1.Ex6.m2.1.1.1.1.1.2.3.cmml"><mi id="A1.Ex6.m2.1.1.1.1.1.2.3.2" xref="A1.Ex6.m2.1.1.1.1.1.2.3.2.cmml">P</mi><mrow id="A1.Ex6.m2.1.1.1.1.1.2.3.3" xref="A1.Ex6.m2.1.1.1.1.1.2.3.3.cmml"><mo id="A1.Ex6.m2.1.1.1.1.1.2.3.3a" xref="A1.Ex6.m2.1.1.1.1.1.2.3.3.cmml">−</mo><mn id="A1.Ex6.m2.1.1.1.1.1.2.3.3.2" xref="A1.Ex6.m2.1.1.1.1.1.2.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex6.m2.1.1.1.1.1.2.2" xref="A1.Ex6.m2.1.1.1.1.1.2.2.cmml">​</mo><mi id="A1.Ex6.m2.1.1.1.1.1.2.4" xref="A1.Ex6.m2.1.1.1.1.1.2.4.cmml">E</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m2.1.1.1.1.1.2.2a" xref="A1.Ex6.m2.1.1.1.1.1.2.2.cmml">​</mo><mrow id="A1.Ex6.m2.1.1.1.1.1.2.1.1" xref="A1.Ex6.m2.1.1.1.1.1.2.1.2.cmml"><mo stretchy="false" id="A1.Ex6.m2.1.1.1.1.1.2.1.1.2" xref="A1.Ex6.m2.1.1.1.1.1.2.1.2.1.cmml">[</mo><mrow id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.cmml"><mi id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.2" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.2.cmml">v</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.1" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><msup id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.2" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.2.cmml">v</mi><mi id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.3" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A1.Ex6.m2.1.1.1.1.1.2.1.1.3" xref="A1.Ex6.m2.1.1.1.1.1.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><mo stretchy="false" id="A1.Ex6.m2.1.1.1.1.3" xref="A1.Ex6.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex6.m2.1b"><apply id="A1.Ex6.m2.1.1.cmml" xref="A1.Ex6.m2.1.1"><times id="A1.Ex6.m2.1.1.2.cmml" xref="A1.Ex6.m2.1.1.2"></times><ci id="A1.Ex6.m2.1.1.3.cmml" xref="A1.Ex6.m2.1.1.3">tr</ci><apply id="A1.Ex6.m2.1.1.1.1.1.cmml" xref="A1.Ex6.m2.1.1.1.1"><plus id="A1.Ex6.m2.1.1.1.1.1.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.3"></plus><apply id="A1.Ex6.m2.1.1.1.1.1.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1"><times id="A1.Ex6.m2.1.1.1.1.1.1.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.2"></times><ci id="A1.Ex6.m2.1.1.1.1.1.1.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.3">𝑃</ci><ci id="A1.Ex6.m2.1.1.1.1.1.1.4.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.4">𝐸</ci><apply id="A1.Ex6.m2.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex6.m2.1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1"><times id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.1"></times><ci id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.2">ℎ</ci><apply id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.2">ℎ</ci><ci id="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply></apply><apply id="A1.Ex6.m2.1.1.1.1.1.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2"><times id="A1.Ex6.m2.1.1.1.1.1.2.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.2"></times><apply id="A1.Ex6.m2.1.1.1.1.1.2.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A1.Ex6.m2.1.1.1.1.1.2.3.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.3">superscript</csymbol><ci id="A1.Ex6.m2.1.1.1.1.1.2.3.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.3.2">𝑃</ci><apply id="A1.Ex6.m2.1.1.1.1.1.2.3.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.3.3"><minus id="A1.Ex6.m2.1.1.1.1.1.2.3.3.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.3.3"></minus><cn type="integer" id="A1.Ex6.m2.1.1.1.1.1.2.3.3.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.3.3.2">1</cn></apply></apply><ci id="A1.Ex6.m2.1.1.1.1.1.2.4.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.4">𝐸</ci><apply id="A1.Ex6.m2.1.1.1.1.1.2.1.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1"><csymbol cd="latexml" id="A1.Ex6.m2.1.1.1.1.1.2.1.2.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.2">delimited-[]</csymbol><apply id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1"><times id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.1"></times><ci id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.2">𝑣</ci><apply id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3">superscript</csymbol><ci id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.2">𝑣</ci><ci id="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="A1.Ex6.m2.1.1.1.1.1.2.1.1.1.3.3">𝑇</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex6.m2.1c">\displaystyle{\rm tr}(PE[hh^{T}]+P^{-1}E[vv^{T}])</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.E4"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E4.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.E4.m1.1a"><mo id="A1.E4.m1.1.1" xref="A1.E4.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.E4.m1.1b"><eq id="A1.E4.m1.1.1.cmml" xref="A1.E4.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.E4.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.E4.m2.1" class="ltx_Math" alttext="\displaystyle{\rm tr}(PH^{2}+P^{-1})" display="inline"><semantics id="A1.E4.m2.1a"><mrow id="A1.E4.m2.1.1" xref="A1.E4.m2.1.1.cmml"><mi id="A1.E4.m2.1.1.3" xref="A1.E4.m2.1.1.3.cmml">tr</mi><mo lspace="0em" rspace="0em" id="A1.E4.m2.1.1.2" xref="A1.E4.m2.1.1.2.cmml">​</mo><mrow id="A1.E4.m2.1.1.1.1" xref="A1.E4.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E4.m2.1.1.1.1.2" xref="A1.E4.m2.1.1.1.1.1.cmml">(</mo><mrow id="A1.E4.m2.1.1.1.1.1" xref="A1.E4.m2.1.1.1.1.1.cmml"><mrow id="A1.E4.m2.1.1.1.1.1.2" xref="A1.E4.m2.1.1.1.1.1.2.cmml"><mi id="A1.E4.m2.1.1.1.1.1.2.2" xref="A1.E4.m2.1.1.1.1.1.2.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.E4.m2.1.1.1.1.1.2.1" xref="A1.E4.m2.1.1.1.1.1.2.1.cmml">​</mo><msup id="A1.E4.m2.1.1.1.1.1.2.3" xref="A1.E4.m2.1.1.1.1.1.2.3.cmml"><mi id="A1.E4.m2.1.1.1.1.1.2.3.2" xref="A1.E4.m2.1.1.1.1.1.2.3.2.cmml">H</mi><mn id="A1.E4.m2.1.1.1.1.1.2.3.3" xref="A1.E4.m2.1.1.1.1.1.2.3.3.cmml">2</mn></msup></mrow><mo id="A1.E4.m2.1.1.1.1.1.1" xref="A1.E4.m2.1.1.1.1.1.1.cmml">+</mo><msup id="A1.E4.m2.1.1.1.1.1.3" xref="A1.E4.m2.1.1.1.1.1.3.cmml"><mi id="A1.E4.m2.1.1.1.1.1.3.2" xref="A1.E4.m2.1.1.1.1.1.3.2.cmml">P</mi><mrow id="A1.E4.m2.1.1.1.1.1.3.3" xref="A1.E4.m2.1.1.1.1.1.3.3.cmml"><mo id="A1.E4.m2.1.1.1.1.1.3.3a" xref="A1.E4.m2.1.1.1.1.1.3.3.cmml">−</mo><mn id="A1.E4.m2.1.1.1.1.1.3.3.2" xref="A1.E4.m2.1.1.1.1.1.3.3.2.cmml">1</mn></mrow></msup></mrow><mo stretchy="false" id="A1.E4.m2.1.1.1.1.3" xref="A1.E4.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E4.m2.1b"><apply id="A1.E4.m2.1.1.cmml" xref="A1.E4.m2.1.1"><times id="A1.E4.m2.1.1.2.cmml" xref="A1.E4.m2.1.1.2"></times><ci id="A1.E4.m2.1.1.3.cmml" xref="A1.E4.m2.1.1.3">tr</ci><apply id="A1.E4.m2.1.1.1.1.1.cmml" xref="A1.E4.m2.1.1.1.1"><plus id="A1.E4.m2.1.1.1.1.1.1.cmml" xref="A1.E4.m2.1.1.1.1.1.1"></plus><apply id="A1.E4.m2.1.1.1.1.1.2.cmml" xref="A1.E4.m2.1.1.1.1.1.2"><times id="A1.E4.m2.1.1.1.1.1.2.1.cmml" xref="A1.E4.m2.1.1.1.1.1.2.1"></times><ci id="A1.E4.m2.1.1.1.1.1.2.2.cmml" xref="A1.E4.m2.1.1.1.1.1.2.2">𝑃</ci><apply id="A1.E4.m2.1.1.1.1.1.2.3.cmml" xref="A1.E4.m2.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A1.E4.m2.1.1.1.1.1.2.3.1.cmml" xref="A1.E4.m2.1.1.1.1.1.2.3">superscript</csymbol><ci id="A1.E4.m2.1.1.1.1.1.2.3.2.cmml" xref="A1.E4.m2.1.1.1.1.1.2.3.2">𝐻</ci><cn type="integer" id="A1.E4.m2.1.1.1.1.1.2.3.3.cmml" xref="A1.E4.m2.1.1.1.1.1.2.3.3">2</cn></apply></apply><apply id="A1.E4.m2.1.1.1.1.1.3.cmml" xref="A1.E4.m2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E4.m2.1.1.1.1.1.3.1.cmml" xref="A1.E4.m2.1.1.1.1.1.3">superscript</csymbol><ci id="A1.E4.m2.1.1.1.1.1.3.2.cmml" xref="A1.E4.m2.1.1.1.1.1.3.2">𝑃</ci><apply id="A1.E4.m2.1.1.1.1.1.3.3.cmml" xref="A1.E4.m2.1.1.1.1.1.3.3"><minus id="A1.E4.m2.1.1.1.1.1.3.3.1.cmml" xref="A1.E4.m2.1.1.1.1.1.3.3"></minus><cn type="integer" id="A1.E4.m2.1.1.1.1.1.3.3.2.cmml" xref="A1.E4.m2.1.1.1.1.1.3.3.2">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E4.m2.1c">\displaystyle{\rm tr}(PH^{2}+P^{-1})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(4)</span></td>
</tr></tbody>
</table>
<p id="A1.SS1.p1.11" class="ltx_p">where</p>
<table id="A12.EGx4" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex7"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex7.m1.1" class="ltx_Math" alttext="\displaystyle H^{2}=H_{0}^{2}+E[\varepsilon\varepsilon^{T}]" display="inline"><semantics id="A1.Ex7.m1.1a"><mrow id="A1.Ex7.m1.1.1" xref="A1.Ex7.m1.1.1.cmml"><msup id="A1.Ex7.m1.1.1.3" xref="A1.Ex7.m1.1.1.3.cmml"><mi id="A1.Ex7.m1.1.1.3.2" xref="A1.Ex7.m1.1.1.3.2.cmml">H</mi><mn id="A1.Ex7.m1.1.1.3.3" xref="A1.Ex7.m1.1.1.3.3.cmml">2</mn></msup><mo id="A1.Ex7.m1.1.1.2" xref="A1.Ex7.m1.1.1.2.cmml">=</mo><mrow id="A1.Ex7.m1.1.1.1" xref="A1.Ex7.m1.1.1.1.cmml"><msubsup id="A1.Ex7.m1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.3.2.2" xref="A1.Ex7.m1.1.1.1.3.2.2.cmml">H</mi><mn id="A1.Ex7.m1.1.1.1.3.2.3" xref="A1.Ex7.m1.1.1.1.3.2.3.cmml">0</mn><mn id="A1.Ex7.m1.1.1.1.3.3" xref="A1.Ex7.m1.1.1.1.3.3.cmml">2</mn></msubsup><mo id="A1.Ex7.m1.1.1.1.2" xref="A1.Ex7.m1.1.1.1.2.cmml">+</mo><mrow id="A1.Ex7.m1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A1.Ex7.m1.1.1.1.1.2" xref="A1.Ex7.m1.1.1.1.1.2.cmml">​</mo><mrow id="A1.Ex7.m1.1.1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A1.Ex7.m1.1.1.1.1.1.1.2" xref="A1.Ex7.m1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A1.Ex7.m1.1.1.1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.2" xref="A1.Ex7.m1.1.1.1.1.1.1.1.2.cmml">ε</mi><mo lspace="0em" rspace="0em" id="A1.Ex7.m1.1.1.1.1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1.cmml">​</mo><msup id="A1.Ex7.m1.1.1.1.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.3.2" xref="A1.Ex7.m1.1.1.1.1.1.1.1.3.2.cmml">ε</mi><mi id="A1.Ex7.m1.1.1.1.1.1.1.1.3.3" xref="A1.Ex7.m1.1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A1.Ex7.m1.1.1.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex7.m1.1b"><apply id="A1.Ex7.m1.1.1.cmml" xref="A1.Ex7.m1.1.1"><eq id="A1.Ex7.m1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.2"></eq><apply id="A1.Ex7.m1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.3">superscript</csymbol><ci id="A1.Ex7.m1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.3.2">𝐻</ci><cn type="integer" id="A1.Ex7.m1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.3.3">2</cn></apply><apply id="A1.Ex7.m1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1"><plus id="A1.Ex7.m1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.2"></plus><apply id="A1.Ex7.m1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.3">superscript</csymbol><apply id="A1.Ex7.m1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.3.2.1.cmml" xref="A1.Ex7.m1.1.1.1.3">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.3.2.2.cmml" xref="A1.Ex7.m1.1.1.1.3.2.2">𝐻</ci><cn type="integer" id="A1.Ex7.m1.1.1.1.3.2.3.cmml" xref="A1.Ex7.m1.1.1.1.3.2.3">0</cn></apply><cn type="integer" id="A1.Ex7.m1.1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.3.3">2</cn></apply><apply id="A1.Ex7.m1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1"><times id="A1.Ex7.m1.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2"></times><ci id="A1.Ex7.m1.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3">𝐸</ci><apply id="A1.Ex7.m1.1.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex7.m1.1.1.1.1.1.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.Ex7.m1.1.1.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1"><times id="A1.Ex7.m1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.1"></times><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.2">𝜀</ci><apply id="A1.Ex7.m1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.3.2">𝜀</ci><ci id="A1.Ex7.m1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex7.m1.1c">\displaystyle H^{2}=H_{0}^{2}+E[\varepsilon\varepsilon^{T}]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.p1.10" class="ltx_p">Clearly, <math id="A1.SS1.p1.9.m1.1" class="ltx_Math" alttext="H^{2}" display="inline"><semantics id="A1.SS1.p1.9.m1.1a"><msup id="A1.SS1.p1.9.m1.1.1" xref="A1.SS1.p1.9.m1.1.1.cmml"><mi id="A1.SS1.p1.9.m1.1.1.2" xref="A1.SS1.p1.9.m1.1.1.2.cmml">H</mi><mn id="A1.SS1.p1.9.m1.1.1.3" xref="A1.SS1.p1.9.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.9.m1.1b"><apply id="A1.SS1.p1.9.m1.1.1.cmml" xref="A1.SS1.p1.9.m1.1.1"><csymbol cd="ambiguous" id="A1.SS1.p1.9.m1.1.1.1.cmml" xref="A1.SS1.p1.9.m1.1.1">superscript</csymbol><ci id="A1.SS1.p1.9.m1.1.1.2.cmml" xref="A1.SS1.p1.9.m1.1.1.2">𝐻</ci><cn type="integer" id="A1.SS1.p1.9.m1.1.1.3.cmml" xref="A1.SS1.p1.9.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.9.m1.1c">H^{2}</annotation></semantics></math> is positive semi-definite regardless of the definiteness of <math id="A1.SS1.p1.10.m2.1" class="ltx_Math" alttext="H_{0}" display="inline"><semantics id="A1.SS1.p1.10.m2.1a"><msub id="A1.SS1.p1.10.m2.1.1" xref="A1.SS1.p1.10.m2.1.1.cmml"><mi id="A1.SS1.p1.10.m2.1.1.2" xref="A1.SS1.p1.10.m2.1.1.2.cmml">H</mi><mn id="A1.SS1.p1.10.m2.1.1.3" xref="A1.SS1.p1.10.m2.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A1.SS1.p1.10.m2.1b"><apply id="A1.SS1.p1.10.m2.1.1.cmml" xref="A1.SS1.p1.10.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.p1.10.m2.1.1.1.cmml" xref="A1.SS1.p1.10.m2.1.1">subscript</csymbol><ci id="A1.SS1.p1.10.m2.1.1.2.cmml" xref="A1.SS1.p1.10.m2.1.1.2">𝐻</ci><cn type="integer" id="A1.SS1.p1.10.m2.1.1.3.cmml" xref="A1.SS1.p1.10.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p1.10.m2.1c">H_{0}</annotation></semantics></math>.</p>
</div>
<div id="A1.SS1.p2" class="ltx_para">
<p id="A1.SS1.p2.2" class="ltx_p">Note, we do not assume any definiteness or sparsity properties for <math id="A1.SS1.p2.1.m1.1" class="ltx_Math" alttext="H_{0}" display="inline"><semantics id="A1.SS1.p2.1.m1.1a"><msub id="A1.SS1.p2.1.m1.1.1" xref="A1.SS1.p2.1.m1.1.1.cmml"><mi id="A1.SS1.p2.1.m1.1.1.2" xref="A1.SS1.p2.1.m1.1.1.2.cmml">H</mi><mn id="A1.SS1.p2.1.m1.1.1.3" xref="A1.SS1.p2.1.m1.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.1.m1.1b"><apply id="A1.SS1.p2.1.m1.1.1.cmml" xref="A1.SS1.p2.1.m1.1.1"><csymbol cd="ambiguous" id="A1.SS1.p2.1.m1.1.1.1.cmml" xref="A1.SS1.p2.1.m1.1.1">subscript</csymbol><ci id="A1.SS1.p2.1.m1.1.1.2.cmml" xref="A1.SS1.p2.1.m1.1.1.2">𝐻</ci><cn type="integer" id="A1.SS1.p2.1.m1.1.1.3.cmml" xref="A1.SS1.p2.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.1.m1.1c">H_{0}</annotation></semantics></math>. Hence, in general, we assume that <math id="A1.SS1.p2.2.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.p2.2.m2.1a"><mi id="A1.SS1.p2.2.m2.1.1" xref="A1.SS1.p2.2.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.2.m2.1b"><ci id="A1.SS1.p2.2.m2.1.1.cmml" xref="A1.SS1.p2.2.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.2.m2.1c">Q</annotation></semantics></math> is fitted on a connected branch of the general linear group with learning rule</p>
<table id="A12.EGx5" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E5"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E5.m1.1" class="ltx_Math" alttext="\displaystyle Q^{\rm new}=Q^{\rm old}+dQ=Q^{\rm old}+Q\mathcal{E}" display="inline"><semantics id="A1.E5.m1.1a"><mrow id="A1.E5.m1.1.1" xref="A1.E5.m1.1.1.cmml"><msup id="A1.E5.m1.1.1.2" xref="A1.E5.m1.1.1.2.cmml"><mi id="A1.E5.m1.1.1.2.2" xref="A1.E5.m1.1.1.2.2.cmml">Q</mi><mi id="A1.E5.m1.1.1.2.3" xref="A1.E5.m1.1.1.2.3.cmml">new</mi></msup><mo id="A1.E5.m1.1.1.3" xref="A1.E5.m1.1.1.3.cmml">=</mo><mrow id="A1.E5.m1.1.1.4" xref="A1.E5.m1.1.1.4.cmml"><msup id="A1.E5.m1.1.1.4.2" xref="A1.E5.m1.1.1.4.2.cmml"><mi id="A1.E5.m1.1.1.4.2.2" xref="A1.E5.m1.1.1.4.2.2.cmml">Q</mi><mi id="A1.E5.m1.1.1.4.2.3" xref="A1.E5.m1.1.1.4.2.3.cmml">old</mi></msup><mo id="A1.E5.m1.1.1.4.1" xref="A1.E5.m1.1.1.4.1.cmml">+</mo><mrow id="A1.E5.m1.1.1.4.3" xref="A1.E5.m1.1.1.4.3.cmml"><mi id="A1.E5.m1.1.1.4.3.2" xref="A1.E5.m1.1.1.4.3.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.E5.m1.1.1.4.3.1" xref="A1.E5.m1.1.1.4.3.1.cmml">​</mo><mi id="A1.E5.m1.1.1.4.3.3" xref="A1.E5.m1.1.1.4.3.3.cmml">Q</mi></mrow></mrow><mo id="A1.E5.m1.1.1.5" xref="A1.E5.m1.1.1.5.cmml">=</mo><mrow id="A1.E5.m1.1.1.6" xref="A1.E5.m1.1.1.6.cmml"><msup id="A1.E5.m1.1.1.6.2" xref="A1.E5.m1.1.1.6.2.cmml"><mi id="A1.E5.m1.1.1.6.2.2" xref="A1.E5.m1.1.1.6.2.2.cmml">Q</mi><mi id="A1.E5.m1.1.1.6.2.3" xref="A1.E5.m1.1.1.6.2.3.cmml">old</mi></msup><mo id="A1.E5.m1.1.1.6.1" xref="A1.E5.m1.1.1.6.1.cmml">+</mo><mrow id="A1.E5.m1.1.1.6.3" xref="A1.E5.m1.1.1.6.3.cmml"><mi id="A1.E5.m1.1.1.6.3.2" xref="A1.E5.m1.1.1.6.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.E5.m1.1.1.6.3.1" xref="A1.E5.m1.1.1.6.3.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="A1.E5.m1.1.1.6.3.3" xref="A1.E5.m1.1.1.6.3.3.cmml">ℰ</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E5.m1.1b"><apply id="A1.E5.m1.1.1.cmml" xref="A1.E5.m1.1.1"><and id="A1.E5.m1.1.1a.cmml" xref="A1.E5.m1.1.1"></and><apply id="A1.E5.m1.1.1b.cmml" xref="A1.E5.m1.1.1"><eq id="A1.E5.m1.1.1.3.cmml" xref="A1.E5.m1.1.1.3"></eq><apply id="A1.E5.m1.1.1.2.cmml" xref="A1.E5.m1.1.1.2"><csymbol cd="ambiguous" id="A1.E5.m1.1.1.2.1.cmml" xref="A1.E5.m1.1.1.2">superscript</csymbol><ci id="A1.E5.m1.1.1.2.2.cmml" xref="A1.E5.m1.1.1.2.2">𝑄</ci><ci id="A1.E5.m1.1.1.2.3.cmml" xref="A1.E5.m1.1.1.2.3">new</ci></apply><apply id="A1.E5.m1.1.1.4.cmml" xref="A1.E5.m1.1.1.4"><plus id="A1.E5.m1.1.1.4.1.cmml" xref="A1.E5.m1.1.1.4.1"></plus><apply id="A1.E5.m1.1.1.4.2.cmml" xref="A1.E5.m1.1.1.4.2"><csymbol cd="ambiguous" id="A1.E5.m1.1.1.4.2.1.cmml" xref="A1.E5.m1.1.1.4.2">superscript</csymbol><ci id="A1.E5.m1.1.1.4.2.2.cmml" xref="A1.E5.m1.1.1.4.2.2">𝑄</ci><ci id="A1.E5.m1.1.1.4.2.3.cmml" xref="A1.E5.m1.1.1.4.2.3">old</ci></apply><apply id="A1.E5.m1.1.1.4.3.cmml" xref="A1.E5.m1.1.1.4.3"><times id="A1.E5.m1.1.1.4.3.1.cmml" xref="A1.E5.m1.1.1.4.3.1"></times><ci id="A1.E5.m1.1.1.4.3.2.cmml" xref="A1.E5.m1.1.1.4.3.2">𝑑</ci><ci id="A1.E5.m1.1.1.4.3.3.cmml" xref="A1.E5.m1.1.1.4.3.3">𝑄</ci></apply></apply></apply><apply id="A1.E5.m1.1.1c.cmml" xref="A1.E5.m1.1.1"><eq id="A1.E5.m1.1.1.5.cmml" xref="A1.E5.m1.1.1.5"></eq><share href="#A1.E5.m1.1.1.4.cmml" id="A1.E5.m1.1.1d.cmml" xref="A1.E5.m1.1.1"></share><apply id="A1.E5.m1.1.1.6.cmml" xref="A1.E5.m1.1.1.6"><plus id="A1.E5.m1.1.1.6.1.cmml" xref="A1.E5.m1.1.1.6.1"></plus><apply id="A1.E5.m1.1.1.6.2.cmml" xref="A1.E5.m1.1.1.6.2"><csymbol cd="ambiguous" id="A1.E5.m1.1.1.6.2.1.cmml" xref="A1.E5.m1.1.1.6.2">superscript</csymbol><ci id="A1.E5.m1.1.1.6.2.2.cmml" xref="A1.E5.m1.1.1.6.2.2">𝑄</ci><ci id="A1.E5.m1.1.1.6.2.3.cmml" xref="A1.E5.m1.1.1.6.2.3">old</ci></apply><apply id="A1.E5.m1.1.1.6.3.cmml" xref="A1.E5.m1.1.1.6.3"><times id="A1.E5.m1.1.1.6.3.1.cmml" xref="A1.E5.m1.1.1.6.3.1"></times><ci id="A1.E5.m1.1.1.6.3.2.cmml" xref="A1.E5.m1.1.1.6.3.2">𝑄</ci><ci id="A1.E5.m1.1.1.6.3.3.cmml" xref="A1.E5.m1.1.1.6.3.3">ℰ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E5.m1.1c">\displaystyle Q^{\rm new}=Q^{\rm old}+dQ=Q^{\rm old}+Q\mathcal{E}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(5)</span></td>
</tr></tbody>
</table>
<p id="A1.SS1.p2.4" class="ltx_p">where <math id="A1.SS1.p2.3.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.p2.3.m1.1a"><mi id="A1.SS1.p2.3.m1.1.1" xref="A1.SS1.p2.3.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.3.m1.1b"><ci id="A1.SS1.p2.3.m1.1.1.cmml" xref="A1.SS1.p2.3.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.3.m1.1c">Q</annotation></semantics></math> relates to <math id="A1.SS1.p2.4.m2.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS1.p2.4.m2.1a"><mi id="A1.SS1.p2.4.m2.1.1" xref="A1.SS1.p2.4.m2.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.4.m2.1b"><ci id="A1.SS1.p2.4.m2.1.1.cmml" xref="A1.SS1.p2.4.m2.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.4.m2.1c">P</annotation></semantics></math> as</p>
<table id="A12.EGx6" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex8"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex8.m1.1" class="ltx_Math" alttext="\displaystyle P=Q^{T}Q," display="inline"><semantics id="A1.Ex8.m1.1a"><mrow id="A1.Ex8.m1.1.1.1" xref="A1.Ex8.m1.1.1.1.1.cmml"><mrow id="A1.Ex8.m1.1.1.1.1" xref="A1.Ex8.m1.1.1.1.1.cmml"><mi id="A1.Ex8.m1.1.1.1.1.2" xref="A1.Ex8.m1.1.1.1.1.2.cmml">P</mi><mo id="A1.Ex8.m1.1.1.1.1.1" xref="A1.Ex8.m1.1.1.1.1.1.cmml">=</mo><mrow id="A1.Ex8.m1.1.1.1.1.3" xref="A1.Ex8.m1.1.1.1.1.3.cmml"><msup id="A1.Ex8.m1.1.1.1.1.3.2" xref="A1.Ex8.m1.1.1.1.1.3.2.cmml"><mi id="A1.Ex8.m1.1.1.1.1.3.2.2" xref="A1.Ex8.m1.1.1.1.1.3.2.2.cmml">Q</mi><mi id="A1.Ex8.m1.1.1.1.1.3.2.3" xref="A1.Ex8.m1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex8.m1.1.1.1.1.3.1" xref="A1.Ex8.m1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex8.m1.1.1.1.1.3.3" xref="A1.Ex8.m1.1.1.1.1.3.3.cmml">Q</mi></mrow></mrow><mo id="A1.Ex8.m1.1.1.1.2" xref="A1.Ex8.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex8.m1.1b"><apply id="A1.Ex8.m1.1.1.1.1.cmml" xref="A1.Ex8.m1.1.1.1"><eq id="A1.Ex8.m1.1.1.1.1.1.cmml" xref="A1.Ex8.m1.1.1.1.1.1"></eq><ci id="A1.Ex8.m1.1.1.1.1.2.cmml" xref="A1.Ex8.m1.1.1.1.1.2">𝑃</ci><apply id="A1.Ex8.m1.1.1.1.1.3.cmml" xref="A1.Ex8.m1.1.1.1.1.3"><times id="A1.Ex8.m1.1.1.1.1.3.1.cmml" xref="A1.Ex8.m1.1.1.1.1.3.1"></times><apply id="A1.Ex8.m1.1.1.1.1.3.2.cmml" xref="A1.Ex8.m1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex8.m1.1.1.1.1.3.2.1.cmml" xref="A1.Ex8.m1.1.1.1.1.3.2">superscript</csymbol><ci id="A1.Ex8.m1.1.1.1.1.3.2.2.cmml" xref="A1.Ex8.m1.1.1.1.1.3.2.2">𝑄</ci><ci id="A1.Ex8.m1.1.1.1.1.3.2.3.cmml" xref="A1.Ex8.m1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A1.Ex8.m1.1.1.1.1.3.3.cmml" xref="A1.Ex8.m1.1.1.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex8.m1.1c">\displaystyle P=Q^{T}Q,</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.p2.9" class="ltx_p">and both <math id="A1.SS1.p2.5.m1.1" class="ltx_Math" alttext="dQ" display="inline"><semantics id="A1.SS1.p2.5.m1.1a"><mrow id="A1.SS1.p2.5.m1.1.1" xref="A1.SS1.p2.5.m1.1.1.cmml"><mi id="A1.SS1.p2.5.m1.1.1.2" xref="A1.SS1.p2.5.m1.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p2.5.m1.1.1.1" xref="A1.SS1.p2.5.m1.1.1.1.cmml">​</mo><mi id="A1.SS1.p2.5.m1.1.1.3" xref="A1.SS1.p2.5.m1.1.1.3.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.5.m1.1b"><apply id="A1.SS1.p2.5.m1.1.1.cmml" xref="A1.SS1.p2.5.m1.1.1"><times id="A1.SS1.p2.5.m1.1.1.1.cmml" xref="A1.SS1.p2.5.m1.1.1.1"></times><ci id="A1.SS1.p2.5.m1.1.1.2.cmml" xref="A1.SS1.p2.5.m1.1.1.2">𝑑</ci><ci id="A1.SS1.p2.5.m1.1.1.3.cmml" xref="A1.SS1.p2.5.m1.1.1.3">𝑄</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.5.m1.1c">dQ</annotation></semantics></math> and <math id="A1.SS1.p2.6.m2.1" class="ltx_Math" alttext="\mathcal{E}" display="inline"><semantics id="A1.SS1.p2.6.m2.1a"><mi class="ltx_font_mathcaligraphic" id="A1.SS1.p2.6.m2.1.1" xref="A1.SS1.p2.6.m2.1.1.cmml">ℰ</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.6.m2.1b"><ci id="A1.SS1.p2.6.m2.1.1.cmml" xref="A1.SS1.p2.6.m2.1.1">ℰ</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.6.m2.1c">\mathcal{E}</annotation></semantics></math> are sufficiently small matrices related by <math id="A1.SS1.p2.7.m3.1" class="ltx_Math" alttext="dQ=Q\mathcal{E}" display="inline"><semantics id="A1.SS1.p2.7.m3.1a"><mrow id="A1.SS1.p2.7.m3.1.1" xref="A1.SS1.p2.7.m3.1.1.cmml"><mrow id="A1.SS1.p2.7.m3.1.1.2" xref="A1.SS1.p2.7.m3.1.1.2.cmml"><mi id="A1.SS1.p2.7.m3.1.1.2.2" xref="A1.SS1.p2.7.m3.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p2.7.m3.1.1.2.1" xref="A1.SS1.p2.7.m3.1.1.2.1.cmml">​</mo><mi id="A1.SS1.p2.7.m3.1.1.2.3" xref="A1.SS1.p2.7.m3.1.1.2.3.cmml">Q</mi></mrow><mo id="A1.SS1.p2.7.m3.1.1.1" xref="A1.SS1.p2.7.m3.1.1.1.cmml">=</mo><mrow id="A1.SS1.p2.7.m3.1.1.3" xref="A1.SS1.p2.7.m3.1.1.3.cmml"><mi id="A1.SS1.p2.7.m3.1.1.3.2" xref="A1.SS1.p2.7.m3.1.1.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p2.7.m3.1.1.3.1" xref="A1.SS1.p2.7.m3.1.1.3.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="A1.SS1.p2.7.m3.1.1.3.3" xref="A1.SS1.p2.7.m3.1.1.3.3.cmml">ℰ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.7.m3.1b"><apply id="A1.SS1.p2.7.m3.1.1.cmml" xref="A1.SS1.p2.7.m3.1.1"><eq id="A1.SS1.p2.7.m3.1.1.1.cmml" xref="A1.SS1.p2.7.m3.1.1.1"></eq><apply id="A1.SS1.p2.7.m3.1.1.2.cmml" xref="A1.SS1.p2.7.m3.1.1.2"><times id="A1.SS1.p2.7.m3.1.1.2.1.cmml" xref="A1.SS1.p2.7.m3.1.1.2.1"></times><ci id="A1.SS1.p2.7.m3.1.1.2.2.cmml" xref="A1.SS1.p2.7.m3.1.1.2.2">𝑑</ci><ci id="A1.SS1.p2.7.m3.1.1.2.3.cmml" xref="A1.SS1.p2.7.m3.1.1.2.3">𝑄</ci></apply><apply id="A1.SS1.p2.7.m3.1.1.3.cmml" xref="A1.SS1.p2.7.m3.1.1.3"><times id="A1.SS1.p2.7.m3.1.1.3.1.cmml" xref="A1.SS1.p2.7.m3.1.1.3.1"></times><ci id="A1.SS1.p2.7.m3.1.1.3.2.cmml" xref="A1.SS1.p2.7.m3.1.1.3.2">𝑄</ci><ci id="A1.SS1.p2.7.m3.1.1.3.3.cmml" xref="A1.SS1.p2.7.m3.1.1.3.3">ℰ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.7.m3.1c">dQ=Q\mathcal{E}</annotation></semantics></math>. One technical difficulty in proving the convergence of <math id="A1.SS1.p2.8.m4.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.p2.8.m4.1a"><mi id="A1.SS1.p2.8.m4.1.1" xref="A1.SS1.p2.8.m4.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.8.m4.1b"><ci id="A1.SS1.p2.8.m4.1.1.cmml" xref="A1.SS1.p2.8.m4.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.8.m4.1c">Q</annotation></semantics></math> with the learning rule equation <a href="#A1.E5" title="Equation 5 ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a> is that it cannot exclude any rotation ambiguity of <math id="A1.SS1.p2.9.m5.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.p2.9.m5.1a"><mi id="A1.SS1.p2.9.m5.1.1" xref="A1.SS1.p2.9.m5.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.9.m5.1b"><ci id="A1.SS1.p2.9.m5.1.1.cmml" xref="A1.SS1.p2.9.m5.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.9.m5.1c">Q</annotation></semantics></math> as suggested by</p>
<table id="A12.EGx7" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex9"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex9.m1.3" class="ltx_Math" alttext="\displaystyle(UQ)^{T}(UQ)=Q^{T}(U^{T}U)Q=Q^{T}Q" display="inline"><semantics id="A1.Ex9.m1.3a"><mrow id="A1.Ex9.m1.3.3" xref="A1.Ex9.m1.3.3.cmml"><mrow id="A1.Ex9.m1.2.2.2" xref="A1.Ex9.m1.2.2.2.cmml"><msup id="A1.Ex9.m1.1.1.1.1" xref="A1.Ex9.m1.1.1.1.1.cmml"><mrow id="A1.Ex9.m1.1.1.1.1.1.1" xref="A1.Ex9.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex9.m1.1.1.1.1.1.1.2" xref="A1.Ex9.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.1.1.1.1.1.1.1" xref="A1.Ex9.m1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex9.m1.1.1.1.1.1.1.1.2" xref="A1.Ex9.m1.1.1.1.1.1.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A1.Ex9.m1.1.1.1.1.1.1.1.1" xref="A1.Ex9.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A1.Ex9.m1.1.1.1.1.1.1.1.3" xref="A1.Ex9.m1.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A1.Ex9.m1.1.1.1.1.1.1.3" xref="A1.Ex9.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A1.Ex9.m1.1.1.1.1.3" xref="A1.Ex9.m1.1.1.1.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex9.m1.2.2.2.3" xref="A1.Ex9.m1.2.2.2.3.cmml">​</mo><mrow id="A1.Ex9.m1.2.2.2.2.1" xref="A1.Ex9.m1.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A1.Ex9.m1.2.2.2.2.1.2" xref="A1.Ex9.m1.2.2.2.2.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.2.2.2.2.1.1" xref="A1.Ex9.m1.2.2.2.2.1.1.cmml"><mi id="A1.Ex9.m1.2.2.2.2.1.1.2" xref="A1.Ex9.m1.2.2.2.2.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A1.Ex9.m1.2.2.2.2.1.1.1" xref="A1.Ex9.m1.2.2.2.2.1.1.1.cmml">​</mo><mi id="A1.Ex9.m1.2.2.2.2.1.1.3" xref="A1.Ex9.m1.2.2.2.2.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A1.Ex9.m1.2.2.2.2.1.3" xref="A1.Ex9.m1.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Ex9.m1.3.3.5" xref="A1.Ex9.m1.3.3.5.cmml">=</mo><mrow id="A1.Ex9.m1.3.3.3" xref="A1.Ex9.m1.3.3.3.cmml"><msup id="A1.Ex9.m1.3.3.3.3" xref="A1.Ex9.m1.3.3.3.3.cmml"><mi id="A1.Ex9.m1.3.3.3.3.2" xref="A1.Ex9.m1.3.3.3.3.2.cmml">Q</mi><mi id="A1.Ex9.m1.3.3.3.3.3" xref="A1.Ex9.m1.3.3.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex9.m1.3.3.3.2" xref="A1.Ex9.m1.3.3.3.2.cmml">​</mo><mrow id="A1.Ex9.m1.3.3.3.1.1" xref="A1.Ex9.m1.3.3.3.1.1.1.cmml"><mo stretchy="false" id="A1.Ex9.m1.3.3.3.1.1.2" xref="A1.Ex9.m1.3.3.3.1.1.1.cmml">(</mo><mrow id="A1.Ex9.m1.3.3.3.1.1.1" xref="A1.Ex9.m1.3.3.3.1.1.1.cmml"><msup id="A1.Ex9.m1.3.3.3.1.1.1.2" xref="A1.Ex9.m1.3.3.3.1.1.1.2.cmml"><mi id="A1.Ex9.m1.3.3.3.1.1.1.2.2" xref="A1.Ex9.m1.3.3.3.1.1.1.2.2.cmml">U</mi><mi id="A1.Ex9.m1.3.3.3.1.1.1.2.3" xref="A1.Ex9.m1.3.3.3.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex9.m1.3.3.3.1.1.1.1" xref="A1.Ex9.m1.3.3.3.1.1.1.1.cmml">​</mo><mi id="A1.Ex9.m1.3.3.3.1.1.1.3" xref="A1.Ex9.m1.3.3.3.1.1.1.3.cmml">U</mi></mrow><mo stretchy="false" id="A1.Ex9.m1.3.3.3.1.1.3" xref="A1.Ex9.m1.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A1.Ex9.m1.3.3.3.2a" xref="A1.Ex9.m1.3.3.3.2.cmml">​</mo><mi id="A1.Ex9.m1.3.3.3.4" xref="A1.Ex9.m1.3.3.3.4.cmml">Q</mi></mrow><mo id="A1.Ex9.m1.3.3.6" xref="A1.Ex9.m1.3.3.6.cmml">=</mo><mrow id="A1.Ex9.m1.3.3.7" xref="A1.Ex9.m1.3.3.7.cmml"><msup id="A1.Ex9.m1.3.3.7.2" xref="A1.Ex9.m1.3.3.7.2.cmml"><mi id="A1.Ex9.m1.3.3.7.2.2" xref="A1.Ex9.m1.3.3.7.2.2.cmml">Q</mi><mi id="A1.Ex9.m1.3.3.7.2.3" xref="A1.Ex9.m1.3.3.7.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex9.m1.3.3.7.1" xref="A1.Ex9.m1.3.3.7.1.cmml">​</mo><mi id="A1.Ex9.m1.3.3.7.3" xref="A1.Ex9.m1.3.3.7.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex9.m1.3b"><apply id="A1.Ex9.m1.3.3.cmml" xref="A1.Ex9.m1.3.3"><and id="A1.Ex9.m1.3.3a.cmml" xref="A1.Ex9.m1.3.3"></and><apply id="A1.Ex9.m1.3.3b.cmml" xref="A1.Ex9.m1.3.3"><eq id="A1.Ex9.m1.3.3.5.cmml" xref="A1.Ex9.m1.3.3.5"></eq><apply id="A1.Ex9.m1.2.2.2.cmml" xref="A1.Ex9.m1.2.2.2"><times id="A1.Ex9.m1.2.2.2.3.cmml" xref="A1.Ex9.m1.2.2.2.3"></times><apply id="A1.Ex9.m1.1.1.1.1.cmml" xref="A1.Ex9.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex9.m1.1.1.1.1.2.cmml" xref="A1.Ex9.m1.1.1.1.1">superscript</csymbol><apply id="A1.Ex9.m1.1.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1"><times id="A1.Ex9.m1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1.1.1"></times><ci id="A1.Ex9.m1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1.1.2">𝑈</ci><ci id="A1.Ex9.m1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex9.m1.1.1.1.1.1.1.1.3">𝑄</ci></apply><ci id="A1.Ex9.m1.1.1.1.1.3.cmml" xref="A1.Ex9.m1.1.1.1.1.3">𝑇</ci></apply><apply id="A1.Ex9.m1.2.2.2.2.1.1.cmml" xref="A1.Ex9.m1.2.2.2.2.1"><times id="A1.Ex9.m1.2.2.2.2.1.1.1.cmml" xref="A1.Ex9.m1.2.2.2.2.1.1.1"></times><ci id="A1.Ex9.m1.2.2.2.2.1.1.2.cmml" xref="A1.Ex9.m1.2.2.2.2.1.1.2">𝑈</ci><ci id="A1.Ex9.m1.2.2.2.2.1.1.3.cmml" xref="A1.Ex9.m1.2.2.2.2.1.1.3">𝑄</ci></apply></apply><apply id="A1.Ex9.m1.3.3.3.cmml" xref="A1.Ex9.m1.3.3.3"><times id="A1.Ex9.m1.3.3.3.2.cmml" xref="A1.Ex9.m1.3.3.3.2"></times><apply id="A1.Ex9.m1.3.3.3.3.cmml" xref="A1.Ex9.m1.3.3.3.3"><csymbol cd="ambiguous" id="A1.Ex9.m1.3.3.3.3.1.cmml" xref="A1.Ex9.m1.3.3.3.3">superscript</csymbol><ci id="A1.Ex9.m1.3.3.3.3.2.cmml" xref="A1.Ex9.m1.3.3.3.3.2">𝑄</ci><ci id="A1.Ex9.m1.3.3.3.3.3.cmml" xref="A1.Ex9.m1.3.3.3.3.3">𝑇</ci></apply><apply id="A1.Ex9.m1.3.3.3.1.1.1.cmml" xref="A1.Ex9.m1.3.3.3.1.1"><times id="A1.Ex9.m1.3.3.3.1.1.1.1.cmml" xref="A1.Ex9.m1.3.3.3.1.1.1.1"></times><apply id="A1.Ex9.m1.3.3.3.1.1.1.2.cmml" xref="A1.Ex9.m1.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex9.m1.3.3.3.1.1.1.2.1.cmml" xref="A1.Ex9.m1.3.3.3.1.1.1.2">superscript</csymbol><ci id="A1.Ex9.m1.3.3.3.1.1.1.2.2.cmml" xref="A1.Ex9.m1.3.3.3.1.1.1.2.2">𝑈</ci><ci id="A1.Ex9.m1.3.3.3.1.1.1.2.3.cmml" xref="A1.Ex9.m1.3.3.3.1.1.1.2.3">𝑇</ci></apply><ci id="A1.Ex9.m1.3.3.3.1.1.1.3.cmml" xref="A1.Ex9.m1.3.3.3.1.1.1.3">𝑈</ci></apply><ci id="A1.Ex9.m1.3.3.3.4.cmml" xref="A1.Ex9.m1.3.3.3.4">𝑄</ci></apply></apply><apply id="A1.Ex9.m1.3.3c.cmml" xref="A1.Ex9.m1.3.3"><eq id="A1.Ex9.m1.3.3.6.cmml" xref="A1.Ex9.m1.3.3.6"></eq><share href="#A1.Ex9.m1.3.3.3.cmml" id="A1.Ex9.m1.3.3d.cmml" xref="A1.Ex9.m1.3.3"></share><apply id="A1.Ex9.m1.3.3.7.cmml" xref="A1.Ex9.m1.3.3.7"><times id="A1.Ex9.m1.3.3.7.1.cmml" xref="A1.Ex9.m1.3.3.7.1"></times><apply id="A1.Ex9.m1.3.3.7.2.cmml" xref="A1.Ex9.m1.3.3.7.2"><csymbol cd="ambiguous" id="A1.Ex9.m1.3.3.7.2.1.cmml" xref="A1.Ex9.m1.3.3.7.2">superscript</csymbol><ci id="A1.Ex9.m1.3.3.7.2.2.cmml" xref="A1.Ex9.m1.3.3.7.2.2">𝑄</ci><ci id="A1.Ex9.m1.3.3.7.2.3.cmml" xref="A1.Ex9.m1.3.3.7.2.3">𝑇</ci></apply><ci id="A1.Ex9.m1.3.3.7.3.cmml" xref="A1.Ex9.m1.3.3.7.3">𝑄</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex9.m1.3c">\displaystyle(UQ)^{T}(UQ)=Q^{T}(U^{T}U)Q=Q^{T}Q</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.p2.15" class="ltx_p">where <math id="A1.SS1.p2.10.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A1.SS1.p2.10.m1.1a"><mi id="A1.SS1.p2.10.m1.1.1" xref="A1.SS1.p2.10.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.10.m1.1b"><ci id="A1.SS1.p2.10.m1.1.1.cmml" xref="A1.SS1.p2.10.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.10.m1.1c">U</annotation></semantics></math> can be any matrix on the orthogonal group. To ameliorate this technical issue, we constrain <math id="A1.SS1.p2.11.m2.1" class="ltx_Math" alttext="dQ" display="inline"><semantics id="A1.SS1.p2.11.m2.1a"><mrow id="A1.SS1.p2.11.m2.1.1" xref="A1.SS1.p2.11.m2.1.1.cmml"><mi id="A1.SS1.p2.11.m2.1.1.2" xref="A1.SS1.p2.11.m2.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p2.11.m2.1.1.1" xref="A1.SS1.p2.11.m2.1.1.1.cmml">​</mo><mi id="A1.SS1.p2.11.m2.1.1.3" xref="A1.SS1.p2.11.m2.1.1.3.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.11.m2.1b"><apply id="A1.SS1.p2.11.m2.1.1.cmml" xref="A1.SS1.p2.11.m2.1.1"><times id="A1.SS1.p2.11.m2.1.1.1.cmml" xref="A1.SS1.p2.11.m2.1.1.1"></times><ci id="A1.SS1.p2.11.m2.1.1.2.cmml" xref="A1.SS1.p2.11.m2.1.1.2">𝑑</ci><ci id="A1.SS1.p2.11.m2.1.1.3.cmml" xref="A1.SS1.p2.11.m2.1.1.3">𝑄</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.11.m2.1c">dQ</annotation></semantics></math> to take on certain structure. In our proof, we assume that both <math id="A1.SS1.p2.12.m3.1" class="ltx_Math" alttext="Q^{\rm old}" display="inline"><semantics id="A1.SS1.p2.12.m3.1a"><msup id="A1.SS1.p2.12.m3.1.1" xref="A1.SS1.p2.12.m3.1.1.cmml"><mi id="A1.SS1.p2.12.m3.1.1.2" xref="A1.SS1.p2.12.m3.1.1.2.cmml">Q</mi><mi id="A1.SS1.p2.12.m3.1.1.3" xref="A1.SS1.p2.12.m3.1.1.3.cmml">old</mi></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.12.m3.1b"><apply id="A1.SS1.p2.12.m3.1.1.cmml" xref="A1.SS1.p2.12.m3.1.1"><csymbol cd="ambiguous" id="A1.SS1.p2.12.m3.1.1.1.cmml" xref="A1.SS1.p2.12.m3.1.1">superscript</csymbol><ci id="A1.SS1.p2.12.m3.1.1.2.cmml" xref="A1.SS1.p2.12.m3.1.1.2">𝑄</ci><ci id="A1.SS1.p2.12.m3.1.1.3.cmml" xref="A1.SS1.p2.12.m3.1.1.3">old</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.12.m3.1c">Q^{\rm old}</annotation></semantics></math> and <math id="A1.SS1.p2.13.m4.1" class="ltx_Math" alttext="dQ" display="inline"><semantics id="A1.SS1.p2.13.m4.1a"><mrow id="A1.SS1.p2.13.m4.1.1" xref="A1.SS1.p2.13.m4.1.1.cmml"><mi id="A1.SS1.p2.13.m4.1.1.2" xref="A1.SS1.p2.13.m4.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p2.13.m4.1.1.1" xref="A1.SS1.p2.13.m4.1.1.1.cmml">​</mo><mi id="A1.SS1.p2.13.m4.1.1.3" xref="A1.SS1.p2.13.m4.1.1.3.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.13.m4.1b"><apply id="A1.SS1.p2.13.m4.1.1.cmml" xref="A1.SS1.p2.13.m4.1.1"><times id="A1.SS1.p2.13.m4.1.1.1.cmml" xref="A1.SS1.p2.13.m4.1.1.1"></times><ci id="A1.SS1.p2.13.m4.1.1.2.cmml" xref="A1.SS1.p2.13.m4.1.1.2">𝑑</ci><ci id="A1.SS1.p2.13.m4.1.1.3.cmml" xref="A1.SS1.p2.13.m4.1.1.3">𝑄</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.13.m4.1c">dQ</annotation></semantics></math> are symmetric such that <math id="A1.SS1.p2.14.m5.1" class="ltx_Math" alttext="Q^{\rm new}" display="inline"><semantics id="A1.SS1.p2.14.m5.1a"><msup id="A1.SS1.p2.14.m5.1.1" xref="A1.SS1.p2.14.m5.1.1.cmml"><mi id="A1.SS1.p2.14.m5.1.1.2" xref="A1.SS1.p2.14.m5.1.1.2.cmml">Q</mi><mi id="A1.SS1.p2.14.m5.1.1.3" xref="A1.SS1.p2.14.m5.1.1.3.cmml">new</mi></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.14.m5.1b"><apply id="A1.SS1.p2.14.m5.1.1.cmml" xref="A1.SS1.p2.14.m5.1.1"><csymbol cd="ambiguous" id="A1.SS1.p2.14.m5.1.1.1.cmml" xref="A1.SS1.p2.14.m5.1.1">superscript</csymbol><ci id="A1.SS1.p2.14.m5.1.1.2.cmml" xref="A1.SS1.p2.14.m5.1.1.2">𝑄</ci><ci id="A1.SS1.p2.14.m5.1.1.3.cmml" xref="A1.SS1.p2.14.m5.1.1.3">new</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.14.m5.1c">Q^{\rm new}</annotation></semantics></math> is always symmetric as well. To achieve such a constraint, we should update <math id="A1.SS1.p2.15.m6.1" class="ltx_Math" alttext="Q^{\rm old}" display="inline"><semantics id="A1.SS1.p2.15.m6.1a"><msup id="A1.SS1.p2.15.m6.1.1" xref="A1.SS1.p2.15.m6.1.1.cmml"><mi id="A1.SS1.p2.15.m6.1.1.2" xref="A1.SS1.p2.15.m6.1.1.2.cmml">Q</mi><mi id="A1.SS1.p2.15.m6.1.1.3" xref="A1.SS1.p2.15.m6.1.1.3.cmml">old</mi></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.15.m6.1b"><apply id="A1.SS1.p2.15.m6.1.1.cmml" xref="A1.SS1.p2.15.m6.1.1"><csymbol cd="ambiguous" id="A1.SS1.p2.15.m6.1.1.1.cmml" xref="A1.SS1.p2.15.m6.1.1">superscript</csymbol><ci id="A1.SS1.p2.15.m6.1.1.2.cmml" xref="A1.SS1.p2.15.m6.1.1.2">𝑄</ci><ci id="A1.SS1.p2.15.m6.1.1.3.cmml" xref="A1.SS1.p2.15.m6.1.1.3">old</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.15.m6.1c">Q^{\rm old}</annotation></semantics></math> on the Lie group as</p>
<table id="A12.EGx8" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex10"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex10.m1.1" class="ltx_Math" alttext="\displaystyle Q^{\prime}=" display="inline"><semantics id="A1.Ex10.m1.1a"><mrow id="A1.Ex10.m1.1.1" xref="A1.Ex10.m1.1.1.cmml"><msup id="A1.Ex10.m1.1.1.2" xref="A1.Ex10.m1.1.1.2.cmml"><mi id="A1.Ex10.m1.1.1.2.2" xref="A1.Ex10.m1.1.1.2.2.cmml">Q</mi><mo id="A1.Ex10.m1.1.1.2.3" xref="A1.Ex10.m1.1.1.2.3.cmml">′</mo></msup><mo id="A1.Ex10.m1.1.1.1" xref="A1.Ex10.m1.1.1.1.cmml">=</mo><mi id="A1.Ex10.m1.1.1.3" xref="A1.Ex10.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex10.m1.1b"><apply id="A1.Ex10.m1.1.1.cmml" xref="A1.Ex10.m1.1.1"><eq id="A1.Ex10.m1.1.1.1.cmml" xref="A1.Ex10.m1.1.1.1"></eq><apply id="A1.Ex10.m1.1.1.2.cmml" xref="A1.Ex10.m1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex10.m1.1.1.2.1.cmml" xref="A1.Ex10.m1.1.1.2">superscript</csymbol><ci id="A1.Ex10.m1.1.1.2.2.cmml" xref="A1.Ex10.m1.1.1.2.2">𝑄</ci><ci id="A1.Ex10.m1.1.1.2.3.cmml" xref="A1.Ex10.m1.1.1.2.3">′</ci></apply><csymbol cd="latexml" id="A1.Ex10.m1.1.1.3.cmml" xref="A1.Ex10.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex10.m1.1c">\displaystyle Q^{\prime}=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex10.m2.1" class="ltx_Math" alttext="\displaystyle Q^{\rm old}+Q\mathcal{E}" display="inline"><semantics id="A1.Ex10.m2.1a"><mrow id="A1.Ex10.m2.1.1" xref="A1.Ex10.m2.1.1.cmml"><msup id="A1.Ex10.m2.1.1.2" xref="A1.Ex10.m2.1.1.2.cmml"><mi id="A1.Ex10.m2.1.1.2.2" xref="A1.Ex10.m2.1.1.2.2.cmml">Q</mi><mi id="A1.Ex10.m2.1.1.2.3" xref="A1.Ex10.m2.1.1.2.3.cmml">old</mi></msup><mo id="A1.Ex10.m2.1.1.1" xref="A1.Ex10.m2.1.1.1.cmml">+</mo><mrow id="A1.Ex10.m2.1.1.3" xref="A1.Ex10.m2.1.1.3.cmml"><mi id="A1.Ex10.m2.1.1.3.2" xref="A1.Ex10.m2.1.1.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex10.m2.1.1.3.1" xref="A1.Ex10.m2.1.1.3.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="A1.Ex10.m2.1.1.3.3" xref="A1.Ex10.m2.1.1.3.3.cmml">ℰ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex10.m2.1b"><apply id="A1.Ex10.m2.1.1.cmml" xref="A1.Ex10.m2.1.1"><plus id="A1.Ex10.m2.1.1.1.cmml" xref="A1.Ex10.m2.1.1.1"></plus><apply id="A1.Ex10.m2.1.1.2.cmml" xref="A1.Ex10.m2.1.1.2"><csymbol cd="ambiguous" id="A1.Ex10.m2.1.1.2.1.cmml" xref="A1.Ex10.m2.1.1.2">superscript</csymbol><ci id="A1.Ex10.m2.1.1.2.2.cmml" xref="A1.Ex10.m2.1.1.2.2">𝑄</ci><ci id="A1.Ex10.m2.1.1.2.3.cmml" xref="A1.Ex10.m2.1.1.2.3">old</ci></apply><apply id="A1.Ex10.m2.1.1.3.cmml" xref="A1.Ex10.m2.1.1.3"><times id="A1.Ex10.m2.1.1.3.1.cmml" xref="A1.Ex10.m2.1.1.3.1"></times><ci id="A1.Ex10.m2.1.1.3.2.cmml" xref="A1.Ex10.m2.1.1.3.2">𝑄</ci><ci id="A1.Ex10.m2.1.1.3.3.cmml" xref="A1.Ex10.m2.1.1.3.3">ℰ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex10.m2.1c">\displaystyle Q^{\rm old}+Q\mathcal{E}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.E6"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E6.m1.1" class="ltx_Math" alttext="\displaystyle Q^{\rm new}=" display="inline"><semantics id="A1.E6.m1.1a"><mrow id="A1.E6.m1.1.1" xref="A1.E6.m1.1.1.cmml"><msup id="A1.E6.m1.1.1.2" xref="A1.E6.m1.1.1.2.cmml"><mi id="A1.E6.m1.1.1.2.2" xref="A1.E6.m1.1.1.2.2.cmml">Q</mi><mi id="A1.E6.m1.1.1.2.3" xref="A1.E6.m1.1.1.2.3.cmml">new</mi></msup><mo id="A1.E6.m1.1.1.1" xref="A1.E6.m1.1.1.1.cmml">=</mo><mi id="A1.E6.m1.1.1.3" xref="A1.E6.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A1.E6.m1.1b"><apply id="A1.E6.m1.1.1.cmml" xref="A1.E6.m1.1.1"><eq id="A1.E6.m1.1.1.1.cmml" xref="A1.E6.m1.1.1.1"></eq><apply id="A1.E6.m1.1.1.2.cmml" xref="A1.E6.m1.1.1.2"><csymbol cd="ambiguous" id="A1.E6.m1.1.1.2.1.cmml" xref="A1.E6.m1.1.1.2">superscript</csymbol><ci id="A1.E6.m1.1.1.2.2.cmml" xref="A1.E6.m1.1.1.2.2">𝑄</ci><ci id="A1.E6.m1.1.1.2.3.cmml" xref="A1.E6.m1.1.1.2.3">new</ci></apply><csymbol cd="latexml" id="A1.E6.m1.1.1.3.cmml" xref="A1.E6.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E6.m1.1c">\displaystyle Q^{\rm new}=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.E6.m2.1" class="ltx_Math" alttext="\displaystyle[(Q^{\prime})^{T}Q^{\prime}]^{0.5}" display="inline"><semantics id="A1.E6.m2.1a"><msup id="A1.E6.m2.1.1" xref="A1.E6.m2.1.1.cmml"><mrow id="A1.E6.m2.1.1.1.1" xref="A1.E6.m2.1.1.1.2.cmml"><mo stretchy="false" id="A1.E6.m2.1.1.1.1.2" xref="A1.E6.m2.1.1.1.2.1.cmml">[</mo><mrow id="A1.E6.m2.1.1.1.1.1" xref="A1.E6.m2.1.1.1.1.1.cmml"><msup id="A1.E6.m2.1.1.1.1.1.1" xref="A1.E6.m2.1.1.1.1.1.1.cmml"><mrow id="A1.E6.m2.1.1.1.1.1.1.1.1" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E6.m2.1.1.1.1.1.1.1.1.2" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="A1.E6.m2.1.1.1.1.1.1.1.1.1" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.E6.m2.1.1.1.1.1.1.1.1.1.2" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo id="A1.E6.m2.1.1.1.1.1.1.1.1.1.3" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.3.cmml">′</mo></msup><mo stretchy="false" id="A1.E6.m2.1.1.1.1.1.1.1.1.3" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A1.E6.m2.1.1.1.1.1.1.3" xref="A1.E6.m2.1.1.1.1.1.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.E6.m2.1.1.1.1.1.2" xref="A1.E6.m2.1.1.1.1.1.2.cmml">​</mo><msup id="A1.E6.m2.1.1.1.1.1.3" xref="A1.E6.m2.1.1.1.1.1.3.cmml"><mi id="A1.E6.m2.1.1.1.1.1.3.2" xref="A1.E6.m2.1.1.1.1.1.3.2.cmml">Q</mi><mo id="A1.E6.m2.1.1.1.1.1.3.3" xref="A1.E6.m2.1.1.1.1.1.3.3.cmml">′</mo></msup></mrow><mo stretchy="false" id="A1.E6.m2.1.1.1.1.3" xref="A1.E6.m2.1.1.1.2.1.cmml">]</mo></mrow><mn id="A1.E6.m2.1.1.3" xref="A1.E6.m2.1.1.3.cmml">0.5</mn></msup><annotation-xml encoding="MathML-Content" id="A1.E6.m2.1b"><apply id="A1.E6.m2.1.1.cmml" xref="A1.E6.m2.1.1"><csymbol cd="ambiguous" id="A1.E6.m2.1.1.2.cmml" xref="A1.E6.m2.1.1">superscript</csymbol><apply id="A1.E6.m2.1.1.1.2.cmml" xref="A1.E6.m2.1.1.1.1"><csymbol cd="latexml" id="A1.E6.m2.1.1.1.2.1.cmml" xref="A1.E6.m2.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.E6.m2.1.1.1.1.1.cmml" xref="A1.E6.m2.1.1.1.1.1"><times id="A1.E6.m2.1.1.1.1.1.2.cmml" xref="A1.E6.m2.1.1.1.1.1.2"></times><apply id="A1.E6.m2.1.1.1.1.1.1.cmml" xref="A1.E6.m2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E6.m2.1.1.1.1.1.1.2.cmml" xref="A1.E6.m2.1.1.1.1.1.1">superscript</csymbol><apply id="A1.E6.m2.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E6.m2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E6.m2.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E6.m2.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A1.E6.m2.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A1.E6.m2.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E6.m2.1.1.1.1.1.1.1.1.1.3">′</ci></apply><ci id="A1.E6.m2.1.1.1.1.1.1.3.cmml" xref="A1.E6.m2.1.1.1.1.1.1.3">𝑇</ci></apply><apply id="A1.E6.m2.1.1.1.1.1.3.cmml" xref="A1.E6.m2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E6.m2.1.1.1.1.1.3.1.cmml" xref="A1.E6.m2.1.1.1.1.1.3">superscript</csymbol><ci id="A1.E6.m2.1.1.1.1.1.3.2.cmml" xref="A1.E6.m2.1.1.1.1.1.3.2">𝑄</ci><ci id="A1.E6.m2.1.1.1.1.1.3.3.cmml" xref="A1.E6.m2.1.1.1.1.1.3.3">′</ci></apply></apply></apply><cn type="float" id="A1.E6.m2.1.1.3.cmml" xref="A1.E6.m2.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E6.m2.1c">\displaystyle[(Q^{\prime})^{T}Q^{\prime}]^{0.5}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(6)</span></td>
</tr></tbody>
</table>
<p id="A1.SS1.p2.17" class="ltx_p">In this way, <math id="A1.SS1.p2.16.m1.1" class="ltx_Math" alttext="dQ=Q^{\rm new}-Q^{\rm old}" display="inline"><semantics id="A1.SS1.p2.16.m1.1a"><mrow id="A1.SS1.p2.16.m1.1.1" xref="A1.SS1.p2.16.m1.1.1.cmml"><mrow id="A1.SS1.p2.16.m1.1.1.2" xref="A1.SS1.p2.16.m1.1.1.2.cmml"><mi id="A1.SS1.p2.16.m1.1.1.2.2" xref="A1.SS1.p2.16.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p2.16.m1.1.1.2.1" xref="A1.SS1.p2.16.m1.1.1.2.1.cmml">​</mo><mi id="A1.SS1.p2.16.m1.1.1.2.3" xref="A1.SS1.p2.16.m1.1.1.2.3.cmml">Q</mi></mrow><mo id="A1.SS1.p2.16.m1.1.1.1" xref="A1.SS1.p2.16.m1.1.1.1.cmml">=</mo><mrow id="A1.SS1.p2.16.m1.1.1.3" xref="A1.SS1.p2.16.m1.1.1.3.cmml"><msup id="A1.SS1.p2.16.m1.1.1.3.2" xref="A1.SS1.p2.16.m1.1.1.3.2.cmml"><mi id="A1.SS1.p2.16.m1.1.1.3.2.2" xref="A1.SS1.p2.16.m1.1.1.3.2.2.cmml">Q</mi><mi id="A1.SS1.p2.16.m1.1.1.3.2.3" xref="A1.SS1.p2.16.m1.1.1.3.2.3.cmml">new</mi></msup><mo id="A1.SS1.p2.16.m1.1.1.3.1" xref="A1.SS1.p2.16.m1.1.1.3.1.cmml">−</mo><msup id="A1.SS1.p2.16.m1.1.1.3.3" xref="A1.SS1.p2.16.m1.1.1.3.3.cmml"><mi id="A1.SS1.p2.16.m1.1.1.3.3.2" xref="A1.SS1.p2.16.m1.1.1.3.3.2.cmml">Q</mi><mi id="A1.SS1.p2.16.m1.1.1.3.3.3" xref="A1.SS1.p2.16.m1.1.1.3.3.3.cmml">old</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.16.m1.1b"><apply id="A1.SS1.p2.16.m1.1.1.cmml" xref="A1.SS1.p2.16.m1.1.1"><eq id="A1.SS1.p2.16.m1.1.1.1.cmml" xref="A1.SS1.p2.16.m1.1.1.1"></eq><apply id="A1.SS1.p2.16.m1.1.1.2.cmml" xref="A1.SS1.p2.16.m1.1.1.2"><times id="A1.SS1.p2.16.m1.1.1.2.1.cmml" xref="A1.SS1.p2.16.m1.1.1.2.1"></times><ci id="A1.SS1.p2.16.m1.1.1.2.2.cmml" xref="A1.SS1.p2.16.m1.1.1.2.2">𝑑</ci><ci id="A1.SS1.p2.16.m1.1.1.2.3.cmml" xref="A1.SS1.p2.16.m1.1.1.2.3">𝑄</ci></apply><apply id="A1.SS1.p2.16.m1.1.1.3.cmml" xref="A1.SS1.p2.16.m1.1.1.3"><minus id="A1.SS1.p2.16.m1.1.1.3.1.cmml" xref="A1.SS1.p2.16.m1.1.1.3.1"></minus><apply id="A1.SS1.p2.16.m1.1.1.3.2.cmml" xref="A1.SS1.p2.16.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.SS1.p2.16.m1.1.1.3.2.1.cmml" xref="A1.SS1.p2.16.m1.1.1.3.2">superscript</csymbol><ci id="A1.SS1.p2.16.m1.1.1.3.2.2.cmml" xref="A1.SS1.p2.16.m1.1.1.3.2.2">𝑄</ci><ci id="A1.SS1.p2.16.m1.1.1.3.2.3.cmml" xref="A1.SS1.p2.16.m1.1.1.3.2.3">new</ci></apply><apply id="A1.SS1.p2.16.m1.1.1.3.3.cmml" xref="A1.SS1.p2.16.m1.1.1.3.3"><csymbol cd="ambiguous" id="A1.SS1.p2.16.m1.1.1.3.3.1.cmml" xref="A1.SS1.p2.16.m1.1.1.3.3">superscript</csymbol><ci id="A1.SS1.p2.16.m1.1.1.3.3.2.cmml" xref="A1.SS1.p2.16.m1.1.1.3.3.2">𝑄</ci><ci id="A1.SS1.p2.16.m1.1.1.3.3.3.cmml" xref="A1.SS1.p2.16.m1.1.1.3.3.3">old</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.16.m1.1c">dQ=Q^{\rm new}-Q^{\rm old}</annotation></semantics></math> is guaranteed to be symmetric as long as the starting guess <math id="A1.SS1.p2.17.m2.1" class="ltx_Math" alttext="Q^{\rm old}" display="inline"><semantics id="A1.SS1.p2.17.m2.1a"><msup id="A1.SS1.p2.17.m2.1.1" xref="A1.SS1.p2.17.m2.1.1.cmml"><mi id="A1.SS1.p2.17.m2.1.1.2" xref="A1.SS1.p2.17.m2.1.1.2.cmml">Q</mi><mi id="A1.SS1.p2.17.m2.1.1.3" xref="A1.SS1.p2.17.m2.1.1.3.cmml">old</mi></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.p2.17.m2.1b"><apply id="A1.SS1.p2.17.m2.1.1.cmml" xref="A1.SS1.p2.17.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.p2.17.m2.1.1.1.cmml" xref="A1.SS1.p2.17.m2.1.1">superscript</csymbol><ci id="A1.SS1.p2.17.m2.1.1.2.cmml" xref="A1.SS1.p2.17.m2.1.1.2">𝑄</ci><ci id="A1.SS1.p2.17.m2.1.1.3.cmml" xref="A1.SS1.p2.17.m2.1.1.3">old</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p2.17.m2.1c">Q^{\rm old}</annotation></semantics></math> is symmetric as well. Still, in practice we have used the learning rule equation <a href="#A1.E5" title="Equation 5 ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a>, and equation <a href="#A1.E6" title="Equation 6 ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a> only serves for the purpose of proof.</p>
</div>
<div id="A1.SS1.p3" class="ltx_para">
<p id="A1.SS1.p3.1" class="ltx_p">See <a href="#S3.Thmprop1" title="Proposition 3.1. ‣ 3.1 Properties and Convergence of PSGD ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a></p>
</div>
<div id="A1.SS1.8" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A1.SS1.3.p1" class="ltx_para">
<p id="A1.SS1.3.p1.3" class="ltx_p">Given a small perturbation <math id="A1.SS1.3.p1.1.m1.1" class="ltx_Math" alttext="dQ" display="inline"><semantics id="A1.SS1.3.p1.1.m1.1a"><mrow id="A1.SS1.3.p1.1.m1.1.1" xref="A1.SS1.3.p1.1.m1.1.1.cmml"><mi id="A1.SS1.3.p1.1.m1.1.1.2" xref="A1.SS1.3.p1.1.m1.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.3.p1.1.m1.1.1.1" xref="A1.SS1.3.p1.1.m1.1.1.1.cmml">​</mo><mi id="A1.SS1.3.p1.1.m1.1.1.3" xref="A1.SS1.3.p1.1.m1.1.1.3.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.3.p1.1.m1.1b"><apply id="A1.SS1.3.p1.1.m1.1.1.cmml" xref="A1.SS1.3.p1.1.m1.1.1"><times id="A1.SS1.3.p1.1.m1.1.1.1.cmml" xref="A1.SS1.3.p1.1.m1.1.1.1"></times><ci id="A1.SS1.3.p1.1.m1.1.1.2.cmml" xref="A1.SS1.3.p1.1.m1.1.1.2">𝑑</ci><ci id="A1.SS1.3.p1.1.m1.1.1.3.cmml" xref="A1.SS1.3.p1.1.m1.1.1.3">𝑄</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.3.p1.1.m1.1c">dQ</annotation></semantics></math> of <math id="A1.SS1.3.p1.2.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.3.p1.2.m2.1a"><mi id="A1.SS1.3.p1.2.m2.1.1" xref="A1.SS1.3.p1.2.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.3.p1.2.m2.1b"><ci id="A1.SS1.3.p1.2.m2.1.1.cmml" xref="A1.SS1.3.p1.2.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.3.p1.2.m2.1c">Q</annotation></semantics></math>, the change of <math id="A1.SS1.3.p1.3.m3.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS1.3.p1.3.m3.1a"><mi id="A1.SS1.3.p1.3.m3.1.1" xref="A1.SS1.3.p1.3.m3.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.3.p1.3.m3.1b"><ci id="A1.SS1.3.p1.3.m3.1.1.cmml" xref="A1.SS1.3.p1.3.m3.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.3.p1.3.m3.1c">P</annotation></semantics></math> is given by</p>
<table id="A12.EGx9" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex11"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex11.m1.1" class="ltx_Math" alttext="\displaystyle dP=" display="inline"><semantics id="A1.Ex11.m1.1a"><mrow id="A1.Ex11.m1.1.1" xref="A1.Ex11.m1.1.1.cmml"><mrow id="A1.Ex11.m1.1.1.2" xref="A1.Ex11.m1.1.1.2.cmml"><mi id="A1.Ex11.m1.1.1.2.2" xref="A1.Ex11.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex11.m1.1.1.2.1" xref="A1.Ex11.m1.1.1.2.1.cmml">​</mo><mi id="A1.Ex11.m1.1.1.2.3" xref="A1.Ex11.m1.1.1.2.3.cmml">P</mi></mrow><mo id="A1.Ex11.m1.1.1.1" xref="A1.Ex11.m1.1.1.1.cmml">=</mo><mi id="A1.Ex11.m1.1.1.3" xref="A1.Ex11.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex11.m1.1b"><apply id="A1.Ex11.m1.1.1.cmml" xref="A1.Ex11.m1.1.1"><eq id="A1.Ex11.m1.1.1.1.cmml" xref="A1.Ex11.m1.1.1.1"></eq><apply id="A1.Ex11.m1.1.1.2.cmml" xref="A1.Ex11.m1.1.1.2"><times id="A1.Ex11.m1.1.1.2.1.cmml" xref="A1.Ex11.m1.1.1.2.1"></times><ci id="A1.Ex11.m1.1.1.2.2.cmml" xref="A1.Ex11.m1.1.1.2.2">𝑑</ci><ci id="A1.Ex11.m1.1.1.2.3.cmml" xref="A1.Ex11.m1.1.1.2.3">𝑃</ci></apply><csymbol cd="latexml" id="A1.Ex11.m1.1.1.3.cmml" xref="A1.Ex11.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex11.m1.1c">\displaystyle dP=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex11.m2.2" class="ltx_Math" alttext="\displaystyle(Q+dQ)^{T}(Q+dQ)-Q^{T}Q" display="inline"><semantics id="A1.Ex11.m2.2a"><mrow id="A1.Ex11.m2.2.2" xref="A1.Ex11.m2.2.2.cmml"><mrow id="A1.Ex11.m2.2.2.2" xref="A1.Ex11.m2.2.2.2.cmml"><msup id="A1.Ex11.m2.1.1.1.1" xref="A1.Ex11.m2.1.1.1.1.cmml"><mrow id="A1.Ex11.m2.1.1.1.1.1.1" xref="A1.Ex11.m2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex11.m2.1.1.1.1.1.1.2" xref="A1.Ex11.m2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex11.m2.1.1.1.1.1.1.1" xref="A1.Ex11.m2.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex11.m2.1.1.1.1.1.1.1.2" xref="A1.Ex11.m2.1.1.1.1.1.1.1.2.cmml">Q</mi><mo id="A1.Ex11.m2.1.1.1.1.1.1.1.1" xref="A1.Ex11.m2.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex11.m2.1.1.1.1.1.1.1.3" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex11.m2.1.1.1.1.1.1.1.3.2" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex11.m2.1.1.1.1.1.1.1.3.1" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex11.m2.1.1.1.1.1.1.1.3.3" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3.3.cmml">Q</mi></mrow></mrow><mo stretchy="false" id="A1.Ex11.m2.1.1.1.1.1.1.3" xref="A1.Ex11.m2.1.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A1.Ex11.m2.1.1.1.1.3" xref="A1.Ex11.m2.1.1.1.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex11.m2.2.2.2.3" xref="A1.Ex11.m2.2.2.2.3.cmml">​</mo><mrow id="A1.Ex11.m2.2.2.2.2.1" xref="A1.Ex11.m2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A1.Ex11.m2.2.2.2.2.1.2" xref="A1.Ex11.m2.2.2.2.2.1.1.cmml">(</mo><mrow id="A1.Ex11.m2.2.2.2.2.1.1" xref="A1.Ex11.m2.2.2.2.2.1.1.cmml"><mi id="A1.Ex11.m2.2.2.2.2.1.1.2" xref="A1.Ex11.m2.2.2.2.2.1.1.2.cmml">Q</mi><mo id="A1.Ex11.m2.2.2.2.2.1.1.1" xref="A1.Ex11.m2.2.2.2.2.1.1.1.cmml">+</mo><mrow id="A1.Ex11.m2.2.2.2.2.1.1.3" xref="A1.Ex11.m2.2.2.2.2.1.1.3.cmml"><mi id="A1.Ex11.m2.2.2.2.2.1.1.3.2" xref="A1.Ex11.m2.2.2.2.2.1.1.3.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex11.m2.2.2.2.2.1.1.3.1" xref="A1.Ex11.m2.2.2.2.2.1.1.3.1.cmml">​</mo><mi id="A1.Ex11.m2.2.2.2.2.1.1.3.3" xref="A1.Ex11.m2.2.2.2.2.1.1.3.3.cmml">Q</mi></mrow></mrow><mo stretchy="false" id="A1.Ex11.m2.2.2.2.2.1.3" xref="A1.Ex11.m2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Ex11.m2.2.2.3" xref="A1.Ex11.m2.2.2.3.cmml">−</mo><mrow id="A1.Ex11.m2.2.2.4" xref="A1.Ex11.m2.2.2.4.cmml"><msup id="A1.Ex11.m2.2.2.4.2" xref="A1.Ex11.m2.2.2.4.2.cmml"><mi id="A1.Ex11.m2.2.2.4.2.2" xref="A1.Ex11.m2.2.2.4.2.2.cmml">Q</mi><mi id="A1.Ex11.m2.2.2.4.2.3" xref="A1.Ex11.m2.2.2.4.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex11.m2.2.2.4.1" xref="A1.Ex11.m2.2.2.4.1.cmml">​</mo><mi id="A1.Ex11.m2.2.2.4.3" xref="A1.Ex11.m2.2.2.4.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex11.m2.2b"><apply id="A1.Ex11.m2.2.2.cmml" xref="A1.Ex11.m2.2.2"><minus id="A1.Ex11.m2.2.2.3.cmml" xref="A1.Ex11.m2.2.2.3"></minus><apply id="A1.Ex11.m2.2.2.2.cmml" xref="A1.Ex11.m2.2.2.2"><times id="A1.Ex11.m2.2.2.2.3.cmml" xref="A1.Ex11.m2.2.2.2.3"></times><apply id="A1.Ex11.m2.1.1.1.1.cmml" xref="A1.Ex11.m2.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex11.m2.1.1.1.1.2.cmml" xref="A1.Ex11.m2.1.1.1.1">superscript</csymbol><apply id="A1.Ex11.m2.1.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1"><plus id="A1.Ex11.m2.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.1.1"></plus><ci id="A1.Ex11.m2.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.1.2">𝑄</ci><apply id="A1.Ex11.m2.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3"><times id="A1.Ex11.m2.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3.1"></times><ci id="A1.Ex11.m2.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3.2">𝑑</ci><ci id="A1.Ex11.m2.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex11.m2.1.1.1.1.1.1.1.3.3">𝑄</ci></apply></apply><ci id="A1.Ex11.m2.1.1.1.1.3.cmml" xref="A1.Ex11.m2.1.1.1.1.3">𝑇</ci></apply><apply id="A1.Ex11.m2.2.2.2.2.1.1.cmml" xref="A1.Ex11.m2.2.2.2.2.1"><plus id="A1.Ex11.m2.2.2.2.2.1.1.1.cmml" xref="A1.Ex11.m2.2.2.2.2.1.1.1"></plus><ci id="A1.Ex11.m2.2.2.2.2.1.1.2.cmml" xref="A1.Ex11.m2.2.2.2.2.1.1.2">𝑄</ci><apply id="A1.Ex11.m2.2.2.2.2.1.1.3.cmml" xref="A1.Ex11.m2.2.2.2.2.1.1.3"><times id="A1.Ex11.m2.2.2.2.2.1.1.3.1.cmml" xref="A1.Ex11.m2.2.2.2.2.1.1.3.1"></times><ci id="A1.Ex11.m2.2.2.2.2.1.1.3.2.cmml" xref="A1.Ex11.m2.2.2.2.2.1.1.3.2">𝑑</ci><ci id="A1.Ex11.m2.2.2.2.2.1.1.3.3.cmml" xref="A1.Ex11.m2.2.2.2.2.1.1.3.3">𝑄</ci></apply></apply></apply><apply id="A1.Ex11.m2.2.2.4.cmml" xref="A1.Ex11.m2.2.2.4"><times id="A1.Ex11.m2.2.2.4.1.cmml" xref="A1.Ex11.m2.2.2.4.1"></times><apply id="A1.Ex11.m2.2.2.4.2.cmml" xref="A1.Ex11.m2.2.2.4.2"><csymbol cd="ambiguous" id="A1.Ex11.m2.2.2.4.2.1.cmml" xref="A1.Ex11.m2.2.2.4.2">superscript</csymbol><ci id="A1.Ex11.m2.2.2.4.2.2.cmml" xref="A1.Ex11.m2.2.2.4.2.2">𝑄</ci><ci id="A1.Ex11.m2.2.2.4.2.3.cmml" xref="A1.Ex11.m2.2.2.4.2.3">𝑇</ci></apply><ci id="A1.Ex11.m2.2.2.4.3.cmml" xref="A1.Ex11.m2.2.2.4.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex11.m2.2c">\displaystyle(Q+dQ)^{T}(Q+dQ)-Q^{T}Q</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex12"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex12.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex12.m1.1a"><mo id="A1.Ex12.m1.1.1" xref="A1.Ex12.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex12.m1.1b"><eq id="A1.Ex12.m1.1.1.cmml" xref="A1.Ex12.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex12.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex12.m2.1" class="ltx_Math" alttext="\displaystyle Q^{T}dQ+dQ^{T}Q+dQ^{T}dQ" display="inline"><semantics id="A1.Ex12.m2.1a"><mrow id="A1.Ex12.m2.1.1" xref="A1.Ex12.m2.1.1.cmml"><mrow id="A1.Ex12.m2.1.1.2" xref="A1.Ex12.m2.1.1.2.cmml"><msup id="A1.Ex12.m2.1.1.2.2" xref="A1.Ex12.m2.1.1.2.2.cmml"><mi id="A1.Ex12.m2.1.1.2.2.2" xref="A1.Ex12.m2.1.1.2.2.2.cmml">Q</mi><mi id="A1.Ex12.m2.1.1.2.2.3" xref="A1.Ex12.m2.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex12.m2.1.1.2.1" xref="A1.Ex12.m2.1.1.2.1.cmml">​</mo><mi id="A1.Ex12.m2.1.1.2.3" xref="A1.Ex12.m2.1.1.2.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex12.m2.1.1.2.1a" xref="A1.Ex12.m2.1.1.2.1.cmml">​</mo><mi id="A1.Ex12.m2.1.1.2.4" xref="A1.Ex12.m2.1.1.2.4.cmml">Q</mi></mrow><mo id="A1.Ex12.m2.1.1.1" xref="A1.Ex12.m2.1.1.1.cmml">+</mo><mrow id="A1.Ex12.m2.1.1.3" xref="A1.Ex12.m2.1.1.3.cmml"><mi id="A1.Ex12.m2.1.1.3.2" xref="A1.Ex12.m2.1.1.3.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex12.m2.1.1.3.1" xref="A1.Ex12.m2.1.1.3.1.cmml">​</mo><msup id="A1.Ex12.m2.1.1.3.3" xref="A1.Ex12.m2.1.1.3.3.cmml"><mi id="A1.Ex12.m2.1.1.3.3.2" xref="A1.Ex12.m2.1.1.3.3.2.cmml">Q</mi><mi id="A1.Ex12.m2.1.1.3.3.3" xref="A1.Ex12.m2.1.1.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex12.m2.1.1.3.1a" xref="A1.Ex12.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex12.m2.1.1.3.4" xref="A1.Ex12.m2.1.1.3.4.cmml">Q</mi></mrow><mo id="A1.Ex12.m2.1.1.1a" xref="A1.Ex12.m2.1.1.1.cmml">+</mo><mrow id="A1.Ex12.m2.1.1.4" xref="A1.Ex12.m2.1.1.4.cmml"><mi id="A1.Ex12.m2.1.1.4.2" xref="A1.Ex12.m2.1.1.4.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex12.m2.1.1.4.1" xref="A1.Ex12.m2.1.1.4.1.cmml">​</mo><msup id="A1.Ex12.m2.1.1.4.3" xref="A1.Ex12.m2.1.1.4.3.cmml"><mi id="A1.Ex12.m2.1.1.4.3.2" xref="A1.Ex12.m2.1.1.4.3.2.cmml">Q</mi><mi id="A1.Ex12.m2.1.1.4.3.3" xref="A1.Ex12.m2.1.1.4.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex12.m2.1.1.4.1a" xref="A1.Ex12.m2.1.1.4.1.cmml">​</mo><mi id="A1.Ex12.m2.1.1.4.4" xref="A1.Ex12.m2.1.1.4.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex12.m2.1.1.4.1b" xref="A1.Ex12.m2.1.1.4.1.cmml">​</mo><mi id="A1.Ex12.m2.1.1.4.5" xref="A1.Ex12.m2.1.1.4.5.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex12.m2.1b"><apply id="A1.Ex12.m2.1.1.cmml" xref="A1.Ex12.m2.1.1"><plus id="A1.Ex12.m2.1.1.1.cmml" xref="A1.Ex12.m2.1.1.1"></plus><apply id="A1.Ex12.m2.1.1.2.cmml" xref="A1.Ex12.m2.1.1.2"><times id="A1.Ex12.m2.1.1.2.1.cmml" xref="A1.Ex12.m2.1.1.2.1"></times><apply id="A1.Ex12.m2.1.1.2.2.cmml" xref="A1.Ex12.m2.1.1.2.2"><csymbol cd="ambiguous" id="A1.Ex12.m2.1.1.2.2.1.cmml" xref="A1.Ex12.m2.1.1.2.2">superscript</csymbol><ci id="A1.Ex12.m2.1.1.2.2.2.cmml" xref="A1.Ex12.m2.1.1.2.2.2">𝑄</ci><ci id="A1.Ex12.m2.1.1.2.2.3.cmml" xref="A1.Ex12.m2.1.1.2.2.3">𝑇</ci></apply><ci id="A1.Ex12.m2.1.1.2.3.cmml" xref="A1.Ex12.m2.1.1.2.3">𝑑</ci><ci id="A1.Ex12.m2.1.1.2.4.cmml" xref="A1.Ex12.m2.1.1.2.4">𝑄</ci></apply><apply id="A1.Ex12.m2.1.1.3.cmml" xref="A1.Ex12.m2.1.1.3"><times id="A1.Ex12.m2.1.1.3.1.cmml" xref="A1.Ex12.m2.1.1.3.1"></times><ci id="A1.Ex12.m2.1.1.3.2.cmml" xref="A1.Ex12.m2.1.1.3.2">𝑑</ci><apply id="A1.Ex12.m2.1.1.3.3.cmml" xref="A1.Ex12.m2.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex12.m2.1.1.3.3.1.cmml" xref="A1.Ex12.m2.1.1.3.3">superscript</csymbol><ci id="A1.Ex12.m2.1.1.3.3.2.cmml" xref="A1.Ex12.m2.1.1.3.3.2">𝑄</ci><ci id="A1.Ex12.m2.1.1.3.3.3.cmml" xref="A1.Ex12.m2.1.1.3.3.3">𝑇</ci></apply><ci id="A1.Ex12.m2.1.1.3.4.cmml" xref="A1.Ex12.m2.1.1.3.4">𝑄</ci></apply><apply id="A1.Ex12.m2.1.1.4.cmml" xref="A1.Ex12.m2.1.1.4"><times id="A1.Ex12.m2.1.1.4.1.cmml" xref="A1.Ex12.m2.1.1.4.1"></times><ci id="A1.Ex12.m2.1.1.4.2.cmml" xref="A1.Ex12.m2.1.1.4.2">𝑑</ci><apply id="A1.Ex12.m2.1.1.4.3.cmml" xref="A1.Ex12.m2.1.1.4.3"><csymbol cd="ambiguous" id="A1.Ex12.m2.1.1.4.3.1.cmml" xref="A1.Ex12.m2.1.1.4.3">superscript</csymbol><ci id="A1.Ex12.m2.1.1.4.3.2.cmml" xref="A1.Ex12.m2.1.1.4.3.2">𝑄</ci><ci id="A1.Ex12.m2.1.1.4.3.3.cmml" xref="A1.Ex12.m2.1.1.4.3.3">𝑇</ci></apply><ci id="A1.Ex12.m2.1.1.4.4.cmml" xref="A1.Ex12.m2.1.1.4.4">𝑑</ci><ci id="A1.Ex12.m2.1.1.4.5.cmml" xref="A1.Ex12.m2.1.1.4.5">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex12.m2.1c">\displaystyle Q^{T}dQ+dQ^{T}Q+dQ^{T}dQ</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.3.p1.6" class="ltx_p">The change of <math id="A1.SS1.3.p1.4.m1.1" class="ltx_Math" alttext="P^{-1}" display="inline"><semantics id="A1.SS1.3.p1.4.m1.1a"><msup id="A1.SS1.3.p1.4.m1.1.1" xref="A1.SS1.3.p1.4.m1.1.1.cmml"><mi id="A1.SS1.3.p1.4.m1.1.1.2" xref="A1.SS1.3.p1.4.m1.1.1.2.cmml">P</mi><mrow id="A1.SS1.3.p1.4.m1.1.1.3" xref="A1.SS1.3.p1.4.m1.1.1.3.cmml"><mo id="A1.SS1.3.p1.4.m1.1.1.3a" xref="A1.SS1.3.p1.4.m1.1.1.3.cmml">−</mo><mn id="A1.SS1.3.p1.4.m1.1.1.3.2" xref="A1.SS1.3.p1.4.m1.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.3.p1.4.m1.1b"><apply id="A1.SS1.3.p1.4.m1.1.1.cmml" xref="A1.SS1.3.p1.4.m1.1.1"><csymbol cd="ambiguous" id="A1.SS1.3.p1.4.m1.1.1.1.cmml" xref="A1.SS1.3.p1.4.m1.1.1">superscript</csymbol><ci id="A1.SS1.3.p1.4.m1.1.1.2.cmml" xref="A1.SS1.3.p1.4.m1.1.1.2">𝑃</ci><apply id="A1.SS1.3.p1.4.m1.1.1.3.cmml" xref="A1.SS1.3.p1.4.m1.1.1.3"><minus id="A1.SS1.3.p1.4.m1.1.1.3.1.cmml" xref="A1.SS1.3.p1.4.m1.1.1.3"></minus><cn type="integer" id="A1.SS1.3.p1.4.m1.1.1.3.2.cmml" xref="A1.SS1.3.p1.4.m1.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.3.p1.4.m1.1c">P^{-1}</annotation></semantics></math> is a little more complicated. We omit any terms smaller than <math id="A1.SS1.3.p1.5.m2.1" class="ltx_Math" alttext="\mathcal{O}[(dQ)^{2}]" display="inline"><semantics id="A1.SS1.3.p1.5.m2.1a"><mrow id="A1.SS1.3.p1.5.m2.1.1" xref="A1.SS1.3.p1.5.m2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.SS1.3.p1.5.m2.1.1.3" xref="A1.SS1.3.p1.5.m2.1.1.3.cmml">𝒪</mi><mo lspace="0em" rspace="0em" id="A1.SS1.3.p1.5.m2.1.1.2" xref="A1.SS1.3.p1.5.m2.1.1.2.cmml">​</mo><mrow id="A1.SS1.3.p1.5.m2.1.1.1.1" xref="A1.SS1.3.p1.5.m2.1.1.1.2.cmml"><mo stretchy="false" id="A1.SS1.3.p1.5.m2.1.1.1.1.2" xref="A1.SS1.3.p1.5.m2.1.1.1.2.1.cmml">[</mo><msup id="A1.SS1.3.p1.5.m2.1.1.1.1.1" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.cmml"><mrow id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.2" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.cmml"><mi id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.2" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.1" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.3" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.3" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.SS1.3.p1.5.m2.1.1.1.1.1.3" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.3.cmml">2</mn></msup><mo stretchy="false" id="A1.SS1.3.p1.5.m2.1.1.1.1.3" xref="A1.SS1.3.p1.5.m2.1.1.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.3.p1.5.m2.1b"><apply id="A1.SS1.3.p1.5.m2.1.1.cmml" xref="A1.SS1.3.p1.5.m2.1.1"><times id="A1.SS1.3.p1.5.m2.1.1.2.cmml" xref="A1.SS1.3.p1.5.m2.1.1.2"></times><ci id="A1.SS1.3.p1.5.m2.1.1.3.cmml" xref="A1.SS1.3.p1.5.m2.1.1.3">𝒪</ci><apply id="A1.SS1.3.p1.5.m2.1.1.1.2.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1"><csymbol cd="latexml" id="A1.SS1.3.p1.5.m2.1.1.1.2.1.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.SS1.3.p1.5.m2.1.1.1.1.1.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS1.3.p1.5.m2.1.1.1.1.1.2.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1">superscript</csymbol><apply id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1"><times id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.1.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.1"></times><ci id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.2.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.2">𝑑</ci><ci id="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.3.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.1.1.1.3">𝑄</ci></apply><cn type="integer" id="A1.SS1.3.p1.5.m2.1.1.1.1.1.3.cmml" xref="A1.SS1.3.p1.5.m2.1.1.1.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.3.p1.5.m2.1c">\mathcal{O}[(dQ)^{2}]</annotation></semantics></math>, and can expand <math id="A1.SS1.3.p1.6.m3.1" class="ltx_Math" alttext="dP^{-1}" display="inline"><semantics id="A1.SS1.3.p1.6.m3.1a"><mrow id="A1.SS1.3.p1.6.m3.1.1" xref="A1.SS1.3.p1.6.m3.1.1.cmml"><mi id="A1.SS1.3.p1.6.m3.1.1.2" xref="A1.SS1.3.p1.6.m3.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.3.p1.6.m3.1.1.1" xref="A1.SS1.3.p1.6.m3.1.1.1.cmml">​</mo><msup id="A1.SS1.3.p1.6.m3.1.1.3" xref="A1.SS1.3.p1.6.m3.1.1.3.cmml"><mi id="A1.SS1.3.p1.6.m3.1.1.3.2" xref="A1.SS1.3.p1.6.m3.1.1.3.2.cmml">P</mi><mrow id="A1.SS1.3.p1.6.m3.1.1.3.3" xref="A1.SS1.3.p1.6.m3.1.1.3.3.cmml"><mo id="A1.SS1.3.p1.6.m3.1.1.3.3a" xref="A1.SS1.3.p1.6.m3.1.1.3.3.cmml">−</mo><mn id="A1.SS1.3.p1.6.m3.1.1.3.3.2" xref="A1.SS1.3.p1.6.m3.1.1.3.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.3.p1.6.m3.1b"><apply id="A1.SS1.3.p1.6.m3.1.1.cmml" xref="A1.SS1.3.p1.6.m3.1.1"><times id="A1.SS1.3.p1.6.m3.1.1.1.cmml" xref="A1.SS1.3.p1.6.m3.1.1.1"></times><ci id="A1.SS1.3.p1.6.m3.1.1.2.cmml" xref="A1.SS1.3.p1.6.m3.1.1.2">𝑑</ci><apply id="A1.SS1.3.p1.6.m3.1.1.3.cmml" xref="A1.SS1.3.p1.6.m3.1.1.3"><csymbol cd="ambiguous" id="A1.SS1.3.p1.6.m3.1.1.3.1.cmml" xref="A1.SS1.3.p1.6.m3.1.1.3">superscript</csymbol><ci id="A1.SS1.3.p1.6.m3.1.1.3.2.cmml" xref="A1.SS1.3.p1.6.m3.1.1.3.2">𝑃</ci><apply id="A1.SS1.3.p1.6.m3.1.1.3.3.cmml" xref="A1.SS1.3.p1.6.m3.1.1.3.3"><minus id="A1.SS1.3.p1.6.m3.1.1.3.3.1.cmml" xref="A1.SS1.3.p1.6.m3.1.1.3.3"></minus><cn type="integer" id="A1.SS1.3.p1.6.m3.1.1.3.3.2.cmml" xref="A1.SS1.3.p1.6.m3.1.1.3.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.3.p1.6.m3.1c">dP^{-1}</annotation></semantics></math> as below</p>
</div>
<div id="A1.SS1.4.p2" class="ltx_para">
<table id="A12.EGx10" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex13"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex13.m1.1" class="ltx_Math" alttext="\displaystyle dP^{-1}=" display="inline"><semantics id="A1.Ex13.m1.1a"><mrow id="A1.Ex13.m1.1.1" xref="A1.Ex13.m1.1.1.cmml"><mrow id="A1.Ex13.m1.1.1.2" xref="A1.Ex13.m1.1.1.2.cmml"><mi id="A1.Ex13.m1.1.1.2.2" xref="A1.Ex13.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex13.m1.1.1.2.1" xref="A1.Ex13.m1.1.1.2.1.cmml">​</mo><msup id="A1.Ex13.m1.1.1.2.3" xref="A1.Ex13.m1.1.1.2.3.cmml"><mi id="A1.Ex13.m1.1.1.2.3.2" xref="A1.Ex13.m1.1.1.2.3.2.cmml">P</mi><mrow id="A1.Ex13.m1.1.1.2.3.3" xref="A1.Ex13.m1.1.1.2.3.3.cmml"><mo id="A1.Ex13.m1.1.1.2.3.3a" xref="A1.Ex13.m1.1.1.2.3.3.cmml">−</mo><mn id="A1.Ex13.m1.1.1.2.3.3.2" xref="A1.Ex13.m1.1.1.2.3.3.2.cmml">1</mn></mrow></msup></mrow><mo id="A1.Ex13.m1.1.1.1" xref="A1.Ex13.m1.1.1.1.cmml">=</mo><mi id="A1.Ex13.m1.1.1.3" xref="A1.Ex13.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex13.m1.1b"><apply id="A1.Ex13.m1.1.1.cmml" xref="A1.Ex13.m1.1.1"><eq id="A1.Ex13.m1.1.1.1.cmml" xref="A1.Ex13.m1.1.1.1"></eq><apply id="A1.Ex13.m1.1.1.2.cmml" xref="A1.Ex13.m1.1.1.2"><times id="A1.Ex13.m1.1.1.2.1.cmml" xref="A1.Ex13.m1.1.1.2.1"></times><ci id="A1.Ex13.m1.1.1.2.2.cmml" xref="A1.Ex13.m1.1.1.2.2">𝑑</ci><apply id="A1.Ex13.m1.1.1.2.3.cmml" xref="A1.Ex13.m1.1.1.2.3"><csymbol cd="ambiguous" id="A1.Ex13.m1.1.1.2.3.1.cmml" xref="A1.Ex13.m1.1.1.2.3">superscript</csymbol><ci id="A1.Ex13.m1.1.1.2.3.2.cmml" xref="A1.Ex13.m1.1.1.2.3.2">𝑃</ci><apply id="A1.Ex13.m1.1.1.2.3.3.cmml" xref="A1.Ex13.m1.1.1.2.3.3"><minus id="A1.Ex13.m1.1.1.2.3.3.1.cmml" xref="A1.Ex13.m1.1.1.2.3.3"></minus><cn type="integer" id="A1.Ex13.m1.1.1.2.3.3.2.cmml" xref="A1.Ex13.m1.1.1.2.3.3.2">1</cn></apply></apply></apply><csymbol cd="latexml" id="A1.Ex13.m1.1.1.3.cmml" xref="A1.Ex13.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex13.m1.1c">\displaystyle dP^{-1}=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex13.m2.1" class="ltx_Math" alttext="\displaystyle(P+dP)^{-1}-P^{-1}" display="inline"><semantics id="A1.Ex13.m2.1a"><mrow id="A1.Ex13.m2.1.1" xref="A1.Ex13.m2.1.1.cmml"><msup id="A1.Ex13.m2.1.1.1" xref="A1.Ex13.m2.1.1.1.cmml"><mrow id="A1.Ex13.m2.1.1.1.1.1" xref="A1.Ex13.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex13.m2.1.1.1.1.1.2" xref="A1.Ex13.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex13.m2.1.1.1.1.1.1" xref="A1.Ex13.m2.1.1.1.1.1.1.cmml"><mi id="A1.Ex13.m2.1.1.1.1.1.1.2" xref="A1.Ex13.m2.1.1.1.1.1.1.2.cmml">P</mi><mo id="A1.Ex13.m2.1.1.1.1.1.1.1" xref="A1.Ex13.m2.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex13.m2.1.1.1.1.1.1.3" xref="A1.Ex13.m2.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex13.m2.1.1.1.1.1.1.3.2" xref="A1.Ex13.m2.1.1.1.1.1.1.3.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex13.m2.1.1.1.1.1.1.3.1" xref="A1.Ex13.m2.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex13.m2.1.1.1.1.1.1.3.3" xref="A1.Ex13.m2.1.1.1.1.1.1.3.3.cmml">P</mi></mrow></mrow><mo stretchy="false" id="A1.Ex13.m2.1.1.1.1.1.3" xref="A1.Ex13.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex13.m2.1.1.1.3" xref="A1.Ex13.m2.1.1.1.3.cmml"><mo id="A1.Ex13.m2.1.1.1.3a" xref="A1.Ex13.m2.1.1.1.3.cmml">−</mo><mn id="A1.Ex13.m2.1.1.1.3.2" xref="A1.Ex13.m2.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="A1.Ex13.m2.1.1.2" xref="A1.Ex13.m2.1.1.2.cmml">−</mo><msup id="A1.Ex13.m2.1.1.3" xref="A1.Ex13.m2.1.1.3.cmml"><mi id="A1.Ex13.m2.1.1.3.2" xref="A1.Ex13.m2.1.1.3.2.cmml">P</mi><mrow id="A1.Ex13.m2.1.1.3.3" xref="A1.Ex13.m2.1.1.3.3.cmml"><mo id="A1.Ex13.m2.1.1.3.3a" xref="A1.Ex13.m2.1.1.3.3.cmml">−</mo><mn id="A1.Ex13.m2.1.1.3.3.2" xref="A1.Ex13.m2.1.1.3.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex13.m2.1b"><apply id="A1.Ex13.m2.1.1.cmml" xref="A1.Ex13.m2.1.1"><minus id="A1.Ex13.m2.1.1.2.cmml" xref="A1.Ex13.m2.1.1.2"></minus><apply id="A1.Ex13.m2.1.1.1.cmml" xref="A1.Ex13.m2.1.1.1"><csymbol cd="ambiguous" id="A1.Ex13.m2.1.1.1.2.cmml" xref="A1.Ex13.m2.1.1.1">superscript</csymbol><apply id="A1.Ex13.m2.1.1.1.1.1.1.cmml" xref="A1.Ex13.m2.1.1.1.1.1"><plus id="A1.Ex13.m2.1.1.1.1.1.1.1.cmml" xref="A1.Ex13.m2.1.1.1.1.1.1.1"></plus><ci id="A1.Ex13.m2.1.1.1.1.1.1.2.cmml" xref="A1.Ex13.m2.1.1.1.1.1.1.2">𝑃</ci><apply id="A1.Ex13.m2.1.1.1.1.1.1.3.cmml" xref="A1.Ex13.m2.1.1.1.1.1.1.3"><times id="A1.Ex13.m2.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex13.m2.1.1.1.1.1.1.3.1"></times><ci id="A1.Ex13.m2.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex13.m2.1.1.1.1.1.1.3.2">𝑑</ci><ci id="A1.Ex13.m2.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex13.m2.1.1.1.1.1.1.3.3">𝑃</ci></apply></apply><apply id="A1.Ex13.m2.1.1.1.3.cmml" xref="A1.Ex13.m2.1.1.1.3"><minus id="A1.Ex13.m2.1.1.1.3.1.cmml" xref="A1.Ex13.m2.1.1.1.3"></minus><cn type="integer" id="A1.Ex13.m2.1.1.1.3.2.cmml" xref="A1.Ex13.m2.1.1.1.3.2">1</cn></apply></apply><apply id="A1.Ex13.m2.1.1.3.cmml" xref="A1.Ex13.m2.1.1.3"><csymbol cd="ambiguous" id="A1.Ex13.m2.1.1.3.1.cmml" xref="A1.Ex13.m2.1.1.3">superscript</csymbol><ci id="A1.Ex13.m2.1.1.3.2.cmml" xref="A1.Ex13.m2.1.1.3.2">𝑃</ci><apply id="A1.Ex13.m2.1.1.3.3.cmml" xref="A1.Ex13.m2.1.1.3.3"><minus id="A1.Ex13.m2.1.1.3.3.1.cmml" xref="A1.Ex13.m2.1.1.3.3"></minus><cn type="integer" id="A1.Ex13.m2.1.1.3.3.2.cmml" xref="A1.Ex13.m2.1.1.3.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex13.m2.1c">\displaystyle(P+dP)^{-1}-P^{-1}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex14"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex14.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex14.m1.1a"><mo id="A1.Ex14.m1.1.1" xref="A1.Ex14.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex14.m1.1b"><eq id="A1.Ex14.m1.1.1.cmml" xref="A1.Ex14.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex14.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex14.m2.1" class="ltx_Math" alttext="\displaystyle-P^{-1}dPP^{-1}+P^{-1}dPP^{-1}dPP^{-1}" display="inline"><semantics id="A1.Ex14.m2.1a"><mrow id="A1.Ex14.m2.1.1" xref="A1.Ex14.m2.1.1.cmml"><mrow id="A1.Ex14.m2.1.1.2" xref="A1.Ex14.m2.1.1.2.cmml"><mo id="A1.Ex14.m2.1.1.2a" xref="A1.Ex14.m2.1.1.2.cmml">−</mo><mrow id="A1.Ex14.m2.1.1.2.2" xref="A1.Ex14.m2.1.1.2.2.cmml"><msup id="A1.Ex14.m2.1.1.2.2.2" xref="A1.Ex14.m2.1.1.2.2.2.cmml"><mi id="A1.Ex14.m2.1.1.2.2.2.2" xref="A1.Ex14.m2.1.1.2.2.2.2.cmml">P</mi><mrow id="A1.Ex14.m2.1.1.2.2.2.3" xref="A1.Ex14.m2.1.1.2.2.2.3.cmml"><mo id="A1.Ex14.m2.1.1.2.2.2.3a" xref="A1.Ex14.m2.1.1.2.2.2.3.cmml">−</mo><mn id="A1.Ex14.m2.1.1.2.2.2.3.2" xref="A1.Ex14.m2.1.1.2.2.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.2.2.1" xref="A1.Ex14.m2.1.1.2.2.1.cmml">​</mo><mi id="A1.Ex14.m2.1.1.2.2.3" xref="A1.Ex14.m2.1.1.2.2.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.2.2.1a" xref="A1.Ex14.m2.1.1.2.2.1.cmml">​</mo><mi id="A1.Ex14.m2.1.1.2.2.4" xref="A1.Ex14.m2.1.1.2.2.4.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.2.2.1b" xref="A1.Ex14.m2.1.1.2.2.1.cmml">​</mo><msup id="A1.Ex14.m2.1.1.2.2.5" xref="A1.Ex14.m2.1.1.2.2.5.cmml"><mi id="A1.Ex14.m2.1.1.2.2.5.2" xref="A1.Ex14.m2.1.1.2.2.5.2.cmml">P</mi><mrow id="A1.Ex14.m2.1.1.2.2.5.3" xref="A1.Ex14.m2.1.1.2.2.5.3.cmml"><mo id="A1.Ex14.m2.1.1.2.2.5.3a" xref="A1.Ex14.m2.1.1.2.2.5.3.cmml">−</mo><mn id="A1.Ex14.m2.1.1.2.2.5.3.2" xref="A1.Ex14.m2.1.1.2.2.5.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo id="A1.Ex14.m2.1.1.1" xref="A1.Ex14.m2.1.1.1.cmml">+</mo><mrow id="A1.Ex14.m2.1.1.3" xref="A1.Ex14.m2.1.1.3.cmml"><msup id="A1.Ex14.m2.1.1.3.2" xref="A1.Ex14.m2.1.1.3.2.cmml"><mi id="A1.Ex14.m2.1.1.3.2.2" xref="A1.Ex14.m2.1.1.3.2.2.cmml">P</mi><mrow id="A1.Ex14.m2.1.1.3.2.3" xref="A1.Ex14.m2.1.1.3.2.3.cmml"><mo id="A1.Ex14.m2.1.1.3.2.3a" xref="A1.Ex14.m2.1.1.3.2.3.cmml">−</mo><mn id="A1.Ex14.m2.1.1.3.2.3.2" xref="A1.Ex14.m2.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.3.1" xref="A1.Ex14.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex14.m2.1.1.3.3" xref="A1.Ex14.m2.1.1.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.3.1a" xref="A1.Ex14.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex14.m2.1.1.3.4" xref="A1.Ex14.m2.1.1.3.4.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.3.1b" xref="A1.Ex14.m2.1.1.3.1.cmml">​</mo><msup id="A1.Ex14.m2.1.1.3.5" xref="A1.Ex14.m2.1.1.3.5.cmml"><mi id="A1.Ex14.m2.1.1.3.5.2" xref="A1.Ex14.m2.1.1.3.5.2.cmml">P</mi><mrow id="A1.Ex14.m2.1.1.3.5.3" xref="A1.Ex14.m2.1.1.3.5.3.cmml"><mo id="A1.Ex14.m2.1.1.3.5.3a" xref="A1.Ex14.m2.1.1.3.5.3.cmml">−</mo><mn id="A1.Ex14.m2.1.1.3.5.3.2" xref="A1.Ex14.m2.1.1.3.5.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.3.1c" xref="A1.Ex14.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex14.m2.1.1.3.6" xref="A1.Ex14.m2.1.1.3.6.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.3.1d" xref="A1.Ex14.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex14.m2.1.1.3.7" xref="A1.Ex14.m2.1.1.3.7.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex14.m2.1.1.3.1e" xref="A1.Ex14.m2.1.1.3.1.cmml">​</mo><msup id="A1.Ex14.m2.1.1.3.8" xref="A1.Ex14.m2.1.1.3.8.cmml"><mi id="A1.Ex14.m2.1.1.3.8.2" xref="A1.Ex14.m2.1.1.3.8.2.cmml">P</mi><mrow id="A1.Ex14.m2.1.1.3.8.3" xref="A1.Ex14.m2.1.1.3.8.3.cmml"><mo id="A1.Ex14.m2.1.1.3.8.3a" xref="A1.Ex14.m2.1.1.3.8.3.cmml">−</mo><mn id="A1.Ex14.m2.1.1.3.8.3.2" xref="A1.Ex14.m2.1.1.3.8.3.2.cmml">1</mn></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex14.m2.1b"><apply id="A1.Ex14.m2.1.1.cmml" xref="A1.Ex14.m2.1.1"><plus id="A1.Ex14.m2.1.1.1.cmml" xref="A1.Ex14.m2.1.1.1"></plus><apply id="A1.Ex14.m2.1.1.2.cmml" xref="A1.Ex14.m2.1.1.2"><minus id="A1.Ex14.m2.1.1.2.1.cmml" xref="A1.Ex14.m2.1.1.2"></minus><apply id="A1.Ex14.m2.1.1.2.2.cmml" xref="A1.Ex14.m2.1.1.2.2"><times id="A1.Ex14.m2.1.1.2.2.1.cmml" xref="A1.Ex14.m2.1.1.2.2.1"></times><apply id="A1.Ex14.m2.1.1.2.2.2.cmml" xref="A1.Ex14.m2.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex14.m2.1.1.2.2.2.1.cmml" xref="A1.Ex14.m2.1.1.2.2.2">superscript</csymbol><ci id="A1.Ex14.m2.1.1.2.2.2.2.cmml" xref="A1.Ex14.m2.1.1.2.2.2.2">𝑃</ci><apply id="A1.Ex14.m2.1.1.2.2.2.3.cmml" xref="A1.Ex14.m2.1.1.2.2.2.3"><minus id="A1.Ex14.m2.1.1.2.2.2.3.1.cmml" xref="A1.Ex14.m2.1.1.2.2.2.3"></minus><cn type="integer" id="A1.Ex14.m2.1.1.2.2.2.3.2.cmml" xref="A1.Ex14.m2.1.1.2.2.2.3.2">1</cn></apply></apply><ci id="A1.Ex14.m2.1.1.2.2.3.cmml" xref="A1.Ex14.m2.1.1.2.2.3">𝑑</ci><ci id="A1.Ex14.m2.1.1.2.2.4.cmml" xref="A1.Ex14.m2.1.1.2.2.4">𝑃</ci><apply id="A1.Ex14.m2.1.1.2.2.5.cmml" xref="A1.Ex14.m2.1.1.2.2.5"><csymbol cd="ambiguous" id="A1.Ex14.m2.1.1.2.2.5.1.cmml" xref="A1.Ex14.m2.1.1.2.2.5">superscript</csymbol><ci id="A1.Ex14.m2.1.1.2.2.5.2.cmml" xref="A1.Ex14.m2.1.1.2.2.5.2">𝑃</ci><apply id="A1.Ex14.m2.1.1.2.2.5.3.cmml" xref="A1.Ex14.m2.1.1.2.2.5.3"><minus id="A1.Ex14.m2.1.1.2.2.5.3.1.cmml" xref="A1.Ex14.m2.1.1.2.2.5.3"></minus><cn type="integer" id="A1.Ex14.m2.1.1.2.2.5.3.2.cmml" xref="A1.Ex14.m2.1.1.2.2.5.3.2">1</cn></apply></apply></apply></apply><apply id="A1.Ex14.m2.1.1.3.cmml" xref="A1.Ex14.m2.1.1.3"><times id="A1.Ex14.m2.1.1.3.1.cmml" xref="A1.Ex14.m2.1.1.3.1"></times><apply id="A1.Ex14.m2.1.1.3.2.cmml" xref="A1.Ex14.m2.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex14.m2.1.1.3.2.1.cmml" xref="A1.Ex14.m2.1.1.3.2">superscript</csymbol><ci id="A1.Ex14.m2.1.1.3.2.2.cmml" xref="A1.Ex14.m2.1.1.3.2.2">𝑃</ci><apply id="A1.Ex14.m2.1.1.3.2.3.cmml" xref="A1.Ex14.m2.1.1.3.2.3"><minus id="A1.Ex14.m2.1.1.3.2.3.1.cmml" xref="A1.Ex14.m2.1.1.3.2.3"></minus><cn type="integer" id="A1.Ex14.m2.1.1.3.2.3.2.cmml" xref="A1.Ex14.m2.1.1.3.2.3.2">1</cn></apply></apply><ci id="A1.Ex14.m2.1.1.3.3.cmml" xref="A1.Ex14.m2.1.1.3.3">𝑑</ci><ci id="A1.Ex14.m2.1.1.3.4.cmml" xref="A1.Ex14.m2.1.1.3.4">𝑃</ci><apply id="A1.Ex14.m2.1.1.3.5.cmml" xref="A1.Ex14.m2.1.1.3.5"><csymbol cd="ambiguous" id="A1.Ex14.m2.1.1.3.5.1.cmml" xref="A1.Ex14.m2.1.1.3.5">superscript</csymbol><ci id="A1.Ex14.m2.1.1.3.5.2.cmml" xref="A1.Ex14.m2.1.1.3.5.2">𝑃</ci><apply id="A1.Ex14.m2.1.1.3.5.3.cmml" xref="A1.Ex14.m2.1.1.3.5.3"><minus id="A1.Ex14.m2.1.1.3.5.3.1.cmml" xref="A1.Ex14.m2.1.1.3.5.3"></minus><cn type="integer" id="A1.Ex14.m2.1.1.3.5.3.2.cmml" xref="A1.Ex14.m2.1.1.3.5.3.2">1</cn></apply></apply><ci id="A1.Ex14.m2.1.1.3.6.cmml" xref="A1.Ex14.m2.1.1.3.6">𝑑</ci><ci id="A1.Ex14.m2.1.1.3.7.cmml" xref="A1.Ex14.m2.1.1.3.7">𝑃</ci><apply id="A1.Ex14.m2.1.1.3.8.cmml" xref="A1.Ex14.m2.1.1.3.8"><csymbol cd="ambiguous" id="A1.Ex14.m2.1.1.3.8.1.cmml" xref="A1.Ex14.m2.1.1.3.8">superscript</csymbol><ci id="A1.Ex14.m2.1.1.3.8.2.cmml" xref="A1.Ex14.m2.1.1.3.8.2">𝑃</ci><apply id="A1.Ex14.m2.1.1.3.8.3.cmml" xref="A1.Ex14.m2.1.1.3.8.3"><minus id="A1.Ex14.m2.1.1.3.8.3.1.cmml" xref="A1.Ex14.m2.1.1.3.8.3"></minus><cn type="integer" id="A1.Ex14.m2.1.1.3.8.3.2.cmml" xref="A1.Ex14.m2.1.1.3.8.3.2">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex14.m2.1c">\displaystyle-P^{-1}dPP^{-1}+P^{-1}dPP^{-1}dPP^{-1}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex15"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex15.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex15.m1.1a"><mo id="A1.Ex15.m1.1.1" xref="A1.Ex15.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex15.m1.1b"><eq id="A1.Ex15.m1.1.1.cmml" xref="A1.Ex15.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex15.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex15.m2.1" class="ltx_Math" alttext="\displaystyle\left(-Q^{-1}dQP^{-1}-P^{-1}dQ^{T}Q^{-T}-P^{-1}dQ^{T}dQP^{-1}\right)" display="inline"><semantics id="A1.Ex15.m2.1a"><mrow id="A1.Ex15.m2.1.1.1" xref="A1.Ex15.m2.1.1.1.1.cmml"><mo id="A1.Ex15.m2.1.1.1.2" xref="A1.Ex15.m2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex15.m2.1.1.1.1" xref="A1.Ex15.m2.1.1.1.1.cmml"><mrow id="A1.Ex15.m2.1.1.1.1.2" xref="A1.Ex15.m2.1.1.1.1.2.cmml"><mo id="A1.Ex15.m2.1.1.1.1.2a" xref="A1.Ex15.m2.1.1.1.1.2.cmml">−</mo><mrow id="A1.Ex15.m2.1.1.1.1.2.2" xref="A1.Ex15.m2.1.1.1.1.2.2.cmml"><msup id="A1.Ex15.m2.1.1.1.1.2.2.2" xref="A1.Ex15.m2.1.1.1.1.2.2.2.cmml"><mi id="A1.Ex15.m2.1.1.1.1.2.2.2.2" xref="A1.Ex15.m2.1.1.1.1.2.2.2.2.cmml">Q</mi><mrow id="A1.Ex15.m2.1.1.1.1.2.2.2.3" xref="A1.Ex15.m2.1.1.1.1.2.2.2.3.cmml"><mo id="A1.Ex15.m2.1.1.1.1.2.2.2.3a" xref="A1.Ex15.m2.1.1.1.1.2.2.2.3.cmml">−</mo><mn id="A1.Ex15.m2.1.1.1.1.2.2.2.3.2" xref="A1.Ex15.m2.1.1.1.1.2.2.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.2.2.1" xref="A1.Ex15.m2.1.1.1.1.2.2.1.cmml">​</mo><mi id="A1.Ex15.m2.1.1.1.1.2.2.3" xref="A1.Ex15.m2.1.1.1.1.2.2.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.2.2.1a" xref="A1.Ex15.m2.1.1.1.1.2.2.1.cmml">​</mo><mi id="A1.Ex15.m2.1.1.1.1.2.2.4" xref="A1.Ex15.m2.1.1.1.1.2.2.4.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.2.2.1b" xref="A1.Ex15.m2.1.1.1.1.2.2.1.cmml">​</mo><msup id="A1.Ex15.m2.1.1.1.1.2.2.5" xref="A1.Ex15.m2.1.1.1.1.2.2.5.cmml"><mi id="A1.Ex15.m2.1.1.1.1.2.2.5.2" xref="A1.Ex15.m2.1.1.1.1.2.2.5.2.cmml">P</mi><mrow id="A1.Ex15.m2.1.1.1.1.2.2.5.3" xref="A1.Ex15.m2.1.1.1.1.2.2.5.3.cmml"><mo id="A1.Ex15.m2.1.1.1.1.2.2.5.3a" xref="A1.Ex15.m2.1.1.1.1.2.2.5.3.cmml">−</mo><mn id="A1.Ex15.m2.1.1.1.1.2.2.5.3.2" xref="A1.Ex15.m2.1.1.1.1.2.2.5.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo id="A1.Ex15.m2.1.1.1.1.1" xref="A1.Ex15.m2.1.1.1.1.1.cmml">−</mo><mrow id="A1.Ex15.m2.1.1.1.1.3" xref="A1.Ex15.m2.1.1.1.1.3.cmml"><msup id="A1.Ex15.m2.1.1.1.1.3.2" xref="A1.Ex15.m2.1.1.1.1.3.2.cmml"><mi id="A1.Ex15.m2.1.1.1.1.3.2.2" xref="A1.Ex15.m2.1.1.1.1.3.2.2.cmml">P</mi><mrow id="A1.Ex15.m2.1.1.1.1.3.2.3" xref="A1.Ex15.m2.1.1.1.1.3.2.3.cmml"><mo id="A1.Ex15.m2.1.1.1.1.3.2.3a" xref="A1.Ex15.m2.1.1.1.1.3.2.3.cmml">−</mo><mn id="A1.Ex15.m2.1.1.1.1.3.2.3.2" xref="A1.Ex15.m2.1.1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.3.1" xref="A1.Ex15.m2.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex15.m2.1.1.1.1.3.3" xref="A1.Ex15.m2.1.1.1.1.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.3.1a" xref="A1.Ex15.m2.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex15.m2.1.1.1.1.3.4" xref="A1.Ex15.m2.1.1.1.1.3.4.cmml"><mi id="A1.Ex15.m2.1.1.1.1.3.4.2" xref="A1.Ex15.m2.1.1.1.1.3.4.2.cmml">Q</mi><mi id="A1.Ex15.m2.1.1.1.1.3.4.3" xref="A1.Ex15.m2.1.1.1.1.3.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.3.1b" xref="A1.Ex15.m2.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex15.m2.1.1.1.1.3.5" xref="A1.Ex15.m2.1.1.1.1.3.5.cmml"><mi id="A1.Ex15.m2.1.1.1.1.3.5.2" xref="A1.Ex15.m2.1.1.1.1.3.5.2.cmml">Q</mi><mrow id="A1.Ex15.m2.1.1.1.1.3.5.3" xref="A1.Ex15.m2.1.1.1.1.3.5.3.cmml"><mo id="A1.Ex15.m2.1.1.1.1.3.5.3a" xref="A1.Ex15.m2.1.1.1.1.3.5.3.cmml">−</mo><mi id="A1.Ex15.m2.1.1.1.1.3.5.3.2" xref="A1.Ex15.m2.1.1.1.1.3.5.3.2.cmml">T</mi></mrow></msup></mrow><mo id="A1.Ex15.m2.1.1.1.1.1a" xref="A1.Ex15.m2.1.1.1.1.1.cmml">−</mo><mrow id="A1.Ex15.m2.1.1.1.1.4" xref="A1.Ex15.m2.1.1.1.1.4.cmml"><msup id="A1.Ex15.m2.1.1.1.1.4.2" xref="A1.Ex15.m2.1.1.1.1.4.2.cmml"><mi id="A1.Ex15.m2.1.1.1.1.4.2.2" xref="A1.Ex15.m2.1.1.1.1.4.2.2.cmml">P</mi><mrow id="A1.Ex15.m2.1.1.1.1.4.2.3" xref="A1.Ex15.m2.1.1.1.1.4.2.3.cmml"><mo id="A1.Ex15.m2.1.1.1.1.4.2.3a" xref="A1.Ex15.m2.1.1.1.1.4.2.3.cmml">−</mo><mn id="A1.Ex15.m2.1.1.1.1.4.2.3.2" xref="A1.Ex15.m2.1.1.1.1.4.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.4.1" xref="A1.Ex15.m2.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex15.m2.1.1.1.1.4.3" xref="A1.Ex15.m2.1.1.1.1.4.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.4.1a" xref="A1.Ex15.m2.1.1.1.1.4.1.cmml">​</mo><msup id="A1.Ex15.m2.1.1.1.1.4.4" xref="A1.Ex15.m2.1.1.1.1.4.4.cmml"><mi id="A1.Ex15.m2.1.1.1.1.4.4.2" xref="A1.Ex15.m2.1.1.1.1.4.4.2.cmml">Q</mi><mi id="A1.Ex15.m2.1.1.1.1.4.4.3" xref="A1.Ex15.m2.1.1.1.1.4.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.4.1b" xref="A1.Ex15.m2.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex15.m2.1.1.1.1.4.5" xref="A1.Ex15.m2.1.1.1.1.4.5.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.4.1c" xref="A1.Ex15.m2.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex15.m2.1.1.1.1.4.6" xref="A1.Ex15.m2.1.1.1.1.4.6.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex15.m2.1.1.1.1.4.1d" xref="A1.Ex15.m2.1.1.1.1.4.1.cmml">​</mo><msup id="A1.Ex15.m2.1.1.1.1.4.7" xref="A1.Ex15.m2.1.1.1.1.4.7.cmml"><mi id="A1.Ex15.m2.1.1.1.1.4.7.2" xref="A1.Ex15.m2.1.1.1.1.4.7.2.cmml">P</mi><mrow id="A1.Ex15.m2.1.1.1.1.4.7.3" xref="A1.Ex15.m2.1.1.1.1.4.7.3.cmml"><mo id="A1.Ex15.m2.1.1.1.1.4.7.3a" xref="A1.Ex15.m2.1.1.1.1.4.7.3.cmml">−</mo><mn id="A1.Ex15.m2.1.1.1.1.4.7.3.2" xref="A1.Ex15.m2.1.1.1.1.4.7.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo id="A1.Ex15.m2.1.1.1.3" xref="A1.Ex15.m2.1.1.1.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex15.m2.1b"><apply id="A1.Ex15.m2.1.1.1.1.cmml" xref="A1.Ex15.m2.1.1.1"><minus id="A1.Ex15.m2.1.1.1.1.1.cmml" xref="A1.Ex15.m2.1.1.1.1.1"></minus><apply id="A1.Ex15.m2.1.1.1.1.2.cmml" xref="A1.Ex15.m2.1.1.1.1.2"><minus id="A1.Ex15.m2.1.1.1.1.2.1.cmml" xref="A1.Ex15.m2.1.1.1.1.2"></minus><apply id="A1.Ex15.m2.1.1.1.1.2.2.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2"><times id="A1.Ex15.m2.1.1.1.1.2.2.1.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.1"></times><apply id="A1.Ex15.m2.1.1.1.1.2.2.2.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.2.2.2.1.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.2">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.2.2.2.2.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.2.2">𝑄</ci><apply id="A1.Ex15.m2.1.1.1.1.2.2.2.3.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.2.3"><minus id="A1.Ex15.m2.1.1.1.1.2.2.2.3.1.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.2.3"></minus><cn type="integer" id="A1.Ex15.m2.1.1.1.1.2.2.2.3.2.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.2.3.2">1</cn></apply></apply><ci id="A1.Ex15.m2.1.1.1.1.2.2.3.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.3">𝑑</ci><ci id="A1.Ex15.m2.1.1.1.1.2.2.4.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.4">𝑄</ci><apply id="A1.Ex15.m2.1.1.1.1.2.2.5.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.5"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.2.2.5.1.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.5">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.2.2.5.2.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.5.2">𝑃</ci><apply id="A1.Ex15.m2.1.1.1.1.2.2.5.3.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.5.3"><minus id="A1.Ex15.m2.1.1.1.1.2.2.5.3.1.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.5.3"></minus><cn type="integer" id="A1.Ex15.m2.1.1.1.1.2.2.5.3.2.cmml" xref="A1.Ex15.m2.1.1.1.1.2.2.5.3.2">1</cn></apply></apply></apply></apply><apply id="A1.Ex15.m2.1.1.1.1.3.cmml" xref="A1.Ex15.m2.1.1.1.1.3"><times id="A1.Ex15.m2.1.1.1.1.3.1.cmml" xref="A1.Ex15.m2.1.1.1.1.3.1"></times><apply id="A1.Ex15.m2.1.1.1.1.3.2.cmml" xref="A1.Ex15.m2.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.3.2.1.cmml" xref="A1.Ex15.m2.1.1.1.1.3.2">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.3.2.2.cmml" xref="A1.Ex15.m2.1.1.1.1.3.2.2">𝑃</ci><apply id="A1.Ex15.m2.1.1.1.1.3.2.3.cmml" xref="A1.Ex15.m2.1.1.1.1.3.2.3"><minus id="A1.Ex15.m2.1.1.1.1.3.2.3.1.cmml" xref="A1.Ex15.m2.1.1.1.1.3.2.3"></minus><cn type="integer" id="A1.Ex15.m2.1.1.1.1.3.2.3.2.cmml" xref="A1.Ex15.m2.1.1.1.1.3.2.3.2">1</cn></apply></apply><ci id="A1.Ex15.m2.1.1.1.1.3.3.cmml" xref="A1.Ex15.m2.1.1.1.1.3.3">𝑑</ci><apply id="A1.Ex15.m2.1.1.1.1.3.4.cmml" xref="A1.Ex15.m2.1.1.1.1.3.4"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.3.4.1.cmml" xref="A1.Ex15.m2.1.1.1.1.3.4">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.3.4.2.cmml" xref="A1.Ex15.m2.1.1.1.1.3.4.2">𝑄</ci><ci id="A1.Ex15.m2.1.1.1.1.3.4.3.cmml" xref="A1.Ex15.m2.1.1.1.1.3.4.3">𝑇</ci></apply><apply id="A1.Ex15.m2.1.1.1.1.3.5.cmml" xref="A1.Ex15.m2.1.1.1.1.3.5"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.3.5.1.cmml" xref="A1.Ex15.m2.1.1.1.1.3.5">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.3.5.2.cmml" xref="A1.Ex15.m2.1.1.1.1.3.5.2">𝑄</ci><apply id="A1.Ex15.m2.1.1.1.1.3.5.3.cmml" xref="A1.Ex15.m2.1.1.1.1.3.5.3"><minus id="A1.Ex15.m2.1.1.1.1.3.5.3.1.cmml" xref="A1.Ex15.m2.1.1.1.1.3.5.3"></minus><ci id="A1.Ex15.m2.1.1.1.1.3.5.3.2.cmml" xref="A1.Ex15.m2.1.1.1.1.3.5.3.2">𝑇</ci></apply></apply></apply><apply id="A1.Ex15.m2.1.1.1.1.4.cmml" xref="A1.Ex15.m2.1.1.1.1.4"><times id="A1.Ex15.m2.1.1.1.1.4.1.cmml" xref="A1.Ex15.m2.1.1.1.1.4.1"></times><apply id="A1.Ex15.m2.1.1.1.1.4.2.cmml" xref="A1.Ex15.m2.1.1.1.1.4.2"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.4.2.1.cmml" xref="A1.Ex15.m2.1.1.1.1.4.2">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.4.2.2.cmml" xref="A1.Ex15.m2.1.1.1.1.4.2.2">𝑃</ci><apply id="A1.Ex15.m2.1.1.1.1.4.2.3.cmml" xref="A1.Ex15.m2.1.1.1.1.4.2.3"><minus id="A1.Ex15.m2.1.1.1.1.4.2.3.1.cmml" xref="A1.Ex15.m2.1.1.1.1.4.2.3"></minus><cn type="integer" id="A1.Ex15.m2.1.1.1.1.4.2.3.2.cmml" xref="A1.Ex15.m2.1.1.1.1.4.2.3.2">1</cn></apply></apply><ci id="A1.Ex15.m2.1.1.1.1.4.3.cmml" xref="A1.Ex15.m2.1.1.1.1.4.3">𝑑</ci><apply id="A1.Ex15.m2.1.1.1.1.4.4.cmml" xref="A1.Ex15.m2.1.1.1.1.4.4"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.4.4.1.cmml" xref="A1.Ex15.m2.1.1.1.1.4.4">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.4.4.2.cmml" xref="A1.Ex15.m2.1.1.1.1.4.4.2">𝑄</ci><ci id="A1.Ex15.m2.1.1.1.1.4.4.3.cmml" xref="A1.Ex15.m2.1.1.1.1.4.4.3">𝑇</ci></apply><ci id="A1.Ex15.m2.1.1.1.1.4.5.cmml" xref="A1.Ex15.m2.1.1.1.1.4.5">𝑑</ci><ci id="A1.Ex15.m2.1.1.1.1.4.6.cmml" xref="A1.Ex15.m2.1.1.1.1.4.6">𝑄</ci><apply id="A1.Ex15.m2.1.1.1.1.4.7.cmml" xref="A1.Ex15.m2.1.1.1.1.4.7"><csymbol cd="ambiguous" id="A1.Ex15.m2.1.1.1.1.4.7.1.cmml" xref="A1.Ex15.m2.1.1.1.1.4.7">superscript</csymbol><ci id="A1.Ex15.m2.1.1.1.1.4.7.2.cmml" xref="A1.Ex15.m2.1.1.1.1.4.7.2">𝑃</ci><apply id="A1.Ex15.m2.1.1.1.1.4.7.3.cmml" xref="A1.Ex15.m2.1.1.1.1.4.7.3"><minus id="A1.Ex15.m2.1.1.1.1.4.7.3.1.cmml" xref="A1.Ex15.m2.1.1.1.1.4.7.3"></minus><cn type="integer" id="A1.Ex15.m2.1.1.1.1.4.7.3.2.cmml" xref="A1.Ex15.m2.1.1.1.1.4.7.3.2">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex15.m2.1c">\displaystyle\left(-Q^{-1}dQP^{-1}-P^{-1}dQ^{T}Q^{-T}-P^{-1}dQ^{T}dQP^{-1}\right)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex16"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex16.m1.1" class="ltx_math_unparsed" alttext="\displaystyle+\left(\right.Q^{-1}dQQ^{-1}dQP^{-1}+Q^{-1}dQP^{-1}dQ^{T}Q^{-T}" display="inline"><semantics id="A1.Ex16.m1.1a"><mrow id="A1.Ex16.m1.1b"><mo id="A1.Ex16.m1.1.1">+</mo><mrow id="A1.Ex16.m1.1.2"><mo id="A1.Ex16.m1.1.2.1">(</mo><msup id="A1.Ex16.m1.1.2.2"><mi id="A1.Ex16.m1.1.2.2.2">Q</mi><mrow id="A1.Ex16.m1.1.2.2.3"><mo id="A1.Ex16.m1.1.2.2.3a">−</mo><mn id="A1.Ex16.m1.1.2.2.3.2">1</mn></mrow></msup><mi id="A1.Ex16.m1.1.2.3">d</mi><mi id="A1.Ex16.m1.1.2.4">Q</mi><msup id="A1.Ex16.m1.1.2.5"><mi id="A1.Ex16.m1.1.2.5.2">Q</mi><mrow id="A1.Ex16.m1.1.2.5.3"><mo id="A1.Ex16.m1.1.2.5.3a">−</mo><mn id="A1.Ex16.m1.1.2.5.3.2">1</mn></mrow></msup><mi id="A1.Ex16.m1.1.2.6">d</mi><mi id="A1.Ex16.m1.1.2.7">Q</mi><msup id="A1.Ex16.m1.1.2.8"><mi id="A1.Ex16.m1.1.2.8.2">P</mi><mrow id="A1.Ex16.m1.1.2.8.3"><mo id="A1.Ex16.m1.1.2.8.3a">−</mo><mn id="A1.Ex16.m1.1.2.8.3.2">1</mn></mrow></msup><mo id="A1.Ex16.m1.1.2.9">+</mo><msup id="A1.Ex16.m1.1.2.10"><mi id="A1.Ex16.m1.1.2.10.2">Q</mi><mrow id="A1.Ex16.m1.1.2.10.3"><mo id="A1.Ex16.m1.1.2.10.3a">−</mo><mn id="A1.Ex16.m1.1.2.10.3.2">1</mn></mrow></msup><mi id="A1.Ex16.m1.1.2.11">d</mi><mi id="A1.Ex16.m1.1.2.12">Q</mi><msup id="A1.Ex16.m1.1.2.13"><mi id="A1.Ex16.m1.1.2.13.2">P</mi><mrow id="A1.Ex16.m1.1.2.13.3"><mo id="A1.Ex16.m1.1.2.13.3a">−</mo><mn id="A1.Ex16.m1.1.2.13.3.2">1</mn></mrow></msup><mi id="A1.Ex16.m1.1.2.14">d</mi><msup id="A1.Ex16.m1.1.2.15"><mi id="A1.Ex16.m1.1.2.15.2">Q</mi><mi id="A1.Ex16.m1.1.2.15.3">T</mi></msup><msup id="A1.Ex16.m1.1.2.16"><mi id="A1.Ex16.m1.1.2.16.2">Q</mi><mrow id="A1.Ex16.m1.1.2.16.3"><mo id="A1.Ex16.m1.1.2.16.3a">−</mo><mi id="A1.Ex16.m1.1.2.16.3.2">T</mi></mrow></msup></mrow></mrow><annotation encoding="application/x-tex" id="A1.Ex16.m1.1c">\displaystyle+\left(\right.Q^{-1}dQQ^{-1}dQP^{-1}+Q^{-1}dQP^{-1}dQ^{T}Q^{-T}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex17"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex17.m1.1" class="ltx_math_unparsed" alttext="\displaystyle+P^{-1}dQ^{T}dQP^{-1}+P^{-1}dQ^{T}Q^{-T}dQ^{T}Q^{-T}\left.\right)" display="inline"><semantics id="A1.Ex17.m1.1a"><mrow id="A1.Ex17.m1.1b"><mo id="A1.Ex17.m1.1.1">+</mo><msup id="A1.Ex17.m1.1.2"><mi id="A1.Ex17.m1.1.2.2">P</mi><mrow id="A1.Ex17.m1.1.2.3"><mo id="A1.Ex17.m1.1.2.3a">−</mo><mn id="A1.Ex17.m1.1.2.3.2">1</mn></mrow></msup><mi id="A1.Ex17.m1.1.3">d</mi><msup id="A1.Ex17.m1.1.4"><mi id="A1.Ex17.m1.1.4.2">Q</mi><mi id="A1.Ex17.m1.1.4.3">T</mi></msup><mi id="A1.Ex17.m1.1.5">d</mi><mi id="A1.Ex17.m1.1.6">Q</mi><msup id="A1.Ex17.m1.1.7"><mi id="A1.Ex17.m1.1.7.2">P</mi><mrow id="A1.Ex17.m1.1.7.3"><mo id="A1.Ex17.m1.1.7.3a">−</mo><mn id="A1.Ex17.m1.1.7.3.2">1</mn></mrow></msup><mo id="A1.Ex17.m1.1.8">+</mo><msup id="A1.Ex17.m1.1.9"><mi id="A1.Ex17.m1.1.9.2">P</mi><mrow id="A1.Ex17.m1.1.9.3"><mo id="A1.Ex17.m1.1.9.3a">−</mo><mn id="A1.Ex17.m1.1.9.3.2">1</mn></mrow></msup><mi id="A1.Ex17.m1.1.10">d</mi><msup id="A1.Ex17.m1.1.11"><mi id="A1.Ex17.m1.1.11.2">Q</mi><mi id="A1.Ex17.m1.1.11.3">T</mi></msup><msup id="A1.Ex17.m1.1.12"><mi id="A1.Ex17.m1.1.12.2">Q</mi><mrow id="A1.Ex17.m1.1.12.3"><mo id="A1.Ex17.m1.1.12.3a">−</mo><mi id="A1.Ex17.m1.1.12.3.2">T</mi></mrow></msup><mi id="A1.Ex17.m1.1.13">d</mi><msup id="A1.Ex17.m1.1.14"><mi id="A1.Ex17.m1.1.14.2">Q</mi><mi id="A1.Ex17.m1.1.14.3">T</mi></msup><msup id="A1.Ex17.m1.1.15"><mi id="A1.Ex17.m1.1.15.2">Q</mi><mrow id="A1.Ex17.m1.1.15.3"><mo id="A1.Ex17.m1.1.15.3a">−</mo><mi id="A1.Ex17.m1.1.15.3.2">T</mi></mrow></msup><mo id="A1.Ex17.m1.1.16">)</mo></mrow><annotation encoding="application/x-tex" id="A1.Ex17.m1.1c">\displaystyle+P^{-1}dQ^{T}dQP^{-1}+P^{-1}dQ^{T}Q^{-T}dQ^{T}Q^{-T}\left.\right)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex18"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex18.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex18.m1.1a"><mo id="A1.Ex18.m1.1.1" xref="A1.Ex18.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex18.m1.1b"><eq id="A1.Ex18.m1.1.1.cmml" xref="A1.Ex18.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex18.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex18.m2.1" class="ltx_Math" alttext="\displaystyle-Q^{-1}dQP^{-1}-P^{-1}dQ^{T}Q^{-T}+Q^{-1}dQQ^{-1}dQP^{-1}" display="inline"><semantics id="A1.Ex18.m2.1a"><mrow id="A1.Ex18.m2.1.1" xref="A1.Ex18.m2.1.1.cmml"><mrow id="A1.Ex18.m2.1.1.2" xref="A1.Ex18.m2.1.1.2.cmml"><mrow id="A1.Ex18.m2.1.1.2.2" xref="A1.Ex18.m2.1.1.2.2.cmml"><mo id="A1.Ex18.m2.1.1.2.2a" xref="A1.Ex18.m2.1.1.2.2.cmml">−</mo><mrow id="A1.Ex18.m2.1.1.2.2.2" xref="A1.Ex18.m2.1.1.2.2.2.cmml"><msup id="A1.Ex18.m2.1.1.2.2.2.2" xref="A1.Ex18.m2.1.1.2.2.2.2.cmml"><mi id="A1.Ex18.m2.1.1.2.2.2.2.2" xref="A1.Ex18.m2.1.1.2.2.2.2.2.cmml">Q</mi><mrow id="A1.Ex18.m2.1.1.2.2.2.2.3" xref="A1.Ex18.m2.1.1.2.2.2.2.3.cmml"><mo id="A1.Ex18.m2.1.1.2.2.2.2.3a" xref="A1.Ex18.m2.1.1.2.2.2.2.3.cmml">−</mo><mn id="A1.Ex18.m2.1.1.2.2.2.2.3.2" xref="A1.Ex18.m2.1.1.2.2.2.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.2.2.2.1" xref="A1.Ex18.m2.1.1.2.2.2.1.cmml">​</mo><mi id="A1.Ex18.m2.1.1.2.2.2.3" xref="A1.Ex18.m2.1.1.2.2.2.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.2.2.2.1a" xref="A1.Ex18.m2.1.1.2.2.2.1.cmml">​</mo><mi id="A1.Ex18.m2.1.1.2.2.2.4" xref="A1.Ex18.m2.1.1.2.2.2.4.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.2.2.2.1b" xref="A1.Ex18.m2.1.1.2.2.2.1.cmml">​</mo><msup id="A1.Ex18.m2.1.1.2.2.2.5" xref="A1.Ex18.m2.1.1.2.2.2.5.cmml"><mi id="A1.Ex18.m2.1.1.2.2.2.5.2" xref="A1.Ex18.m2.1.1.2.2.2.5.2.cmml">P</mi><mrow id="A1.Ex18.m2.1.1.2.2.2.5.3" xref="A1.Ex18.m2.1.1.2.2.2.5.3.cmml"><mo id="A1.Ex18.m2.1.1.2.2.2.5.3a" xref="A1.Ex18.m2.1.1.2.2.2.5.3.cmml">−</mo><mn id="A1.Ex18.m2.1.1.2.2.2.5.3.2" xref="A1.Ex18.m2.1.1.2.2.2.5.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo id="A1.Ex18.m2.1.1.2.1" xref="A1.Ex18.m2.1.1.2.1.cmml">−</mo><mrow id="A1.Ex18.m2.1.1.2.3" xref="A1.Ex18.m2.1.1.2.3.cmml"><msup id="A1.Ex18.m2.1.1.2.3.2" xref="A1.Ex18.m2.1.1.2.3.2.cmml"><mi id="A1.Ex18.m2.1.1.2.3.2.2" xref="A1.Ex18.m2.1.1.2.3.2.2.cmml">P</mi><mrow id="A1.Ex18.m2.1.1.2.3.2.3" xref="A1.Ex18.m2.1.1.2.3.2.3.cmml"><mo id="A1.Ex18.m2.1.1.2.3.2.3a" xref="A1.Ex18.m2.1.1.2.3.2.3.cmml">−</mo><mn id="A1.Ex18.m2.1.1.2.3.2.3.2" xref="A1.Ex18.m2.1.1.2.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.2.3.1" xref="A1.Ex18.m2.1.1.2.3.1.cmml">​</mo><mi id="A1.Ex18.m2.1.1.2.3.3" xref="A1.Ex18.m2.1.1.2.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.2.3.1a" xref="A1.Ex18.m2.1.1.2.3.1.cmml">​</mo><msup id="A1.Ex18.m2.1.1.2.3.4" xref="A1.Ex18.m2.1.1.2.3.4.cmml"><mi id="A1.Ex18.m2.1.1.2.3.4.2" xref="A1.Ex18.m2.1.1.2.3.4.2.cmml">Q</mi><mi id="A1.Ex18.m2.1.1.2.3.4.3" xref="A1.Ex18.m2.1.1.2.3.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.2.3.1b" xref="A1.Ex18.m2.1.1.2.3.1.cmml">​</mo><msup id="A1.Ex18.m2.1.1.2.3.5" xref="A1.Ex18.m2.1.1.2.3.5.cmml"><mi id="A1.Ex18.m2.1.1.2.3.5.2" xref="A1.Ex18.m2.1.1.2.3.5.2.cmml">Q</mi><mrow id="A1.Ex18.m2.1.1.2.3.5.3" xref="A1.Ex18.m2.1.1.2.3.5.3.cmml"><mo id="A1.Ex18.m2.1.1.2.3.5.3a" xref="A1.Ex18.m2.1.1.2.3.5.3.cmml">−</mo><mi id="A1.Ex18.m2.1.1.2.3.5.3.2" xref="A1.Ex18.m2.1.1.2.3.5.3.2.cmml">T</mi></mrow></msup></mrow></mrow><mo id="A1.Ex18.m2.1.1.1" xref="A1.Ex18.m2.1.1.1.cmml">+</mo><mrow id="A1.Ex18.m2.1.1.3" xref="A1.Ex18.m2.1.1.3.cmml"><msup id="A1.Ex18.m2.1.1.3.2" xref="A1.Ex18.m2.1.1.3.2.cmml"><mi id="A1.Ex18.m2.1.1.3.2.2" xref="A1.Ex18.m2.1.1.3.2.2.cmml">Q</mi><mrow id="A1.Ex18.m2.1.1.3.2.3" xref="A1.Ex18.m2.1.1.3.2.3.cmml"><mo id="A1.Ex18.m2.1.1.3.2.3a" xref="A1.Ex18.m2.1.1.3.2.3.cmml">−</mo><mn id="A1.Ex18.m2.1.1.3.2.3.2" xref="A1.Ex18.m2.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.3.1" xref="A1.Ex18.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex18.m2.1.1.3.3" xref="A1.Ex18.m2.1.1.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.3.1a" xref="A1.Ex18.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex18.m2.1.1.3.4" xref="A1.Ex18.m2.1.1.3.4.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.3.1b" xref="A1.Ex18.m2.1.1.3.1.cmml">​</mo><msup id="A1.Ex18.m2.1.1.3.5" xref="A1.Ex18.m2.1.1.3.5.cmml"><mi id="A1.Ex18.m2.1.1.3.5.2" xref="A1.Ex18.m2.1.1.3.5.2.cmml">Q</mi><mrow id="A1.Ex18.m2.1.1.3.5.3" xref="A1.Ex18.m2.1.1.3.5.3.cmml"><mo id="A1.Ex18.m2.1.1.3.5.3a" xref="A1.Ex18.m2.1.1.3.5.3.cmml">−</mo><mn id="A1.Ex18.m2.1.1.3.5.3.2" xref="A1.Ex18.m2.1.1.3.5.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.3.1c" xref="A1.Ex18.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex18.m2.1.1.3.6" xref="A1.Ex18.m2.1.1.3.6.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.3.1d" xref="A1.Ex18.m2.1.1.3.1.cmml">​</mo><mi id="A1.Ex18.m2.1.1.3.7" xref="A1.Ex18.m2.1.1.3.7.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex18.m2.1.1.3.1e" xref="A1.Ex18.m2.1.1.3.1.cmml">​</mo><msup id="A1.Ex18.m2.1.1.3.8" xref="A1.Ex18.m2.1.1.3.8.cmml"><mi id="A1.Ex18.m2.1.1.3.8.2" xref="A1.Ex18.m2.1.1.3.8.2.cmml">P</mi><mrow id="A1.Ex18.m2.1.1.3.8.3" xref="A1.Ex18.m2.1.1.3.8.3.cmml"><mo id="A1.Ex18.m2.1.1.3.8.3a" xref="A1.Ex18.m2.1.1.3.8.3.cmml">−</mo><mn id="A1.Ex18.m2.1.1.3.8.3.2" xref="A1.Ex18.m2.1.1.3.8.3.2.cmml">1</mn></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex18.m2.1b"><apply id="A1.Ex18.m2.1.1.cmml" xref="A1.Ex18.m2.1.1"><plus id="A1.Ex18.m2.1.1.1.cmml" xref="A1.Ex18.m2.1.1.1"></plus><apply id="A1.Ex18.m2.1.1.2.cmml" xref="A1.Ex18.m2.1.1.2"><minus id="A1.Ex18.m2.1.1.2.1.cmml" xref="A1.Ex18.m2.1.1.2.1"></minus><apply id="A1.Ex18.m2.1.1.2.2.cmml" xref="A1.Ex18.m2.1.1.2.2"><minus id="A1.Ex18.m2.1.1.2.2.1.cmml" xref="A1.Ex18.m2.1.1.2.2"></minus><apply id="A1.Ex18.m2.1.1.2.2.2.cmml" xref="A1.Ex18.m2.1.1.2.2.2"><times id="A1.Ex18.m2.1.1.2.2.2.1.cmml" xref="A1.Ex18.m2.1.1.2.2.2.1"></times><apply id="A1.Ex18.m2.1.1.2.2.2.2.cmml" xref="A1.Ex18.m2.1.1.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.2.2.2.2.1.cmml" xref="A1.Ex18.m2.1.1.2.2.2.2">superscript</csymbol><ci id="A1.Ex18.m2.1.1.2.2.2.2.2.cmml" xref="A1.Ex18.m2.1.1.2.2.2.2.2">𝑄</ci><apply id="A1.Ex18.m2.1.1.2.2.2.2.3.cmml" xref="A1.Ex18.m2.1.1.2.2.2.2.3"><minus id="A1.Ex18.m2.1.1.2.2.2.2.3.1.cmml" xref="A1.Ex18.m2.1.1.2.2.2.2.3"></minus><cn type="integer" id="A1.Ex18.m2.1.1.2.2.2.2.3.2.cmml" xref="A1.Ex18.m2.1.1.2.2.2.2.3.2">1</cn></apply></apply><ci id="A1.Ex18.m2.1.1.2.2.2.3.cmml" xref="A1.Ex18.m2.1.1.2.2.2.3">𝑑</ci><ci id="A1.Ex18.m2.1.1.2.2.2.4.cmml" xref="A1.Ex18.m2.1.1.2.2.2.4">𝑄</ci><apply id="A1.Ex18.m2.1.1.2.2.2.5.cmml" xref="A1.Ex18.m2.1.1.2.2.2.5"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.2.2.2.5.1.cmml" xref="A1.Ex18.m2.1.1.2.2.2.5">superscript</csymbol><ci id="A1.Ex18.m2.1.1.2.2.2.5.2.cmml" xref="A1.Ex18.m2.1.1.2.2.2.5.2">𝑃</ci><apply id="A1.Ex18.m2.1.1.2.2.2.5.3.cmml" xref="A1.Ex18.m2.1.1.2.2.2.5.3"><minus id="A1.Ex18.m2.1.1.2.2.2.5.3.1.cmml" xref="A1.Ex18.m2.1.1.2.2.2.5.3"></minus><cn type="integer" id="A1.Ex18.m2.1.1.2.2.2.5.3.2.cmml" xref="A1.Ex18.m2.1.1.2.2.2.5.3.2">1</cn></apply></apply></apply></apply><apply id="A1.Ex18.m2.1.1.2.3.cmml" xref="A1.Ex18.m2.1.1.2.3"><times id="A1.Ex18.m2.1.1.2.3.1.cmml" xref="A1.Ex18.m2.1.1.2.3.1"></times><apply id="A1.Ex18.m2.1.1.2.3.2.cmml" xref="A1.Ex18.m2.1.1.2.3.2"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.2.3.2.1.cmml" xref="A1.Ex18.m2.1.1.2.3.2">superscript</csymbol><ci id="A1.Ex18.m2.1.1.2.3.2.2.cmml" xref="A1.Ex18.m2.1.1.2.3.2.2">𝑃</ci><apply id="A1.Ex18.m2.1.1.2.3.2.3.cmml" xref="A1.Ex18.m2.1.1.2.3.2.3"><minus id="A1.Ex18.m2.1.1.2.3.2.3.1.cmml" xref="A1.Ex18.m2.1.1.2.3.2.3"></minus><cn type="integer" id="A1.Ex18.m2.1.1.2.3.2.3.2.cmml" xref="A1.Ex18.m2.1.1.2.3.2.3.2">1</cn></apply></apply><ci id="A1.Ex18.m2.1.1.2.3.3.cmml" xref="A1.Ex18.m2.1.1.2.3.3">𝑑</ci><apply id="A1.Ex18.m2.1.1.2.3.4.cmml" xref="A1.Ex18.m2.1.1.2.3.4"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.2.3.4.1.cmml" xref="A1.Ex18.m2.1.1.2.3.4">superscript</csymbol><ci id="A1.Ex18.m2.1.1.2.3.4.2.cmml" xref="A1.Ex18.m2.1.1.2.3.4.2">𝑄</ci><ci id="A1.Ex18.m2.1.1.2.3.4.3.cmml" xref="A1.Ex18.m2.1.1.2.3.4.3">𝑇</ci></apply><apply id="A1.Ex18.m2.1.1.2.3.5.cmml" xref="A1.Ex18.m2.1.1.2.3.5"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.2.3.5.1.cmml" xref="A1.Ex18.m2.1.1.2.3.5">superscript</csymbol><ci id="A1.Ex18.m2.1.1.2.3.5.2.cmml" xref="A1.Ex18.m2.1.1.2.3.5.2">𝑄</ci><apply id="A1.Ex18.m2.1.1.2.3.5.3.cmml" xref="A1.Ex18.m2.1.1.2.3.5.3"><minus id="A1.Ex18.m2.1.1.2.3.5.3.1.cmml" xref="A1.Ex18.m2.1.1.2.3.5.3"></minus><ci id="A1.Ex18.m2.1.1.2.3.5.3.2.cmml" xref="A1.Ex18.m2.1.1.2.3.5.3.2">𝑇</ci></apply></apply></apply></apply><apply id="A1.Ex18.m2.1.1.3.cmml" xref="A1.Ex18.m2.1.1.3"><times id="A1.Ex18.m2.1.1.3.1.cmml" xref="A1.Ex18.m2.1.1.3.1"></times><apply id="A1.Ex18.m2.1.1.3.2.cmml" xref="A1.Ex18.m2.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.3.2.1.cmml" xref="A1.Ex18.m2.1.1.3.2">superscript</csymbol><ci id="A1.Ex18.m2.1.1.3.2.2.cmml" xref="A1.Ex18.m2.1.1.3.2.2">𝑄</ci><apply id="A1.Ex18.m2.1.1.3.2.3.cmml" xref="A1.Ex18.m2.1.1.3.2.3"><minus id="A1.Ex18.m2.1.1.3.2.3.1.cmml" xref="A1.Ex18.m2.1.1.3.2.3"></minus><cn type="integer" id="A1.Ex18.m2.1.1.3.2.3.2.cmml" xref="A1.Ex18.m2.1.1.3.2.3.2">1</cn></apply></apply><ci id="A1.Ex18.m2.1.1.3.3.cmml" xref="A1.Ex18.m2.1.1.3.3">𝑑</ci><ci id="A1.Ex18.m2.1.1.3.4.cmml" xref="A1.Ex18.m2.1.1.3.4">𝑄</ci><apply id="A1.Ex18.m2.1.1.3.5.cmml" xref="A1.Ex18.m2.1.1.3.5"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.3.5.1.cmml" xref="A1.Ex18.m2.1.1.3.5">superscript</csymbol><ci id="A1.Ex18.m2.1.1.3.5.2.cmml" xref="A1.Ex18.m2.1.1.3.5.2">𝑄</ci><apply id="A1.Ex18.m2.1.1.3.5.3.cmml" xref="A1.Ex18.m2.1.1.3.5.3"><minus id="A1.Ex18.m2.1.1.3.5.3.1.cmml" xref="A1.Ex18.m2.1.1.3.5.3"></minus><cn type="integer" id="A1.Ex18.m2.1.1.3.5.3.2.cmml" xref="A1.Ex18.m2.1.1.3.5.3.2">1</cn></apply></apply><ci id="A1.Ex18.m2.1.1.3.6.cmml" xref="A1.Ex18.m2.1.1.3.6">𝑑</ci><ci id="A1.Ex18.m2.1.1.3.7.cmml" xref="A1.Ex18.m2.1.1.3.7">𝑄</ci><apply id="A1.Ex18.m2.1.1.3.8.cmml" xref="A1.Ex18.m2.1.1.3.8"><csymbol cd="ambiguous" id="A1.Ex18.m2.1.1.3.8.1.cmml" xref="A1.Ex18.m2.1.1.3.8">superscript</csymbol><ci id="A1.Ex18.m2.1.1.3.8.2.cmml" xref="A1.Ex18.m2.1.1.3.8.2">𝑃</ci><apply id="A1.Ex18.m2.1.1.3.8.3.cmml" xref="A1.Ex18.m2.1.1.3.8.3"><minus id="A1.Ex18.m2.1.1.3.8.3.1.cmml" xref="A1.Ex18.m2.1.1.3.8.3"></minus><cn type="integer" id="A1.Ex18.m2.1.1.3.8.3.2.cmml" xref="A1.Ex18.m2.1.1.3.8.3.2">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex18.m2.1c">\displaystyle-Q^{-1}dQP^{-1}-P^{-1}dQ^{T}Q^{-T}+Q^{-1}dQQ^{-1}dQP^{-1}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex19"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex19.m1.1" class="ltx_Math" alttext="\displaystyle+Q^{-1}dQP^{-1}dQ^{T}Q^{-T}+P^{-1}dQ^{T}Q^{-T}dQ^{T}Q^{-T}" display="inline"><semantics id="A1.Ex19.m1.1a"><mrow id="A1.Ex19.m1.1.1" xref="A1.Ex19.m1.1.1.cmml"><mrow id="A1.Ex19.m1.1.1.2" xref="A1.Ex19.m1.1.1.2.cmml"><mo id="A1.Ex19.m1.1.1.2a" xref="A1.Ex19.m1.1.1.2.cmml">+</mo><mrow id="A1.Ex19.m1.1.1.2.2" xref="A1.Ex19.m1.1.1.2.2.cmml"><msup id="A1.Ex19.m1.1.1.2.2.2" xref="A1.Ex19.m1.1.1.2.2.2.cmml"><mi id="A1.Ex19.m1.1.1.2.2.2.2" xref="A1.Ex19.m1.1.1.2.2.2.2.cmml">Q</mi><mrow id="A1.Ex19.m1.1.1.2.2.2.3" xref="A1.Ex19.m1.1.1.2.2.2.3.cmml"><mo id="A1.Ex19.m1.1.1.2.2.2.3a" xref="A1.Ex19.m1.1.1.2.2.2.3.cmml">−</mo><mn id="A1.Ex19.m1.1.1.2.2.2.3.2" xref="A1.Ex19.m1.1.1.2.2.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.2.2.1" xref="A1.Ex19.m1.1.1.2.2.1.cmml">​</mo><mi id="A1.Ex19.m1.1.1.2.2.3" xref="A1.Ex19.m1.1.1.2.2.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.2.2.1a" xref="A1.Ex19.m1.1.1.2.2.1.cmml">​</mo><mi id="A1.Ex19.m1.1.1.2.2.4" xref="A1.Ex19.m1.1.1.2.2.4.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.2.2.1b" xref="A1.Ex19.m1.1.1.2.2.1.cmml">​</mo><msup id="A1.Ex19.m1.1.1.2.2.5" xref="A1.Ex19.m1.1.1.2.2.5.cmml"><mi id="A1.Ex19.m1.1.1.2.2.5.2" xref="A1.Ex19.m1.1.1.2.2.5.2.cmml">P</mi><mrow id="A1.Ex19.m1.1.1.2.2.5.3" xref="A1.Ex19.m1.1.1.2.2.5.3.cmml"><mo id="A1.Ex19.m1.1.1.2.2.5.3a" xref="A1.Ex19.m1.1.1.2.2.5.3.cmml">−</mo><mn id="A1.Ex19.m1.1.1.2.2.5.3.2" xref="A1.Ex19.m1.1.1.2.2.5.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.2.2.1c" xref="A1.Ex19.m1.1.1.2.2.1.cmml">​</mo><mi id="A1.Ex19.m1.1.1.2.2.6" xref="A1.Ex19.m1.1.1.2.2.6.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.2.2.1d" xref="A1.Ex19.m1.1.1.2.2.1.cmml">​</mo><msup id="A1.Ex19.m1.1.1.2.2.7" xref="A1.Ex19.m1.1.1.2.2.7.cmml"><mi id="A1.Ex19.m1.1.1.2.2.7.2" xref="A1.Ex19.m1.1.1.2.2.7.2.cmml">Q</mi><mi id="A1.Ex19.m1.1.1.2.2.7.3" xref="A1.Ex19.m1.1.1.2.2.7.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.2.2.1e" xref="A1.Ex19.m1.1.1.2.2.1.cmml">​</mo><msup id="A1.Ex19.m1.1.1.2.2.8" xref="A1.Ex19.m1.1.1.2.2.8.cmml"><mi id="A1.Ex19.m1.1.1.2.2.8.2" xref="A1.Ex19.m1.1.1.2.2.8.2.cmml">Q</mi><mrow id="A1.Ex19.m1.1.1.2.2.8.3" xref="A1.Ex19.m1.1.1.2.2.8.3.cmml"><mo id="A1.Ex19.m1.1.1.2.2.8.3a" xref="A1.Ex19.m1.1.1.2.2.8.3.cmml">−</mo><mi id="A1.Ex19.m1.1.1.2.2.8.3.2" xref="A1.Ex19.m1.1.1.2.2.8.3.2.cmml">T</mi></mrow></msup></mrow></mrow><mo id="A1.Ex19.m1.1.1.1" xref="A1.Ex19.m1.1.1.1.cmml">+</mo><mrow id="A1.Ex19.m1.1.1.3" xref="A1.Ex19.m1.1.1.3.cmml"><msup id="A1.Ex19.m1.1.1.3.2" xref="A1.Ex19.m1.1.1.3.2.cmml"><mi id="A1.Ex19.m1.1.1.3.2.2" xref="A1.Ex19.m1.1.1.3.2.2.cmml">P</mi><mrow id="A1.Ex19.m1.1.1.3.2.3" xref="A1.Ex19.m1.1.1.3.2.3.cmml"><mo id="A1.Ex19.m1.1.1.3.2.3a" xref="A1.Ex19.m1.1.1.3.2.3.cmml">−</mo><mn id="A1.Ex19.m1.1.1.3.2.3.2" xref="A1.Ex19.m1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.3.1" xref="A1.Ex19.m1.1.1.3.1.cmml">​</mo><mi id="A1.Ex19.m1.1.1.3.3" xref="A1.Ex19.m1.1.1.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.3.1a" xref="A1.Ex19.m1.1.1.3.1.cmml">​</mo><msup id="A1.Ex19.m1.1.1.3.4" xref="A1.Ex19.m1.1.1.3.4.cmml"><mi id="A1.Ex19.m1.1.1.3.4.2" xref="A1.Ex19.m1.1.1.3.4.2.cmml">Q</mi><mi id="A1.Ex19.m1.1.1.3.4.3" xref="A1.Ex19.m1.1.1.3.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.3.1b" xref="A1.Ex19.m1.1.1.3.1.cmml">​</mo><msup id="A1.Ex19.m1.1.1.3.5" xref="A1.Ex19.m1.1.1.3.5.cmml"><mi id="A1.Ex19.m1.1.1.3.5.2" xref="A1.Ex19.m1.1.1.3.5.2.cmml">Q</mi><mrow id="A1.Ex19.m1.1.1.3.5.3" xref="A1.Ex19.m1.1.1.3.5.3.cmml"><mo id="A1.Ex19.m1.1.1.3.5.3a" xref="A1.Ex19.m1.1.1.3.5.3.cmml">−</mo><mi id="A1.Ex19.m1.1.1.3.5.3.2" xref="A1.Ex19.m1.1.1.3.5.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.3.1c" xref="A1.Ex19.m1.1.1.3.1.cmml">​</mo><mi id="A1.Ex19.m1.1.1.3.6" xref="A1.Ex19.m1.1.1.3.6.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.3.1d" xref="A1.Ex19.m1.1.1.3.1.cmml">​</mo><msup id="A1.Ex19.m1.1.1.3.7" xref="A1.Ex19.m1.1.1.3.7.cmml"><mi id="A1.Ex19.m1.1.1.3.7.2" xref="A1.Ex19.m1.1.1.3.7.2.cmml">Q</mi><mi id="A1.Ex19.m1.1.1.3.7.3" xref="A1.Ex19.m1.1.1.3.7.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex19.m1.1.1.3.1e" xref="A1.Ex19.m1.1.1.3.1.cmml">​</mo><msup id="A1.Ex19.m1.1.1.3.8" xref="A1.Ex19.m1.1.1.3.8.cmml"><mi id="A1.Ex19.m1.1.1.3.8.2" xref="A1.Ex19.m1.1.1.3.8.2.cmml">Q</mi><mrow id="A1.Ex19.m1.1.1.3.8.3" xref="A1.Ex19.m1.1.1.3.8.3.cmml"><mo id="A1.Ex19.m1.1.1.3.8.3a" xref="A1.Ex19.m1.1.1.3.8.3.cmml">−</mo><mi id="A1.Ex19.m1.1.1.3.8.3.2" xref="A1.Ex19.m1.1.1.3.8.3.2.cmml">T</mi></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex19.m1.1b"><apply id="A1.Ex19.m1.1.1.cmml" xref="A1.Ex19.m1.1.1"><plus id="A1.Ex19.m1.1.1.1.cmml" xref="A1.Ex19.m1.1.1.1"></plus><apply id="A1.Ex19.m1.1.1.2.cmml" xref="A1.Ex19.m1.1.1.2"><plus id="A1.Ex19.m1.1.1.2.1.cmml" xref="A1.Ex19.m1.1.1.2"></plus><apply id="A1.Ex19.m1.1.1.2.2.cmml" xref="A1.Ex19.m1.1.1.2.2"><times id="A1.Ex19.m1.1.1.2.2.1.cmml" xref="A1.Ex19.m1.1.1.2.2.1"></times><apply id="A1.Ex19.m1.1.1.2.2.2.cmml" xref="A1.Ex19.m1.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.2.2.2.1.cmml" xref="A1.Ex19.m1.1.1.2.2.2">superscript</csymbol><ci id="A1.Ex19.m1.1.1.2.2.2.2.cmml" xref="A1.Ex19.m1.1.1.2.2.2.2">𝑄</ci><apply id="A1.Ex19.m1.1.1.2.2.2.3.cmml" xref="A1.Ex19.m1.1.1.2.2.2.3"><minus id="A1.Ex19.m1.1.1.2.2.2.3.1.cmml" xref="A1.Ex19.m1.1.1.2.2.2.3"></minus><cn type="integer" id="A1.Ex19.m1.1.1.2.2.2.3.2.cmml" xref="A1.Ex19.m1.1.1.2.2.2.3.2">1</cn></apply></apply><ci id="A1.Ex19.m1.1.1.2.2.3.cmml" xref="A1.Ex19.m1.1.1.2.2.3">𝑑</ci><ci id="A1.Ex19.m1.1.1.2.2.4.cmml" xref="A1.Ex19.m1.1.1.2.2.4">𝑄</ci><apply id="A1.Ex19.m1.1.1.2.2.5.cmml" xref="A1.Ex19.m1.1.1.2.2.5"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.2.2.5.1.cmml" xref="A1.Ex19.m1.1.1.2.2.5">superscript</csymbol><ci id="A1.Ex19.m1.1.1.2.2.5.2.cmml" xref="A1.Ex19.m1.1.1.2.2.5.2">𝑃</ci><apply id="A1.Ex19.m1.1.1.2.2.5.3.cmml" xref="A1.Ex19.m1.1.1.2.2.5.3"><minus id="A1.Ex19.m1.1.1.2.2.5.3.1.cmml" xref="A1.Ex19.m1.1.1.2.2.5.3"></minus><cn type="integer" id="A1.Ex19.m1.1.1.2.2.5.3.2.cmml" xref="A1.Ex19.m1.1.1.2.2.5.3.2">1</cn></apply></apply><ci id="A1.Ex19.m1.1.1.2.2.6.cmml" xref="A1.Ex19.m1.1.1.2.2.6">𝑑</ci><apply id="A1.Ex19.m1.1.1.2.2.7.cmml" xref="A1.Ex19.m1.1.1.2.2.7"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.2.2.7.1.cmml" xref="A1.Ex19.m1.1.1.2.2.7">superscript</csymbol><ci id="A1.Ex19.m1.1.1.2.2.7.2.cmml" xref="A1.Ex19.m1.1.1.2.2.7.2">𝑄</ci><ci id="A1.Ex19.m1.1.1.2.2.7.3.cmml" xref="A1.Ex19.m1.1.1.2.2.7.3">𝑇</ci></apply><apply id="A1.Ex19.m1.1.1.2.2.8.cmml" xref="A1.Ex19.m1.1.1.2.2.8"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.2.2.8.1.cmml" xref="A1.Ex19.m1.1.1.2.2.8">superscript</csymbol><ci id="A1.Ex19.m1.1.1.2.2.8.2.cmml" xref="A1.Ex19.m1.1.1.2.2.8.2">𝑄</ci><apply id="A1.Ex19.m1.1.1.2.2.8.3.cmml" xref="A1.Ex19.m1.1.1.2.2.8.3"><minus id="A1.Ex19.m1.1.1.2.2.8.3.1.cmml" xref="A1.Ex19.m1.1.1.2.2.8.3"></minus><ci id="A1.Ex19.m1.1.1.2.2.8.3.2.cmml" xref="A1.Ex19.m1.1.1.2.2.8.3.2">𝑇</ci></apply></apply></apply></apply><apply id="A1.Ex19.m1.1.1.3.cmml" xref="A1.Ex19.m1.1.1.3"><times id="A1.Ex19.m1.1.1.3.1.cmml" xref="A1.Ex19.m1.1.1.3.1"></times><apply id="A1.Ex19.m1.1.1.3.2.cmml" xref="A1.Ex19.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.3.2.1.cmml" xref="A1.Ex19.m1.1.1.3.2">superscript</csymbol><ci id="A1.Ex19.m1.1.1.3.2.2.cmml" xref="A1.Ex19.m1.1.1.3.2.2">𝑃</ci><apply id="A1.Ex19.m1.1.1.3.2.3.cmml" xref="A1.Ex19.m1.1.1.3.2.3"><minus id="A1.Ex19.m1.1.1.3.2.3.1.cmml" xref="A1.Ex19.m1.1.1.3.2.3"></minus><cn type="integer" id="A1.Ex19.m1.1.1.3.2.3.2.cmml" xref="A1.Ex19.m1.1.1.3.2.3.2">1</cn></apply></apply><ci id="A1.Ex19.m1.1.1.3.3.cmml" xref="A1.Ex19.m1.1.1.3.3">𝑑</ci><apply id="A1.Ex19.m1.1.1.3.4.cmml" xref="A1.Ex19.m1.1.1.3.4"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.3.4.1.cmml" xref="A1.Ex19.m1.1.1.3.4">superscript</csymbol><ci id="A1.Ex19.m1.1.1.3.4.2.cmml" xref="A1.Ex19.m1.1.1.3.4.2">𝑄</ci><ci id="A1.Ex19.m1.1.1.3.4.3.cmml" xref="A1.Ex19.m1.1.1.3.4.3">𝑇</ci></apply><apply id="A1.Ex19.m1.1.1.3.5.cmml" xref="A1.Ex19.m1.1.1.3.5"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.3.5.1.cmml" xref="A1.Ex19.m1.1.1.3.5">superscript</csymbol><ci id="A1.Ex19.m1.1.1.3.5.2.cmml" xref="A1.Ex19.m1.1.1.3.5.2">𝑄</ci><apply id="A1.Ex19.m1.1.1.3.5.3.cmml" xref="A1.Ex19.m1.1.1.3.5.3"><minus id="A1.Ex19.m1.1.1.3.5.3.1.cmml" xref="A1.Ex19.m1.1.1.3.5.3"></minus><ci id="A1.Ex19.m1.1.1.3.5.3.2.cmml" xref="A1.Ex19.m1.1.1.3.5.3.2">𝑇</ci></apply></apply><ci id="A1.Ex19.m1.1.1.3.6.cmml" xref="A1.Ex19.m1.1.1.3.6">𝑑</ci><apply id="A1.Ex19.m1.1.1.3.7.cmml" xref="A1.Ex19.m1.1.1.3.7"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.3.7.1.cmml" xref="A1.Ex19.m1.1.1.3.7">superscript</csymbol><ci id="A1.Ex19.m1.1.1.3.7.2.cmml" xref="A1.Ex19.m1.1.1.3.7.2">𝑄</ci><ci id="A1.Ex19.m1.1.1.3.7.3.cmml" xref="A1.Ex19.m1.1.1.3.7.3">𝑇</ci></apply><apply id="A1.Ex19.m1.1.1.3.8.cmml" xref="A1.Ex19.m1.1.1.3.8"><csymbol cd="ambiguous" id="A1.Ex19.m1.1.1.3.8.1.cmml" xref="A1.Ex19.m1.1.1.3.8">superscript</csymbol><ci id="A1.Ex19.m1.1.1.3.8.2.cmml" xref="A1.Ex19.m1.1.1.3.8.2">𝑄</ci><apply id="A1.Ex19.m1.1.1.3.8.3.cmml" xref="A1.Ex19.m1.1.1.3.8.3"><minus id="A1.Ex19.m1.1.1.3.8.3.1.cmml" xref="A1.Ex19.m1.1.1.3.8.3"></minus><ci id="A1.Ex19.m1.1.1.3.8.3.2.cmml" xref="A1.Ex19.m1.1.1.3.8.3.2">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex19.m1.1c">\displaystyle+Q^{-1}dQP^{-1}dQ^{T}Q^{-T}+P^{-1}dQ^{T}Q^{-T}dQ^{T}Q^{-T}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A1.SS1.5.p3" class="ltx_para">
<p id="A1.SS1.5.p3.1" class="ltx_p">Now, the change of the PSGD criterion is given by</p>
<table id="A12.EGx11" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex20"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex20.m1.1" class="ltx_Math" alttext="\displaystyle dc=" display="inline"><semantics id="A1.Ex20.m1.1a"><mrow id="A1.Ex20.m1.1.1" xref="A1.Ex20.m1.1.1.cmml"><mrow id="A1.Ex20.m1.1.1.2" xref="A1.Ex20.m1.1.1.2.cmml"><mi id="A1.Ex20.m1.1.1.2.2" xref="A1.Ex20.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex20.m1.1.1.2.1" xref="A1.Ex20.m1.1.1.2.1.cmml">​</mo><mi id="A1.Ex20.m1.1.1.2.3" xref="A1.Ex20.m1.1.1.2.3.cmml">c</mi></mrow><mo id="A1.Ex20.m1.1.1.1" xref="A1.Ex20.m1.1.1.1.cmml">=</mo><mi id="A1.Ex20.m1.1.1.3" xref="A1.Ex20.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex20.m1.1b"><apply id="A1.Ex20.m1.1.1.cmml" xref="A1.Ex20.m1.1.1"><eq id="A1.Ex20.m1.1.1.1.cmml" xref="A1.Ex20.m1.1.1.1"></eq><apply id="A1.Ex20.m1.1.1.2.cmml" xref="A1.Ex20.m1.1.1.2"><times id="A1.Ex20.m1.1.1.2.1.cmml" xref="A1.Ex20.m1.1.1.2.1"></times><ci id="A1.Ex20.m1.1.1.2.2.cmml" xref="A1.Ex20.m1.1.1.2.2">𝑑</ci><ci id="A1.Ex20.m1.1.1.2.3.cmml" xref="A1.Ex20.m1.1.1.2.3">𝑐</ci></apply><csymbol cd="latexml" id="A1.Ex20.m1.1.1.3.cmml" xref="A1.Ex20.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex20.m1.1c">\displaystyle dc=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex20.m2.1" class="ltx_Math" alttext="\displaystyle{\rm tr}(dPH^{2}+dP^{-1})" display="inline"><semantics id="A1.Ex20.m2.1a"><mrow id="A1.Ex20.m2.1.1" xref="A1.Ex20.m2.1.1.cmml"><mi id="A1.Ex20.m2.1.1.3" xref="A1.Ex20.m2.1.1.3.cmml">tr</mi><mo lspace="0em" rspace="0em" id="A1.Ex20.m2.1.1.2" xref="A1.Ex20.m2.1.1.2.cmml">​</mo><mrow id="A1.Ex20.m2.1.1.1.1" xref="A1.Ex20.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex20.m2.1.1.1.1.2" xref="A1.Ex20.m2.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex20.m2.1.1.1.1.1" xref="A1.Ex20.m2.1.1.1.1.1.cmml"><mrow id="A1.Ex20.m2.1.1.1.1.1.2" xref="A1.Ex20.m2.1.1.1.1.1.2.cmml"><mi id="A1.Ex20.m2.1.1.1.1.1.2.2" xref="A1.Ex20.m2.1.1.1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex20.m2.1.1.1.1.1.2.1" xref="A1.Ex20.m2.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.Ex20.m2.1.1.1.1.1.2.3" xref="A1.Ex20.m2.1.1.1.1.1.2.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex20.m2.1.1.1.1.1.2.1a" xref="A1.Ex20.m2.1.1.1.1.1.2.1.cmml">​</mo><msup id="A1.Ex20.m2.1.1.1.1.1.2.4" xref="A1.Ex20.m2.1.1.1.1.1.2.4.cmml"><mi id="A1.Ex20.m2.1.1.1.1.1.2.4.2" xref="A1.Ex20.m2.1.1.1.1.1.2.4.2.cmml">H</mi><mn id="A1.Ex20.m2.1.1.1.1.1.2.4.3" xref="A1.Ex20.m2.1.1.1.1.1.2.4.3.cmml">2</mn></msup></mrow><mo id="A1.Ex20.m2.1.1.1.1.1.1" xref="A1.Ex20.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex20.m2.1.1.1.1.1.3" xref="A1.Ex20.m2.1.1.1.1.1.3.cmml"><mi id="A1.Ex20.m2.1.1.1.1.1.3.2" xref="A1.Ex20.m2.1.1.1.1.1.3.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex20.m2.1.1.1.1.1.3.1" xref="A1.Ex20.m2.1.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex20.m2.1.1.1.1.1.3.3" xref="A1.Ex20.m2.1.1.1.1.1.3.3.cmml"><mi id="A1.Ex20.m2.1.1.1.1.1.3.3.2" xref="A1.Ex20.m2.1.1.1.1.1.3.3.2.cmml">P</mi><mrow id="A1.Ex20.m2.1.1.1.1.1.3.3.3" xref="A1.Ex20.m2.1.1.1.1.1.3.3.3.cmml"><mo id="A1.Ex20.m2.1.1.1.1.1.3.3.3a" xref="A1.Ex20.m2.1.1.1.1.1.3.3.3.cmml">−</mo><mn id="A1.Ex20.m2.1.1.1.1.1.3.3.3.2" xref="A1.Ex20.m2.1.1.1.1.1.3.3.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo stretchy="false" id="A1.Ex20.m2.1.1.1.1.3" xref="A1.Ex20.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex20.m2.1b"><apply id="A1.Ex20.m2.1.1.cmml" xref="A1.Ex20.m2.1.1"><times id="A1.Ex20.m2.1.1.2.cmml" xref="A1.Ex20.m2.1.1.2"></times><ci id="A1.Ex20.m2.1.1.3.cmml" xref="A1.Ex20.m2.1.1.3">tr</ci><apply id="A1.Ex20.m2.1.1.1.1.1.cmml" xref="A1.Ex20.m2.1.1.1.1"><plus id="A1.Ex20.m2.1.1.1.1.1.1.cmml" xref="A1.Ex20.m2.1.1.1.1.1.1"></plus><apply id="A1.Ex20.m2.1.1.1.1.1.2.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2"><times id="A1.Ex20.m2.1.1.1.1.1.2.1.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2.1"></times><ci id="A1.Ex20.m2.1.1.1.1.1.2.2.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2.2">𝑑</ci><ci id="A1.Ex20.m2.1.1.1.1.1.2.3.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2.3">𝑃</ci><apply id="A1.Ex20.m2.1.1.1.1.1.2.4.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2.4"><csymbol cd="ambiguous" id="A1.Ex20.m2.1.1.1.1.1.2.4.1.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2.4">superscript</csymbol><ci id="A1.Ex20.m2.1.1.1.1.1.2.4.2.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2.4.2">𝐻</ci><cn type="integer" id="A1.Ex20.m2.1.1.1.1.1.2.4.3.cmml" xref="A1.Ex20.m2.1.1.1.1.1.2.4.3">2</cn></apply></apply><apply id="A1.Ex20.m2.1.1.1.1.1.3.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3"><times id="A1.Ex20.m2.1.1.1.1.1.3.1.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.1"></times><ci id="A1.Ex20.m2.1.1.1.1.1.3.2.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.2">𝑑</ci><apply id="A1.Ex20.m2.1.1.1.1.1.3.3.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex20.m2.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.3">superscript</csymbol><ci id="A1.Ex20.m2.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.3.2">𝑃</ci><apply id="A1.Ex20.m2.1.1.1.1.1.3.3.3.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.3.3"><minus id="A1.Ex20.m2.1.1.1.1.1.3.3.3.1.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.3.3"></minus><cn type="integer" id="A1.Ex20.m2.1.1.1.1.1.3.3.3.2.cmml" xref="A1.Ex20.m2.1.1.1.1.1.3.3.3.2">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex20.m2.1c">\displaystyle{\rm tr}(dPH^{2}+dP^{-1})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex21"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex21.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex21.m1.1a"><mo id="A1.Ex21.m1.1.1" xref="A1.Ex21.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex21.m1.1b"><eq id="A1.Ex21.m1.1.1.cmml" xref="A1.Ex21.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex21.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex21.m2.1" class="ltx_Math" alttext="\displaystyle{\rm tr}(H^{2}Q^{T}dQ+H^{2}dQ^{T}Q+H^{2}dQ^{T}dQ)" display="inline"><semantics id="A1.Ex21.m2.1a"><mrow id="A1.Ex21.m2.1.1" xref="A1.Ex21.m2.1.1.cmml"><mi id="A1.Ex21.m2.1.1.3" xref="A1.Ex21.m2.1.1.3.cmml">tr</mi><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.2" xref="A1.Ex21.m2.1.1.2.cmml">​</mo><mrow id="A1.Ex21.m2.1.1.1.1" xref="A1.Ex21.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex21.m2.1.1.1.1.2" xref="A1.Ex21.m2.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex21.m2.1.1.1.1.1" xref="A1.Ex21.m2.1.1.1.1.1.cmml"><mrow id="A1.Ex21.m2.1.1.1.1.1.2" xref="A1.Ex21.m2.1.1.1.1.1.2.cmml"><msup id="A1.Ex21.m2.1.1.1.1.1.2.2" xref="A1.Ex21.m2.1.1.1.1.1.2.2.cmml"><mi id="A1.Ex21.m2.1.1.1.1.1.2.2.2" xref="A1.Ex21.m2.1.1.1.1.1.2.2.2.cmml">H</mi><mn id="A1.Ex21.m2.1.1.1.1.1.2.2.3" xref="A1.Ex21.m2.1.1.1.1.1.2.2.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.2.1" xref="A1.Ex21.m2.1.1.1.1.1.2.1.cmml">​</mo><msup id="A1.Ex21.m2.1.1.1.1.1.2.3" xref="A1.Ex21.m2.1.1.1.1.1.2.3.cmml"><mi id="A1.Ex21.m2.1.1.1.1.1.2.3.2" xref="A1.Ex21.m2.1.1.1.1.1.2.3.2.cmml">Q</mi><mi id="A1.Ex21.m2.1.1.1.1.1.2.3.3" xref="A1.Ex21.m2.1.1.1.1.1.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.2.1a" xref="A1.Ex21.m2.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.Ex21.m2.1.1.1.1.1.2.4" xref="A1.Ex21.m2.1.1.1.1.1.2.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.2.1b" xref="A1.Ex21.m2.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.Ex21.m2.1.1.1.1.1.2.5" xref="A1.Ex21.m2.1.1.1.1.1.2.5.cmml">Q</mi></mrow><mo id="A1.Ex21.m2.1.1.1.1.1.1" xref="A1.Ex21.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex21.m2.1.1.1.1.1.3" xref="A1.Ex21.m2.1.1.1.1.1.3.cmml"><msup id="A1.Ex21.m2.1.1.1.1.1.3.2" xref="A1.Ex21.m2.1.1.1.1.1.3.2.cmml"><mi id="A1.Ex21.m2.1.1.1.1.1.3.2.2" xref="A1.Ex21.m2.1.1.1.1.1.3.2.2.cmml">H</mi><mn id="A1.Ex21.m2.1.1.1.1.1.3.2.3" xref="A1.Ex21.m2.1.1.1.1.1.3.2.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.3.1" xref="A1.Ex21.m2.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex21.m2.1.1.1.1.1.3.3" xref="A1.Ex21.m2.1.1.1.1.1.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.3.1a" xref="A1.Ex21.m2.1.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex21.m2.1.1.1.1.1.3.4" xref="A1.Ex21.m2.1.1.1.1.1.3.4.cmml"><mi id="A1.Ex21.m2.1.1.1.1.1.3.4.2" xref="A1.Ex21.m2.1.1.1.1.1.3.4.2.cmml">Q</mi><mi id="A1.Ex21.m2.1.1.1.1.1.3.4.3" xref="A1.Ex21.m2.1.1.1.1.1.3.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.3.1b" xref="A1.Ex21.m2.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex21.m2.1.1.1.1.1.3.5" xref="A1.Ex21.m2.1.1.1.1.1.3.5.cmml">Q</mi></mrow><mo id="A1.Ex21.m2.1.1.1.1.1.1a" xref="A1.Ex21.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex21.m2.1.1.1.1.1.4" xref="A1.Ex21.m2.1.1.1.1.1.4.cmml"><msup id="A1.Ex21.m2.1.1.1.1.1.4.2" xref="A1.Ex21.m2.1.1.1.1.1.4.2.cmml"><mi id="A1.Ex21.m2.1.1.1.1.1.4.2.2" xref="A1.Ex21.m2.1.1.1.1.1.4.2.2.cmml">H</mi><mn id="A1.Ex21.m2.1.1.1.1.1.4.2.3" xref="A1.Ex21.m2.1.1.1.1.1.4.2.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.4.1" xref="A1.Ex21.m2.1.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex21.m2.1.1.1.1.1.4.3" xref="A1.Ex21.m2.1.1.1.1.1.4.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.4.1a" xref="A1.Ex21.m2.1.1.1.1.1.4.1.cmml">​</mo><msup id="A1.Ex21.m2.1.1.1.1.1.4.4" xref="A1.Ex21.m2.1.1.1.1.1.4.4.cmml"><mi id="A1.Ex21.m2.1.1.1.1.1.4.4.2" xref="A1.Ex21.m2.1.1.1.1.1.4.4.2.cmml">Q</mi><mi id="A1.Ex21.m2.1.1.1.1.1.4.4.3" xref="A1.Ex21.m2.1.1.1.1.1.4.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.4.1b" xref="A1.Ex21.m2.1.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex21.m2.1.1.1.1.1.4.5" xref="A1.Ex21.m2.1.1.1.1.1.4.5.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex21.m2.1.1.1.1.1.4.1c" xref="A1.Ex21.m2.1.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex21.m2.1.1.1.1.1.4.6" xref="A1.Ex21.m2.1.1.1.1.1.4.6.cmml">Q</mi></mrow></mrow><mo stretchy="false" id="A1.Ex21.m2.1.1.1.1.3" xref="A1.Ex21.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex21.m2.1b"><apply id="A1.Ex21.m2.1.1.cmml" xref="A1.Ex21.m2.1.1"><times id="A1.Ex21.m2.1.1.2.cmml" xref="A1.Ex21.m2.1.1.2"></times><ci id="A1.Ex21.m2.1.1.3.cmml" xref="A1.Ex21.m2.1.1.3">tr</ci><apply id="A1.Ex21.m2.1.1.1.1.1.cmml" xref="A1.Ex21.m2.1.1.1.1"><plus id="A1.Ex21.m2.1.1.1.1.1.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.1"></plus><apply id="A1.Ex21.m2.1.1.1.1.1.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2"><times id="A1.Ex21.m2.1.1.1.1.1.2.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.1"></times><apply id="A1.Ex21.m2.1.1.1.1.1.2.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A1.Ex21.m2.1.1.1.1.1.2.2.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.2">superscript</csymbol><ci id="A1.Ex21.m2.1.1.1.1.1.2.2.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.2.2">𝐻</ci><cn type="integer" id="A1.Ex21.m2.1.1.1.1.1.2.2.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.2.3">2</cn></apply><apply id="A1.Ex21.m2.1.1.1.1.1.2.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A1.Ex21.m2.1.1.1.1.1.2.3.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.3">superscript</csymbol><ci id="A1.Ex21.m2.1.1.1.1.1.2.3.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.3.2">𝑄</ci><ci id="A1.Ex21.m2.1.1.1.1.1.2.3.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.3.3">𝑇</ci></apply><ci id="A1.Ex21.m2.1.1.1.1.1.2.4.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.4">𝑑</ci><ci id="A1.Ex21.m2.1.1.1.1.1.2.5.cmml" xref="A1.Ex21.m2.1.1.1.1.1.2.5">𝑄</ci></apply><apply id="A1.Ex21.m2.1.1.1.1.1.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3"><times id="A1.Ex21.m2.1.1.1.1.1.3.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.1"></times><apply id="A1.Ex21.m2.1.1.1.1.1.3.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex21.m2.1.1.1.1.1.3.2.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.2">superscript</csymbol><ci id="A1.Ex21.m2.1.1.1.1.1.3.2.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.2.2">𝐻</ci><cn type="integer" id="A1.Ex21.m2.1.1.1.1.1.3.2.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.2.3">2</cn></apply><ci id="A1.Ex21.m2.1.1.1.1.1.3.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.3">𝑑</ci><apply id="A1.Ex21.m2.1.1.1.1.1.3.4.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.4"><csymbol cd="ambiguous" id="A1.Ex21.m2.1.1.1.1.1.3.4.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.4">superscript</csymbol><ci id="A1.Ex21.m2.1.1.1.1.1.3.4.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.4.2">𝑄</ci><ci id="A1.Ex21.m2.1.1.1.1.1.3.4.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.4.3">𝑇</ci></apply><ci id="A1.Ex21.m2.1.1.1.1.1.3.5.cmml" xref="A1.Ex21.m2.1.1.1.1.1.3.5">𝑄</ci></apply><apply id="A1.Ex21.m2.1.1.1.1.1.4.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4"><times id="A1.Ex21.m2.1.1.1.1.1.4.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.1"></times><apply id="A1.Ex21.m2.1.1.1.1.1.4.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="A1.Ex21.m2.1.1.1.1.1.4.2.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.2">superscript</csymbol><ci id="A1.Ex21.m2.1.1.1.1.1.4.2.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.2.2">𝐻</ci><cn type="integer" id="A1.Ex21.m2.1.1.1.1.1.4.2.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.2.3">2</cn></apply><ci id="A1.Ex21.m2.1.1.1.1.1.4.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.3">𝑑</ci><apply id="A1.Ex21.m2.1.1.1.1.1.4.4.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.4"><csymbol cd="ambiguous" id="A1.Ex21.m2.1.1.1.1.1.4.4.1.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.4">superscript</csymbol><ci id="A1.Ex21.m2.1.1.1.1.1.4.4.2.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.4.2">𝑄</ci><ci id="A1.Ex21.m2.1.1.1.1.1.4.4.3.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.4.3">𝑇</ci></apply><ci id="A1.Ex21.m2.1.1.1.1.1.4.5.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.5">𝑑</ci><ci id="A1.Ex21.m2.1.1.1.1.1.4.6.cmml" xref="A1.Ex21.m2.1.1.1.1.1.4.6">𝑄</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex21.m2.1c">\displaystyle{\rm tr}(H^{2}Q^{T}dQ+H^{2}dQ^{T}Q+H^{2}dQ^{T}dQ)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex22"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex22.m1.1" class="ltx_math_unparsed" alttext="\displaystyle+{\rm tr}(-Q^{-1}dQP^{-1}-P^{-1}dQ^{T}Q^{-T}+Q^{-1}dQQ^{-1}dQP^{-1}" display="inline"><semantics id="A1.Ex22.m1.1a"><mrow id="A1.Ex22.m1.1b"><mo id="A1.Ex22.m1.1.1">+</mo><mi id="A1.Ex22.m1.1.2">tr</mi><mrow id="A1.Ex22.m1.1.3"><mo stretchy="false" id="A1.Ex22.m1.1.3.1">(</mo><mo lspace="0em" id="A1.Ex22.m1.1.3.2">−</mo><msup id="A1.Ex22.m1.1.3.3"><mi id="A1.Ex22.m1.1.3.3.2">Q</mi><mrow id="A1.Ex22.m1.1.3.3.3"><mo id="A1.Ex22.m1.1.3.3.3a">−</mo><mn id="A1.Ex22.m1.1.3.3.3.2">1</mn></mrow></msup><mi id="A1.Ex22.m1.1.3.4">d</mi><mi id="A1.Ex22.m1.1.3.5">Q</mi><msup id="A1.Ex22.m1.1.3.6"><mi id="A1.Ex22.m1.1.3.6.2">P</mi><mrow id="A1.Ex22.m1.1.3.6.3"><mo id="A1.Ex22.m1.1.3.6.3a">−</mo><mn id="A1.Ex22.m1.1.3.6.3.2">1</mn></mrow></msup><mo id="A1.Ex22.m1.1.3.7">−</mo><msup id="A1.Ex22.m1.1.3.8"><mi id="A1.Ex22.m1.1.3.8.2">P</mi><mrow id="A1.Ex22.m1.1.3.8.3"><mo id="A1.Ex22.m1.1.3.8.3a">−</mo><mn id="A1.Ex22.m1.1.3.8.3.2">1</mn></mrow></msup><mi id="A1.Ex22.m1.1.3.9">d</mi><msup id="A1.Ex22.m1.1.3.10"><mi id="A1.Ex22.m1.1.3.10.2">Q</mi><mi id="A1.Ex22.m1.1.3.10.3">T</mi></msup><msup id="A1.Ex22.m1.1.3.11"><mi id="A1.Ex22.m1.1.3.11.2">Q</mi><mrow id="A1.Ex22.m1.1.3.11.3"><mo id="A1.Ex22.m1.1.3.11.3a">−</mo><mi id="A1.Ex22.m1.1.3.11.3.2">T</mi></mrow></msup><mo id="A1.Ex22.m1.1.3.12">+</mo><msup id="A1.Ex22.m1.1.3.13"><mi id="A1.Ex22.m1.1.3.13.2">Q</mi><mrow id="A1.Ex22.m1.1.3.13.3"><mo id="A1.Ex22.m1.1.3.13.3a">−</mo><mn id="A1.Ex22.m1.1.3.13.3.2">1</mn></mrow></msup><mi id="A1.Ex22.m1.1.3.14">d</mi><mi id="A1.Ex22.m1.1.3.15">Q</mi><msup id="A1.Ex22.m1.1.3.16"><mi id="A1.Ex22.m1.1.3.16.2">Q</mi><mrow id="A1.Ex22.m1.1.3.16.3"><mo id="A1.Ex22.m1.1.3.16.3a">−</mo><mn id="A1.Ex22.m1.1.3.16.3.2">1</mn></mrow></msup><mi id="A1.Ex22.m1.1.3.17">d</mi><mi id="A1.Ex22.m1.1.3.18">Q</mi><msup id="A1.Ex22.m1.1.3.19"><mi id="A1.Ex22.m1.1.3.19.2">P</mi><mrow id="A1.Ex22.m1.1.3.19.3"><mo id="A1.Ex22.m1.1.3.19.3a">−</mo><mn id="A1.Ex22.m1.1.3.19.3.2">1</mn></mrow></msup></mrow></mrow><annotation encoding="application/x-tex" id="A1.Ex22.m1.1c">\displaystyle+{\rm tr}(-Q^{-1}dQP^{-1}-P^{-1}dQ^{T}Q^{-T}+Q^{-1}dQQ^{-1}dQP^{-1}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex23"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex23.m1.1" class="ltx_math_unparsed" alttext="\displaystyle+Q^{-1}dQP^{-1}dQ^{T}Q^{-T}+P^{-1}dQ^{T}Q^{-T}dQ^{T}Q^{-T})" display="inline"><semantics id="A1.Ex23.m1.1a"><mrow id="A1.Ex23.m1.1b"><mo id="A1.Ex23.m1.1.1">+</mo><msup id="A1.Ex23.m1.1.2"><mi id="A1.Ex23.m1.1.2.2">Q</mi><mrow id="A1.Ex23.m1.1.2.3"><mo id="A1.Ex23.m1.1.2.3a">−</mo><mn id="A1.Ex23.m1.1.2.3.2">1</mn></mrow></msup><mi id="A1.Ex23.m1.1.3">d</mi><mi id="A1.Ex23.m1.1.4">Q</mi><msup id="A1.Ex23.m1.1.5"><mi id="A1.Ex23.m1.1.5.2">P</mi><mrow id="A1.Ex23.m1.1.5.3"><mo id="A1.Ex23.m1.1.5.3a">−</mo><mn id="A1.Ex23.m1.1.5.3.2">1</mn></mrow></msup><mi id="A1.Ex23.m1.1.6">d</mi><msup id="A1.Ex23.m1.1.7"><mi id="A1.Ex23.m1.1.7.2">Q</mi><mi id="A1.Ex23.m1.1.7.3">T</mi></msup><msup id="A1.Ex23.m1.1.8"><mi id="A1.Ex23.m1.1.8.2">Q</mi><mrow id="A1.Ex23.m1.1.8.3"><mo id="A1.Ex23.m1.1.8.3a">−</mo><mi id="A1.Ex23.m1.1.8.3.2">T</mi></mrow></msup><mo id="A1.Ex23.m1.1.9">+</mo><msup id="A1.Ex23.m1.1.10"><mi id="A1.Ex23.m1.1.10.2">P</mi><mrow id="A1.Ex23.m1.1.10.3"><mo id="A1.Ex23.m1.1.10.3a">−</mo><mn id="A1.Ex23.m1.1.10.3.2">1</mn></mrow></msup><mi id="A1.Ex23.m1.1.11">d</mi><msup id="A1.Ex23.m1.1.12"><mi id="A1.Ex23.m1.1.12.2">Q</mi><mi id="A1.Ex23.m1.1.12.3">T</mi></msup><msup id="A1.Ex23.m1.1.13"><mi id="A1.Ex23.m1.1.13.2">Q</mi><mrow id="A1.Ex23.m1.1.13.3"><mo id="A1.Ex23.m1.1.13.3a">−</mo><mi id="A1.Ex23.m1.1.13.3.2">T</mi></mrow></msup><mi id="A1.Ex23.m1.1.14">d</mi><msup id="A1.Ex23.m1.1.15"><mi id="A1.Ex23.m1.1.15.2">Q</mi><mi id="A1.Ex23.m1.1.15.3">T</mi></msup><msup id="A1.Ex23.m1.1.16"><mi id="A1.Ex23.m1.1.16.2">Q</mi><mrow id="A1.Ex23.m1.1.16.3"><mo id="A1.Ex23.m1.1.16.3a">−</mo><mi id="A1.Ex23.m1.1.16.3.2">T</mi></mrow></msup><mo stretchy="false" id="A1.Ex23.m1.1.17">)</mo></mrow><annotation encoding="application/x-tex" id="A1.Ex23.m1.1c">\displaystyle+Q^{-1}dQP^{-1}dQ^{T}Q^{-T}+P^{-1}dQ^{T}Q^{-T}dQ^{T}Q^{-T})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.E7"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E7.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.E7.m1.1a"><mo id="A1.E7.m1.1.1" xref="A1.E7.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.E7.m1.1b"><eq id="A1.E7.m1.1.1.cmml" xref="A1.E7.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.E7.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.E7.m2.1" class="ltx_Math" alttext="\displaystyle 2{\rm tr}(H^{2}Q^{T}dQ-P^{-1}Q^{-1}dQ)" display="inline"><semantics id="A1.E7.m2.1a"><mrow id="A1.E7.m2.1.1" xref="A1.E7.m2.1.1.cmml"><mn id="A1.E7.m2.1.1.3" xref="A1.E7.m2.1.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.2" xref="A1.E7.m2.1.1.2.cmml">​</mo><mi mathvariant="normal" id="A1.E7.m2.1.1.4" xref="A1.E7.m2.1.1.4.cmml">t</mi><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.2a" xref="A1.E7.m2.1.1.2.cmml">​</mo><mi mathvariant="normal" id="A1.E7.m2.1.1.5" xref="A1.E7.m2.1.1.5.cmml">r</mi><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.2b" xref="A1.E7.m2.1.1.2.cmml">​</mo><mrow id="A1.E7.m2.1.1.1.1" xref="A1.E7.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E7.m2.1.1.1.1.2" xref="A1.E7.m2.1.1.1.1.1.cmml">(</mo><mrow id="A1.E7.m2.1.1.1.1.1" xref="A1.E7.m2.1.1.1.1.1.cmml"><mrow id="A1.E7.m2.1.1.1.1.1.2" xref="A1.E7.m2.1.1.1.1.1.2.cmml"><msup id="A1.E7.m2.1.1.1.1.1.2.2" xref="A1.E7.m2.1.1.1.1.1.2.2.cmml"><mi id="A1.E7.m2.1.1.1.1.1.2.2.2" xref="A1.E7.m2.1.1.1.1.1.2.2.2.cmml">H</mi><mn id="A1.E7.m2.1.1.1.1.1.2.2.3" xref="A1.E7.m2.1.1.1.1.1.2.2.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.1.1.1.2.1" xref="A1.E7.m2.1.1.1.1.1.2.1.cmml">​</mo><msup id="A1.E7.m2.1.1.1.1.1.2.3" xref="A1.E7.m2.1.1.1.1.1.2.3.cmml"><mi id="A1.E7.m2.1.1.1.1.1.2.3.2" xref="A1.E7.m2.1.1.1.1.1.2.3.2.cmml">Q</mi><mi id="A1.E7.m2.1.1.1.1.1.2.3.3" xref="A1.E7.m2.1.1.1.1.1.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.1.1.1.2.1a" xref="A1.E7.m2.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.E7.m2.1.1.1.1.1.2.4" xref="A1.E7.m2.1.1.1.1.1.2.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.1.1.1.2.1b" xref="A1.E7.m2.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.E7.m2.1.1.1.1.1.2.5" xref="A1.E7.m2.1.1.1.1.1.2.5.cmml">Q</mi></mrow><mo id="A1.E7.m2.1.1.1.1.1.1" xref="A1.E7.m2.1.1.1.1.1.1.cmml">−</mo><mrow id="A1.E7.m2.1.1.1.1.1.3" xref="A1.E7.m2.1.1.1.1.1.3.cmml"><msup id="A1.E7.m2.1.1.1.1.1.3.2" xref="A1.E7.m2.1.1.1.1.1.3.2.cmml"><mi id="A1.E7.m2.1.1.1.1.1.3.2.2" xref="A1.E7.m2.1.1.1.1.1.3.2.2.cmml">P</mi><mrow id="A1.E7.m2.1.1.1.1.1.3.2.3" xref="A1.E7.m2.1.1.1.1.1.3.2.3.cmml"><mo id="A1.E7.m2.1.1.1.1.1.3.2.3a" xref="A1.E7.m2.1.1.1.1.1.3.2.3.cmml">−</mo><mn id="A1.E7.m2.1.1.1.1.1.3.2.3.2" xref="A1.E7.m2.1.1.1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.1.1.1.3.1" xref="A1.E7.m2.1.1.1.1.1.3.1.cmml">​</mo><msup id="A1.E7.m2.1.1.1.1.1.3.3" xref="A1.E7.m2.1.1.1.1.1.3.3.cmml"><mi id="A1.E7.m2.1.1.1.1.1.3.3.2" xref="A1.E7.m2.1.1.1.1.1.3.3.2.cmml">Q</mi><mrow id="A1.E7.m2.1.1.1.1.1.3.3.3" xref="A1.E7.m2.1.1.1.1.1.3.3.3.cmml"><mo id="A1.E7.m2.1.1.1.1.1.3.3.3a" xref="A1.E7.m2.1.1.1.1.1.3.3.3.cmml">−</mo><mn id="A1.E7.m2.1.1.1.1.1.3.3.3.2" xref="A1.E7.m2.1.1.1.1.1.3.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.1.1.1.3.1a" xref="A1.E7.m2.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.E7.m2.1.1.1.1.1.3.4" xref="A1.E7.m2.1.1.1.1.1.3.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.E7.m2.1.1.1.1.1.3.1b" xref="A1.E7.m2.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.E7.m2.1.1.1.1.1.3.5" xref="A1.E7.m2.1.1.1.1.1.3.5.cmml">Q</mi></mrow></mrow><mo stretchy="false" id="A1.E7.m2.1.1.1.1.3" xref="A1.E7.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E7.m2.1b"><apply id="A1.E7.m2.1.1.cmml" xref="A1.E7.m2.1.1"><times id="A1.E7.m2.1.1.2.cmml" xref="A1.E7.m2.1.1.2"></times><cn type="integer" id="A1.E7.m2.1.1.3.cmml" xref="A1.E7.m2.1.1.3">2</cn><ci id="A1.E7.m2.1.1.4.cmml" xref="A1.E7.m2.1.1.4">t</ci><ci id="A1.E7.m2.1.1.5.cmml" xref="A1.E7.m2.1.1.5">r</ci><apply id="A1.E7.m2.1.1.1.1.1.cmml" xref="A1.E7.m2.1.1.1.1"><minus id="A1.E7.m2.1.1.1.1.1.1.cmml" xref="A1.E7.m2.1.1.1.1.1.1"></minus><apply id="A1.E7.m2.1.1.1.1.1.2.cmml" xref="A1.E7.m2.1.1.1.1.1.2"><times id="A1.E7.m2.1.1.1.1.1.2.1.cmml" xref="A1.E7.m2.1.1.1.1.1.2.1"></times><apply id="A1.E7.m2.1.1.1.1.1.2.2.cmml" xref="A1.E7.m2.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A1.E7.m2.1.1.1.1.1.2.2.1.cmml" xref="A1.E7.m2.1.1.1.1.1.2.2">superscript</csymbol><ci id="A1.E7.m2.1.1.1.1.1.2.2.2.cmml" xref="A1.E7.m2.1.1.1.1.1.2.2.2">𝐻</ci><cn type="integer" id="A1.E7.m2.1.1.1.1.1.2.2.3.cmml" xref="A1.E7.m2.1.1.1.1.1.2.2.3">2</cn></apply><apply id="A1.E7.m2.1.1.1.1.1.2.3.cmml" xref="A1.E7.m2.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A1.E7.m2.1.1.1.1.1.2.3.1.cmml" xref="A1.E7.m2.1.1.1.1.1.2.3">superscript</csymbol><ci id="A1.E7.m2.1.1.1.1.1.2.3.2.cmml" xref="A1.E7.m2.1.1.1.1.1.2.3.2">𝑄</ci><ci id="A1.E7.m2.1.1.1.1.1.2.3.3.cmml" xref="A1.E7.m2.1.1.1.1.1.2.3.3">𝑇</ci></apply><ci id="A1.E7.m2.1.1.1.1.1.2.4.cmml" xref="A1.E7.m2.1.1.1.1.1.2.4">𝑑</ci><ci id="A1.E7.m2.1.1.1.1.1.2.5.cmml" xref="A1.E7.m2.1.1.1.1.1.2.5">𝑄</ci></apply><apply id="A1.E7.m2.1.1.1.1.1.3.cmml" xref="A1.E7.m2.1.1.1.1.1.3"><times id="A1.E7.m2.1.1.1.1.1.3.1.cmml" xref="A1.E7.m2.1.1.1.1.1.3.1"></times><apply id="A1.E7.m2.1.1.1.1.1.3.2.cmml" xref="A1.E7.m2.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A1.E7.m2.1.1.1.1.1.3.2.1.cmml" xref="A1.E7.m2.1.1.1.1.1.3.2">superscript</csymbol><ci id="A1.E7.m2.1.1.1.1.1.3.2.2.cmml" xref="A1.E7.m2.1.1.1.1.1.3.2.2">𝑃</ci><apply id="A1.E7.m2.1.1.1.1.1.3.2.3.cmml" xref="A1.E7.m2.1.1.1.1.1.3.2.3"><minus id="A1.E7.m2.1.1.1.1.1.3.2.3.1.cmml" xref="A1.E7.m2.1.1.1.1.1.3.2.3"></minus><cn type="integer" id="A1.E7.m2.1.1.1.1.1.3.2.3.2.cmml" xref="A1.E7.m2.1.1.1.1.1.3.2.3.2">1</cn></apply></apply><apply id="A1.E7.m2.1.1.1.1.1.3.3.cmml" xref="A1.E7.m2.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A1.E7.m2.1.1.1.1.1.3.3.1.cmml" xref="A1.E7.m2.1.1.1.1.1.3.3">superscript</csymbol><ci id="A1.E7.m2.1.1.1.1.1.3.3.2.cmml" xref="A1.E7.m2.1.1.1.1.1.3.3.2">𝑄</ci><apply id="A1.E7.m2.1.1.1.1.1.3.3.3.cmml" xref="A1.E7.m2.1.1.1.1.1.3.3.3"><minus id="A1.E7.m2.1.1.1.1.1.3.3.3.1.cmml" xref="A1.E7.m2.1.1.1.1.1.3.3.3"></minus><cn type="integer" id="A1.E7.m2.1.1.1.1.1.3.3.3.2.cmml" xref="A1.E7.m2.1.1.1.1.1.3.3.3.2">1</cn></apply></apply><ci id="A1.E7.m2.1.1.1.1.1.3.4.cmml" xref="A1.E7.m2.1.1.1.1.1.3.4">𝑑</ci><ci id="A1.E7.m2.1.1.1.1.1.3.5.cmml" xref="A1.E7.m2.1.1.1.1.1.3.5">𝑄</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E7.m2.1c">\displaystyle 2{\rm tr}(H^{2}Q^{T}dQ-P^{-1}Q^{-1}dQ)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(7)</span></td>
</tr></tbody>
<tbody id="A1.Ex24"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex24.m1.1" class="ltx_Math" alttext="\displaystyle+{\rm tr}(dQ^{T}dQH^{2}+2dQQ^{-1}dQP^{-1}Q^{-1}+dQP^{-1}dQ^{T}Q^{-T}Q^{-1})" display="inline"><semantics id="A1.Ex24.m1.1a"><mrow id="A1.Ex24.m1.1.1" xref="A1.Ex24.m1.1.1.cmml"><mo id="A1.Ex24.m1.1.1a" xref="A1.Ex24.m1.1.1.cmml">+</mo><mrow id="A1.Ex24.m1.1.1.1" xref="A1.Ex24.m1.1.1.1.cmml"><mi id="A1.Ex24.m1.1.1.1.3" xref="A1.Ex24.m1.1.1.1.3.cmml">tr</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.2" xref="A1.Ex24.m1.1.1.1.2.cmml">​</mo><mrow id="A1.Ex24.m1.1.1.1.1.1" xref="A1.Ex24.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex24.m1.1.1.1.1.1.2" xref="A1.Ex24.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex24.m1.1.1.1.1.1.1" xref="A1.Ex24.m1.1.1.1.1.1.1.cmml"><mrow id="A1.Ex24.m1.1.1.1.1.1.1.2" xref="A1.Ex24.m1.1.1.1.1.1.1.2.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.2.2" xref="A1.Ex24.m1.1.1.1.1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.2.1" xref="A1.Ex24.m1.1.1.1.1.1.1.2.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.2.3" xref="A1.Ex24.m1.1.1.1.1.1.1.2.3.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.2.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.2.3.2.cmml">Q</mi><mi id="A1.Ex24.m1.1.1.1.1.1.1.2.3.3" xref="A1.Ex24.m1.1.1.1.1.1.1.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.2.1a" xref="A1.Ex24.m1.1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.2.4" xref="A1.Ex24.m1.1.1.1.1.1.1.2.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.2.1b" xref="A1.Ex24.m1.1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.2.5" xref="A1.Ex24.m1.1.1.1.1.1.1.2.5.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.2.1c" xref="A1.Ex24.m1.1.1.1.1.1.1.2.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.2.6" xref="A1.Ex24.m1.1.1.1.1.1.1.2.6.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.2.6.2" xref="A1.Ex24.m1.1.1.1.1.1.1.2.6.2.cmml">H</mi><mn id="A1.Ex24.m1.1.1.1.1.1.1.2.6.3" xref="A1.Ex24.m1.1.1.1.1.1.1.2.6.3.cmml">2</mn></msup></mrow><mo id="A1.Ex24.m1.1.1.1.1.1.1.1" xref="A1.Ex24.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex24.m1.1.1.1.1.1.1.3" xref="A1.Ex24.m1.1.1.1.1.1.1.3.cmml"><mn id="A1.Ex24.m1.1.1.1.1.1.1.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.3.1" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.3.3" xref="A1.Ex24.m1.1.1.1.1.1.1.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.3.1a" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.3.4" xref="A1.Ex24.m1.1.1.1.1.1.1.3.4.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.3.1b" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.3.5" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.3.5.2" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.2.cmml">Q</mi><mrow id="A1.Ex24.m1.1.1.1.1.1.1.3.5.3" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.cmml"><mo id="A1.Ex24.m1.1.1.1.1.1.1.3.5.3a" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.cmml">−</mo><mn id="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.3.1c" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.3.6" xref="A1.Ex24.m1.1.1.1.1.1.1.3.6.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.3.1d" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.3.7" xref="A1.Ex24.m1.1.1.1.1.1.1.3.7.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.3.1e" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.3.8" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.3.8.2" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.2.cmml">P</mi><mrow id="A1.Ex24.m1.1.1.1.1.1.1.3.8.3" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.cmml"><mo id="A1.Ex24.m1.1.1.1.1.1.1.3.8.3a" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.cmml">−</mo><mn id="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.3.1f" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.3.9" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.3.9.2" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.2.cmml">Q</mi><mrow id="A1.Ex24.m1.1.1.1.1.1.1.3.9.3" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.cmml"><mo id="A1.Ex24.m1.1.1.1.1.1.1.3.9.3a" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.cmml">−</mo><mn id="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.2.cmml">1</mn></mrow></msup></mrow><mo id="A1.Ex24.m1.1.1.1.1.1.1.1a" xref="A1.Ex24.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A1.Ex24.m1.1.1.1.1.1.1.4" xref="A1.Ex24.m1.1.1.1.1.1.1.4.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.4.1" xref="A1.Ex24.m1.1.1.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.3" xref="A1.Ex24.m1.1.1.1.1.1.1.4.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.4.1a" xref="A1.Ex24.m1.1.1.1.1.1.1.4.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.4.4" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.4.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.2.cmml">P</mi><mrow id="A1.Ex24.m1.1.1.1.1.1.1.4.4.3" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.cmml"><mo id="A1.Ex24.m1.1.1.1.1.1.1.4.4.3a" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.cmml">−</mo><mn id="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.4.1b" xref="A1.Ex24.m1.1.1.1.1.1.1.4.1.cmml">​</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.5" xref="A1.Ex24.m1.1.1.1.1.1.1.4.5.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.4.1c" xref="A1.Ex24.m1.1.1.1.1.1.1.4.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.4.6" xref="A1.Ex24.m1.1.1.1.1.1.1.4.6.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.6.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.6.2.cmml">Q</mi><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.6.3" xref="A1.Ex24.m1.1.1.1.1.1.1.4.6.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.4.1d" xref="A1.Ex24.m1.1.1.1.1.1.1.4.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.4.7" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.7.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.2.cmml">Q</mi><mrow id="A1.Ex24.m1.1.1.1.1.1.1.4.7.3" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.cmml"><mo id="A1.Ex24.m1.1.1.1.1.1.1.4.7.3a" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.cmml">−</mo><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex24.m1.1.1.1.1.1.1.4.1e" xref="A1.Ex24.m1.1.1.1.1.1.1.4.1.cmml">​</mo><msup id="A1.Ex24.m1.1.1.1.1.1.1.4.8" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.cmml"><mi id="A1.Ex24.m1.1.1.1.1.1.1.4.8.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.2.cmml">Q</mi><mrow id="A1.Ex24.m1.1.1.1.1.1.1.4.8.3" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.cmml"><mo id="A1.Ex24.m1.1.1.1.1.1.1.4.8.3a" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.cmml">−</mo><mn id="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.2" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo stretchy="false" id="A1.Ex24.m1.1.1.1.1.1.3" xref="A1.Ex24.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex24.m1.1b"><apply id="A1.Ex24.m1.1.1.cmml" xref="A1.Ex24.m1.1.1"><plus id="A1.Ex24.m1.1.1.2.cmml" xref="A1.Ex24.m1.1.1"></plus><apply id="A1.Ex24.m1.1.1.1.cmml" xref="A1.Ex24.m1.1.1.1"><times id="A1.Ex24.m1.1.1.1.2.cmml" xref="A1.Ex24.m1.1.1.1.2"></times><ci id="A1.Ex24.m1.1.1.1.3.cmml" xref="A1.Ex24.m1.1.1.1.3">tr</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1"><plus id="A1.Ex24.m1.1.1.1.1.1.1.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.1"></plus><apply id="A1.Ex24.m1.1.1.1.1.1.1.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2"><times id="A1.Ex24.m1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.1"></times><ci id="A1.Ex24.m1.1.1.1.1.1.1.2.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.2">𝑑</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.2.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.2.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.3">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.2.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.3.2">𝑄</ci><ci id="A1.Ex24.m1.1.1.1.1.1.1.2.3.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.3.3">𝑇</ci></apply><ci id="A1.Ex24.m1.1.1.1.1.1.1.2.4.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.4">𝑑</ci><ci id="A1.Ex24.m1.1.1.1.1.1.1.2.5.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.5">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.2.6.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.6"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.2.6.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.6">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.2.6.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.6.2">𝐻</ci><cn type="integer" id="A1.Ex24.m1.1.1.1.1.1.1.2.6.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.2.6.3">2</cn></apply></apply><apply id="A1.Ex24.m1.1.1.1.1.1.1.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3"><times id="A1.Ex24.m1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.1"></times><cn type="integer" id="A1.Ex24.m1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.2">2</cn><ci id="A1.Ex24.m1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.3">𝑑</ci><ci id="A1.Ex24.m1.1.1.1.1.1.1.3.4.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.4">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.3.5.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.3.5.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.3.5.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.2">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.3"><minus id="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.3"></minus><cn type="integer" id="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.5.3.2">1</cn></apply></apply><ci id="A1.Ex24.m1.1.1.1.1.1.1.3.6.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.6">𝑑</ci><ci id="A1.Ex24.m1.1.1.1.1.1.1.3.7.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.7">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.3.8.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.3.8.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.3.8.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.2">𝑃</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.3"><minus id="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.3"></minus><cn type="integer" id="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.8.3.2">1</cn></apply></apply><apply id="A1.Ex24.m1.1.1.1.1.1.1.3.9.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.3.9.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.3.9.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.2">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.3"><minus id="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.3"></minus><cn type="integer" id="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.3.9.3.2">1</cn></apply></apply></apply><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4"><times id="A1.Ex24.m1.1.1.1.1.1.1.4.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.1"></times><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.2">𝑑</ci><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.3">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.4.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.4.4.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.4.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.2">𝑃</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.3"><minus id="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.3"></minus><cn type="integer" id="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.4.3.2">1</cn></apply></apply><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.5.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.5">𝑑</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.6.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.6"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.4.6.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.6">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.6.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.6.2">𝑄</ci><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.6.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.6.3">𝑇</ci></apply><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.7.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.4.7.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.7.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.2">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.3"><minus id="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.3"></minus><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.7.3.2">𝑇</ci></apply></apply><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.8.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8"><csymbol cd="ambiguous" id="A1.Ex24.m1.1.1.1.1.1.1.4.8.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8">superscript</csymbol><ci id="A1.Ex24.m1.1.1.1.1.1.1.4.8.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.2">𝑄</ci><apply id="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.3"><minus id="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.1.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.3"></minus><cn type="integer" id="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.2.cmml" xref="A1.Ex24.m1.1.1.1.1.1.1.4.8.3.2">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex24.m1.1c">\displaystyle+{\rm tr}(dQ^{T}dQH^{2}+2dQQ^{-1}dQP^{-1}Q^{-1}+dQP^{-1}dQ^{T}Q^{-T}Q^{-1})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A1.SS1.6.p4" class="ltx_para">
<p id="A1.SS1.6.p4.2" class="ltx_p">From equation <a href="#A1.E7" title="Equation 7 ‣ Proof. ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">7</span></a>, the first order derivatives of <math id="A1.SS1.6.p4.1.m1.1" class="ltx_Math" alttext="c" display="inline"><semantics id="A1.SS1.6.p4.1.m1.1a"><mi id="A1.SS1.6.p4.1.m1.1.1" xref="A1.SS1.6.p4.1.m1.1.1.cmml">c</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.1.m1.1b"><ci id="A1.SS1.6.p4.1.m1.1.1.cmml" xref="A1.SS1.6.p4.1.m1.1.1">𝑐</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.1.m1.1c">c</annotation></semantics></math> with respect to <math id="A1.SS1.6.p4.2.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.6.p4.2.m2.1a"><mi id="A1.SS1.6.p4.2.m2.1.1" xref="A1.SS1.6.p4.2.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.2.m2.1b"><ci id="A1.SS1.6.p4.2.m2.1.1.cmml" xref="A1.SS1.6.p4.2.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.2.m2.1c">Q</annotation></semantics></math> is given by</p>
<table id="A12.EGx12" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex25"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex25.m1.1" class="ltx_Math" alttext="\displaystyle\frac{\partial c}{\partial Q}=QH^{2}-Q^{-T}P^{-1}" display="inline"><semantics id="A1.Ex25.m1.1a"><mrow id="A1.Ex25.m1.1.1" xref="A1.Ex25.m1.1.1.cmml"><mstyle displaystyle="true" id="A1.Ex25.m1.1.1.2" xref="A1.Ex25.m1.1.1.2.cmml"><mfrac id="A1.Ex25.m1.1.1.2a" xref="A1.Ex25.m1.1.1.2.cmml"><mrow id="A1.Ex25.m1.1.1.2.2" xref="A1.Ex25.m1.1.1.2.2.cmml"><mo rspace="0em" id="A1.Ex25.m1.1.1.2.2.1" xref="A1.Ex25.m1.1.1.2.2.1.cmml">∂</mo><mi id="A1.Ex25.m1.1.1.2.2.2" xref="A1.Ex25.m1.1.1.2.2.2.cmml">c</mi></mrow><mrow id="A1.Ex25.m1.1.1.2.3" xref="A1.Ex25.m1.1.1.2.3.cmml"><mo rspace="0em" id="A1.Ex25.m1.1.1.2.3.1" xref="A1.Ex25.m1.1.1.2.3.1.cmml">∂</mo><mi id="A1.Ex25.m1.1.1.2.3.2" xref="A1.Ex25.m1.1.1.2.3.2.cmml">Q</mi></mrow></mfrac></mstyle><mo id="A1.Ex25.m1.1.1.1" xref="A1.Ex25.m1.1.1.1.cmml">=</mo><mrow id="A1.Ex25.m1.1.1.3" xref="A1.Ex25.m1.1.1.3.cmml"><mrow id="A1.Ex25.m1.1.1.3.2" xref="A1.Ex25.m1.1.1.3.2.cmml"><mi id="A1.Ex25.m1.1.1.3.2.2" xref="A1.Ex25.m1.1.1.3.2.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex25.m1.1.1.3.2.1" xref="A1.Ex25.m1.1.1.3.2.1.cmml">​</mo><msup id="A1.Ex25.m1.1.1.3.2.3" xref="A1.Ex25.m1.1.1.3.2.3.cmml"><mi id="A1.Ex25.m1.1.1.3.2.3.2" xref="A1.Ex25.m1.1.1.3.2.3.2.cmml">H</mi><mn id="A1.Ex25.m1.1.1.3.2.3.3" xref="A1.Ex25.m1.1.1.3.2.3.3.cmml">2</mn></msup></mrow><mo id="A1.Ex25.m1.1.1.3.1" xref="A1.Ex25.m1.1.1.3.1.cmml">−</mo><mrow id="A1.Ex25.m1.1.1.3.3" xref="A1.Ex25.m1.1.1.3.3.cmml"><msup id="A1.Ex25.m1.1.1.3.3.2" xref="A1.Ex25.m1.1.1.3.3.2.cmml"><mi id="A1.Ex25.m1.1.1.3.3.2.2" xref="A1.Ex25.m1.1.1.3.3.2.2.cmml">Q</mi><mrow id="A1.Ex25.m1.1.1.3.3.2.3" xref="A1.Ex25.m1.1.1.3.3.2.3.cmml"><mo id="A1.Ex25.m1.1.1.3.3.2.3a" xref="A1.Ex25.m1.1.1.3.3.2.3.cmml">−</mo><mi id="A1.Ex25.m1.1.1.3.3.2.3.2" xref="A1.Ex25.m1.1.1.3.3.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A1.Ex25.m1.1.1.3.3.1" xref="A1.Ex25.m1.1.1.3.3.1.cmml">​</mo><msup id="A1.Ex25.m1.1.1.3.3.3" xref="A1.Ex25.m1.1.1.3.3.3.cmml"><mi id="A1.Ex25.m1.1.1.3.3.3.2" xref="A1.Ex25.m1.1.1.3.3.3.2.cmml">P</mi><mrow id="A1.Ex25.m1.1.1.3.3.3.3" xref="A1.Ex25.m1.1.1.3.3.3.3.cmml"><mo id="A1.Ex25.m1.1.1.3.3.3.3a" xref="A1.Ex25.m1.1.1.3.3.3.3.cmml">−</mo><mn id="A1.Ex25.m1.1.1.3.3.3.3.2" xref="A1.Ex25.m1.1.1.3.3.3.3.2.cmml">1</mn></mrow></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex25.m1.1b"><apply id="A1.Ex25.m1.1.1.cmml" xref="A1.Ex25.m1.1.1"><eq id="A1.Ex25.m1.1.1.1.cmml" xref="A1.Ex25.m1.1.1.1"></eq><apply id="A1.Ex25.m1.1.1.2.cmml" xref="A1.Ex25.m1.1.1.2"><divide id="A1.Ex25.m1.1.1.2.1.cmml" xref="A1.Ex25.m1.1.1.2"></divide><apply id="A1.Ex25.m1.1.1.2.2.cmml" xref="A1.Ex25.m1.1.1.2.2"><partialdiff id="A1.Ex25.m1.1.1.2.2.1.cmml" xref="A1.Ex25.m1.1.1.2.2.1"></partialdiff><ci id="A1.Ex25.m1.1.1.2.2.2.cmml" xref="A1.Ex25.m1.1.1.2.2.2">𝑐</ci></apply><apply id="A1.Ex25.m1.1.1.2.3.cmml" xref="A1.Ex25.m1.1.1.2.3"><partialdiff id="A1.Ex25.m1.1.1.2.3.1.cmml" xref="A1.Ex25.m1.1.1.2.3.1"></partialdiff><ci id="A1.Ex25.m1.1.1.2.3.2.cmml" xref="A1.Ex25.m1.1.1.2.3.2">𝑄</ci></apply></apply><apply id="A1.Ex25.m1.1.1.3.cmml" xref="A1.Ex25.m1.1.1.3"><minus id="A1.Ex25.m1.1.1.3.1.cmml" xref="A1.Ex25.m1.1.1.3.1"></minus><apply id="A1.Ex25.m1.1.1.3.2.cmml" xref="A1.Ex25.m1.1.1.3.2"><times id="A1.Ex25.m1.1.1.3.2.1.cmml" xref="A1.Ex25.m1.1.1.3.2.1"></times><ci id="A1.Ex25.m1.1.1.3.2.2.cmml" xref="A1.Ex25.m1.1.1.3.2.2">𝑄</ci><apply id="A1.Ex25.m1.1.1.3.2.3.cmml" xref="A1.Ex25.m1.1.1.3.2.3"><csymbol cd="ambiguous" id="A1.Ex25.m1.1.1.3.2.3.1.cmml" xref="A1.Ex25.m1.1.1.3.2.3">superscript</csymbol><ci id="A1.Ex25.m1.1.1.3.2.3.2.cmml" xref="A1.Ex25.m1.1.1.3.2.3.2">𝐻</ci><cn type="integer" id="A1.Ex25.m1.1.1.3.2.3.3.cmml" xref="A1.Ex25.m1.1.1.3.2.3.3">2</cn></apply></apply><apply id="A1.Ex25.m1.1.1.3.3.cmml" xref="A1.Ex25.m1.1.1.3.3"><times id="A1.Ex25.m1.1.1.3.3.1.cmml" xref="A1.Ex25.m1.1.1.3.3.1"></times><apply id="A1.Ex25.m1.1.1.3.3.2.cmml" xref="A1.Ex25.m1.1.1.3.3.2"><csymbol cd="ambiguous" id="A1.Ex25.m1.1.1.3.3.2.1.cmml" xref="A1.Ex25.m1.1.1.3.3.2">superscript</csymbol><ci id="A1.Ex25.m1.1.1.3.3.2.2.cmml" xref="A1.Ex25.m1.1.1.3.3.2.2">𝑄</ci><apply id="A1.Ex25.m1.1.1.3.3.2.3.cmml" xref="A1.Ex25.m1.1.1.3.3.2.3"><minus id="A1.Ex25.m1.1.1.3.3.2.3.1.cmml" xref="A1.Ex25.m1.1.1.3.3.2.3"></minus><ci id="A1.Ex25.m1.1.1.3.3.2.3.2.cmml" xref="A1.Ex25.m1.1.1.3.3.2.3.2">𝑇</ci></apply></apply><apply id="A1.Ex25.m1.1.1.3.3.3.cmml" xref="A1.Ex25.m1.1.1.3.3.3"><csymbol cd="ambiguous" id="A1.Ex25.m1.1.1.3.3.3.1.cmml" xref="A1.Ex25.m1.1.1.3.3.3">superscript</csymbol><ci id="A1.Ex25.m1.1.1.3.3.3.2.cmml" xref="A1.Ex25.m1.1.1.3.3.3.2">𝑃</ci><apply id="A1.Ex25.m1.1.1.3.3.3.3.cmml" xref="A1.Ex25.m1.1.1.3.3.3.3"><minus id="A1.Ex25.m1.1.1.3.3.3.3.1.cmml" xref="A1.Ex25.m1.1.1.3.3.3.3"></minus><cn type="integer" id="A1.Ex25.m1.1.1.3.3.3.3.2.cmml" xref="A1.Ex25.m1.1.1.3.3.3.3.2">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex25.m1.1c">\displaystyle\frac{\partial c}{\partial Q}=QH^{2}-Q^{-T}P^{-1}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.6.p4.7" class="ltx_p">A stationary point is obtained by letting <math id="A1.SS1.6.p4.3.m1.1" class="ltx_Math" alttext="\frac{\partial c}{\partial Q}=0" display="inline"><semantics id="A1.SS1.6.p4.3.m1.1a"><mrow id="A1.SS1.6.p4.3.m1.1.1" xref="A1.SS1.6.p4.3.m1.1.1.cmml"><mfrac id="A1.SS1.6.p4.3.m1.1.1.2" xref="A1.SS1.6.p4.3.m1.1.1.2.cmml"><mrow id="A1.SS1.6.p4.3.m1.1.1.2.2" xref="A1.SS1.6.p4.3.m1.1.1.2.2.cmml"><mo rspace="0em" id="A1.SS1.6.p4.3.m1.1.1.2.2.1" xref="A1.SS1.6.p4.3.m1.1.1.2.2.1.cmml">∂</mo><mi id="A1.SS1.6.p4.3.m1.1.1.2.2.2" xref="A1.SS1.6.p4.3.m1.1.1.2.2.2.cmml">c</mi></mrow><mrow id="A1.SS1.6.p4.3.m1.1.1.2.3" xref="A1.SS1.6.p4.3.m1.1.1.2.3.cmml"><mo rspace="0em" id="A1.SS1.6.p4.3.m1.1.1.2.3.1" xref="A1.SS1.6.p4.3.m1.1.1.2.3.1.cmml">∂</mo><mi id="A1.SS1.6.p4.3.m1.1.1.2.3.2" xref="A1.SS1.6.p4.3.m1.1.1.2.3.2.cmml">Q</mi></mrow></mfrac><mo id="A1.SS1.6.p4.3.m1.1.1.1" xref="A1.SS1.6.p4.3.m1.1.1.1.cmml">=</mo><mn id="A1.SS1.6.p4.3.m1.1.1.3" xref="A1.SS1.6.p4.3.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.3.m1.1b"><apply id="A1.SS1.6.p4.3.m1.1.1.cmml" xref="A1.SS1.6.p4.3.m1.1.1"><eq id="A1.SS1.6.p4.3.m1.1.1.1.cmml" xref="A1.SS1.6.p4.3.m1.1.1.1"></eq><apply id="A1.SS1.6.p4.3.m1.1.1.2.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2"><divide id="A1.SS1.6.p4.3.m1.1.1.2.1.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2"></divide><apply id="A1.SS1.6.p4.3.m1.1.1.2.2.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2.2"><partialdiff id="A1.SS1.6.p4.3.m1.1.1.2.2.1.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2.2.1"></partialdiff><ci id="A1.SS1.6.p4.3.m1.1.1.2.2.2.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2.2.2">𝑐</ci></apply><apply id="A1.SS1.6.p4.3.m1.1.1.2.3.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2.3"><partialdiff id="A1.SS1.6.p4.3.m1.1.1.2.3.1.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2.3.1"></partialdiff><ci id="A1.SS1.6.p4.3.m1.1.1.2.3.2.cmml" xref="A1.SS1.6.p4.3.m1.1.1.2.3.2">𝑄</ci></apply></apply><cn type="integer" id="A1.SS1.6.p4.3.m1.1.1.3.cmml" xref="A1.SS1.6.p4.3.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.3.m1.1c">\frac{\partial c}{\partial Q}=0</annotation></semantics></math>, which leads to <math id="A1.SS1.6.p4.4.m2.1" class="ltx_Math" alttext="H^{2}=P^{-2}" display="inline"><semantics id="A1.SS1.6.p4.4.m2.1a"><mrow id="A1.SS1.6.p4.4.m2.1.1" xref="A1.SS1.6.p4.4.m2.1.1.cmml"><msup id="A1.SS1.6.p4.4.m2.1.1.2" xref="A1.SS1.6.p4.4.m2.1.1.2.cmml"><mi id="A1.SS1.6.p4.4.m2.1.1.2.2" xref="A1.SS1.6.p4.4.m2.1.1.2.2.cmml">H</mi><mn id="A1.SS1.6.p4.4.m2.1.1.2.3" xref="A1.SS1.6.p4.4.m2.1.1.2.3.cmml">2</mn></msup><mo id="A1.SS1.6.p4.4.m2.1.1.1" xref="A1.SS1.6.p4.4.m2.1.1.1.cmml">=</mo><msup id="A1.SS1.6.p4.4.m2.1.1.3" xref="A1.SS1.6.p4.4.m2.1.1.3.cmml"><mi id="A1.SS1.6.p4.4.m2.1.1.3.2" xref="A1.SS1.6.p4.4.m2.1.1.3.2.cmml">P</mi><mrow id="A1.SS1.6.p4.4.m2.1.1.3.3" xref="A1.SS1.6.p4.4.m2.1.1.3.3.cmml"><mo id="A1.SS1.6.p4.4.m2.1.1.3.3a" xref="A1.SS1.6.p4.4.m2.1.1.3.3.cmml">−</mo><mn id="A1.SS1.6.p4.4.m2.1.1.3.3.2" xref="A1.SS1.6.p4.4.m2.1.1.3.3.2.cmml">2</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.4.m2.1b"><apply id="A1.SS1.6.p4.4.m2.1.1.cmml" xref="A1.SS1.6.p4.4.m2.1.1"><eq id="A1.SS1.6.p4.4.m2.1.1.1.cmml" xref="A1.SS1.6.p4.4.m2.1.1.1"></eq><apply id="A1.SS1.6.p4.4.m2.1.1.2.cmml" xref="A1.SS1.6.p4.4.m2.1.1.2"><csymbol cd="ambiguous" id="A1.SS1.6.p4.4.m2.1.1.2.1.cmml" xref="A1.SS1.6.p4.4.m2.1.1.2">superscript</csymbol><ci id="A1.SS1.6.p4.4.m2.1.1.2.2.cmml" xref="A1.SS1.6.p4.4.m2.1.1.2.2">𝐻</ci><cn type="integer" id="A1.SS1.6.p4.4.m2.1.1.2.3.cmml" xref="A1.SS1.6.p4.4.m2.1.1.2.3">2</cn></apply><apply id="A1.SS1.6.p4.4.m2.1.1.3.cmml" xref="A1.SS1.6.p4.4.m2.1.1.3"><csymbol cd="ambiguous" id="A1.SS1.6.p4.4.m2.1.1.3.1.cmml" xref="A1.SS1.6.p4.4.m2.1.1.3">superscript</csymbol><ci id="A1.SS1.6.p4.4.m2.1.1.3.2.cmml" xref="A1.SS1.6.p4.4.m2.1.1.3.2">𝑃</ci><apply id="A1.SS1.6.p4.4.m2.1.1.3.3.cmml" xref="A1.SS1.6.p4.4.m2.1.1.3.3"><minus id="A1.SS1.6.p4.4.m2.1.1.3.3.1.cmml" xref="A1.SS1.6.p4.4.m2.1.1.3.3"></minus><cn type="integer" id="A1.SS1.6.p4.4.m2.1.1.3.3.2.cmml" xref="A1.SS1.6.p4.4.m2.1.1.3.3.2">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.4.m2.1c">H^{2}=P^{-2}</annotation></semantics></math>. Hence, such a <math id="A1.SS1.6.p4.5.m3.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS1.6.p4.5.m3.1a"><mi id="A1.SS1.6.p4.5.m3.1.1" xref="A1.SS1.6.p4.5.m3.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.5.m3.1b"><ci id="A1.SS1.6.p4.5.m3.1.1.cmml" xref="A1.SS1.6.p4.5.m3.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.5.m3.1c">P</annotation></semantics></math> always exists as long as <math id="A1.SS1.6.p4.6.m4.1" class="ltx_Math" alttext="H^{2}" display="inline"><semantics id="A1.SS1.6.p4.6.m4.1a"><msup id="A1.SS1.6.p4.6.m4.1.1" xref="A1.SS1.6.p4.6.m4.1.1.cmml"><mi id="A1.SS1.6.p4.6.m4.1.1.2" xref="A1.SS1.6.p4.6.m4.1.1.2.cmml">H</mi><mn id="A1.SS1.6.p4.6.m4.1.1.3" xref="A1.SS1.6.p4.6.m4.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.6.m4.1b"><apply id="A1.SS1.6.p4.6.m4.1.1.cmml" xref="A1.SS1.6.p4.6.m4.1.1"><csymbol cd="ambiguous" id="A1.SS1.6.p4.6.m4.1.1.1.cmml" xref="A1.SS1.6.p4.6.m4.1.1">superscript</csymbol><ci id="A1.SS1.6.p4.6.m4.1.1.2.cmml" xref="A1.SS1.6.p4.6.m4.1.1.2">𝐻</ci><cn type="integer" id="A1.SS1.6.p4.6.m4.1.1.3.cmml" xref="A1.SS1.6.p4.6.m4.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.6.m4.1c">H^{2}</annotation></semantics></math> is invertible. Via relationship <math id="A1.SS1.6.p4.7.m5.1" class="ltx_Math" alttext="dQ=Q\mathcal{E}" display="inline"><semantics id="A1.SS1.6.p4.7.m5.1a"><mrow id="A1.SS1.6.p4.7.m5.1.1" xref="A1.SS1.6.p4.7.m5.1.1.cmml"><mrow id="A1.SS1.6.p4.7.m5.1.1.2" xref="A1.SS1.6.p4.7.m5.1.1.2.cmml"><mi id="A1.SS1.6.p4.7.m5.1.1.2.2" xref="A1.SS1.6.p4.7.m5.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.6.p4.7.m5.1.1.2.1" xref="A1.SS1.6.p4.7.m5.1.1.2.1.cmml">​</mo><mi id="A1.SS1.6.p4.7.m5.1.1.2.3" xref="A1.SS1.6.p4.7.m5.1.1.2.3.cmml">Q</mi></mrow><mo id="A1.SS1.6.p4.7.m5.1.1.1" xref="A1.SS1.6.p4.7.m5.1.1.1.cmml">=</mo><mrow id="A1.SS1.6.p4.7.m5.1.1.3" xref="A1.SS1.6.p4.7.m5.1.1.3.cmml"><mi id="A1.SS1.6.p4.7.m5.1.1.3.2" xref="A1.SS1.6.p4.7.m5.1.1.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.SS1.6.p4.7.m5.1.1.3.1" xref="A1.SS1.6.p4.7.m5.1.1.3.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="A1.SS1.6.p4.7.m5.1.1.3.3" xref="A1.SS1.6.p4.7.m5.1.1.3.3.cmml">ℰ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.7.m5.1b"><apply id="A1.SS1.6.p4.7.m5.1.1.cmml" xref="A1.SS1.6.p4.7.m5.1.1"><eq id="A1.SS1.6.p4.7.m5.1.1.1.cmml" xref="A1.SS1.6.p4.7.m5.1.1.1"></eq><apply id="A1.SS1.6.p4.7.m5.1.1.2.cmml" xref="A1.SS1.6.p4.7.m5.1.1.2"><times id="A1.SS1.6.p4.7.m5.1.1.2.1.cmml" xref="A1.SS1.6.p4.7.m5.1.1.2.1"></times><ci id="A1.SS1.6.p4.7.m5.1.1.2.2.cmml" xref="A1.SS1.6.p4.7.m5.1.1.2.2">𝑑</ci><ci id="A1.SS1.6.p4.7.m5.1.1.2.3.cmml" xref="A1.SS1.6.p4.7.m5.1.1.2.3">𝑄</ci></apply><apply id="A1.SS1.6.p4.7.m5.1.1.3.cmml" xref="A1.SS1.6.p4.7.m5.1.1.3"><times id="A1.SS1.6.p4.7.m5.1.1.3.1.cmml" xref="A1.SS1.6.p4.7.m5.1.1.3.1"></times><ci id="A1.SS1.6.p4.7.m5.1.1.3.2.cmml" xref="A1.SS1.6.p4.7.m5.1.1.3.2">𝑄</ci><ci id="A1.SS1.6.p4.7.m5.1.1.3.3.cmml" xref="A1.SS1.6.p4.7.m5.1.1.3.3">ℰ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.7.m5.1c">dQ=Q\mathcal{E}</annotation></semantics></math>, the gradient on the Lie group is</p>
<table id="A12.EGx13" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex26"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex26.m1.1" class="ltx_Math" alttext="\displaystyle\nabla_{\mathcal{E}}=Q^{T}\frac{\partial c}{\partial Q}" display="inline"><semantics id="A1.Ex26.m1.1a"><mrow id="A1.Ex26.m1.1.1" xref="A1.Ex26.m1.1.1.cmml"><msub id="A1.Ex26.m1.1.1.2" xref="A1.Ex26.m1.1.1.2.cmml"><mo id="A1.Ex26.m1.1.1.2.2" xref="A1.Ex26.m1.1.1.2.2.cmml">∇</mo><mi class="ltx_font_mathcaligraphic" id="A1.Ex26.m1.1.1.2.3" xref="A1.Ex26.m1.1.1.2.3.cmml">ℰ</mi></msub><mo id="A1.Ex26.m1.1.1.1" xref="A1.Ex26.m1.1.1.1.cmml">=</mo><mrow id="A1.Ex26.m1.1.1.3" xref="A1.Ex26.m1.1.1.3.cmml"><msup id="A1.Ex26.m1.1.1.3.2" xref="A1.Ex26.m1.1.1.3.2.cmml"><mi id="A1.Ex26.m1.1.1.3.2.2" xref="A1.Ex26.m1.1.1.3.2.2.cmml">Q</mi><mi id="A1.Ex26.m1.1.1.3.2.3" xref="A1.Ex26.m1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex26.m1.1.1.3.1" xref="A1.Ex26.m1.1.1.3.1.cmml">​</mo><mstyle displaystyle="true" id="A1.Ex26.m1.1.1.3.3" xref="A1.Ex26.m1.1.1.3.3.cmml"><mfrac id="A1.Ex26.m1.1.1.3.3a" xref="A1.Ex26.m1.1.1.3.3.cmml"><mrow id="A1.Ex26.m1.1.1.3.3.2" xref="A1.Ex26.m1.1.1.3.3.2.cmml"><mo rspace="0em" id="A1.Ex26.m1.1.1.3.3.2.1" xref="A1.Ex26.m1.1.1.3.3.2.1.cmml">∂</mo><mi id="A1.Ex26.m1.1.1.3.3.2.2" xref="A1.Ex26.m1.1.1.3.3.2.2.cmml">c</mi></mrow><mrow id="A1.Ex26.m1.1.1.3.3.3" xref="A1.Ex26.m1.1.1.3.3.3.cmml"><mo rspace="0em" id="A1.Ex26.m1.1.1.3.3.3.1" xref="A1.Ex26.m1.1.1.3.3.3.1.cmml">∂</mo><mi id="A1.Ex26.m1.1.1.3.3.3.2" xref="A1.Ex26.m1.1.1.3.3.3.2.cmml">Q</mi></mrow></mfrac></mstyle></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex26.m1.1b"><apply id="A1.Ex26.m1.1.1.cmml" xref="A1.Ex26.m1.1.1"><eq id="A1.Ex26.m1.1.1.1.cmml" xref="A1.Ex26.m1.1.1.1"></eq><apply id="A1.Ex26.m1.1.1.2.cmml" xref="A1.Ex26.m1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex26.m1.1.1.2.1.cmml" xref="A1.Ex26.m1.1.1.2">subscript</csymbol><ci id="A1.Ex26.m1.1.1.2.2.cmml" xref="A1.Ex26.m1.1.1.2.2">∇</ci><ci id="A1.Ex26.m1.1.1.2.3.cmml" xref="A1.Ex26.m1.1.1.2.3">ℰ</ci></apply><apply id="A1.Ex26.m1.1.1.3.cmml" xref="A1.Ex26.m1.1.1.3"><times id="A1.Ex26.m1.1.1.3.1.cmml" xref="A1.Ex26.m1.1.1.3.1"></times><apply id="A1.Ex26.m1.1.1.3.2.cmml" xref="A1.Ex26.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.Ex26.m1.1.1.3.2.1.cmml" xref="A1.Ex26.m1.1.1.3.2">superscript</csymbol><ci id="A1.Ex26.m1.1.1.3.2.2.cmml" xref="A1.Ex26.m1.1.1.3.2.2">𝑄</ci><ci id="A1.Ex26.m1.1.1.3.2.3.cmml" xref="A1.Ex26.m1.1.1.3.2.3">𝑇</ci></apply><apply id="A1.Ex26.m1.1.1.3.3.cmml" xref="A1.Ex26.m1.1.1.3.3"><divide id="A1.Ex26.m1.1.1.3.3.1.cmml" xref="A1.Ex26.m1.1.1.3.3"></divide><apply id="A1.Ex26.m1.1.1.3.3.2.cmml" xref="A1.Ex26.m1.1.1.3.3.2"><partialdiff id="A1.Ex26.m1.1.1.3.3.2.1.cmml" xref="A1.Ex26.m1.1.1.3.3.2.1"></partialdiff><ci id="A1.Ex26.m1.1.1.3.3.2.2.cmml" xref="A1.Ex26.m1.1.1.3.3.2.2">𝑐</ci></apply><apply id="A1.Ex26.m1.1.1.3.3.3.cmml" xref="A1.Ex26.m1.1.1.3.3.3"><partialdiff id="A1.Ex26.m1.1.1.3.3.3.1.cmml" xref="A1.Ex26.m1.1.1.3.3.3.1"></partialdiff><ci id="A1.Ex26.m1.1.1.3.3.3.2.cmml" xref="A1.Ex26.m1.1.1.3.3.3.2">𝑄</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex26.m1.1c">\displaystyle\nabla_{\mathcal{E}}=Q^{T}\frac{\partial c}{\partial Q}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.6.p4.10" class="ltx_p">Thus, fitting <math id="A1.SS1.6.p4.8.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.6.p4.8.m1.1a"><mi id="A1.SS1.6.p4.8.m1.1.1" xref="A1.SS1.6.p4.8.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.8.m1.1b"><ci id="A1.SS1.6.p4.8.m1.1.1.cmml" xref="A1.SS1.6.p4.8.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.8.m1.1c">Q</annotation></semantics></math> on the Lie group yields the same stationary point since <math id="A1.SS1.6.p4.9.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.6.p4.9.m2.1a"><mi id="A1.SS1.6.p4.9.m2.1.1" xref="A1.SS1.6.p4.9.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.9.m2.1b"><ci id="A1.SS1.6.p4.9.m2.1.1.cmml" xref="A1.SS1.6.p4.9.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.9.m2.1c">Q</annotation></semantics></math> is invertible. Note that the stationary points only tell us that <math id="A1.SS1.6.p4.10.m3.1" class="ltx_Math" alttext="Q^{T}Q=H^{-1}" display="inline"><semantics id="A1.SS1.6.p4.10.m3.1a"><mrow id="A1.SS1.6.p4.10.m3.1.1" xref="A1.SS1.6.p4.10.m3.1.1.cmml"><mrow id="A1.SS1.6.p4.10.m3.1.1.2" xref="A1.SS1.6.p4.10.m3.1.1.2.cmml"><msup id="A1.SS1.6.p4.10.m3.1.1.2.2" xref="A1.SS1.6.p4.10.m3.1.1.2.2.cmml"><mi id="A1.SS1.6.p4.10.m3.1.1.2.2.2" xref="A1.SS1.6.p4.10.m3.1.1.2.2.2.cmml">Q</mi><mi id="A1.SS1.6.p4.10.m3.1.1.2.2.3" xref="A1.SS1.6.p4.10.m3.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.SS1.6.p4.10.m3.1.1.2.1" xref="A1.SS1.6.p4.10.m3.1.1.2.1.cmml">​</mo><mi id="A1.SS1.6.p4.10.m3.1.1.2.3" xref="A1.SS1.6.p4.10.m3.1.1.2.3.cmml">Q</mi></mrow><mo id="A1.SS1.6.p4.10.m3.1.1.1" xref="A1.SS1.6.p4.10.m3.1.1.1.cmml">=</mo><msup id="A1.SS1.6.p4.10.m3.1.1.3" xref="A1.SS1.6.p4.10.m3.1.1.3.cmml"><mi id="A1.SS1.6.p4.10.m3.1.1.3.2" xref="A1.SS1.6.p4.10.m3.1.1.3.2.cmml">H</mi><mrow id="A1.SS1.6.p4.10.m3.1.1.3.3" xref="A1.SS1.6.p4.10.m3.1.1.3.3.cmml"><mo id="A1.SS1.6.p4.10.m3.1.1.3.3a" xref="A1.SS1.6.p4.10.m3.1.1.3.3.cmml">−</mo><mn id="A1.SS1.6.p4.10.m3.1.1.3.3.2" xref="A1.SS1.6.p4.10.m3.1.1.3.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.6.p4.10.m3.1b"><apply id="A1.SS1.6.p4.10.m3.1.1.cmml" xref="A1.SS1.6.p4.10.m3.1.1"><eq id="A1.SS1.6.p4.10.m3.1.1.1.cmml" xref="A1.SS1.6.p4.10.m3.1.1.1"></eq><apply id="A1.SS1.6.p4.10.m3.1.1.2.cmml" xref="A1.SS1.6.p4.10.m3.1.1.2"><times id="A1.SS1.6.p4.10.m3.1.1.2.1.cmml" xref="A1.SS1.6.p4.10.m3.1.1.2.1"></times><apply id="A1.SS1.6.p4.10.m3.1.1.2.2.cmml" xref="A1.SS1.6.p4.10.m3.1.1.2.2"><csymbol cd="ambiguous" id="A1.SS1.6.p4.10.m3.1.1.2.2.1.cmml" xref="A1.SS1.6.p4.10.m3.1.1.2.2">superscript</csymbol><ci id="A1.SS1.6.p4.10.m3.1.1.2.2.2.cmml" xref="A1.SS1.6.p4.10.m3.1.1.2.2.2">𝑄</ci><ci id="A1.SS1.6.p4.10.m3.1.1.2.2.3.cmml" xref="A1.SS1.6.p4.10.m3.1.1.2.2.3">𝑇</ci></apply><ci id="A1.SS1.6.p4.10.m3.1.1.2.3.cmml" xref="A1.SS1.6.p4.10.m3.1.1.2.3">𝑄</ci></apply><apply id="A1.SS1.6.p4.10.m3.1.1.3.cmml" xref="A1.SS1.6.p4.10.m3.1.1.3"><csymbol cd="ambiguous" id="A1.SS1.6.p4.10.m3.1.1.3.1.cmml" xref="A1.SS1.6.p4.10.m3.1.1.3">superscript</csymbol><ci id="A1.SS1.6.p4.10.m3.1.1.3.2.cmml" xref="A1.SS1.6.p4.10.m3.1.1.3.2">𝐻</ci><apply id="A1.SS1.6.p4.10.m3.1.1.3.3.cmml" xref="A1.SS1.6.p4.10.m3.1.1.3.3"><minus id="A1.SS1.6.p4.10.m3.1.1.3.3.1.cmml" xref="A1.SS1.6.p4.10.m3.1.1.3.3"></minus><cn type="integer" id="A1.SS1.6.p4.10.m3.1.1.3.3.2.cmml" xref="A1.SS1.6.p4.10.m3.1.1.3.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.6.p4.10.m3.1c">Q^{T}Q=H^{-1}</annotation></semantics></math> without excluding the rotation ambiguity.</p>
</div>
<div id="A1.SS1.7.p5" class="ltx_para">
<p id="A1.SS1.7.p5.3" class="ltx_p">Without the constraint <math id="A1.SS1.7.p5.1.m1.1" class="ltx_Math" alttext="dQ=dQ^{T}" display="inline"><semantics id="A1.SS1.7.p5.1.m1.1a"><mrow id="A1.SS1.7.p5.1.m1.1.1" xref="A1.SS1.7.p5.1.m1.1.1.cmml"><mrow id="A1.SS1.7.p5.1.m1.1.1.2" xref="A1.SS1.7.p5.1.m1.1.1.2.cmml"><mi id="A1.SS1.7.p5.1.m1.1.1.2.2" xref="A1.SS1.7.p5.1.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.7.p5.1.m1.1.1.2.1" xref="A1.SS1.7.p5.1.m1.1.1.2.1.cmml">​</mo><mi id="A1.SS1.7.p5.1.m1.1.1.2.3" xref="A1.SS1.7.p5.1.m1.1.1.2.3.cmml">Q</mi></mrow><mo id="A1.SS1.7.p5.1.m1.1.1.1" xref="A1.SS1.7.p5.1.m1.1.1.1.cmml">=</mo><mrow id="A1.SS1.7.p5.1.m1.1.1.3" xref="A1.SS1.7.p5.1.m1.1.1.3.cmml"><mi id="A1.SS1.7.p5.1.m1.1.1.3.2" xref="A1.SS1.7.p5.1.m1.1.1.3.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.7.p5.1.m1.1.1.3.1" xref="A1.SS1.7.p5.1.m1.1.1.3.1.cmml">​</mo><msup id="A1.SS1.7.p5.1.m1.1.1.3.3" xref="A1.SS1.7.p5.1.m1.1.1.3.3.cmml"><mi id="A1.SS1.7.p5.1.m1.1.1.3.3.2" xref="A1.SS1.7.p5.1.m1.1.1.3.3.2.cmml">Q</mi><mi id="A1.SS1.7.p5.1.m1.1.1.3.3.3" xref="A1.SS1.7.p5.1.m1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.7.p5.1.m1.1b"><apply id="A1.SS1.7.p5.1.m1.1.1.cmml" xref="A1.SS1.7.p5.1.m1.1.1"><eq id="A1.SS1.7.p5.1.m1.1.1.1.cmml" xref="A1.SS1.7.p5.1.m1.1.1.1"></eq><apply id="A1.SS1.7.p5.1.m1.1.1.2.cmml" xref="A1.SS1.7.p5.1.m1.1.1.2"><times id="A1.SS1.7.p5.1.m1.1.1.2.1.cmml" xref="A1.SS1.7.p5.1.m1.1.1.2.1"></times><ci id="A1.SS1.7.p5.1.m1.1.1.2.2.cmml" xref="A1.SS1.7.p5.1.m1.1.1.2.2">𝑑</ci><ci id="A1.SS1.7.p5.1.m1.1.1.2.3.cmml" xref="A1.SS1.7.p5.1.m1.1.1.2.3">𝑄</ci></apply><apply id="A1.SS1.7.p5.1.m1.1.1.3.cmml" xref="A1.SS1.7.p5.1.m1.1.1.3"><times id="A1.SS1.7.p5.1.m1.1.1.3.1.cmml" xref="A1.SS1.7.p5.1.m1.1.1.3.1"></times><ci id="A1.SS1.7.p5.1.m1.1.1.3.2.cmml" xref="A1.SS1.7.p5.1.m1.1.1.3.2">𝑑</ci><apply id="A1.SS1.7.p5.1.m1.1.1.3.3.cmml" xref="A1.SS1.7.p5.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="A1.SS1.7.p5.1.m1.1.1.3.3.1.cmml" xref="A1.SS1.7.p5.1.m1.1.1.3.3">superscript</csymbol><ci id="A1.SS1.7.p5.1.m1.1.1.3.3.2.cmml" xref="A1.SS1.7.p5.1.m1.1.1.3.3.2">𝑄</ci><ci id="A1.SS1.7.p5.1.m1.1.1.3.3.3.cmml" xref="A1.SS1.7.p5.1.m1.1.1.3.3.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.7.p5.1.m1.1c">dQ=dQ^{T}</annotation></semantics></math>, the second order derivative of <math id="A1.SS1.7.p5.2.m2.1" class="ltx_Math" alttext="c" display="inline"><semantics id="A1.SS1.7.p5.2.m2.1a"><mi id="A1.SS1.7.p5.2.m2.1.1" xref="A1.SS1.7.p5.2.m2.1.1.cmml">c</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.7.p5.2.m2.1b"><ci id="A1.SS1.7.p5.2.m2.1.1.cmml" xref="A1.SS1.7.p5.2.m2.1.1">𝑐</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.7.p5.2.m2.1c">c</annotation></semantics></math> with respect to <math id="A1.SS1.7.p5.3.m3.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.7.p5.3.m3.1a"><mi id="A1.SS1.7.p5.3.m3.1.1" xref="A1.SS1.7.p5.3.m3.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.7.p5.3.m3.1b"><ci id="A1.SS1.7.p5.3.m3.1.1.cmml" xref="A1.SS1.7.p5.3.m3.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.7.p5.3.m3.1c">Q</annotation></semantics></math> can be shown to be</p>
<table id="A12.EGx14" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex27"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex27.m1.5" class="ltx_Math" alttext="\displaystyle\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}=2I\otimes H^{2}+2J^{T}[Q^{-1}\otimes(QP)^{-T}]+2[Q^{-T}\otimes(QP)^{-1}]J+2(QQ^{T})^{-1}\otimes P^{-1}" display="inline"><semantics id="A1.Ex27.m1.5a"><mrow id="A1.Ex27.m1.5.5" xref="A1.Ex27.m1.5.5.cmml"><mstyle displaystyle="true" id="A1.Ex27.m1.2.2" xref="A1.Ex27.m1.2.2.cmml"><mfrac id="A1.Ex27.m1.2.2a" xref="A1.Ex27.m1.2.2.cmml"><mrow id="A1.Ex27.m1.2.2.4" xref="A1.Ex27.m1.2.2.4.cmml"><msup id="A1.Ex27.m1.2.2.4.1" xref="A1.Ex27.m1.2.2.4.1.cmml"><mo id="A1.Ex27.m1.2.2.4.1.2" xref="A1.Ex27.m1.2.2.4.1.2.cmml">∂</mo><mn id="A1.Ex27.m1.2.2.4.1.3" xref="A1.Ex27.m1.2.2.4.1.3.cmml">2</mn></msup><mi id="A1.Ex27.m1.2.2.4.2" xref="A1.Ex27.m1.2.2.4.2.cmml">c</mi></mrow><mrow id="A1.Ex27.m1.2.2.2" xref="A1.Ex27.m1.2.2.2.cmml"><mo rspace="0em" id="A1.Ex27.m1.2.2.2.3" xref="A1.Ex27.m1.2.2.2.3.cmml">∂</mo><msup id="A1.Ex27.m1.2.2.2.2" xref="A1.Ex27.m1.2.2.2.2.cmml"><mrow id="A1.Ex27.m1.2.2.2.2.1.1" xref="A1.Ex27.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.Ex27.m1.2.2.2.2.1.1.2" xref="A1.Ex27.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.Ex27.m1.2.2.2.2.1.1.1" xref="A1.Ex27.m1.2.2.2.2.1.1.1.cmml"><mi id="A1.Ex27.m1.2.2.2.2.1.1.1.2" xref="A1.Ex27.m1.2.2.2.2.1.1.1.2.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.2.2.2.2.1.1.1.1" xref="A1.Ex27.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mrow id="A1.Ex27.m1.2.2.2.2.1.1.1.3.2" xref="A1.Ex27.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.Ex27.m1.2.2.2.2.1.1.1.3.2.1" xref="A1.Ex27.m1.2.2.2.2.1.1.1.cmml">(</mo><mi id="A1.Ex27.m1.1.1.1.1" xref="A1.Ex27.m1.1.1.1.1.cmml">Q</mi><mo stretchy="false" id="A1.Ex27.m1.2.2.2.2.1.1.1.3.2.2" xref="A1.Ex27.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.Ex27.m1.2.2.2.2.1.1.3" xref="A1.Ex27.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex27.m1.2.2.2.2.3" xref="A1.Ex27.m1.2.2.2.2.3.cmml">2</mn></msup></mrow></mfrac></mstyle><mo id="A1.Ex27.m1.5.5.4" xref="A1.Ex27.m1.5.5.4.cmml">=</mo><mrow id="A1.Ex27.m1.5.5.3" xref="A1.Ex27.m1.5.5.3.cmml"><mrow id="A1.Ex27.m1.5.5.3.5" xref="A1.Ex27.m1.5.5.3.5.cmml"><mrow id="A1.Ex27.m1.5.5.3.5.2" xref="A1.Ex27.m1.5.5.3.5.2.cmml"><mn id="A1.Ex27.m1.5.5.3.5.2.2" xref="A1.Ex27.m1.5.5.3.5.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.5.5.3.5.2.1" xref="A1.Ex27.m1.5.5.3.5.2.1.cmml">​</mo><mi id="A1.Ex27.m1.5.5.3.5.2.3" xref="A1.Ex27.m1.5.5.3.5.2.3.cmml">I</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.Ex27.m1.5.5.3.5.1" xref="A1.Ex27.m1.5.5.3.5.1.cmml">⊗</mo><msup id="A1.Ex27.m1.5.5.3.5.3" xref="A1.Ex27.m1.5.5.3.5.3.cmml"><mi id="A1.Ex27.m1.5.5.3.5.3.2" xref="A1.Ex27.m1.5.5.3.5.3.2.cmml">H</mi><mn id="A1.Ex27.m1.5.5.3.5.3.3" xref="A1.Ex27.m1.5.5.3.5.3.3.cmml">2</mn></msup></mrow><mo id="A1.Ex27.m1.5.5.3.4" xref="A1.Ex27.m1.5.5.3.4.cmml">+</mo><mrow id="A1.Ex27.m1.3.3.1.1" xref="A1.Ex27.m1.3.3.1.1.cmml"><mn id="A1.Ex27.m1.3.3.1.1.3" xref="A1.Ex27.m1.3.3.1.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.3.3.1.1.2" xref="A1.Ex27.m1.3.3.1.1.2.cmml">​</mo><msup id="A1.Ex27.m1.3.3.1.1.4" xref="A1.Ex27.m1.3.3.1.1.4.cmml"><mi id="A1.Ex27.m1.3.3.1.1.4.2" xref="A1.Ex27.m1.3.3.1.1.4.2.cmml">J</mi><mi id="A1.Ex27.m1.3.3.1.1.4.3" xref="A1.Ex27.m1.3.3.1.1.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.3.3.1.1.2a" xref="A1.Ex27.m1.3.3.1.1.2.cmml">​</mo><mrow id="A1.Ex27.m1.3.3.1.1.1.1" xref="A1.Ex27.m1.3.3.1.1.1.2.cmml"><mo stretchy="false" id="A1.Ex27.m1.3.3.1.1.1.1.2" xref="A1.Ex27.m1.3.3.1.1.1.2.1.cmml">[</mo><mrow id="A1.Ex27.m1.3.3.1.1.1.1.1" xref="A1.Ex27.m1.3.3.1.1.1.1.1.cmml"><msup id="A1.Ex27.m1.3.3.1.1.1.1.1.3" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.cmml"><mi id="A1.Ex27.m1.3.3.1.1.1.1.1.3.2" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.2.cmml">Q</mi><mrow id="A1.Ex27.m1.3.3.1.1.1.1.1.3.3" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.cmml"><mo id="A1.Ex27.m1.3.3.1.1.1.1.1.3.3a" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.cmml">−</mo><mn id="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.2" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A1.Ex27.m1.3.3.1.1.1.1.1.2" xref="A1.Ex27.m1.3.3.1.1.1.1.1.2.cmml">⊗</mo><msup id="A1.Ex27.m1.3.3.1.1.1.1.1.1" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.cmml"><mrow id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.2" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.2" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.1" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.3" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.3.cmml">P</mi></mrow><mo stretchy="false" id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.3" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex27.m1.3.3.1.1.1.1.1.1.3" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.cmml"><mo id="A1.Ex27.m1.3.3.1.1.1.1.1.1.3a" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.cmml">−</mo><mi id="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.2" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.2.cmml">T</mi></mrow></msup></mrow><mo stretchy="false" id="A1.Ex27.m1.3.3.1.1.1.1.3" xref="A1.Ex27.m1.3.3.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A1.Ex27.m1.5.5.3.4a" xref="A1.Ex27.m1.5.5.3.4.cmml">+</mo><mrow id="A1.Ex27.m1.4.4.2.2" xref="A1.Ex27.m1.4.4.2.2.cmml"><mn id="A1.Ex27.m1.4.4.2.2.3" xref="A1.Ex27.m1.4.4.2.2.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.4.4.2.2.2" xref="A1.Ex27.m1.4.4.2.2.2.cmml">​</mo><mrow id="A1.Ex27.m1.4.4.2.2.1.1" xref="A1.Ex27.m1.4.4.2.2.1.2.cmml"><mo stretchy="false" id="A1.Ex27.m1.4.4.2.2.1.1.2" xref="A1.Ex27.m1.4.4.2.2.1.2.1.cmml">[</mo><mrow id="A1.Ex27.m1.4.4.2.2.1.1.1" xref="A1.Ex27.m1.4.4.2.2.1.1.1.cmml"><msup id="A1.Ex27.m1.4.4.2.2.1.1.1.3" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.cmml"><mi id="A1.Ex27.m1.4.4.2.2.1.1.1.3.2" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.2.cmml">Q</mi><mrow id="A1.Ex27.m1.4.4.2.2.1.1.1.3.3" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.cmml"><mo id="A1.Ex27.m1.4.4.2.2.1.1.1.3.3a" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.cmml">−</mo><mi id="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.2" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.2.cmml">T</mi></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A1.Ex27.m1.4.4.2.2.1.1.1.2" xref="A1.Ex27.m1.4.4.2.2.1.1.1.2.cmml">⊗</mo><msup id="A1.Ex27.m1.4.4.2.2.1.1.1.1" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.cmml"><mrow id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.2" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.cmml"><mi id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.2" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.1" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.3" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.3.cmml">P</mi></mrow><mo stretchy="false" id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.3" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex27.m1.4.4.2.2.1.1.1.1.3" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.cmml"><mo id="A1.Ex27.m1.4.4.2.2.1.1.1.1.3a" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.cmml">−</mo><mn id="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.2" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.2.cmml">1</mn></mrow></msup></mrow><mo stretchy="false" id="A1.Ex27.m1.4.4.2.2.1.1.3" xref="A1.Ex27.m1.4.4.2.2.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.4.4.2.2.2a" xref="A1.Ex27.m1.4.4.2.2.2.cmml">​</mo><mi id="A1.Ex27.m1.4.4.2.2.4" xref="A1.Ex27.m1.4.4.2.2.4.cmml">J</mi></mrow><mo id="A1.Ex27.m1.5.5.3.4b" xref="A1.Ex27.m1.5.5.3.4.cmml">+</mo><mrow id="A1.Ex27.m1.5.5.3.3" xref="A1.Ex27.m1.5.5.3.3.cmml"><mrow id="A1.Ex27.m1.5.5.3.3.1" xref="A1.Ex27.m1.5.5.3.3.1.cmml"><mn id="A1.Ex27.m1.5.5.3.3.1.3" xref="A1.Ex27.m1.5.5.3.3.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.5.5.3.3.1.2" xref="A1.Ex27.m1.5.5.3.3.1.2.cmml">​</mo><msup id="A1.Ex27.m1.5.5.3.3.1.1" xref="A1.Ex27.m1.5.5.3.3.1.1.cmml"><mrow id="A1.Ex27.m1.5.5.3.3.1.1.1.1" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex27.m1.5.5.3.3.1.1.1.1.2" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.cmml"><mi id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.2" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.1" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.1.cmml">​</mo><msup id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.cmml"><mi id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.2" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.2.cmml">Q</mi><mi id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.3" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo rspace="0.055em" stretchy="false" id="A1.Ex27.m1.5.5.3.3.1.1.1.1.3" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex27.m1.5.5.3.3.1.1.3" xref="A1.Ex27.m1.5.5.3.3.1.1.3.cmml"><mo id="A1.Ex27.m1.5.5.3.3.1.1.3a" xref="A1.Ex27.m1.5.5.3.3.1.1.3.cmml">−</mo><mn id="A1.Ex27.m1.5.5.3.3.1.1.3.2" xref="A1.Ex27.m1.5.5.3.3.1.1.3.2.cmml">1</mn></mrow></msup></mrow><mo rspace="0.222em" id="A1.Ex27.m1.5.5.3.3.2" xref="A1.Ex27.m1.5.5.3.3.2.cmml">⊗</mo><msup id="A1.Ex27.m1.5.5.3.3.3" xref="A1.Ex27.m1.5.5.3.3.3.cmml"><mi id="A1.Ex27.m1.5.5.3.3.3.2" xref="A1.Ex27.m1.5.5.3.3.3.2.cmml">P</mi><mrow id="A1.Ex27.m1.5.5.3.3.3.3" xref="A1.Ex27.m1.5.5.3.3.3.3.cmml"><mo id="A1.Ex27.m1.5.5.3.3.3.3a" xref="A1.Ex27.m1.5.5.3.3.3.3.cmml">−</mo><mn id="A1.Ex27.m1.5.5.3.3.3.3.2" xref="A1.Ex27.m1.5.5.3.3.3.3.2.cmml">1</mn></mrow></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex27.m1.5b"><apply id="A1.Ex27.m1.5.5.cmml" xref="A1.Ex27.m1.5.5"><eq id="A1.Ex27.m1.5.5.4.cmml" xref="A1.Ex27.m1.5.5.4"></eq><apply id="A1.Ex27.m1.2.2.cmml" xref="A1.Ex27.m1.2.2"><divide id="A1.Ex27.m1.2.2.3.cmml" xref="A1.Ex27.m1.2.2"></divide><apply id="A1.Ex27.m1.2.2.4.cmml" xref="A1.Ex27.m1.2.2.4"><apply id="A1.Ex27.m1.2.2.4.1.cmml" xref="A1.Ex27.m1.2.2.4.1"><csymbol cd="ambiguous" id="A1.Ex27.m1.2.2.4.1.1.cmml" xref="A1.Ex27.m1.2.2.4.1">superscript</csymbol><partialdiff id="A1.Ex27.m1.2.2.4.1.2.cmml" xref="A1.Ex27.m1.2.2.4.1.2"></partialdiff><cn type="integer" id="A1.Ex27.m1.2.2.4.1.3.cmml" xref="A1.Ex27.m1.2.2.4.1.3">2</cn></apply><ci id="A1.Ex27.m1.2.2.4.2.cmml" xref="A1.Ex27.m1.2.2.4.2">𝑐</ci></apply><apply id="A1.Ex27.m1.2.2.2.cmml" xref="A1.Ex27.m1.2.2.2"><partialdiff id="A1.Ex27.m1.2.2.2.3.cmml" xref="A1.Ex27.m1.2.2.2.3"></partialdiff><apply id="A1.Ex27.m1.2.2.2.2.cmml" xref="A1.Ex27.m1.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex27.m1.2.2.2.2.2.cmml" xref="A1.Ex27.m1.2.2.2.2">superscript</csymbol><apply id="A1.Ex27.m1.2.2.2.2.1.1.1.cmml" xref="A1.Ex27.m1.2.2.2.2.1.1"><times id="A1.Ex27.m1.2.2.2.2.1.1.1.1.cmml" xref="A1.Ex27.m1.2.2.2.2.1.1.1.1"></times><ci id="A1.Ex27.m1.2.2.2.2.1.1.1.2.cmml" xref="A1.Ex27.m1.2.2.2.2.1.1.1.2">vec</ci><ci id="A1.Ex27.m1.1.1.1.1.cmml" xref="A1.Ex27.m1.1.1.1.1">𝑄</ci></apply><cn type="integer" id="A1.Ex27.m1.2.2.2.2.3.cmml" xref="A1.Ex27.m1.2.2.2.2.3">2</cn></apply></apply></apply><apply id="A1.Ex27.m1.5.5.3.cmml" xref="A1.Ex27.m1.5.5.3"><plus id="A1.Ex27.m1.5.5.3.4.cmml" xref="A1.Ex27.m1.5.5.3.4"></plus><apply id="A1.Ex27.m1.5.5.3.5.cmml" xref="A1.Ex27.m1.5.5.3.5"><csymbol cd="latexml" id="A1.Ex27.m1.5.5.3.5.1.cmml" xref="A1.Ex27.m1.5.5.3.5.1">tensor-product</csymbol><apply id="A1.Ex27.m1.5.5.3.5.2.cmml" xref="A1.Ex27.m1.5.5.3.5.2"><times id="A1.Ex27.m1.5.5.3.5.2.1.cmml" xref="A1.Ex27.m1.5.5.3.5.2.1"></times><cn type="integer" id="A1.Ex27.m1.5.5.3.5.2.2.cmml" xref="A1.Ex27.m1.5.5.3.5.2.2">2</cn><ci id="A1.Ex27.m1.5.5.3.5.2.3.cmml" xref="A1.Ex27.m1.5.5.3.5.2.3">𝐼</ci></apply><apply id="A1.Ex27.m1.5.5.3.5.3.cmml" xref="A1.Ex27.m1.5.5.3.5.3"><csymbol cd="ambiguous" id="A1.Ex27.m1.5.5.3.5.3.1.cmml" xref="A1.Ex27.m1.5.5.3.5.3">superscript</csymbol><ci id="A1.Ex27.m1.5.5.3.5.3.2.cmml" xref="A1.Ex27.m1.5.5.3.5.3.2">𝐻</ci><cn type="integer" id="A1.Ex27.m1.5.5.3.5.3.3.cmml" xref="A1.Ex27.m1.5.5.3.5.3.3">2</cn></apply></apply><apply id="A1.Ex27.m1.3.3.1.1.cmml" xref="A1.Ex27.m1.3.3.1.1"><times id="A1.Ex27.m1.3.3.1.1.2.cmml" xref="A1.Ex27.m1.3.3.1.1.2"></times><cn type="integer" id="A1.Ex27.m1.3.3.1.1.3.cmml" xref="A1.Ex27.m1.3.3.1.1.3">2</cn><apply id="A1.Ex27.m1.3.3.1.1.4.cmml" xref="A1.Ex27.m1.3.3.1.1.4"><csymbol cd="ambiguous" id="A1.Ex27.m1.3.3.1.1.4.1.cmml" xref="A1.Ex27.m1.3.3.1.1.4">superscript</csymbol><ci id="A1.Ex27.m1.3.3.1.1.4.2.cmml" xref="A1.Ex27.m1.3.3.1.1.4.2">𝐽</ci><ci id="A1.Ex27.m1.3.3.1.1.4.3.cmml" xref="A1.Ex27.m1.3.3.1.1.4.3">𝑇</ci></apply><apply id="A1.Ex27.m1.3.3.1.1.1.2.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1"><csymbol cd="latexml" id="A1.Ex27.m1.3.3.1.1.1.2.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.Ex27.m1.3.3.1.1.1.1.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="A1.Ex27.m1.3.3.1.1.1.1.1.2.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.2">tensor-product</csymbol><apply id="A1.Ex27.m1.3.3.1.1.1.1.1.3.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex27.m1.3.3.1.1.1.1.1.3.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex27.m1.3.3.1.1.1.1.1.3.2.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.2">𝑄</ci><apply id="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.3"><minus id="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.3"></minus><cn type="integer" id="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.2.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.3.3.2">1</cn></apply></apply><apply id="A1.Ex27.m1.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex27.m1.3.3.1.1.1.1.1.1.2.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1">superscript</csymbol><apply id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1"><times id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.1"></times><ci id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.1.1.1.3">𝑃</ci></apply><apply id="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.3"><minus id="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.3"></minus><ci id="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex27.m1.3.3.1.1.1.1.1.1.3.2">𝑇</ci></apply></apply></apply></apply></apply><apply id="A1.Ex27.m1.4.4.2.2.cmml" xref="A1.Ex27.m1.4.4.2.2"><times id="A1.Ex27.m1.4.4.2.2.2.cmml" xref="A1.Ex27.m1.4.4.2.2.2"></times><cn type="integer" id="A1.Ex27.m1.4.4.2.2.3.cmml" xref="A1.Ex27.m1.4.4.2.2.3">2</cn><apply id="A1.Ex27.m1.4.4.2.2.1.2.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1"><csymbol cd="latexml" id="A1.Ex27.m1.4.4.2.2.1.2.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.2">delimited-[]</csymbol><apply id="A1.Ex27.m1.4.4.2.2.1.1.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1"><csymbol cd="latexml" id="A1.Ex27.m1.4.4.2.2.1.1.1.2.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.2">tensor-product</csymbol><apply id="A1.Ex27.m1.4.4.2.2.1.1.1.3.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex27.m1.4.4.2.2.1.1.1.3.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3">superscript</csymbol><ci id="A1.Ex27.m1.4.4.2.2.1.1.1.3.2.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.2">𝑄</ci><apply id="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.3"><minus id="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.3"></minus><ci id="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.2.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.3.3.2">𝑇</ci></apply></apply><apply id="A1.Ex27.m1.4.4.2.2.1.1.1.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A1.Ex27.m1.4.4.2.2.1.1.1.1.2.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1">superscript</csymbol><apply id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1"><times id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.1"></times><ci id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.2.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.3.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.1.1.1.3">𝑃</ci></apply><apply id="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.3"><minus id="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.1.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.3"></minus><cn type="integer" id="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.2.cmml" xref="A1.Ex27.m1.4.4.2.2.1.1.1.1.3.2">1</cn></apply></apply></apply></apply><ci id="A1.Ex27.m1.4.4.2.2.4.cmml" xref="A1.Ex27.m1.4.4.2.2.4">𝐽</ci></apply><apply id="A1.Ex27.m1.5.5.3.3.cmml" xref="A1.Ex27.m1.5.5.3.3"><csymbol cd="latexml" id="A1.Ex27.m1.5.5.3.3.2.cmml" xref="A1.Ex27.m1.5.5.3.3.2">tensor-product</csymbol><apply id="A1.Ex27.m1.5.5.3.3.1.cmml" xref="A1.Ex27.m1.5.5.3.3.1"><times id="A1.Ex27.m1.5.5.3.3.1.2.cmml" xref="A1.Ex27.m1.5.5.3.3.1.2"></times><cn type="integer" id="A1.Ex27.m1.5.5.3.3.1.3.cmml" xref="A1.Ex27.m1.5.5.3.3.1.3">2</cn><apply id="A1.Ex27.m1.5.5.3.3.1.1.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1"><csymbol cd="ambiguous" id="A1.Ex27.m1.5.5.3.3.1.1.2.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1">superscript</csymbol><apply id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1"><times id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.1"></times><ci id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.2.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.2">𝑄</ci><apply id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.1.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.2.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.2">𝑄</ci><ci id="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.3.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.1.1.1.3.3">𝑇</ci></apply></apply><apply id="A1.Ex27.m1.5.5.3.3.1.1.3.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.3"><minus id="A1.Ex27.m1.5.5.3.3.1.1.3.1.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.3"></minus><cn type="integer" id="A1.Ex27.m1.5.5.3.3.1.1.3.2.cmml" xref="A1.Ex27.m1.5.5.3.3.1.1.3.2">1</cn></apply></apply></apply><apply id="A1.Ex27.m1.5.5.3.3.3.cmml" xref="A1.Ex27.m1.5.5.3.3.3"><csymbol cd="ambiguous" id="A1.Ex27.m1.5.5.3.3.3.1.cmml" xref="A1.Ex27.m1.5.5.3.3.3">superscript</csymbol><ci id="A1.Ex27.m1.5.5.3.3.3.2.cmml" xref="A1.Ex27.m1.5.5.3.3.3.2">𝑃</ci><apply id="A1.Ex27.m1.5.5.3.3.3.3.cmml" xref="A1.Ex27.m1.5.5.3.3.3.3"><minus id="A1.Ex27.m1.5.5.3.3.3.3.1.cmml" xref="A1.Ex27.m1.5.5.3.3.3.3"></minus><cn type="integer" id="A1.Ex27.m1.5.5.3.3.3.3.2.cmml" xref="A1.Ex27.m1.5.5.3.3.3.3.2">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex27.m1.5c">\displaystyle\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}=2I\otimes H^{2}+2J^{T}[Q^{-1}\otimes(QP)^{-T}]+2[Q^{-T}\otimes(QP)^{-1}]J+2(QQ^{T})^{-1}\otimes P^{-1}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.7.p5.4" class="ltx_p">where <math id="A1.SS1.7.p5.4.m1.1" class="ltx_Math" alttext="J" display="inline"><semantics id="A1.SS1.7.p5.4.m1.1a"><mi id="A1.SS1.7.p5.4.m1.1.1" xref="A1.SS1.7.p5.4.m1.1.1.cmml">J</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.7.p5.4.m1.1b"><ci id="A1.SS1.7.p5.4.m1.1.1.cmml" xref="A1.SS1.7.p5.4.m1.1.1">𝐽</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.7.p5.4.m1.1c">J</annotation></semantics></math> is the permutation matrix satisfying</p>
<table id="A12.EGx15" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex28"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex28.m1.2" class="ltx_Math" alttext="\displaystyle{\rm vec}(dQ^{T})=J\,{\rm vec}(dQ)" display="inline"><semantics id="A1.Ex28.m1.2a"><mrow id="A1.Ex28.m1.2.2" xref="A1.Ex28.m1.2.2.cmml"><mrow id="A1.Ex28.m1.1.1.1" xref="A1.Ex28.m1.1.1.1.cmml"><mi id="A1.Ex28.m1.1.1.1.3" xref="A1.Ex28.m1.1.1.1.3.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.Ex28.m1.1.1.1.2" xref="A1.Ex28.m1.1.1.1.2.cmml">​</mo><mrow id="A1.Ex28.m1.1.1.1.1.1" xref="A1.Ex28.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex28.m1.1.1.1.1.1.2" xref="A1.Ex28.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex28.m1.1.1.1.1.1.1" xref="A1.Ex28.m1.1.1.1.1.1.1.cmml"><mi id="A1.Ex28.m1.1.1.1.1.1.1.2" xref="A1.Ex28.m1.1.1.1.1.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex28.m1.1.1.1.1.1.1.1" xref="A1.Ex28.m1.1.1.1.1.1.1.1.cmml">​</mo><msup id="A1.Ex28.m1.1.1.1.1.1.1.3" xref="A1.Ex28.m1.1.1.1.1.1.1.3.cmml"><mi id="A1.Ex28.m1.1.1.1.1.1.1.3.2" xref="A1.Ex28.m1.1.1.1.1.1.1.3.2.cmml">Q</mi><mi id="A1.Ex28.m1.1.1.1.1.1.1.3.3" xref="A1.Ex28.m1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A1.Ex28.m1.1.1.1.1.1.3" xref="A1.Ex28.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Ex28.m1.2.2.3" xref="A1.Ex28.m1.2.2.3.cmml">=</mo><mrow id="A1.Ex28.m1.2.2.2" xref="A1.Ex28.m1.2.2.2.cmml"><mi id="A1.Ex28.m1.2.2.2.3" xref="A1.Ex28.m1.2.2.2.3.cmml">J</mi><mo lspace="0.170em" rspace="0em" id="A1.Ex28.m1.2.2.2.2" xref="A1.Ex28.m1.2.2.2.2.cmml">​</mo><mi id="A1.Ex28.m1.2.2.2.4" xref="A1.Ex28.m1.2.2.2.4.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.Ex28.m1.2.2.2.2a" xref="A1.Ex28.m1.2.2.2.2.cmml">​</mo><mrow id="A1.Ex28.m1.2.2.2.1.1" xref="A1.Ex28.m1.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.Ex28.m1.2.2.2.1.1.2" xref="A1.Ex28.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.Ex28.m1.2.2.2.1.1.1" xref="A1.Ex28.m1.2.2.2.1.1.1.cmml"><mi id="A1.Ex28.m1.2.2.2.1.1.1.2" xref="A1.Ex28.m1.2.2.2.1.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex28.m1.2.2.2.1.1.1.1" xref="A1.Ex28.m1.2.2.2.1.1.1.1.cmml">​</mo><mi id="A1.Ex28.m1.2.2.2.1.1.1.3" xref="A1.Ex28.m1.2.2.2.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A1.Ex28.m1.2.2.2.1.1.3" xref="A1.Ex28.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex28.m1.2b"><apply id="A1.Ex28.m1.2.2.cmml" xref="A1.Ex28.m1.2.2"><eq id="A1.Ex28.m1.2.2.3.cmml" xref="A1.Ex28.m1.2.2.3"></eq><apply id="A1.Ex28.m1.1.1.1.cmml" xref="A1.Ex28.m1.1.1.1"><times id="A1.Ex28.m1.1.1.1.2.cmml" xref="A1.Ex28.m1.1.1.1.2"></times><ci id="A1.Ex28.m1.1.1.1.3.cmml" xref="A1.Ex28.m1.1.1.1.3">vec</ci><apply id="A1.Ex28.m1.1.1.1.1.1.1.cmml" xref="A1.Ex28.m1.1.1.1.1.1"><times id="A1.Ex28.m1.1.1.1.1.1.1.1.cmml" xref="A1.Ex28.m1.1.1.1.1.1.1.1"></times><ci id="A1.Ex28.m1.1.1.1.1.1.1.2.cmml" xref="A1.Ex28.m1.1.1.1.1.1.1.2">𝑑</ci><apply id="A1.Ex28.m1.1.1.1.1.1.1.3.cmml" xref="A1.Ex28.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex28.m1.1.1.1.1.1.1.3.1.cmml" xref="A1.Ex28.m1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex28.m1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex28.m1.1.1.1.1.1.1.3.2">𝑄</ci><ci id="A1.Ex28.m1.1.1.1.1.1.1.3.3.cmml" xref="A1.Ex28.m1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply><apply id="A1.Ex28.m1.2.2.2.cmml" xref="A1.Ex28.m1.2.2.2"><times id="A1.Ex28.m1.2.2.2.2.cmml" xref="A1.Ex28.m1.2.2.2.2"></times><ci id="A1.Ex28.m1.2.2.2.3.cmml" xref="A1.Ex28.m1.2.2.2.3">𝐽</ci><ci id="A1.Ex28.m1.2.2.2.4.cmml" xref="A1.Ex28.m1.2.2.2.4">vec</ci><apply id="A1.Ex28.m1.2.2.2.1.1.1.cmml" xref="A1.Ex28.m1.2.2.2.1.1"><times id="A1.Ex28.m1.2.2.2.1.1.1.1.cmml" xref="A1.Ex28.m1.2.2.2.1.1.1.1"></times><ci id="A1.Ex28.m1.2.2.2.1.1.1.2.cmml" xref="A1.Ex28.m1.2.2.2.1.1.1.2">𝑑</ci><ci id="A1.Ex28.m1.2.2.2.1.1.1.3.cmml" xref="A1.Ex28.m1.2.2.2.1.1.1.3">𝑄</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex28.m1.2c">\displaystyle{\rm vec}(dQ^{T})=J\,{\rm vec}(dQ)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.7.p5.5" class="ltx_p">Via relationship <math id="A1.SS1.7.p5.5.m1.1" class="ltx_Math" alttext="dQ=Q\mathcal{E}" display="inline"><semantics id="A1.SS1.7.p5.5.m1.1a"><mrow id="A1.SS1.7.p5.5.m1.1.1" xref="A1.SS1.7.p5.5.m1.1.1.cmml"><mrow id="A1.SS1.7.p5.5.m1.1.1.2" xref="A1.SS1.7.p5.5.m1.1.1.2.cmml"><mi id="A1.SS1.7.p5.5.m1.1.1.2.2" xref="A1.SS1.7.p5.5.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.7.p5.5.m1.1.1.2.1" xref="A1.SS1.7.p5.5.m1.1.1.2.1.cmml">​</mo><mi id="A1.SS1.7.p5.5.m1.1.1.2.3" xref="A1.SS1.7.p5.5.m1.1.1.2.3.cmml">Q</mi></mrow><mo id="A1.SS1.7.p5.5.m1.1.1.1" xref="A1.SS1.7.p5.5.m1.1.1.1.cmml">=</mo><mrow id="A1.SS1.7.p5.5.m1.1.1.3" xref="A1.SS1.7.p5.5.m1.1.1.3.cmml"><mi id="A1.SS1.7.p5.5.m1.1.1.3.2" xref="A1.SS1.7.p5.5.m1.1.1.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.SS1.7.p5.5.m1.1.1.3.1" xref="A1.SS1.7.p5.5.m1.1.1.3.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="A1.SS1.7.p5.5.m1.1.1.3.3" xref="A1.SS1.7.p5.5.m1.1.1.3.3.cmml">ℰ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.7.p5.5.m1.1b"><apply id="A1.SS1.7.p5.5.m1.1.1.cmml" xref="A1.SS1.7.p5.5.m1.1.1"><eq id="A1.SS1.7.p5.5.m1.1.1.1.cmml" xref="A1.SS1.7.p5.5.m1.1.1.1"></eq><apply id="A1.SS1.7.p5.5.m1.1.1.2.cmml" xref="A1.SS1.7.p5.5.m1.1.1.2"><times id="A1.SS1.7.p5.5.m1.1.1.2.1.cmml" xref="A1.SS1.7.p5.5.m1.1.1.2.1"></times><ci id="A1.SS1.7.p5.5.m1.1.1.2.2.cmml" xref="A1.SS1.7.p5.5.m1.1.1.2.2">𝑑</ci><ci id="A1.SS1.7.p5.5.m1.1.1.2.3.cmml" xref="A1.SS1.7.p5.5.m1.1.1.2.3">𝑄</ci></apply><apply id="A1.SS1.7.p5.5.m1.1.1.3.cmml" xref="A1.SS1.7.p5.5.m1.1.1.3"><times id="A1.SS1.7.p5.5.m1.1.1.3.1.cmml" xref="A1.SS1.7.p5.5.m1.1.1.3.1"></times><ci id="A1.SS1.7.p5.5.m1.1.1.3.2.cmml" xref="A1.SS1.7.p5.5.m1.1.1.3.2">𝑄</ci><ci id="A1.SS1.7.p5.5.m1.1.1.3.3.cmml" xref="A1.SS1.7.p5.5.m1.1.1.3.3">ℰ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.7.p5.5.m1.1c">dQ=Q\mathcal{E}</annotation></semantics></math>, the second order derivative on the Lie group is</p>
<table id="A12.EGx16" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E8"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E8.m1.4" class="ltx_Math" alttext="\displaystyle\nabla^{2}_{\mathcal{E}}=(Q^{T}\otimes I)\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}(Q\otimes I)" display="inline"><semantics id="A1.E8.m1.4a"><mrow id="A1.E8.m1.4.4" xref="A1.E8.m1.4.4.cmml"><msubsup id="A1.E8.m1.4.4.4" xref="A1.E8.m1.4.4.4.cmml"><mo id="A1.E8.m1.4.4.4.2.2" xref="A1.E8.m1.4.4.4.2.2.cmml">∇</mo><mi class="ltx_font_mathcaligraphic" id="A1.E8.m1.4.4.4.3" xref="A1.E8.m1.4.4.4.3.cmml">ℰ</mi><mn id="A1.E8.m1.4.4.4.2.3" xref="A1.E8.m1.4.4.4.2.3.cmml">2</mn></msubsup><mo id="A1.E8.m1.4.4.3" xref="A1.E8.m1.4.4.3.cmml">=</mo><mrow id="A1.E8.m1.4.4.2" xref="A1.E8.m1.4.4.2.cmml"><mrow id="A1.E8.m1.3.3.1.1.1" xref="A1.E8.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="A1.E8.m1.3.3.1.1.1.2" xref="A1.E8.m1.3.3.1.1.1.1.cmml">(</mo><mrow id="A1.E8.m1.3.3.1.1.1.1" xref="A1.E8.m1.3.3.1.1.1.1.cmml"><msup id="A1.E8.m1.3.3.1.1.1.1.2" xref="A1.E8.m1.3.3.1.1.1.1.2.cmml"><mi id="A1.E8.m1.3.3.1.1.1.1.2.2" xref="A1.E8.m1.3.3.1.1.1.1.2.2.cmml">Q</mi><mi id="A1.E8.m1.3.3.1.1.1.1.2.3" xref="A1.E8.m1.3.3.1.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0.222em" rspace="0.222em" id="A1.E8.m1.3.3.1.1.1.1.1" xref="A1.E8.m1.3.3.1.1.1.1.1.cmml">⊗</mo><mi id="A1.E8.m1.3.3.1.1.1.1.3" xref="A1.E8.m1.3.3.1.1.1.1.3.cmml">I</mi></mrow><mo stretchy="false" id="A1.E8.m1.3.3.1.1.1.3" xref="A1.E8.m1.3.3.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A1.E8.m1.4.4.2.3" xref="A1.E8.m1.4.4.2.3.cmml">​</mo><mstyle displaystyle="true" id="A1.E8.m1.2.2" xref="A1.E8.m1.2.2.cmml"><mfrac id="A1.E8.m1.2.2a" xref="A1.E8.m1.2.2.cmml"><mrow id="A1.E8.m1.2.2.4" xref="A1.E8.m1.2.2.4.cmml"><msup id="A1.E8.m1.2.2.4.1" xref="A1.E8.m1.2.2.4.1.cmml"><mo id="A1.E8.m1.2.2.4.1.2" xref="A1.E8.m1.2.2.4.1.2.cmml">∂</mo><mn id="A1.E8.m1.2.2.4.1.3" xref="A1.E8.m1.2.2.4.1.3.cmml">2</mn></msup><mi id="A1.E8.m1.2.2.4.2" xref="A1.E8.m1.2.2.4.2.cmml">c</mi></mrow><mrow id="A1.E8.m1.2.2.2" xref="A1.E8.m1.2.2.2.cmml"><mo rspace="0em" id="A1.E8.m1.2.2.2.3" xref="A1.E8.m1.2.2.2.3.cmml">∂</mo><msup id="A1.E8.m1.2.2.2.2" xref="A1.E8.m1.2.2.2.2.cmml"><mrow id="A1.E8.m1.2.2.2.2.1.1" xref="A1.E8.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.E8.m1.2.2.2.2.1.1.2" xref="A1.E8.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.E8.m1.2.2.2.2.1.1.1" xref="A1.E8.m1.2.2.2.2.1.1.1.cmml"><mi id="A1.E8.m1.2.2.2.2.1.1.1.2" xref="A1.E8.m1.2.2.2.2.1.1.1.2.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.E8.m1.2.2.2.2.1.1.1.1" xref="A1.E8.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mrow id="A1.E8.m1.2.2.2.2.1.1.1.3.2" xref="A1.E8.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.E8.m1.2.2.2.2.1.1.1.3.2.1" xref="A1.E8.m1.2.2.2.2.1.1.1.cmml">(</mo><mi id="A1.E8.m1.1.1.1.1" xref="A1.E8.m1.1.1.1.1.cmml">Q</mi><mo stretchy="false" id="A1.E8.m1.2.2.2.2.1.1.1.3.2.2" xref="A1.E8.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.E8.m1.2.2.2.2.1.1.3" xref="A1.E8.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow><mn id="A1.E8.m1.2.2.2.2.3" xref="A1.E8.m1.2.2.2.2.3.cmml">2</mn></msup></mrow></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.E8.m1.4.4.2.3a" xref="A1.E8.m1.4.4.2.3.cmml">​</mo><mrow id="A1.E8.m1.4.4.2.2.1" xref="A1.E8.m1.4.4.2.2.1.1.cmml"><mo stretchy="false" id="A1.E8.m1.4.4.2.2.1.2" xref="A1.E8.m1.4.4.2.2.1.1.cmml">(</mo><mrow id="A1.E8.m1.4.4.2.2.1.1" xref="A1.E8.m1.4.4.2.2.1.1.cmml"><mi id="A1.E8.m1.4.4.2.2.1.1.2" xref="A1.E8.m1.4.4.2.2.1.1.2.cmml">Q</mi><mo lspace="0.222em" rspace="0.222em" id="A1.E8.m1.4.4.2.2.1.1.1" xref="A1.E8.m1.4.4.2.2.1.1.1.cmml">⊗</mo><mi id="A1.E8.m1.4.4.2.2.1.1.3" xref="A1.E8.m1.4.4.2.2.1.1.3.cmml">I</mi></mrow><mo stretchy="false" id="A1.E8.m1.4.4.2.2.1.3" xref="A1.E8.m1.4.4.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E8.m1.4b"><apply id="A1.E8.m1.4.4.cmml" xref="A1.E8.m1.4.4"><eq id="A1.E8.m1.4.4.3.cmml" xref="A1.E8.m1.4.4.3"></eq><apply id="A1.E8.m1.4.4.4.cmml" xref="A1.E8.m1.4.4.4"><csymbol cd="ambiguous" id="A1.E8.m1.4.4.4.1.cmml" xref="A1.E8.m1.4.4.4">subscript</csymbol><apply id="A1.E8.m1.4.4.4.2.cmml" xref="A1.E8.m1.4.4.4"><csymbol cd="ambiguous" id="A1.E8.m1.4.4.4.2.1.cmml" xref="A1.E8.m1.4.4.4">superscript</csymbol><ci id="A1.E8.m1.4.4.4.2.2.cmml" xref="A1.E8.m1.4.4.4.2.2">∇</ci><cn type="integer" id="A1.E8.m1.4.4.4.2.3.cmml" xref="A1.E8.m1.4.4.4.2.3">2</cn></apply><ci id="A1.E8.m1.4.4.4.3.cmml" xref="A1.E8.m1.4.4.4.3">ℰ</ci></apply><apply id="A1.E8.m1.4.4.2.cmml" xref="A1.E8.m1.4.4.2"><times id="A1.E8.m1.4.4.2.3.cmml" xref="A1.E8.m1.4.4.2.3"></times><apply id="A1.E8.m1.3.3.1.1.1.1.cmml" xref="A1.E8.m1.3.3.1.1.1"><csymbol cd="latexml" id="A1.E8.m1.3.3.1.1.1.1.1.cmml" xref="A1.E8.m1.3.3.1.1.1.1.1">tensor-product</csymbol><apply id="A1.E8.m1.3.3.1.1.1.1.2.cmml" xref="A1.E8.m1.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.E8.m1.3.3.1.1.1.1.2.1.cmml" xref="A1.E8.m1.3.3.1.1.1.1.2">superscript</csymbol><ci id="A1.E8.m1.3.3.1.1.1.1.2.2.cmml" xref="A1.E8.m1.3.3.1.1.1.1.2.2">𝑄</ci><ci id="A1.E8.m1.3.3.1.1.1.1.2.3.cmml" xref="A1.E8.m1.3.3.1.1.1.1.2.3">𝑇</ci></apply><ci id="A1.E8.m1.3.3.1.1.1.1.3.cmml" xref="A1.E8.m1.3.3.1.1.1.1.3">𝐼</ci></apply><apply id="A1.E8.m1.2.2.cmml" xref="A1.E8.m1.2.2"><divide id="A1.E8.m1.2.2.3.cmml" xref="A1.E8.m1.2.2"></divide><apply id="A1.E8.m1.2.2.4.cmml" xref="A1.E8.m1.2.2.4"><apply id="A1.E8.m1.2.2.4.1.cmml" xref="A1.E8.m1.2.2.4.1"><csymbol cd="ambiguous" id="A1.E8.m1.2.2.4.1.1.cmml" xref="A1.E8.m1.2.2.4.1">superscript</csymbol><partialdiff id="A1.E8.m1.2.2.4.1.2.cmml" xref="A1.E8.m1.2.2.4.1.2"></partialdiff><cn type="integer" id="A1.E8.m1.2.2.4.1.3.cmml" xref="A1.E8.m1.2.2.4.1.3">2</cn></apply><ci id="A1.E8.m1.2.2.4.2.cmml" xref="A1.E8.m1.2.2.4.2">𝑐</ci></apply><apply id="A1.E8.m1.2.2.2.cmml" xref="A1.E8.m1.2.2.2"><partialdiff id="A1.E8.m1.2.2.2.3.cmml" xref="A1.E8.m1.2.2.2.3"></partialdiff><apply id="A1.E8.m1.2.2.2.2.cmml" xref="A1.E8.m1.2.2.2.2"><csymbol cd="ambiguous" id="A1.E8.m1.2.2.2.2.2.cmml" xref="A1.E8.m1.2.2.2.2">superscript</csymbol><apply id="A1.E8.m1.2.2.2.2.1.1.1.cmml" xref="A1.E8.m1.2.2.2.2.1.1"><times id="A1.E8.m1.2.2.2.2.1.1.1.1.cmml" xref="A1.E8.m1.2.2.2.2.1.1.1.1"></times><ci id="A1.E8.m1.2.2.2.2.1.1.1.2.cmml" xref="A1.E8.m1.2.2.2.2.1.1.1.2">vec</ci><ci id="A1.E8.m1.1.1.1.1.cmml" xref="A1.E8.m1.1.1.1.1">𝑄</ci></apply><cn type="integer" id="A1.E8.m1.2.2.2.2.3.cmml" xref="A1.E8.m1.2.2.2.2.3">2</cn></apply></apply></apply><apply id="A1.E8.m1.4.4.2.2.1.1.cmml" xref="A1.E8.m1.4.4.2.2.1"><csymbol cd="latexml" id="A1.E8.m1.4.4.2.2.1.1.1.cmml" xref="A1.E8.m1.4.4.2.2.1.1.1">tensor-product</csymbol><ci id="A1.E8.m1.4.4.2.2.1.1.2.cmml" xref="A1.E8.m1.4.4.2.2.1.1.2">𝑄</ci><ci id="A1.E8.m1.4.4.2.2.1.1.3.cmml" xref="A1.E8.m1.4.4.2.2.1.1.3">𝐼</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E8.m1.4c">\displaystyle\nabla^{2}_{\mathcal{E}}=(Q^{T}\otimes I)\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}(Q\otimes I)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(8)</span></td>
</tr></tbody>
</table>
<p id="A1.SS1.7.p5.7" class="ltx_p">We see that neither <math id="A1.SS1.7.p5.6.m1.2" class="ltx_Math" alttext="\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}" display="inline"><semantics id="A1.SS1.7.p5.6.m1.2a"><mfrac id="A1.SS1.7.p5.6.m1.2.2" xref="A1.SS1.7.p5.6.m1.2.2.cmml"><mrow id="A1.SS1.7.p5.6.m1.2.2.4" xref="A1.SS1.7.p5.6.m1.2.2.4.cmml"><msup id="A1.SS1.7.p5.6.m1.2.2.4.1" xref="A1.SS1.7.p5.6.m1.2.2.4.1.cmml"><mo id="A1.SS1.7.p5.6.m1.2.2.4.1.2" xref="A1.SS1.7.p5.6.m1.2.2.4.1.2.cmml">∂</mo><mn id="A1.SS1.7.p5.6.m1.2.2.4.1.3" xref="A1.SS1.7.p5.6.m1.2.2.4.1.3.cmml">2</mn></msup><mi id="A1.SS1.7.p5.6.m1.2.2.4.2" xref="A1.SS1.7.p5.6.m1.2.2.4.2.cmml">c</mi></mrow><mrow id="A1.SS1.7.p5.6.m1.2.2.2" xref="A1.SS1.7.p5.6.m1.2.2.2.cmml"><mo rspace="0em" id="A1.SS1.7.p5.6.m1.2.2.2.3" xref="A1.SS1.7.p5.6.m1.2.2.2.3.cmml">∂</mo><msup id="A1.SS1.7.p5.6.m1.2.2.2.2" xref="A1.SS1.7.p5.6.m1.2.2.2.2.cmml"><mrow id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.2" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml"><mi id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.2" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.2.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.1" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mrow id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.3.2" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.3.2.1" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml">(</mo><mi id="A1.SS1.7.p5.6.m1.1.1.1.1" xref="A1.SS1.7.p5.6.m1.1.1.1.1.cmml">Q</mi><mo stretchy="false" id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.3.2.2" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.3" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow><mn id="A1.SS1.7.p5.6.m1.2.2.2.2.3" xref="A1.SS1.7.p5.6.m1.2.2.2.2.3.cmml">2</mn></msup></mrow></mfrac><annotation-xml encoding="MathML-Content" id="A1.SS1.7.p5.6.m1.2b"><apply id="A1.SS1.7.p5.6.m1.2.2.cmml" xref="A1.SS1.7.p5.6.m1.2.2"><divide id="A1.SS1.7.p5.6.m1.2.2.3.cmml" xref="A1.SS1.7.p5.6.m1.2.2"></divide><apply id="A1.SS1.7.p5.6.m1.2.2.4.cmml" xref="A1.SS1.7.p5.6.m1.2.2.4"><apply id="A1.SS1.7.p5.6.m1.2.2.4.1.cmml" xref="A1.SS1.7.p5.6.m1.2.2.4.1"><csymbol cd="ambiguous" id="A1.SS1.7.p5.6.m1.2.2.4.1.1.cmml" xref="A1.SS1.7.p5.6.m1.2.2.4.1">superscript</csymbol><partialdiff id="A1.SS1.7.p5.6.m1.2.2.4.1.2.cmml" xref="A1.SS1.7.p5.6.m1.2.2.4.1.2"></partialdiff><cn type="integer" id="A1.SS1.7.p5.6.m1.2.2.4.1.3.cmml" xref="A1.SS1.7.p5.6.m1.2.2.4.1.3">2</cn></apply><ci id="A1.SS1.7.p5.6.m1.2.2.4.2.cmml" xref="A1.SS1.7.p5.6.m1.2.2.4.2">𝑐</ci></apply><apply id="A1.SS1.7.p5.6.m1.2.2.2.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2"><partialdiff id="A1.SS1.7.p5.6.m1.2.2.2.3.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2.3"></partialdiff><apply id="A1.SS1.7.p5.6.m1.2.2.2.2.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2.2"><csymbol cd="ambiguous" id="A1.SS1.7.p5.6.m1.2.2.2.2.2.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2.2">superscript</csymbol><apply id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1"><times id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.1.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.1"></times><ci id="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.2.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2.2.1.1.1.2">vec</ci><ci id="A1.SS1.7.p5.6.m1.1.1.1.1.cmml" xref="A1.SS1.7.p5.6.m1.1.1.1.1">𝑄</ci></apply><cn type="integer" id="A1.SS1.7.p5.6.m1.2.2.2.2.3.cmml" xref="A1.SS1.7.p5.6.m1.2.2.2.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.7.p5.6.m1.2c">\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}</annotation></semantics></math> nor <math id="A1.SS1.7.p5.7.m2.1" class="ltx_Math" alttext="\nabla^{2}_{\mathcal{E}}" display="inline"><semantics id="A1.SS1.7.p5.7.m2.1a"><msubsup id="A1.SS1.7.p5.7.m2.1.1" xref="A1.SS1.7.p5.7.m2.1.1.cmml"><mo id="A1.SS1.7.p5.7.m2.1.1.2.2" xref="A1.SS1.7.p5.7.m2.1.1.2.2.cmml">∇</mo><mi class="ltx_font_mathcaligraphic" id="A1.SS1.7.p5.7.m2.1.1.3" xref="A1.SS1.7.p5.7.m2.1.1.3.cmml">ℰ</mi><mn id="A1.SS1.7.p5.7.m2.1.1.2.3" xref="A1.SS1.7.p5.7.m2.1.1.2.3.cmml">2</mn></msubsup><annotation-xml encoding="MathML-Content" id="A1.SS1.7.p5.7.m2.1b"><apply id="A1.SS1.7.p5.7.m2.1.1.cmml" xref="A1.SS1.7.p5.7.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.7.p5.7.m2.1.1.1.cmml" xref="A1.SS1.7.p5.7.m2.1.1">subscript</csymbol><apply id="A1.SS1.7.p5.7.m2.1.1.2.cmml" xref="A1.SS1.7.p5.7.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.7.p5.7.m2.1.1.2.1.cmml" xref="A1.SS1.7.p5.7.m2.1.1">superscript</csymbol><ci id="A1.SS1.7.p5.7.m2.1.1.2.2.cmml" xref="A1.SS1.7.p5.7.m2.1.1.2.2">∇</ci><cn type="integer" id="A1.SS1.7.p5.7.m2.1.1.2.3.cmml" xref="A1.SS1.7.p5.7.m2.1.1.2.3">2</cn></apply><ci id="A1.SS1.7.p5.7.m2.1.1.3.cmml" xref="A1.SS1.7.p5.7.m2.1.1.3">ℰ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.7.p5.7.m2.1c">\nabla^{2}_{\mathcal{E}}</annotation></semantics></math> is guaranteed to be positive definite. Hence, the learning rule equation <a href="#A1.E5" title="Equation 5 ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a> does not convergence to a point as expected due to the rotation ambiguity.</p>
</div>
<div id="A1.SS1.8.p6" class="ltx_para">
<p id="A1.SS1.8.p6.4" class="ltx_p">On the other hand, both <math id="A1.SS1.8.p6.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.8.p6.1.m1.1a"><mi id="A1.SS1.8.p6.1.m1.1.1" xref="A1.SS1.8.p6.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.1.m1.1b"><ci id="A1.SS1.8.p6.1.m1.1.1.cmml" xref="A1.SS1.8.p6.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.1.m1.1c">Q</annotation></semantics></math> and <math id="A1.SS1.8.p6.2.m2.1" class="ltx_Math" alttext="dQ" display="inline"><semantics id="A1.SS1.8.p6.2.m2.1a"><mrow id="A1.SS1.8.p6.2.m2.1.1" xref="A1.SS1.8.p6.2.m2.1.1.cmml"><mi id="A1.SS1.8.p6.2.m2.1.1.2" xref="A1.SS1.8.p6.2.m2.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.SS1.8.p6.2.m2.1.1.1" xref="A1.SS1.8.p6.2.m2.1.1.1.cmml">​</mo><mi id="A1.SS1.8.p6.2.m2.1.1.3" xref="A1.SS1.8.p6.2.m2.1.1.3.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.2.m2.1b"><apply id="A1.SS1.8.p6.2.m2.1.1.cmml" xref="A1.SS1.8.p6.2.m2.1.1"><times id="A1.SS1.8.p6.2.m2.1.1.1.cmml" xref="A1.SS1.8.p6.2.m2.1.1.1"></times><ci id="A1.SS1.8.p6.2.m2.1.1.2.cmml" xref="A1.SS1.8.p6.2.m2.1.1.2">𝑑</ci><ci id="A1.SS1.8.p6.2.m2.1.1.3.cmml" xref="A1.SS1.8.p6.2.m2.1.1.3">𝑄</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.2.m2.1c">dQ</annotation></semantics></math> are symmetric with the learning rule equation <a href="#A1.E6" title="Equation 6 ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>. Thus, the second order derivative of <math id="A1.SS1.8.p6.3.m3.1" class="ltx_Math" alttext="c" display="inline"><semantics id="A1.SS1.8.p6.3.m3.1a"><mi id="A1.SS1.8.p6.3.m3.1.1" xref="A1.SS1.8.p6.3.m3.1.1.cmml">c</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.3.m3.1b"><ci id="A1.SS1.8.p6.3.m3.1.1.cmml" xref="A1.SS1.8.p6.3.m3.1.1">𝑐</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.3.m3.1c">c</annotation></semantics></math> with respect to <math id="A1.SS1.8.p6.4.m4.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.8.p6.4.m4.1a"><mi id="A1.SS1.8.p6.4.m4.1.1" xref="A1.SS1.8.p6.4.m4.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.4.m4.1b"><ci id="A1.SS1.8.p6.4.m4.1.1.cmml" xref="A1.SS1.8.p6.4.m4.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.4.m4.1c">Q</annotation></semantics></math> simplifies to</p>
<table id="A12.EGx17" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex29"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex29.m1.5" class="ltx_Math" alttext="\displaystyle\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}=2I\otimes H^{2}+2Q^{-1}\otimes(QP)^{-T}+2Q^{-T}\otimes(QP)^{-1}+2(QQ^{T})^{-1}\otimes P^{-1}" display="inline"><semantics id="A1.Ex29.m1.5a"><mrow id="A1.Ex29.m1.5.5" xref="A1.Ex29.m1.5.5.cmml"><mstyle displaystyle="true" id="A1.Ex29.m1.2.2" xref="A1.Ex29.m1.2.2.cmml"><mfrac id="A1.Ex29.m1.2.2a" xref="A1.Ex29.m1.2.2.cmml"><mrow id="A1.Ex29.m1.2.2.4" xref="A1.Ex29.m1.2.2.4.cmml"><msup id="A1.Ex29.m1.2.2.4.1" xref="A1.Ex29.m1.2.2.4.1.cmml"><mo id="A1.Ex29.m1.2.2.4.1.2" xref="A1.Ex29.m1.2.2.4.1.2.cmml">∂</mo><mn id="A1.Ex29.m1.2.2.4.1.3" xref="A1.Ex29.m1.2.2.4.1.3.cmml">2</mn></msup><mi id="A1.Ex29.m1.2.2.4.2" xref="A1.Ex29.m1.2.2.4.2.cmml">c</mi></mrow><mrow id="A1.Ex29.m1.2.2.2" xref="A1.Ex29.m1.2.2.2.cmml"><mo rspace="0em" id="A1.Ex29.m1.2.2.2.3" xref="A1.Ex29.m1.2.2.2.3.cmml">∂</mo><msup id="A1.Ex29.m1.2.2.2.2" xref="A1.Ex29.m1.2.2.2.2.cmml"><mrow id="A1.Ex29.m1.2.2.2.2.1.1" xref="A1.Ex29.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.Ex29.m1.2.2.2.2.1.1.2" xref="A1.Ex29.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.Ex29.m1.2.2.2.2.1.1.1" xref="A1.Ex29.m1.2.2.2.2.1.1.1.cmml"><mi id="A1.Ex29.m1.2.2.2.2.1.1.1.2" xref="A1.Ex29.m1.2.2.2.2.1.1.1.2.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.2.2.2.2.1.1.1.1" xref="A1.Ex29.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mrow id="A1.Ex29.m1.2.2.2.2.1.1.1.3.2" xref="A1.Ex29.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.Ex29.m1.2.2.2.2.1.1.1.3.2.1" xref="A1.Ex29.m1.2.2.2.2.1.1.1.cmml">(</mo><mi id="A1.Ex29.m1.1.1.1.1" xref="A1.Ex29.m1.1.1.1.1.cmml">Q</mi><mo stretchy="false" id="A1.Ex29.m1.2.2.2.2.1.1.1.3.2.2" xref="A1.Ex29.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.Ex29.m1.2.2.2.2.1.1.3" xref="A1.Ex29.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow><mn id="A1.Ex29.m1.2.2.2.2.3" xref="A1.Ex29.m1.2.2.2.2.3.cmml">2</mn></msup></mrow></mfrac></mstyle><mo id="A1.Ex29.m1.5.5.4" xref="A1.Ex29.m1.5.5.4.cmml">=</mo><mrow id="A1.Ex29.m1.5.5.3" xref="A1.Ex29.m1.5.5.3.cmml"><mrow id="A1.Ex29.m1.5.5.3.5" xref="A1.Ex29.m1.5.5.3.5.cmml"><mrow id="A1.Ex29.m1.5.5.3.5.2" xref="A1.Ex29.m1.5.5.3.5.2.cmml"><mn id="A1.Ex29.m1.5.5.3.5.2.2" xref="A1.Ex29.m1.5.5.3.5.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.5.5.3.5.2.1" xref="A1.Ex29.m1.5.5.3.5.2.1.cmml">​</mo><mi id="A1.Ex29.m1.5.5.3.5.2.3" xref="A1.Ex29.m1.5.5.3.5.2.3.cmml">I</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.Ex29.m1.5.5.3.5.1" xref="A1.Ex29.m1.5.5.3.5.1.cmml">⊗</mo><msup id="A1.Ex29.m1.5.5.3.5.3" xref="A1.Ex29.m1.5.5.3.5.3.cmml"><mi id="A1.Ex29.m1.5.5.3.5.3.2" xref="A1.Ex29.m1.5.5.3.5.3.2.cmml">H</mi><mn id="A1.Ex29.m1.5.5.3.5.3.3" xref="A1.Ex29.m1.5.5.3.5.3.3.cmml">2</mn></msup></mrow><mo id="A1.Ex29.m1.5.5.3.4" xref="A1.Ex29.m1.5.5.3.4.cmml">+</mo><mrow id="A1.Ex29.m1.3.3.1.1" xref="A1.Ex29.m1.3.3.1.1.cmml"><mrow id="A1.Ex29.m1.3.3.1.1.3" xref="A1.Ex29.m1.3.3.1.1.3.cmml"><mn id="A1.Ex29.m1.3.3.1.1.3.2" xref="A1.Ex29.m1.3.3.1.1.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.3.3.1.1.3.1" xref="A1.Ex29.m1.3.3.1.1.3.1.cmml">​</mo><msup id="A1.Ex29.m1.3.3.1.1.3.3" xref="A1.Ex29.m1.3.3.1.1.3.3.cmml"><mi id="A1.Ex29.m1.3.3.1.1.3.3.2" xref="A1.Ex29.m1.3.3.1.1.3.3.2.cmml">Q</mi><mrow id="A1.Ex29.m1.3.3.1.1.3.3.3" xref="A1.Ex29.m1.3.3.1.1.3.3.3.cmml"><mo id="A1.Ex29.m1.3.3.1.1.3.3.3a" xref="A1.Ex29.m1.3.3.1.1.3.3.3.cmml">−</mo><mn id="A1.Ex29.m1.3.3.1.1.3.3.3.2" xref="A1.Ex29.m1.3.3.1.1.3.3.3.2.cmml">1</mn></mrow></msup></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.Ex29.m1.3.3.1.1.2" xref="A1.Ex29.m1.3.3.1.1.2.cmml">⊗</mo><msup id="A1.Ex29.m1.3.3.1.1.1" xref="A1.Ex29.m1.3.3.1.1.1.cmml"><mrow id="A1.Ex29.m1.3.3.1.1.1.1.1" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex29.m1.3.3.1.1.1.1.1.2" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex29.m1.3.3.1.1.1.1.1.1" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.cmml"><mi id="A1.Ex29.m1.3.3.1.1.1.1.1.1.2" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.3.3.1.1.1.1.1.1.1" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><mi id="A1.Ex29.m1.3.3.1.1.1.1.1.1.3" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.3.cmml">P</mi></mrow><mo stretchy="false" id="A1.Ex29.m1.3.3.1.1.1.1.1.3" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex29.m1.3.3.1.1.1.3" xref="A1.Ex29.m1.3.3.1.1.1.3.cmml"><mo id="A1.Ex29.m1.3.3.1.1.1.3a" xref="A1.Ex29.m1.3.3.1.1.1.3.cmml">−</mo><mi id="A1.Ex29.m1.3.3.1.1.1.3.2" xref="A1.Ex29.m1.3.3.1.1.1.3.2.cmml">T</mi></mrow></msup></mrow><mo id="A1.Ex29.m1.5.5.3.4a" xref="A1.Ex29.m1.5.5.3.4.cmml">+</mo><mrow id="A1.Ex29.m1.4.4.2.2" xref="A1.Ex29.m1.4.4.2.2.cmml"><mrow id="A1.Ex29.m1.4.4.2.2.3" xref="A1.Ex29.m1.4.4.2.2.3.cmml"><mn id="A1.Ex29.m1.4.4.2.2.3.2" xref="A1.Ex29.m1.4.4.2.2.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.4.4.2.2.3.1" xref="A1.Ex29.m1.4.4.2.2.3.1.cmml">​</mo><msup id="A1.Ex29.m1.4.4.2.2.3.3" xref="A1.Ex29.m1.4.4.2.2.3.3.cmml"><mi id="A1.Ex29.m1.4.4.2.2.3.3.2" xref="A1.Ex29.m1.4.4.2.2.3.3.2.cmml">Q</mi><mrow id="A1.Ex29.m1.4.4.2.2.3.3.3" xref="A1.Ex29.m1.4.4.2.2.3.3.3.cmml"><mo id="A1.Ex29.m1.4.4.2.2.3.3.3a" xref="A1.Ex29.m1.4.4.2.2.3.3.3.cmml">−</mo><mi id="A1.Ex29.m1.4.4.2.2.3.3.3.2" xref="A1.Ex29.m1.4.4.2.2.3.3.3.2.cmml">T</mi></mrow></msup></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.Ex29.m1.4.4.2.2.2" xref="A1.Ex29.m1.4.4.2.2.2.cmml">⊗</mo><msup id="A1.Ex29.m1.4.4.2.2.1" xref="A1.Ex29.m1.4.4.2.2.1.cmml"><mrow id="A1.Ex29.m1.4.4.2.2.1.1.1" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex29.m1.4.4.2.2.1.1.1.2" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex29.m1.4.4.2.2.1.1.1.1" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.cmml"><mi id="A1.Ex29.m1.4.4.2.2.1.1.1.1.2" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.4.4.2.2.1.1.1.1.1" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.1.cmml">​</mo><mi id="A1.Ex29.m1.4.4.2.2.1.1.1.1.3" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.3.cmml">P</mi></mrow><mo stretchy="false" id="A1.Ex29.m1.4.4.2.2.1.1.1.3" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex29.m1.4.4.2.2.1.3" xref="A1.Ex29.m1.4.4.2.2.1.3.cmml"><mo id="A1.Ex29.m1.4.4.2.2.1.3a" xref="A1.Ex29.m1.4.4.2.2.1.3.cmml">−</mo><mn id="A1.Ex29.m1.4.4.2.2.1.3.2" xref="A1.Ex29.m1.4.4.2.2.1.3.2.cmml">1</mn></mrow></msup></mrow><mo id="A1.Ex29.m1.5.5.3.4b" xref="A1.Ex29.m1.5.5.3.4.cmml">+</mo><mrow id="A1.Ex29.m1.5.5.3.3" xref="A1.Ex29.m1.5.5.3.3.cmml"><mrow id="A1.Ex29.m1.5.5.3.3.1" xref="A1.Ex29.m1.5.5.3.3.1.cmml"><mn id="A1.Ex29.m1.5.5.3.3.1.3" xref="A1.Ex29.m1.5.5.3.3.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.5.5.3.3.1.2" xref="A1.Ex29.m1.5.5.3.3.1.2.cmml">​</mo><msup id="A1.Ex29.m1.5.5.3.3.1.1" xref="A1.Ex29.m1.5.5.3.3.1.1.cmml"><mrow id="A1.Ex29.m1.5.5.3.3.1.1.1.1" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex29.m1.5.5.3.3.1.1.1.1.2" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.cmml">(</mo><mrow id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.cmml"><mi id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.2" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.1" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.1.cmml">​</mo><msup id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.cmml"><mi id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.2" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.2.cmml">Q</mi><mi id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.3" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo rspace="0.055em" stretchy="false" id="A1.Ex29.m1.5.5.3.3.1.1.1.1.3" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A1.Ex29.m1.5.5.3.3.1.1.3" xref="A1.Ex29.m1.5.5.3.3.1.1.3.cmml"><mo id="A1.Ex29.m1.5.5.3.3.1.1.3a" xref="A1.Ex29.m1.5.5.3.3.1.1.3.cmml">−</mo><mn id="A1.Ex29.m1.5.5.3.3.1.1.3.2" xref="A1.Ex29.m1.5.5.3.3.1.1.3.2.cmml">1</mn></mrow></msup></mrow><mo rspace="0.222em" id="A1.Ex29.m1.5.5.3.3.2" xref="A1.Ex29.m1.5.5.3.3.2.cmml">⊗</mo><msup id="A1.Ex29.m1.5.5.3.3.3" xref="A1.Ex29.m1.5.5.3.3.3.cmml"><mi id="A1.Ex29.m1.5.5.3.3.3.2" xref="A1.Ex29.m1.5.5.3.3.3.2.cmml">P</mi><mrow id="A1.Ex29.m1.5.5.3.3.3.3" xref="A1.Ex29.m1.5.5.3.3.3.3.cmml"><mo id="A1.Ex29.m1.5.5.3.3.3.3a" xref="A1.Ex29.m1.5.5.3.3.3.3.cmml">−</mo><mn id="A1.Ex29.m1.5.5.3.3.3.3.2" xref="A1.Ex29.m1.5.5.3.3.3.3.2.cmml">1</mn></mrow></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex29.m1.5b"><apply id="A1.Ex29.m1.5.5.cmml" xref="A1.Ex29.m1.5.5"><eq id="A1.Ex29.m1.5.5.4.cmml" xref="A1.Ex29.m1.5.5.4"></eq><apply id="A1.Ex29.m1.2.2.cmml" xref="A1.Ex29.m1.2.2"><divide id="A1.Ex29.m1.2.2.3.cmml" xref="A1.Ex29.m1.2.2"></divide><apply id="A1.Ex29.m1.2.2.4.cmml" xref="A1.Ex29.m1.2.2.4"><apply id="A1.Ex29.m1.2.2.4.1.cmml" xref="A1.Ex29.m1.2.2.4.1"><csymbol cd="ambiguous" id="A1.Ex29.m1.2.2.4.1.1.cmml" xref="A1.Ex29.m1.2.2.4.1">superscript</csymbol><partialdiff id="A1.Ex29.m1.2.2.4.1.2.cmml" xref="A1.Ex29.m1.2.2.4.1.2"></partialdiff><cn type="integer" id="A1.Ex29.m1.2.2.4.1.3.cmml" xref="A1.Ex29.m1.2.2.4.1.3">2</cn></apply><ci id="A1.Ex29.m1.2.2.4.2.cmml" xref="A1.Ex29.m1.2.2.4.2">𝑐</ci></apply><apply id="A1.Ex29.m1.2.2.2.cmml" xref="A1.Ex29.m1.2.2.2"><partialdiff id="A1.Ex29.m1.2.2.2.3.cmml" xref="A1.Ex29.m1.2.2.2.3"></partialdiff><apply id="A1.Ex29.m1.2.2.2.2.cmml" xref="A1.Ex29.m1.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex29.m1.2.2.2.2.2.cmml" xref="A1.Ex29.m1.2.2.2.2">superscript</csymbol><apply id="A1.Ex29.m1.2.2.2.2.1.1.1.cmml" xref="A1.Ex29.m1.2.2.2.2.1.1"><times id="A1.Ex29.m1.2.2.2.2.1.1.1.1.cmml" xref="A1.Ex29.m1.2.2.2.2.1.1.1.1"></times><ci id="A1.Ex29.m1.2.2.2.2.1.1.1.2.cmml" xref="A1.Ex29.m1.2.2.2.2.1.1.1.2">vec</ci><ci id="A1.Ex29.m1.1.1.1.1.cmml" xref="A1.Ex29.m1.1.1.1.1">𝑄</ci></apply><cn type="integer" id="A1.Ex29.m1.2.2.2.2.3.cmml" xref="A1.Ex29.m1.2.2.2.2.3">2</cn></apply></apply></apply><apply id="A1.Ex29.m1.5.5.3.cmml" xref="A1.Ex29.m1.5.5.3"><plus id="A1.Ex29.m1.5.5.3.4.cmml" xref="A1.Ex29.m1.5.5.3.4"></plus><apply id="A1.Ex29.m1.5.5.3.5.cmml" xref="A1.Ex29.m1.5.5.3.5"><csymbol cd="latexml" id="A1.Ex29.m1.5.5.3.5.1.cmml" xref="A1.Ex29.m1.5.5.3.5.1">tensor-product</csymbol><apply id="A1.Ex29.m1.5.5.3.5.2.cmml" xref="A1.Ex29.m1.5.5.3.5.2"><times id="A1.Ex29.m1.5.5.3.5.2.1.cmml" xref="A1.Ex29.m1.5.5.3.5.2.1"></times><cn type="integer" id="A1.Ex29.m1.5.5.3.5.2.2.cmml" xref="A1.Ex29.m1.5.5.3.5.2.2">2</cn><ci id="A1.Ex29.m1.5.5.3.5.2.3.cmml" xref="A1.Ex29.m1.5.5.3.5.2.3">𝐼</ci></apply><apply id="A1.Ex29.m1.5.5.3.5.3.cmml" xref="A1.Ex29.m1.5.5.3.5.3"><csymbol cd="ambiguous" id="A1.Ex29.m1.5.5.3.5.3.1.cmml" xref="A1.Ex29.m1.5.5.3.5.3">superscript</csymbol><ci id="A1.Ex29.m1.5.5.3.5.3.2.cmml" xref="A1.Ex29.m1.5.5.3.5.3.2">𝐻</ci><cn type="integer" id="A1.Ex29.m1.5.5.3.5.3.3.cmml" xref="A1.Ex29.m1.5.5.3.5.3.3">2</cn></apply></apply><apply id="A1.Ex29.m1.3.3.1.1.cmml" xref="A1.Ex29.m1.3.3.1.1"><csymbol cd="latexml" id="A1.Ex29.m1.3.3.1.1.2.cmml" xref="A1.Ex29.m1.3.3.1.1.2">tensor-product</csymbol><apply id="A1.Ex29.m1.3.3.1.1.3.cmml" xref="A1.Ex29.m1.3.3.1.1.3"><times id="A1.Ex29.m1.3.3.1.1.3.1.cmml" xref="A1.Ex29.m1.3.3.1.1.3.1"></times><cn type="integer" id="A1.Ex29.m1.3.3.1.1.3.2.cmml" xref="A1.Ex29.m1.3.3.1.1.3.2">2</cn><apply id="A1.Ex29.m1.3.3.1.1.3.3.cmml" xref="A1.Ex29.m1.3.3.1.1.3.3"><csymbol cd="ambiguous" id="A1.Ex29.m1.3.3.1.1.3.3.1.cmml" xref="A1.Ex29.m1.3.3.1.1.3.3">superscript</csymbol><ci id="A1.Ex29.m1.3.3.1.1.3.3.2.cmml" xref="A1.Ex29.m1.3.3.1.1.3.3.2">𝑄</ci><apply id="A1.Ex29.m1.3.3.1.1.3.3.3.cmml" xref="A1.Ex29.m1.3.3.1.1.3.3.3"><minus id="A1.Ex29.m1.3.3.1.1.3.3.3.1.cmml" xref="A1.Ex29.m1.3.3.1.1.3.3.3"></minus><cn type="integer" id="A1.Ex29.m1.3.3.1.1.3.3.3.2.cmml" xref="A1.Ex29.m1.3.3.1.1.3.3.3.2">1</cn></apply></apply></apply><apply id="A1.Ex29.m1.3.3.1.1.1.cmml" xref="A1.Ex29.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="A1.Ex29.m1.3.3.1.1.1.2.cmml" xref="A1.Ex29.m1.3.3.1.1.1">superscript</csymbol><apply id="A1.Ex29.m1.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex29.m1.3.3.1.1.1.1.1"><times id="A1.Ex29.m1.3.3.1.1.1.1.1.1.1.cmml" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.1"></times><ci id="A1.Ex29.m1.3.3.1.1.1.1.1.1.2.cmml" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.2">𝑄</ci><ci id="A1.Ex29.m1.3.3.1.1.1.1.1.1.3.cmml" xref="A1.Ex29.m1.3.3.1.1.1.1.1.1.3">𝑃</ci></apply><apply id="A1.Ex29.m1.3.3.1.1.1.3.cmml" xref="A1.Ex29.m1.3.3.1.1.1.3"><minus id="A1.Ex29.m1.3.3.1.1.1.3.1.cmml" xref="A1.Ex29.m1.3.3.1.1.1.3"></minus><ci id="A1.Ex29.m1.3.3.1.1.1.3.2.cmml" xref="A1.Ex29.m1.3.3.1.1.1.3.2">𝑇</ci></apply></apply></apply><apply id="A1.Ex29.m1.4.4.2.2.cmml" xref="A1.Ex29.m1.4.4.2.2"><csymbol cd="latexml" id="A1.Ex29.m1.4.4.2.2.2.cmml" xref="A1.Ex29.m1.4.4.2.2.2">tensor-product</csymbol><apply id="A1.Ex29.m1.4.4.2.2.3.cmml" xref="A1.Ex29.m1.4.4.2.2.3"><times id="A1.Ex29.m1.4.4.2.2.3.1.cmml" xref="A1.Ex29.m1.4.4.2.2.3.1"></times><cn type="integer" id="A1.Ex29.m1.4.4.2.2.3.2.cmml" xref="A1.Ex29.m1.4.4.2.2.3.2">2</cn><apply id="A1.Ex29.m1.4.4.2.2.3.3.cmml" xref="A1.Ex29.m1.4.4.2.2.3.3"><csymbol cd="ambiguous" id="A1.Ex29.m1.4.4.2.2.3.3.1.cmml" xref="A1.Ex29.m1.4.4.2.2.3.3">superscript</csymbol><ci id="A1.Ex29.m1.4.4.2.2.3.3.2.cmml" xref="A1.Ex29.m1.4.4.2.2.3.3.2">𝑄</ci><apply id="A1.Ex29.m1.4.4.2.2.3.3.3.cmml" xref="A1.Ex29.m1.4.4.2.2.3.3.3"><minus id="A1.Ex29.m1.4.4.2.2.3.3.3.1.cmml" xref="A1.Ex29.m1.4.4.2.2.3.3.3"></minus><ci id="A1.Ex29.m1.4.4.2.2.3.3.3.2.cmml" xref="A1.Ex29.m1.4.4.2.2.3.3.3.2">𝑇</ci></apply></apply></apply><apply id="A1.Ex29.m1.4.4.2.2.1.cmml" xref="A1.Ex29.m1.4.4.2.2.1"><csymbol cd="ambiguous" id="A1.Ex29.m1.4.4.2.2.1.2.cmml" xref="A1.Ex29.m1.4.4.2.2.1">superscript</csymbol><apply id="A1.Ex29.m1.4.4.2.2.1.1.1.1.cmml" xref="A1.Ex29.m1.4.4.2.2.1.1.1"><times id="A1.Ex29.m1.4.4.2.2.1.1.1.1.1.cmml" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.1"></times><ci id="A1.Ex29.m1.4.4.2.2.1.1.1.1.2.cmml" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.2">𝑄</ci><ci id="A1.Ex29.m1.4.4.2.2.1.1.1.1.3.cmml" xref="A1.Ex29.m1.4.4.2.2.1.1.1.1.3">𝑃</ci></apply><apply id="A1.Ex29.m1.4.4.2.2.1.3.cmml" xref="A1.Ex29.m1.4.4.2.2.1.3"><minus id="A1.Ex29.m1.4.4.2.2.1.3.1.cmml" xref="A1.Ex29.m1.4.4.2.2.1.3"></minus><cn type="integer" id="A1.Ex29.m1.4.4.2.2.1.3.2.cmml" xref="A1.Ex29.m1.4.4.2.2.1.3.2">1</cn></apply></apply></apply><apply id="A1.Ex29.m1.5.5.3.3.cmml" xref="A1.Ex29.m1.5.5.3.3"><csymbol cd="latexml" id="A1.Ex29.m1.5.5.3.3.2.cmml" xref="A1.Ex29.m1.5.5.3.3.2">tensor-product</csymbol><apply id="A1.Ex29.m1.5.5.3.3.1.cmml" xref="A1.Ex29.m1.5.5.3.3.1"><times id="A1.Ex29.m1.5.5.3.3.1.2.cmml" xref="A1.Ex29.m1.5.5.3.3.1.2"></times><cn type="integer" id="A1.Ex29.m1.5.5.3.3.1.3.cmml" xref="A1.Ex29.m1.5.5.3.3.1.3">2</cn><apply id="A1.Ex29.m1.5.5.3.3.1.1.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1"><csymbol cd="ambiguous" id="A1.Ex29.m1.5.5.3.3.1.1.2.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1">superscript</csymbol><apply id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1"><times id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.1.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.1"></times><ci id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.2.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.2">𝑄</ci><apply id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.1.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3">superscript</csymbol><ci id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.2.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.2">𝑄</ci><ci id="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.3.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.1.1.1.3.3">𝑇</ci></apply></apply><apply id="A1.Ex29.m1.5.5.3.3.1.1.3.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.3"><minus id="A1.Ex29.m1.5.5.3.3.1.1.3.1.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.3"></minus><cn type="integer" id="A1.Ex29.m1.5.5.3.3.1.1.3.2.cmml" xref="A1.Ex29.m1.5.5.3.3.1.1.3.2">1</cn></apply></apply></apply><apply id="A1.Ex29.m1.5.5.3.3.3.cmml" xref="A1.Ex29.m1.5.5.3.3.3"><csymbol cd="ambiguous" id="A1.Ex29.m1.5.5.3.3.3.1.cmml" xref="A1.Ex29.m1.5.5.3.3.3">superscript</csymbol><ci id="A1.Ex29.m1.5.5.3.3.3.2.cmml" xref="A1.Ex29.m1.5.5.3.3.3.2">𝑃</ci><apply id="A1.Ex29.m1.5.5.3.3.3.3.cmml" xref="A1.Ex29.m1.5.5.3.3.3.3"><minus id="A1.Ex29.m1.5.5.3.3.3.3.1.cmml" xref="A1.Ex29.m1.5.5.3.3.3.3"></minus><cn type="integer" id="A1.Ex29.m1.5.5.3.3.3.3.2.cmml" xref="A1.Ex29.m1.5.5.3.3.3.3.2">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex29.m1.5c">\displaystyle\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}=2I\otimes H^{2}+2Q^{-1}\otimes(QP)^{-T}+2Q^{-T}\otimes(QP)^{-1}+2(QQ^{T})^{-1}\otimes P^{-1}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS1.8.p6.5" class="ltx_p">At a stationary point, we have <math id="A1.SS1.8.p6.5.m1.1" class="ltx_Math" alttext="Q=\pm P^{0.5}=\pm|H|^{-0.5}" display="inline"><semantics id="A1.SS1.8.p6.5.m1.1a"><mrow id="A1.SS1.8.p6.5.m1.1.2" xref="A1.SS1.8.p6.5.m1.1.2.cmml"><mi id="A1.SS1.8.p6.5.m1.1.2.2" xref="A1.SS1.8.p6.5.m1.1.2.2.cmml">Q</mi><mo id="A1.SS1.8.p6.5.m1.1.2.3" xref="A1.SS1.8.p6.5.m1.1.2.3.cmml">=</mo><mrow id="A1.SS1.8.p6.5.m1.1.2.4" xref="A1.SS1.8.p6.5.m1.1.2.4.cmml"><mo id="A1.SS1.8.p6.5.m1.1.2.4a" xref="A1.SS1.8.p6.5.m1.1.2.4.cmml">±</mo><msup id="A1.SS1.8.p6.5.m1.1.2.4.2" xref="A1.SS1.8.p6.5.m1.1.2.4.2.cmml"><mi id="A1.SS1.8.p6.5.m1.1.2.4.2.2" xref="A1.SS1.8.p6.5.m1.1.2.4.2.2.cmml">P</mi><mn id="A1.SS1.8.p6.5.m1.1.2.4.2.3" xref="A1.SS1.8.p6.5.m1.1.2.4.2.3.cmml">0.5</mn></msup></mrow><mo id="A1.SS1.8.p6.5.m1.1.2.5" xref="A1.SS1.8.p6.5.m1.1.2.5.cmml">=</mo><mrow id="A1.SS1.8.p6.5.m1.1.2.6" xref="A1.SS1.8.p6.5.m1.1.2.6.cmml"><mo id="A1.SS1.8.p6.5.m1.1.2.6a" xref="A1.SS1.8.p6.5.m1.1.2.6.cmml">±</mo><msup id="A1.SS1.8.p6.5.m1.1.2.6.2" xref="A1.SS1.8.p6.5.m1.1.2.6.2.cmml"><mrow id="A1.SS1.8.p6.5.m1.1.2.6.2.2.2" xref="A1.SS1.8.p6.5.m1.1.2.6.2.2.1.cmml"><mo stretchy="false" id="A1.SS1.8.p6.5.m1.1.2.6.2.2.2.1" xref="A1.SS1.8.p6.5.m1.1.2.6.2.2.1.1.cmml">|</mo><mi id="A1.SS1.8.p6.5.m1.1.1" xref="A1.SS1.8.p6.5.m1.1.1.cmml">H</mi><mo stretchy="false" id="A1.SS1.8.p6.5.m1.1.2.6.2.2.2.2" xref="A1.SS1.8.p6.5.m1.1.2.6.2.2.1.1.cmml">|</mo></mrow><mrow id="A1.SS1.8.p6.5.m1.1.2.6.2.3" xref="A1.SS1.8.p6.5.m1.1.2.6.2.3.cmml"><mo id="A1.SS1.8.p6.5.m1.1.2.6.2.3a" xref="A1.SS1.8.p6.5.m1.1.2.6.2.3.cmml">−</mo><mn id="A1.SS1.8.p6.5.m1.1.2.6.2.3.2" xref="A1.SS1.8.p6.5.m1.1.2.6.2.3.2.cmml">0.5</mn></mrow></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.5.m1.1b"><apply id="A1.SS1.8.p6.5.m1.1.2.cmml" xref="A1.SS1.8.p6.5.m1.1.2"><and id="A1.SS1.8.p6.5.m1.1.2a.cmml" xref="A1.SS1.8.p6.5.m1.1.2"></and><apply id="A1.SS1.8.p6.5.m1.1.2b.cmml" xref="A1.SS1.8.p6.5.m1.1.2"><eq id="A1.SS1.8.p6.5.m1.1.2.3.cmml" xref="A1.SS1.8.p6.5.m1.1.2.3"></eq><ci id="A1.SS1.8.p6.5.m1.1.2.2.cmml" xref="A1.SS1.8.p6.5.m1.1.2.2">𝑄</ci><apply id="A1.SS1.8.p6.5.m1.1.2.4.cmml" xref="A1.SS1.8.p6.5.m1.1.2.4"><csymbol cd="latexml" id="A1.SS1.8.p6.5.m1.1.2.4.1.cmml" xref="A1.SS1.8.p6.5.m1.1.2.4">plus-or-minus</csymbol><apply id="A1.SS1.8.p6.5.m1.1.2.4.2.cmml" xref="A1.SS1.8.p6.5.m1.1.2.4.2"><csymbol cd="ambiguous" id="A1.SS1.8.p6.5.m1.1.2.4.2.1.cmml" xref="A1.SS1.8.p6.5.m1.1.2.4.2">superscript</csymbol><ci id="A1.SS1.8.p6.5.m1.1.2.4.2.2.cmml" xref="A1.SS1.8.p6.5.m1.1.2.4.2.2">𝑃</ci><cn type="float" id="A1.SS1.8.p6.5.m1.1.2.4.2.3.cmml" xref="A1.SS1.8.p6.5.m1.1.2.4.2.3">0.5</cn></apply></apply></apply><apply id="A1.SS1.8.p6.5.m1.1.2c.cmml" xref="A1.SS1.8.p6.5.m1.1.2"><eq id="A1.SS1.8.p6.5.m1.1.2.5.cmml" xref="A1.SS1.8.p6.5.m1.1.2.5"></eq><share href="#A1.SS1.8.p6.5.m1.1.2.4.cmml" id="A1.SS1.8.p6.5.m1.1.2d.cmml" xref="A1.SS1.8.p6.5.m1.1.2"></share><apply id="A1.SS1.8.p6.5.m1.1.2.6.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6"><csymbol cd="latexml" id="A1.SS1.8.p6.5.m1.1.2.6.1.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6">plus-or-minus</csymbol><apply id="A1.SS1.8.p6.5.m1.1.2.6.2.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6.2"><csymbol cd="ambiguous" id="A1.SS1.8.p6.5.m1.1.2.6.2.1.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6.2">superscript</csymbol><apply id="A1.SS1.8.p6.5.m1.1.2.6.2.2.1.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6.2.2.2"><abs id="A1.SS1.8.p6.5.m1.1.2.6.2.2.1.1.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6.2.2.2.1"></abs><ci id="A1.SS1.8.p6.5.m1.1.1.cmml" xref="A1.SS1.8.p6.5.m1.1.1">𝐻</ci></apply><apply id="A1.SS1.8.p6.5.m1.1.2.6.2.3.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6.2.3"><minus id="A1.SS1.8.p6.5.m1.1.2.6.2.3.1.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6.2.3"></minus><cn type="float" id="A1.SS1.8.p6.5.m1.1.2.6.2.3.2.cmml" xref="A1.SS1.8.p6.5.m1.1.2.6.2.3.2">0.5</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.5.m1.1c">Q=\pm P^{0.5}=\pm|H|^{-0.5}</annotation></semantics></math>. Thus, this second order derivative reduces to</p>
<table id="A12.EGx18" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E9"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E9.m1.3" class="ltx_Math" alttext="\displaystyle\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}\left.\right|_{Q=\pm|H|^{-0.5}}=2I\otimes H^{2}+4H^{0.5}\otimes H^{1.5}+2H\otimes H" display="inline"><semantics id="A1.E9.m1.3a"><mrow id="A1.E9.m1.3.4" xref="A1.E9.m1.3.4.cmml"><msub id="A1.E9.m1.3.4.2.2" xref="A1.E9.m1.3.4.2.1.cmml"><mrow id="A1.E9.m1.3.4.2.2.2" xref="A1.E9.m1.3.4.2.1.cmml"><mstyle displaystyle="true" id="A1.E9.m1.2.2" xref="A1.E9.m1.2.2.cmml"><mfrac id="A1.E9.m1.2.2a" xref="A1.E9.m1.2.2.cmml"><mrow id="A1.E9.m1.2.2.4" xref="A1.E9.m1.2.2.4.cmml"><msup id="A1.E9.m1.2.2.4.1" xref="A1.E9.m1.2.2.4.1.cmml"><mo id="A1.E9.m1.2.2.4.1.2" xref="A1.E9.m1.2.2.4.1.2.cmml">∂</mo><mn id="A1.E9.m1.2.2.4.1.3" xref="A1.E9.m1.2.2.4.1.3.cmml">2</mn></msup><mi id="A1.E9.m1.2.2.4.2" xref="A1.E9.m1.2.2.4.2.cmml">c</mi></mrow><mrow id="A1.E9.m1.2.2.2" xref="A1.E9.m1.2.2.2.cmml"><mo rspace="0em" id="A1.E9.m1.2.2.2.3" xref="A1.E9.m1.2.2.2.3.cmml">∂</mo><msup id="A1.E9.m1.2.2.2.2" xref="A1.E9.m1.2.2.2.2.cmml"><mrow id="A1.E9.m1.2.2.2.2.1.1" xref="A1.E9.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.E9.m1.2.2.2.2.1.1.2" xref="A1.E9.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.E9.m1.2.2.2.2.1.1.1" xref="A1.E9.m1.2.2.2.2.1.1.1.cmml"><mi id="A1.E9.m1.2.2.2.2.1.1.1.2" xref="A1.E9.m1.2.2.2.2.1.1.1.2.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.E9.m1.2.2.2.2.1.1.1.1" xref="A1.E9.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mrow id="A1.E9.m1.2.2.2.2.1.1.1.3.2" xref="A1.E9.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.E9.m1.2.2.2.2.1.1.1.3.2.1" xref="A1.E9.m1.2.2.2.2.1.1.1.cmml">(</mo><mi id="A1.E9.m1.1.1.1.1" xref="A1.E9.m1.1.1.1.1.cmml">Q</mi><mo stretchy="false" id="A1.E9.m1.2.2.2.2.1.1.1.3.2.2" xref="A1.E9.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.E9.m1.2.2.2.2.1.1.3" xref="A1.E9.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow><mn id="A1.E9.m1.2.2.2.2.3" xref="A1.E9.m1.2.2.2.2.3.cmml">2</mn></msup></mrow></mfrac></mstyle><mo id="A1.E9.m1.3.4.2.2.2.1" xref="A1.E9.m1.3.4.2.1.1.cmml">|</mo></mrow><mrow id="A1.E9.m1.3.3.1" xref="A1.E9.m1.3.3.1.cmml"><mi id="A1.E9.m1.3.3.1.3" xref="A1.E9.m1.3.3.1.3.cmml">Q</mi><mo id="A1.E9.m1.3.3.1.2" xref="A1.E9.m1.3.3.1.2.cmml">=</mo><mrow id="A1.E9.m1.3.3.1.4" xref="A1.E9.m1.3.3.1.4.cmml"><mo id="A1.E9.m1.3.3.1.4a" xref="A1.E9.m1.3.3.1.4.cmml">±</mo><msup id="A1.E9.m1.3.3.1.4.2" xref="A1.E9.m1.3.3.1.4.2.cmml"><mrow id="A1.E9.m1.3.3.1.4.2.2.2" xref="A1.E9.m1.3.3.1.4.2.2.1.cmml"><mo stretchy="false" id="A1.E9.m1.3.3.1.4.2.2.2.1" xref="A1.E9.m1.3.3.1.4.2.2.1.1.cmml">|</mo><mi id="A1.E9.m1.3.3.1.1" xref="A1.E9.m1.3.3.1.1.cmml">H</mi><mo stretchy="false" id="A1.E9.m1.3.3.1.4.2.2.2.2" xref="A1.E9.m1.3.3.1.4.2.2.1.1.cmml">|</mo></mrow><mrow id="A1.E9.m1.3.3.1.4.2.3" xref="A1.E9.m1.3.3.1.4.2.3.cmml"><mo id="A1.E9.m1.3.3.1.4.2.3a" xref="A1.E9.m1.3.3.1.4.2.3.cmml">−</mo><mn id="A1.E9.m1.3.3.1.4.2.3.2" xref="A1.E9.m1.3.3.1.4.2.3.2.cmml">0.5</mn></mrow></msup></mrow></mrow></msub><mo id="A1.E9.m1.3.4.1" xref="A1.E9.m1.3.4.1.cmml">=</mo><mrow id="A1.E9.m1.3.4.3" xref="A1.E9.m1.3.4.3.cmml"><mrow id="A1.E9.m1.3.4.3.2" xref="A1.E9.m1.3.4.3.2.cmml"><mrow id="A1.E9.m1.3.4.3.2.2" xref="A1.E9.m1.3.4.3.2.2.cmml"><mn id="A1.E9.m1.3.4.3.2.2.2" xref="A1.E9.m1.3.4.3.2.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E9.m1.3.4.3.2.2.1" xref="A1.E9.m1.3.4.3.2.2.1.cmml">​</mo><mi id="A1.E9.m1.3.4.3.2.2.3" xref="A1.E9.m1.3.4.3.2.2.3.cmml">I</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.E9.m1.3.4.3.2.1" xref="A1.E9.m1.3.4.3.2.1.cmml">⊗</mo><msup id="A1.E9.m1.3.4.3.2.3" xref="A1.E9.m1.3.4.3.2.3.cmml"><mi id="A1.E9.m1.3.4.3.2.3.2" xref="A1.E9.m1.3.4.3.2.3.2.cmml">H</mi><mn id="A1.E9.m1.3.4.3.2.3.3" xref="A1.E9.m1.3.4.3.2.3.3.cmml">2</mn></msup></mrow><mo id="A1.E9.m1.3.4.3.1" xref="A1.E9.m1.3.4.3.1.cmml">+</mo><mrow id="A1.E9.m1.3.4.3.3" xref="A1.E9.m1.3.4.3.3.cmml"><mrow id="A1.E9.m1.3.4.3.3.2" xref="A1.E9.m1.3.4.3.3.2.cmml"><mn id="A1.E9.m1.3.4.3.3.2.2" xref="A1.E9.m1.3.4.3.3.2.2.cmml">4</mn><mo lspace="0em" rspace="0em" id="A1.E9.m1.3.4.3.3.2.1" xref="A1.E9.m1.3.4.3.3.2.1.cmml">​</mo><msup id="A1.E9.m1.3.4.3.3.2.3" xref="A1.E9.m1.3.4.3.3.2.3.cmml"><mi id="A1.E9.m1.3.4.3.3.2.3.2" xref="A1.E9.m1.3.4.3.3.2.3.2.cmml">H</mi><mn id="A1.E9.m1.3.4.3.3.2.3.3" xref="A1.E9.m1.3.4.3.3.2.3.3.cmml">0.5</mn></msup></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.E9.m1.3.4.3.3.1" xref="A1.E9.m1.3.4.3.3.1.cmml">⊗</mo><msup id="A1.E9.m1.3.4.3.3.3" xref="A1.E9.m1.3.4.3.3.3.cmml"><mi id="A1.E9.m1.3.4.3.3.3.2" xref="A1.E9.m1.3.4.3.3.3.2.cmml">H</mi><mn id="A1.E9.m1.3.4.3.3.3.3" xref="A1.E9.m1.3.4.3.3.3.3.cmml">1.5</mn></msup></mrow><mo id="A1.E9.m1.3.4.3.1a" xref="A1.E9.m1.3.4.3.1.cmml">+</mo><mrow id="A1.E9.m1.3.4.3.4" xref="A1.E9.m1.3.4.3.4.cmml"><mrow id="A1.E9.m1.3.4.3.4.2" xref="A1.E9.m1.3.4.3.4.2.cmml"><mn id="A1.E9.m1.3.4.3.4.2.2" xref="A1.E9.m1.3.4.3.4.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E9.m1.3.4.3.4.2.1" xref="A1.E9.m1.3.4.3.4.2.1.cmml">​</mo><mi id="A1.E9.m1.3.4.3.4.2.3" xref="A1.E9.m1.3.4.3.4.2.3.cmml">H</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.E9.m1.3.4.3.4.1" xref="A1.E9.m1.3.4.3.4.1.cmml">⊗</mo><mi id="A1.E9.m1.3.4.3.4.3" xref="A1.E9.m1.3.4.3.4.3.cmml">H</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E9.m1.3b"><apply id="A1.E9.m1.3.4.cmml" xref="A1.E9.m1.3.4"><eq id="A1.E9.m1.3.4.1.cmml" xref="A1.E9.m1.3.4.1"></eq><apply id="A1.E9.m1.3.4.2.1.cmml" xref="A1.E9.m1.3.4.2.2"><csymbol cd="latexml" id="A1.E9.m1.3.4.2.1.1.cmml" xref="A1.E9.m1.3.4.2.2.2.1">evaluated-at</csymbol><apply id="A1.E9.m1.2.2.cmml" xref="A1.E9.m1.2.2"><divide id="A1.E9.m1.2.2.3.cmml" xref="A1.E9.m1.2.2"></divide><apply id="A1.E9.m1.2.2.4.cmml" xref="A1.E9.m1.2.2.4"><apply id="A1.E9.m1.2.2.4.1.cmml" xref="A1.E9.m1.2.2.4.1"><csymbol cd="ambiguous" id="A1.E9.m1.2.2.4.1.1.cmml" xref="A1.E9.m1.2.2.4.1">superscript</csymbol><partialdiff id="A1.E9.m1.2.2.4.1.2.cmml" xref="A1.E9.m1.2.2.4.1.2"></partialdiff><cn type="integer" id="A1.E9.m1.2.2.4.1.3.cmml" xref="A1.E9.m1.2.2.4.1.3">2</cn></apply><ci id="A1.E9.m1.2.2.4.2.cmml" xref="A1.E9.m1.2.2.4.2">𝑐</ci></apply><apply id="A1.E9.m1.2.2.2.cmml" xref="A1.E9.m1.2.2.2"><partialdiff id="A1.E9.m1.2.2.2.3.cmml" xref="A1.E9.m1.2.2.2.3"></partialdiff><apply id="A1.E9.m1.2.2.2.2.cmml" xref="A1.E9.m1.2.2.2.2"><csymbol cd="ambiguous" id="A1.E9.m1.2.2.2.2.2.cmml" xref="A1.E9.m1.2.2.2.2">superscript</csymbol><apply id="A1.E9.m1.2.2.2.2.1.1.1.cmml" xref="A1.E9.m1.2.2.2.2.1.1"><times id="A1.E9.m1.2.2.2.2.1.1.1.1.cmml" xref="A1.E9.m1.2.2.2.2.1.1.1.1"></times><ci id="A1.E9.m1.2.2.2.2.1.1.1.2.cmml" xref="A1.E9.m1.2.2.2.2.1.1.1.2">vec</ci><ci id="A1.E9.m1.1.1.1.1.cmml" xref="A1.E9.m1.1.1.1.1">𝑄</ci></apply><cn type="integer" id="A1.E9.m1.2.2.2.2.3.cmml" xref="A1.E9.m1.2.2.2.2.3">2</cn></apply></apply></apply><apply id="A1.E9.m1.3.3.1.cmml" xref="A1.E9.m1.3.3.1"><eq id="A1.E9.m1.3.3.1.2.cmml" xref="A1.E9.m1.3.3.1.2"></eq><ci id="A1.E9.m1.3.3.1.3.cmml" xref="A1.E9.m1.3.3.1.3">𝑄</ci><apply id="A1.E9.m1.3.3.1.4.cmml" xref="A1.E9.m1.3.3.1.4"><csymbol cd="latexml" id="A1.E9.m1.3.3.1.4.1.cmml" xref="A1.E9.m1.3.3.1.4">plus-or-minus</csymbol><apply id="A1.E9.m1.3.3.1.4.2.cmml" xref="A1.E9.m1.3.3.1.4.2"><csymbol cd="ambiguous" id="A1.E9.m1.3.3.1.4.2.1.cmml" xref="A1.E9.m1.3.3.1.4.2">superscript</csymbol><apply id="A1.E9.m1.3.3.1.4.2.2.1.cmml" xref="A1.E9.m1.3.3.1.4.2.2.2"><abs id="A1.E9.m1.3.3.1.4.2.2.1.1.cmml" xref="A1.E9.m1.3.3.1.4.2.2.2.1"></abs><ci id="A1.E9.m1.3.3.1.1.cmml" xref="A1.E9.m1.3.3.1.1">𝐻</ci></apply><apply id="A1.E9.m1.3.3.1.4.2.3.cmml" xref="A1.E9.m1.3.3.1.4.2.3"><minus id="A1.E9.m1.3.3.1.4.2.3.1.cmml" xref="A1.E9.m1.3.3.1.4.2.3"></minus><cn type="float" id="A1.E9.m1.3.3.1.4.2.3.2.cmml" xref="A1.E9.m1.3.3.1.4.2.3.2">0.5</cn></apply></apply></apply></apply></apply><apply id="A1.E9.m1.3.4.3.cmml" xref="A1.E9.m1.3.4.3"><plus id="A1.E9.m1.3.4.3.1.cmml" xref="A1.E9.m1.3.4.3.1"></plus><apply id="A1.E9.m1.3.4.3.2.cmml" xref="A1.E9.m1.3.4.3.2"><csymbol cd="latexml" id="A1.E9.m1.3.4.3.2.1.cmml" xref="A1.E9.m1.3.4.3.2.1">tensor-product</csymbol><apply id="A1.E9.m1.3.4.3.2.2.cmml" xref="A1.E9.m1.3.4.3.2.2"><times id="A1.E9.m1.3.4.3.2.2.1.cmml" xref="A1.E9.m1.3.4.3.2.2.1"></times><cn type="integer" id="A1.E9.m1.3.4.3.2.2.2.cmml" xref="A1.E9.m1.3.4.3.2.2.2">2</cn><ci id="A1.E9.m1.3.4.3.2.2.3.cmml" xref="A1.E9.m1.3.4.3.2.2.3">𝐼</ci></apply><apply id="A1.E9.m1.3.4.3.2.3.cmml" xref="A1.E9.m1.3.4.3.2.3"><csymbol cd="ambiguous" id="A1.E9.m1.3.4.3.2.3.1.cmml" xref="A1.E9.m1.3.4.3.2.3">superscript</csymbol><ci id="A1.E9.m1.3.4.3.2.3.2.cmml" xref="A1.E9.m1.3.4.3.2.3.2">𝐻</ci><cn type="integer" id="A1.E9.m1.3.4.3.2.3.3.cmml" xref="A1.E9.m1.3.4.3.2.3.3">2</cn></apply></apply><apply id="A1.E9.m1.3.4.3.3.cmml" xref="A1.E9.m1.3.4.3.3"><csymbol cd="latexml" id="A1.E9.m1.3.4.3.3.1.cmml" xref="A1.E9.m1.3.4.3.3.1">tensor-product</csymbol><apply id="A1.E9.m1.3.4.3.3.2.cmml" xref="A1.E9.m1.3.4.3.3.2"><times id="A1.E9.m1.3.4.3.3.2.1.cmml" xref="A1.E9.m1.3.4.3.3.2.1"></times><cn type="integer" id="A1.E9.m1.3.4.3.3.2.2.cmml" xref="A1.E9.m1.3.4.3.3.2.2">4</cn><apply id="A1.E9.m1.3.4.3.3.2.3.cmml" xref="A1.E9.m1.3.4.3.3.2.3"><csymbol cd="ambiguous" id="A1.E9.m1.3.4.3.3.2.3.1.cmml" xref="A1.E9.m1.3.4.3.3.2.3">superscript</csymbol><ci id="A1.E9.m1.3.4.3.3.2.3.2.cmml" xref="A1.E9.m1.3.4.3.3.2.3.2">𝐻</ci><cn type="float" id="A1.E9.m1.3.4.3.3.2.3.3.cmml" xref="A1.E9.m1.3.4.3.3.2.3.3">0.5</cn></apply></apply><apply id="A1.E9.m1.3.4.3.3.3.cmml" xref="A1.E9.m1.3.4.3.3.3"><csymbol cd="ambiguous" id="A1.E9.m1.3.4.3.3.3.1.cmml" xref="A1.E9.m1.3.4.3.3.3">superscript</csymbol><ci id="A1.E9.m1.3.4.3.3.3.2.cmml" xref="A1.E9.m1.3.4.3.3.3.2">𝐻</ci><cn type="float" id="A1.E9.m1.3.4.3.3.3.3.cmml" xref="A1.E9.m1.3.4.3.3.3.3">1.5</cn></apply></apply><apply id="A1.E9.m1.3.4.3.4.cmml" xref="A1.E9.m1.3.4.3.4"><csymbol cd="latexml" id="A1.E9.m1.3.4.3.4.1.cmml" xref="A1.E9.m1.3.4.3.4.1">tensor-product</csymbol><apply id="A1.E9.m1.3.4.3.4.2.cmml" xref="A1.E9.m1.3.4.3.4.2"><times id="A1.E9.m1.3.4.3.4.2.1.cmml" xref="A1.E9.m1.3.4.3.4.2.1"></times><cn type="integer" id="A1.E9.m1.3.4.3.4.2.2.cmml" xref="A1.E9.m1.3.4.3.4.2.2">2</cn><ci id="A1.E9.m1.3.4.3.4.2.3.cmml" xref="A1.E9.m1.3.4.3.4.2.3">𝐻</ci></apply><ci id="A1.E9.m1.3.4.3.4.3.cmml" xref="A1.E9.m1.3.4.3.4.3">𝐻</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E9.m1.3c">\displaystyle\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}\left.\right|_{Q=\pm|H|^{-0.5}}=2I\otimes H^{2}+4H^{0.5}\otimes H^{1.5}+2H\otimes H</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(9)</span></td>
</tr></tbody>
</table>
<p id="A1.SS1.8.p6.12" class="ltx_p">By equation <a href="#A1.E8" title="Equation 8 ‣ Proof. ‣ A.1 PSGD’s preconditioner 𝑃 recovers 𝐻⁻¹ ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">8</span></a>, the second order derivative on the Lie group
is</p>
<table id="A12.EGx19" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E10"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E10.m1.2" class="ltx_Math" alttext="\displaystyle\nabla^{2}_{\mathcal{E}}\left.\right|_{Q=\pm|H|^{-0.5}}=2H^{-1}\otimes H^{2}+4H^{-0.5}\otimes H^{1.5}+2I\otimes H" display="inline"><semantics id="A1.E10.m1.2a"><mrow id="A1.E10.m1.2.2" xref="A1.E10.m1.2.2.cmml"><msub id="A1.E10.m1.2.2.1.1" xref="A1.E10.m1.2.2.1.2.cmml"><mrow id="A1.E10.m1.2.2.1.1.1" xref="A1.E10.m1.2.2.1.2.cmml"><msubsup id="A1.E10.m1.2.2.1.1.1.1" xref="A1.E10.m1.2.2.1.1.1.1.cmml"><mo id="A1.E10.m1.2.2.1.1.1.1.2.2" xref="A1.E10.m1.2.2.1.1.1.1.2.2.cmml">∇</mo><mi class="ltx_font_mathcaligraphic" id="A1.E10.m1.2.2.1.1.1.1.3" xref="A1.E10.m1.2.2.1.1.1.1.3.cmml">ℰ</mi><mn id="A1.E10.m1.2.2.1.1.1.1.2.3" xref="A1.E10.m1.2.2.1.1.1.1.2.3.cmml">2</mn></msubsup><mo id="A1.E10.m1.2.2.1.1.1.2" xref="A1.E10.m1.2.2.1.2.1.cmml">|</mo></mrow><mrow id="A1.E10.m1.1.1.1" xref="A1.E10.m1.1.1.1.cmml"><mi id="A1.E10.m1.1.1.1.3" xref="A1.E10.m1.1.1.1.3.cmml">Q</mi><mo id="A1.E10.m1.1.1.1.2" xref="A1.E10.m1.1.1.1.2.cmml">=</mo><mrow id="A1.E10.m1.1.1.1.4" xref="A1.E10.m1.1.1.1.4.cmml"><mo id="A1.E10.m1.1.1.1.4a" xref="A1.E10.m1.1.1.1.4.cmml">±</mo><msup id="A1.E10.m1.1.1.1.4.2" xref="A1.E10.m1.1.1.1.4.2.cmml"><mrow id="A1.E10.m1.1.1.1.4.2.2.2" xref="A1.E10.m1.1.1.1.4.2.2.1.cmml"><mo stretchy="false" id="A1.E10.m1.1.1.1.4.2.2.2.1" xref="A1.E10.m1.1.1.1.4.2.2.1.1.cmml">|</mo><mi id="A1.E10.m1.1.1.1.1" xref="A1.E10.m1.1.1.1.1.cmml">H</mi><mo stretchy="false" id="A1.E10.m1.1.1.1.4.2.2.2.2" xref="A1.E10.m1.1.1.1.4.2.2.1.1.cmml">|</mo></mrow><mrow id="A1.E10.m1.1.1.1.4.2.3" xref="A1.E10.m1.1.1.1.4.2.3.cmml"><mo id="A1.E10.m1.1.1.1.4.2.3a" xref="A1.E10.m1.1.1.1.4.2.3.cmml">−</mo><mn id="A1.E10.m1.1.1.1.4.2.3.2" xref="A1.E10.m1.1.1.1.4.2.3.2.cmml">0.5</mn></mrow></msup></mrow></mrow></msub><mo id="A1.E10.m1.2.2.2" xref="A1.E10.m1.2.2.2.cmml">=</mo><mrow id="A1.E10.m1.2.2.3" xref="A1.E10.m1.2.2.3.cmml"><mrow id="A1.E10.m1.2.2.3.2" xref="A1.E10.m1.2.2.3.2.cmml"><mrow id="A1.E10.m1.2.2.3.2.2" xref="A1.E10.m1.2.2.3.2.2.cmml"><mn id="A1.E10.m1.2.2.3.2.2.2" xref="A1.E10.m1.2.2.3.2.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E10.m1.2.2.3.2.2.1" xref="A1.E10.m1.2.2.3.2.2.1.cmml">​</mo><msup id="A1.E10.m1.2.2.3.2.2.3" xref="A1.E10.m1.2.2.3.2.2.3.cmml"><mi id="A1.E10.m1.2.2.3.2.2.3.2" xref="A1.E10.m1.2.2.3.2.2.3.2.cmml">H</mi><mrow id="A1.E10.m1.2.2.3.2.2.3.3" xref="A1.E10.m1.2.2.3.2.2.3.3.cmml"><mo id="A1.E10.m1.2.2.3.2.2.3.3a" xref="A1.E10.m1.2.2.3.2.2.3.3.cmml">−</mo><mn id="A1.E10.m1.2.2.3.2.2.3.3.2" xref="A1.E10.m1.2.2.3.2.2.3.3.2.cmml">1</mn></mrow></msup></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.E10.m1.2.2.3.2.1" xref="A1.E10.m1.2.2.3.2.1.cmml">⊗</mo><msup id="A1.E10.m1.2.2.3.2.3" xref="A1.E10.m1.2.2.3.2.3.cmml"><mi id="A1.E10.m1.2.2.3.2.3.2" xref="A1.E10.m1.2.2.3.2.3.2.cmml">H</mi><mn id="A1.E10.m1.2.2.3.2.3.3" xref="A1.E10.m1.2.2.3.2.3.3.cmml">2</mn></msup></mrow><mo id="A1.E10.m1.2.2.3.1" xref="A1.E10.m1.2.2.3.1.cmml">+</mo><mrow id="A1.E10.m1.2.2.3.3" xref="A1.E10.m1.2.2.3.3.cmml"><mrow id="A1.E10.m1.2.2.3.3.2" xref="A1.E10.m1.2.2.3.3.2.cmml"><mn id="A1.E10.m1.2.2.3.3.2.2" xref="A1.E10.m1.2.2.3.3.2.2.cmml">4</mn><mo lspace="0em" rspace="0em" id="A1.E10.m1.2.2.3.3.2.1" xref="A1.E10.m1.2.2.3.3.2.1.cmml">​</mo><msup id="A1.E10.m1.2.2.3.3.2.3" xref="A1.E10.m1.2.2.3.3.2.3.cmml"><mi id="A1.E10.m1.2.2.3.3.2.3.2" xref="A1.E10.m1.2.2.3.3.2.3.2.cmml">H</mi><mrow id="A1.E10.m1.2.2.3.3.2.3.3" xref="A1.E10.m1.2.2.3.3.2.3.3.cmml"><mo id="A1.E10.m1.2.2.3.3.2.3.3a" xref="A1.E10.m1.2.2.3.3.2.3.3.cmml">−</mo><mn id="A1.E10.m1.2.2.3.3.2.3.3.2" xref="A1.E10.m1.2.2.3.3.2.3.3.2.cmml">0.5</mn></mrow></msup></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.E10.m1.2.2.3.3.1" xref="A1.E10.m1.2.2.3.3.1.cmml">⊗</mo><msup id="A1.E10.m1.2.2.3.3.3" xref="A1.E10.m1.2.2.3.3.3.cmml"><mi id="A1.E10.m1.2.2.3.3.3.2" xref="A1.E10.m1.2.2.3.3.3.2.cmml">H</mi><mn id="A1.E10.m1.2.2.3.3.3.3" xref="A1.E10.m1.2.2.3.3.3.3.cmml">1.5</mn></msup></mrow><mo id="A1.E10.m1.2.2.3.1a" xref="A1.E10.m1.2.2.3.1.cmml">+</mo><mrow id="A1.E10.m1.2.2.3.4" xref="A1.E10.m1.2.2.3.4.cmml"><mrow id="A1.E10.m1.2.2.3.4.2" xref="A1.E10.m1.2.2.3.4.2.cmml"><mn id="A1.E10.m1.2.2.3.4.2.2" xref="A1.E10.m1.2.2.3.4.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E10.m1.2.2.3.4.2.1" xref="A1.E10.m1.2.2.3.4.2.1.cmml">​</mo><mi id="A1.E10.m1.2.2.3.4.2.3" xref="A1.E10.m1.2.2.3.4.2.3.cmml">I</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A1.E10.m1.2.2.3.4.1" xref="A1.E10.m1.2.2.3.4.1.cmml">⊗</mo><mi id="A1.E10.m1.2.2.3.4.3" xref="A1.E10.m1.2.2.3.4.3.cmml">H</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E10.m1.2b"><apply id="A1.E10.m1.2.2.cmml" xref="A1.E10.m1.2.2"><eq id="A1.E10.m1.2.2.2.cmml" xref="A1.E10.m1.2.2.2"></eq><apply id="A1.E10.m1.2.2.1.2.cmml" xref="A1.E10.m1.2.2.1.1"><csymbol cd="latexml" id="A1.E10.m1.2.2.1.2.1.cmml" xref="A1.E10.m1.2.2.1.1.1.2">evaluated-at</csymbol><apply id="A1.E10.m1.2.2.1.1.1.1.cmml" xref="A1.E10.m1.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A1.E10.m1.2.2.1.1.1.1.1.cmml" xref="A1.E10.m1.2.2.1.1.1.1">subscript</csymbol><apply id="A1.E10.m1.2.2.1.1.1.1.2.cmml" xref="A1.E10.m1.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A1.E10.m1.2.2.1.1.1.1.2.1.cmml" xref="A1.E10.m1.2.2.1.1.1.1">superscript</csymbol><ci id="A1.E10.m1.2.2.1.1.1.1.2.2.cmml" xref="A1.E10.m1.2.2.1.1.1.1.2.2">∇</ci><cn type="integer" id="A1.E10.m1.2.2.1.1.1.1.2.3.cmml" xref="A1.E10.m1.2.2.1.1.1.1.2.3">2</cn></apply><ci id="A1.E10.m1.2.2.1.1.1.1.3.cmml" xref="A1.E10.m1.2.2.1.1.1.1.3">ℰ</ci></apply><apply id="A1.E10.m1.1.1.1.cmml" xref="A1.E10.m1.1.1.1"><eq id="A1.E10.m1.1.1.1.2.cmml" xref="A1.E10.m1.1.1.1.2"></eq><ci id="A1.E10.m1.1.1.1.3.cmml" xref="A1.E10.m1.1.1.1.3">𝑄</ci><apply id="A1.E10.m1.1.1.1.4.cmml" xref="A1.E10.m1.1.1.1.4"><csymbol cd="latexml" id="A1.E10.m1.1.1.1.4.1.cmml" xref="A1.E10.m1.1.1.1.4">plus-or-minus</csymbol><apply id="A1.E10.m1.1.1.1.4.2.cmml" xref="A1.E10.m1.1.1.1.4.2"><csymbol cd="ambiguous" id="A1.E10.m1.1.1.1.4.2.1.cmml" xref="A1.E10.m1.1.1.1.4.2">superscript</csymbol><apply id="A1.E10.m1.1.1.1.4.2.2.1.cmml" xref="A1.E10.m1.1.1.1.4.2.2.2"><abs id="A1.E10.m1.1.1.1.4.2.2.1.1.cmml" xref="A1.E10.m1.1.1.1.4.2.2.2.1"></abs><ci id="A1.E10.m1.1.1.1.1.cmml" xref="A1.E10.m1.1.1.1.1">𝐻</ci></apply><apply id="A1.E10.m1.1.1.1.4.2.3.cmml" xref="A1.E10.m1.1.1.1.4.2.3"><minus id="A1.E10.m1.1.1.1.4.2.3.1.cmml" xref="A1.E10.m1.1.1.1.4.2.3"></minus><cn type="float" id="A1.E10.m1.1.1.1.4.2.3.2.cmml" xref="A1.E10.m1.1.1.1.4.2.3.2">0.5</cn></apply></apply></apply></apply></apply><apply id="A1.E10.m1.2.2.3.cmml" xref="A1.E10.m1.2.2.3"><plus id="A1.E10.m1.2.2.3.1.cmml" xref="A1.E10.m1.2.2.3.1"></plus><apply id="A1.E10.m1.2.2.3.2.cmml" xref="A1.E10.m1.2.2.3.2"><csymbol cd="latexml" id="A1.E10.m1.2.2.3.2.1.cmml" xref="A1.E10.m1.2.2.3.2.1">tensor-product</csymbol><apply id="A1.E10.m1.2.2.3.2.2.cmml" xref="A1.E10.m1.2.2.3.2.2"><times id="A1.E10.m1.2.2.3.2.2.1.cmml" xref="A1.E10.m1.2.2.3.2.2.1"></times><cn type="integer" id="A1.E10.m1.2.2.3.2.2.2.cmml" xref="A1.E10.m1.2.2.3.2.2.2">2</cn><apply id="A1.E10.m1.2.2.3.2.2.3.cmml" xref="A1.E10.m1.2.2.3.2.2.3"><csymbol cd="ambiguous" id="A1.E10.m1.2.2.3.2.2.3.1.cmml" xref="A1.E10.m1.2.2.3.2.2.3">superscript</csymbol><ci id="A1.E10.m1.2.2.3.2.2.3.2.cmml" xref="A1.E10.m1.2.2.3.2.2.3.2">𝐻</ci><apply id="A1.E10.m1.2.2.3.2.2.3.3.cmml" xref="A1.E10.m1.2.2.3.2.2.3.3"><minus id="A1.E10.m1.2.2.3.2.2.3.3.1.cmml" xref="A1.E10.m1.2.2.3.2.2.3.3"></minus><cn type="integer" id="A1.E10.m1.2.2.3.2.2.3.3.2.cmml" xref="A1.E10.m1.2.2.3.2.2.3.3.2">1</cn></apply></apply></apply><apply id="A1.E10.m1.2.2.3.2.3.cmml" xref="A1.E10.m1.2.2.3.2.3"><csymbol cd="ambiguous" id="A1.E10.m1.2.2.3.2.3.1.cmml" xref="A1.E10.m1.2.2.3.2.3">superscript</csymbol><ci id="A1.E10.m1.2.2.3.2.3.2.cmml" xref="A1.E10.m1.2.2.3.2.3.2">𝐻</ci><cn type="integer" id="A1.E10.m1.2.2.3.2.3.3.cmml" xref="A1.E10.m1.2.2.3.2.3.3">2</cn></apply></apply><apply id="A1.E10.m1.2.2.3.3.cmml" xref="A1.E10.m1.2.2.3.3"><csymbol cd="latexml" id="A1.E10.m1.2.2.3.3.1.cmml" xref="A1.E10.m1.2.2.3.3.1">tensor-product</csymbol><apply id="A1.E10.m1.2.2.3.3.2.cmml" xref="A1.E10.m1.2.2.3.3.2"><times id="A1.E10.m1.2.2.3.3.2.1.cmml" xref="A1.E10.m1.2.2.3.3.2.1"></times><cn type="integer" id="A1.E10.m1.2.2.3.3.2.2.cmml" xref="A1.E10.m1.2.2.3.3.2.2">4</cn><apply id="A1.E10.m1.2.2.3.3.2.3.cmml" xref="A1.E10.m1.2.2.3.3.2.3"><csymbol cd="ambiguous" id="A1.E10.m1.2.2.3.3.2.3.1.cmml" xref="A1.E10.m1.2.2.3.3.2.3">superscript</csymbol><ci id="A1.E10.m1.2.2.3.3.2.3.2.cmml" xref="A1.E10.m1.2.2.3.3.2.3.2">𝐻</ci><apply id="A1.E10.m1.2.2.3.3.2.3.3.cmml" xref="A1.E10.m1.2.2.3.3.2.3.3"><minus id="A1.E10.m1.2.2.3.3.2.3.3.1.cmml" xref="A1.E10.m1.2.2.3.3.2.3.3"></minus><cn type="float" id="A1.E10.m1.2.2.3.3.2.3.3.2.cmml" xref="A1.E10.m1.2.2.3.3.2.3.3.2">0.5</cn></apply></apply></apply><apply id="A1.E10.m1.2.2.3.3.3.cmml" xref="A1.E10.m1.2.2.3.3.3"><csymbol cd="ambiguous" id="A1.E10.m1.2.2.3.3.3.1.cmml" xref="A1.E10.m1.2.2.3.3.3">superscript</csymbol><ci id="A1.E10.m1.2.2.3.3.3.2.cmml" xref="A1.E10.m1.2.2.3.3.3.2">𝐻</ci><cn type="float" id="A1.E10.m1.2.2.3.3.3.3.cmml" xref="A1.E10.m1.2.2.3.3.3.3">1.5</cn></apply></apply><apply id="A1.E10.m1.2.2.3.4.cmml" xref="A1.E10.m1.2.2.3.4"><csymbol cd="latexml" id="A1.E10.m1.2.2.3.4.1.cmml" xref="A1.E10.m1.2.2.3.4.1">tensor-product</csymbol><apply id="A1.E10.m1.2.2.3.4.2.cmml" xref="A1.E10.m1.2.2.3.4.2"><times id="A1.E10.m1.2.2.3.4.2.1.cmml" xref="A1.E10.m1.2.2.3.4.2.1"></times><cn type="integer" id="A1.E10.m1.2.2.3.4.2.2.cmml" xref="A1.E10.m1.2.2.3.4.2.2">2</cn><ci id="A1.E10.m1.2.2.3.4.2.3.cmml" xref="A1.E10.m1.2.2.3.4.2.3">𝐼</ci></apply><ci id="A1.E10.m1.2.2.3.4.3.cmml" xref="A1.E10.m1.2.2.3.4.3">𝐻</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E10.m1.2c">\displaystyle\nabla^{2}_{\mathcal{E}}\left.\right|_{Q=\pm|H|^{-0.5}}=2H^{-1}\otimes H^{2}+4H^{-0.5}\otimes H^{1.5}+2I\otimes H</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(10)</span></td>
</tr></tbody>
</table>
<p id="A1.SS1.8.p6.11" class="ltx_p">Now, both <math id="A1.SS1.8.p6.6.m1.2" class="ltx_Math" alttext="\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}" display="inline"><semantics id="A1.SS1.8.p6.6.m1.2a"><mfrac id="A1.SS1.8.p6.6.m1.2.2" xref="A1.SS1.8.p6.6.m1.2.2.cmml"><mrow id="A1.SS1.8.p6.6.m1.2.2.4" xref="A1.SS1.8.p6.6.m1.2.2.4.cmml"><msup id="A1.SS1.8.p6.6.m1.2.2.4.1" xref="A1.SS1.8.p6.6.m1.2.2.4.1.cmml"><mo id="A1.SS1.8.p6.6.m1.2.2.4.1.2" xref="A1.SS1.8.p6.6.m1.2.2.4.1.2.cmml">∂</mo><mn id="A1.SS1.8.p6.6.m1.2.2.4.1.3" xref="A1.SS1.8.p6.6.m1.2.2.4.1.3.cmml">2</mn></msup><mi id="A1.SS1.8.p6.6.m1.2.2.4.2" xref="A1.SS1.8.p6.6.m1.2.2.4.2.cmml">c</mi></mrow><mrow id="A1.SS1.8.p6.6.m1.2.2.2" xref="A1.SS1.8.p6.6.m1.2.2.2.cmml"><mo rspace="0em" id="A1.SS1.8.p6.6.m1.2.2.2.3" xref="A1.SS1.8.p6.6.m1.2.2.2.3.cmml">∂</mo><msup id="A1.SS1.8.p6.6.m1.2.2.2.2" xref="A1.SS1.8.p6.6.m1.2.2.2.2.cmml"><mrow id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.2" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml"><mi id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.2" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.2.cmml">vec</mi><mo lspace="0em" rspace="0em" id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.1" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mrow id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.3.2" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.3.2.1" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml">(</mo><mi id="A1.SS1.8.p6.6.m1.1.1.1.1" xref="A1.SS1.8.p6.6.m1.1.1.1.1.cmml">Q</mi><mo stretchy="false" id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.3.2.2" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.3" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow><mn id="A1.SS1.8.p6.6.m1.2.2.2.2.3" xref="A1.SS1.8.p6.6.m1.2.2.2.2.3.cmml">2</mn></msup></mrow></mfrac><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.6.m1.2b"><apply id="A1.SS1.8.p6.6.m1.2.2.cmml" xref="A1.SS1.8.p6.6.m1.2.2"><divide id="A1.SS1.8.p6.6.m1.2.2.3.cmml" xref="A1.SS1.8.p6.6.m1.2.2"></divide><apply id="A1.SS1.8.p6.6.m1.2.2.4.cmml" xref="A1.SS1.8.p6.6.m1.2.2.4"><apply id="A1.SS1.8.p6.6.m1.2.2.4.1.cmml" xref="A1.SS1.8.p6.6.m1.2.2.4.1"><csymbol cd="ambiguous" id="A1.SS1.8.p6.6.m1.2.2.4.1.1.cmml" xref="A1.SS1.8.p6.6.m1.2.2.4.1">superscript</csymbol><partialdiff id="A1.SS1.8.p6.6.m1.2.2.4.1.2.cmml" xref="A1.SS1.8.p6.6.m1.2.2.4.1.2"></partialdiff><cn type="integer" id="A1.SS1.8.p6.6.m1.2.2.4.1.3.cmml" xref="A1.SS1.8.p6.6.m1.2.2.4.1.3">2</cn></apply><ci id="A1.SS1.8.p6.6.m1.2.2.4.2.cmml" xref="A1.SS1.8.p6.6.m1.2.2.4.2">𝑐</ci></apply><apply id="A1.SS1.8.p6.6.m1.2.2.2.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2"><partialdiff id="A1.SS1.8.p6.6.m1.2.2.2.3.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2.3"></partialdiff><apply id="A1.SS1.8.p6.6.m1.2.2.2.2.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2.2"><csymbol cd="ambiguous" id="A1.SS1.8.p6.6.m1.2.2.2.2.2.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2.2">superscript</csymbol><apply id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1"><times id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.1.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.1"></times><ci id="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.2.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2.2.1.1.1.2">vec</ci><ci id="A1.SS1.8.p6.6.m1.1.1.1.1.cmml" xref="A1.SS1.8.p6.6.m1.1.1.1.1">𝑄</ci></apply><cn type="integer" id="A1.SS1.8.p6.6.m1.2.2.2.2.3.cmml" xref="A1.SS1.8.p6.6.m1.2.2.2.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.6.m1.2c">\frac{\partial^{2}c}{\partial({\rm vec}(Q))^{2}}</annotation></semantics></math> and <math id="A1.SS1.8.p6.7.m2.1" class="ltx_Math" alttext="\nabla^{2}_{\mathcal{E}}" display="inline"><semantics id="A1.SS1.8.p6.7.m2.1a"><msubsup id="A1.SS1.8.p6.7.m2.1.1" xref="A1.SS1.8.p6.7.m2.1.1.cmml"><mo id="A1.SS1.8.p6.7.m2.1.1.2.2" xref="A1.SS1.8.p6.7.m2.1.1.2.2.cmml">∇</mo><mi class="ltx_font_mathcaligraphic" id="A1.SS1.8.p6.7.m2.1.1.3" xref="A1.SS1.8.p6.7.m2.1.1.3.cmml">ℰ</mi><mn id="A1.SS1.8.p6.7.m2.1.1.2.3" xref="A1.SS1.8.p6.7.m2.1.1.2.3.cmml">2</mn></msubsup><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.7.m2.1b"><apply id="A1.SS1.8.p6.7.m2.1.1.cmml" xref="A1.SS1.8.p6.7.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.8.p6.7.m2.1.1.1.cmml" xref="A1.SS1.8.p6.7.m2.1.1">subscript</csymbol><apply id="A1.SS1.8.p6.7.m2.1.1.2.cmml" xref="A1.SS1.8.p6.7.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.8.p6.7.m2.1.1.2.1.cmml" xref="A1.SS1.8.p6.7.m2.1.1">superscript</csymbol><ci id="A1.SS1.8.p6.7.m2.1.1.2.2.cmml" xref="A1.SS1.8.p6.7.m2.1.1.2.2">∇</ci><cn type="integer" id="A1.SS1.8.p6.7.m2.1.1.2.3.cmml" xref="A1.SS1.8.p6.7.m2.1.1.2.3">2</cn></apply><ci id="A1.SS1.8.p6.7.m2.1.1.3.cmml" xref="A1.SS1.8.p6.7.m2.1.1.3">ℰ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.7.m2.1c">\nabla^{2}_{\mathcal{E}}</annotation></semantics></math> are positive definite for an invertible <math id="A1.SS1.8.p6.8.m3.1" class="ltx_Math" alttext="H" display="inline"><semantics id="A1.SS1.8.p6.8.m3.1a"><mi id="A1.SS1.8.p6.8.m3.1.1" xref="A1.SS1.8.p6.8.m3.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.8.m3.1b"><ci id="A1.SS1.8.p6.8.m3.1.1.cmml" xref="A1.SS1.8.p6.8.m3.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.8.m3.1c">H</annotation></semantics></math> at the stationary point. Thus, <math id="A1.SS1.8.p6.9.m4.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A1.SS1.8.p6.9.m4.1a"><mi id="A1.SS1.8.p6.9.m4.1.1" xref="A1.SS1.8.p6.9.m4.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.9.m4.1b"><ci id="A1.SS1.8.p6.9.m4.1.1.cmml" xref="A1.SS1.8.p6.9.m4.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.9.m4.1c">Q</annotation></semantics></math> converges to either stationary point, i.e., <math id="A1.SS1.8.p6.10.m5.1" class="ltx_Math" alttext="|H|^{-0.5}" display="inline"><semantics id="A1.SS1.8.p6.10.m5.1a"><msup id="A1.SS1.8.p6.10.m5.1.2" xref="A1.SS1.8.p6.10.m5.1.2.cmml"><mrow id="A1.SS1.8.p6.10.m5.1.2.2.2" xref="A1.SS1.8.p6.10.m5.1.2.2.1.cmml"><mo stretchy="false" id="A1.SS1.8.p6.10.m5.1.2.2.2.1" xref="A1.SS1.8.p6.10.m5.1.2.2.1.1.cmml">|</mo><mi id="A1.SS1.8.p6.10.m5.1.1" xref="A1.SS1.8.p6.10.m5.1.1.cmml">H</mi><mo stretchy="false" id="A1.SS1.8.p6.10.m5.1.2.2.2.2" xref="A1.SS1.8.p6.10.m5.1.2.2.1.1.cmml">|</mo></mrow><mrow id="A1.SS1.8.p6.10.m5.1.2.3" xref="A1.SS1.8.p6.10.m5.1.2.3.cmml"><mo id="A1.SS1.8.p6.10.m5.1.2.3a" xref="A1.SS1.8.p6.10.m5.1.2.3.cmml">−</mo><mn id="A1.SS1.8.p6.10.m5.1.2.3.2" xref="A1.SS1.8.p6.10.m5.1.2.3.2.cmml">0.5</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.10.m5.1b"><apply id="A1.SS1.8.p6.10.m5.1.2.cmml" xref="A1.SS1.8.p6.10.m5.1.2"><csymbol cd="ambiguous" id="A1.SS1.8.p6.10.m5.1.2.1.cmml" xref="A1.SS1.8.p6.10.m5.1.2">superscript</csymbol><apply id="A1.SS1.8.p6.10.m5.1.2.2.1.cmml" xref="A1.SS1.8.p6.10.m5.1.2.2.2"><abs id="A1.SS1.8.p6.10.m5.1.2.2.1.1.cmml" xref="A1.SS1.8.p6.10.m5.1.2.2.2.1"></abs><ci id="A1.SS1.8.p6.10.m5.1.1.cmml" xref="A1.SS1.8.p6.10.m5.1.1">𝐻</ci></apply><apply id="A1.SS1.8.p6.10.m5.1.2.3.cmml" xref="A1.SS1.8.p6.10.m5.1.2.3"><minus id="A1.SS1.8.p6.10.m5.1.2.3.1.cmml" xref="A1.SS1.8.p6.10.m5.1.2.3"></minus><cn type="float" id="A1.SS1.8.p6.10.m5.1.2.3.2.cmml" xref="A1.SS1.8.p6.10.m5.1.2.3.2">0.5</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.10.m5.1c">|H|^{-0.5}</annotation></semantics></math> or <math id="A1.SS1.8.p6.11.m6.1" class="ltx_Math" alttext="-|H|^{-0.5}" display="inline"><semantics id="A1.SS1.8.p6.11.m6.1a"><mrow id="A1.SS1.8.p6.11.m6.1.2" xref="A1.SS1.8.p6.11.m6.1.2.cmml"><mo id="A1.SS1.8.p6.11.m6.1.2a" xref="A1.SS1.8.p6.11.m6.1.2.cmml">−</mo><msup id="A1.SS1.8.p6.11.m6.1.2.2" xref="A1.SS1.8.p6.11.m6.1.2.2.cmml"><mrow id="A1.SS1.8.p6.11.m6.1.2.2.2.2" xref="A1.SS1.8.p6.11.m6.1.2.2.2.1.cmml"><mo stretchy="false" id="A1.SS1.8.p6.11.m6.1.2.2.2.2.1" xref="A1.SS1.8.p6.11.m6.1.2.2.2.1.1.cmml">|</mo><mi id="A1.SS1.8.p6.11.m6.1.1" xref="A1.SS1.8.p6.11.m6.1.1.cmml">H</mi><mo stretchy="false" id="A1.SS1.8.p6.11.m6.1.2.2.2.2.2" xref="A1.SS1.8.p6.11.m6.1.2.2.2.1.1.cmml">|</mo></mrow><mrow id="A1.SS1.8.p6.11.m6.1.2.2.3" xref="A1.SS1.8.p6.11.m6.1.2.2.3.cmml"><mo id="A1.SS1.8.p6.11.m6.1.2.2.3a" xref="A1.SS1.8.p6.11.m6.1.2.2.3.cmml">−</mo><mn id="A1.SS1.8.p6.11.m6.1.2.2.3.2" xref="A1.SS1.8.p6.11.m6.1.2.2.3.2.cmml">0.5</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.8.p6.11.m6.1b"><apply id="A1.SS1.8.p6.11.m6.1.2.cmml" xref="A1.SS1.8.p6.11.m6.1.2"><minus id="A1.SS1.8.p6.11.m6.1.2.1.cmml" xref="A1.SS1.8.p6.11.m6.1.2"></minus><apply id="A1.SS1.8.p6.11.m6.1.2.2.cmml" xref="A1.SS1.8.p6.11.m6.1.2.2"><csymbol cd="ambiguous" id="A1.SS1.8.p6.11.m6.1.2.2.1.cmml" xref="A1.SS1.8.p6.11.m6.1.2.2">superscript</csymbol><apply id="A1.SS1.8.p6.11.m6.1.2.2.2.1.cmml" xref="A1.SS1.8.p6.11.m6.1.2.2.2.2"><abs id="A1.SS1.8.p6.11.m6.1.2.2.2.1.1.cmml" xref="A1.SS1.8.p6.11.m6.1.2.2.2.2.1"></abs><ci id="A1.SS1.8.p6.11.m6.1.1.cmml" xref="A1.SS1.8.p6.11.m6.1.1">𝐻</ci></apply><apply id="A1.SS1.8.p6.11.m6.1.2.2.3.cmml" xref="A1.SS1.8.p6.11.m6.1.2.2.3"><minus id="A1.SS1.8.p6.11.m6.1.2.2.3.1.cmml" xref="A1.SS1.8.p6.11.m6.1.2.2.3"></minus><cn type="float" id="A1.SS1.8.p6.11.m6.1.2.2.3.2.cmml" xref="A1.SS1.8.p6.11.m6.1.2.2.3.2">0.5</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.8.p6.11.m6.1c">-|H|^{-0.5}</annotation></semantics></math>.
 ∎</p>
</div>
</div>
<div id="A1.SS1.p4" class="ltx_para">
<p id="A1.SS1.p4.6" class="ltx_p">From Proposition <a href="#S3.Thmprop1" title="Proposition 3.1. ‣ 3.1 Properties and Convergence of PSGD ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a>, we see that <math id="A1.SS1.p4.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS1.p4.1.m1.1a"><mi id="A1.SS1.p4.1.m1.1.1" xref="A1.SS1.p4.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS1.p4.1.m1.1b"><ci id="A1.SS1.p4.1.m1.1.1.cmml" xref="A1.SS1.p4.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p4.1.m1.1c">P</annotation></semantics></math> converges to <math id="A1.SS1.p4.2.m2.1" class="ltx_Math" alttext="|H_{0}|^{-1}" display="inline"><semantics id="A1.SS1.p4.2.m2.1a"><msup id="A1.SS1.p4.2.m2.1.1" xref="A1.SS1.p4.2.m2.1.1.cmml"><mrow id="A1.SS1.p4.2.m2.1.1.1.1" xref="A1.SS1.p4.2.m2.1.1.1.2.cmml"><mo stretchy="false" id="A1.SS1.p4.2.m2.1.1.1.1.2" xref="A1.SS1.p4.2.m2.1.1.1.2.1.cmml">|</mo><msub id="A1.SS1.p4.2.m2.1.1.1.1.1" xref="A1.SS1.p4.2.m2.1.1.1.1.1.cmml"><mi id="A1.SS1.p4.2.m2.1.1.1.1.1.2" xref="A1.SS1.p4.2.m2.1.1.1.1.1.2.cmml">H</mi><mn id="A1.SS1.p4.2.m2.1.1.1.1.1.3" xref="A1.SS1.p4.2.m2.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A1.SS1.p4.2.m2.1.1.1.1.3" xref="A1.SS1.p4.2.m2.1.1.1.2.1.cmml">|</mo></mrow><mrow id="A1.SS1.p4.2.m2.1.1.3" xref="A1.SS1.p4.2.m2.1.1.3.cmml"><mo id="A1.SS1.p4.2.m2.1.1.3a" xref="A1.SS1.p4.2.m2.1.1.3.cmml">−</mo><mn id="A1.SS1.p4.2.m2.1.1.3.2" xref="A1.SS1.p4.2.m2.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A1.SS1.p4.2.m2.1b"><apply id="A1.SS1.p4.2.m2.1.1.cmml" xref="A1.SS1.p4.2.m2.1.1"><csymbol cd="ambiguous" id="A1.SS1.p4.2.m2.1.1.2.cmml" xref="A1.SS1.p4.2.m2.1.1">superscript</csymbol><apply id="A1.SS1.p4.2.m2.1.1.1.2.cmml" xref="A1.SS1.p4.2.m2.1.1.1.1"><abs id="A1.SS1.p4.2.m2.1.1.1.2.1.cmml" xref="A1.SS1.p4.2.m2.1.1.1.1.2"></abs><apply id="A1.SS1.p4.2.m2.1.1.1.1.1.cmml" xref="A1.SS1.p4.2.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS1.p4.2.m2.1.1.1.1.1.1.cmml" xref="A1.SS1.p4.2.m2.1.1.1.1.1">subscript</csymbol><ci id="A1.SS1.p4.2.m2.1.1.1.1.1.2.cmml" xref="A1.SS1.p4.2.m2.1.1.1.1.1.2">𝐻</ci><cn type="integer" id="A1.SS1.p4.2.m2.1.1.1.1.1.3.cmml" xref="A1.SS1.p4.2.m2.1.1.1.1.1.3">0</cn></apply></apply><apply id="A1.SS1.p4.2.m2.1.1.3.cmml" xref="A1.SS1.p4.2.m2.1.1.3"><minus id="A1.SS1.p4.2.m2.1.1.3.1.cmml" xref="A1.SS1.p4.2.m2.1.1.3"></minus><cn type="integer" id="A1.SS1.p4.2.m2.1.1.3.2.cmml" xref="A1.SS1.p4.2.m2.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p4.2.m2.1c">|H_{0}|^{-1}</annotation></semantics></math> when <math id="A1.SS1.p4.3.m3.1" class="ltx_Math" alttext="\varepsilon=0" display="inline"><semantics id="A1.SS1.p4.3.m3.1a"><mrow id="A1.SS1.p4.3.m3.1.1" xref="A1.SS1.p4.3.m3.1.1.cmml"><mi id="A1.SS1.p4.3.m3.1.1.2" xref="A1.SS1.p4.3.m3.1.1.2.cmml">ε</mi><mo id="A1.SS1.p4.3.m3.1.1.1" xref="A1.SS1.p4.3.m3.1.1.1.cmml">=</mo><mn id="A1.SS1.p4.3.m3.1.1.3" xref="A1.SS1.p4.3.m3.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p4.3.m3.1b"><apply id="A1.SS1.p4.3.m3.1.1.cmml" xref="A1.SS1.p4.3.m3.1.1"><eq id="A1.SS1.p4.3.m3.1.1.1.cmml" xref="A1.SS1.p4.3.m3.1.1.1"></eq><ci id="A1.SS1.p4.3.m3.1.1.2.cmml" xref="A1.SS1.p4.3.m3.1.1.2">𝜀</ci><cn type="integer" id="A1.SS1.p4.3.m3.1.1.3.cmml" xref="A1.SS1.p4.3.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p4.3.m3.1c">\varepsilon=0</annotation></semantics></math>, i.e., inverse of the “absolute” Hessian. With stochastic gradient noises, <math id="A1.SS1.p4.4.m4.1" class="ltx_Math" alttext="\varepsilon\neq 0" display="inline"><semantics id="A1.SS1.p4.4.m4.1a"><mrow id="A1.SS1.p4.4.m4.1.1" xref="A1.SS1.p4.4.m4.1.1.cmml"><mi id="A1.SS1.p4.4.m4.1.1.2" xref="A1.SS1.p4.4.m4.1.1.2.cmml">ε</mi><mo id="A1.SS1.p4.4.m4.1.1.1" xref="A1.SS1.p4.4.m4.1.1.1.cmml">≠</mo><mn id="A1.SS1.p4.4.m4.1.1.3" xref="A1.SS1.p4.4.m4.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p4.4.m4.1b"><apply id="A1.SS1.p4.4.m4.1.1.cmml" xref="A1.SS1.p4.4.m4.1.1"><neq id="A1.SS1.p4.4.m4.1.1.1.cmml" xref="A1.SS1.p4.4.m4.1.1.1"></neq><ci id="A1.SS1.p4.4.m4.1.1.2.cmml" xref="A1.SS1.p4.4.m4.1.1.2">𝜀</ci><cn type="integer" id="A1.SS1.p4.4.m4.1.1.3.cmml" xref="A1.SS1.p4.4.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p4.4.m4.1c">\varepsilon\neq 0</annotation></semantics></math> and we always have <math id="A1.SS1.p4.5.m5.1" class="ltx_Math" alttext="P\prec|H_{0}|^{-1}" display="inline"><semantics id="A1.SS1.p4.5.m5.1a"><mrow id="A1.SS1.p4.5.m5.1.1" xref="A1.SS1.p4.5.m5.1.1.cmml"><mi id="A1.SS1.p4.5.m5.1.1.3" xref="A1.SS1.p4.5.m5.1.1.3.cmml">P</mi><mo id="A1.SS1.p4.5.m5.1.1.2" xref="A1.SS1.p4.5.m5.1.1.2.cmml">≺</mo><msup id="A1.SS1.p4.5.m5.1.1.1" xref="A1.SS1.p4.5.m5.1.1.1.cmml"><mrow id="A1.SS1.p4.5.m5.1.1.1.1.1" xref="A1.SS1.p4.5.m5.1.1.1.1.2.cmml"><mo stretchy="false" id="A1.SS1.p4.5.m5.1.1.1.1.1.2" xref="A1.SS1.p4.5.m5.1.1.1.1.2.1.cmml">|</mo><msub id="A1.SS1.p4.5.m5.1.1.1.1.1.1" xref="A1.SS1.p4.5.m5.1.1.1.1.1.1.cmml"><mi id="A1.SS1.p4.5.m5.1.1.1.1.1.1.2" xref="A1.SS1.p4.5.m5.1.1.1.1.1.1.2.cmml">H</mi><mn id="A1.SS1.p4.5.m5.1.1.1.1.1.1.3" xref="A1.SS1.p4.5.m5.1.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A1.SS1.p4.5.m5.1.1.1.1.1.3" xref="A1.SS1.p4.5.m5.1.1.1.1.2.1.cmml">|</mo></mrow><mrow id="A1.SS1.p4.5.m5.1.1.1.3" xref="A1.SS1.p4.5.m5.1.1.1.3.cmml"><mo id="A1.SS1.p4.5.m5.1.1.1.3a" xref="A1.SS1.p4.5.m5.1.1.1.3.cmml">−</mo><mn id="A1.SS1.p4.5.m5.1.1.1.3.2" xref="A1.SS1.p4.5.m5.1.1.1.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p4.5.m5.1b"><apply id="A1.SS1.p4.5.m5.1.1.cmml" xref="A1.SS1.p4.5.m5.1.1"><csymbol cd="latexml" id="A1.SS1.p4.5.m5.1.1.2.cmml" xref="A1.SS1.p4.5.m5.1.1.2">precedes</csymbol><ci id="A1.SS1.p4.5.m5.1.1.3.cmml" xref="A1.SS1.p4.5.m5.1.1.3">𝑃</ci><apply id="A1.SS1.p4.5.m5.1.1.1.cmml" xref="A1.SS1.p4.5.m5.1.1.1"><csymbol cd="ambiguous" id="A1.SS1.p4.5.m5.1.1.1.2.cmml" xref="A1.SS1.p4.5.m5.1.1.1">superscript</csymbol><apply id="A1.SS1.p4.5.m5.1.1.1.1.2.cmml" xref="A1.SS1.p4.5.m5.1.1.1.1.1"><abs id="A1.SS1.p4.5.m5.1.1.1.1.2.1.cmml" xref="A1.SS1.p4.5.m5.1.1.1.1.1.2"></abs><apply id="A1.SS1.p4.5.m5.1.1.1.1.1.1.cmml" xref="A1.SS1.p4.5.m5.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS1.p4.5.m5.1.1.1.1.1.1.1.cmml" xref="A1.SS1.p4.5.m5.1.1.1.1.1.1">subscript</csymbol><ci id="A1.SS1.p4.5.m5.1.1.1.1.1.1.2.cmml" xref="A1.SS1.p4.5.m5.1.1.1.1.1.1.2">𝐻</ci><cn type="integer" id="A1.SS1.p4.5.m5.1.1.1.1.1.1.3.cmml" xref="A1.SS1.p4.5.m5.1.1.1.1.1.1.3">0</cn></apply></apply><apply id="A1.SS1.p4.5.m5.1.1.1.3.cmml" xref="A1.SS1.p4.5.m5.1.1.1.3"><minus id="A1.SS1.p4.5.m5.1.1.1.3.1.cmml" xref="A1.SS1.p4.5.m5.1.1.1.3"></minus><cn type="integer" id="A1.SS1.p4.5.m5.1.1.1.3.2.cmml" xref="A1.SS1.p4.5.m5.1.1.1.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p4.5.m5.1c">P\prec|H_{0}|^{-1}</annotation></semantics></math>. This is not a bug but rather a feature of PSGD that damps the gradient noises perfect such that <math id="A1.SS1.p4.6.m6.2" class="ltx_Math" alttext="PE[\delta g\delta g^{T}]P=E[\delta\theta\delta\theta^{T}]" display="inline"><semantics id="A1.SS1.p4.6.m6.2a"><mrow id="A1.SS1.p4.6.m6.2.2" xref="A1.SS1.p4.6.m6.2.2.cmml"><mrow id="A1.SS1.p4.6.m6.1.1.1" xref="A1.SS1.p4.6.m6.1.1.1.cmml"><mi id="A1.SS1.p4.6.m6.1.1.1.3" xref="A1.SS1.p4.6.m6.1.1.1.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.1.1.1.2" xref="A1.SS1.p4.6.m6.1.1.1.2.cmml">​</mo><mi id="A1.SS1.p4.6.m6.1.1.1.4" xref="A1.SS1.p4.6.m6.1.1.1.4.cmml">E</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.1.1.1.2a" xref="A1.SS1.p4.6.m6.1.1.1.2.cmml">​</mo><mrow id="A1.SS1.p4.6.m6.1.1.1.1.1" xref="A1.SS1.p4.6.m6.1.1.1.1.2.cmml"><mo stretchy="false" id="A1.SS1.p4.6.m6.1.1.1.1.1.2" xref="A1.SS1.p4.6.m6.1.1.1.1.2.1.cmml">[</mo><mrow id="A1.SS1.p4.6.m6.1.1.1.1.1.1" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.cmml"><mi id="A1.SS1.p4.6.m6.1.1.1.1.1.1.2" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.1.1.1.1.1.1.1" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.1.cmml">​</mo><mi id="A1.SS1.p4.6.m6.1.1.1.1.1.1.3" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.1.1.1.1.1.1.1a" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.1.cmml">​</mo><mi id="A1.SS1.p4.6.m6.1.1.1.1.1.1.4" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.4.cmml">δ</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.1.1.1.1.1.1.1b" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.1.cmml">​</mo><msup id="A1.SS1.p4.6.m6.1.1.1.1.1.1.5" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.cmml"><mi id="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.2" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.2.cmml">g</mi><mi id="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.3" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A1.SS1.p4.6.m6.1.1.1.1.1.3" xref="A1.SS1.p4.6.m6.1.1.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.1.1.1.2b" xref="A1.SS1.p4.6.m6.1.1.1.2.cmml">​</mo><mi id="A1.SS1.p4.6.m6.1.1.1.5" xref="A1.SS1.p4.6.m6.1.1.1.5.cmml">P</mi></mrow><mo id="A1.SS1.p4.6.m6.2.2.3" xref="A1.SS1.p4.6.m6.2.2.3.cmml">=</mo><mrow id="A1.SS1.p4.6.m6.2.2.2" xref="A1.SS1.p4.6.m6.2.2.2.cmml"><mi id="A1.SS1.p4.6.m6.2.2.2.3" xref="A1.SS1.p4.6.m6.2.2.2.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.2.2.2.2" xref="A1.SS1.p4.6.m6.2.2.2.2.cmml">​</mo><mrow id="A1.SS1.p4.6.m6.2.2.2.1.1" xref="A1.SS1.p4.6.m6.2.2.2.1.2.cmml"><mo stretchy="false" id="A1.SS1.p4.6.m6.2.2.2.1.1.2" xref="A1.SS1.p4.6.m6.2.2.2.1.2.1.cmml">[</mo><mrow id="A1.SS1.p4.6.m6.2.2.2.1.1.1" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.cmml"><mi id="A1.SS1.p4.6.m6.2.2.2.1.1.1.2" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.2.cmml">δ</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.2.2.2.1.1.1.1" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.1.cmml">​</mo><mi id="A1.SS1.p4.6.m6.2.2.2.1.1.1.3" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.3.cmml">θ</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.2.2.2.1.1.1.1a" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.1.cmml">​</mo><mi id="A1.SS1.p4.6.m6.2.2.2.1.1.1.4" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.4.cmml">δ</mi><mo lspace="0em" rspace="0em" id="A1.SS1.p4.6.m6.2.2.2.1.1.1.1b" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.1.cmml">​</mo><msup id="A1.SS1.p4.6.m6.2.2.2.1.1.1.5" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.cmml"><mi id="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.2" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.2.cmml">θ</mi><mi id="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.3" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A1.SS1.p4.6.m6.2.2.2.1.1.3" xref="A1.SS1.p4.6.m6.2.2.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS1.p4.6.m6.2b"><apply id="A1.SS1.p4.6.m6.2.2.cmml" xref="A1.SS1.p4.6.m6.2.2"><eq id="A1.SS1.p4.6.m6.2.2.3.cmml" xref="A1.SS1.p4.6.m6.2.2.3"></eq><apply id="A1.SS1.p4.6.m6.1.1.1.cmml" xref="A1.SS1.p4.6.m6.1.1.1"><times id="A1.SS1.p4.6.m6.1.1.1.2.cmml" xref="A1.SS1.p4.6.m6.1.1.1.2"></times><ci id="A1.SS1.p4.6.m6.1.1.1.3.cmml" xref="A1.SS1.p4.6.m6.1.1.1.3">𝑃</ci><ci id="A1.SS1.p4.6.m6.1.1.1.4.cmml" xref="A1.SS1.p4.6.m6.1.1.1.4">𝐸</ci><apply id="A1.SS1.p4.6.m6.1.1.1.1.2.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1"><csymbol cd="latexml" id="A1.SS1.p4.6.m6.1.1.1.1.2.1.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.SS1.p4.6.m6.1.1.1.1.1.1.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1"><times id="A1.SS1.p4.6.m6.1.1.1.1.1.1.1.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.1"></times><ci id="A1.SS1.p4.6.m6.1.1.1.1.1.1.2.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.2">𝛿</ci><ci id="A1.SS1.p4.6.m6.1.1.1.1.1.1.3.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.3">𝑔</ci><ci id="A1.SS1.p4.6.m6.1.1.1.1.1.1.4.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.4">𝛿</ci><apply id="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.1.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.5">superscript</csymbol><ci id="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.2.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.2">𝑔</ci><ci id="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.3.cmml" xref="A1.SS1.p4.6.m6.1.1.1.1.1.1.5.3">𝑇</ci></apply></apply></apply><ci id="A1.SS1.p4.6.m6.1.1.1.5.cmml" xref="A1.SS1.p4.6.m6.1.1.1.5">𝑃</ci></apply><apply id="A1.SS1.p4.6.m6.2.2.2.cmml" xref="A1.SS1.p4.6.m6.2.2.2"><times id="A1.SS1.p4.6.m6.2.2.2.2.cmml" xref="A1.SS1.p4.6.m6.2.2.2.2"></times><ci id="A1.SS1.p4.6.m6.2.2.2.3.cmml" xref="A1.SS1.p4.6.m6.2.2.2.3">𝐸</ci><apply id="A1.SS1.p4.6.m6.2.2.2.1.2.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1"><csymbol cd="latexml" id="A1.SS1.p4.6.m6.2.2.2.1.2.1.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.2">delimited-[]</csymbol><apply id="A1.SS1.p4.6.m6.2.2.2.1.1.1.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1"><times id="A1.SS1.p4.6.m6.2.2.2.1.1.1.1.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.1"></times><ci id="A1.SS1.p4.6.m6.2.2.2.1.1.1.2.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.2">𝛿</ci><ci id="A1.SS1.p4.6.m6.2.2.2.1.1.1.3.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.3">𝜃</ci><ci id="A1.SS1.p4.6.m6.2.2.2.1.1.1.4.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.4">𝛿</ci><apply id="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.5"><csymbol cd="ambiguous" id="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.1.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.5">superscript</csymbol><ci id="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.2.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.2">𝜃</ci><ci id="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.3.cmml" xref="A1.SS1.p4.6.m6.2.2.2.1.1.1.5.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS1.p4.6.m6.2c">PE[\delta g\delta g^{T}]P=E[\delta\theta\delta\theta^{T}]</annotation></semantics></math> <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib26" title="" class="ltx_ref">2015</a>]</cite>, a relationship generalizing the Newton method to non-convex and stochastic optimizations. Unlike the damping strategies in other second order methods, this built-in gradient noise damping mechanics of PSGD does not requires any tuning effort.</p>
</div>
</section>
<section id="A1.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">A.2 </span>Linear Convergence of PSGD under General Setting</h3>

<div id="A1.SS2.p1" class="ltx_para">
<p id="A1.SS2.p1.1" class="ltx_p">See <a href="#S3.Thmprop1.Thmcor1" title="Corollary 3.1.1. ‣ 3.1 Properties and Convergence of PSGD ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1.1</span></a></p>
</div>
<div id="A1.SS2.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A1.SS2.1.p1" class="ltx_para">
<p id="A1.SS2.1.p1.5" class="ltx_p">For a general nonconvex problems, we assume that the eigenvalues of Hessian is well bounded as</p>
<table id="A1.Ex30" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A1.Ex30.m1.2" class="ltx_Math" alttext="0&lt;l\leq|\lambda(H)|\leq u&lt;\infty" display="block"><semantics id="A1.Ex30.m1.2a"><mrow id="A1.Ex30.m1.2.2" xref="A1.Ex30.m1.2.2.cmml"><mn id="A1.Ex30.m1.2.2.3" xref="A1.Ex30.m1.2.2.3.cmml">0</mn><mo id="A1.Ex30.m1.2.2.4" xref="A1.Ex30.m1.2.2.4.cmml">&lt;</mo><mi id="A1.Ex30.m1.2.2.5" xref="A1.Ex30.m1.2.2.5.cmml">l</mi><mo id="A1.Ex30.m1.2.2.6" xref="A1.Ex30.m1.2.2.6.cmml">≤</mo><mrow id="A1.Ex30.m1.2.2.1.1" xref="A1.Ex30.m1.2.2.1.2.cmml"><mo stretchy="false" id="A1.Ex30.m1.2.2.1.1.2" xref="A1.Ex30.m1.2.2.1.2.1.cmml">|</mo><mrow id="A1.Ex30.m1.2.2.1.1.1" xref="A1.Ex30.m1.2.2.1.1.1.cmml"><mi id="A1.Ex30.m1.2.2.1.1.1.2" xref="A1.Ex30.m1.2.2.1.1.1.2.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.Ex30.m1.2.2.1.1.1.1" xref="A1.Ex30.m1.2.2.1.1.1.1.cmml">​</mo><mrow id="A1.Ex30.m1.2.2.1.1.1.3.2" xref="A1.Ex30.m1.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.Ex30.m1.2.2.1.1.1.3.2.1" xref="A1.Ex30.m1.2.2.1.1.1.cmml">(</mo><mi id="A1.Ex30.m1.1.1" xref="A1.Ex30.m1.1.1.cmml">H</mi><mo stretchy="false" id="A1.Ex30.m1.2.2.1.1.1.3.2.2" xref="A1.Ex30.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.Ex30.m1.2.2.1.1.3" xref="A1.Ex30.m1.2.2.1.2.1.cmml">|</mo></mrow><mo id="A1.Ex30.m1.2.2.7" xref="A1.Ex30.m1.2.2.7.cmml">≤</mo><mi id="A1.Ex30.m1.2.2.8" xref="A1.Ex30.m1.2.2.8.cmml">u</mi><mo id="A1.Ex30.m1.2.2.9" xref="A1.Ex30.m1.2.2.9.cmml">&lt;</mo><mi mathvariant="normal" id="A1.Ex30.m1.2.2.10" xref="A1.Ex30.m1.2.2.10.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex30.m1.2b"><apply id="A1.Ex30.m1.2.2.cmml" xref="A1.Ex30.m1.2.2"><and id="A1.Ex30.m1.2.2a.cmml" xref="A1.Ex30.m1.2.2"></and><apply id="A1.Ex30.m1.2.2b.cmml" xref="A1.Ex30.m1.2.2"><lt id="A1.Ex30.m1.2.2.4.cmml" xref="A1.Ex30.m1.2.2.4"></lt><cn type="integer" id="A1.Ex30.m1.2.2.3.cmml" xref="A1.Ex30.m1.2.2.3">0</cn><ci id="A1.Ex30.m1.2.2.5.cmml" xref="A1.Ex30.m1.2.2.5">𝑙</ci></apply><apply id="A1.Ex30.m1.2.2c.cmml" xref="A1.Ex30.m1.2.2"><leq id="A1.Ex30.m1.2.2.6.cmml" xref="A1.Ex30.m1.2.2.6"></leq><share href="#A1.Ex30.m1.2.2.5.cmml" id="A1.Ex30.m1.2.2d.cmml" xref="A1.Ex30.m1.2.2"></share><apply id="A1.Ex30.m1.2.2.1.2.cmml" xref="A1.Ex30.m1.2.2.1.1"><abs id="A1.Ex30.m1.2.2.1.2.1.cmml" xref="A1.Ex30.m1.2.2.1.1.2"></abs><apply id="A1.Ex30.m1.2.2.1.1.1.cmml" xref="A1.Ex30.m1.2.2.1.1.1"><times id="A1.Ex30.m1.2.2.1.1.1.1.cmml" xref="A1.Ex30.m1.2.2.1.1.1.1"></times><ci id="A1.Ex30.m1.2.2.1.1.1.2.cmml" xref="A1.Ex30.m1.2.2.1.1.1.2">𝜆</ci><ci id="A1.Ex30.m1.1.1.cmml" xref="A1.Ex30.m1.1.1">𝐻</ci></apply></apply></apply><apply id="A1.Ex30.m1.2.2e.cmml" xref="A1.Ex30.m1.2.2"><leq id="A1.Ex30.m1.2.2.7.cmml" xref="A1.Ex30.m1.2.2.7"></leq><share href="#A1.Ex30.m1.2.2.1.cmml" id="A1.Ex30.m1.2.2f.cmml" xref="A1.Ex30.m1.2.2"></share><ci id="A1.Ex30.m1.2.2.8.cmml" xref="A1.Ex30.m1.2.2.8">𝑢</ci></apply><apply id="A1.Ex30.m1.2.2g.cmml" xref="A1.Ex30.m1.2.2"><lt id="A1.Ex30.m1.2.2.9.cmml" xref="A1.Ex30.m1.2.2.9"></lt><share href="#A1.Ex30.m1.2.2.8.cmml" id="A1.Ex30.m1.2.2h.cmml" xref="A1.Ex30.m1.2.2"></share><infinity id="A1.Ex30.m1.2.2.10.cmml" xref="A1.Ex30.m1.2.2.10"></infinity></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex30.m1.2c">0&lt;l\leq|\lambda(H)|\leq u&lt;\infty</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS2.1.p1.2" class="ltx_p">Then by Proposition 2.1, <math id="A1.SS2.1.p1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS2.1.p1.1.m1.1a"><mi id="A1.SS2.1.p1.1.m1.1.1" xref="A1.SS2.1.p1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.1.p1.1.m1.1b"><ci id="A1.SS2.1.p1.1.m1.1.1.cmml" xref="A1.SS2.1.p1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.1.p1.1.m1.1c">P</annotation></semantics></math> converges to <math id="A1.SS2.1.p1.2.m2.1" class="ltx_Math" alttext="|H|^{-1}" display="inline"><semantics id="A1.SS2.1.p1.2.m2.1a"><msup id="A1.SS2.1.p1.2.m2.1.2" xref="A1.SS2.1.p1.2.m2.1.2.cmml"><mrow id="A1.SS2.1.p1.2.m2.1.2.2.2" xref="A1.SS2.1.p1.2.m2.1.2.2.1.cmml"><mo stretchy="false" id="A1.SS2.1.p1.2.m2.1.2.2.2.1" xref="A1.SS2.1.p1.2.m2.1.2.2.1.1.cmml">|</mo><mi id="A1.SS2.1.p1.2.m2.1.1" xref="A1.SS2.1.p1.2.m2.1.1.cmml">H</mi><mo stretchy="false" id="A1.SS2.1.p1.2.m2.1.2.2.2.2" xref="A1.SS2.1.p1.2.m2.1.2.2.1.1.cmml">|</mo></mrow><mrow id="A1.SS2.1.p1.2.m2.1.2.3" xref="A1.SS2.1.p1.2.m2.1.2.3.cmml"><mo id="A1.SS2.1.p1.2.m2.1.2.3a" xref="A1.SS2.1.p1.2.m2.1.2.3.cmml">−</mo><mn id="A1.SS2.1.p1.2.m2.1.2.3.2" xref="A1.SS2.1.p1.2.m2.1.2.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A1.SS2.1.p1.2.m2.1b"><apply id="A1.SS2.1.p1.2.m2.1.2.cmml" xref="A1.SS2.1.p1.2.m2.1.2"><csymbol cd="ambiguous" id="A1.SS2.1.p1.2.m2.1.2.1.cmml" xref="A1.SS2.1.p1.2.m2.1.2">superscript</csymbol><apply id="A1.SS2.1.p1.2.m2.1.2.2.1.cmml" xref="A1.SS2.1.p1.2.m2.1.2.2.2"><abs id="A1.SS2.1.p1.2.m2.1.2.2.1.1.cmml" xref="A1.SS2.1.p1.2.m2.1.2.2.2.1"></abs><ci id="A1.SS2.1.p1.2.m2.1.1.cmml" xref="A1.SS2.1.p1.2.m2.1.1">𝐻</ci></apply><apply id="A1.SS2.1.p1.2.m2.1.2.3.cmml" xref="A1.SS2.1.p1.2.m2.1.2.3"><minus id="A1.SS2.1.p1.2.m2.1.2.3.1.cmml" xref="A1.SS2.1.p1.2.m2.1.2.3"></minus><cn type="integer" id="A1.SS2.1.p1.2.m2.1.2.3.2.cmml" xref="A1.SS2.1.p1.2.m2.1.2.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.1.p1.2.m2.1c">|H|^{-1}</annotation></semantics></math>. Thus</p>
<table id="A1.Ex31" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A1.Ex31.m1.1" class="ltx_Math" alttext="0&lt;1/u\leq\lambda(P)\leq 1/l&lt;\infty" display="block"><semantics id="A1.Ex31.m1.1a"><mrow id="A1.Ex31.m1.1.2" xref="A1.Ex31.m1.1.2.cmml"><mn id="A1.Ex31.m1.1.2.2" xref="A1.Ex31.m1.1.2.2.cmml">0</mn><mo id="A1.Ex31.m1.1.2.3" xref="A1.Ex31.m1.1.2.3.cmml">&lt;</mo><mrow id="A1.Ex31.m1.1.2.4" xref="A1.Ex31.m1.1.2.4.cmml"><mn id="A1.Ex31.m1.1.2.4.2" xref="A1.Ex31.m1.1.2.4.2.cmml">1</mn><mo id="A1.Ex31.m1.1.2.4.1" xref="A1.Ex31.m1.1.2.4.1.cmml">/</mo><mi id="A1.Ex31.m1.1.2.4.3" xref="A1.Ex31.m1.1.2.4.3.cmml">u</mi></mrow><mo id="A1.Ex31.m1.1.2.5" xref="A1.Ex31.m1.1.2.5.cmml">≤</mo><mrow id="A1.Ex31.m1.1.2.6" xref="A1.Ex31.m1.1.2.6.cmml"><mi id="A1.Ex31.m1.1.2.6.2" xref="A1.Ex31.m1.1.2.6.2.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.Ex31.m1.1.2.6.1" xref="A1.Ex31.m1.1.2.6.1.cmml">​</mo><mrow id="A1.Ex31.m1.1.2.6.3.2" xref="A1.Ex31.m1.1.2.6.cmml"><mo stretchy="false" id="A1.Ex31.m1.1.2.6.3.2.1" xref="A1.Ex31.m1.1.2.6.cmml">(</mo><mi id="A1.Ex31.m1.1.1" xref="A1.Ex31.m1.1.1.cmml">P</mi><mo stretchy="false" id="A1.Ex31.m1.1.2.6.3.2.2" xref="A1.Ex31.m1.1.2.6.cmml">)</mo></mrow></mrow><mo id="A1.Ex31.m1.1.2.7" xref="A1.Ex31.m1.1.2.7.cmml">≤</mo><mrow id="A1.Ex31.m1.1.2.8" xref="A1.Ex31.m1.1.2.8.cmml"><mn id="A1.Ex31.m1.1.2.8.2" xref="A1.Ex31.m1.1.2.8.2.cmml">1</mn><mo id="A1.Ex31.m1.1.2.8.1" xref="A1.Ex31.m1.1.2.8.1.cmml">/</mo><mi id="A1.Ex31.m1.1.2.8.3" xref="A1.Ex31.m1.1.2.8.3.cmml">l</mi></mrow><mo id="A1.Ex31.m1.1.2.9" xref="A1.Ex31.m1.1.2.9.cmml">&lt;</mo><mi mathvariant="normal" id="A1.Ex31.m1.1.2.10" xref="A1.Ex31.m1.1.2.10.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex31.m1.1b"><apply id="A1.Ex31.m1.1.2.cmml" xref="A1.Ex31.m1.1.2"><and id="A1.Ex31.m1.1.2a.cmml" xref="A1.Ex31.m1.1.2"></and><apply id="A1.Ex31.m1.1.2b.cmml" xref="A1.Ex31.m1.1.2"><lt id="A1.Ex31.m1.1.2.3.cmml" xref="A1.Ex31.m1.1.2.3"></lt><cn type="integer" id="A1.Ex31.m1.1.2.2.cmml" xref="A1.Ex31.m1.1.2.2">0</cn><apply id="A1.Ex31.m1.1.2.4.cmml" xref="A1.Ex31.m1.1.2.4"><divide id="A1.Ex31.m1.1.2.4.1.cmml" xref="A1.Ex31.m1.1.2.4.1"></divide><cn type="integer" id="A1.Ex31.m1.1.2.4.2.cmml" xref="A1.Ex31.m1.1.2.4.2">1</cn><ci id="A1.Ex31.m1.1.2.4.3.cmml" xref="A1.Ex31.m1.1.2.4.3">𝑢</ci></apply></apply><apply id="A1.Ex31.m1.1.2c.cmml" xref="A1.Ex31.m1.1.2"><leq id="A1.Ex31.m1.1.2.5.cmml" xref="A1.Ex31.m1.1.2.5"></leq><share href="#A1.Ex31.m1.1.2.4.cmml" id="A1.Ex31.m1.1.2d.cmml" xref="A1.Ex31.m1.1.2"></share><apply id="A1.Ex31.m1.1.2.6.cmml" xref="A1.Ex31.m1.1.2.6"><times id="A1.Ex31.m1.1.2.6.1.cmml" xref="A1.Ex31.m1.1.2.6.1"></times><ci id="A1.Ex31.m1.1.2.6.2.cmml" xref="A1.Ex31.m1.1.2.6.2">𝜆</ci><ci id="A1.Ex31.m1.1.1.cmml" xref="A1.Ex31.m1.1.1">𝑃</ci></apply></apply><apply id="A1.Ex31.m1.1.2e.cmml" xref="A1.Ex31.m1.1.2"><leq id="A1.Ex31.m1.1.2.7.cmml" xref="A1.Ex31.m1.1.2.7"></leq><share href="#A1.Ex31.m1.1.2.6.cmml" id="A1.Ex31.m1.1.2f.cmml" xref="A1.Ex31.m1.1.2"></share><apply id="A1.Ex31.m1.1.2.8.cmml" xref="A1.Ex31.m1.1.2.8"><divide id="A1.Ex31.m1.1.2.8.1.cmml" xref="A1.Ex31.m1.1.2.8.1"></divide><cn type="integer" id="A1.Ex31.m1.1.2.8.2.cmml" xref="A1.Ex31.m1.1.2.8.2">1</cn><ci id="A1.Ex31.m1.1.2.8.3.cmml" xref="A1.Ex31.m1.1.2.8.3">𝑙</ci></apply></apply><apply id="A1.Ex31.m1.1.2g.cmml" xref="A1.Ex31.m1.1.2"><lt id="A1.Ex31.m1.1.2.9.cmml" xref="A1.Ex31.m1.1.2.9"></lt><share href="#A1.Ex31.m1.1.2.8.cmml" id="A1.Ex31.m1.1.2h.cmml" xref="A1.Ex31.m1.1.2"></share><infinity id="A1.Ex31.m1.1.2.10.cmml" xref="A1.Ex31.m1.1.2.10"></infinity></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex31.m1.1c">0&lt;1/u\leq\lambda(P)\leq 1/l&lt;\infty</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS2.1.p1.4" class="ltx_p">The learning rule for parameters with positive step <math id="A1.SS2.1.p1.3.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A1.SS2.1.p1.3.m1.1a"><mi id="A1.SS2.1.p1.3.m1.1.1" xref="A1.SS2.1.p1.3.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.1.p1.3.m1.1b"><ci id="A1.SS2.1.p1.3.m1.1.1.cmml" xref="A1.SS2.1.p1.3.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.1.p1.3.m1.1c">\mu</annotation></semantics></math> and preconditioner <math id="A1.SS2.1.p1.4.m2.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS2.1.p1.4.m2.1a"><mi id="A1.SS2.1.p1.4.m2.1.1" xref="A1.SS2.1.p1.4.m2.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS2.1.p1.4.m2.1b"><ci id="A1.SS2.1.p1.4.m2.1.1.cmml" xref="A1.SS2.1.p1.4.m2.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS2.1.p1.4.m2.1c">P</annotation></semantics></math> follows as</p>
<table id="A12.EGx20" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.Ex32"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex32.m1.1" class="ltx_Math" alttext="\displaystyle d{\cal{L}}(\theta)=" display="inline"><semantics id="A1.Ex32.m1.1a"><mrow id="A1.Ex32.m1.1.2" xref="A1.Ex32.m1.1.2.cmml"><mrow id="A1.Ex32.m1.1.2.2" xref="A1.Ex32.m1.1.2.2.cmml"><mi id="A1.Ex32.m1.1.2.2.2" xref="A1.Ex32.m1.1.2.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex32.m1.1.2.2.1" xref="A1.Ex32.m1.1.2.2.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="A1.Ex32.m1.1.2.2.3" xref="A1.Ex32.m1.1.2.2.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex32.m1.1.2.2.1a" xref="A1.Ex32.m1.1.2.2.1.cmml">​</mo><mrow id="A1.Ex32.m1.1.2.2.4.2" xref="A1.Ex32.m1.1.2.2.cmml"><mo stretchy="false" id="A1.Ex32.m1.1.2.2.4.2.1" xref="A1.Ex32.m1.1.2.2.cmml">(</mo><mi id="A1.Ex32.m1.1.1" xref="A1.Ex32.m1.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex32.m1.1.2.2.4.2.2" xref="A1.Ex32.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="A1.Ex32.m1.1.2.1" xref="A1.Ex32.m1.1.2.1.cmml">=</mo><mi id="A1.Ex32.m1.1.2.3" xref="A1.Ex32.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex32.m1.1b"><apply id="A1.Ex32.m1.1.2.cmml" xref="A1.Ex32.m1.1.2"><eq id="A1.Ex32.m1.1.2.1.cmml" xref="A1.Ex32.m1.1.2.1"></eq><apply id="A1.Ex32.m1.1.2.2.cmml" xref="A1.Ex32.m1.1.2.2"><times id="A1.Ex32.m1.1.2.2.1.cmml" xref="A1.Ex32.m1.1.2.2.1"></times><ci id="A1.Ex32.m1.1.2.2.2.cmml" xref="A1.Ex32.m1.1.2.2.2">𝑑</ci><ci id="A1.Ex32.m1.1.2.2.3.cmml" xref="A1.Ex32.m1.1.2.2.3">ℒ</ci><ci id="A1.Ex32.m1.1.1.cmml" xref="A1.Ex32.m1.1.1">𝜃</ci></apply><csymbol cd="latexml" id="A1.Ex32.m1.1.2.3.cmml" xref="A1.Ex32.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex32.m1.1c">\displaystyle d{\cal{L}}(\theta)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex32.m2.2" class="ltx_Math" alttext="\displaystyle(d\theta)^{T}\frac{\partial{\cal{L}}(\theta)}{\partial\theta}" display="inline"><semantics id="A1.Ex32.m2.2a"><mrow id="A1.Ex32.m2.2.2" xref="A1.Ex32.m2.2.2.cmml"><msup id="A1.Ex32.m2.2.2.1" xref="A1.Ex32.m2.2.2.1.cmml"><mrow id="A1.Ex32.m2.2.2.1.1.1" xref="A1.Ex32.m2.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A1.Ex32.m2.2.2.1.1.1.2" xref="A1.Ex32.m2.2.2.1.1.1.1.cmml">(</mo><mrow id="A1.Ex32.m2.2.2.1.1.1.1" xref="A1.Ex32.m2.2.2.1.1.1.1.cmml"><mi id="A1.Ex32.m2.2.2.1.1.1.1.2" xref="A1.Ex32.m2.2.2.1.1.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A1.Ex32.m2.2.2.1.1.1.1.1" xref="A1.Ex32.m2.2.2.1.1.1.1.1.cmml">​</mo><mi id="A1.Ex32.m2.2.2.1.1.1.1.3" xref="A1.Ex32.m2.2.2.1.1.1.1.3.cmml">θ</mi></mrow><mo stretchy="false" id="A1.Ex32.m2.2.2.1.1.1.3" xref="A1.Ex32.m2.2.2.1.1.1.1.cmml">)</mo></mrow><mi id="A1.Ex32.m2.2.2.1.3" xref="A1.Ex32.m2.2.2.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex32.m2.2.2.2" xref="A1.Ex32.m2.2.2.2.cmml">​</mo><mstyle displaystyle="true" id="A1.Ex32.m2.1.1" xref="A1.Ex32.m2.1.1.cmml"><mfrac id="A1.Ex32.m2.1.1a" xref="A1.Ex32.m2.1.1.cmml"><mrow id="A1.Ex32.m2.1.1.1" xref="A1.Ex32.m2.1.1.1.cmml"><mo rspace="0em" id="A1.Ex32.m2.1.1.1.2" xref="A1.Ex32.m2.1.1.1.2.cmml">∂</mo><mrow id="A1.Ex32.m2.1.1.1.3" xref="A1.Ex32.m2.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex32.m2.1.1.1.3.2" xref="A1.Ex32.m2.1.1.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex32.m2.1.1.1.3.1" xref="A1.Ex32.m2.1.1.1.3.1.cmml">​</mo><mrow id="A1.Ex32.m2.1.1.1.3.3.2" xref="A1.Ex32.m2.1.1.1.3.cmml"><mo stretchy="false" id="A1.Ex32.m2.1.1.1.3.3.2.1" xref="A1.Ex32.m2.1.1.1.3.cmml">(</mo><mi id="A1.Ex32.m2.1.1.1.1" xref="A1.Ex32.m2.1.1.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex32.m2.1.1.1.3.3.2.2" xref="A1.Ex32.m2.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex32.m2.1.1.3" xref="A1.Ex32.m2.1.1.3.cmml"><mo rspace="0em" id="A1.Ex32.m2.1.1.3.1" xref="A1.Ex32.m2.1.1.3.1.cmml">∂</mo><mi id="A1.Ex32.m2.1.1.3.2" xref="A1.Ex32.m2.1.1.3.2.cmml">θ</mi></mrow></mfrac></mstyle></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex32.m2.2b"><apply id="A1.Ex32.m2.2.2.cmml" xref="A1.Ex32.m2.2.2"><times id="A1.Ex32.m2.2.2.2.cmml" xref="A1.Ex32.m2.2.2.2"></times><apply id="A1.Ex32.m2.2.2.1.cmml" xref="A1.Ex32.m2.2.2.1"><csymbol cd="ambiguous" id="A1.Ex32.m2.2.2.1.2.cmml" xref="A1.Ex32.m2.2.2.1">superscript</csymbol><apply id="A1.Ex32.m2.2.2.1.1.1.1.cmml" xref="A1.Ex32.m2.2.2.1.1.1"><times id="A1.Ex32.m2.2.2.1.1.1.1.1.cmml" xref="A1.Ex32.m2.2.2.1.1.1.1.1"></times><ci id="A1.Ex32.m2.2.2.1.1.1.1.2.cmml" xref="A1.Ex32.m2.2.2.1.1.1.1.2">𝑑</ci><ci id="A1.Ex32.m2.2.2.1.1.1.1.3.cmml" xref="A1.Ex32.m2.2.2.1.1.1.1.3">𝜃</ci></apply><ci id="A1.Ex32.m2.2.2.1.3.cmml" xref="A1.Ex32.m2.2.2.1.3">𝑇</ci></apply><apply id="A1.Ex32.m2.1.1.cmml" xref="A1.Ex32.m2.1.1"><divide id="A1.Ex32.m2.1.1.2.cmml" xref="A1.Ex32.m2.1.1"></divide><apply id="A1.Ex32.m2.1.1.1.cmml" xref="A1.Ex32.m2.1.1.1"><partialdiff id="A1.Ex32.m2.1.1.1.2.cmml" xref="A1.Ex32.m2.1.1.1.2"></partialdiff><apply id="A1.Ex32.m2.1.1.1.3.cmml" xref="A1.Ex32.m2.1.1.1.3"><times id="A1.Ex32.m2.1.1.1.3.1.cmml" xref="A1.Ex32.m2.1.1.1.3.1"></times><ci id="A1.Ex32.m2.1.1.1.3.2.cmml" xref="A1.Ex32.m2.1.1.1.3.2">ℒ</ci><ci id="A1.Ex32.m2.1.1.1.1.cmml" xref="A1.Ex32.m2.1.1.1.1">𝜃</ci></apply></apply><apply id="A1.Ex32.m2.1.1.3.cmml" xref="A1.Ex32.m2.1.1.3"><partialdiff id="A1.Ex32.m2.1.1.3.1.cmml" xref="A1.Ex32.m2.1.1.3.1"></partialdiff><ci id="A1.Ex32.m2.1.1.3.2.cmml" xref="A1.Ex32.m2.1.1.3.2">𝜃</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex32.m2.2c">\displaystyle(d\theta)^{T}\frac{\partial{\cal{L}}(\theta)}{\partial\theta}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex33"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex33.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex33.m1.1a"><mo id="A1.Ex33.m1.1.1" xref="A1.Ex33.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex33.m1.1b"><eq id="A1.Ex33.m1.1.1.cmml" xref="A1.Ex33.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex33.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex33.m2.2" class="ltx_Math" alttext="\displaystyle-\mu P\left(\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right)^{T}\frac{\partial{\cal{L}}(\theta)}{\partial\theta}" display="inline"><semantics id="A1.Ex33.m2.2a"><mrow id="A1.Ex33.m2.2.3" xref="A1.Ex33.m2.2.3.cmml"><mo id="A1.Ex33.m2.2.3a" xref="A1.Ex33.m2.2.3.cmml">−</mo><mrow id="A1.Ex33.m2.2.3.2" xref="A1.Ex33.m2.2.3.2.cmml"><mi id="A1.Ex33.m2.2.3.2.2" xref="A1.Ex33.m2.2.3.2.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A1.Ex33.m2.2.3.2.1" xref="A1.Ex33.m2.2.3.2.1.cmml">​</mo><mi id="A1.Ex33.m2.2.3.2.3" xref="A1.Ex33.m2.2.3.2.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex33.m2.2.3.2.1a" xref="A1.Ex33.m2.2.3.2.1.cmml">​</mo><msup id="A1.Ex33.m2.2.3.2.4" xref="A1.Ex33.m2.2.3.2.4.cmml"><mrow id="A1.Ex33.m2.2.3.2.4.2.2" xref="A1.Ex33.m2.1.1.cmml"><mo id="A1.Ex33.m2.2.3.2.4.2.2.1" xref="A1.Ex33.m2.1.1.cmml">(</mo><mstyle displaystyle="true" id="A1.Ex33.m2.1.1" xref="A1.Ex33.m2.1.1.cmml"><mfrac id="A1.Ex33.m2.1.1a" xref="A1.Ex33.m2.1.1.cmml"><mrow id="A1.Ex33.m2.1.1.1" xref="A1.Ex33.m2.1.1.1.cmml"><mo rspace="0em" id="A1.Ex33.m2.1.1.1.2" xref="A1.Ex33.m2.1.1.1.2.cmml">∂</mo><mrow id="A1.Ex33.m2.1.1.1.3" xref="A1.Ex33.m2.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex33.m2.1.1.1.3.2" xref="A1.Ex33.m2.1.1.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex33.m2.1.1.1.3.1" xref="A1.Ex33.m2.1.1.1.3.1.cmml">​</mo><mrow id="A1.Ex33.m2.1.1.1.3.3.2" xref="A1.Ex33.m2.1.1.1.3.cmml"><mo stretchy="false" id="A1.Ex33.m2.1.1.1.3.3.2.1" xref="A1.Ex33.m2.1.1.1.3.cmml">(</mo><mi id="A1.Ex33.m2.1.1.1.1" xref="A1.Ex33.m2.1.1.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex33.m2.1.1.1.3.3.2.2" xref="A1.Ex33.m2.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex33.m2.1.1.3" xref="A1.Ex33.m2.1.1.3.cmml"><mo rspace="0em" id="A1.Ex33.m2.1.1.3.1" xref="A1.Ex33.m2.1.1.3.1.cmml">∂</mo><mi id="A1.Ex33.m2.1.1.3.2" xref="A1.Ex33.m2.1.1.3.2.cmml">θ</mi></mrow></mfrac></mstyle><mo id="A1.Ex33.m2.2.3.2.4.2.2.2" xref="A1.Ex33.m2.1.1.cmml">)</mo></mrow><mi id="A1.Ex33.m2.2.3.2.4.3" xref="A1.Ex33.m2.2.3.2.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A1.Ex33.m2.2.3.2.1b" xref="A1.Ex33.m2.2.3.2.1.cmml">​</mo><mstyle displaystyle="true" id="A1.Ex33.m2.2.2" xref="A1.Ex33.m2.2.2.cmml"><mfrac id="A1.Ex33.m2.2.2a" xref="A1.Ex33.m2.2.2.cmml"><mrow id="A1.Ex33.m2.2.2.1" xref="A1.Ex33.m2.2.2.1.cmml"><mo rspace="0em" id="A1.Ex33.m2.2.2.1.2" xref="A1.Ex33.m2.2.2.1.2.cmml">∂</mo><mrow id="A1.Ex33.m2.2.2.1.3" xref="A1.Ex33.m2.2.2.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex33.m2.2.2.1.3.2" xref="A1.Ex33.m2.2.2.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex33.m2.2.2.1.3.1" xref="A1.Ex33.m2.2.2.1.3.1.cmml">​</mo><mrow id="A1.Ex33.m2.2.2.1.3.3.2" xref="A1.Ex33.m2.2.2.1.3.cmml"><mo stretchy="false" id="A1.Ex33.m2.2.2.1.3.3.2.1" xref="A1.Ex33.m2.2.2.1.3.cmml">(</mo><mi id="A1.Ex33.m2.2.2.1.1" xref="A1.Ex33.m2.2.2.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex33.m2.2.2.1.3.3.2.2" xref="A1.Ex33.m2.2.2.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex33.m2.2.2.3" xref="A1.Ex33.m2.2.2.3.cmml"><mo rspace="0em" id="A1.Ex33.m2.2.2.3.1" xref="A1.Ex33.m2.2.2.3.1.cmml">∂</mo><mi id="A1.Ex33.m2.2.2.3.2" xref="A1.Ex33.m2.2.2.3.2.cmml">θ</mi></mrow></mfrac></mstyle></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex33.m2.2b"><apply id="A1.Ex33.m2.2.3.cmml" xref="A1.Ex33.m2.2.3"><minus id="A1.Ex33.m2.2.3.1.cmml" xref="A1.Ex33.m2.2.3"></minus><apply id="A1.Ex33.m2.2.3.2.cmml" xref="A1.Ex33.m2.2.3.2"><times id="A1.Ex33.m2.2.3.2.1.cmml" xref="A1.Ex33.m2.2.3.2.1"></times><ci id="A1.Ex33.m2.2.3.2.2.cmml" xref="A1.Ex33.m2.2.3.2.2">𝜇</ci><ci id="A1.Ex33.m2.2.3.2.3.cmml" xref="A1.Ex33.m2.2.3.2.3">𝑃</ci><apply id="A1.Ex33.m2.2.3.2.4.cmml" xref="A1.Ex33.m2.2.3.2.4"><csymbol cd="ambiguous" id="A1.Ex33.m2.2.3.2.4.1.cmml" xref="A1.Ex33.m2.2.3.2.4">superscript</csymbol><apply id="A1.Ex33.m2.1.1.cmml" xref="A1.Ex33.m2.2.3.2.4.2.2"><divide id="A1.Ex33.m2.1.1.2.cmml" xref="A1.Ex33.m2.2.3.2.4.2.2"></divide><apply id="A1.Ex33.m2.1.1.1.cmml" xref="A1.Ex33.m2.1.1.1"><partialdiff id="A1.Ex33.m2.1.1.1.2.cmml" xref="A1.Ex33.m2.1.1.1.2"></partialdiff><apply id="A1.Ex33.m2.1.1.1.3.cmml" xref="A1.Ex33.m2.1.1.1.3"><times id="A1.Ex33.m2.1.1.1.3.1.cmml" xref="A1.Ex33.m2.1.1.1.3.1"></times><ci id="A1.Ex33.m2.1.1.1.3.2.cmml" xref="A1.Ex33.m2.1.1.1.3.2">ℒ</ci><ci id="A1.Ex33.m2.1.1.1.1.cmml" xref="A1.Ex33.m2.1.1.1.1">𝜃</ci></apply></apply><apply id="A1.Ex33.m2.1.1.3.cmml" xref="A1.Ex33.m2.1.1.3"><partialdiff id="A1.Ex33.m2.1.1.3.1.cmml" xref="A1.Ex33.m2.1.1.3.1"></partialdiff><ci id="A1.Ex33.m2.1.1.3.2.cmml" xref="A1.Ex33.m2.1.1.3.2">𝜃</ci></apply></apply><ci id="A1.Ex33.m2.2.3.2.4.3.cmml" xref="A1.Ex33.m2.2.3.2.4.3">𝑇</ci></apply><apply id="A1.Ex33.m2.2.2.cmml" xref="A1.Ex33.m2.2.2"><divide id="A1.Ex33.m2.2.2.2.cmml" xref="A1.Ex33.m2.2.2"></divide><apply id="A1.Ex33.m2.2.2.1.cmml" xref="A1.Ex33.m2.2.2.1"><partialdiff id="A1.Ex33.m2.2.2.1.2.cmml" xref="A1.Ex33.m2.2.2.1.2"></partialdiff><apply id="A1.Ex33.m2.2.2.1.3.cmml" xref="A1.Ex33.m2.2.2.1.3"><times id="A1.Ex33.m2.2.2.1.3.1.cmml" xref="A1.Ex33.m2.2.2.1.3.1"></times><ci id="A1.Ex33.m2.2.2.1.3.2.cmml" xref="A1.Ex33.m2.2.2.1.3.2">ℒ</ci><ci id="A1.Ex33.m2.2.2.1.1.cmml" xref="A1.Ex33.m2.2.2.1.1">𝜃</ci></apply></apply><apply id="A1.Ex33.m2.2.2.3.cmml" xref="A1.Ex33.m2.2.2.3"><partialdiff id="A1.Ex33.m2.2.2.3.1.cmml" xref="A1.Ex33.m2.2.2.3.1"></partialdiff><ci id="A1.Ex33.m2.2.2.3.2.cmml" xref="A1.Ex33.m2.2.2.3.2">𝜃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex33.m2.2c">\displaystyle-\mu P\left(\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right)^{T}\frac{\partial{\cal{L}}(\theta)}{\partial\theta}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex34"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex34.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex34.m1.1a"><mo id="A1.Ex34.m1.1.1" xref="A1.Ex34.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex34.m1.1b"><eq id="A1.Ex34.m1.1.1.cmml" xref="A1.Ex34.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex34.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex34.m2.3" class="ltx_Math" alttext="\displaystyle-\mu{\rm tr}\left[\frac{\partial{\cal{L}}(\theta)}{\partial\theta}P\left(\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right)^{T}\right]" display="inline"><semantics id="A1.Ex34.m2.3a"><mrow id="A1.Ex34.m2.3.3" xref="A1.Ex34.m2.3.3.cmml"><mo id="A1.Ex34.m2.3.3a" xref="A1.Ex34.m2.3.3.cmml">−</mo><mrow id="A1.Ex34.m2.3.3.1" xref="A1.Ex34.m2.3.3.1.cmml"><mi id="A1.Ex34.m2.3.3.1.3" xref="A1.Ex34.m2.3.3.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A1.Ex34.m2.3.3.1.2" xref="A1.Ex34.m2.3.3.1.2.cmml">​</mo><mi id="A1.Ex34.m2.3.3.1.4" xref="A1.Ex34.m2.3.3.1.4.cmml">tr</mi><mo lspace="0em" rspace="0em" id="A1.Ex34.m2.3.3.1.2a" xref="A1.Ex34.m2.3.3.1.2.cmml">​</mo><mrow id="A1.Ex34.m2.3.3.1.1.1" xref="A1.Ex34.m2.3.3.1.1.2.cmml"><mo id="A1.Ex34.m2.3.3.1.1.1.2" xref="A1.Ex34.m2.3.3.1.1.2.1.cmml">[</mo><mrow id="A1.Ex34.m2.3.3.1.1.1.1" xref="A1.Ex34.m2.3.3.1.1.1.1.cmml"><mstyle displaystyle="true" id="A1.Ex34.m2.1.1" xref="A1.Ex34.m2.1.1.cmml"><mfrac id="A1.Ex34.m2.1.1a" xref="A1.Ex34.m2.1.1.cmml"><mrow id="A1.Ex34.m2.1.1.1" xref="A1.Ex34.m2.1.1.1.cmml"><mo rspace="0em" id="A1.Ex34.m2.1.1.1.2" xref="A1.Ex34.m2.1.1.1.2.cmml">∂</mo><mrow id="A1.Ex34.m2.1.1.1.3" xref="A1.Ex34.m2.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex34.m2.1.1.1.3.2" xref="A1.Ex34.m2.1.1.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex34.m2.1.1.1.3.1" xref="A1.Ex34.m2.1.1.1.3.1.cmml">​</mo><mrow id="A1.Ex34.m2.1.1.1.3.3.2" xref="A1.Ex34.m2.1.1.1.3.cmml"><mo stretchy="false" id="A1.Ex34.m2.1.1.1.3.3.2.1" xref="A1.Ex34.m2.1.1.1.3.cmml">(</mo><mi id="A1.Ex34.m2.1.1.1.1" xref="A1.Ex34.m2.1.1.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex34.m2.1.1.1.3.3.2.2" xref="A1.Ex34.m2.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex34.m2.1.1.3" xref="A1.Ex34.m2.1.1.3.cmml"><mo rspace="0em" id="A1.Ex34.m2.1.1.3.1" xref="A1.Ex34.m2.1.1.3.1.cmml">∂</mo><mi id="A1.Ex34.m2.1.1.3.2" xref="A1.Ex34.m2.1.1.3.2.cmml">θ</mi></mrow></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.Ex34.m2.3.3.1.1.1.1.1" xref="A1.Ex34.m2.3.3.1.1.1.1.1.cmml">​</mo><mi id="A1.Ex34.m2.3.3.1.1.1.1.2" xref="A1.Ex34.m2.3.3.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A1.Ex34.m2.3.3.1.1.1.1.1a" xref="A1.Ex34.m2.3.3.1.1.1.1.1.cmml">​</mo><msup id="A1.Ex34.m2.3.3.1.1.1.1.3" xref="A1.Ex34.m2.3.3.1.1.1.1.3.cmml"><mrow id="A1.Ex34.m2.3.3.1.1.1.1.3.2.2" xref="A1.Ex34.m2.2.2.cmml"><mo id="A1.Ex34.m2.3.3.1.1.1.1.3.2.2.1" xref="A1.Ex34.m2.2.2.cmml">(</mo><mstyle displaystyle="true" id="A1.Ex34.m2.2.2" xref="A1.Ex34.m2.2.2.cmml"><mfrac id="A1.Ex34.m2.2.2a" xref="A1.Ex34.m2.2.2.cmml"><mrow id="A1.Ex34.m2.2.2.1" xref="A1.Ex34.m2.2.2.1.cmml"><mo rspace="0em" id="A1.Ex34.m2.2.2.1.2" xref="A1.Ex34.m2.2.2.1.2.cmml">∂</mo><mrow id="A1.Ex34.m2.2.2.1.3" xref="A1.Ex34.m2.2.2.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex34.m2.2.2.1.3.2" xref="A1.Ex34.m2.2.2.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex34.m2.2.2.1.3.1" xref="A1.Ex34.m2.2.2.1.3.1.cmml">​</mo><mrow id="A1.Ex34.m2.2.2.1.3.3.2" xref="A1.Ex34.m2.2.2.1.3.cmml"><mo stretchy="false" id="A1.Ex34.m2.2.2.1.3.3.2.1" xref="A1.Ex34.m2.2.2.1.3.cmml">(</mo><mi id="A1.Ex34.m2.2.2.1.1" xref="A1.Ex34.m2.2.2.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex34.m2.2.2.1.3.3.2.2" xref="A1.Ex34.m2.2.2.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex34.m2.2.2.3" xref="A1.Ex34.m2.2.2.3.cmml"><mo rspace="0em" id="A1.Ex34.m2.2.2.3.1" xref="A1.Ex34.m2.2.2.3.1.cmml">∂</mo><mi id="A1.Ex34.m2.2.2.3.2" xref="A1.Ex34.m2.2.2.3.2.cmml">θ</mi></mrow></mfrac></mstyle><mo id="A1.Ex34.m2.3.3.1.1.1.1.3.2.2.2" xref="A1.Ex34.m2.2.2.cmml">)</mo></mrow><mi id="A1.Ex34.m2.3.3.1.1.1.1.3.3" xref="A1.Ex34.m2.3.3.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo id="A1.Ex34.m2.3.3.1.1.1.3" xref="A1.Ex34.m2.3.3.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex34.m2.3b"><apply id="A1.Ex34.m2.3.3.cmml" xref="A1.Ex34.m2.3.3"><minus id="A1.Ex34.m2.3.3.2.cmml" xref="A1.Ex34.m2.3.3"></minus><apply id="A1.Ex34.m2.3.3.1.cmml" xref="A1.Ex34.m2.3.3.1"><times id="A1.Ex34.m2.3.3.1.2.cmml" xref="A1.Ex34.m2.3.3.1.2"></times><ci id="A1.Ex34.m2.3.3.1.3.cmml" xref="A1.Ex34.m2.3.3.1.3">𝜇</ci><ci id="A1.Ex34.m2.3.3.1.4.cmml" xref="A1.Ex34.m2.3.3.1.4">tr</ci><apply id="A1.Ex34.m2.3.3.1.1.2.cmml" xref="A1.Ex34.m2.3.3.1.1.1"><csymbol cd="latexml" id="A1.Ex34.m2.3.3.1.1.2.1.cmml" xref="A1.Ex34.m2.3.3.1.1.1.2">delimited-[]</csymbol><apply id="A1.Ex34.m2.3.3.1.1.1.1.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1"><times id="A1.Ex34.m2.3.3.1.1.1.1.1.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1.1"></times><apply id="A1.Ex34.m2.1.1.cmml" xref="A1.Ex34.m2.1.1"><divide id="A1.Ex34.m2.1.1.2.cmml" xref="A1.Ex34.m2.1.1"></divide><apply id="A1.Ex34.m2.1.1.1.cmml" xref="A1.Ex34.m2.1.1.1"><partialdiff id="A1.Ex34.m2.1.1.1.2.cmml" xref="A1.Ex34.m2.1.1.1.2"></partialdiff><apply id="A1.Ex34.m2.1.1.1.3.cmml" xref="A1.Ex34.m2.1.1.1.3"><times id="A1.Ex34.m2.1.1.1.3.1.cmml" xref="A1.Ex34.m2.1.1.1.3.1"></times><ci id="A1.Ex34.m2.1.1.1.3.2.cmml" xref="A1.Ex34.m2.1.1.1.3.2">ℒ</ci><ci id="A1.Ex34.m2.1.1.1.1.cmml" xref="A1.Ex34.m2.1.1.1.1">𝜃</ci></apply></apply><apply id="A1.Ex34.m2.1.1.3.cmml" xref="A1.Ex34.m2.1.1.3"><partialdiff id="A1.Ex34.m2.1.1.3.1.cmml" xref="A1.Ex34.m2.1.1.3.1"></partialdiff><ci id="A1.Ex34.m2.1.1.3.2.cmml" xref="A1.Ex34.m2.1.1.3.2">𝜃</ci></apply></apply><ci id="A1.Ex34.m2.3.3.1.1.1.1.2.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1.2">𝑃</ci><apply id="A1.Ex34.m2.3.3.1.1.1.1.3.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.Ex34.m2.3.3.1.1.1.1.3.1.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1.3">superscript</csymbol><apply id="A1.Ex34.m2.2.2.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1.3.2.2"><divide id="A1.Ex34.m2.2.2.2.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1.3.2.2"></divide><apply id="A1.Ex34.m2.2.2.1.cmml" xref="A1.Ex34.m2.2.2.1"><partialdiff id="A1.Ex34.m2.2.2.1.2.cmml" xref="A1.Ex34.m2.2.2.1.2"></partialdiff><apply id="A1.Ex34.m2.2.2.1.3.cmml" xref="A1.Ex34.m2.2.2.1.3"><times id="A1.Ex34.m2.2.2.1.3.1.cmml" xref="A1.Ex34.m2.2.2.1.3.1"></times><ci id="A1.Ex34.m2.2.2.1.3.2.cmml" xref="A1.Ex34.m2.2.2.1.3.2">ℒ</ci><ci id="A1.Ex34.m2.2.2.1.1.cmml" xref="A1.Ex34.m2.2.2.1.1">𝜃</ci></apply></apply><apply id="A1.Ex34.m2.2.2.3.cmml" xref="A1.Ex34.m2.2.2.3"><partialdiff id="A1.Ex34.m2.2.2.3.1.cmml" xref="A1.Ex34.m2.2.2.3.1"></partialdiff><ci id="A1.Ex34.m2.2.2.3.2.cmml" xref="A1.Ex34.m2.2.2.3.2">𝜃</ci></apply></apply><ci id="A1.Ex34.m2.3.3.1.1.1.1.3.3.cmml" xref="A1.Ex34.m2.3.3.1.1.1.1.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex34.m2.3c">\displaystyle-\mu{\rm tr}\left[\frac{\partial{\cal{L}}(\theta)}{\partial\theta}P\left(\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right)^{T}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex35"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex35.m1.1" class="ltx_Math" alttext="\displaystyle\leq" display="inline"><semantics id="A1.Ex35.m1.1a"><mo id="A1.Ex35.m1.1.1" xref="A1.Ex35.m1.1.1.cmml">≤</mo><annotation-xml encoding="MathML-Content" id="A1.Ex35.m1.1b"><leq id="A1.Ex35.m1.1.1.cmml" xref="A1.Ex35.m1.1.1"></leq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex35.m1.1c">\displaystyle\leq</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex35.m2.3" class="ltx_Math" alttext="\displaystyle-\frac{\mu}{u}{\rm tr}\left[\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\left(\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right)^{T}\right]" display="inline"><semantics id="A1.Ex35.m2.3a"><mrow id="A1.Ex35.m2.3.3" xref="A1.Ex35.m2.3.3.cmml"><mo id="A1.Ex35.m2.3.3a" xref="A1.Ex35.m2.3.3.cmml">−</mo><mrow id="A1.Ex35.m2.3.3.1" xref="A1.Ex35.m2.3.3.1.cmml"><mstyle displaystyle="true" id="A1.Ex35.m2.3.3.1.3" xref="A1.Ex35.m2.3.3.1.3.cmml"><mfrac id="A1.Ex35.m2.3.3.1.3a" xref="A1.Ex35.m2.3.3.1.3.cmml"><mi id="A1.Ex35.m2.3.3.1.3.2" xref="A1.Ex35.m2.3.3.1.3.2.cmml">μ</mi><mi id="A1.Ex35.m2.3.3.1.3.3" xref="A1.Ex35.m2.3.3.1.3.3.cmml">u</mi></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.Ex35.m2.3.3.1.2" xref="A1.Ex35.m2.3.3.1.2.cmml">​</mo><mi id="A1.Ex35.m2.3.3.1.4" xref="A1.Ex35.m2.3.3.1.4.cmml">tr</mi><mo lspace="0em" rspace="0em" id="A1.Ex35.m2.3.3.1.2a" xref="A1.Ex35.m2.3.3.1.2.cmml">​</mo><mrow id="A1.Ex35.m2.3.3.1.1.1" xref="A1.Ex35.m2.3.3.1.1.2.cmml"><mo id="A1.Ex35.m2.3.3.1.1.1.2" xref="A1.Ex35.m2.3.3.1.1.2.1.cmml">[</mo><mrow id="A1.Ex35.m2.3.3.1.1.1.1" xref="A1.Ex35.m2.3.3.1.1.1.1.cmml"><mstyle displaystyle="true" id="A1.Ex35.m2.1.1" xref="A1.Ex35.m2.1.1.cmml"><mfrac id="A1.Ex35.m2.1.1a" xref="A1.Ex35.m2.1.1.cmml"><mrow id="A1.Ex35.m2.1.1.1" xref="A1.Ex35.m2.1.1.1.cmml"><mo rspace="0em" id="A1.Ex35.m2.1.1.1.2" xref="A1.Ex35.m2.1.1.1.2.cmml">∂</mo><mrow id="A1.Ex35.m2.1.1.1.3" xref="A1.Ex35.m2.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex35.m2.1.1.1.3.2" xref="A1.Ex35.m2.1.1.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex35.m2.1.1.1.3.1" xref="A1.Ex35.m2.1.1.1.3.1.cmml">​</mo><mrow id="A1.Ex35.m2.1.1.1.3.3.2" xref="A1.Ex35.m2.1.1.1.3.cmml"><mo stretchy="false" id="A1.Ex35.m2.1.1.1.3.3.2.1" xref="A1.Ex35.m2.1.1.1.3.cmml">(</mo><mi id="A1.Ex35.m2.1.1.1.1" xref="A1.Ex35.m2.1.1.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex35.m2.1.1.1.3.3.2.2" xref="A1.Ex35.m2.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex35.m2.1.1.3" xref="A1.Ex35.m2.1.1.3.cmml"><mo rspace="0em" id="A1.Ex35.m2.1.1.3.1" xref="A1.Ex35.m2.1.1.3.1.cmml">∂</mo><mi id="A1.Ex35.m2.1.1.3.2" xref="A1.Ex35.m2.1.1.3.2.cmml">θ</mi></mrow></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.Ex35.m2.3.3.1.1.1.1.1" xref="A1.Ex35.m2.3.3.1.1.1.1.1.cmml">​</mo><msup id="A1.Ex35.m2.3.3.1.1.1.1.2" xref="A1.Ex35.m2.3.3.1.1.1.1.2.cmml"><mrow id="A1.Ex35.m2.3.3.1.1.1.1.2.2.2" xref="A1.Ex35.m2.2.2.cmml"><mo id="A1.Ex35.m2.3.3.1.1.1.1.2.2.2.1" xref="A1.Ex35.m2.2.2.cmml">(</mo><mstyle displaystyle="true" id="A1.Ex35.m2.2.2" xref="A1.Ex35.m2.2.2.cmml"><mfrac id="A1.Ex35.m2.2.2a" xref="A1.Ex35.m2.2.2.cmml"><mrow id="A1.Ex35.m2.2.2.1" xref="A1.Ex35.m2.2.2.1.cmml"><mo rspace="0em" id="A1.Ex35.m2.2.2.1.2" xref="A1.Ex35.m2.2.2.1.2.cmml">∂</mo><mrow id="A1.Ex35.m2.2.2.1.3" xref="A1.Ex35.m2.2.2.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex35.m2.2.2.1.3.2" xref="A1.Ex35.m2.2.2.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex35.m2.2.2.1.3.1" xref="A1.Ex35.m2.2.2.1.3.1.cmml">​</mo><mrow id="A1.Ex35.m2.2.2.1.3.3.2" xref="A1.Ex35.m2.2.2.1.3.cmml"><mo stretchy="false" id="A1.Ex35.m2.2.2.1.3.3.2.1" xref="A1.Ex35.m2.2.2.1.3.cmml">(</mo><mi id="A1.Ex35.m2.2.2.1.1" xref="A1.Ex35.m2.2.2.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex35.m2.2.2.1.3.3.2.2" xref="A1.Ex35.m2.2.2.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex35.m2.2.2.3" xref="A1.Ex35.m2.2.2.3.cmml"><mo rspace="0em" id="A1.Ex35.m2.2.2.3.1" xref="A1.Ex35.m2.2.2.3.1.cmml">∂</mo><mi id="A1.Ex35.m2.2.2.3.2" xref="A1.Ex35.m2.2.2.3.2.cmml">θ</mi></mrow></mfrac></mstyle><mo id="A1.Ex35.m2.3.3.1.1.1.1.2.2.2.2" xref="A1.Ex35.m2.2.2.cmml">)</mo></mrow><mi id="A1.Ex35.m2.3.3.1.1.1.1.2.3" xref="A1.Ex35.m2.3.3.1.1.1.1.2.3.cmml">T</mi></msup></mrow><mo id="A1.Ex35.m2.3.3.1.1.1.3" xref="A1.Ex35.m2.3.3.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex35.m2.3b"><apply id="A1.Ex35.m2.3.3.cmml" xref="A1.Ex35.m2.3.3"><minus id="A1.Ex35.m2.3.3.2.cmml" xref="A1.Ex35.m2.3.3"></minus><apply id="A1.Ex35.m2.3.3.1.cmml" xref="A1.Ex35.m2.3.3.1"><times id="A1.Ex35.m2.3.3.1.2.cmml" xref="A1.Ex35.m2.3.3.1.2"></times><apply id="A1.Ex35.m2.3.3.1.3.cmml" xref="A1.Ex35.m2.3.3.1.3"><divide id="A1.Ex35.m2.3.3.1.3.1.cmml" xref="A1.Ex35.m2.3.3.1.3"></divide><ci id="A1.Ex35.m2.3.3.1.3.2.cmml" xref="A1.Ex35.m2.3.3.1.3.2">𝜇</ci><ci id="A1.Ex35.m2.3.3.1.3.3.cmml" xref="A1.Ex35.m2.3.3.1.3.3">𝑢</ci></apply><ci id="A1.Ex35.m2.3.3.1.4.cmml" xref="A1.Ex35.m2.3.3.1.4">tr</ci><apply id="A1.Ex35.m2.3.3.1.1.2.cmml" xref="A1.Ex35.m2.3.3.1.1.1"><csymbol cd="latexml" id="A1.Ex35.m2.3.3.1.1.2.1.cmml" xref="A1.Ex35.m2.3.3.1.1.1.2">delimited-[]</csymbol><apply id="A1.Ex35.m2.3.3.1.1.1.1.cmml" xref="A1.Ex35.m2.3.3.1.1.1.1"><times id="A1.Ex35.m2.3.3.1.1.1.1.1.cmml" xref="A1.Ex35.m2.3.3.1.1.1.1.1"></times><apply id="A1.Ex35.m2.1.1.cmml" xref="A1.Ex35.m2.1.1"><divide id="A1.Ex35.m2.1.1.2.cmml" xref="A1.Ex35.m2.1.1"></divide><apply id="A1.Ex35.m2.1.1.1.cmml" xref="A1.Ex35.m2.1.1.1"><partialdiff id="A1.Ex35.m2.1.1.1.2.cmml" xref="A1.Ex35.m2.1.1.1.2"></partialdiff><apply id="A1.Ex35.m2.1.1.1.3.cmml" xref="A1.Ex35.m2.1.1.1.3"><times id="A1.Ex35.m2.1.1.1.3.1.cmml" xref="A1.Ex35.m2.1.1.1.3.1"></times><ci id="A1.Ex35.m2.1.1.1.3.2.cmml" xref="A1.Ex35.m2.1.1.1.3.2">ℒ</ci><ci id="A1.Ex35.m2.1.1.1.1.cmml" xref="A1.Ex35.m2.1.1.1.1">𝜃</ci></apply></apply><apply id="A1.Ex35.m2.1.1.3.cmml" xref="A1.Ex35.m2.1.1.3"><partialdiff id="A1.Ex35.m2.1.1.3.1.cmml" xref="A1.Ex35.m2.1.1.3.1"></partialdiff><ci id="A1.Ex35.m2.1.1.3.2.cmml" xref="A1.Ex35.m2.1.1.3.2">𝜃</ci></apply></apply><apply id="A1.Ex35.m2.3.3.1.1.1.1.2.cmml" xref="A1.Ex35.m2.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex35.m2.3.3.1.1.1.1.2.1.cmml" xref="A1.Ex35.m2.3.3.1.1.1.1.2">superscript</csymbol><apply id="A1.Ex35.m2.2.2.cmml" xref="A1.Ex35.m2.3.3.1.1.1.1.2.2.2"><divide id="A1.Ex35.m2.2.2.2.cmml" xref="A1.Ex35.m2.3.3.1.1.1.1.2.2.2"></divide><apply id="A1.Ex35.m2.2.2.1.cmml" xref="A1.Ex35.m2.2.2.1"><partialdiff id="A1.Ex35.m2.2.2.1.2.cmml" xref="A1.Ex35.m2.2.2.1.2"></partialdiff><apply id="A1.Ex35.m2.2.2.1.3.cmml" xref="A1.Ex35.m2.2.2.1.3"><times id="A1.Ex35.m2.2.2.1.3.1.cmml" xref="A1.Ex35.m2.2.2.1.3.1"></times><ci id="A1.Ex35.m2.2.2.1.3.2.cmml" xref="A1.Ex35.m2.2.2.1.3.2">ℒ</ci><ci id="A1.Ex35.m2.2.2.1.1.cmml" xref="A1.Ex35.m2.2.2.1.1">𝜃</ci></apply></apply><apply id="A1.Ex35.m2.2.2.3.cmml" xref="A1.Ex35.m2.2.2.3"><partialdiff id="A1.Ex35.m2.2.2.3.1.cmml" xref="A1.Ex35.m2.2.2.3.1"></partialdiff><ci id="A1.Ex35.m2.2.2.3.2.cmml" xref="A1.Ex35.m2.2.2.3.2">𝜃</ci></apply></apply><ci id="A1.Ex35.m2.3.3.1.1.1.1.2.3.cmml" xref="A1.Ex35.m2.3.3.1.1.1.1.2.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex35.m2.3c">\displaystyle-\frac{\mu}{u}{\rm tr}\left[\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\left(\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right)^{T}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A1.Ex36"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.Ex36.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A1.Ex36.m1.1a"><mo id="A1.Ex36.m1.1.1" xref="A1.Ex36.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A1.Ex36.m1.1b"><eq id="A1.Ex36.m1.1.1.cmml" xref="A1.Ex36.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex36.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.Ex36.m2.1" class="ltx_Math" alttext="\displaystyle-\frac{\mu}{u}\left\|\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right\|^{2}" display="inline"><semantics id="A1.Ex36.m2.1a"><mrow id="A1.Ex36.m2.1.2" xref="A1.Ex36.m2.1.2.cmml"><mo id="A1.Ex36.m2.1.2a" xref="A1.Ex36.m2.1.2.cmml">−</mo><mrow id="A1.Ex36.m2.1.2.2" xref="A1.Ex36.m2.1.2.2.cmml"><mstyle displaystyle="true" id="A1.Ex36.m2.1.2.2.2" xref="A1.Ex36.m2.1.2.2.2.cmml"><mfrac id="A1.Ex36.m2.1.2.2.2a" xref="A1.Ex36.m2.1.2.2.2.cmml"><mi id="A1.Ex36.m2.1.2.2.2.2" xref="A1.Ex36.m2.1.2.2.2.2.cmml">μ</mi><mi id="A1.Ex36.m2.1.2.2.2.3" xref="A1.Ex36.m2.1.2.2.2.3.cmml">u</mi></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.Ex36.m2.1.2.2.1" xref="A1.Ex36.m2.1.2.2.1.cmml">​</mo><msup id="A1.Ex36.m2.1.2.2.3" xref="A1.Ex36.m2.1.2.2.3.cmml"><mrow id="A1.Ex36.m2.1.2.2.3.2.2" xref="A1.Ex36.m2.1.2.2.3.2.1.cmml"><mo id="A1.Ex36.m2.1.2.2.3.2.2.1" xref="A1.Ex36.m2.1.2.2.3.2.1.1.cmml">‖</mo><mstyle displaystyle="true" id="A1.Ex36.m2.1.1" xref="A1.Ex36.m2.1.1.cmml"><mfrac id="A1.Ex36.m2.1.1a" xref="A1.Ex36.m2.1.1.cmml"><mrow id="A1.Ex36.m2.1.1.1" xref="A1.Ex36.m2.1.1.1.cmml"><mo rspace="0em" id="A1.Ex36.m2.1.1.1.2" xref="A1.Ex36.m2.1.1.1.2.cmml">∂</mo><mrow id="A1.Ex36.m2.1.1.1.3" xref="A1.Ex36.m2.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Ex36.m2.1.1.1.3.2" xref="A1.Ex36.m2.1.1.1.3.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Ex36.m2.1.1.1.3.1" xref="A1.Ex36.m2.1.1.1.3.1.cmml">​</mo><mrow id="A1.Ex36.m2.1.1.1.3.3.2" xref="A1.Ex36.m2.1.1.1.3.cmml"><mo stretchy="false" id="A1.Ex36.m2.1.1.1.3.3.2.1" xref="A1.Ex36.m2.1.1.1.3.cmml">(</mo><mi id="A1.Ex36.m2.1.1.1.1" xref="A1.Ex36.m2.1.1.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Ex36.m2.1.1.1.3.3.2.2" xref="A1.Ex36.m2.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Ex36.m2.1.1.3" xref="A1.Ex36.m2.1.1.3.cmml"><mo rspace="0em" id="A1.Ex36.m2.1.1.3.1" xref="A1.Ex36.m2.1.1.3.1.cmml">∂</mo><mi id="A1.Ex36.m2.1.1.3.2" xref="A1.Ex36.m2.1.1.3.2.cmml">θ</mi></mrow></mfrac></mstyle><mo id="A1.Ex36.m2.1.2.2.3.2.2.2" xref="A1.Ex36.m2.1.2.2.3.2.1.1.cmml">‖</mo></mrow><mn id="A1.Ex36.m2.1.2.2.3.3" xref="A1.Ex36.m2.1.2.2.3.3.cmml">2</mn></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex36.m2.1b"><apply id="A1.Ex36.m2.1.2.cmml" xref="A1.Ex36.m2.1.2"><minus id="A1.Ex36.m2.1.2.1.cmml" xref="A1.Ex36.m2.1.2"></minus><apply id="A1.Ex36.m2.1.2.2.cmml" xref="A1.Ex36.m2.1.2.2"><times id="A1.Ex36.m2.1.2.2.1.cmml" xref="A1.Ex36.m2.1.2.2.1"></times><apply id="A1.Ex36.m2.1.2.2.2.cmml" xref="A1.Ex36.m2.1.2.2.2"><divide id="A1.Ex36.m2.1.2.2.2.1.cmml" xref="A1.Ex36.m2.1.2.2.2"></divide><ci id="A1.Ex36.m2.1.2.2.2.2.cmml" xref="A1.Ex36.m2.1.2.2.2.2">𝜇</ci><ci id="A1.Ex36.m2.1.2.2.2.3.cmml" xref="A1.Ex36.m2.1.2.2.2.3">𝑢</ci></apply><apply id="A1.Ex36.m2.1.2.2.3.cmml" xref="A1.Ex36.m2.1.2.2.3"><csymbol cd="ambiguous" id="A1.Ex36.m2.1.2.2.3.1.cmml" xref="A1.Ex36.m2.1.2.2.3">superscript</csymbol><apply id="A1.Ex36.m2.1.2.2.3.2.1.cmml" xref="A1.Ex36.m2.1.2.2.3.2.2"><csymbol cd="latexml" id="A1.Ex36.m2.1.2.2.3.2.1.1.cmml" xref="A1.Ex36.m2.1.2.2.3.2.2.1">norm</csymbol><apply id="A1.Ex36.m2.1.1.cmml" xref="A1.Ex36.m2.1.1"><divide id="A1.Ex36.m2.1.1.2.cmml" xref="A1.Ex36.m2.1.1"></divide><apply id="A1.Ex36.m2.1.1.1.cmml" xref="A1.Ex36.m2.1.1.1"><partialdiff id="A1.Ex36.m2.1.1.1.2.cmml" xref="A1.Ex36.m2.1.1.1.2"></partialdiff><apply id="A1.Ex36.m2.1.1.1.3.cmml" xref="A1.Ex36.m2.1.1.1.3"><times id="A1.Ex36.m2.1.1.1.3.1.cmml" xref="A1.Ex36.m2.1.1.1.3.1"></times><ci id="A1.Ex36.m2.1.1.1.3.2.cmml" xref="A1.Ex36.m2.1.1.1.3.2">ℒ</ci><ci id="A1.Ex36.m2.1.1.1.1.cmml" xref="A1.Ex36.m2.1.1.1.1">𝜃</ci></apply></apply><apply id="A1.Ex36.m2.1.1.3.cmml" xref="A1.Ex36.m2.1.1.3"><partialdiff id="A1.Ex36.m2.1.1.3.1.cmml" xref="A1.Ex36.m2.1.1.3.1"></partialdiff><ci id="A1.Ex36.m2.1.1.3.2.cmml" xref="A1.Ex36.m2.1.1.3.2">𝜃</ci></apply></apply></apply><cn type="integer" id="A1.Ex36.m2.1.2.2.3.3.cmml" xref="A1.Ex36.m2.1.2.2.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex36.m2.1c">\displaystyle-\frac{\mu}{u}\left\|\frac{\partial{\cal{L}}(\theta)}{\partial\theta}\right\|^{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A1.SS2.1.p1.6" class="ltx_p">Thus the loss decreases at least with a linear rate. Convergence to a local minimum, if exists, with at least a linear rate immediately follows from the convergence of loss as the Hessian is assumed to be nonsingular everywhere.
∎</p>
</div>
</div>
</section>
<section id="A1.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">A.3 </span>Quadratic Convergence of PSGD under Convex Setting</h3>

<div id="A1.SS3.p1" class="ltx_para">
<p id="A1.SS3.p1.1" class="ltx_p">In the previous subsection we proved that the estimate of the preconditioner <math id="A1.SS3.p1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS3.p1.1.m1.1a"><mi id="A1.SS3.p1.1.m1.1.1" xref="A1.SS3.p1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS3.p1.1.m1.1b"><ci id="A1.SS3.p1.1.m1.1.1.cmml" xref="A1.SS3.p1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.p1.1.m1.1c">P</annotation></semantics></math> recovers the true inverse Hessian. As such, under the assumptions detailed in <a href="#A1.Thmprop0.Thmcor1" title="Corollary A.0.1. ‣ A.3 Quadratic Convergence of PSGD under Convex Setting ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">A.0.1</span></a> bellow, PSGD recovers Newton’s method.</p>
</div>
<div id="A1.Thmprop0.Thmcor1" class="ltx_theorem ltx_theorem_cor">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="A1.Thmprop0.Thmcor1.1.1.1" class="ltx_text ltx_font_bold">Corollary A.0.1</span></span><span id="A1.Thmprop0.Thmcor1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="A1.Thmprop0.Thmcor1.p1" class="ltx_para">
<p id="A1.Thmprop0.Thmcor1.p1.6" class="ltx_p"><span id="A1.Thmprop0.Thmcor1.p1.6.6" class="ltx_text ltx_font_italic">Assume that <math id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1" class="ltx_Math" alttext="{\cal{L}}(\theta)" display="inline"><semantics id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1a"><mrow id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.2" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.1" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.1.cmml">​</mo><mrow id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.3.2" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.cmml"><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.3.2.1" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.cmml">(</mo><mi id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.1" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.1.cmml">θ</mi><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.3.2.2" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1b"><apply id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2"><times id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.1"></times><ci id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.2.2">ℒ</ci><ci id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.1.1.m1.1.1">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmprop0.Thmcor1.p1.1.1.m1.1c">{\cal{L}}(\theta)</annotation></semantics></math> is <math id="A1.Thmprop0.Thmcor1.p1.2.2.m2.1" class="ltx_Math" alttext="\alpha" display="inline"><semantics id="A1.Thmprop0.Thmcor1.p1.2.2.m2.1a"><mi id="A1.Thmprop0.Thmcor1.p1.2.2.m2.1.1" xref="A1.Thmprop0.Thmcor1.p1.2.2.m2.1.1.cmml">α</mi><annotation-xml encoding="MathML-Content" id="A1.Thmprop0.Thmcor1.p1.2.2.m2.1b"><ci id="A1.Thmprop0.Thmcor1.p1.2.2.m2.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.2.2.m2.1.1">𝛼</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmprop0.Thmcor1.p1.2.2.m2.1c">\alpha</annotation></semantics></math>-strongly convex &amp; <math id="A1.Thmprop0.Thmcor1.p1.3.3.m3.1" class="ltx_Math" alttext="\beta" display="inline"><semantics id="A1.Thmprop0.Thmcor1.p1.3.3.m3.1a"><mi id="A1.Thmprop0.Thmcor1.p1.3.3.m3.1.1" xref="A1.Thmprop0.Thmcor1.p1.3.3.m3.1.1.cmml">β</mi><annotation-xml encoding="MathML-Content" id="A1.Thmprop0.Thmcor1.p1.3.3.m3.1b"><ci id="A1.Thmprop0.Thmcor1.p1.3.3.m3.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.3.3.m3.1.1">𝛽</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmprop0.Thmcor1.p1.3.3.m3.1c">\beta</annotation></semantics></math>-smooth function. Then with learning rate <math id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1" class="ltx_Math" alttext="\mu=\alpha/\beta" display="inline"><semantics id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1a"><mrow id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.2.cmml">μ</mi><mo id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.1.cmml">=</mo><mrow id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.2" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.2.cmml">α</mi><mo id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.1" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.1.cmml">/</mo><mi id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.3" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.3.cmml">β</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1b"><apply id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1"><eq id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.1"></eq><ci id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.2">𝜇</ci><apply id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3"><divide id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.1"></divide><ci id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.2">𝛼</ci><ci id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.4.4.m4.1.1.3.3">𝛽</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmprop0.Thmcor1.p1.4.4.m4.1c">\mu=\alpha/\beta</annotation></semantics></math>, PSGD recovers Newton’s method with update rule of Eq. equation <a href="#S2.E1" title="Equation 1 ‣ 2.1 Notations ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, &amp; convergences to the optimal solution <math id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1" class="ltx_Math" alttext="\theta^{*}" display="inline"><semantics id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1a"><msup id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1" xref="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.2.cmml">θ</mi><mo id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.3.cmml">∗</mo></msup><annotation-xml encoding="MathML-Content" id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1b"><apply id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1"><csymbol cd="ambiguous" id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1">superscript</csymbol><ci id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.2">𝜃</ci><times id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.5.5.m5.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmprop0.Thmcor1.p1.5.5.m5.1c">\theta^{*}</annotation></semantics></math> at least with linear rate <math id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2" class="ltx_Math" alttext="{\cal{L}}(\theta_{t+1})-{\cal{L}}(\theta_{t})\leq-\frac{\alpha}{2\beta^{2}}\|\frac{\partial{\cal{L}}(\theta_{t})}{\partial\theta_{t}}\|^{2}." display="inline"><semantics id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2a"><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.cmml"><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.cmml"><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.cmml"><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.2.cmml">​</mo><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.2.cmml">θ</mi><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.2.cmml">t</mi><mo id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.1.cmml">+</mo><mn id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.3.cmml">−</mo><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.2.cmml">​</mo><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.cmml">(</mo><msub id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.2.cmml">θ</mi><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.3.cmml">≤</mo><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.cmml"><mo id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4a" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.cmml">−</mo><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.cmml"><mfrac id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.2.cmml">α</mi><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.cmml"><mn id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.1.cmml">​</mo><msup id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.2.cmml">β</mi><mn id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.3.cmml">2</mn></msup></mrow></mfrac><mo lspace="0em" rspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.1.cmml">​</mo><msup id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.cmml"><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.1.cmml"><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.2.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.1.1.cmml">‖</mo><mfrac id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.cmml"><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.cmml"><mo rspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.2.cmml">∂</mo><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.2.cmml">​</mo><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.2.cmml">θ</mi><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mrow id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.cmml"><mo rspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.1" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.1.cmml">∂</mo><msub id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.cmml"><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.2.cmml">θ</mi><mi id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.3.cmml">t</mi></msub></mrow></mfrac><mo stretchy="false" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.2.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.1.1.cmml">‖</mo></mrow><mn id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.3" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.3.cmml">2</mn></msup></mrow></mrow></mrow><mo lspace="0em" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.2" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2b"><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1"><leq id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.3"></leq><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2"><minus id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.3"></minus><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1"><times id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.2"></times><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.3">ℒ</ci><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.2">𝜃</ci><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3"><plus id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.1"></plus><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.2">𝑡</ci><cn type="integer" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.1.1.1.1.1.3.3">1</cn></apply></apply></apply><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2"><times id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.2"></times><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.3">ℒ</ci><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1"><csymbol cd="ambiguous" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1">subscript</csymbol><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.2">𝜃</ci><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.2.2.1.1.1.3">𝑡</ci></apply></apply></apply><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4"><minus id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4"></minus><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2"><times id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.1"></times><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2"><divide id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2"></divide><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.2">𝛼</ci><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3"><times id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.1"></times><cn type="integer" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.2">2</cn><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3"><csymbol cd="ambiguous" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3">superscript</csymbol><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.2">𝛽</ci><cn type="integer" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.2.3.3.3">2</cn></apply></apply></apply><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3"><csymbol cd="ambiguous" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3">superscript</csymbol><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.2"><csymbol cd="latexml" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.2.2.1">norm</csymbol><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1"><divide id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1"></divide><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1"><partialdiff id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.2"></partialdiff><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1"><times id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.2"></times><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.3">ℒ</ci><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1">subscript</csymbol><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.2">𝜃</ci><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.1.1.1.1.1.3">𝑡</ci></apply></apply></apply><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3"><partialdiff id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.1"></partialdiff><apply id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2"><csymbol cd="ambiguous" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.1.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2">subscript</csymbol><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.2.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.2">𝜃</ci><ci id="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.1.1.3.2.3">𝑡</ci></apply></apply></apply></apply><cn type="integer" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.3.cmml" xref="A1.Thmprop0.Thmcor1.p1.6.6.m6.2.2.1.1.4.2.3.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Thmprop0.Thmcor1.p1.6.6.m6.2c">{\cal{L}}(\theta_{t+1})-{\cal{L}}(\theta_{t})\leq-\frac{\alpha}{2\beta^{2}}\|\frac{\partial{\cal{L}}(\theta_{t})}{\partial\theta_{t}}\|^{2}.</annotation></semantics></math>
</span></p>
</div>
</div>
<div id="A1.SS3.2" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A1.SS3.1.p1" class="ltx_para">
<p id="A1.SS3.1.p1.5" class="ltx_p">We prove Corollary <a href="#A1.Thmprop0.Thmcor1" title="Corollary A.0.1. ‣ A.3 Quadratic Convergence of PSGD under Convex Setting ‣ Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">A.0.1</span></a> (similarly to the proof of Newton’s method in <cite class="ltx_cite ltx_citemacro_citep">[Boyd and Vandenberghe, <a href="#bib.bib4" title="" class="ltx_ref">2004</a>]</cite>) for the following general update rule:
Note from Proposition <a href="#S3.Thmprop1" title="Proposition 3.1. ‣ 3.1 Properties and Convergence of PSGD ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a>, we have that <math id="A1.SS3.1.p1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A1.SS3.1.p1.1.m1.1a"><mi id="A1.SS3.1.p1.1.m1.1.1" xref="A1.SS3.1.p1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.1.m1.1b"><ci id="A1.SS3.1.p1.1.m1.1.1.cmml" xref="A1.SS3.1.p1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.1.m1.1c">P</annotation></semantics></math> converges to <math id="A1.SS3.1.p1.2.m2.1" class="ltx_Math" alttext="|H_{0}|^{-1}" display="inline"><semantics id="A1.SS3.1.p1.2.m2.1a"><msup id="A1.SS3.1.p1.2.m2.1.1" xref="A1.SS3.1.p1.2.m2.1.1.cmml"><mrow id="A1.SS3.1.p1.2.m2.1.1.1.1" xref="A1.SS3.1.p1.2.m2.1.1.1.2.cmml"><mo stretchy="false" id="A1.SS3.1.p1.2.m2.1.1.1.1.2" xref="A1.SS3.1.p1.2.m2.1.1.1.2.1.cmml">|</mo><msub id="A1.SS3.1.p1.2.m2.1.1.1.1.1" xref="A1.SS3.1.p1.2.m2.1.1.1.1.1.cmml"><mi id="A1.SS3.1.p1.2.m2.1.1.1.1.1.2" xref="A1.SS3.1.p1.2.m2.1.1.1.1.1.2.cmml">H</mi><mn id="A1.SS3.1.p1.2.m2.1.1.1.1.1.3" xref="A1.SS3.1.p1.2.m2.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A1.SS3.1.p1.2.m2.1.1.1.1.3" xref="A1.SS3.1.p1.2.m2.1.1.1.2.1.cmml">|</mo></mrow><mrow id="A1.SS3.1.p1.2.m2.1.1.3" xref="A1.SS3.1.p1.2.m2.1.1.3.cmml"><mo id="A1.SS3.1.p1.2.m2.1.1.3a" xref="A1.SS3.1.p1.2.m2.1.1.3.cmml">−</mo><mn id="A1.SS3.1.p1.2.m2.1.1.3.2" xref="A1.SS3.1.p1.2.m2.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.2.m2.1b"><apply id="A1.SS3.1.p1.2.m2.1.1.cmml" xref="A1.SS3.1.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A1.SS3.1.p1.2.m2.1.1.2.cmml" xref="A1.SS3.1.p1.2.m2.1.1">superscript</csymbol><apply id="A1.SS3.1.p1.2.m2.1.1.1.2.cmml" xref="A1.SS3.1.p1.2.m2.1.1.1.1"><abs id="A1.SS3.1.p1.2.m2.1.1.1.2.1.cmml" xref="A1.SS3.1.p1.2.m2.1.1.1.1.2"></abs><apply id="A1.SS3.1.p1.2.m2.1.1.1.1.1.cmml" xref="A1.SS3.1.p1.2.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS3.1.p1.2.m2.1.1.1.1.1.1.cmml" xref="A1.SS3.1.p1.2.m2.1.1.1.1.1">subscript</csymbol><ci id="A1.SS3.1.p1.2.m2.1.1.1.1.1.2.cmml" xref="A1.SS3.1.p1.2.m2.1.1.1.1.1.2">𝐻</ci><cn type="integer" id="A1.SS3.1.p1.2.m2.1.1.1.1.1.3.cmml" xref="A1.SS3.1.p1.2.m2.1.1.1.1.1.3">0</cn></apply></apply><apply id="A1.SS3.1.p1.2.m2.1.1.3.cmml" xref="A1.SS3.1.p1.2.m2.1.1.3"><minus id="A1.SS3.1.p1.2.m2.1.1.3.1.cmml" xref="A1.SS3.1.p1.2.m2.1.1.3"></minus><cn type="integer" id="A1.SS3.1.p1.2.m2.1.1.3.2.cmml" xref="A1.SS3.1.p1.2.m2.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.2.m2.1c">|H_{0}|^{-1}</annotation></semantics></math> when <math id="A1.SS3.1.p1.3.m3.1" class="ltx_Math" alttext="\varepsilon=0" display="inline"><semantics id="A1.SS3.1.p1.3.m3.1a"><mrow id="A1.SS3.1.p1.3.m3.1.1" xref="A1.SS3.1.p1.3.m3.1.1.cmml"><mi id="A1.SS3.1.p1.3.m3.1.1.2" xref="A1.SS3.1.p1.3.m3.1.1.2.cmml">ε</mi><mo id="A1.SS3.1.p1.3.m3.1.1.1" xref="A1.SS3.1.p1.3.m3.1.1.1.cmml">=</mo><mn id="A1.SS3.1.p1.3.m3.1.1.3" xref="A1.SS3.1.p1.3.m3.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.3.m3.1b"><apply id="A1.SS3.1.p1.3.m3.1.1.cmml" xref="A1.SS3.1.p1.3.m3.1.1"><eq id="A1.SS3.1.p1.3.m3.1.1.1.cmml" xref="A1.SS3.1.p1.3.m3.1.1.1"></eq><ci id="A1.SS3.1.p1.3.m3.1.1.2.cmml" xref="A1.SS3.1.p1.3.m3.1.1.2">𝜀</ci><cn type="integer" id="A1.SS3.1.p1.3.m3.1.1.3.cmml" xref="A1.SS3.1.p1.3.m3.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.3.m3.1c">\varepsilon=0</annotation></semantics></math>, i.e., inverse of the “absolute” Hessian. With stochastic gradient noises, <math id="A1.SS3.1.p1.4.m4.1" class="ltx_Math" alttext="\varepsilon\neq 0" display="inline"><semantics id="A1.SS3.1.p1.4.m4.1a"><mrow id="A1.SS3.1.p1.4.m4.1.1" xref="A1.SS3.1.p1.4.m4.1.1.cmml"><mi id="A1.SS3.1.p1.4.m4.1.1.2" xref="A1.SS3.1.p1.4.m4.1.1.2.cmml">ε</mi><mo id="A1.SS3.1.p1.4.m4.1.1.1" xref="A1.SS3.1.p1.4.m4.1.1.1.cmml">≠</mo><mn id="A1.SS3.1.p1.4.m4.1.1.3" xref="A1.SS3.1.p1.4.m4.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.4.m4.1b"><apply id="A1.SS3.1.p1.4.m4.1.1.cmml" xref="A1.SS3.1.p1.4.m4.1.1"><neq id="A1.SS3.1.p1.4.m4.1.1.1.cmml" xref="A1.SS3.1.p1.4.m4.1.1.1"></neq><ci id="A1.SS3.1.p1.4.m4.1.1.2.cmml" xref="A1.SS3.1.p1.4.m4.1.1.2">𝜀</ci><cn type="integer" id="A1.SS3.1.p1.4.m4.1.1.3.cmml" xref="A1.SS3.1.p1.4.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.4.m4.1c">\varepsilon\neq 0</annotation></semantics></math> and we always have <math id="A1.SS3.1.p1.5.m5.1" class="ltx_Math" alttext="P\prec|H_{0}|^{-1}" display="inline"><semantics id="A1.SS3.1.p1.5.m5.1a"><mrow id="A1.SS3.1.p1.5.m5.1.1" xref="A1.SS3.1.p1.5.m5.1.1.cmml"><mi id="A1.SS3.1.p1.5.m5.1.1.3" xref="A1.SS3.1.p1.5.m5.1.1.3.cmml">P</mi><mo id="A1.SS3.1.p1.5.m5.1.1.2" xref="A1.SS3.1.p1.5.m5.1.1.2.cmml">≺</mo><msup id="A1.SS3.1.p1.5.m5.1.1.1" xref="A1.SS3.1.p1.5.m5.1.1.1.cmml"><mrow id="A1.SS3.1.p1.5.m5.1.1.1.1.1" xref="A1.SS3.1.p1.5.m5.1.1.1.1.2.cmml"><mo stretchy="false" id="A1.SS3.1.p1.5.m5.1.1.1.1.1.2" xref="A1.SS3.1.p1.5.m5.1.1.1.1.2.1.cmml">|</mo><msub id="A1.SS3.1.p1.5.m5.1.1.1.1.1.1" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.cmml"><mi id="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.2" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.2.cmml">H</mi><mn id="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.3" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.3.cmml">0</mn></msub><mo stretchy="false" id="A1.SS3.1.p1.5.m5.1.1.1.1.1.3" xref="A1.SS3.1.p1.5.m5.1.1.1.1.2.1.cmml">|</mo></mrow><mrow id="A1.SS3.1.p1.5.m5.1.1.1.3" xref="A1.SS3.1.p1.5.m5.1.1.1.3.cmml"><mo id="A1.SS3.1.p1.5.m5.1.1.1.3a" xref="A1.SS3.1.p1.5.m5.1.1.1.3.cmml">−</mo><mn id="A1.SS3.1.p1.5.m5.1.1.1.3.2" xref="A1.SS3.1.p1.5.m5.1.1.1.3.2.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.5.m5.1b"><apply id="A1.SS3.1.p1.5.m5.1.1.cmml" xref="A1.SS3.1.p1.5.m5.1.1"><csymbol cd="latexml" id="A1.SS3.1.p1.5.m5.1.1.2.cmml" xref="A1.SS3.1.p1.5.m5.1.1.2">precedes</csymbol><ci id="A1.SS3.1.p1.5.m5.1.1.3.cmml" xref="A1.SS3.1.p1.5.m5.1.1.3">𝑃</ci><apply id="A1.SS3.1.p1.5.m5.1.1.1.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1"><csymbol cd="ambiguous" id="A1.SS3.1.p1.5.m5.1.1.1.2.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1">superscript</csymbol><apply id="A1.SS3.1.p1.5.m5.1.1.1.1.2.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1"><abs id="A1.SS3.1.p1.5.m5.1.1.1.1.2.1.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.2"></abs><apply id="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.1.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.1">subscript</csymbol><ci id="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.2.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.2">𝐻</ci><cn type="integer" id="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.3.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.1.1.1.3">0</cn></apply></apply><apply id="A1.SS3.1.p1.5.m5.1.1.1.3.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.3"><minus id="A1.SS3.1.p1.5.m5.1.1.1.3.1.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.3"></minus><cn type="integer" id="A1.SS3.1.p1.5.m5.1.1.1.3.2.cmml" xref="A1.SS3.1.p1.5.m5.1.1.1.3.2">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.5.m5.1c">P\prec|H_{0}|^{-1}</annotation></semantics></math>.</p>
<table id="A12.EGx21" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E11"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E11.m1.1" class="ltx_Math" alttext="\displaystyle\Delta\theta_{t}=\mathbf{H}_{t}^{-1}\mathbf{g}_{t}" display="inline"><semantics id="A1.E11.m1.1a"><mrow id="A1.E11.m1.1.1" xref="A1.E11.m1.1.1.cmml"><mrow id="A1.E11.m1.1.1.2" xref="A1.E11.m1.1.1.2.cmml"><mi mathvariant="normal" id="A1.E11.m1.1.1.2.2" xref="A1.E11.m1.1.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.E11.m1.1.1.2.1" xref="A1.E11.m1.1.1.2.1.cmml">​</mo><msub id="A1.E11.m1.1.1.2.3" xref="A1.E11.m1.1.1.2.3.cmml"><mi id="A1.E11.m1.1.1.2.3.2" xref="A1.E11.m1.1.1.2.3.2.cmml">θ</mi><mi id="A1.E11.m1.1.1.2.3.3" xref="A1.E11.m1.1.1.2.3.3.cmml">t</mi></msub></mrow><mo id="A1.E11.m1.1.1.1" xref="A1.E11.m1.1.1.1.cmml">=</mo><mrow id="A1.E11.m1.1.1.3" xref="A1.E11.m1.1.1.3.cmml"><msubsup id="A1.E11.m1.1.1.3.2" xref="A1.E11.m1.1.1.3.2.cmml"><mi id="A1.E11.m1.1.1.3.2.2.2" xref="A1.E11.m1.1.1.3.2.2.2.cmml">𝐇</mi><mi id="A1.E11.m1.1.1.3.2.2.3" xref="A1.E11.m1.1.1.3.2.2.3.cmml">t</mi><mrow id="A1.E11.m1.1.1.3.2.3" xref="A1.E11.m1.1.1.3.2.3.cmml"><mo id="A1.E11.m1.1.1.3.2.3a" xref="A1.E11.m1.1.1.3.2.3.cmml">−</mo><mn id="A1.E11.m1.1.1.3.2.3.2" xref="A1.E11.m1.1.1.3.2.3.2.cmml">1</mn></mrow></msubsup><mo lspace="0em" rspace="0em" id="A1.E11.m1.1.1.3.1" xref="A1.E11.m1.1.1.3.1.cmml">​</mo><msub id="A1.E11.m1.1.1.3.3" xref="A1.E11.m1.1.1.3.3.cmml"><mi id="A1.E11.m1.1.1.3.3.2" xref="A1.E11.m1.1.1.3.3.2.cmml">𝐠</mi><mi id="A1.E11.m1.1.1.3.3.3" xref="A1.E11.m1.1.1.3.3.3.cmml">t</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E11.m1.1b"><apply id="A1.E11.m1.1.1.cmml" xref="A1.E11.m1.1.1"><eq id="A1.E11.m1.1.1.1.cmml" xref="A1.E11.m1.1.1.1"></eq><apply id="A1.E11.m1.1.1.2.cmml" xref="A1.E11.m1.1.1.2"><times id="A1.E11.m1.1.1.2.1.cmml" xref="A1.E11.m1.1.1.2.1"></times><ci id="A1.E11.m1.1.1.2.2.cmml" xref="A1.E11.m1.1.1.2.2">Δ</ci><apply id="A1.E11.m1.1.1.2.3.cmml" xref="A1.E11.m1.1.1.2.3"><csymbol cd="ambiguous" id="A1.E11.m1.1.1.2.3.1.cmml" xref="A1.E11.m1.1.1.2.3">subscript</csymbol><ci id="A1.E11.m1.1.1.2.3.2.cmml" xref="A1.E11.m1.1.1.2.3.2">𝜃</ci><ci id="A1.E11.m1.1.1.2.3.3.cmml" xref="A1.E11.m1.1.1.2.3.3">𝑡</ci></apply></apply><apply id="A1.E11.m1.1.1.3.cmml" xref="A1.E11.m1.1.1.3"><times id="A1.E11.m1.1.1.3.1.cmml" xref="A1.E11.m1.1.1.3.1"></times><apply id="A1.E11.m1.1.1.3.2.cmml" xref="A1.E11.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.E11.m1.1.1.3.2.1.cmml" xref="A1.E11.m1.1.1.3.2">superscript</csymbol><apply id="A1.E11.m1.1.1.3.2.2.cmml" xref="A1.E11.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.E11.m1.1.1.3.2.2.1.cmml" xref="A1.E11.m1.1.1.3.2">subscript</csymbol><ci id="A1.E11.m1.1.1.3.2.2.2.cmml" xref="A1.E11.m1.1.1.3.2.2.2">𝐇</ci><ci id="A1.E11.m1.1.1.3.2.2.3.cmml" xref="A1.E11.m1.1.1.3.2.2.3">𝑡</ci></apply><apply id="A1.E11.m1.1.1.3.2.3.cmml" xref="A1.E11.m1.1.1.3.2.3"><minus id="A1.E11.m1.1.1.3.2.3.1.cmml" xref="A1.E11.m1.1.1.3.2.3"></minus><cn type="integer" id="A1.E11.m1.1.1.3.2.3.2.cmml" xref="A1.E11.m1.1.1.3.2.3.2">1</cn></apply></apply><apply id="A1.E11.m1.1.1.3.3.cmml" xref="A1.E11.m1.1.1.3.3"><csymbol cd="ambiguous" id="A1.E11.m1.1.1.3.3.1.cmml" xref="A1.E11.m1.1.1.3.3">subscript</csymbol><ci id="A1.E11.m1.1.1.3.3.2.cmml" xref="A1.E11.m1.1.1.3.3.2">𝐠</ci><ci id="A1.E11.m1.1.1.3.3.3.cmml" xref="A1.E11.m1.1.1.3.3.3">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E11.m1.1c">\displaystyle\Delta\theta_{t}=\mathbf{H}_{t}^{-1}\mathbf{g}_{t}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(11)</span></td>
</tr></tbody>
<tbody id="A1.E12"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E12.m1.1" class="ltx_Math" alttext="\displaystyle\theta_{t+1}=\theta_{t}-\mu\Delta\theta_{t}" display="inline"><semantics id="A1.E12.m1.1a"><mrow id="A1.E12.m1.1.1" xref="A1.E12.m1.1.1.cmml"><msub id="A1.E12.m1.1.1.2" xref="A1.E12.m1.1.1.2.cmml"><mi id="A1.E12.m1.1.1.2.2" xref="A1.E12.m1.1.1.2.2.cmml">θ</mi><mrow id="A1.E12.m1.1.1.2.3" xref="A1.E12.m1.1.1.2.3.cmml"><mi id="A1.E12.m1.1.1.2.3.2" xref="A1.E12.m1.1.1.2.3.2.cmml">t</mi><mo id="A1.E12.m1.1.1.2.3.1" xref="A1.E12.m1.1.1.2.3.1.cmml">+</mo><mn id="A1.E12.m1.1.1.2.3.3" xref="A1.E12.m1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo id="A1.E12.m1.1.1.1" xref="A1.E12.m1.1.1.1.cmml">=</mo><mrow id="A1.E12.m1.1.1.3" xref="A1.E12.m1.1.1.3.cmml"><msub id="A1.E12.m1.1.1.3.2" xref="A1.E12.m1.1.1.3.2.cmml"><mi id="A1.E12.m1.1.1.3.2.2" xref="A1.E12.m1.1.1.3.2.2.cmml">θ</mi><mi id="A1.E12.m1.1.1.3.2.3" xref="A1.E12.m1.1.1.3.2.3.cmml">t</mi></msub><mo id="A1.E12.m1.1.1.3.1" xref="A1.E12.m1.1.1.3.1.cmml">−</mo><mrow id="A1.E12.m1.1.1.3.3" xref="A1.E12.m1.1.1.3.3.cmml"><mi id="A1.E12.m1.1.1.3.3.2" xref="A1.E12.m1.1.1.3.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A1.E12.m1.1.1.3.3.1" xref="A1.E12.m1.1.1.3.3.1.cmml">​</mo><mi mathvariant="normal" id="A1.E12.m1.1.1.3.3.3" xref="A1.E12.m1.1.1.3.3.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.E12.m1.1.1.3.3.1a" xref="A1.E12.m1.1.1.3.3.1.cmml">​</mo><msub id="A1.E12.m1.1.1.3.3.4" xref="A1.E12.m1.1.1.3.3.4.cmml"><mi id="A1.E12.m1.1.1.3.3.4.2" xref="A1.E12.m1.1.1.3.3.4.2.cmml">θ</mi><mi id="A1.E12.m1.1.1.3.3.4.3" xref="A1.E12.m1.1.1.3.3.4.3.cmml">t</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E12.m1.1b"><apply id="A1.E12.m1.1.1.cmml" xref="A1.E12.m1.1.1"><eq id="A1.E12.m1.1.1.1.cmml" xref="A1.E12.m1.1.1.1"></eq><apply id="A1.E12.m1.1.1.2.cmml" xref="A1.E12.m1.1.1.2"><csymbol cd="ambiguous" id="A1.E12.m1.1.1.2.1.cmml" xref="A1.E12.m1.1.1.2">subscript</csymbol><ci id="A1.E12.m1.1.1.2.2.cmml" xref="A1.E12.m1.1.1.2.2">𝜃</ci><apply id="A1.E12.m1.1.1.2.3.cmml" xref="A1.E12.m1.1.1.2.3"><plus id="A1.E12.m1.1.1.2.3.1.cmml" xref="A1.E12.m1.1.1.2.3.1"></plus><ci id="A1.E12.m1.1.1.2.3.2.cmml" xref="A1.E12.m1.1.1.2.3.2">𝑡</ci><cn type="integer" id="A1.E12.m1.1.1.2.3.3.cmml" xref="A1.E12.m1.1.1.2.3.3">1</cn></apply></apply><apply id="A1.E12.m1.1.1.3.cmml" xref="A1.E12.m1.1.1.3"><minus id="A1.E12.m1.1.1.3.1.cmml" xref="A1.E12.m1.1.1.3.1"></minus><apply id="A1.E12.m1.1.1.3.2.cmml" xref="A1.E12.m1.1.1.3.2"><csymbol cd="ambiguous" id="A1.E12.m1.1.1.3.2.1.cmml" xref="A1.E12.m1.1.1.3.2">subscript</csymbol><ci id="A1.E12.m1.1.1.3.2.2.cmml" xref="A1.E12.m1.1.1.3.2.2">𝜃</ci><ci id="A1.E12.m1.1.1.3.2.3.cmml" xref="A1.E12.m1.1.1.3.2.3">𝑡</ci></apply><apply id="A1.E12.m1.1.1.3.3.cmml" xref="A1.E12.m1.1.1.3.3"><times id="A1.E12.m1.1.1.3.3.1.cmml" xref="A1.E12.m1.1.1.3.3.1"></times><ci id="A1.E12.m1.1.1.3.3.2.cmml" xref="A1.E12.m1.1.1.3.3.2">𝜇</ci><ci id="A1.E12.m1.1.1.3.3.3.cmml" xref="A1.E12.m1.1.1.3.3.3">Δ</ci><apply id="A1.E12.m1.1.1.3.3.4.cmml" xref="A1.E12.m1.1.1.3.3.4"><csymbol cd="ambiguous" id="A1.E12.m1.1.1.3.3.4.1.cmml" xref="A1.E12.m1.1.1.3.3.4">subscript</csymbol><ci id="A1.E12.m1.1.1.3.3.4.2.cmml" xref="A1.E12.m1.1.1.3.3.4.2">𝜃</ci><ci id="A1.E12.m1.1.1.3.3.4.3.cmml" xref="A1.E12.m1.1.1.3.3.4.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E12.m1.1c">\displaystyle\theta_{t+1}=\theta_{t}-\mu\Delta\theta_{t}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(12)</span></td>
</tr></tbody>
</table>
<p id="A1.SS3.1.p1.8" class="ltx_p">Define <math id="A1.SS3.1.p1.6.m1.2" class="ltx_Math" alttext="\lambda(\theta_{t})=(\mathbf{g}_{t}^{T}\mathbf{H}_{t}^{-1}\mathbf{g}_{t})^{1/2}" display="inline"><semantics id="A1.SS3.1.p1.6.m1.2a"><mrow id="A1.SS3.1.p1.6.m1.2.2" xref="A1.SS3.1.p1.6.m1.2.2.cmml"><mrow id="A1.SS3.1.p1.6.m1.1.1.1" xref="A1.SS3.1.p1.6.m1.1.1.1.cmml"><mi id="A1.SS3.1.p1.6.m1.1.1.1.3" xref="A1.SS3.1.p1.6.m1.1.1.1.3.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.6.m1.1.1.1.2" xref="A1.SS3.1.p1.6.m1.1.1.1.2.cmml">​</mo><mrow id="A1.SS3.1.p1.6.m1.1.1.1.1.1" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.SS3.1.p1.6.m1.1.1.1.1.1.2" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.SS3.1.p1.6.m1.1.1.1.1.1.1" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.cmml"><mi id="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.2" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.2.cmml">θ</mi><mi id="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.3" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.SS3.1.p1.6.m1.1.1.1.1.1.3" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.SS3.1.p1.6.m1.2.2.3" xref="A1.SS3.1.p1.6.m1.2.2.3.cmml">=</mo><msup id="A1.SS3.1.p1.6.m1.2.2.2" xref="A1.SS3.1.p1.6.m1.2.2.2.cmml"><mrow id="A1.SS3.1.p1.6.m1.2.2.2.1.1" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.2" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.cmml"><msubsup id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.cmml"><mi id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.2" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.2.cmml">𝐠</mi><mi id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.3" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.3.cmml">t</mi><mi id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.3" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.1" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.1.cmml">​</mo><msubsup id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.cmml"><mi id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.2" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.2.cmml">𝐇</mi><mi id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.3" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.3.cmml">t</mi><mrow id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.cmml"><mo id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3a" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.cmml">−</mo><mn id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.2" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.2.cmml">1</mn></mrow></msubsup><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.1a" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.1.cmml">​</mo><msub id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.cmml"><mi id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.2" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.2.cmml">𝐠</mi><mi id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.3" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.3.cmml">t</mi></msub></mrow><mo stretchy="false" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.3" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.cmml">)</mo></mrow><mrow id="A1.SS3.1.p1.6.m1.2.2.2.3" xref="A1.SS3.1.p1.6.m1.2.2.2.3.cmml"><mn id="A1.SS3.1.p1.6.m1.2.2.2.3.2" xref="A1.SS3.1.p1.6.m1.2.2.2.3.2.cmml">1</mn><mo id="A1.SS3.1.p1.6.m1.2.2.2.3.1" xref="A1.SS3.1.p1.6.m1.2.2.2.3.1.cmml">/</mo><mn id="A1.SS3.1.p1.6.m1.2.2.2.3.3" xref="A1.SS3.1.p1.6.m1.2.2.2.3.3.cmml">2</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.6.m1.2b"><apply id="A1.SS3.1.p1.6.m1.2.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2"><eq id="A1.SS3.1.p1.6.m1.2.2.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.3"></eq><apply id="A1.SS3.1.p1.6.m1.1.1.1.cmml" xref="A1.SS3.1.p1.6.m1.1.1.1"><times id="A1.SS3.1.p1.6.m1.1.1.1.2.cmml" xref="A1.SS3.1.p1.6.m1.1.1.1.2"></times><ci id="A1.SS3.1.p1.6.m1.1.1.1.3.cmml" xref="A1.SS3.1.p1.6.m1.1.1.1.3">𝜆</ci><apply id="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.cmml" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.1.cmml" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1">subscript</csymbol><ci id="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.2.cmml" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.2">𝜃</ci><ci id="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.3.cmml" xref="A1.SS3.1.p1.6.m1.1.1.1.1.1.1.3">𝑡</ci></apply></apply><apply id="A1.SS3.1.p1.6.m1.2.2.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2"><csymbol cd="ambiguous" id="A1.SS3.1.p1.6.m1.2.2.2.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2">superscript</csymbol><apply id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1"><times id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.1"></times><apply id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2">superscript</csymbol><apply id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2">subscript</csymbol><ci id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.2">𝐠</ci><ci id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.2.3">𝑡</ci></apply><ci id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.2.3">𝑇</ci></apply><apply id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3">superscript</csymbol><apply id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3">subscript</csymbol><ci id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.2">𝐇</ci><ci id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.2.3">𝑡</ci></apply><apply id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3"><minus id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3"></minus><cn type="integer" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.3.3.2">1</cn></apply></apply><apply id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4"><csymbol cd="ambiguous" id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4">subscript</csymbol><ci id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.2">𝐠</ci><ci id="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.1.1.1.4.3">𝑡</ci></apply></apply><apply id="A1.SS3.1.p1.6.m1.2.2.2.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.3"><divide id="A1.SS3.1.p1.6.m1.2.2.2.3.1.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.3.1"></divide><cn type="integer" id="A1.SS3.1.p1.6.m1.2.2.2.3.2.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.3.2">1</cn><cn type="integer" id="A1.SS3.1.p1.6.m1.2.2.2.3.3.cmml" xref="A1.SS3.1.p1.6.m1.2.2.2.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.6.m1.2c">\lambda(\theta_{t})=(\mathbf{g}_{t}^{T}\mathbf{H}_{t}^{-1}\mathbf{g}_{t})^{1/2}</annotation></semantics></math>.
Since <math id="A1.SS3.1.p1.7.m2.1" class="ltx_Math" alttext="{\cal{L}}(w)" display="inline"><semantics id="A1.SS3.1.p1.7.m2.1a"><mrow id="A1.SS3.1.p1.7.m2.1.2" xref="A1.SS3.1.p1.7.m2.1.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.SS3.1.p1.7.m2.1.2.2" xref="A1.SS3.1.p1.7.m2.1.2.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.7.m2.1.2.1" xref="A1.SS3.1.p1.7.m2.1.2.1.cmml">​</mo><mrow id="A1.SS3.1.p1.7.m2.1.2.3.2" xref="A1.SS3.1.p1.7.m2.1.2.cmml"><mo stretchy="false" id="A1.SS3.1.p1.7.m2.1.2.3.2.1" xref="A1.SS3.1.p1.7.m2.1.2.cmml">(</mo><mi id="A1.SS3.1.p1.7.m2.1.1" xref="A1.SS3.1.p1.7.m2.1.1.cmml">w</mi><mo stretchy="false" id="A1.SS3.1.p1.7.m2.1.2.3.2.2" xref="A1.SS3.1.p1.7.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.7.m2.1b"><apply id="A1.SS3.1.p1.7.m2.1.2.cmml" xref="A1.SS3.1.p1.7.m2.1.2"><times id="A1.SS3.1.p1.7.m2.1.2.1.cmml" xref="A1.SS3.1.p1.7.m2.1.2.1"></times><ci id="A1.SS3.1.p1.7.m2.1.2.2.cmml" xref="A1.SS3.1.p1.7.m2.1.2.2">ℒ</ci><ci id="A1.SS3.1.p1.7.m2.1.1.cmml" xref="A1.SS3.1.p1.7.m2.1.1">𝑤</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.7.m2.1c">{\cal{L}}(w)</annotation></semantics></math> is <math id="A1.SS3.1.p1.8.m3.1" class="ltx_Math" alttext="\beta" display="inline"><semantics id="A1.SS3.1.p1.8.m3.1a"><mi id="A1.SS3.1.p1.8.m3.1.1" xref="A1.SS3.1.p1.8.m3.1.1.cmml">β</mi><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.8.m3.1b"><ci id="A1.SS3.1.p1.8.m3.1.1.cmml" xref="A1.SS3.1.p1.8.m3.1.1">𝛽</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.8.m3.1c">\beta</annotation></semantics></math>-smooth, we have</p>
<table id="A12.EGx22" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E13"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E13.m1.1" class="ltx_Math" alttext="\displaystyle{\cal{L}}(\theta_{t+1})" display="inline"><semantics id="A1.E13.m1.1a"><mrow id="A1.E13.m1.1.1" xref="A1.E13.m1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.E13.m1.1.1.3" xref="A1.E13.m1.1.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.E13.m1.1.1.2" xref="A1.E13.m1.1.1.2.cmml">​</mo><mrow id="A1.E13.m1.1.1.1.1" xref="A1.E13.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E13.m1.1.1.1.1.2" xref="A1.E13.m1.1.1.1.1.1.cmml">(</mo><msub id="A1.E13.m1.1.1.1.1.1" xref="A1.E13.m1.1.1.1.1.1.cmml"><mi id="A1.E13.m1.1.1.1.1.1.2" xref="A1.E13.m1.1.1.1.1.1.2.cmml">θ</mi><mrow id="A1.E13.m1.1.1.1.1.1.3" xref="A1.E13.m1.1.1.1.1.1.3.cmml"><mi id="A1.E13.m1.1.1.1.1.1.3.2" xref="A1.E13.m1.1.1.1.1.1.3.2.cmml">t</mi><mo id="A1.E13.m1.1.1.1.1.1.3.1" xref="A1.E13.m1.1.1.1.1.1.3.1.cmml">+</mo><mn id="A1.E13.m1.1.1.1.1.1.3.3" xref="A1.E13.m1.1.1.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="A1.E13.m1.1.1.1.1.3" xref="A1.E13.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E13.m1.1b"><apply id="A1.E13.m1.1.1.cmml" xref="A1.E13.m1.1.1"><times id="A1.E13.m1.1.1.2.cmml" xref="A1.E13.m1.1.1.2"></times><ci id="A1.E13.m1.1.1.3.cmml" xref="A1.E13.m1.1.1.3">ℒ</ci><apply id="A1.E13.m1.1.1.1.1.1.cmml" xref="A1.E13.m1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E13.m1.1.1.1.1.1.1.cmml" xref="A1.E13.m1.1.1.1.1">subscript</csymbol><ci id="A1.E13.m1.1.1.1.1.1.2.cmml" xref="A1.E13.m1.1.1.1.1.1.2">𝜃</ci><apply id="A1.E13.m1.1.1.1.1.1.3.cmml" xref="A1.E13.m1.1.1.1.1.1.3"><plus id="A1.E13.m1.1.1.1.1.1.3.1.cmml" xref="A1.E13.m1.1.1.1.1.1.3.1"></plus><ci id="A1.E13.m1.1.1.1.1.1.3.2.cmml" xref="A1.E13.m1.1.1.1.1.1.3.2">𝑡</ci><cn type="integer" id="A1.E13.m1.1.1.1.1.1.3.3.cmml" xref="A1.E13.m1.1.1.1.1.1.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E13.m1.1c">\displaystyle{\cal{L}}(\theta_{t+1})</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.E13.m2.2" class="ltx_Math" alttext="\displaystyle\leq{\cal{L}}(\theta_{t})-\mu\mathbf{g}_{t}^{T}\Delta\theta_{t}+\frac{\mu^{2}\beta\|\Delta\theta_{t}\|^{2}}{2}" display="inline"><semantics id="A1.E13.m2.2a"><mrow id="A1.E13.m2.2.2" xref="A1.E13.m2.2.2.cmml"><mi id="A1.E13.m2.2.2.3" xref="A1.E13.m2.2.2.3.cmml"></mi><mo id="A1.E13.m2.2.2.2" xref="A1.E13.m2.2.2.2.cmml">≤</mo><mrow id="A1.E13.m2.2.2.1" xref="A1.E13.m2.2.2.1.cmml"><mrow id="A1.E13.m2.2.2.1.1" xref="A1.E13.m2.2.2.1.1.cmml"><mrow id="A1.E13.m2.2.2.1.1.1" xref="A1.E13.m2.2.2.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.E13.m2.2.2.1.1.1.3" xref="A1.E13.m2.2.2.1.1.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.E13.m2.2.2.1.1.1.2" xref="A1.E13.m2.2.2.1.1.1.2.cmml">​</mo><mrow id="A1.E13.m2.2.2.1.1.1.1.1" xref="A1.E13.m2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E13.m2.2.2.1.1.1.1.1.2" xref="A1.E13.m2.2.2.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E13.m2.2.2.1.1.1.1.1.1" xref="A1.E13.m2.2.2.1.1.1.1.1.1.cmml"><mi id="A1.E13.m2.2.2.1.1.1.1.1.1.2" xref="A1.E13.m2.2.2.1.1.1.1.1.1.2.cmml">θ</mi><mi id="A1.E13.m2.2.2.1.1.1.1.1.1.3" xref="A1.E13.m2.2.2.1.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E13.m2.2.2.1.1.1.1.1.3" xref="A1.E13.m2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E13.m2.2.2.1.1.2" xref="A1.E13.m2.2.2.1.1.2.cmml">−</mo><mrow id="A1.E13.m2.2.2.1.1.3" xref="A1.E13.m2.2.2.1.1.3.cmml"><mi id="A1.E13.m2.2.2.1.1.3.2" xref="A1.E13.m2.2.2.1.1.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A1.E13.m2.2.2.1.1.3.1" xref="A1.E13.m2.2.2.1.1.3.1.cmml">​</mo><msubsup id="A1.E13.m2.2.2.1.1.3.3" xref="A1.E13.m2.2.2.1.1.3.3.cmml"><mi id="A1.E13.m2.2.2.1.1.3.3.2.2" xref="A1.E13.m2.2.2.1.1.3.3.2.2.cmml">𝐠</mi><mi id="A1.E13.m2.2.2.1.1.3.3.2.3" xref="A1.E13.m2.2.2.1.1.3.3.2.3.cmml">t</mi><mi id="A1.E13.m2.2.2.1.1.3.3.3" xref="A1.E13.m2.2.2.1.1.3.3.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A1.E13.m2.2.2.1.1.3.1a" xref="A1.E13.m2.2.2.1.1.3.1.cmml">​</mo><mi mathvariant="normal" id="A1.E13.m2.2.2.1.1.3.4" xref="A1.E13.m2.2.2.1.1.3.4.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.E13.m2.2.2.1.1.3.1b" xref="A1.E13.m2.2.2.1.1.3.1.cmml">​</mo><msub id="A1.E13.m2.2.2.1.1.3.5" xref="A1.E13.m2.2.2.1.1.3.5.cmml"><mi id="A1.E13.m2.2.2.1.1.3.5.2" xref="A1.E13.m2.2.2.1.1.3.5.2.cmml">θ</mi><mi id="A1.E13.m2.2.2.1.1.3.5.3" xref="A1.E13.m2.2.2.1.1.3.5.3.cmml">t</mi></msub></mrow></mrow><mo id="A1.E13.m2.2.2.1.2" xref="A1.E13.m2.2.2.1.2.cmml">+</mo><mstyle displaystyle="true" id="A1.E13.m2.1.1" xref="A1.E13.m2.1.1.cmml"><mfrac id="A1.E13.m2.1.1a" xref="A1.E13.m2.1.1.cmml"><mrow id="A1.E13.m2.1.1.1" xref="A1.E13.m2.1.1.1.cmml"><msup id="A1.E13.m2.1.1.1.3" xref="A1.E13.m2.1.1.1.3.cmml"><mi id="A1.E13.m2.1.1.1.3.2" xref="A1.E13.m2.1.1.1.3.2.cmml">μ</mi><mn id="A1.E13.m2.1.1.1.3.3" xref="A1.E13.m2.1.1.1.3.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A1.E13.m2.1.1.1.2" xref="A1.E13.m2.1.1.1.2.cmml">​</mo><mi id="A1.E13.m2.1.1.1.4" xref="A1.E13.m2.1.1.1.4.cmml">β</mi><mo lspace="0em" rspace="0em" id="A1.E13.m2.1.1.1.2a" xref="A1.E13.m2.1.1.1.2.cmml">​</mo><msup id="A1.E13.m2.1.1.1.1" xref="A1.E13.m2.1.1.1.1.cmml"><mrow id="A1.E13.m2.1.1.1.1.1.1" xref="A1.E13.m2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A1.E13.m2.1.1.1.1.1.1.2" xref="A1.E13.m2.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A1.E13.m2.1.1.1.1.1.1.1" xref="A1.E13.m2.1.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="A1.E13.m2.1.1.1.1.1.1.1.2" xref="A1.E13.m2.1.1.1.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.E13.m2.1.1.1.1.1.1.1.1" xref="A1.E13.m2.1.1.1.1.1.1.1.1.cmml">​</mo><msub id="A1.E13.m2.1.1.1.1.1.1.1.3" xref="A1.E13.m2.1.1.1.1.1.1.1.3.cmml"><mi id="A1.E13.m2.1.1.1.1.1.1.1.3.2" xref="A1.E13.m2.1.1.1.1.1.1.1.3.2.cmml">θ</mi><mi id="A1.E13.m2.1.1.1.1.1.1.1.3.3" xref="A1.E13.m2.1.1.1.1.1.1.1.3.3.cmml">t</mi></msub></mrow><mo stretchy="false" id="A1.E13.m2.1.1.1.1.1.1.3" xref="A1.E13.m2.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.E13.m2.1.1.1.1.3" xref="A1.E13.m2.1.1.1.1.3.cmml">2</mn></msup></mrow><mn id="A1.E13.m2.1.1.3" xref="A1.E13.m2.1.1.3.cmml">2</mn></mfrac></mstyle></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E13.m2.2b"><apply id="A1.E13.m2.2.2.cmml" xref="A1.E13.m2.2.2"><leq id="A1.E13.m2.2.2.2.cmml" xref="A1.E13.m2.2.2.2"></leq><csymbol cd="latexml" id="A1.E13.m2.2.2.3.cmml" xref="A1.E13.m2.2.2.3">absent</csymbol><apply id="A1.E13.m2.2.2.1.cmml" xref="A1.E13.m2.2.2.1"><plus id="A1.E13.m2.2.2.1.2.cmml" xref="A1.E13.m2.2.2.1.2"></plus><apply id="A1.E13.m2.2.2.1.1.cmml" xref="A1.E13.m2.2.2.1.1"><minus id="A1.E13.m2.2.2.1.1.2.cmml" xref="A1.E13.m2.2.2.1.1.2"></minus><apply id="A1.E13.m2.2.2.1.1.1.cmml" xref="A1.E13.m2.2.2.1.1.1"><times id="A1.E13.m2.2.2.1.1.1.2.cmml" xref="A1.E13.m2.2.2.1.1.1.2"></times><ci id="A1.E13.m2.2.2.1.1.1.3.cmml" xref="A1.E13.m2.2.2.1.1.1.3">ℒ</ci><apply id="A1.E13.m2.2.2.1.1.1.1.1.1.cmml" xref="A1.E13.m2.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E13.m2.2.2.1.1.1.1.1.1.1.cmml" xref="A1.E13.m2.2.2.1.1.1.1.1">subscript</csymbol><ci id="A1.E13.m2.2.2.1.1.1.1.1.1.2.cmml" xref="A1.E13.m2.2.2.1.1.1.1.1.1.2">𝜃</ci><ci id="A1.E13.m2.2.2.1.1.1.1.1.1.3.cmml" xref="A1.E13.m2.2.2.1.1.1.1.1.1.3">𝑡</ci></apply></apply><apply id="A1.E13.m2.2.2.1.1.3.cmml" xref="A1.E13.m2.2.2.1.1.3"><times id="A1.E13.m2.2.2.1.1.3.1.cmml" xref="A1.E13.m2.2.2.1.1.3.1"></times><ci id="A1.E13.m2.2.2.1.1.3.2.cmml" xref="A1.E13.m2.2.2.1.1.3.2">𝜇</ci><apply id="A1.E13.m2.2.2.1.1.3.3.cmml" xref="A1.E13.m2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="A1.E13.m2.2.2.1.1.3.3.1.cmml" xref="A1.E13.m2.2.2.1.1.3.3">superscript</csymbol><apply id="A1.E13.m2.2.2.1.1.3.3.2.cmml" xref="A1.E13.m2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="A1.E13.m2.2.2.1.1.3.3.2.1.cmml" xref="A1.E13.m2.2.2.1.1.3.3">subscript</csymbol><ci id="A1.E13.m2.2.2.1.1.3.3.2.2.cmml" xref="A1.E13.m2.2.2.1.1.3.3.2.2">𝐠</ci><ci id="A1.E13.m2.2.2.1.1.3.3.2.3.cmml" xref="A1.E13.m2.2.2.1.1.3.3.2.3">𝑡</ci></apply><ci id="A1.E13.m2.2.2.1.1.3.3.3.cmml" xref="A1.E13.m2.2.2.1.1.3.3.3">𝑇</ci></apply><ci id="A1.E13.m2.2.2.1.1.3.4.cmml" xref="A1.E13.m2.2.2.1.1.3.4">Δ</ci><apply id="A1.E13.m2.2.2.1.1.3.5.cmml" xref="A1.E13.m2.2.2.1.1.3.5"><csymbol cd="ambiguous" id="A1.E13.m2.2.2.1.1.3.5.1.cmml" xref="A1.E13.m2.2.2.1.1.3.5">subscript</csymbol><ci id="A1.E13.m2.2.2.1.1.3.5.2.cmml" xref="A1.E13.m2.2.2.1.1.3.5.2">𝜃</ci><ci id="A1.E13.m2.2.2.1.1.3.5.3.cmml" xref="A1.E13.m2.2.2.1.1.3.5.3">𝑡</ci></apply></apply></apply><apply id="A1.E13.m2.1.1.cmml" xref="A1.E13.m2.1.1"><divide id="A1.E13.m2.1.1.2.cmml" xref="A1.E13.m2.1.1"></divide><apply id="A1.E13.m2.1.1.1.cmml" xref="A1.E13.m2.1.1.1"><times id="A1.E13.m2.1.1.1.2.cmml" xref="A1.E13.m2.1.1.1.2"></times><apply id="A1.E13.m2.1.1.1.3.cmml" xref="A1.E13.m2.1.1.1.3"><csymbol cd="ambiguous" id="A1.E13.m2.1.1.1.3.1.cmml" xref="A1.E13.m2.1.1.1.3">superscript</csymbol><ci id="A1.E13.m2.1.1.1.3.2.cmml" xref="A1.E13.m2.1.1.1.3.2">𝜇</ci><cn type="integer" id="A1.E13.m2.1.1.1.3.3.cmml" xref="A1.E13.m2.1.1.1.3.3">2</cn></apply><ci id="A1.E13.m2.1.1.1.4.cmml" xref="A1.E13.m2.1.1.1.4">𝛽</ci><apply id="A1.E13.m2.1.1.1.1.cmml" xref="A1.E13.m2.1.1.1.1"><csymbol cd="ambiguous" id="A1.E13.m2.1.1.1.1.2.cmml" xref="A1.E13.m2.1.1.1.1">superscript</csymbol><apply id="A1.E13.m2.1.1.1.1.1.2.cmml" xref="A1.E13.m2.1.1.1.1.1.1"><csymbol cd="latexml" id="A1.E13.m2.1.1.1.1.1.2.1.cmml" xref="A1.E13.m2.1.1.1.1.1.1.2">norm</csymbol><apply id="A1.E13.m2.1.1.1.1.1.1.1.cmml" xref="A1.E13.m2.1.1.1.1.1.1.1"><times id="A1.E13.m2.1.1.1.1.1.1.1.1.cmml" xref="A1.E13.m2.1.1.1.1.1.1.1.1"></times><ci id="A1.E13.m2.1.1.1.1.1.1.1.2.cmml" xref="A1.E13.m2.1.1.1.1.1.1.1.2">Δ</ci><apply id="A1.E13.m2.1.1.1.1.1.1.1.3.cmml" xref="A1.E13.m2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E13.m2.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E13.m2.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A1.E13.m2.1.1.1.1.1.1.1.3.2.cmml" xref="A1.E13.m2.1.1.1.1.1.1.1.3.2">𝜃</ci><ci id="A1.E13.m2.1.1.1.1.1.1.1.3.3.cmml" xref="A1.E13.m2.1.1.1.1.1.1.1.3.3">𝑡</ci></apply></apply></apply><cn type="integer" id="A1.E13.m2.1.1.1.1.3.cmml" xref="A1.E13.m2.1.1.1.1.3">2</cn></apply></apply><cn type="integer" id="A1.E13.m2.1.1.3.cmml" xref="A1.E13.m2.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E13.m2.2c">\displaystyle\leq{\cal{L}}(\theta_{t})-\mu\mathbf{g}_{t}^{T}\Delta\theta_{t}+\frac{\mu^{2}\beta\|\Delta\theta_{t}\|^{2}}{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(13)</span></td>
</tr></tbody>
<tbody id="A1.E14"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A1.E14.m1.1" class="ltx_Math" alttext="\displaystyle\leq{\cal{L}}(\theta_{t})-\mu\lambda(\theta_{t})^{2}+\frac{\beta}{2\alpha}\mu^{2}\lambda(\theta_{t})^{2}," display="inline"><semantics id="A1.E14.m1.1a"><mrow id="A1.E14.m1.1.1.1" xref="A1.E14.m1.1.1.1.1.cmml"><mrow id="A1.E14.m1.1.1.1.1" xref="A1.E14.m1.1.1.1.1.cmml"><mi id="A1.E14.m1.1.1.1.1.5" xref="A1.E14.m1.1.1.1.1.5.cmml"></mi><mo id="A1.E14.m1.1.1.1.1.4" xref="A1.E14.m1.1.1.1.1.4.cmml">≤</mo><mrow id="A1.E14.m1.1.1.1.1.3" xref="A1.E14.m1.1.1.1.1.3.cmml"><mrow id="A1.E14.m1.1.1.1.1.2.2" xref="A1.E14.m1.1.1.1.1.2.2.cmml"><mrow id="A1.E14.m1.1.1.1.1.1.1.1" xref="A1.E14.m1.1.1.1.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.E14.m1.1.1.1.1.1.1.1.3" xref="A1.E14.m1.1.1.1.1.1.1.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.E14.m1.1.1.1.1.1.1.1.2" xref="A1.E14.m1.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A1.E14.m1.1.1.1.1.1.1.1.1.1" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E14.m1.1.1.1.1.1.1.1.1.1.2" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E14.m1.1.1.1.1.1.1.1.1.1.1" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">θ</mi><mi id="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E14.m1.1.1.1.1.1.1.1.1.1.3" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E14.m1.1.1.1.1.2.2.3" xref="A1.E14.m1.1.1.1.1.2.2.3.cmml">−</mo><mrow id="A1.E14.m1.1.1.1.1.2.2.2" xref="A1.E14.m1.1.1.1.1.2.2.2.cmml"><mi id="A1.E14.m1.1.1.1.1.2.2.2.3" xref="A1.E14.m1.1.1.1.1.2.2.2.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A1.E14.m1.1.1.1.1.2.2.2.2" xref="A1.E14.m1.1.1.1.1.2.2.2.2.cmml">​</mo><mi id="A1.E14.m1.1.1.1.1.2.2.2.4" xref="A1.E14.m1.1.1.1.1.2.2.2.4.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.E14.m1.1.1.1.1.2.2.2.2a" xref="A1.E14.m1.1.1.1.1.2.2.2.2.cmml">​</mo><msup id="A1.E14.m1.1.1.1.1.2.2.2.1" xref="A1.E14.m1.1.1.1.1.2.2.2.1.cmml"><mrow id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.2" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.cmml">(</mo><msub id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.cmml"><mi id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.2" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.2.cmml">θ</mi><mi id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.3" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.3" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="A1.E14.m1.1.1.1.1.2.2.2.1.3" xref="A1.E14.m1.1.1.1.1.2.2.2.1.3.cmml">2</mn></msup></mrow></mrow><mo id="A1.E14.m1.1.1.1.1.3.4" xref="A1.E14.m1.1.1.1.1.3.4.cmml">+</mo><mrow id="A1.E14.m1.1.1.1.1.3.3" xref="A1.E14.m1.1.1.1.1.3.3.cmml"><mstyle displaystyle="true" id="A1.E14.m1.1.1.1.1.3.3.3" xref="A1.E14.m1.1.1.1.1.3.3.3.cmml"><mfrac id="A1.E14.m1.1.1.1.1.3.3.3a" xref="A1.E14.m1.1.1.1.1.3.3.3.cmml"><mi id="A1.E14.m1.1.1.1.1.3.3.3.2" xref="A1.E14.m1.1.1.1.1.3.3.3.2.cmml">β</mi><mrow id="A1.E14.m1.1.1.1.1.3.3.3.3" xref="A1.E14.m1.1.1.1.1.3.3.3.3.cmml"><mn id="A1.E14.m1.1.1.1.1.3.3.3.3.2" xref="A1.E14.m1.1.1.1.1.3.3.3.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E14.m1.1.1.1.1.3.3.3.3.1" xref="A1.E14.m1.1.1.1.1.3.3.3.3.1.cmml">​</mo><mi id="A1.E14.m1.1.1.1.1.3.3.3.3.3" xref="A1.E14.m1.1.1.1.1.3.3.3.3.3.cmml">α</mi></mrow></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.E14.m1.1.1.1.1.3.3.2" xref="A1.E14.m1.1.1.1.1.3.3.2.cmml">​</mo><msup id="A1.E14.m1.1.1.1.1.3.3.4" xref="A1.E14.m1.1.1.1.1.3.3.4.cmml"><mi id="A1.E14.m1.1.1.1.1.3.3.4.2" xref="A1.E14.m1.1.1.1.1.3.3.4.2.cmml">μ</mi><mn id="A1.E14.m1.1.1.1.1.3.3.4.3" xref="A1.E14.m1.1.1.1.1.3.3.4.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A1.E14.m1.1.1.1.1.3.3.2a" xref="A1.E14.m1.1.1.1.1.3.3.2.cmml">​</mo><mi id="A1.E14.m1.1.1.1.1.3.3.5" xref="A1.E14.m1.1.1.1.1.3.3.5.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.E14.m1.1.1.1.1.3.3.2b" xref="A1.E14.m1.1.1.1.1.3.3.2.cmml">​</mo><msup id="A1.E14.m1.1.1.1.1.3.3.1" xref="A1.E14.m1.1.1.1.1.3.3.1.cmml"><mrow id="A1.E14.m1.1.1.1.1.3.3.1.1.1" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="A1.E14.m1.1.1.1.1.3.3.1.1.1.2" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.cmml">(</mo><msub id="A1.E14.m1.1.1.1.1.3.3.1.1.1.1" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.cmml"><mi id="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.2" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.2.cmml">θ</mi><mi id="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.3" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E14.m1.1.1.1.1.3.3.1.1.1.3" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.cmml">)</mo></mrow><mn id="A1.E14.m1.1.1.1.1.3.3.1.3" xref="A1.E14.m1.1.1.1.1.3.3.1.3.cmml">2</mn></msup></mrow></mrow></mrow><mo id="A1.E14.m1.1.1.1.2" xref="A1.E14.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E14.m1.1b"><apply id="A1.E14.m1.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1"><leq id="A1.E14.m1.1.1.1.1.4.cmml" xref="A1.E14.m1.1.1.1.1.4"></leq><csymbol cd="latexml" id="A1.E14.m1.1.1.1.1.5.cmml" xref="A1.E14.m1.1.1.1.1.5">absent</csymbol><apply id="A1.E14.m1.1.1.1.1.3.cmml" xref="A1.E14.m1.1.1.1.1.3"><plus id="A1.E14.m1.1.1.1.1.3.4.cmml" xref="A1.E14.m1.1.1.1.1.3.4"></plus><apply id="A1.E14.m1.1.1.1.1.2.2.cmml" xref="A1.E14.m1.1.1.1.1.2.2"><minus id="A1.E14.m1.1.1.1.1.2.2.3.cmml" xref="A1.E14.m1.1.1.1.1.2.2.3"></minus><apply id="A1.E14.m1.1.1.1.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1.1.1.1.1"><times id="A1.E14.m1.1.1.1.1.1.1.1.2.cmml" xref="A1.E14.m1.1.1.1.1.1.1.1.2"></times><ci id="A1.E14.m1.1.1.1.1.1.1.1.3.cmml" xref="A1.E14.m1.1.1.1.1.1.1.1.3">ℒ</ci><apply id="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.2">𝜃</ci><ci id="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E14.m1.1.1.1.1.1.1.1.1.1.1.3">𝑡</ci></apply></apply><apply id="A1.E14.m1.1.1.1.1.2.2.2.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2"><times id="A1.E14.m1.1.1.1.1.2.2.2.2.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.2"></times><ci id="A1.E14.m1.1.1.1.1.2.2.2.3.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.3">𝜇</ci><ci id="A1.E14.m1.1.1.1.1.2.2.2.4.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.4">𝜆</ci><apply id="A1.E14.m1.1.1.1.1.2.2.2.1.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.1"><csymbol cd="ambiguous" id="A1.E14.m1.1.1.1.1.2.2.2.1.2.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.1">superscript</csymbol><apply id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1">subscript</csymbol><ci id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.2.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.2">𝜃</ci><ci id="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.3.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.1.1.1.1.3">𝑡</ci></apply><cn type="integer" id="A1.E14.m1.1.1.1.1.2.2.2.1.3.cmml" xref="A1.E14.m1.1.1.1.1.2.2.2.1.3">2</cn></apply></apply></apply><apply id="A1.E14.m1.1.1.1.1.3.3.cmml" xref="A1.E14.m1.1.1.1.1.3.3"><times id="A1.E14.m1.1.1.1.1.3.3.2.cmml" xref="A1.E14.m1.1.1.1.1.3.3.2"></times><apply id="A1.E14.m1.1.1.1.1.3.3.3.cmml" xref="A1.E14.m1.1.1.1.1.3.3.3"><divide id="A1.E14.m1.1.1.1.1.3.3.3.1.cmml" xref="A1.E14.m1.1.1.1.1.3.3.3"></divide><ci id="A1.E14.m1.1.1.1.1.3.3.3.2.cmml" xref="A1.E14.m1.1.1.1.1.3.3.3.2">𝛽</ci><apply id="A1.E14.m1.1.1.1.1.3.3.3.3.cmml" xref="A1.E14.m1.1.1.1.1.3.3.3.3"><times id="A1.E14.m1.1.1.1.1.3.3.3.3.1.cmml" xref="A1.E14.m1.1.1.1.1.3.3.3.3.1"></times><cn type="integer" id="A1.E14.m1.1.1.1.1.3.3.3.3.2.cmml" xref="A1.E14.m1.1.1.1.1.3.3.3.3.2">2</cn><ci id="A1.E14.m1.1.1.1.1.3.3.3.3.3.cmml" xref="A1.E14.m1.1.1.1.1.3.3.3.3.3">𝛼</ci></apply></apply><apply id="A1.E14.m1.1.1.1.1.3.3.4.cmml" xref="A1.E14.m1.1.1.1.1.3.3.4"><csymbol cd="ambiguous" id="A1.E14.m1.1.1.1.1.3.3.4.1.cmml" xref="A1.E14.m1.1.1.1.1.3.3.4">superscript</csymbol><ci id="A1.E14.m1.1.1.1.1.3.3.4.2.cmml" xref="A1.E14.m1.1.1.1.1.3.3.4.2">𝜇</ci><cn type="integer" id="A1.E14.m1.1.1.1.1.3.3.4.3.cmml" xref="A1.E14.m1.1.1.1.1.3.3.4.3">2</cn></apply><ci id="A1.E14.m1.1.1.1.1.3.3.5.cmml" xref="A1.E14.m1.1.1.1.1.3.3.5">𝜆</ci><apply id="A1.E14.m1.1.1.1.1.3.3.1.cmml" xref="A1.E14.m1.1.1.1.1.3.3.1"><csymbol cd="ambiguous" id="A1.E14.m1.1.1.1.1.3.3.1.2.cmml" xref="A1.E14.m1.1.1.1.1.3.3.1">superscript</csymbol><apply id="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1"><csymbol cd="ambiguous" id="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.1.cmml" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1">subscript</csymbol><ci id="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.2.cmml" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.2">𝜃</ci><ci id="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.3.cmml" xref="A1.E14.m1.1.1.1.1.3.3.1.1.1.1.3">𝑡</ci></apply><cn type="integer" id="A1.E14.m1.1.1.1.1.3.3.1.3.cmml" xref="A1.E14.m1.1.1.1.1.3.3.1.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E14.m1.1c">\displaystyle\leq{\cal{L}}(\theta_{t})-\mu\lambda(\theta_{t})^{2}+\frac{\beta}{2\alpha}\mu^{2}\lambda(\theta_{t})^{2},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(14)</span></td>
</tr></tbody>
</table>
<p id="A1.SS3.1.p1.13" class="ltx_p">where in the last equality, we used</p>
<table id="A12.EGx23" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E15"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E15.m1.1" class="ltx_Math" alttext="\displaystyle\lambda(\theta_{t})^{2}=\Delta\theta_{t}\mathbf{H}_{t}\Delta\theta_{t}^{T}\geq\alpha||\Delta\theta_{t}||^{2}." display="inline"><semantics id="A1.E15.m1.1a"><mrow id="A1.E15.m1.1.1.1" xref="A1.E15.m1.1.1.1.1.cmml"><mrow id="A1.E15.m1.1.1.1.1" xref="A1.E15.m1.1.1.1.1.cmml"><mrow id="A1.E15.m1.1.1.1.1.1" xref="A1.E15.m1.1.1.1.1.1.cmml"><mi id="A1.E15.m1.1.1.1.1.1.3" xref="A1.E15.m1.1.1.1.1.1.3.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.E15.m1.1.1.1.1.1.2" xref="A1.E15.m1.1.1.1.1.1.2.cmml">​</mo><msup id="A1.E15.m1.1.1.1.1.1.1" xref="A1.E15.m1.1.1.1.1.1.1.cmml"><mrow id="A1.E15.m1.1.1.1.1.1.1.1.1" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E15.m1.1.1.1.1.1.1.1.1.2" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E15.m1.1.1.1.1.1.1.1.1.1" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.E15.m1.1.1.1.1.1.1.1.1.1.2" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.2.cmml">θ</mi><mi id="A1.E15.m1.1.1.1.1.1.1.1.1.1.3" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E15.m1.1.1.1.1.1.1.1.1.3" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.E15.m1.1.1.1.1.1.1.3" xref="A1.E15.m1.1.1.1.1.1.1.3.cmml">2</mn></msup></mrow><mo id="A1.E15.m1.1.1.1.1.4" xref="A1.E15.m1.1.1.1.1.4.cmml">=</mo><mrow id="A1.E15.m1.1.1.1.1.5" xref="A1.E15.m1.1.1.1.1.5.cmml"><mi mathvariant="normal" id="A1.E15.m1.1.1.1.1.5.2" xref="A1.E15.m1.1.1.1.1.5.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.E15.m1.1.1.1.1.5.1" xref="A1.E15.m1.1.1.1.1.5.1.cmml">​</mo><msub id="A1.E15.m1.1.1.1.1.5.3" xref="A1.E15.m1.1.1.1.1.5.3.cmml"><mi id="A1.E15.m1.1.1.1.1.5.3.2" xref="A1.E15.m1.1.1.1.1.5.3.2.cmml">θ</mi><mi id="A1.E15.m1.1.1.1.1.5.3.3" xref="A1.E15.m1.1.1.1.1.5.3.3.cmml">t</mi></msub><mo lspace="0em" rspace="0em" id="A1.E15.m1.1.1.1.1.5.1a" xref="A1.E15.m1.1.1.1.1.5.1.cmml">​</mo><msub id="A1.E15.m1.1.1.1.1.5.4" xref="A1.E15.m1.1.1.1.1.5.4.cmml"><mi id="A1.E15.m1.1.1.1.1.5.4.2" xref="A1.E15.m1.1.1.1.1.5.4.2.cmml">𝐇</mi><mi id="A1.E15.m1.1.1.1.1.5.4.3" xref="A1.E15.m1.1.1.1.1.5.4.3.cmml">t</mi></msub><mo lspace="0em" rspace="0em" id="A1.E15.m1.1.1.1.1.5.1b" xref="A1.E15.m1.1.1.1.1.5.1.cmml">​</mo><mi mathvariant="normal" id="A1.E15.m1.1.1.1.1.5.5" xref="A1.E15.m1.1.1.1.1.5.5.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.E15.m1.1.1.1.1.5.1c" xref="A1.E15.m1.1.1.1.1.5.1.cmml">​</mo><msubsup id="A1.E15.m1.1.1.1.1.5.6" xref="A1.E15.m1.1.1.1.1.5.6.cmml"><mi id="A1.E15.m1.1.1.1.1.5.6.2.2" xref="A1.E15.m1.1.1.1.1.5.6.2.2.cmml">θ</mi><mi id="A1.E15.m1.1.1.1.1.5.6.2.3" xref="A1.E15.m1.1.1.1.1.5.6.2.3.cmml">t</mi><mi id="A1.E15.m1.1.1.1.1.5.6.3" xref="A1.E15.m1.1.1.1.1.5.6.3.cmml">T</mi></msubsup></mrow><mo id="A1.E15.m1.1.1.1.1.6" xref="A1.E15.m1.1.1.1.1.6.cmml">≥</mo><mrow id="A1.E15.m1.1.1.1.1.2" xref="A1.E15.m1.1.1.1.1.2.cmml"><mi id="A1.E15.m1.1.1.1.1.2.3" xref="A1.E15.m1.1.1.1.1.2.3.cmml">α</mi><mo lspace="0em" rspace="0em" id="A1.E15.m1.1.1.1.1.2.2" xref="A1.E15.m1.1.1.1.1.2.2.cmml">​</mo><msup id="A1.E15.m1.1.1.1.1.2.1" xref="A1.E15.m1.1.1.1.1.2.1.cmml"><mrow id="A1.E15.m1.1.1.1.1.2.1.1.1" xref="A1.E15.m1.1.1.1.1.2.1.1.2.cmml"><mo stretchy="false" id="A1.E15.m1.1.1.1.1.2.1.1.1.2" xref="A1.E15.m1.1.1.1.1.2.1.1.2.1.cmml">‖</mo><mrow id="A1.E15.m1.1.1.1.1.2.1.1.1.1" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.cmml"><mi mathvariant="normal" id="A1.E15.m1.1.1.1.1.2.1.1.1.1.2" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.E15.m1.1.1.1.1.2.1.1.1.1.1" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.1.cmml">​</mo><msub id="A1.E15.m1.1.1.1.1.2.1.1.1.1.3" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.cmml"><mi id="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.2" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.2.cmml">θ</mi><mi id="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.3" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.3.cmml">t</mi></msub></mrow><mo stretchy="false" id="A1.E15.m1.1.1.1.1.2.1.1.1.3" xref="A1.E15.m1.1.1.1.1.2.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.E15.m1.1.1.1.1.2.1.3" xref="A1.E15.m1.1.1.1.1.2.1.3.cmml">2</mn></msup></mrow></mrow><mo lspace="0em" id="A1.E15.m1.1.1.1.2" xref="A1.E15.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E15.m1.1b"><apply id="A1.E15.m1.1.1.1.1.cmml" xref="A1.E15.m1.1.1.1"><and id="A1.E15.m1.1.1.1.1a.cmml" xref="A1.E15.m1.1.1.1"></and><apply id="A1.E15.m1.1.1.1.1b.cmml" xref="A1.E15.m1.1.1.1"><eq id="A1.E15.m1.1.1.1.1.4.cmml" xref="A1.E15.m1.1.1.1.1.4"></eq><apply id="A1.E15.m1.1.1.1.1.1.cmml" xref="A1.E15.m1.1.1.1.1.1"><times id="A1.E15.m1.1.1.1.1.1.2.cmml" xref="A1.E15.m1.1.1.1.1.1.2"></times><ci id="A1.E15.m1.1.1.1.1.1.3.cmml" xref="A1.E15.m1.1.1.1.1.1.3">𝜆</ci><apply id="A1.E15.m1.1.1.1.1.1.1.cmml" xref="A1.E15.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.1.1.2.cmml" xref="A1.E15.m1.1.1.1.1.1.1">superscript</csymbol><apply id="A1.E15.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E15.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E15.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.E15.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.2">𝜃</ci><ci id="A1.E15.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E15.m1.1.1.1.1.1.1.1.1.1.3">𝑡</ci></apply><cn type="integer" id="A1.E15.m1.1.1.1.1.1.1.3.cmml" xref="A1.E15.m1.1.1.1.1.1.1.3">2</cn></apply></apply><apply id="A1.E15.m1.1.1.1.1.5.cmml" xref="A1.E15.m1.1.1.1.1.5"><times id="A1.E15.m1.1.1.1.1.5.1.cmml" xref="A1.E15.m1.1.1.1.1.5.1"></times><ci id="A1.E15.m1.1.1.1.1.5.2.cmml" xref="A1.E15.m1.1.1.1.1.5.2">Δ</ci><apply id="A1.E15.m1.1.1.1.1.5.3.cmml" xref="A1.E15.m1.1.1.1.1.5.3"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.5.3.1.cmml" xref="A1.E15.m1.1.1.1.1.5.3">subscript</csymbol><ci id="A1.E15.m1.1.1.1.1.5.3.2.cmml" xref="A1.E15.m1.1.1.1.1.5.3.2">𝜃</ci><ci id="A1.E15.m1.1.1.1.1.5.3.3.cmml" xref="A1.E15.m1.1.1.1.1.5.3.3">𝑡</ci></apply><apply id="A1.E15.m1.1.1.1.1.5.4.cmml" xref="A1.E15.m1.1.1.1.1.5.4"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.5.4.1.cmml" xref="A1.E15.m1.1.1.1.1.5.4">subscript</csymbol><ci id="A1.E15.m1.1.1.1.1.5.4.2.cmml" xref="A1.E15.m1.1.1.1.1.5.4.2">𝐇</ci><ci id="A1.E15.m1.1.1.1.1.5.4.3.cmml" xref="A1.E15.m1.1.1.1.1.5.4.3">𝑡</ci></apply><ci id="A1.E15.m1.1.1.1.1.5.5.cmml" xref="A1.E15.m1.1.1.1.1.5.5">Δ</ci><apply id="A1.E15.m1.1.1.1.1.5.6.cmml" xref="A1.E15.m1.1.1.1.1.5.6"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.5.6.1.cmml" xref="A1.E15.m1.1.1.1.1.5.6">superscript</csymbol><apply id="A1.E15.m1.1.1.1.1.5.6.2.cmml" xref="A1.E15.m1.1.1.1.1.5.6"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.5.6.2.1.cmml" xref="A1.E15.m1.1.1.1.1.5.6">subscript</csymbol><ci id="A1.E15.m1.1.1.1.1.5.6.2.2.cmml" xref="A1.E15.m1.1.1.1.1.5.6.2.2">𝜃</ci><ci id="A1.E15.m1.1.1.1.1.5.6.2.3.cmml" xref="A1.E15.m1.1.1.1.1.5.6.2.3">𝑡</ci></apply><ci id="A1.E15.m1.1.1.1.1.5.6.3.cmml" xref="A1.E15.m1.1.1.1.1.5.6.3">𝑇</ci></apply></apply></apply><apply id="A1.E15.m1.1.1.1.1c.cmml" xref="A1.E15.m1.1.1.1"><geq id="A1.E15.m1.1.1.1.1.6.cmml" xref="A1.E15.m1.1.1.1.1.6"></geq><share href="#A1.E15.m1.1.1.1.1.5.cmml" id="A1.E15.m1.1.1.1.1d.cmml" xref="A1.E15.m1.1.1.1"></share><apply id="A1.E15.m1.1.1.1.1.2.cmml" xref="A1.E15.m1.1.1.1.1.2"><times id="A1.E15.m1.1.1.1.1.2.2.cmml" xref="A1.E15.m1.1.1.1.1.2.2"></times><ci id="A1.E15.m1.1.1.1.1.2.3.cmml" xref="A1.E15.m1.1.1.1.1.2.3">𝛼</ci><apply id="A1.E15.m1.1.1.1.1.2.1.cmml" xref="A1.E15.m1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.2.1.2.cmml" xref="A1.E15.m1.1.1.1.1.2.1">superscript</csymbol><apply id="A1.E15.m1.1.1.1.1.2.1.1.2.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1"><csymbol cd="latexml" id="A1.E15.m1.1.1.1.1.2.1.1.2.1.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.2">norm</csymbol><apply id="A1.E15.m1.1.1.1.1.2.1.1.1.1.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1"><times id="A1.E15.m1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.1"></times><ci id="A1.E15.m1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.2">Δ</ci><apply id="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.1.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.3">subscript</csymbol><ci id="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.2.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.2">𝜃</ci><ci id="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.3.cmml" xref="A1.E15.m1.1.1.1.1.2.1.1.1.1.3.3">𝑡</ci></apply></apply></apply><cn type="integer" id="A1.E15.m1.1.1.1.1.2.1.3.cmml" xref="A1.E15.m1.1.1.1.1.2.1.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E15.m1.1c">\displaystyle\lambda(\theta_{t})^{2}=\Delta\theta_{t}\mathbf{H}_{t}\Delta\theta_{t}^{T}\geq\alpha||\Delta\theta_{t}||^{2}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(15)</span></td>
</tr></tbody>
</table>
<p id="A1.SS3.1.p1.10" class="ltx_p">Therefore, using step size <math id="A1.SS3.1.p1.9.m1.1" class="ltx_Math" alttext="\hat{\mu}=\frac{\alpha}{\beta}" display="inline"><semantics id="A1.SS3.1.p1.9.m1.1a"><mrow id="A1.SS3.1.p1.9.m1.1.1" xref="A1.SS3.1.p1.9.m1.1.1.cmml"><mover accent="true" id="A1.SS3.1.p1.9.m1.1.1.2" xref="A1.SS3.1.p1.9.m1.1.1.2.cmml"><mi id="A1.SS3.1.p1.9.m1.1.1.2.2" xref="A1.SS3.1.p1.9.m1.1.1.2.2.cmml">μ</mi><mo id="A1.SS3.1.p1.9.m1.1.1.2.1" xref="A1.SS3.1.p1.9.m1.1.1.2.1.cmml">^</mo></mover><mo id="A1.SS3.1.p1.9.m1.1.1.1" xref="A1.SS3.1.p1.9.m1.1.1.1.cmml">=</mo><mfrac id="A1.SS3.1.p1.9.m1.1.1.3" xref="A1.SS3.1.p1.9.m1.1.1.3.cmml"><mi id="A1.SS3.1.p1.9.m1.1.1.3.2" xref="A1.SS3.1.p1.9.m1.1.1.3.2.cmml">α</mi><mi id="A1.SS3.1.p1.9.m1.1.1.3.3" xref="A1.SS3.1.p1.9.m1.1.1.3.3.cmml">β</mi></mfrac></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.9.m1.1b"><apply id="A1.SS3.1.p1.9.m1.1.1.cmml" xref="A1.SS3.1.p1.9.m1.1.1"><eq id="A1.SS3.1.p1.9.m1.1.1.1.cmml" xref="A1.SS3.1.p1.9.m1.1.1.1"></eq><apply id="A1.SS3.1.p1.9.m1.1.1.2.cmml" xref="A1.SS3.1.p1.9.m1.1.1.2"><ci id="A1.SS3.1.p1.9.m1.1.1.2.1.cmml" xref="A1.SS3.1.p1.9.m1.1.1.2.1">^</ci><ci id="A1.SS3.1.p1.9.m1.1.1.2.2.cmml" xref="A1.SS3.1.p1.9.m1.1.1.2.2">𝜇</ci></apply><apply id="A1.SS3.1.p1.9.m1.1.1.3.cmml" xref="A1.SS3.1.p1.9.m1.1.1.3"><divide id="A1.SS3.1.p1.9.m1.1.1.3.1.cmml" xref="A1.SS3.1.p1.9.m1.1.1.3"></divide><ci id="A1.SS3.1.p1.9.m1.1.1.3.2.cmml" xref="A1.SS3.1.p1.9.m1.1.1.3.2">𝛼</ci><ci id="A1.SS3.1.p1.9.m1.1.1.3.3.cmml" xref="A1.SS3.1.p1.9.m1.1.1.3.3">𝛽</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.9.m1.1c">\hat{\mu}=\frac{\alpha}{\beta}</annotation></semantics></math> we have <math id="A1.SS3.1.p1.10.m2.1" class="ltx_Math" alttext="\theta_{t+1}=\theta_{t}-\hat{\mu}\Delta\theta_{t}" display="inline"><semantics id="A1.SS3.1.p1.10.m2.1a"><mrow id="A1.SS3.1.p1.10.m2.1.1" xref="A1.SS3.1.p1.10.m2.1.1.cmml"><msub id="A1.SS3.1.p1.10.m2.1.1.2" xref="A1.SS3.1.p1.10.m2.1.1.2.cmml"><mi id="A1.SS3.1.p1.10.m2.1.1.2.2" xref="A1.SS3.1.p1.10.m2.1.1.2.2.cmml">θ</mi><mrow id="A1.SS3.1.p1.10.m2.1.1.2.3" xref="A1.SS3.1.p1.10.m2.1.1.2.3.cmml"><mi id="A1.SS3.1.p1.10.m2.1.1.2.3.2" xref="A1.SS3.1.p1.10.m2.1.1.2.3.2.cmml">t</mi><mo id="A1.SS3.1.p1.10.m2.1.1.2.3.1" xref="A1.SS3.1.p1.10.m2.1.1.2.3.1.cmml">+</mo><mn id="A1.SS3.1.p1.10.m2.1.1.2.3.3" xref="A1.SS3.1.p1.10.m2.1.1.2.3.3.cmml">1</mn></mrow></msub><mo id="A1.SS3.1.p1.10.m2.1.1.1" xref="A1.SS3.1.p1.10.m2.1.1.1.cmml">=</mo><mrow id="A1.SS3.1.p1.10.m2.1.1.3" xref="A1.SS3.1.p1.10.m2.1.1.3.cmml"><msub id="A1.SS3.1.p1.10.m2.1.1.3.2" xref="A1.SS3.1.p1.10.m2.1.1.3.2.cmml"><mi id="A1.SS3.1.p1.10.m2.1.1.3.2.2" xref="A1.SS3.1.p1.10.m2.1.1.3.2.2.cmml">θ</mi><mi id="A1.SS3.1.p1.10.m2.1.1.3.2.3" xref="A1.SS3.1.p1.10.m2.1.1.3.2.3.cmml">t</mi></msub><mo id="A1.SS3.1.p1.10.m2.1.1.3.1" xref="A1.SS3.1.p1.10.m2.1.1.3.1.cmml">−</mo><mrow id="A1.SS3.1.p1.10.m2.1.1.3.3" xref="A1.SS3.1.p1.10.m2.1.1.3.3.cmml"><mover accent="true" id="A1.SS3.1.p1.10.m2.1.1.3.3.2" xref="A1.SS3.1.p1.10.m2.1.1.3.3.2.cmml"><mi id="A1.SS3.1.p1.10.m2.1.1.3.3.2.2" xref="A1.SS3.1.p1.10.m2.1.1.3.3.2.2.cmml">μ</mi><mo id="A1.SS3.1.p1.10.m2.1.1.3.3.2.1" xref="A1.SS3.1.p1.10.m2.1.1.3.3.2.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.10.m2.1.1.3.3.1" xref="A1.SS3.1.p1.10.m2.1.1.3.3.1.cmml">​</mo><mi mathvariant="normal" id="A1.SS3.1.p1.10.m2.1.1.3.3.3" xref="A1.SS3.1.p1.10.m2.1.1.3.3.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.10.m2.1.1.3.3.1a" xref="A1.SS3.1.p1.10.m2.1.1.3.3.1.cmml">​</mo><msub id="A1.SS3.1.p1.10.m2.1.1.3.3.4" xref="A1.SS3.1.p1.10.m2.1.1.3.3.4.cmml"><mi id="A1.SS3.1.p1.10.m2.1.1.3.3.4.2" xref="A1.SS3.1.p1.10.m2.1.1.3.3.4.2.cmml">θ</mi><mi id="A1.SS3.1.p1.10.m2.1.1.3.3.4.3" xref="A1.SS3.1.p1.10.m2.1.1.3.3.4.3.cmml">t</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.10.m2.1b"><apply id="A1.SS3.1.p1.10.m2.1.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1"><eq id="A1.SS3.1.p1.10.m2.1.1.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.1"></eq><apply id="A1.SS3.1.p1.10.m2.1.1.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.2"><csymbol cd="ambiguous" id="A1.SS3.1.p1.10.m2.1.1.2.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.2">subscript</csymbol><ci id="A1.SS3.1.p1.10.m2.1.1.2.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.2.2">𝜃</ci><apply id="A1.SS3.1.p1.10.m2.1.1.2.3.cmml" xref="A1.SS3.1.p1.10.m2.1.1.2.3"><plus id="A1.SS3.1.p1.10.m2.1.1.2.3.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.2.3.1"></plus><ci id="A1.SS3.1.p1.10.m2.1.1.2.3.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.2.3.2">𝑡</ci><cn type="integer" id="A1.SS3.1.p1.10.m2.1.1.2.3.3.cmml" xref="A1.SS3.1.p1.10.m2.1.1.2.3.3">1</cn></apply></apply><apply id="A1.SS3.1.p1.10.m2.1.1.3.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3"><minus id="A1.SS3.1.p1.10.m2.1.1.3.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.1"></minus><apply id="A1.SS3.1.p1.10.m2.1.1.3.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.2"><csymbol cd="ambiguous" id="A1.SS3.1.p1.10.m2.1.1.3.2.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.2">subscript</csymbol><ci id="A1.SS3.1.p1.10.m2.1.1.3.2.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.2.2">𝜃</ci><ci id="A1.SS3.1.p1.10.m2.1.1.3.2.3.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.2.3">𝑡</ci></apply><apply id="A1.SS3.1.p1.10.m2.1.1.3.3.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3"><times id="A1.SS3.1.p1.10.m2.1.1.3.3.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.1"></times><apply id="A1.SS3.1.p1.10.m2.1.1.3.3.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.2"><ci id="A1.SS3.1.p1.10.m2.1.1.3.3.2.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.2.1">^</ci><ci id="A1.SS3.1.p1.10.m2.1.1.3.3.2.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.2.2">𝜇</ci></apply><ci id="A1.SS3.1.p1.10.m2.1.1.3.3.3.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.3">Δ</ci><apply id="A1.SS3.1.p1.10.m2.1.1.3.3.4.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.4"><csymbol cd="ambiguous" id="A1.SS3.1.p1.10.m2.1.1.3.3.4.1.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.4">subscript</csymbol><ci id="A1.SS3.1.p1.10.m2.1.1.3.3.4.2.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.4.2">𝜃</ci><ci id="A1.SS3.1.p1.10.m2.1.1.3.3.4.3.cmml" xref="A1.SS3.1.p1.10.m2.1.1.3.3.4.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.10.m2.1c">\theta_{t+1}=\theta_{t}-\hat{\mu}\Delta\theta_{t}</annotation></semantics></math></p>
<table id="A12.EGx24" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E16"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E16.m1.3" class="ltx_Math" alttext="\displaystyle{\cal{L}}(\theta_{t+1})\leq{\cal{L}}(\theta_{t})-\frac{1}{2}\hat{\mu}\lambda(\theta_{t})^{2}" display="inline"><semantics id="A1.E16.m1.3a"><mrow id="A1.E16.m1.3.3" xref="A1.E16.m1.3.3.cmml"><mrow id="A1.E16.m1.1.1.1" xref="A1.E16.m1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.E16.m1.1.1.1.3" xref="A1.E16.m1.1.1.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.E16.m1.1.1.1.2" xref="A1.E16.m1.1.1.1.2.cmml">​</mo><mrow id="A1.E16.m1.1.1.1.1.1" xref="A1.E16.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E16.m1.1.1.1.1.1.2" xref="A1.E16.m1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E16.m1.1.1.1.1.1.1" xref="A1.E16.m1.1.1.1.1.1.1.cmml"><mi id="A1.E16.m1.1.1.1.1.1.1.2" xref="A1.E16.m1.1.1.1.1.1.1.2.cmml">θ</mi><mrow id="A1.E16.m1.1.1.1.1.1.1.3" xref="A1.E16.m1.1.1.1.1.1.1.3.cmml"><mi id="A1.E16.m1.1.1.1.1.1.1.3.2" xref="A1.E16.m1.1.1.1.1.1.1.3.2.cmml">t</mi><mo id="A1.E16.m1.1.1.1.1.1.1.3.1" xref="A1.E16.m1.1.1.1.1.1.1.3.1.cmml">+</mo><mn id="A1.E16.m1.1.1.1.1.1.1.3.3" xref="A1.E16.m1.1.1.1.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="A1.E16.m1.1.1.1.1.1.3" xref="A1.E16.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E16.m1.3.3.4" xref="A1.E16.m1.3.3.4.cmml">≤</mo><mrow id="A1.E16.m1.3.3.3" xref="A1.E16.m1.3.3.3.cmml"><mrow id="A1.E16.m1.2.2.2.1" xref="A1.E16.m1.2.2.2.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.E16.m1.2.2.2.1.3" xref="A1.E16.m1.2.2.2.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.E16.m1.2.2.2.1.2" xref="A1.E16.m1.2.2.2.1.2.cmml">​</mo><mrow id="A1.E16.m1.2.2.2.1.1.1" xref="A1.E16.m1.2.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A1.E16.m1.2.2.2.1.1.1.2" xref="A1.E16.m1.2.2.2.1.1.1.1.cmml">(</mo><msub id="A1.E16.m1.2.2.2.1.1.1.1" xref="A1.E16.m1.2.2.2.1.1.1.1.cmml"><mi id="A1.E16.m1.2.2.2.1.1.1.1.2" xref="A1.E16.m1.2.2.2.1.1.1.1.2.cmml">θ</mi><mi id="A1.E16.m1.2.2.2.1.1.1.1.3" xref="A1.E16.m1.2.2.2.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E16.m1.2.2.2.1.1.1.3" xref="A1.E16.m1.2.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E16.m1.3.3.3.3" xref="A1.E16.m1.3.3.3.3.cmml">−</mo><mrow id="A1.E16.m1.3.3.3.2" xref="A1.E16.m1.3.3.3.2.cmml"><mstyle displaystyle="true" id="A1.E16.m1.3.3.3.2.3" xref="A1.E16.m1.3.3.3.2.3.cmml"><mfrac id="A1.E16.m1.3.3.3.2.3a" xref="A1.E16.m1.3.3.3.2.3.cmml"><mn id="A1.E16.m1.3.3.3.2.3.2" xref="A1.E16.m1.3.3.3.2.3.2.cmml">1</mn><mn id="A1.E16.m1.3.3.3.2.3.3" xref="A1.E16.m1.3.3.3.2.3.3.cmml">2</mn></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.E16.m1.3.3.3.2.2" xref="A1.E16.m1.3.3.3.2.2.cmml">​</mo><mover accent="true" id="A1.E16.m1.3.3.3.2.4" xref="A1.E16.m1.3.3.3.2.4.cmml"><mi id="A1.E16.m1.3.3.3.2.4.2" xref="A1.E16.m1.3.3.3.2.4.2.cmml">μ</mi><mo id="A1.E16.m1.3.3.3.2.4.1" xref="A1.E16.m1.3.3.3.2.4.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="A1.E16.m1.3.3.3.2.2a" xref="A1.E16.m1.3.3.3.2.2.cmml">​</mo><mi id="A1.E16.m1.3.3.3.2.5" xref="A1.E16.m1.3.3.3.2.5.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.E16.m1.3.3.3.2.2b" xref="A1.E16.m1.3.3.3.2.2.cmml">​</mo><msup id="A1.E16.m1.3.3.3.2.1" xref="A1.E16.m1.3.3.3.2.1.cmml"><mrow id="A1.E16.m1.3.3.3.2.1.1.1" xref="A1.E16.m1.3.3.3.2.1.1.1.1.cmml"><mo stretchy="false" id="A1.E16.m1.3.3.3.2.1.1.1.2" xref="A1.E16.m1.3.3.3.2.1.1.1.1.cmml">(</mo><msub id="A1.E16.m1.3.3.3.2.1.1.1.1" xref="A1.E16.m1.3.3.3.2.1.1.1.1.cmml"><mi id="A1.E16.m1.3.3.3.2.1.1.1.1.2" xref="A1.E16.m1.3.3.3.2.1.1.1.1.2.cmml">θ</mi><mi id="A1.E16.m1.3.3.3.2.1.1.1.1.3" xref="A1.E16.m1.3.3.3.2.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E16.m1.3.3.3.2.1.1.1.3" xref="A1.E16.m1.3.3.3.2.1.1.1.1.cmml">)</mo></mrow><mn id="A1.E16.m1.3.3.3.2.1.3" xref="A1.E16.m1.3.3.3.2.1.3.cmml">2</mn></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.E16.m1.3b"><apply id="A1.E16.m1.3.3.cmml" xref="A1.E16.m1.3.3"><leq id="A1.E16.m1.3.3.4.cmml" xref="A1.E16.m1.3.3.4"></leq><apply id="A1.E16.m1.1.1.1.cmml" xref="A1.E16.m1.1.1.1"><times id="A1.E16.m1.1.1.1.2.cmml" xref="A1.E16.m1.1.1.1.2"></times><ci id="A1.E16.m1.1.1.1.3.cmml" xref="A1.E16.m1.1.1.1.3">ℒ</ci><apply id="A1.E16.m1.1.1.1.1.1.1.cmml" xref="A1.E16.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E16.m1.1.1.1.1.1.1.1.cmml" xref="A1.E16.m1.1.1.1.1.1">subscript</csymbol><ci id="A1.E16.m1.1.1.1.1.1.1.2.cmml" xref="A1.E16.m1.1.1.1.1.1.1.2">𝜃</ci><apply id="A1.E16.m1.1.1.1.1.1.1.3.cmml" xref="A1.E16.m1.1.1.1.1.1.1.3"><plus id="A1.E16.m1.1.1.1.1.1.1.3.1.cmml" xref="A1.E16.m1.1.1.1.1.1.1.3.1"></plus><ci id="A1.E16.m1.1.1.1.1.1.1.3.2.cmml" xref="A1.E16.m1.1.1.1.1.1.1.3.2">𝑡</ci><cn type="integer" id="A1.E16.m1.1.1.1.1.1.1.3.3.cmml" xref="A1.E16.m1.1.1.1.1.1.1.3.3">1</cn></apply></apply></apply><apply id="A1.E16.m1.3.3.3.cmml" xref="A1.E16.m1.3.3.3"><minus id="A1.E16.m1.3.3.3.3.cmml" xref="A1.E16.m1.3.3.3.3"></minus><apply id="A1.E16.m1.2.2.2.1.cmml" xref="A1.E16.m1.2.2.2.1"><times id="A1.E16.m1.2.2.2.1.2.cmml" xref="A1.E16.m1.2.2.2.1.2"></times><ci id="A1.E16.m1.2.2.2.1.3.cmml" xref="A1.E16.m1.2.2.2.1.3">ℒ</ci><apply id="A1.E16.m1.2.2.2.1.1.1.1.cmml" xref="A1.E16.m1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="A1.E16.m1.2.2.2.1.1.1.1.1.cmml" xref="A1.E16.m1.2.2.2.1.1.1">subscript</csymbol><ci id="A1.E16.m1.2.2.2.1.1.1.1.2.cmml" xref="A1.E16.m1.2.2.2.1.1.1.1.2">𝜃</ci><ci id="A1.E16.m1.2.2.2.1.1.1.1.3.cmml" xref="A1.E16.m1.2.2.2.1.1.1.1.3">𝑡</ci></apply></apply><apply id="A1.E16.m1.3.3.3.2.cmml" xref="A1.E16.m1.3.3.3.2"><times id="A1.E16.m1.3.3.3.2.2.cmml" xref="A1.E16.m1.3.3.3.2.2"></times><apply id="A1.E16.m1.3.3.3.2.3.cmml" xref="A1.E16.m1.3.3.3.2.3"><divide id="A1.E16.m1.3.3.3.2.3.1.cmml" xref="A1.E16.m1.3.3.3.2.3"></divide><cn type="integer" id="A1.E16.m1.3.3.3.2.3.2.cmml" xref="A1.E16.m1.3.3.3.2.3.2">1</cn><cn type="integer" id="A1.E16.m1.3.3.3.2.3.3.cmml" xref="A1.E16.m1.3.3.3.2.3.3">2</cn></apply><apply id="A1.E16.m1.3.3.3.2.4.cmml" xref="A1.E16.m1.3.3.3.2.4"><ci id="A1.E16.m1.3.3.3.2.4.1.cmml" xref="A1.E16.m1.3.3.3.2.4.1">^</ci><ci id="A1.E16.m1.3.3.3.2.4.2.cmml" xref="A1.E16.m1.3.3.3.2.4.2">𝜇</ci></apply><ci id="A1.E16.m1.3.3.3.2.5.cmml" xref="A1.E16.m1.3.3.3.2.5">𝜆</ci><apply id="A1.E16.m1.3.3.3.2.1.cmml" xref="A1.E16.m1.3.3.3.2.1"><csymbol cd="ambiguous" id="A1.E16.m1.3.3.3.2.1.2.cmml" xref="A1.E16.m1.3.3.3.2.1">superscript</csymbol><apply id="A1.E16.m1.3.3.3.2.1.1.1.1.cmml" xref="A1.E16.m1.3.3.3.2.1.1.1"><csymbol cd="ambiguous" id="A1.E16.m1.3.3.3.2.1.1.1.1.1.cmml" xref="A1.E16.m1.3.3.3.2.1.1.1">subscript</csymbol><ci id="A1.E16.m1.3.3.3.2.1.1.1.1.2.cmml" xref="A1.E16.m1.3.3.3.2.1.1.1.1.2">𝜃</ci><ci id="A1.E16.m1.3.3.3.2.1.1.1.1.3.cmml" xref="A1.E16.m1.3.3.3.2.1.1.1.1.3">𝑡</ci></apply><cn type="integer" id="A1.E16.m1.3.3.3.2.1.3.cmml" xref="A1.E16.m1.3.3.3.2.1.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E16.m1.3c">\displaystyle{\cal{L}}(\theta_{t+1})\leq{\cal{L}}(\theta_{t})-\frac{1}{2}\hat{\mu}\lambda(\theta_{t})^{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(16)</span></td>
</tr></tbody>
</table>
<p id="A1.SS3.1.p1.11" class="ltx_p">Since <math id="A1.SS3.1.p1.11.m1.1" class="ltx_Math" alttext="\alpha I\preceq\mathbf{H}_{t}\preceq\beta\emph{I}" display="inline"><semantics id="A1.SS3.1.p1.11.m1.1a"><mrow id="A1.SS3.1.p1.11.m1.1.1" xref="A1.SS3.1.p1.11.m1.1.1.cmml"><mrow id="A1.SS3.1.p1.11.m1.1.1.2" xref="A1.SS3.1.p1.11.m1.1.1.2.cmml"><mi id="A1.SS3.1.p1.11.m1.1.1.2.2" xref="A1.SS3.1.p1.11.m1.1.1.2.2.cmml">α</mi><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.11.m1.1.1.2.1" xref="A1.SS3.1.p1.11.m1.1.1.2.1.cmml">​</mo><mi id="A1.SS3.1.p1.11.m1.1.1.2.3" xref="A1.SS3.1.p1.11.m1.1.1.2.3.cmml">I</mi></mrow><mo id="A1.SS3.1.p1.11.m1.1.1.3" xref="A1.SS3.1.p1.11.m1.1.1.3.cmml">⪯</mo><msub id="A1.SS3.1.p1.11.m1.1.1.4" xref="A1.SS3.1.p1.11.m1.1.1.4.cmml"><mi id="A1.SS3.1.p1.11.m1.1.1.4.2" xref="A1.SS3.1.p1.11.m1.1.1.4.2.cmml">𝐇</mi><mi id="A1.SS3.1.p1.11.m1.1.1.4.3" xref="A1.SS3.1.p1.11.m1.1.1.4.3.cmml">t</mi></msub><mo id="A1.SS3.1.p1.11.m1.1.1.5" xref="A1.SS3.1.p1.11.m1.1.1.5.cmml">⪯</mo><mrow id="A1.SS3.1.p1.11.m1.1.1.6" xref="A1.SS3.1.p1.11.m1.1.1.6.cmml"><mi id="A1.SS3.1.p1.11.m1.1.1.6.2" xref="A1.SS3.1.p1.11.m1.1.1.6.2.cmml">β</mi><mo lspace="0em" rspace="0em" id="A1.SS3.1.p1.11.m1.1.1.6.1" xref="A1.SS3.1.p1.11.m1.1.1.6.1.cmml">​</mo><mtext class="ltx_mathvariant_italic" id="A1.SS3.1.p1.11.m1.1.1.6.3" xref="A1.SS3.1.p1.11.m1.1.1.6.3b.cmml"><em id="A1.SS3.1.p1.11.m1.1.1.6.3.1nest" class="ltx_emph ltx_font_italic">I</em></mtext></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.11.m1.1b"><apply id="A1.SS3.1.p1.11.m1.1.1.cmml" xref="A1.SS3.1.p1.11.m1.1.1"><and id="A1.SS3.1.p1.11.m1.1.1a.cmml" xref="A1.SS3.1.p1.11.m1.1.1"></and><apply id="A1.SS3.1.p1.11.m1.1.1b.cmml" xref="A1.SS3.1.p1.11.m1.1.1"><csymbol cd="latexml" id="A1.SS3.1.p1.11.m1.1.1.3.cmml" xref="A1.SS3.1.p1.11.m1.1.1.3">precedes-or-equals</csymbol><apply id="A1.SS3.1.p1.11.m1.1.1.2.cmml" xref="A1.SS3.1.p1.11.m1.1.1.2"><times id="A1.SS3.1.p1.11.m1.1.1.2.1.cmml" xref="A1.SS3.1.p1.11.m1.1.1.2.1"></times><ci id="A1.SS3.1.p1.11.m1.1.1.2.2.cmml" xref="A1.SS3.1.p1.11.m1.1.1.2.2">𝛼</ci><ci id="A1.SS3.1.p1.11.m1.1.1.2.3.cmml" xref="A1.SS3.1.p1.11.m1.1.1.2.3">𝐼</ci></apply><apply id="A1.SS3.1.p1.11.m1.1.1.4.cmml" xref="A1.SS3.1.p1.11.m1.1.1.4"><csymbol cd="ambiguous" id="A1.SS3.1.p1.11.m1.1.1.4.1.cmml" xref="A1.SS3.1.p1.11.m1.1.1.4">subscript</csymbol><ci id="A1.SS3.1.p1.11.m1.1.1.4.2.cmml" xref="A1.SS3.1.p1.11.m1.1.1.4.2">𝐇</ci><ci id="A1.SS3.1.p1.11.m1.1.1.4.3.cmml" xref="A1.SS3.1.p1.11.m1.1.1.4.3">𝑡</ci></apply></apply><apply id="A1.SS3.1.p1.11.m1.1.1c.cmml" xref="A1.SS3.1.p1.11.m1.1.1"><csymbol cd="latexml" id="A1.SS3.1.p1.11.m1.1.1.5.cmml" xref="A1.SS3.1.p1.11.m1.1.1.5">precedes-or-equals</csymbol><share href="#A1.SS3.1.p1.11.m1.1.1.4.cmml" id="A1.SS3.1.p1.11.m1.1.1d.cmml" xref="A1.SS3.1.p1.11.m1.1.1"></share><apply id="A1.SS3.1.p1.11.m1.1.1.6.cmml" xref="A1.SS3.1.p1.11.m1.1.1.6"><times id="A1.SS3.1.p1.11.m1.1.1.6.1.cmml" xref="A1.SS3.1.p1.11.m1.1.1.6.1"></times><ci id="A1.SS3.1.p1.11.m1.1.1.6.2.cmml" xref="A1.SS3.1.p1.11.m1.1.1.6.2">𝛽</ci><ci id="A1.SS3.1.p1.11.m1.1.1.6.3b.cmml" xref="A1.SS3.1.p1.11.m1.1.1.6.3"><mtext class="ltx_mathvariant_italic" id="A1.SS3.1.p1.11.m1.1.1.6.3.cmml" xref="A1.SS3.1.p1.11.m1.1.1.6.3"><em id="A1.SS3.1.p1.11.m1.1.1.6.3.1anest" class="ltx_emph ltx_font_italic">I</em></mtext></ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.11.m1.1c">\alpha I\preceq\mathbf{H}_{t}\preceq\beta\emph{I}</annotation></semantics></math>, we have</p>
<table id="A12.EGx25" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E17"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E17.m1.1" class="ltx_Math" alttext="\displaystyle\lambda(\theta_{t})^{2}=\mathbf{g}_{t}^{T}\mathbf{H}_{t}^{-1}\mathbf{g}_{t}\geq\frac{1}{\beta}\|\mathbf{g}_{t}\|^{2}," display="inline"><semantics id="A1.E17.m1.1a"><mrow id="A1.E17.m1.1.1.1" xref="A1.E17.m1.1.1.1.1.cmml"><mrow id="A1.E17.m1.1.1.1.1" xref="A1.E17.m1.1.1.1.1.cmml"><mrow id="A1.E17.m1.1.1.1.1.1" xref="A1.E17.m1.1.1.1.1.1.cmml"><mi id="A1.E17.m1.1.1.1.1.1.3" xref="A1.E17.m1.1.1.1.1.1.3.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A1.E17.m1.1.1.1.1.1.2" xref="A1.E17.m1.1.1.1.1.1.2.cmml">​</mo><msup id="A1.E17.m1.1.1.1.1.1.1" xref="A1.E17.m1.1.1.1.1.1.1.cmml"><mrow id="A1.E17.m1.1.1.1.1.1.1.1.1" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E17.m1.1.1.1.1.1.1.1.1.2" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E17.m1.1.1.1.1.1.1.1.1.1" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.E17.m1.1.1.1.1.1.1.1.1.1.2" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.2.cmml">θ</mi><mi id="A1.E17.m1.1.1.1.1.1.1.1.1.1.3" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E17.m1.1.1.1.1.1.1.1.1.3" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A1.E17.m1.1.1.1.1.1.1.3" xref="A1.E17.m1.1.1.1.1.1.1.3.cmml">2</mn></msup></mrow><mo id="A1.E17.m1.1.1.1.1.4" xref="A1.E17.m1.1.1.1.1.4.cmml">=</mo><mrow id="A1.E17.m1.1.1.1.1.5" xref="A1.E17.m1.1.1.1.1.5.cmml"><msubsup id="A1.E17.m1.1.1.1.1.5.2" xref="A1.E17.m1.1.1.1.1.5.2.cmml"><mi id="A1.E17.m1.1.1.1.1.5.2.2.2" xref="A1.E17.m1.1.1.1.1.5.2.2.2.cmml">𝐠</mi><mi id="A1.E17.m1.1.1.1.1.5.2.2.3" xref="A1.E17.m1.1.1.1.1.5.2.2.3.cmml">t</mi><mi id="A1.E17.m1.1.1.1.1.5.2.3" xref="A1.E17.m1.1.1.1.1.5.2.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A1.E17.m1.1.1.1.1.5.1" xref="A1.E17.m1.1.1.1.1.5.1.cmml">​</mo><msubsup id="A1.E17.m1.1.1.1.1.5.3" xref="A1.E17.m1.1.1.1.1.5.3.cmml"><mi id="A1.E17.m1.1.1.1.1.5.3.2.2" xref="A1.E17.m1.1.1.1.1.5.3.2.2.cmml">𝐇</mi><mi id="A1.E17.m1.1.1.1.1.5.3.2.3" xref="A1.E17.m1.1.1.1.1.5.3.2.3.cmml">t</mi><mrow id="A1.E17.m1.1.1.1.1.5.3.3" xref="A1.E17.m1.1.1.1.1.5.3.3.cmml"><mo id="A1.E17.m1.1.1.1.1.5.3.3a" xref="A1.E17.m1.1.1.1.1.5.3.3.cmml">−</mo><mn id="A1.E17.m1.1.1.1.1.5.3.3.2" xref="A1.E17.m1.1.1.1.1.5.3.3.2.cmml">1</mn></mrow></msubsup><mo lspace="0em" rspace="0em" id="A1.E17.m1.1.1.1.1.5.1a" xref="A1.E17.m1.1.1.1.1.5.1.cmml">​</mo><msub id="A1.E17.m1.1.1.1.1.5.4" xref="A1.E17.m1.1.1.1.1.5.4.cmml"><mi id="A1.E17.m1.1.1.1.1.5.4.2" xref="A1.E17.m1.1.1.1.1.5.4.2.cmml">𝐠</mi><mi id="A1.E17.m1.1.1.1.1.5.4.3" xref="A1.E17.m1.1.1.1.1.5.4.3.cmml">t</mi></msub></mrow><mo id="A1.E17.m1.1.1.1.1.6" xref="A1.E17.m1.1.1.1.1.6.cmml">≥</mo><mrow id="A1.E17.m1.1.1.1.1.2" xref="A1.E17.m1.1.1.1.1.2.cmml"><mstyle displaystyle="true" id="A1.E17.m1.1.1.1.1.2.3" xref="A1.E17.m1.1.1.1.1.2.3.cmml"><mfrac id="A1.E17.m1.1.1.1.1.2.3a" xref="A1.E17.m1.1.1.1.1.2.3.cmml"><mn id="A1.E17.m1.1.1.1.1.2.3.2" xref="A1.E17.m1.1.1.1.1.2.3.2.cmml">1</mn><mi id="A1.E17.m1.1.1.1.1.2.3.3" xref="A1.E17.m1.1.1.1.1.2.3.3.cmml">β</mi></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.E17.m1.1.1.1.1.2.2" xref="A1.E17.m1.1.1.1.1.2.2.cmml">​</mo><msup id="A1.E17.m1.1.1.1.1.2.1" xref="A1.E17.m1.1.1.1.1.2.1.cmml"><mrow id="A1.E17.m1.1.1.1.1.2.1.1.1" xref="A1.E17.m1.1.1.1.1.2.1.1.2.cmml"><mo stretchy="false" id="A1.E17.m1.1.1.1.1.2.1.1.1.2" xref="A1.E17.m1.1.1.1.1.2.1.1.2.1.cmml">‖</mo><msub id="A1.E17.m1.1.1.1.1.2.1.1.1.1" xref="A1.E17.m1.1.1.1.1.2.1.1.1.1.cmml"><mi id="A1.E17.m1.1.1.1.1.2.1.1.1.1.2" xref="A1.E17.m1.1.1.1.1.2.1.1.1.1.2.cmml">𝐠</mi><mi id="A1.E17.m1.1.1.1.1.2.1.1.1.1.3" xref="A1.E17.m1.1.1.1.1.2.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E17.m1.1.1.1.1.2.1.1.1.3" xref="A1.E17.m1.1.1.1.1.2.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.E17.m1.1.1.1.1.2.1.3" xref="A1.E17.m1.1.1.1.1.2.1.3.cmml">2</mn></msup></mrow></mrow><mo id="A1.E17.m1.1.1.1.2" xref="A1.E17.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E17.m1.1b"><apply id="A1.E17.m1.1.1.1.1.cmml" xref="A1.E17.m1.1.1.1"><and id="A1.E17.m1.1.1.1.1a.cmml" xref="A1.E17.m1.1.1.1"></and><apply id="A1.E17.m1.1.1.1.1b.cmml" xref="A1.E17.m1.1.1.1"><eq id="A1.E17.m1.1.1.1.1.4.cmml" xref="A1.E17.m1.1.1.1.1.4"></eq><apply id="A1.E17.m1.1.1.1.1.1.cmml" xref="A1.E17.m1.1.1.1.1.1"><times id="A1.E17.m1.1.1.1.1.1.2.cmml" xref="A1.E17.m1.1.1.1.1.1.2"></times><ci id="A1.E17.m1.1.1.1.1.1.3.cmml" xref="A1.E17.m1.1.1.1.1.1.3">𝜆</ci><apply id="A1.E17.m1.1.1.1.1.1.1.cmml" xref="A1.E17.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.1.1.2.cmml" xref="A1.E17.m1.1.1.1.1.1.1">superscript</csymbol><apply id="A1.E17.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E17.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E17.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.E17.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.2">𝜃</ci><ci id="A1.E17.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E17.m1.1.1.1.1.1.1.1.1.1.3">𝑡</ci></apply><cn type="integer" id="A1.E17.m1.1.1.1.1.1.1.3.cmml" xref="A1.E17.m1.1.1.1.1.1.1.3">2</cn></apply></apply><apply id="A1.E17.m1.1.1.1.1.5.cmml" xref="A1.E17.m1.1.1.1.1.5"><times id="A1.E17.m1.1.1.1.1.5.1.cmml" xref="A1.E17.m1.1.1.1.1.5.1"></times><apply id="A1.E17.m1.1.1.1.1.5.2.cmml" xref="A1.E17.m1.1.1.1.1.5.2"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.5.2.1.cmml" xref="A1.E17.m1.1.1.1.1.5.2">superscript</csymbol><apply id="A1.E17.m1.1.1.1.1.5.2.2.cmml" xref="A1.E17.m1.1.1.1.1.5.2"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.5.2.2.1.cmml" xref="A1.E17.m1.1.1.1.1.5.2">subscript</csymbol><ci id="A1.E17.m1.1.1.1.1.5.2.2.2.cmml" xref="A1.E17.m1.1.1.1.1.5.2.2.2">𝐠</ci><ci id="A1.E17.m1.1.1.1.1.5.2.2.3.cmml" xref="A1.E17.m1.1.1.1.1.5.2.2.3">𝑡</ci></apply><ci id="A1.E17.m1.1.1.1.1.5.2.3.cmml" xref="A1.E17.m1.1.1.1.1.5.2.3">𝑇</ci></apply><apply id="A1.E17.m1.1.1.1.1.5.3.cmml" xref="A1.E17.m1.1.1.1.1.5.3"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.5.3.1.cmml" xref="A1.E17.m1.1.1.1.1.5.3">superscript</csymbol><apply id="A1.E17.m1.1.1.1.1.5.3.2.cmml" xref="A1.E17.m1.1.1.1.1.5.3"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.5.3.2.1.cmml" xref="A1.E17.m1.1.1.1.1.5.3">subscript</csymbol><ci id="A1.E17.m1.1.1.1.1.5.3.2.2.cmml" xref="A1.E17.m1.1.1.1.1.5.3.2.2">𝐇</ci><ci id="A1.E17.m1.1.1.1.1.5.3.2.3.cmml" xref="A1.E17.m1.1.1.1.1.5.3.2.3">𝑡</ci></apply><apply id="A1.E17.m1.1.1.1.1.5.3.3.cmml" xref="A1.E17.m1.1.1.1.1.5.3.3"><minus id="A1.E17.m1.1.1.1.1.5.3.3.1.cmml" xref="A1.E17.m1.1.1.1.1.5.3.3"></minus><cn type="integer" id="A1.E17.m1.1.1.1.1.5.3.3.2.cmml" xref="A1.E17.m1.1.1.1.1.5.3.3.2">1</cn></apply></apply><apply id="A1.E17.m1.1.1.1.1.5.4.cmml" xref="A1.E17.m1.1.1.1.1.5.4"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.5.4.1.cmml" xref="A1.E17.m1.1.1.1.1.5.4">subscript</csymbol><ci id="A1.E17.m1.1.1.1.1.5.4.2.cmml" xref="A1.E17.m1.1.1.1.1.5.4.2">𝐠</ci><ci id="A1.E17.m1.1.1.1.1.5.4.3.cmml" xref="A1.E17.m1.1.1.1.1.5.4.3">𝑡</ci></apply></apply></apply><apply id="A1.E17.m1.1.1.1.1c.cmml" xref="A1.E17.m1.1.1.1"><geq id="A1.E17.m1.1.1.1.1.6.cmml" xref="A1.E17.m1.1.1.1.1.6"></geq><share href="#A1.E17.m1.1.1.1.1.5.cmml" id="A1.E17.m1.1.1.1.1d.cmml" xref="A1.E17.m1.1.1.1"></share><apply id="A1.E17.m1.1.1.1.1.2.cmml" xref="A1.E17.m1.1.1.1.1.2"><times id="A1.E17.m1.1.1.1.1.2.2.cmml" xref="A1.E17.m1.1.1.1.1.2.2"></times><apply id="A1.E17.m1.1.1.1.1.2.3.cmml" xref="A1.E17.m1.1.1.1.1.2.3"><divide id="A1.E17.m1.1.1.1.1.2.3.1.cmml" xref="A1.E17.m1.1.1.1.1.2.3"></divide><cn type="integer" id="A1.E17.m1.1.1.1.1.2.3.2.cmml" xref="A1.E17.m1.1.1.1.1.2.3.2">1</cn><ci id="A1.E17.m1.1.1.1.1.2.3.3.cmml" xref="A1.E17.m1.1.1.1.1.2.3.3">𝛽</ci></apply><apply id="A1.E17.m1.1.1.1.1.2.1.cmml" xref="A1.E17.m1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.2.1.2.cmml" xref="A1.E17.m1.1.1.1.1.2.1">superscript</csymbol><apply id="A1.E17.m1.1.1.1.1.2.1.1.2.cmml" xref="A1.E17.m1.1.1.1.1.2.1.1.1"><csymbol cd="latexml" id="A1.E17.m1.1.1.1.1.2.1.1.2.1.cmml" xref="A1.E17.m1.1.1.1.1.2.1.1.1.2">norm</csymbol><apply id="A1.E17.m1.1.1.1.1.2.1.1.1.1.cmml" xref="A1.E17.m1.1.1.1.1.2.1.1.1.1"><csymbol cd="ambiguous" id="A1.E17.m1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A1.E17.m1.1.1.1.1.2.1.1.1.1">subscript</csymbol><ci id="A1.E17.m1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A1.E17.m1.1.1.1.1.2.1.1.1.1.2">𝐠</ci><ci id="A1.E17.m1.1.1.1.1.2.1.1.1.1.3.cmml" xref="A1.E17.m1.1.1.1.1.2.1.1.1.1.3">𝑡</ci></apply></apply><cn type="integer" id="A1.E17.m1.1.1.1.1.2.1.3.cmml" xref="A1.E17.m1.1.1.1.1.2.1.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E17.m1.1c">\displaystyle\lambda(\theta_{t})^{2}=\mathbf{g}_{t}^{T}\mathbf{H}_{t}^{-1}\mathbf{g}_{t}\geq\frac{1}{\beta}\|\mathbf{g}_{t}\|^{2},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(17)</span></td>
</tr></tbody>
</table>
<p id="A1.SS3.1.p1.12" class="ltx_p">and therefore <math id="A1.SS3.1.p1.12.m1.1" class="ltx_Math" alttext="{\cal{L}}" display="inline"><semantics id="A1.SS3.1.p1.12.m1.1a"><mi class="ltx_font_mathcaligraphic" id="A1.SS3.1.p1.12.m1.1.1" xref="A1.SS3.1.p1.12.m1.1.1.cmml">ℒ</mi><annotation-xml encoding="MathML-Content" id="A1.SS3.1.p1.12.m1.1b"><ci id="A1.SS3.1.p1.12.m1.1.1.cmml" xref="A1.SS3.1.p1.12.m1.1.1">ℒ</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.SS3.1.p1.12.m1.1c">{\cal{L}}</annotation></semantics></math> decreases as follows,</p>
<table id="A12.EGx26" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A1.E18"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A1.E18.m1.1" class="ltx_Math" alttext="\displaystyle{\cal{L}}(\theta_{t+1})-{\cal{L}}(\theta_{t})\leq-\frac{1}{2\beta}\hat{\mu}\|\mathbf{g}_{t}\|^{2}=-\frac{\alpha}{2\beta^{2}}\|\mathbf{g}_{t}\|^{2}." display="inline"><semantics id="A1.E18.m1.1a"><mrow id="A1.E18.m1.1.1.1" xref="A1.E18.m1.1.1.1.1.cmml"><mrow id="A1.E18.m1.1.1.1.1" xref="A1.E18.m1.1.1.1.1.cmml"><mrow id="A1.E18.m1.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.2.cmml"><mrow id="A1.E18.m1.1.1.1.1.1.1" xref="A1.E18.m1.1.1.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.E18.m1.1.1.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.1.1.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.E18.m1.1.1.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A1.E18.m1.1.1.1.1.1.1.1.1" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E18.m1.1.1.1.1.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E18.m1.1.1.1.1.1.1.1.1.1" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.E18.m1.1.1.1.1.1.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.2.cmml">θ</mi><mrow id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.2" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.2.cmml">t</mi><mo id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.1" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.1.cmml">+</mo><mn id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.3" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="A1.E18.m1.1.1.1.1.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A1.E18.m1.1.1.1.1.2.3" xref="A1.E18.m1.1.1.1.1.2.3.cmml">−</mo><mrow id="A1.E18.m1.1.1.1.1.2.2" xref="A1.E18.m1.1.1.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A1.E18.m1.1.1.1.1.2.2.3" xref="A1.E18.m1.1.1.1.1.2.2.3.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A1.E18.m1.1.1.1.1.2.2.2" xref="A1.E18.m1.1.1.1.1.2.2.2.cmml">​</mo><mrow id="A1.E18.m1.1.1.1.1.2.2.1.1" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A1.E18.m1.1.1.1.1.2.2.1.1.2" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.cmml">(</mo><msub id="A1.E18.m1.1.1.1.1.2.2.1.1.1" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.cmml"><mi id="A1.E18.m1.1.1.1.1.2.2.1.1.1.2" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.2.cmml">θ</mi><mi id="A1.E18.m1.1.1.1.1.2.2.1.1.1.3" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E18.m1.1.1.1.1.2.2.1.1.3" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="A1.E18.m1.1.1.1.1.6" xref="A1.E18.m1.1.1.1.1.6.cmml">≤</mo><mrow id="A1.E18.m1.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.3.cmml"><mo id="A1.E18.m1.1.1.1.1.3a" xref="A1.E18.m1.1.1.1.1.3.cmml">−</mo><mrow id="A1.E18.m1.1.1.1.1.3.1" xref="A1.E18.m1.1.1.1.1.3.1.cmml"><mstyle displaystyle="true" id="A1.E18.m1.1.1.1.1.3.1.3" xref="A1.E18.m1.1.1.1.1.3.1.3.cmml"><mfrac id="A1.E18.m1.1.1.1.1.3.1.3a" xref="A1.E18.m1.1.1.1.1.3.1.3.cmml"><mn id="A1.E18.m1.1.1.1.1.3.1.3.2" xref="A1.E18.m1.1.1.1.1.3.1.3.2.cmml">1</mn><mrow id="A1.E18.m1.1.1.1.1.3.1.3.3" xref="A1.E18.m1.1.1.1.1.3.1.3.3.cmml"><mn id="A1.E18.m1.1.1.1.1.3.1.3.3.2" xref="A1.E18.m1.1.1.1.1.3.1.3.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E18.m1.1.1.1.1.3.1.3.3.1" xref="A1.E18.m1.1.1.1.1.3.1.3.3.1.cmml">​</mo><mi id="A1.E18.m1.1.1.1.1.3.1.3.3.3" xref="A1.E18.m1.1.1.1.1.3.1.3.3.3.cmml">β</mi></mrow></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.E18.m1.1.1.1.1.3.1.2" xref="A1.E18.m1.1.1.1.1.3.1.2.cmml">​</mo><mover accent="true" id="A1.E18.m1.1.1.1.1.3.1.4" xref="A1.E18.m1.1.1.1.1.3.1.4.cmml"><mi id="A1.E18.m1.1.1.1.1.3.1.4.2" xref="A1.E18.m1.1.1.1.1.3.1.4.2.cmml">μ</mi><mo id="A1.E18.m1.1.1.1.1.3.1.4.1" xref="A1.E18.m1.1.1.1.1.3.1.4.1.cmml">^</mo></mover><mo lspace="0em" rspace="0em" id="A1.E18.m1.1.1.1.1.3.1.2a" xref="A1.E18.m1.1.1.1.1.3.1.2.cmml">​</mo><msup id="A1.E18.m1.1.1.1.1.3.1.1" xref="A1.E18.m1.1.1.1.1.3.1.1.cmml"><mrow id="A1.E18.m1.1.1.1.1.3.1.1.1.1" xref="A1.E18.m1.1.1.1.1.3.1.1.1.2.cmml"><mo stretchy="false" id="A1.E18.m1.1.1.1.1.3.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.3.1.1.1.2.1.cmml">‖</mo><msub id="A1.E18.m1.1.1.1.1.3.1.1.1.1.1" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.cmml"><mi id="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.2.cmml">𝐠</mi><mi id="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E18.m1.1.1.1.1.3.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.3.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.E18.m1.1.1.1.1.3.1.1.3" xref="A1.E18.m1.1.1.1.1.3.1.1.3.cmml">2</mn></msup></mrow></mrow><mo id="A1.E18.m1.1.1.1.1.7" xref="A1.E18.m1.1.1.1.1.7.cmml">=</mo><mrow id="A1.E18.m1.1.1.1.1.4" xref="A1.E18.m1.1.1.1.1.4.cmml"><mo id="A1.E18.m1.1.1.1.1.4a" xref="A1.E18.m1.1.1.1.1.4.cmml">−</mo><mrow id="A1.E18.m1.1.1.1.1.4.1" xref="A1.E18.m1.1.1.1.1.4.1.cmml"><mstyle displaystyle="true" id="A1.E18.m1.1.1.1.1.4.1.3" xref="A1.E18.m1.1.1.1.1.4.1.3.cmml"><mfrac id="A1.E18.m1.1.1.1.1.4.1.3a" xref="A1.E18.m1.1.1.1.1.4.1.3.cmml"><mi id="A1.E18.m1.1.1.1.1.4.1.3.2" xref="A1.E18.m1.1.1.1.1.4.1.3.2.cmml">α</mi><mrow id="A1.E18.m1.1.1.1.1.4.1.3.3" xref="A1.E18.m1.1.1.1.1.4.1.3.3.cmml"><mn id="A1.E18.m1.1.1.1.1.4.1.3.3.2" xref="A1.E18.m1.1.1.1.1.4.1.3.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A1.E18.m1.1.1.1.1.4.1.3.3.1" xref="A1.E18.m1.1.1.1.1.4.1.3.3.1.cmml">​</mo><msup id="A1.E18.m1.1.1.1.1.4.1.3.3.3" xref="A1.E18.m1.1.1.1.1.4.1.3.3.3.cmml"><mi id="A1.E18.m1.1.1.1.1.4.1.3.3.3.2" xref="A1.E18.m1.1.1.1.1.4.1.3.3.3.2.cmml">β</mi><mn id="A1.E18.m1.1.1.1.1.4.1.3.3.3.3" xref="A1.E18.m1.1.1.1.1.4.1.3.3.3.3.cmml">2</mn></msup></mrow></mfrac></mstyle><mo lspace="0em" rspace="0em" id="A1.E18.m1.1.1.1.1.4.1.2" xref="A1.E18.m1.1.1.1.1.4.1.2.cmml">​</mo><msup id="A1.E18.m1.1.1.1.1.4.1.1" xref="A1.E18.m1.1.1.1.1.4.1.1.cmml"><mrow id="A1.E18.m1.1.1.1.1.4.1.1.1.1" xref="A1.E18.m1.1.1.1.1.4.1.1.1.2.cmml"><mo stretchy="false" id="A1.E18.m1.1.1.1.1.4.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.4.1.1.1.2.1.cmml">‖</mo><msub id="A1.E18.m1.1.1.1.1.4.1.1.1.1.1" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.cmml"><mi id="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.2.cmml">𝐠</mi><mi id="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.3.cmml">t</mi></msub><mo stretchy="false" id="A1.E18.m1.1.1.1.1.4.1.1.1.1.3" xref="A1.E18.m1.1.1.1.1.4.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.E18.m1.1.1.1.1.4.1.1.3" xref="A1.E18.m1.1.1.1.1.4.1.1.3.cmml">2</mn></msup></mrow></mrow></mrow><mo lspace="0em" id="A1.E18.m1.1.1.1.2" xref="A1.E18.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E18.m1.1b"><apply id="A1.E18.m1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1"><and id="A1.E18.m1.1.1.1.1a.cmml" xref="A1.E18.m1.1.1.1"></and><apply id="A1.E18.m1.1.1.1.1b.cmml" xref="A1.E18.m1.1.1.1"><leq id="A1.E18.m1.1.1.1.1.6.cmml" xref="A1.E18.m1.1.1.1.1.6"></leq><apply id="A1.E18.m1.1.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.2"><minus id="A1.E18.m1.1.1.1.1.2.3.cmml" xref="A1.E18.m1.1.1.1.1.2.3"></minus><apply id="A1.E18.m1.1.1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.1.1"><times id="A1.E18.m1.1.1.1.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.1.1.2"></times><ci id="A1.E18.m1.1.1.1.1.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.1.1.3">ℒ</ci><apply id="A1.E18.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E18.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.E18.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.2">𝜃</ci><apply id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3"><plus id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.1"></plus><ci id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.2">𝑡</ci><cn type="integer" id="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A1.E18.m1.1.1.1.1.1.1.1.1.1.3.3">1</cn></apply></apply></apply><apply id="A1.E18.m1.1.1.1.1.2.2.cmml" xref="A1.E18.m1.1.1.1.1.2.2"><times id="A1.E18.m1.1.1.1.1.2.2.2.cmml" xref="A1.E18.m1.1.1.1.1.2.2.2"></times><ci id="A1.E18.m1.1.1.1.1.2.2.3.cmml" xref="A1.E18.m1.1.1.1.1.2.2.3">ℒ</ci><apply id="A1.E18.m1.1.1.1.1.2.2.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.2.2.1.1"><csymbol cd="ambiguous" id="A1.E18.m1.1.1.1.1.2.2.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.2.2.1.1">subscript</csymbol><ci id="A1.E18.m1.1.1.1.1.2.2.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.2">𝜃</ci><ci id="A1.E18.m1.1.1.1.1.2.2.1.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.2.2.1.1.1.3">𝑡</ci></apply></apply></apply><apply id="A1.E18.m1.1.1.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.3"><minus id="A1.E18.m1.1.1.1.1.3.2.cmml" xref="A1.E18.m1.1.1.1.1.3"></minus><apply id="A1.E18.m1.1.1.1.1.3.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1"><times id="A1.E18.m1.1.1.1.1.3.1.2.cmml" xref="A1.E18.m1.1.1.1.1.3.1.2"></times><apply id="A1.E18.m1.1.1.1.1.3.1.3.cmml" xref="A1.E18.m1.1.1.1.1.3.1.3"><divide id="A1.E18.m1.1.1.1.1.3.1.3.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1.3"></divide><cn type="integer" id="A1.E18.m1.1.1.1.1.3.1.3.2.cmml" xref="A1.E18.m1.1.1.1.1.3.1.3.2">1</cn><apply id="A1.E18.m1.1.1.1.1.3.1.3.3.cmml" xref="A1.E18.m1.1.1.1.1.3.1.3.3"><times id="A1.E18.m1.1.1.1.1.3.1.3.3.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1.3.3.1"></times><cn type="integer" id="A1.E18.m1.1.1.1.1.3.1.3.3.2.cmml" xref="A1.E18.m1.1.1.1.1.3.1.3.3.2">2</cn><ci id="A1.E18.m1.1.1.1.1.3.1.3.3.3.cmml" xref="A1.E18.m1.1.1.1.1.3.1.3.3.3">𝛽</ci></apply></apply><apply id="A1.E18.m1.1.1.1.1.3.1.4.cmml" xref="A1.E18.m1.1.1.1.1.3.1.4"><ci id="A1.E18.m1.1.1.1.1.3.1.4.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1.4.1">^</ci><ci id="A1.E18.m1.1.1.1.1.3.1.4.2.cmml" xref="A1.E18.m1.1.1.1.1.3.1.4.2">𝜇</ci></apply><apply id="A1.E18.m1.1.1.1.1.3.1.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1"><csymbol cd="ambiguous" id="A1.E18.m1.1.1.1.1.3.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1">superscript</csymbol><apply id="A1.E18.m1.1.1.1.1.3.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1"><csymbol cd="latexml" id="A1.E18.m1.1.1.1.1.3.1.1.1.2.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.2">norm</csymbol><apply id="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.1">subscript</csymbol><ci id="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.2">𝐠</ci><ci id="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1.1.1.1.3">𝑡</ci></apply></apply><cn type="integer" id="A1.E18.m1.1.1.1.1.3.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.3.1.1.3">2</cn></apply></apply></apply></apply><apply id="A1.E18.m1.1.1.1.1c.cmml" xref="A1.E18.m1.1.1.1"><eq id="A1.E18.m1.1.1.1.1.7.cmml" xref="A1.E18.m1.1.1.1.1.7"></eq><share href="#A1.E18.m1.1.1.1.1.3.cmml" id="A1.E18.m1.1.1.1.1d.cmml" xref="A1.E18.m1.1.1.1"></share><apply id="A1.E18.m1.1.1.1.1.4.cmml" xref="A1.E18.m1.1.1.1.1.4"><minus id="A1.E18.m1.1.1.1.1.4.2.cmml" xref="A1.E18.m1.1.1.1.1.4"></minus><apply id="A1.E18.m1.1.1.1.1.4.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1"><times id="A1.E18.m1.1.1.1.1.4.1.2.cmml" xref="A1.E18.m1.1.1.1.1.4.1.2"></times><apply id="A1.E18.m1.1.1.1.1.4.1.3.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3"><divide id="A1.E18.m1.1.1.1.1.4.1.3.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3"></divide><ci id="A1.E18.m1.1.1.1.1.4.1.3.2.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.2">𝛼</ci><apply id="A1.E18.m1.1.1.1.1.4.1.3.3.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.3"><times id="A1.E18.m1.1.1.1.1.4.1.3.3.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.3.1"></times><cn type="integer" id="A1.E18.m1.1.1.1.1.4.1.3.3.2.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.3.2">2</cn><apply id="A1.E18.m1.1.1.1.1.4.1.3.3.3.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.3.3"><csymbol cd="ambiguous" id="A1.E18.m1.1.1.1.1.4.1.3.3.3.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.3.3">superscript</csymbol><ci id="A1.E18.m1.1.1.1.1.4.1.3.3.3.2.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.3.3.2">𝛽</ci><cn type="integer" id="A1.E18.m1.1.1.1.1.4.1.3.3.3.3.cmml" xref="A1.E18.m1.1.1.1.1.4.1.3.3.3.3">2</cn></apply></apply></apply><apply id="A1.E18.m1.1.1.1.1.4.1.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1"><csymbol cd="ambiguous" id="A1.E18.m1.1.1.1.1.4.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1">superscript</csymbol><apply id="A1.E18.m1.1.1.1.1.4.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1"><csymbol cd="latexml" id="A1.E18.m1.1.1.1.1.4.1.1.1.2.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.2">norm</csymbol><apply id="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.1.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.1">subscript</csymbol><ci id="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.2.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.2">𝐠</ci><ci id="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1.1.1.1.3">𝑡</ci></apply></apply><cn type="integer" id="A1.E18.m1.1.1.1.1.4.1.1.3.cmml" xref="A1.E18.m1.1.1.1.1.4.1.1.3">2</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E18.m1.1c">\displaystyle{\cal{L}}(\theta_{t+1})-{\cal{L}}(\theta_{t})\leq-\frac{1}{2\beta}\hat{\mu}\|\mathbf{g}_{t}\|^{2}=-\frac{\alpha}{2\beta^{2}}\|\mathbf{g}_{t}\|^{2}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(18)</span></td>
</tr></tbody>
</table>
</div>
<div id="A1.SS3.2.p2" class="ltx_para">
<p id="A1.SS3.2.p2.1" class="ltx_p">∎</p>
</div>
</div>
</section>
</section>
<section id="A2" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix B </span>Construction of matrix-free preconditioner</h2>

<div id="A2.p1" class="ltx_para">
<p id="A2.p1.1" class="ltx_p">The following statement gives a systematic way to construct a family of black-box matrix-free preconditioners.</p>
</div>
<div id="A2.p2" class="ltx_para">
<p id="A2.p2.1" class="ltx_p">See <a href="#S3.Thmclaim1" title="Claim 3.1. ‣ 3.2 Sparse Matrix-Free Preconditioners ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a></p>
</div>
<div id="A2.4" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.1.p1" class="ltx_para">
<p id="A2.1.p1.1" class="ltx_p">The proof follows by showing that such matrices have the following four properties required to form a Lie group.</p>
</div>
<div id="A2.2.p2" class="ltx_para">
<p id="A2.2.p2.10" class="ltx_p">First, we show that <math id="A2.2.p2.1.m1.1" class="ltx_Math" alttext="I" display="inline"><semantics id="A2.2.p2.1.m1.1a"><mi id="A2.2.p2.1.m1.1.1" xref="A2.2.p2.1.m1.1.1.cmml">I</mi><annotation-xml encoding="MathML-Content" id="A2.2.p2.1.m1.1b"><ci id="A2.2.p2.1.m1.1.1.cmml" xref="A2.2.p2.1.m1.1.1">𝐼</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.1.m1.1c">I</annotation></semantics></math> is the identity element. Note that <math id="A2.2.p2.2.m2.1" class="ltx_Math" alttext="K" display="inline"><semantics id="A2.2.p2.2.m2.1a"><mi id="A2.2.p2.2.m2.1.1" xref="A2.2.p2.2.m2.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="A2.2.p2.2.m2.1b"><ci id="A2.2.p2.2.m2.1.1.cmml" xref="A2.2.p2.2.m2.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.2.m2.1c">K</annotation></semantics></math> has element <math id="A2.2.p2.3.m3.1" class="ltx_Math" alttext="e" display="inline"><semantics id="A2.2.p2.3.m3.1a"><mi id="A2.2.p2.3.m3.1.1" xref="A2.2.p2.3.m3.1.1.cmml">e</mi><annotation-xml encoding="MathML-Content" id="A2.2.p2.3.m3.1b"><ci id="A2.2.p2.3.m3.1.1.cmml" xref="A2.2.p2.3.m3.1.1">𝑒</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.3.m3.1c">e</annotation></semantics></math> since it is a subgroup of <math id="A2.2.p2.4.m4.1" class="ltx_Math" alttext="S_{n}" display="inline"><semantics id="A2.2.p2.4.m4.1a"><msub id="A2.2.p2.4.m4.1.1" xref="A2.2.p2.4.m4.1.1.cmml"><mi id="A2.2.p2.4.m4.1.1.2" xref="A2.2.p2.4.m4.1.1.2.cmml">S</mi><mi id="A2.2.p2.4.m4.1.1.3" xref="A2.2.p2.4.m4.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="A2.2.p2.4.m4.1b"><apply id="A2.2.p2.4.m4.1.1.cmml" xref="A2.2.p2.4.m4.1.1"><csymbol cd="ambiguous" id="A2.2.p2.4.m4.1.1.1.cmml" xref="A2.2.p2.4.m4.1.1">subscript</csymbol><ci id="A2.2.p2.4.m4.1.1.2.cmml" xref="A2.2.p2.4.m4.1.1.2">𝑆</ci><ci id="A2.2.p2.4.m4.1.1.3.cmml" xref="A2.2.p2.4.m4.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.4.m4.1c">S_{n}</annotation></semantics></math>. Then without the loss of generality, we can set <math id="A2.2.p2.5.m5.1" class="ltx_Math" alttext="\sigma_{1}=e" display="inline"><semantics id="A2.2.p2.5.m5.1a"><mrow id="A2.2.p2.5.m5.1.1" xref="A2.2.p2.5.m5.1.1.cmml"><msub id="A2.2.p2.5.m5.1.1.2" xref="A2.2.p2.5.m5.1.1.2.cmml"><mi id="A2.2.p2.5.m5.1.1.2.2" xref="A2.2.p2.5.m5.1.1.2.2.cmml">σ</mi><mn id="A2.2.p2.5.m5.1.1.2.3" xref="A2.2.p2.5.m5.1.1.2.3.cmml">1</mn></msub><mo id="A2.2.p2.5.m5.1.1.1" xref="A2.2.p2.5.m5.1.1.1.cmml">=</mo><mi id="A2.2.p2.5.m5.1.1.3" xref="A2.2.p2.5.m5.1.1.3.cmml">e</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.2.p2.5.m5.1b"><apply id="A2.2.p2.5.m5.1.1.cmml" xref="A2.2.p2.5.m5.1.1"><eq id="A2.2.p2.5.m5.1.1.1.cmml" xref="A2.2.p2.5.m5.1.1.1"></eq><apply id="A2.2.p2.5.m5.1.1.2.cmml" xref="A2.2.p2.5.m5.1.1.2"><csymbol cd="ambiguous" id="A2.2.p2.5.m5.1.1.2.1.cmml" xref="A2.2.p2.5.m5.1.1.2">subscript</csymbol><ci id="A2.2.p2.5.m5.1.1.2.2.cmml" xref="A2.2.p2.5.m5.1.1.2.2">𝜎</ci><cn type="integer" id="A2.2.p2.5.m5.1.1.2.3.cmml" xref="A2.2.p2.5.m5.1.1.2.3">1</cn></apply><ci id="A2.2.p2.5.m5.1.1.3.cmml" xref="A2.2.p2.5.m5.1.1.3">𝑒</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.5.m5.1c">\sigma_{1}=e</annotation></semantics></math> and <math id="A2.2.p2.6.m6.1" class="ltx_Math" alttext="a_{1}" display="inline"><semantics id="A2.2.p2.6.m6.1a"><msub id="A2.2.p2.6.m6.1.1" xref="A2.2.p2.6.m6.1.1.cmml"><mi id="A2.2.p2.6.m6.1.1.2" xref="A2.2.p2.6.m6.1.1.2.cmml">a</mi><mn id="A2.2.p2.6.m6.1.1.3" xref="A2.2.p2.6.m6.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A2.2.p2.6.m6.1b"><apply id="A2.2.p2.6.m6.1.1.cmml" xref="A2.2.p2.6.m6.1.1"><csymbol cd="ambiguous" id="A2.2.p2.6.m6.1.1.1.cmml" xref="A2.2.p2.6.m6.1.1">subscript</csymbol><ci id="A2.2.p2.6.m6.1.1.2.cmml" xref="A2.2.p2.6.m6.1.1.2">𝑎</ci><cn type="integer" id="A2.2.p2.6.m6.1.1.3.cmml" xref="A2.2.p2.6.m6.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.6.m6.1c">a_{1}</annotation></semantics></math> to be a vector of ones, and all the other <math id="A2.2.p2.7.m7.1" class="ltx_Math" alttext="a_{i}" display="inline"><semantics id="A2.2.p2.7.m7.1a"><msub id="A2.2.p2.7.m7.1.1" xref="A2.2.p2.7.m7.1.1.cmml"><mi id="A2.2.p2.7.m7.1.1.2" xref="A2.2.p2.7.m7.1.1.2.cmml">a</mi><mi id="A2.2.p2.7.m7.1.1.3" xref="A2.2.p2.7.m7.1.1.3.cmml">i</mi></msub><annotation-xml encoding="MathML-Content" id="A2.2.p2.7.m7.1b"><apply id="A2.2.p2.7.m7.1.1.cmml" xref="A2.2.p2.7.m7.1.1"><csymbol cd="ambiguous" id="A2.2.p2.7.m7.1.1.1.cmml" xref="A2.2.p2.7.m7.1.1">subscript</csymbol><ci id="A2.2.p2.7.m7.1.1.2.cmml" xref="A2.2.p2.7.m7.1.1.2">𝑎</ci><ci id="A2.2.p2.7.m7.1.1.3.cmml" xref="A2.2.p2.7.m7.1.1.3">𝑖</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.7.m7.1c">a_{i}</annotation></semantics></math>, <math id="A2.2.p2.8.m8.1" class="ltx_Math" alttext="i&gt;1" display="inline"><semantics id="A2.2.p2.8.m8.1a"><mrow id="A2.2.p2.8.m8.1.1" xref="A2.2.p2.8.m8.1.1.cmml"><mi id="A2.2.p2.8.m8.1.1.2" xref="A2.2.p2.8.m8.1.1.2.cmml">i</mi><mo id="A2.2.p2.8.m8.1.1.1" xref="A2.2.p2.8.m8.1.1.1.cmml">&gt;</mo><mn id="A2.2.p2.8.m8.1.1.3" xref="A2.2.p2.8.m8.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.2.p2.8.m8.1b"><apply id="A2.2.p2.8.m8.1.1.cmml" xref="A2.2.p2.8.m8.1.1"><gt id="A2.2.p2.8.m8.1.1.1.cmml" xref="A2.2.p2.8.m8.1.1.1"></gt><ci id="A2.2.p2.8.m8.1.1.2.cmml" xref="A2.2.p2.8.m8.1.1.2">𝑖</ci><cn type="integer" id="A2.2.p2.8.m8.1.1.3.cmml" xref="A2.2.p2.8.m8.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.8.m8.1c">i&gt;1</annotation></semantics></math>, to be vectors of zeros. This leads to <math id="A2.2.p2.9.m9.2" class="ltx_Math" alttext="T(x|a_{1},\ldots,a_{m})=x" display="inline"><semantics id="A2.2.p2.9.m9.2a"><mrow id="A2.2.p2.9.m9.2.2" xref="A2.2.p2.9.m9.2.2.cmml"><mrow id="A2.2.p2.9.m9.2.2.1" xref="A2.2.p2.9.m9.2.2.1.cmml"><mi id="A2.2.p2.9.m9.2.2.1.3" xref="A2.2.p2.9.m9.2.2.1.3.cmml">T</mi><mo lspace="0em" rspace="0em" id="A2.2.p2.9.m9.2.2.1.2" xref="A2.2.p2.9.m9.2.2.1.2.cmml">​</mo><mrow id="A2.2.p2.9.m9.2.2.1.1.1" xref="A2.2.p2.9.m9.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A2.2.p2.9.m9.2.2.1.1.1.2" xref="A2.2.p2.9.m9.2.2.1.1.1.1.cmml">(</mo><mrow id="A2.2.p2.9.m9.2.2.1.1.1.1" xref="A2.2.p2.9.m9.2.2.1.1.1.1.cmml"><mi id="A2.2.p2.9.m9.2.2.1.1.1.1.4" xref="A2.2.p2.9.m9.2.2.1.1.1.1.4.cmml">x</mi><mo fence="false" id="A2.2.p2.9.m9.2.2.1.1.1.1.3" xref="A2.2.p2.9.m9.2.2.1.1.1.1.3.cmml">|</mo><mrow id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.3.cmml"><msub id="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1" xref="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.cmml"><mi id="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.2" xref="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.2.cmml">a</mi><mn id="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.3" xref="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.3.cmml">1</mn></msub><mo id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.3" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.3.cmml">,</mo><mi mathvariant="normal" id="A2.2.p2.9.m9.1.1" xref="A2.2.p2.9.m9.1.1.cmml">…</mi><mo id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.4" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.3.cmml">,</mo><msub id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.cmml"><mi id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.2" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.2.cmml">a</mi><mi id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.3" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.3.cmml">m</mi></msub></mrow></mrow><mo stretchy="false" id="A2.2.p2.9.m9.2.2.1.1.1.3" xref="A2.2.p2.9.m9.2.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.2.p2.9.m9.2.2.2" xref="A2.2.p2.9.m9.2.2.2.cmml">=</mo><mi id="A2.2.p2.9.m9.2.2.3" xref="A2.2.p2.9.m9.2.2.3.cmml">x</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.2.p2.9.m9.2b"><apply id="A2.2.p2.9.m9.2.2.cmml" xref="A2.2.p2.9.m9.2.2"><eq id="A2.2.p2.9.m9.2.2.2.cmml" xref="A2.2.p2.9.m9.2.2.2"></eq><apply id="A2.2.p2.9.m9.2.2.1.cmml" xref="A2.2.p2.9.m9.2.2.1"><times id="A2.2.p2.9.m9.2.2.1.2.cmml" xref="A2.2.p2.9.m9.2.2.1.2"></times><ci id="A2.2.p2.9.m9.2.2.1.3.cmml" xref="A2.2.p2.9.m9.2.2.1.3">𝑇</ci><apply id="A2.2.p2.9.m9.2.2.1.1.1.1.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1"><csymbol cd="latexml" id="A2.2.p2.9.m9.2.2.1.1.1.1.3.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.3">conditional</csymbol><ci id="A2.2.p2.9.m9.2.2.1.1.1.1.4.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.4">𝑥</ci><list id="A2.2.p2.9.m9.2.2.1.1.1.1.2.3.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2"><apply id="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.1.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1">subscript</csymbol><ci id="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.2.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.2">𝑎</ci><cn type="integer" id="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.3.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.1.1.1.3">1</cn></apply><ci id="A2.2.p2.9.m9.1.1.cmml" xref="A2.2.p2.9.m9.1.1">…</ci><apply id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.1.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2">subscript</csymbol><ci id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.2.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.2">𝑎</ci><ci id="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.3.cmml" xref="A2.2.p2.9.m9.2.2.1.1.1.1.2.2.2.3">𝑚</ci></apply></list></apply></apply><ci id="A2.2.p2.9.m9.2.2.3.cmml" xref="A2.2.p2.9.m9.2.2.3">𝑥</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.2.p2.9.m9.2c">T(x|a_{1},\ldots,a_{m})=x</annotation></semantics></math>, and thus <math id="A2.2.p2.10.m10.1" class="ltx_math_unparsed" alttext="T(\cdot|a_{1},\ldots,a_{m})=I" display="inline"><semantics id="A2.2.p2.10.m10.1a"><mrow id="A2.2.p2.10.m10.1b"><mi id="A2.2.p2.10.m10.1.1">T</mi><mrow id="A2.2.p2.10.m10.1.2"><mo stretchy="false" id="A2.2.p2.10.m10.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="A2.2.p2.10.m10.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A2.2.p2.10.m10.1.2.3">|</mo><msub id="A2.2.p2.10.m10.1.2.4"><mi id="A2.2.p2.10.m10.1.2.4.2">a</mi><mn id="A2.2.p2.10.m10.1.2.4.3">1</mn></msub><mo id="A2.2.p2.10.m10.1.2.5">,</mo><mi mathvariant="normal" id="A2.2.p2.10.m10.1.2.6">…</mi><mo id="A2.2.p2.10.m10.1.2.7">,</mo><msub id="A2.2.p2.10.m10.1.2.8"><mi id="A2.2.p2.10.m10.1.2.8.2">a</mi><mi id="A2.2.p2.10.m10.1.2.8.3">m</mi></msub><mo stretchy="false" id="A2.2.p2.10.m10.1.2.9">)</mo></mrow><mo id="A2.2.p2.10.m10.1.3">=</mo><mi id="A2.2.p2.10.m10.1.4">I</mi></mrow><annotation encoding="application/x-tex" id="A2.2.p2.10.m10.1c">T(\cdot|a_{1},\ldots,a_{m})=I</annotation></semantics></math> when represented as a matrix.</p>
</div>
<div id="A2.3.p3" class="ltx_para">
<p id="A2.3.p3.2" class="ltx_p">Second, we show that such transforms are closed with binary operation <math id="A2.3.p3.1.m1.2" class="ltx_Math" alttext="T^{(1)}\circ T^{(2)}" display="inline"><semantics id="A2.3.p3.1.m1.2a"><mrow id="A2.3.p3.1.m1.2.3" xref="A2.3.p3.1.m1.2.3.cmml"><msup id="A2.3.p3.1.m1.2.3.2" xref="A2.3.p3.1.m1.2.3.2.cmml"><mi id="A2.3.p3.1.m1.2.3.2.2" xref="A2.3.p3.1.m1.2.3.2.2.cmml">T</mi><mrow id="A2.3.p3.1.m1.1.1.1.3" xref="A2.3.p3.1.m1.2.3.2.cmml"><mo stretchy="false" id="A2.3.p3.1.m1.1.1.1.3.1" xref="A2.3.p3.1.m1.2.3.2.cmml">(</mo><mn id="A2.3.p3.1.m1.1.1.1.1" xref="A2.3.p3.1.m1.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.3.p3.1.m1.1.1.1.3.2" xref="A2.3.p3.1.m1.2.3.2.cmml">)</mo></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A2.3.p3.1.m1.2.3.1" xref="A2.3.p3.1.m1.2.3.1.cmml">∘</mo><msup id="A2.3.p3.1.m1.2.3.3" xref="A2.3.p3.1.m1.2.3.3.cmml"><mi id="A2.3.p3.1.m1.2.3.3.2" xref="A2.3.p3.1.m1.2.3.3.2.cmml">T</mi><mrow id="A2.3.p3.1.m1.2.2.1.3" xref="A2.3.p3.1.m1.2.3.3.cmml"><mo stretchy="false" id="A2.3.p3.1.m1.2.2.1.3.1" xref="A2.3.p3.1.m1.2.3.3.cmml">(</mo><mn id="A2.3.p3.1.m1.2.2.1.1" xref="A2.3.p3.1.m1.2.2.1.1.cmml">2</mn><mo stretchy="false" id="A2.3.p3.1.m1.2.2.1.3.2" xref="A2.3.p3.1.m1.2.3.3.cmml">)</mo></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.3.p3.1.m1.2b"><apply id="A2.3.p3.1.m1.2.3.cmml" xref="A2.3.p3.1.m1.2.3"><compose id="A2.3.p3.1.m1.2.3.1.cmml" xref="A2.3.p3.1.m1.2.3.1"></compose><apply id="A2.3.p3.1.m1.2.3.2.cmml" xref="A2.3.p3.1.m1.2.3.2"><csymbol cd="ambiguous" id="A2.3.p3.1.m1.2.3.2.1.cmml" xref="A2.3.p3.1.m1.2.3.2">superscript</csymbol><ci id="A2.3.p3.1.m1.2.3.2.2.cmml" xref="A2.3.p3.1.m1.2.3.2.2">𝑇</ci><cn type="integer" id="A2.3.p3.1.m1.1.1.1.1.cmml" xref="A2.3.p3.1.m1.1.1.1.1">1</cn></apply><apply id="A2.3.p3.1.m1.2.3.3.cmml" xref="A2.3.p3.1.m1.2.3.3"><csymbol cd="ambiguous" id="A2.3.p3.1.m1.2.3.3.1.cmml" xref="A2.3.p3.1.m1.2.3.3">superscript</csymbol><ci id="A2.3.p3.1.m1.2.3.3.2.cmml" xref="A2.3.p3.1.m1.2.3.3.2">𝑇</ci><cn type="integer" id="A2.3.p3.1.m1.2.2.1.1.cmml" xref="A2.3.p3.1.m1.2.2.1.1">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.3.p3.1.m1.2c">T^{(1)}\circ T^{(2)}</annotation></semantics></math> defined as <math id="A2.3.p3.2.m2.8" class="ltx_Math" alttext="[T^{(1)}\circ T^{(2)}](x)=T^{(1)}[T^{(2)}(x)]" display="inline"><semantics id="A2.3.p3.2.m2.8a"><mrow id="A2.3.p3.2.m2.8.8" xref="A2.3.p3.2.m2.8.8.cmml"><mrow id="A2.3.p3.2.m2.7.7.1" xref="A2.3.p3.2.m2.7.7.1.cmml"><mrow id="A2.3.p3.2.m2.7.7.1.1.1" xref="A2.3.p3.2.m2.7.7.1.1.2.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.7.7.1.1.1.2" xref="A2.3.p3.2.m2.7.7.1.1.2.1.cmml">[</mo><mrow id="A2.3.p3.2.m2.7.7.1.1.1.1" xref="A2.3.p3.2.m2.7.7.1.1.1.1.cmml"><msup id="A2.3.p3.2.m2.7.7.1.1.1.1.2" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2.cmml"><mi id="A2.3.p3.2.m2.7.7.1.1.1.1.2.2" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2.2.cmml">T</mi><mrow id="A2.3.p3.2.m2.1.1.1.3" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.1.1.1.3.1" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2.cmml">(</mo><mn id="A2.3.p3.2.m2.1.1.1.1" xref="A2.3.p3.2.m2.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.3.p3.2.m2.1.1.1.3.2" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2.cmml">)</mo></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A2.3.p3.2.m2.7.7.1.1.1.1.1" xref="A2.3.p3.2.m2.7.7.1.1.1.1.1.cmml">∘</mo><msup id="A2.3.p3.2.m2.7.7.1.1.1.1.3" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3.cmml"><mi id="A2.3.p3.2.m2.7.7.1.1.1.1.3.2" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3.2.cmml">T</mi><mrow id="A2.3.p3.2.m2.2.2.1.3" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.2.2.1.3.1" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3.cmml">(</mo><mn id="A2.3.p3.2.m2.2.2.1.1" xref="A2.3.p3.2.m2.2.2.1.1.cmml">2</mn><mo stretchy="false" id="A2.3.p3.2.m2.2.2.1.3.2" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3.cmml">)</mo></mrow></msup></mrow><mo stretchy="false" id="A2.3.p3.2.m2.7.7.1.1.1.3" xref="A2.3.p3.2.m2.7.7.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A2.3.p3.2.m2.7.7.1.2" xref="A2.3.p3.2.m2.7.7.1.2.cmml">​</mo><mrow id="A2.3.p3.2.m2.7.7.1.3.2" xref="A2.3.p3.2.m2.7.7.1.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.7.7.1.3.2.1" xref="A2.3.p3.2.m2.7.7.1.cmml">(</mo><mi id="A2.3.p3.2.m2.5.5" xref="A2.3.p3.2.m2.5.5.cmml">x</mi><mo stretchy="false" id="A2.3.p3.2.m2.7.7.1.3.2.2" xref="A2.3.p3.2.m2.7.7.1.cmml">)</mo></mrow></mrow><mo id="A2.3.p3.2.m2.8.8.3" xref="A2.3.p3.2.m2.8.8.3.cmml">=</mo><mrow id="A2.3.p3.2.m2.8.8.2" xref="A2.3.p3.2.m2.8.8.2.cmml"><msup id="A2.3.p3.2.m2.8.8.2.3" xref="A2.3.p3.2.m2.8.8.2.3.cmml"><mi id="A2.3.p3.2.m2.8.8.2.3.2" xref="A2.3.p3.2.m2.8.8.2.3.2.cmml">T</mi><mrow id="A2.3.p3.2.m2.3.3.1.3" xref="A2.3.p3.2.m2.8.8.2.3.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.3.3.1.3.1" xref="A2.3.p3.2.m2.8.8.2.3.cmml">(</mo><mn id="A2.3.p3.2.m2.3.3.1.1" xref="A2.3.p3.2.m2.3.3.1.1.cmml">1</mn><mo stretchy="false" id="A2.3.p3.2.m2.3.3.1.3.2" xref="A2.3.p3.2.m2.8.8.2.3.cmml">)</mo></mrow></msup><mo lspace="0em" rspace="0em" id="A2.3.p3.2.m2.8.8.2.2" xref="A2.3.p3.2.m2.8.8.2.2.cmml">​</mo><mrow id="A2.3.p3.2.m2.8.8.2.1.1" xref="A2.3.p3.2.m2.8.8.2.1.2.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.8.8.2.1.1.2" xref="A2.3.p3.2.m2.8.8.2.1.2.1.cmml">[</mo><mrow id="A2.3.p3.2.m2.8.8.2.1.1.1" xref="A2.3.p3.2.m2.8.8.2.1.1.1.cmml"><msup id="A2.3.p3.2.m2.8.8.2.1.1.1.2" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2.cmml"><mi id="A2.3.p3.2.m2.8.8.2.1.1.1.2.2" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2.2.cmml">T</mi><mrow id="A2.3.p3.2.m2.4.4.1.3" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.4.4.1.3.1" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2.cmml">(</mo><mn id="A2.3.p3.2.m2.4.4.1.1" xref="A2.3.p3.2.m2.4.4.1.1.cmml">2</mn><mo stretchy="false" id="A2.3.p3.2.m2.4.4.1.3.2" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2.cmml">)</mo></mrow></msup><mo lspace="0em" rspace="0em" id="A2.3.p3.2.m2.8.8.2.1.1.1.1" xref="A2.3.p3.2.m2.8.8.2.1.1.1.1.cmml">​</mo><mrow id="A2.3.p3.2.m2.8.8.2.1.1.1.3.2" xref="A2.3.p3.2.m2.8.8.2.1.1.1.cmml"><mo stretchy="false" id="A2.3.p3.2.m2.8.8.2.1.1.1.3.2.1" xref="A2.3.p3.2.m2.8.8.2.1.1.1.cmml">(</mo><mi id="A2.3.p3.2.m2.6.6" xref="A2.3.p3.2.m2.6.6.cmml">x</mi><mo stretchy="false" id="A2.3.p3.2.m2.8.8.2.1.1.1.3.2.2" xref="A2.3.p3.2.m2.8.8.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A2.3.p3.2.m2.8.8.2.1.1.3" xref="A2.3.p3.2.m2.8.8.2.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.3.p3.2.m2.8b"><apply id="A2.3.p3.2.m2.8.8.cmml" xref="A2.3.p3.2.m2.8.8"><eq id="A2.3.p3.2.m2.8.8.3.cmml" xref="A2.3.p3.2.m2.8.8.3"></eq><apply id="A2.3.p3.2.m2.7.7.1.cmml" xref="A2.3.p3.2.m2.7.7.1"><times id="A2.3.p3.2.m2.7.7.1.2.cmml" xref="A2.3.p3.2.m2.7.7.1.2"></times><apply id="A2.3.p3.2.m2.7.7.1.1.2.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1"><csymbol cd="latexml" id="A2.3.p3.2.m2.7.7.1.1.2.1.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.2">delimited-[]</csymbol><apply id="A2.3.p3.2.m2.7.7.1.1.1.1.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1"><compose id="A2.3.p3.2.m2.7.7.1.1.1.1.1.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1.1"></compose><apply id="A2.3.p3.2.m2.7.7.1.1.1.1.2.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.3.p3.2.m2.7.7.1.1.1.1.2.1.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2">superscript</csymbol><ci id="A2.3.p3.2.m2.7.7.1.1.1.1.2.2.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1.2.2">𝑇</ci><cn type="integer" id="A2.3.p3.2.m2.1.1.1.1.cmml" xref="A2.3.p3.2.m2.1.1.1.1">1</cn></apply><apply id="A2.3.p3.2.m2.7.7.1.1.1.1.3.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.3.p3.2.m2.7.7.1.1.1.1.3.1.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3">superscript</csymbol><ci id="A2.3.p3.2.m2.7.7.1.1.1.1.3.2.cmml" xref="A2.3.p3.2.m2.7.7.1.1.1.1.3.2">𝑇</ci><cn type="integer" id="A2.3.p3.2.m2.2.2.1.1.cmml" xref="A2.3.p3.2.m2.2.2.1.1">2</cn></apply></apply></apply><ci id="A2.3.p3.2.m2.5.5.cmml" xref="A2.3.p3.2.m2.5.5">𝑥</ci></apply><apply id="A2.3.p3.2.m2.8.8.2.cmml" xref="A2.3.p3.2.m2.8.8.2"><times id="A2.3.p3.2.m2.8.8.2.2.cmml" xref="A2.3.p3.2.m2.8.8.2.2"></times><apply id="A2.3.p3.2.m2.8.8.2.3.cmml" xref="A2.3.p3.2.m2.8.8.2.3"><csymbol cd="ambiguous" id="A2.3.p3.2.m2.8.8.2.3.1.cmml" xref="A2.3.p3.2.m2.8.8.2.3">superscript</csymbol><ci id="A2.3.p3.2.m2.8.8.2.3.2.cmml" xref="A2.3.p3.2.m2.8.8.2.3.2">𝑇</ci><cn type="integer" id="A2.3.p3.2.m2.3.3.1.1.cmml" xref="A2.3.p3.2.m2.3.3.1.1">1</cn></apply><apply id="A2.3.p3.2.m2.8.8.2.1.2.cmml" xref="A2.3.p3.2.m2.8.8.2.1.1"><csymbol cd="latexml" id="A2.3.p3.2.m2.8.8.2.1.2.1.cmml" xref="A2.3.p3.2.m2.8.8.2.1.1.2">delimited-[]</csymbol><apply id="A2.3.p3.2.m2.8.8.2.1.1.1.cmml" xref="A2.3.p3.2.m2.8.8.2.1.1.1"><times id="A2.3.p3.2.m2.8.8.2.1.1.1.1.cmml" xref="A2.3.p3.2.m2.8.8.2.1.1.1.1"></times><apply id="A2.3.p3.2.m2.8.8.2.1.1.1.2.cmml" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2"><csymbol cd="ambiguous" id="A2.3.p3.2.m2.8.8.2.1.1.1.2.1.cmml" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2">superscript</csymbol><ci id="A2.3.p3.2.m2.8.8.2.1.1.1.2.2.cmml" xref="A2.3.p3.2.m2.8.8.2.1.1.1.2.2">𝑇</ci><cn type="integer" id="A2.3.p3.2.m2.4.4.1.1.cmml" xref="A2.3.p3.2.m2.4.4.1.1">2</cn></apply><ci id="A2.3.p3.2.m2.6.6.cmml" xref="A2.3.p3.2.m2.6.6">𝑥</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.3.p3.2.m2.8c">[T^{(1)}\circ T^{(2)}](x)=T^{(1)}[T^{(2)}(x)]</annotation></semantics></math>. Specifically, we have</p>
<table id="A12.EGx27" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex37"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex37.m1.4" class="ltx_Math" alttext="\displaystyle[T^{(1)}\circ T^{(2)}](x)=" display="inline"><semantics id="A2.Ex37.m1.4a"><mrow id="A2.Ex37.m1.4.4" xref="A2.Ex37.m1.4.4.cmml"><mrow id="A2.Ex37.m1.4.4.1" xref="A2.Ex37.m1.4.4.1.cmml"><mrow id="A2.Ex37.m1.4.4.1.1.1" xref="A2.Ex37.m1.4.4.1.1.2.cmml"><mo stretchy="false" id="A2.Ex37.m1.4.4.1.1.1.2" xref="A2.Ex37.m1.4.4.1.1.2.1.cmml">[</mo><mrow id="A2.Ex37.m1.4.4.1.1.1.1" xref="A2.Ex37.m1.4.4.1.1.1.1.cmml"><msup id="A2.Ex37.m1.4.4.1.1.1.1.2" xref="A2.Ex37.m1.4.4.1.1.1.1.2.cmml"><mi id="A2.Ex37.m1.4.4.1.1.1.1.2.2" xref="A2.Ex37.m1.4.4.1.1.1.1.2.2.cmml">T</mi><mrow id="A2.Ex37.m1.1.1.1.3" xref="A2.Ex37.m1.4.4.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex37.m1.1.1.1.3.1" xref="A2.Ex37.m1.4.4.1.1.1.1.2.cmml">(</mo><mn id="A2.Ex37.m1.1.1.1.1" xref="A2.Ex37.m1.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.Ex37.m1.1.1.1.3.2" xref="A2.Ex37.m1.4.4.1.1.1.1.2.cmml">)</mo></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A2.Ex37.m1.4.4.1.1.1.1.1" xref="A2.Ex37.m1.4.4.1.1.1.1.1.cmml">∘</mo><msup id="A2.Ex37.m1.4.4.1.1.1.1.3" xref="A2.Ex37.m1.4.4.1.1.1.1.3.cmml"><mi id="A2.Ex37.m1.4.4.1.1.1.1.3.2" xref="A2.Ex37.m1.4.4.1.1.1.1.3.2.cmml">T</mi><mrow id="A2.Ex37.m1.2.2.1.3" xref="A2.Ex37.m1.4.4.1.1.1.1.3.cmml"><mo stretchy="false" id="A2.Ex37.m1.2.2.1.3.1" xref="A2.Ex37.m1.4.4.1.1.1.1.3.cmml">(</mo><mn id="A2.Ex37.m1.2.2.1.1" xref="A2.Ex37.m1.2.2.1.1.cmml">2</mn><mo stretchy="false" id="A2.Ex37.m1.2.2.1.3.2" xref="A2.Ex37.m1.4.4.1.1.1.1.3.cmml">)</mo></mrow></msup></mrow><mo stretchy="false" id="A2.Ex37.m1.4.4.1.1.1.3" xref="A2.Ex37.m1.4.4.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A2.Ex37.m1.4.4.1.2" xref="A2.Ex37.m1.4.4.1.2.cmml">​</mo><mrow id="A2.Ex37.m1.4.4.1.3.2" xref="A2.Ex37.m1.4.4.1.cmml"><mo stretchy="false" id="A2.Ex37.m1.4.4.1.3.2.1" xref="A2.Ex37.m1.4.4.1.cmml">(</mo><mi id="A2.Ex37.m1.3.3" xref="A2.Ex37.m1.3.3.cmml">x</mi><mo stretchy="false" id="A2.Ex37.m1.4.4.1.3.2.2" xref="A2.Ex37.m1.4.4.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex37.m1.4.4.2" xref="A2.Ex37.m1.4.4.2.cmml">=</mo><mi id="A2.Ex37.m1.4.4.3" xref="A2.Ex37.m1.4.4.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex37.m1.4b"><apply id="A2.Ex37.m1.4.4.cmml" xref="A2.Ex37.m1.4.4"><eq id="A2.Ex37.m1.4.4.2.cmml" xref="A2.Ex37.m1.4.4.2"></eq><apply id="A2.Ex37.m1.4.4.1.cmml" xref="A2.Ex37.m1.4.4.1"><times id="A2.Ex37.m1.4.4.1.2.cmml" xref="A2.Ex37.m1.4.4.1.2"></times><apply id="A2.Ex37.m1.4.4.1.1.2.cmml" xref="A2.Ex37.m1.4.4.1.1.1"><csymbol cd="latexml" id="A2.Ex37.m1.4.4.1.1.2.1.cmml" xref="A2.Ex37.m1.4.4.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex37.m1.4.4.1.1.1.1.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1"><compose id="A2.Ex37.m1.4.4.1.1.1.1.1.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1.1"></compose><apply id="A2.Ex37.m1.4.4.1.1.1.1.2.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.Ex37.m1.4.4.1.1.1.1.2.1.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1.2">superscript</csymbol><ci id="A2.Ex37.m1.4.4.1.1.1.1.2.2.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1.2.2">𝑇</ci><cn type="integer" id="A2.Ex37.m1.1.1.1.1.cmml" xref="A2.Ex37.m1.1.1.1.1">1</cn></apply><apply id="A2.Ex37.m1.4.4.1.1.1.1.3.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex37.m1.4.4.1.1.1.1.3.1.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1.3">superscript</csymbol><ci id="A2.Ex37.m1.4.4.1.1.1.1.3.2.cmml" xref="A2.Ex37.m1.4.4.1.1.1.1.3.2">𝑇</ci><cn type="integer" id="A2.Ex37.m1.2.2.1.1.cmml" xref="A2.Ex37.m1.2.2.1.1">2</cn></apply></apply></apply><ci id="A2.Ex37.m1.3.3.cmml" xref="A2.Ex37.m1.3.3">𝑥</ci></apply><csymbol cd="latexml" id="A2.Ex37.m1.4.4.3.cmml" xref="A2.Ex37.m1.4.4.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex37.m1.4c">\displaystyle[T^{(1)}\circ T^{(2)}](x)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex37.m2.6" class="ltx_Math" alttext="\displaystyle\sum_{i=1}^{m}a_{i}^{(1)}\odot\sigma_{i}^{(1)}\left(\sum_{j=1}^{m}a_{j}^{(2)}\odot\sigma_{j}^{(2)}(x)\right)" display="inline"><semantics id="A2.Ex37.m2.6a"><mrow id="A2.Ex37.m2.6.6" xref="A2.Ex37.m2.6.6.cmml"><mstyle displaystyle="true" id="A2.Ex37.m2.6.6.2" xref="A2.Ex37.m2.6.6.2.cmml"><munderover id="A2.Ex37.m2.6.6.2a" xref="A2.Ex37.m2.6.6.2.cmml"><mo movablelimits="false" id="A2.Ex37.m2.6.6.2.2.2" xref="A2.Ex37.m2.6.6.2.2.2.cmml">∑</mo><mrow id="A2.Ex37.m2.6.6.2.2.3" xref="A2.Ex37.m2.6.6.2.2.3.cmml"><mi id="A2.Ex37.m2.6.6.2.2.3.2" xref="A2.Ex37.m2.6.6.2.2.3.2.cmml">i</mi><mo id="A2.Ex37.m2.6.6.2.2.3.1" xref="A2.Ex37.m2.6.6.2.2.3.1.cmml">=</mo><mn id="A2.Ex37.m2.6.6.2.2.3.3" xref="A2.Ex37.m2.6.6.2.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex37.m2.6.6.2.3" xref="A2.Ex37.m2.6.6.2.3.cmml">m</mi></munderover></mstyle><mrow id="A2.Ex37.m2.6.6.1" xref="A2.Ex37.m2.6.6.1.cmml"><mrow id="A2.Ex37.m2.6.6.1.3" xref="A2.Ex37.m2.6.6.1.3.cmml"><msubsup id="A2.Ex37.m2.6.6.1.3.2" xref="A2.Ex37.m2.6.6.1.3.2.cmml"><mi id="A2.Ex37.m2.6.6.1.3.2.2.2" xref="A2.Ex37.m2.6.6.1.3.2.2.2.cmml">a</mi><mi id="A2.Ex37.m2.6.6.1.3.2.2.3" xref="A2.Ex37.m2.6.6.1.3.2.2.3.cmml">i</mi><mrow id="A2.Ex37.m2.1.1.1.3" xref="A2.Ex37.m2.6.6.1.3.2.cmml"><mo stretchy="false" id="A2.Ex37.m2.1.1.1.3.1" xref="A2.Ex37.m2.6.6.1.3.2.cmml">(</mo><mn id="A2.Ex37.m2.1.1.1.1" xref="A2.Ex37.m2.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.Ex37.m2.1.1.1.3.2" xref="A2.Ex37.m2.6.6.1.3.2.cmml">)</mo></mrow></msubsup><mo lspace="0.222em" rspace="0.222em" id="A2.Ex37.m2.6.6.1.3.1" xref="A2.Ex37.m2.6.6.1.3.1.cmml">⊙</mo><msubsup id="A2.Ex37.m2.6.6.1.3.3" xref="A2.Ex37.m2.6.6.1.3.3.cmml"><mi id="A2.Ex37.m2.6.6.1.3.3.2.2" xref="A2.Ex37.m2.6.6.1.3.3.2.2.cmml">σ</mi><mi id="A2.Ex37.m2.6.6.1.3.3.2.3" xref="A2.Ex37.m2.6.6.1.3.3.2.3.cmml">i</mi><mrow id="A2.Ex37.m2.2.2.1.3" xref="A2.Ex37.m2.6.6.1.3.3.cmml"><mo stretchy="false" id="A2.Ex37.m2.2.2.1.3.1" xref="A2.Ex37.m2.6.6.1.3.3.cmml">(</mo><mn id="A2.Ex37.m2.2.2.1.1" xref="A2.Ex37.m2.2.2.1.1.cmml">1</mn><mo stretchy="false" id="A2.Ex37.m2.2.2.1.3.2" xref="A2.Ex37.m2.6.6.1.3.3.cmml">)</mo></mrow></msubsup></mrow><mo lspace="0em" rspace="0em" id="A2.Ex37.m2.6.6.1.2" xref="A2.Ex37.m2.6.6.1.2.cmml">​</mo><mrow id="A2.Ex37.m2.6.6.1.1.1" xref="A2.Ex37.m2.6.6.1.1.1.1.cmml"><mo id="A2.Ex37.m2.6.6.1.1.1.2" xref="A2.Ex37.m2.6.6.1.1.1.1.cmml">(</mo><mrow id="A2.Ex37.m2.6.6.1.1.1.1" xref="A2.Ex37.m2.6.6.1.1.1.1.cmml"><mstyle displaystyle="true" id="A2.Ex37.m2.6.6.1.1.1.1.1" xref="A2.Ex37.m2.6.6.1.1.1.1.1.cmml"><munderover id="A2.Ex37.m2.6.6.1.1.1.1.1a" xref="A2.Ex37.m2.6.6.1.1.1.1.1.cmml"><mo movablelimits="false" id="A2.Ex37.m2.6.6.1.1.1.1.1.2.2" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.2.cmml">∑</mo><mrow id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.cmml"><mi id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.2" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.2.cmml">j</mi><mo id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.1" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.1.cmml">=</mo><mn id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.3" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex37.m2.6.6.1.1.1.1.1.3" xref="A2.Ex37.m2.6.6.1.1.1.1.1.3.cmml">m</mi></munderover></mstyle><mrow id="A2.Ex37.m2.6.6.1.1.1.1.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.cmml"><mrow id="A2.Ex37.m2.6.6.1.1.1.1.2.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.cmml"><msubsup id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.cmml"><mi id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.2.cmml">a</mi><mi id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.3" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.3.cmml">j</mi><mrow id="A2.Ex37.m2.3.3.1.3" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.cmml"><mo stretchy="false" id="A2.Ex37.m2.3.3.1.3.1" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.cmml">(</mo><mn id="A2.Ex37.m2.3.3.1.1" xref="A2.Ex37.m2.3.3.1.1.cmml">2</mn><mo stretchy="false" id="A2.Ex37.m2.3.3.1.3.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.cmml">)</mo></mrow></msubsup><mo lspace="0.222em" rspace="0.222em" id="A2.Ex37.m2.6.6.1.1.1.1.2.2.1" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.1.cmml">⊙</mo><msubsup id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.cmml"><mi id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.2.cmml">σ</mi><mi id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.3" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.3.cmml">j</mi><mrow id="A2.Ex37.m2.4.4.1.3" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.cmml"><mo stretchy="false" id="A2.Ex37.m2.4.4.1.3.1" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.cmml">(</mo><mn id="A2.Ex37.m2.4.4.1.1" xref="A2.Ex37.m2.4.4.1.1.cmml">2</mn><mo stretchy="false" id="A2.Ex37.m2.4.4.1.3.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.cmml">)</mo></mrow></msubsup></mrow><mo lspace="0em" rspace="0em" id="A2.Ex37.m2.6.6.1.1.1.1.2.1" xref="A2.Ex37.m2.6.6.1.1.1.1.2.1.cmml">​</mo><mrow id="A2.Ex37.m2.6.6.1.1.1.1.2.3.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex37.m2.6.6.1.1.1.1.2.3.2.1" xref="A2.Ex37.m2.6.6.1.1.1.1.2.cmml">(</mo><mi id="A2.Ex37.m2.5.5" xref="A2.Ex37.m2.5.5.cmml">x</mi><mo stretchy="false" id="A2.Ex37.m2.6.6.1.1.1.1.2.3.2.2" xref="A2.Ex37.m2.6.6.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow><mo id="A2.Ex37.m2.6.6.1.1.1.3" xref="A2.Ex37.m2.6.6.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex37.m2.6b"><apply id="A2.Ex37.m2.6.6.cmml" xref="A2.Ex37.m2.6.6"><apply id="A2.Ex37.m2.6.6.2.cmml" xref="A2.Ex37.m2.6.6.2"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.2.1.cmml" xref="A2.Ex37.m2.6.6.2">superscript</csymbol><apply id="A2.Ex37.m2.6.6.2.2.cmml" xref="A2.Ex37.m2.6.6.2"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.2.2.1.cmml" xref="A2.Ex37.m2.6.6.2">subscript</csymbol><sum id="A2.Ex37.m2.6.6.2.2.2.cmml" xref="A2.Ex37.m2.6.6.2.2.2"></sum><apply id="A2.Ex37.m2.6.6.2.2.3.cmml" xref="A2.Ex37.m2.6.6.2.2.3"><eq id="A2.Ex37.m2.6.6.2.2.3.1.cmml" xref="A2.Ex37.m2.6.6.2.2.3.1"></eq><ci id="A2.Ex37.m2.6.6.2.2.3.2.cmml" xref="A2.Ex37.m2.6.6.2.2.3.2">𝑖</ci><cn type="integer" id="A2.Ex37.m2.6.6.2.2.3.3.cmml" xref="A2.Ex37.m2.6.6.2.2.3.3">1</cn></apply></apply><ci id="A2.Ex37.m2.6.6.2.3.cmml" xref="A2.Ex37.m2.6.6.2.3">𝑚</ci></apply><apply id="A2.Ex37.m2.6.6.1.cmml" xref="A2.Ex37.m2.6.6.1"><times id="A2.Ex37.m2.6.6.1.2.cmml" xref="A2.Ex37.m2.6.6.1.2"></times><apply id="A2.Ex37.m2.6.6.1.3.cmml" xref="A2.Ex37.m2.6.6.1.3"><csymbol cd="latexml" id="A2.Ex37.m2.6.6.1.3.1.cmml" xref="A2.Ex37.m2.6.6.1.3.1">direct-product</csymbol><apply id="A2.Ex37.m2.6.6.1.3.2.cmml" xref="A2.Ex37.m2.6.6.1.3.2"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.3.2.1.cmml" xref="A2.Ex37.m2.6.6.1.3.2">superscript</csymbol><apply id="A2.Ex37.m2.6.6.1.3.2.2.cmml" xref="A2.Ex37.m2.6.6.1.3.2"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.3.2.2.1.cmml" xref="A2.Ex37.m2.6.6.1.3.2">subscript</csymbol><ci id="A2.Ex37.m2.6.6.1.3.2.2.2.cmml" xref="A2.Ex37.m2.6.6.1.3.2.2.2">𝑎</ci><ci id="A2.Ex37.m2.6.6.1.3.2.2.3.cmml" xref="A2.Ex37.m2.6.6.1.3.2.2.3">𝑖</ci></apply><cn type="integer" id="A2.Ex37.m2.1.1.1.1.cmml" xref="A2.Ex37.m2.1.1.1.1">1</cn></apply><apply id="A2.Ex37.m2.6.6.1.3.3.cmml" xref="A2.Ex37.m2.6.6.1.3.3"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.3.3.1.cmml" xref="A2.Ex37.m2.6.6.1.3.3">superscript</csymbol><apply id="A2.Ex37.m2.6.6.1.3.3.2.cmml" xref="A2.Ex37.m2.6.6.1.3.3"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.3.3.2.1.cmml" xref="A2.Ex37.m2.6.6.1.3.3">subscript</csymbol><ci id="A2.Ex37.m2.6.6.1.3.3.2.2.cmml" xref="A2.Ex37.m2.6.6.1.3.3.2.2">𝜎</ci><ci id="A2.Ex37.m2.6.6.1.3.3.2.3.cmml" xref="A2.Ex37.m2.6.6.1.3.3.2.3">𝑖</ci></apply><cn type="integer" id="A2.Ex37.m2.2.2.1.1.cmml" xref="A2.Ex37.m2.2.2.1.1">1</cn></apply></apply><apply id="A2.Ex37.m2.6.6.1.1.1.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1"><apply id="A2.Ex37.m2.6.6.1.1.1.1.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.1.1.1.1.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1">superscript</csymbol><apply id="A2.Ex37.m2.6.6.1.1.1.1.1.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.1.1.1.1.2.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1">subscript</csymbol><sum id="A2.Ex37.m2.6.6.1.1.1.1.1.2.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.2"></sum><apply id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3"><eq id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.1"></eq><ci id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.2">𝑗</ci><cn type="integer" id="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.3.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1.2.3.3">1</cn></apply></apply><ci id="A2.Ex37.m2.6.6.1.1.1.1.1.3.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.1.3">𝑚</ci></apply><apply id="A2.Ex37.m2.6.6.1.1.1.1.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2"><times id="A2.Ex37.m2.6.6.1.1.1.1.2.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.1"></times><apply id="A2.Ex37.m2.6.6.1.1.1.1.2.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2"><csymbol cd="latexml" id="A2.Ex37.m2.6.6.1.1.1.1.2.2.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.1">direct-product</csymbol><apply id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2">superscript</csymbol><apply id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2">subscript</csymbol><ci id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.2">𝑎</ci><ci id="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.3.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.2.2.3">𝑗</ci></apply><cn type="integer" id="A2.Ex37.m2.3.3.1.1.cmml" xref="A2.Ex37.m2.3.3.1.1">2</cn></apply><apply id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3">superscript</csymbol><apply id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3"><csymbol cd="ambiguous" id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.1.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3">subscript</csymbol><ci id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.2.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.2">𝜎</ci><ci id="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.3.cmml" xref="A2.Ex37.m2.6.6.1.1.1.1.2.2.3.2.3">𝑗</ci></apply><cn type="integer" id="A2.Ex37.m2.4.4.1.1.cmml" xref="A2.Ex37.m2.4.4.1.1">2</cn></apply></apply><ci id="A2.Ex37.m2.5.5.cmml" xref="A2.Ex37.m2.5.5">𝑥</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex37.m2.6c">\displaystyle\sum_{i=1}^{m}a_{i}^{(1)}\odot\sigma_{i}^{(1)}\left(\sum_{j=1}^{m}a_{j}^{(2)}\odot\sigma_{j}^{(2)}(x)\right)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A2.Ex38"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex38.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A2.Ex38.m1.1a"><mo id="A2.Ex38.m1.1.1" xref="A2.Ex38.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A2.Ex38.m1.1b"><eq id="A2.Ex38.m1.1.1.cmml" xref="A2.Ex38.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex38.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A2.Ex38.m2.8" class="ltx_Math" alttext="\displaystyle\sum_{i=1}^{m}\sum_{j=1}^{m}[a_{i}^{(1)}\odot\sigma_{i}^{(1)}(a_{j}^{(2)})]\odot\sigma_{i}^{(1)}(\sigma_{j}^{(2)}(x))" display="inline"><semantics id="A2.Ex38.m2.8a"><mrow id="A2.Ex38.m2.8.8" xref="A2.Ex38.m2.8.8.cmml"><mstyle displaystyle="true" id="A2.Ex38.m2.8.8.3" xref="A2.Ex38.m2.8.8.3.cmml"><munderover id="A2.Ex38.m2.8.8.3a" xref="A2.Ex38.m2.8.8.3.cmml"><mo movablelimits="false" id="A2.Ex38.m2.8.8.3.2.2" xref="A2.Ex38.m2.8.8.3.2.2.cmml">∑</mo><mrow id="A2.Ex38.m2.8.8.3.2.3" xref="A2.Ex38.m2.8.8.3.2.3.cmml"><mi id="A2.Ex38.m2.8.8.3.2.3.2" xref="A2.Ex38.m2.8.8.3.2.3.2.cmml">i</mi><mo id="A2.Ex38.m2.8.8.3.2.3.1" xref="A2.Ex38.m2.8.8.3.2.3.1.cmml">=</mo><mn id="A2.Ex38.m2.8.8.3.2.3.3" xref="A2.Ex38.m2.8.8.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex38.m2.8.8.3.3" xref="A2.Ex38.m2.8.8.3.3.cmml">m</mi></munderover></mstyle><mrow id="A2.Ex38.m2.8.8.2" xref="A2.Ex38.m2.8.8.2.cmml"><mstyle displaystyle="true" id="A2.Ex38.m2.8.8.2.3" xref="A2.Ex38.m2.8.8.2.3.cmml"><munderover id="A2.Ex38.m2.8.8.2.3a" xref="A2.Ex38.m2.8.8.2.3.cmml"><mo movablelimits="false" id="A2.Ex38.m2.8.8.2.3.2.2" xref="A2.Ex38.m2.8.8.2.3.2.2.cmml">∑</mo><mrow id="A2.Ex38.m2.8.8.2.3.2.3" xref="A2.Ex38.m2.8.8.2.3.2.3.cmml"><mi id="A2.Ex38.m2.8.8.2.3.2.3.2" xref="A2.Ex38.m2.8.8.2.3.2.3.2.cmml">j</mi><mo id="A2.Ex38.m2.8.8.2.3.2.3.1" xref="A2.Ex38.m2.8.8.2.3.2.3.1.cmml">=</mo><mn id="A2.Ex38.m2.8.8.2.3.2.3.3" xref="A2.Ex38.m2.8.8.2.3.2.3.3.cmml">1</mn></mrow><mi id="A2.Ex38.m2.8.8.2.3.3" xref="A2.Ex38.m2.8.8.2.3.3.cmml">m</mi></munderover></mstyle><mrow id="A2.Ex38.m2.8.8.2.2" xref="A2.Ex38.m2.8.8.2.2.cmml"><mrow id="A2.Ex38.m2.7.7.1.1.1" xref="A2.Ex38.m2.7.7.1.1.1.cmml"><mrow id="A2.Ex38.m2.7.7.1.1.1.1.1" xref="A2.Ex38.m2.7.7.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex38.m2.7.7.1.1.1.1.1.2" xref="A2.Ex38.m2.7.7.1.1.1.1.2.1.cmml">[</mo><mrow id="A2.Ex38.m2.7.7.1.1.1.1.1.1" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.cmml"><mrow id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.cmml"><msubsup id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.cmml"><mi id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.2.cmml">a</mi><mi id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.3.cmml">i</mi><mrow id="A2.Ex38.m2.1.1.1.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.cmml"><mo stretchy="false" id="A2.Ex38.m2.1.1.1.3.1" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.cmml">(</mo><mn id="A2.Ex38.m2.1.1.1.1" xref="A2.Ex38.m2.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.Ex38.m2.1.1.1.3.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.cmml">)</mo></mrow></msubsup><mo lspace="0.222em" rspace="0.222em" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.1" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.1.cmml">⊙</mo><msubsup id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.cmml"><mi id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.2.cmml">σ</mi><mi id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.3.cmml">i</mi><mrow id="A2.Ex38.m2.2.2.1.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.cmml"><mo stretchy="false" id="A2.Ex38.m2.2.2.1.3.1" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.cmml">(</mo><mn id="A2.Ex38.m2.2.2.1.1" xref="A2.Ex38.m2.2.2.1.1.cmml">1</mn><mo stretchy="false" id="A2.Ex38.m2.2.2.1.3.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.cmml">)</mo></mrow></msubsup></mrow><mo lspace="0em" rspace="0em" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml">(</mo><msubsup id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml"><mi id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.2.cmml">a</mi><mi id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.3.cmml">j</mi><mrow id="A2.Ex38.m2.3.3.1.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex38.m2.3.3.1.3.1" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml">(</mo><mn id="A2.Ex38.m2.3.3.1.1" xref="A2.Ex38.m2.3.3.1.1.cmml">2</mn><mo stretchy="false" id="A2.Ex38.m2.3.3.1.3.2" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></msubsup><mo stretchy="false" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.3" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.055em" stretchy="false" id="A2.Ex38.m2.7.7.1.1.1.1.1.3" xref="A2.Ex38.m2.7.7.1.1.1.1.2.1.cmml">]</mo></mrow><mo rspace="0.222em" id="A2.Ex38.m2.7.7.1.1.1.2" xref="A2.Ex38.m2.7.7.1.1.1.2.cmml">⊙</mo><msubsup id="A2.Ex38.m2.7.7.1.1.1.3" xref="A2.Ex38.m2.7.7.1.1.1.3.cmml"><mi id="A2.Ex38.m2.7.7.1.1.1.3.2.2" xref="A2.Ex38.m2.7.7.1.1.1.3.2.2.cmml">σ</mi><mi id="A2.Ex38.m2.7.7.1.1.1.3.2.3" xref="A2.Ex38.m2.7.7.1.1.1.3.2.3.cmml">i</mi><mrow id="A2.Ex38.m2.4.4.1.3" xref="A2.Ex38.m2.7.7.1.1.1.3.cmml"><mo stretchy="false" id="A2.Ex38.m2.4.4.1.3.1" xref="A2.Ex38.m2.7.7.1.1.1.3.cmml">(</mo><mn id="A2.Ex38.m2.4.4.1.1" xref="A2.Ex38.m2.4.4.1.1.cmml">1</mn><mo stretchy="false" id="A2.Ex38.m2.4.4.1.3.2" xref="A2.Ex38.m2.7.7.1.1.1.3.cmml">)</mo></mrow></msubsup></mrow><mo lspace="0em" rspace="0em" id="A2.Ex38.m2.8.8.2.2.3" xref="A2.Ex38.m2.8.8.2.2.3.cmml">​</mo><mrow id="A2.Ex38.m2.8.8.2.2.2.1" xref="A2.Ex38.m2.8.8.2.2.2.1.1.cmml"><mo stretchy="false" id="A2.Ex38.m2.8.8.2.2.2.1.2" xref="A2.Ex38.m2.8.8.2.2.2.1.1.cmml">(</mo><mrow id="A2.Ex38.m2.8.8.2.2.2.1.1" xref="A2.Ex38.m2.8.8.2.2.2.1.1.cmml"><msubsup id="A2.Ex38.m2.8.8.2.2.2.1.1.2" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.cmml"><mi id="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.2" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.2.cmml">σ</mi><mi id="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.3" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.3.cmml">j</mi><mrow id="A2.Ex38.m2.5.5.1.3" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.cmml"><mo stretchy="false" id="A2.Ex38.m2.5.5.1.3.1" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.cmml">(</mo><mn id="A2.Ex38.m2.5.5.1.1" xref="A2.Ex38.m2.5.5.1.1.cmml">2</mn><mo stretchy="false" id="A2.Ex38.m2.5.5.1.3.2" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.cmml">)</mo></mrow></msubsup><mo lspace="0em" rspace="0em" id="A2.Ex38.m2.8.8.2.2.2.1.1.1" xref="A2.Ex38.m2.8.8.2.2.2.1.1.1.cmml">​</mo><mrow id="A2.Ex38.m2.8.8.2.2.2.1.1.3.2" xref="A2.Ex38.m2.8.8.2.2.2.1.1.cmml"><mo stretchy="false" id="A2.Ex38.m2.8.8.2.2.2.1.1.3.2.1" xref="A2.Ex38.m2.8.8.2.2.2.1.1.cmml">(</mo><mi id="A2.Ex38.m2.6.6" xref="A2.Ex38.m2.6.6.cmml">x</mi><mo stretchy="false" id="A2.Ex38.m2.8.8.2.2.2.1.1.3.2.2" xref="A2.Ex38.m2.8.8.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A2.Ex38.m2.8.8.2.2.2.1.3" xref="A2.Ex38.m2.8.8.2.2.2.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex38.m2.8b"><apply id="A2.Ex38.m2.8.8.cmml" xref="A2.Ex38.m2.8.8"><apply id="A2.Ex38.m2.8.8.3.cmml" xref="A2.Ex38.m2.8.8.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.8.8.3.1.cmml" xref="A2.Ex38.m2.8.8.3">superscript</csymbol><apply id="A2.Ex38.m2.8.8.3.2.cmml" xref="A2.Ex38.m2.8.8.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.8.8.3.2.1.cmml" xref="A2.Ex38.m2.8.8.3">subscript</csymbol><sum id="A2.Ex38.m2.8.8.3.2.2.cmml" xref="A2.Ex38.m2.8.8.3.2.2"></sum><apply id="A2.Ex38.m2.8.8.3.2.3.cmml" xref="A2.Ex38.m2.8.8.3.2.3"><eq id="A2.Ex38.m2.8.8.3.2.3.1.cmml" xref="A2.Ex38.m2.8.8.3.2.3.1"></eq><ci id="A2.Ex38.m2.8.8.3.2.3.2.cmml" xref="A2.Ex38.m2.8.8.3.2.3.2">𝑖</ci><cn type="integer" id="A2.Ex38.m2.8.8.3.2.3.3.cmml" xref="A2.Ex38.m2.8.8.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex38.m2.8.8.3.3.cmml" xref="A2.Ex38.m2.8.8.3.3">𝑚</ci></apply><apply id="A2.Ex38.m2.8.8.2.cmml" xref="A2.Ex38.m2.8.8.2"><apply id="A2.Ex38.m2.8.8.2.3.cmml" xref="A2.Ex38.m2.8.8.2.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.8.8.2.3.1.cmml" xref="A2.Ex38.m2.8.8.2.3">superscript</csymbol><apply id="A2.Ex38.m2.8.8.2.3.2.cmml" xref="A2.Ex38.m2.8.8.2.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.8.8.2.3.2.1.cmml" xref="A2.Ex38.m2.8.8.2.3">subscript</csymbol><sum id="A2.Ex38.m2.8.8.2.3.2.2.cmml" xref="A2.Ex38.m2.8.8.2.3.2.2"></sum><apply id="A2.Ex38.m2.8.8.2.3.2.3.cmml" xref="A2.Ex38.m2.8.8.2.3.2.3"><eq id="A2.Ex38.m2.8.8.2.3.2.3.1.cmml" xref="A2.Ex38.m2.8.8.2.3.2.3.1"></eq><ci id="A2.Ex38.m2.8.8.2.3.2.3.2.cmml" xref="A2.Ex38.m2.8.8.2.3.2.3.2">𝑗</ci><cn type="integer" id="A2.Ex38.m2.8.8.2.3.2.3.3.cmml" xref="A2.Ex38.m2.8.8.2.3.2.3.3">1</cn></apply></apply><ci id="A2.Ex38.m2.8.8.2.3.3.cmml" xref="A2.Ex38.m2.8.8.2.3.3">𝑚</ci></apply><apply id="A2.Ex38.m2.8.8.2.2.cmml" xref="A2.Ex38.m2.8.8.2.2"><times id="A2.Ex38.m2.8.8.2.2.3.cmml" xref="A2.Ex38.m2.8.8.2.2.3"></times><apply id="A2.Ex38.m2.7.7.1.1.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1"><csymbol cd="latexml" id="A2.Ex38.m2.7.7.1.1.1.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.2">direct-product</csymbol><apply id="A2.Ex38.m2.7.7.1.1.1.1.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex38.m2.7.7.1.1.1.1.2.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1"><times id="A2.Ex38.m2.7.7.1.1.1.1.1.1.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.2"></times><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3"><csymbol cd="latexml" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.1">direct-product</csymbol><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2">superscript</csymbol><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.2">𝑎</ci><ci id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.3.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.2.2.3">𝑖</ci></apply><cn type="integer" id="A2.Ex38.m2.1.1.1.1.cmml" xref="A2.Ex38.m2.1.1.1.1">1</cn></apply><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3">superscript</csymbol><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.2">𝜎</ci><ci id="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.3.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.3.3.2.3">𝑖</ci></apply><cn type="integer" id="A2.Ex38.m2.2.2.1.1.cmml" xref="A2.Ex38.m2.2.2.1.1">1</cn></apply></apply><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1">superscript</csymbol><apply id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.2">𝑎</ci><ci id="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A2.Ex38.m2.7.7.1.1.1.1.1.1.1.1.1.2.3">𝑗</ci></apply><cn type="integer" id="A2.Ex38.m2.3.3.1.1.cmml" xref="A2.Ex38.m2.3.3.1.1">2</cn></apply></apply></apply><apply id="A2.Ex38.m2.7.7.1.1.1.3.cmml" xref="A2.Ex38.m2.7.7.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.3.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.3">superscript</csymbol><apply id="A2.Ex38.m2.7.7.1.1.1.3.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.3"><csymbol cd="ambiguous" id="A2.Ex38.m2.7.7.1.1.1.3.2.1.cmml" xref="A2.Ex38.m2.7.7.1.1.1.3">subscript</csymbol><ci id="A2.Ex38.m2.7.7.1.1.1.3.2.2.cmml" xref="A2.Ex38.m2.7.7.1.1.1.3.2.2">𝜎</ci><ci id="A2.Ex38.m2.7.7.1.1.1.3.2.3.cmml" xref="A2.Ex38.m2.7.7.1.1.1.3.2.3">𝑖</ci></apply><cn type="integer" id="A2.Ex38.m2.4.4.1.1.cmml" xref="A2.Ex38.m2.4.4.1.1">1</cn></apply></apply><apply id="A2.Ex38.m2.8.8.2.2.2.1.1.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1"><times id="A2.Ex38.m2.8.8.2.2.2.1.1.1.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1.1.1"></times><apply id="A2.Ex38.m2.8.8.2.2.2.1.1.2.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2"><csymbol cd="ambiguous" id="A2.Ex38.m2.8.8.2.2.2.1.1.2.1.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2">superscript</csymbol><apply id="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2"><csymbol cd="ambiguous" id="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.1.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2">subscript</csymbol><ci id="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.2.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.2">𝜎</ci><ci id="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.3.cmml" xref="A2.Ex38.m2.8.8.2.2.2.1.1.2.2.3">𝑗</ci></apply><cn type="integer" id="A2.Ex38.m2.5.5.1.1.cmml" xref="A2.Ex38.m2.5.5.1.1">2</cn></apply><ci id="A2.Ex38.m2.6.6.cmml" xref="A2.Ex38.m2.6.6">𝑥</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex38.m2.8c">\displaystyle\sum_{i=1}^{m}\sum_{j=1}^{m}[a_{i}^{(1)}\odot\sigma_{i}^{(1)}(a_{j}^{(2)})]\odot\sigma_{i}^{(1)}(\sigma_{j}^{(2)}(x))</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.3.p3.8" class="ltx_p">Since <math id="A2.3.p3.3.m1.1" class="ltx_Math" alttext="K" display="inline"><semantics id="A2.3.p3.3.m1.1a"><mi id="A2.3.p3.3.m1.1.1" xref="A2.3.p3.3.m1.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="A2.3.p3.3.m1.1b"><ci id="A2.3.p3.3.m1.1.1.cmml" xref="A2.3.p3.3.m1.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.3.p3.3.m1.1c">K</annotation></semantics></math> is a subgroup of <math id="A2.3.p3.4.m2.1" class="ltx_Math" alttext="S_{n}" display="inline"><semantics id="A2.3.p3.4.m2.1a"><msub id="A2.3.p3.4.m2.1.1" xref="A2.3.p3.4.m2.1.1.cmml"><mi id="A2.3.p3.4.m2.1.1.2" xref="A2.3.p3.4.m2.1.1.2.cmml">S</mi><mi id="A2.3.p3.4.m2.1.1.3" xref="A2.3.p3.4.m2.1.1.3.cmml">n</mi></msub><annotation-xml encoding="MathML-Content" id="A2.3.p3.4.m2.1b"><apply id="A2.3.p3.4.m2.1.1.cmml" xref="A2.3.p3.4.m2.1.1"><csymbol cd="ambiguous" id="A2.3.p3.4.m2.1.1.1.cmml" xref="A2.3.p3.4.m2.1.1">subscript</csymbol><ci id="A2.3.p3.4.m2.1.1.2.cmml" xref="A2.3.p3.4.m2.1.1.2">𝑆</ci><ci id="A2.3.p3.4.m2.1.1.3.cmml" xref="A2.3.p3.4.m2.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.3.p3.4.m2.1c">S_{n}</annotation></semantics></math>, <math id="A2.3.p3.5.m3.3" class="ltx_Math" alttext="\sigma_{i}^{(1)}(\sigma_{j}^{2}(\cdot))" display="inline"><semantics id="A2.3.p3.5.m3.3a"><mrow id="A2.3.p3.5.m3.3.3" xref="A2.3.p3.5.m3.3.3.cmml"><msubsup id="A2.3.p3.5.m3.3.3.3" xref="A2.3.p3.5.m3.3.3.3.cmml"><mi id="A2.3.p3.5.m3.3.3.3.2.2" xref="A2.3.p3.5.m3.3.3.3.2.2.cmml">σ</mi><mi id="A2.3.p3.5.m3.3.3.3.2.3" xref="A2.3.p3.5.m3.3.3.3.2.3.cmml">i</mi><mrow id="A2.3.p3.5.m3.1.1.1.3" xref="A2.3.p3.5.m3.3.3.3.cmml"><mo stretchy="false" id="A2.3.p3.5.m3.1.1.1.3.1" xref="A2.3.p3.5.m3.3.3.3.cmml">(</mo><mn id="A2.3.p3.5.m3.1.1.1.1" xref="A2.3.p3.5.m3.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.3.p3.5.m3.1.1.1.3.2" xref="A2.3.p3.5.m3.3.3.3.cmml">)</mo></mrow></msubsup><mo lspace="0em" rspace="0em" id="A2.3.p3.5.m3.3.3.2" xref="A2.3.p3.5.m3.3.3.2.cmml">​</mo><mrow id="A2.3.p3.5.m3.3.3.1.1" xref="A2.3.p3.5.m3.3.3.1.1.1.cmml"><mo stretchy="false" id="A2.3.p3.5.m3.3.3.1.1.2" xref="A2.3.p3.5.m3.3.3.1.1.1.cmml">(</mo><mrow id="A2.3.p3.5.m3.3.3.1.1.1" xref="A2.3.p3.5.m3.3.3.1.1.1.cmml"><msubsup id="A2.3.p3.5.m3.3.3.1.1.1.2" xref="A2.3.p3.5.m3.3.3.1.1.1.2.cmml"><mi id="A2.3.p3.5.m3.3.3.1.1.1.2.2.2" xref="A2.3.p3.5.m3.3.3.1.1.1.2.2.2.cmml">σ</mi><mi id="A2.3.p3.5.m3.3.3.1.1.1.2.2.3" xref="A2.3.p3.5.m3.3.3.1.1.1.2.2.3.cmml">j</mi><mn id="A2.3.p3.5.m3.3.3.1.1.1.2.3" xref="A2.3.p3.5.m3.3.3.1.1.1.2.3.cmml">2</mn></msubsup><mo lspace="0em" rspace="0em" id="A2.3.p3.5.m3.3.3.1.1.1.1" xref="A2.3.p3.5.m3.3.3.1.1.1.1.cmml">​</mo><mrow id="A2.3.p3.5.m3.3.3.1.1.1.3.2" xref="A2.3.p3.5.m3.3.3.1.1.1.cmml"><mo stretchy="false" id="A2.3.p3.5.m3.3.3.1.1.1.3.2.1" xref="A2.3.p3.5.m3.3.3.1.1.1.cmml">(</mo><mo lspace="0em" rspace="0em" id="A2.3.p3.5.m3.2.2" xref="A2.3.p3.5.m3.2.2.cmml">⋅</mo><mo stretchy="false" id="A2.3.p3.5.m3.3.3.1.1.1.3.2.2" xref="A2.3.p3.5.m3.3.3.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A2.3.p3.5.m3.3.3.1.1.3" xref="A2.3.p3.5.m3.3.3.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.3.p3.5.m3.3b"><apply id="A2.3.p3.5.m3.3.3.cmml" xref="A2.3.p3.5.m3.3.3"><times id="A2.3.p3.5.m3.3.3.2.cmml" xref="A2.3.p3.5.m3.3.3.2"></times><apply id="A2.3.p3.5.m3.3.3.3.cmml" xref="A2.3.p3.5.m3.3.3.3"><csymbol cd="ambiguous" id="A2.3.p3.5.m3.3.3.3.1.cmml" xref="A2.3.p3.5.m3.3.3.3">superscript</csymbol><apply id="A2.3.p3.5.m3.3.3.3.2.cmml" xref="A2.3.p3.5.m3.3.3.3"><csymbol cd="ambiguous" id="A2.3.p3.5.m3.3.3.3.2.1.cmml" xref="A2.3.p3.5.m3.3.3.3">subscript</csymbol><ci id="A2.3.p3.5.m3.3.3.3.2.2.cmml" xref="A2.3.p3.5.m3.3.3.3.2.2">𝜎</ci><ci id="A2.3.p3.5.m3.3.3.3.2.3.cmml" xref="A2.3.p3.5.m3.3.3.3.2.3">𝑖</ci></apply><cn type="integer" id="A2.3.p3.5.m3.1.1.1.1.cmml" xref="A2.3.p3.5.m3.1.1.1.1">1</cn></apply><apply id="A2.3.p3.5.m3.3.3.1.1.1.cmml" xref="A2.3.p3.5.m3.3.3.1.1"><times id="A2.3.p3.5.m3.3.3.1.1.1.1.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.1"></times><apply id="A2.3.p3.5.m3.3.3.1.1.1.2.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="A2.3.p3.5.m3.3.3.1.1.1.2.1.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.2">superscript</csymbol><apply id="A2.3.p3.5.m3.3.3.1.1.1.2.2.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="A2.3.p3.5.m3.3.3.1.1.1.2.2.1.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.2">subscript</csymbol><ci id="A2.3.p3.5.m3.3.3.1.1.1.2.2.2.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.2.2.2">𝜎</ci><ci id="A2.3.p3.5.m3.3.3.1.1.1.2.2.3.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.2.2.3">𝑗</ci></apply><cn type="integer" id="A2.3.p3.5.m3.3.3.1.1.1.2.3.cmml" xref="A2.3.p3.5.m3.3.3.1.1.1.2.3">2</cn></apply><ci id="A2.3.p3.5.m3.2.2.cmml" xref="A2.3.p3.5.m3.2.2">⋅</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.3.p3.5.m3.3c">\sigma_{i}^{(1)}(\sigma_{j}^{2}(\cdot))</annotation></semantics></math> still belongs to <math id="A2.3.p3.6.m4.1" class="ltx_Math" alttext="K" display="inline"><semantics id="A2.3.p3.6.m4.1a"><mi id="A2.3.p3.6.m4.1.1" xref="A2.3.p3.6.m4.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="A2.3.p3.6.m4.1b"><ci id="A2.3.p3.6.m4.1.1.cmml" xref="A2.3.p3.6.m4.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.3.p3.6.m4.1c">K</annotation></semantics></math>. Hence, <math id="A2.3.p3.7.m5.2" class="ltx_Math" alttext="T^{(1)}\circ T^{(2)}" display="inline"><semantics id="A2.3.p3.7.m5.2a"><mrow id="A2.3.p3.7.m5.2.3" xref="A2.3.p3.7.m5.2.3.cmml"><msup id="A2.3.p3.7.m5.2.3.2" xref="A2.3.p3.7.m5.2.3.2.cmml"><mi id="A2.3.p3.7.m5.2.3.2.2" xref="A2.3.p3.7.m5.2.3.2.2.cmml">T</mi><mrow id="A2.3.p3.7.m5.1.1.1.3" xref="A2.3.p3.7.m5.2.3.2.cmml"><mo stretchy="false" id="A2.3.p3.7.m5.1.1.1.3.1" xref="A2.3.p3.7.m5.2.3.2.cmml">(</mo><mn id="A2.3.p3.7.m5.1.1.1.1" xref="A2.3.p3.7.m5.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.3.p3.7.m5.1.1.1.3.2" xref="A2.3.p3.7.m5.2.3.2.cmml">)</mo></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A2.3.p3.7.m5.2.3.1" xref="A2.3.p3.7.m5.2.3.1.cmml">∘</mo><msup id="A2.3.p3.7.m5.2.3.3" xref="A2.3.p3.7.m5.2.3.3.cmml"><mi id="A2.3.p3.7.m5.2.3.3.2" xref="A2.3.p3.7.m5.2.3.3.2.cmml">T</mi><mrow id="A2.3.p3.7.m5.2.2.1.3" xref="A2.3.p3.7.m5.2.3.3.cmml"><mo stretchy="false" id="A2.3.p3.7.m5.2.2.1.3.1" xref="A2.3.p3.7.m5.2.3.3.cmml">(</mo><mn id="A2.3.p3.7.m5.2.2.1.1" xref="A2.3.p3.7.m5.2.2.1.1.cmml">2</mn><mo stretchy="false" id="A2.3.p3.7.m5.2.2.1.3.2" xref="A2.3.p3.7.m5.2.3.3.cmml">)</mo></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A2.3.p3.7.m5.2b"><apply id="A2.3.p3.7.m5.2.3.cmml" xref="A2.3.p3.7.m5.2.3"><compose id="A2.3.p3.7.m5.2.3.1.cmml" xref="A2.3.p3.7.m5.2.3.1"></compose><apply id="A2.3.p3.7.m5.2.3.2.cmml" xref="A2.3.p3.7.m5.2.3.2"><csymbol cd="ambiguous" id="A2.3.p3.7.m5.2.3.2.1.cmml" xref="A2.3.p3.7.m5.2.3.2">superscript</csymbol><ci id="A2.3.p3.7.m5.2.3.2.2.cmml" xref="A2.3.p3.7.m5.2.3.2.2">𝑇</ci><cn type="integer" id="A2.3.p3.7.m5.1.1.1.1.cmml" xref="A2.3.p3.7.m5.1.1.1.1">1</cn></apply><apply id="A2.3.p3.7.m5.2.3.3.cmml" xref="A2.3.p3.7.m5.2.3.3"><csymbol cd="ambiguous" id="A2.3.p3.7.m5.2.3.3.1.cmml" xref="A2.3.p3.7.m5.2.3.3">superscript</csymbol><ci id="A2.3.p3.7.m5.2.3.3.2.cmml" xref="A2.3.p3.7.m5.2.3.3.2">𝑇</ci><cn type="integer" id="A2.3.p3.7.m5.2.2.1.1.cmml" xref="A2.3.p3.7.m5.2.2.1.1">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.3.p3.7.m5.2c">T^{(1)}\circ T^{(2)}</annotation></semantics></math> will have the same form as <math id="A2.3.p3.8.m6.1" class="ltx_math_unparsed" alttext="T(\cdot|a_{1},\ldots,a_{m})" display="inline"><semantics id="A2.3.p3.8.m6.1a"><mrow id="A2.3.p3.8.m6.1b"><mi id="A2.3.p3.8.m6.1.1">T</mi><mrow id="A2.3.p3.8.m6.1.2"><mo stretchy="false" id="A2.3.p3.8.m6.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="A2.3.p3.8.m6.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A2.3.p3.8.m6.1.2.3">|</mo><msub id="A2.3.p3.8.m6.1.2.4"><mi id="A2.3.p3.8.m6.1.2.4.2">a</mi><mn id="A2.3.p3.8.m6.1.2.4.3">1</mn></msub><mo id="A2.3.p3.8.m6.1.2.5">,</mo><mi mathvariant="normal" id="A2.3.p3.8.m6.1.2.6">…</mi><mo id="A2.3.p3.8.m6.1.2.7">,</mo><msub id="A2.3.p3.8.m6.1.2.8"><mi id="A2.3.p3.8.m6.1.2.8.2">a</mi><mi id="A2.3.p3.8.m6.1.2.8.3">m</mi></msub><mo stretchy="false" id="A2.3.p3.8.m6.1.2.9">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="A2.3.p3.8.m6.1c">T(\cdot|a_{1},\ldots,a_{m})</annotation></semantics></math> after merging like terms.</p>
</div>
<div id="A2.4.p4" class="ltx_para">
<p id="A2.4.p4.4" class="ltx_p">By representing <math id="A2.4.p4.1.m1.1" class="ltx_math_unparsed" alttext="T(\cdot|a_{1},\ldots,a_{m})" display="inline"><semantics id="A2.4.p4.1.m1.1a"><mrow id="A2.4.p4.1.m1.1b"><mi id="A2.4.p4.1.m1.1.1">T</mi><mrow id="A2.4.p4.1.m1.1.2"><mo stretchy="false" id="A2.4.p4.1.m1.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="A2.4.p4.1.m1.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A2.4.p4.1.m1.1.2.3">|</mo><msub id="A2.4.p4.1.m1.1.2.4"><mi id="A2.4.p4.1.m1.1.2.4.2">a</mi><mn id="A2.4.p4.1.m1.1.2.4.3">1</mn></msub><mo id="A2.4.p4.1.m1.1.2.5">,</mo><mi mathvariant="normal" id="A2.4.p4.1.m1.1.2.6">…</mi><mo id="A2.4.p4.1.m1.1.2.7">,</mo><msub id="A2.4.p4.1.m1.1.2.8"><mi id="A2.4.p4.1.m1.1.2.8.2">a</mi><mi id="A2.4.p4.1.m1.1.2.8.3">m</mi></msub><mo stretchy="false" id="A2.4.p4.1.m1.1.2.9">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="A2.4.p4.1.m1.1c">T(\cdot|a_{1},\ldots,a_{m})</annotation></semantics></math> as a matrix, it is clear that the associativity property, i.e., <math id="A2.4.p4.2.m2.8" class="ltx_Math" alttext="(T^{(1)}\circ T^{(2)})\circ T^{(3)}=T^{(1)}\circ(T^{(2)}\circ T^{(3)})" display="inline"><semantics id="A2.4.p4.2.m2.8a"><mrow id="A2.4.p4.2.m2.8.8" xref="A2.4.p4.2.m2.8.8.cmml"><mrow id="A2.4.p4.2.m2.7.7.1" xref="A2.4.p4.2.m2.7.7.1.cmml"><mrow id="A2.4.p4.2.m2.7.7.1.1.1" xref="A2.4.p4.2.m2.7.7.1.1.1.1.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.7.7.1.1.1.2" xref="A2.4.p4.2.m2.7.7.1.1.1.1.cmml">(</mo><mrow id="A2.4.p4.2.m2.7.7.1.1.1.1" xref="A2.4.p4.2.m2.7.7.1.1.1.1.cmml"><msup id="A2.4.p4.2.m2.7.7.1.1.1.1.2" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2.cmml"><mi id="A2.4.p4.2.m2.7.7.1.1.1.1.2.2" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2.2.cmml">T</mi><mrow id="A2.4.p4.2.m2.1.1.1.3" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.1.1.1.3.1" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2.cmml">(</mo><mn id="A2.4.p4.2.m2.1.1.1.1" xref="A2.4.p4.2.m2.1.1.1.1.cmml">1</mn><mo stretchy="false" id="A2.4.p4.2.m2.1.1.1.3.2" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2.cmml">)</mo></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A2.4.p4.2.m2.7.7.1.1.1.1.1" xref="A2.4.p4.2.m2.7.7.1.1.1.1.1.cmml">∘</mo><msup id="A2.4.p4.2.m2.7.7.1.1.1.1.3" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3.cmml"><mi id="A2.4.p4.2.m2.7.7.1.1.1.1.3.2" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3.2.cmml">T</mi><mrow id="A2.4.p4.2.m2.2.2.1.3" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.2.2.1.3.1" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3.cmml">(</mo><mn id="A2.4.p4.2.m2.2.2.1.1" xref="A2.4.p4.2.m2.2.2.1.1.cmml">2</mn><mo stretchy="false" id="A2.4.p4.2.m2.2.2.1.3.2" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3.cmml">)</mo></mrow></msup></mrow><mo rspace="0.055em" stretchy="false" id="A2.4.p4.2.m2.7.7.1.1.1.3" xref="A2.4.p4.2.m2.7.7.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="A2.4.p4.2.m2.7.7.1.2" xref="A2.4.p4.2.m2.7.7.1.2.cmml">∘</mo><msup id="A2.4.p4.2.m2.7.7.1.3" xref="A2.4.p4.2.m2.7.7.1.3.cmml"><mi id="A2.4.p4.2.m2.7.7.1.3.2" xref="A2.4.p4.2.m2.7.7.1.3.2.cmml">T</mi><mrow id="A2.4.p4.2.m2.3.3.1.3" xref="A2.4.p4.2.m2.7.7.1.3.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.3.3.1.3.1" xref="A2.4.p4.2.m2.7.7.1.3.cmml">(</mo><mn id="A2.4.p4.2.m2.3.3.1.1" xref="A2.4.p4.2.m2.3.3.1.1.cmml">3</mn><mo stretchy="false" id="A2.4.p4.2.m2.3.3.1.3.2" xref="A2.4.p4.2.m2.7.7.1.3.cmml">)</mo></mrow></msup></mrow><mo id="A2.4.p4.2.m2.8.8.3" xref="A2.4.p4.2.m2.8.8.3.cmml">=</mo><mrow id="A2.4.p4.2.m2.8.8.2" xref="A2.4.p4.2.m2.8.8.2.cmml"><msup id="A2.4.p4.2.m2.8.8.2.3" xref="A2.4.p4.2.m2.8.8.2.3.cmml"><mi id="A2.4.p4.2.m2.8.8.2.3.2" xref="A2.4.p4.2.m2.8.8.2.3.2.cmml">T</mi><mrow id="A2.4.p4.2.m2.4.4.1.3" xref="A2.4.p4.2.m2.8.8.2.3.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.4.4.1.3.1" xref="A2.4.p4.2.m2.8.8.2.3.cmml">(</mo><mn id="A2.4.p4.2.m2.4.4.1.1" xref="A2.4.p4.2.m2.4.4.1.1.cmml">1</mn><mo stretchy="false" id="A2.4.p4.2.m2.4.4.1.3.2" xref="A2.4.p4.2.m2.8.8.2.3.cmml">)</mo></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A2.4.p4.2.m2.8.8.2.2" xref="A2.4.p4.2.m2.8.8.2.2.cmml">∘</mo><mrow id="A2.4.p4.2.m2.8.8.2.1.1" xref="A2.4.p4.2.m2.8.8.2.1.1.1.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.8.8.2.1.1.2" xref="A2.4.p4.2.m2.8.8.2.1.1.1.cmml">(</mo><mrow id="A2.4.p4.2.m2.8.8.2.1.1.1" xref="A2.4.p4.2.m2.8.8.2.1.1.1.cmml"><msup id="A2.4.p4.2.m2.8.8.2.1.1.1.2" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2.cmml"><mi id="A2.4.p4.2.m2.8.8.2.1.1.1.2.2" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2.2.cmml">T</mi><mrow id="A2.4.p4.2.m2.5.5.1.3" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.5.5.1.3.1" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2.cmml">(</mo><mn id="A2.4.p4.2.m2.5.5.1.1" xref="A2.4.p4.2.m2.5.5.1.1.cmml">2</mn><mo stretchy="false" id="A2.4.p4.2.m2.5.5.1.3.2" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2.cmml">)</mo></mrow></msup><mo lspace="0.222em" rspace="0.222em" id="A2.4.p4.2.m2.8.8.2.1.1.1.1" xref="A2.4.p4.2.m2.8.8.2.1.1.1.1.cmml">∘</mo><msup id="A2.4.p4.2.m2.8.8.2.1.1.1.3" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3.cmml"><mi id="A2.4.p4.2.m2.8.8.2.1.1.1.3.2" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3.2.cmml">T</mi><mrow id="A2.4.p4.2.m2.6.6.1.3" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3.cmml"><mo stretchy="false" id="A2.4.p4.2.m2.6.6.1.3.1" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3.cmml">(</mo><mn id="A2.4.p4.2.m2.6.6.1.1" xref="A2.4.p4.2.m2.6.6.1.1.cmml">3</mn><mo stretchy="false" id="A2.4.p4.2.m2.6.6.1.3.2" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3.cmml">)</mo></mrow></msup></mrow><mo stretchy="false" id="A2.4.p4.2.m2.8.8.2.1.1.3" xref="A2.4.p4.2.m2.8.8.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.4.p4.2.m2.8b"><apply id="A2.4.p4.2.m2.8.8.cmml" xref="A2.4.p4.2.m2.8.8"><eq id="A2.4.p4.2.m2.8.8.3.cmml" xref="A2.4.p4.2.m2.8.8.3"></eq><apply id="A2.4.p4.2.m2.7.7.1.cmml" xref="A2.4.p4.2.m2.7.7.1"><compose id="A2.4.p4.2.m2.7.7.1.2.cmml" xref="A2.4.p4.2.m2.7.7.1.2"></compose><apply id="A2.4.p4.2.m2.7.7.1.1.1.1.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1"><compose id="A2.4.p4.2.m2.7.7.1.1.1.1.1.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1.1.1"></compose><apply id="A2.4.p4.2.m2.7.7.1.1.1.1.2.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2"><csymbol cd="ambiguous" id="A2.4.p4.2.m2.7.7.1.1.1.1.2.1.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2">superscript</csymbol><ci id="A2.4.p4.2.m2.7.7.1.1.1.1.2.2.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1.1.2.2">𝑇</ci><cn type="integer" id="A2.4.p4.2.m2.1.1.1.1.cmml" xref="A2.4.p4.2.m2.1.1.1.1">1</cn></apply><apply id="A2.4.p4.2.m2.7.7.1.1.1.1.3.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.4.p4.2.m2.7.7.1.1.1.1.3.1.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3">superscript</csymbol><ci id="A2.4.p4.2.m2.7.7.1.1.1.1.3.2.cmml" xref="A2.4.p4.2.m2.7.7.1.1.1.1.3.2">𝑇</ci><cn type="integer" id="A2.4.p4.2.m2.2.2.1.1.cmml" xref="A2.4.p4.2.m2.2.2.1.1">2</cn></apply></apply><apply id="A2.4.p4.2.m2.7.7.1.3.cmml" xref="A2.4.p4.2.m2.7.7.1.3"><csymbol cd="ambiguous" id="A2.4.p4.2.m2.7.7.1.3.1.cmml" xref="A2.4.p4.2.m2.7.7.1.3">superscript</csymbol><ci id="A2.4.p4.2.m2.7.7.1.3.2.cmml" xref="A2.4.p4.2.m2.7.7.1.3.2">𝑇</ci><cn type="integer" id="A2.4.p4.2.m2.3.3.1.1.cmml" xref="A2.4.p4.2.m2.3.3.1.1">3</cn></apply></apply><apply id="A2.4.p4.2.m2.8.8.2.cmml" xref="A2.4.p4.2.m2.8.8.2"><compose id="A2.4.p4.2.m2.8.8.2.2.cmml" xref="A2.4.p4.2.m2.8.8.2.2"></compose><apply id="A2.4.p4.2.m2.8.8.2.3.cmml" xref="A2.4.p4.2.m2.8.8.2.3"><csymbol cd="ambiguous" id="A2.4.p4.2.m2.8.8.2.3.1.cmml" xref="A2.4.p4.2.m2.8.8.2.3">superscript</csymbol><ci id="A2.4.p4.2.m2.8.8.2.3.2.cmml" xref="A2.4.p4.2.m2.8.8.2.3.2">𝑇</ci><cn type="integer" id="A2.4.p4.2.m2.4.4.1.1.cmml" xref="A2.4.p4.2.m2.4.4.1.1">1</cn></apply><apply id="A2.4.p4.2.m2.8.8.2.1.1.1.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1"><compose id="A2.4.p4.2.m2.8.8.2.1.1.1.1.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1.1.1"></compose><apply id="A2.4.p4.2.m2.8.8.2.1.1.1.2.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2"><csymbol cd="ambiguous" id="A2.4.p4.2.m2.8.8.2.1.1.1.2.1.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2">superscript</csymbol><ci id="A2.4.p4.2.m2.8.8.2.1.1.1.2.2.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1.1.2.2">𝑇</ci><cn type="integer" id="A2.4.p4.2.m2.5.5.1.1.cmml" xref="A2.4.p4.2.m2.5.5.1.1">2</cn></apply><apply id="A2.4.p4.2.m2.8.8.2.1.1.1.3.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3"><csymbol cd="ambiguous" id="A2.4.p4.2.m2.8.8.2.1.1.1.3.1.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3">superscript</csymbol><ci id="A2.4.p4.2.m2.8.8.2.1.1.1.3.2.cmml" xref="A2.4.p4.2.m2.8.8.2.1.1.1.3.2">𝑇</ci><cn type="integer" id="A2.4.p4.2.m2.6.6.1.1.cmml" xref="A2.4.p4.2.m2.6.6.1.1">3</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.4.p4.2.m2.8c">(T^{(1)}\circ T^{(2)})\circ T^{(3)}=T^{(1)}\circ(T^{(2)}\circ T^{(3)})</annotation></semantics></math>, holds since matrix multiplication is associative. Lastly, the inverse of <math id="A2.4.p4.3.m3.1" class="ltx_math_unparsed" alttext="T(\cdot|a_{1},\ldots,a_{m})" display="inline"><semantics id="A2.4.p4.3.m3.1a"><mrow id="A2.4.p4.3.m3.1b"><mi id="A2.4.p4.3.m3.1.1">T</mi><mrow id="A2.4.p4.3.m3.1.2"><mo stretchy="false" id="A2.4.p4.3.m3.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="A2.4.p4.3.m3.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A2.4.p4.3.m3.1.2.3">|</mo><msub id="A2.4.p4.3.m3.1.2.4"><mi id="A2.4.p4.3.m3.1.2.4.2">a</mi><mn id="A2.4.p4.3.m3.1.2.4.3">1</mn></msub><mo id="A2.4.p4.3.m3.1.2.5">,</mo><mi mathvariant="normal" id="A2.4.p4.3.m3.1.2.6">…</mi><mo id="A2.4.p4.3.m3.1.2.7">,</mo><msub id="A2.4.p4.3.m3.1.2.8"><mi id="A2.4.p4.3.m3.1.2.8.2">a</mi><mi id="A2.4.p4.3.m3.1.2.8.3">m</mi></msub><mo stretchy="false" id="A2.4.p4.3.m3.1.2.9">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="A2.4.p4.3.m3.1c">T(\cdot|a_{1},\ldots,a_{m})</annotation></semantics></math> exists since we assume that <math id="A2.4.p4.4.m4.1" class="ltx_math_unparsed" alttext="T(\cdot|a_{1},\ldots,a_{m})" display="inline"><semantics id="A2.4.p4.4.m4.1a"><mrow id="A2.4.p4.4.m4.1b"><mi id="A2.4.p4.4.m4.1.1">T</mi><mrow id="A2.4.p4.4.m4.1.2"><mo stretchy="false" id="A2.4.p4.4.m4.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="A2.4.p4.4.m4.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A2.4.p4.4.m4.1.2.3">|</mo><msub id="A2.4.p4.4.m4.1.2.4"><mi id="A2.4.p4.4.m4.1.2.4.2">a</mi><mn id="A2.4.p4.4.m4.1.2.4.3">1</mn></msub><mo id="A2.4.p4.4.m4.1.2.5">,</mo><mi mathvariant="normal" id="A2.4.p4.4.m4.1.2.6">…</mi><mo id="A2.4.p4.4.m4.1.2.7">,</mo><msub id="A2.4.p4.4.m4.1.2.8"><mi id="A2.4.p4.4.m4.1.2.8.2">a</mi><mi id="A2.4.p4.4.m4.1.2.8.3">m</mi></msub><mo stretchy="false" id="A2.4.p4.4.m4.1.2.9">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="A2.4.p4.4.m4.1c">T(\cdot|a_{1},\ldots,a_{m})</annotation></semantics></math> is bijective, and thus its representation is an invertible matrix.  ∎</p>
</div>
</div>
<div id="A2.p3" class="ltx_para">
<p id="A2.p3.6" class="ltx_p">We want to point out that not all simple matrix-free preconditions can be constructed by Theorem <a href="#S3.Thmclaim1" title="Claim 3.1. ‣ 3.2 Sparse Matrix-Free Preconditioners ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.1</span></a>. Let us take the widely used feature normalization transform, e.g., batch normalization <cite class="ltx_cite ltx_citemacro_citep">[Ioffe and Szegedy, <a href="#bib.bib16" title="" class="ltx_ref">2015</a>]</cite>, layer normalization <cite class="ltx_cite ltx_citemacro_citep">[Ba et al., <a href="#bib.bib3" title="" class="ltx_ref">2016</a>]</cite> and group normalization <cite class="ltx_cite ltx_citemacro_citep">[Wu and He, <a href="#bib.bib45" title="" class="ltx_ref">2018</a>]</cite> as an example. We have</p>
<table id="A12.EGx28" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A2.Ex39"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A2.Ex39.m1.4" class="ltx_Math" alttext="\displaystyle T(x|\mu,\sigma)=(x-\mu)/\sigma" display="inline"><semantics id="A2.Ex39.m1.4a"><mrow id="A2.Ex39.m1.4.4" xref="A2.Ex39.m1.4.4.cmml"><mrow id="A2.Ex39.m1.3.3.1" xref="A2.Ex39.m1.3.3.1.cmml"><mi id="A2.Ex39.m1.3.3.1.3" xref="A2.Ex39.m1.3.3.1.3.cmml">T</mi><mo lspace="0em" rspace="0em" id="A2.Ex39.m1.3.3.1.2" xref="A2.Ex39.m1.3.3.1.2.cmml">​</mo><mrow id="A2.Ex39.m1.3.3.1.1.1" xref="A2.Ex39.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.1.2" xref="A2.Ex39.m1.3.3.1.1.1.1.cmml">(</mo><mrow id="A2.Ex39.m1.3.3.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.1.1.cmml"><mi id="A2.Ex39.m1.3.3.1.1.1.1.2" xref="A2.Ex39.m1.3.3.1.1.1.1.2.cmml">x</mi><mo fence="false" id="A2.Ex39.m1.3.3.1.1.1.1.1" xref="A2.Ex39.m1.3.3.1.1.1.1.1.cmml">|</mo><mrow id="A2.Ex39.m1.3.3.1.1.1.1.3.2" xref="A2.Ex39.m1.3.3.1.1.1.1.3.1.cmml"><mi id="A2.Ex39.m1.1.1" xref="A2.Ex39.m1.1.1.cmml">μ</mi><mo id="A2.Ex39.m1.3.3.1.1.1.1.3.2.1" xref="A2.Ex39.m1.3.3.1.1.1.1.3.1.cmml">,</mo><mi id="A2.Ex39.m1.2.2" xref="A2.Ex39.m1.2.2.cmml">σ</mi></mrow></mrow><mo stretchy="false" id="A2.Ex39.m1.3.3.1.1.1.3" xref="A2.Ex39.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A2.Ex39.m1.4.4.3" xref="A2.Ex39.m1.4.4.3.cmml">=</mo><mrow id="A2.Ex39.m1.4.4.2" xref="A2.Ex39.m1.4.4.2.cmml"><mrow id="A2.Ex39.m1.4.4.2.1.1" xref="A2.Ex39.m1.4.4.2.1.1.1.cmml"><mo stretchy="false" id="A2.Ex39.m1.4.4.2.1.1.2" xref="A2.Ex39.m1.4.4.2.1.1.1.cmml">(</mo><mrow id="A2.Ex39.m1.4.4.2.1.1.1" xref="A2.Ex39.m1.4.4.2.1.1.1.cmml"><mi id="A2.Ex39.m1.4.4.2.1.1.1.2" xref="A2.Ex39.m1.4.4.2.1.1.1.2.cmml">x</mi><mo id="A2.Ex39.m1.4.4.2.1.1.1.1" xref="A2.Ex39.m1.4.4.2.1.1.1.1.cmml">−</mo><mi id="A2.Ex39.m1.4.4.2.1.1.1.3" xref="A2.Ex39.m1.4.4.2.1.1.1.3.cmml">μ</mi></mrow><mo stretchy="false" id="A2.Ex39.m1.4.4.2.1.1.3" xref="A2.Ex39.m1.4.4.2.1.1.1.cmml">)</mo></mrow><mo id="A2.Ex39.m1.4.4.2.2" xref="A2.Ex39.m1.4.4.2.2.cmml">/</mo><mi id="A2.Ex39.m1.4.4.2.3" xref="A2.Ex39.m1.4.4.2.3.cmml">σ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex39.m1.4b"><apply id="A2.Ex39.m1.4.4.cmml" xref="A2.Ex39.m1.4.4"><eq id="A2.Ex39.m1.4.4.3.cmml" xref="A2.Ex39.m1.4.4.3"></eq><apply id="A2.Ex39.m1.3.3.1.cmml" xref="A2.Ex39.m1.3.3.1"><times id="A2.Ex39.m1.3.3.1.2.cmml" xref="A2.Ex39.m1.3.3.1.2"></times><ci id="A2.Ex39.m1.3.3.1.3.cmml" xref="A2.Ex39.m1.3.3.1.3">𝑇</ci><apply id="A2.Ex39.m1.3.3.1.1.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.1"><csymbol cd="latexml" id="A2.Ex39.m1.3.3.1.1.1.1.1.cmml" xref="A2.Ex39.m1.3.3.1.1.1.1.1">conditional</csymbol><ci id="A2.Ex39.m1.3.3.1.1.1.1.2.cmml" xref="A2.Ex39.m1.3.3.1.1.1.1.2">𝑥</ci><list id="A2.Ex39.m1.3.3.1.1.1.1.3.1.cmml" xref="A2.Ex39.m1.3.3.1.1.1.1.3.2"><ci id="A2.Ex39.m1.1.1.cmml" xref="A2.Ex39.m1.1.1">𝜇</ci><ci id="A2.Ex39.m1.2.2.cmml" xref="A2.Ex39.m1.2.2">𝜎</ci></list></apply></apply><apply id="A2.Ex39.m1.4.4.2.cmml" xref="A2.Ex39.m1.4.4.2"><divide id="A2.Ex39.m1.4.4.2.2.cmml" xref="A2.Ex39.m1.4.4.2.2"></divide><apply id="A2.Ex39.m1.4.4.2.1.1.1.cmml" xref="A2.Ex39.m1.4.4.2.1.1"><minus id="A2.Ex39.m1.4.4.2.1.1.1.1.cmml" xref="A2.Ex39.m1.4.4.2.1.1.1.1"></minus><ci id="A2.Ex39.m1.4.4.2.1.1.1.2.cmml" xref="A2.Ex39.m1.4.4.2.1.1.1.2">𝑥</ci><ci id="A2.Ex39.m1.4.4.2.1.1.1.3.cmml" xref="A2.Ex39.m1.4.4.2.1.1.1.3">𝜇</ci></apply><ci id="A2.Ex39.m1.4.4.2.3.cmml" xref="A2.Ex39.m1.4.4.2.3">𝜎</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex39.m1.4c">\displaystyle T(x|\mu,\sigma)=(x-\mu)/\sigma</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.p3.5" class="ltx_p">where <math id="A2.p3.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A2.p3.1.m1.1a"><mi id="A2.p3.1.m1.1.1" xref="A2.p3.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A2.p3.1.m1.1b"><ci id="A2.p3.1.m1.1.1.cmml" xref="A2.p3.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.p3.1.m1.1c">\mu</annotation></semantics></math> and <math id="A2.p3.2.m2.1" class="ltx_Math" alttext="\sigma" display="inline"><semantics id="A2.p3.2.m2.1a"><mi id="A2.p3.2.m2.1.1" xref="A2.p3.2.m2.1.1.cmml">σ</mi><annotation-xml encoding="MathML-Content" id="A2.p3.2.m2.1b"><ci id="A2.p3.2.m2.1.1.cmml" xref="A2.p3.2.m2.1.1">𝜎</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.p3.2.m2.1c">\sigma</annotation></semantics></math> are either scalar or vector mean and standard deviation of <math id="A2.p3.3.m3.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A2.p3.3.m3.1a"><mi id="A2.p3.3.m3.1.1" xref="A2.p3.3.m3.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A2.p3.3.m3.1b"><ci id="A2.p3.3.m3.1.1.cmml" xref="A2.p3.3.m3.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.p3.3.m3.1c">x</annotation></semantics></math>, respectively. This <math id="A2.p3.4.m4.1" class="ltx_math_unparsed" alttext="T(\cdot|\mu,\sigma)" display="inline"><semantics id="A2.p3.4.m4.1a"><mrow id="A2.p3.4.m4.1b"><mi id="A2.p3.4.m4.1.1">T</mi><mrow id="A2.p3.4.m4.1.2"><mo stretchy="false" id="A2.p3.4.m4.1.2.1">(</mo><mo lspace="0em" rspace="0em" id="A2.p3.4.m4.1.2.2">⋅</mo><mo fence="false" rspace="0.167em" stretchy="false" id="A2.p3.4.m4.1.2.3">|</mo><mi id="A2.p3.4.m4.1.2.4">μ</mi><mo id="A2.p3.4.m4.1.2.5">,</mo><mi id="A2.p3.4.m4.1.2.6">σ</mi><mo stretchy="false" id="A2.p3.4.m4.1.2.7">)</mo></mrow></mrow><annotation encoding="application/x-tex" id="A2.p3.4.m4.1c">T(\cdot|\mu,\sigma)</annotation></semantics></math> forms a sparse affine group for <math id="A2.p3.5.m5.1" class="ltx_Math" alttext="\sigma\neq 0" display="inline"><semantics id="A2.p3.5.m5.1a"><mrow id="A2.p3.5.m5.1.1" xref="A2.p3.5.m5.1.1.cmml"><mi id="A2.p3.5.m5.1.1.2" xref="A2.p3.5.m5.1.1.2.cmml">σ</mi><mo id="A2.p3.5.m5.1.1.1" xref="A2.p3.5.m5.1.1.1.cmml">≠</mo><mn id="A2.p3.5.m5.1.1.3" xref="A2.p3.5.m5.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A2.p3.5.m5.1b"><apply id="A2.p3.5.m5.1.1.cmml" xref="A2.p3.5.m5.1.1"><neq id="A2.p3.5.m5.1.1.1.cmml" xref="A2.p3.5.m5.1.1.1"></neq><ci id="A2.p3.5.m5.1.1.2.cmml" xref="A2.p3.5.m5.1.1.2">𝜎</ci><cn type="integer" id="A2.p3.5.m5.1.1.3.cmml" xref="A2.p3.5.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.p3.5.m5.1c">\sigma\neq 0</annotation></semantics></math> <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib25" title="" class="ltx_ref">2019</a>]</cite>.
However, we cannot use such preconditioners as black-box ones.</p>
</div>
</section>
<section id="A3" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix C </span>Construction of low-rank approximation preconditioners</h2>

<div id="A3.p1" class="ltx_para">
<p id="A3.p1.2" class="ltx_p">The following property states that the proposed low-rank approximation preconditioners can fit both ends of the spectra of Hessian. It is not difficult to prove this statement. But, it reveals an important advantage over traditional low-rank approximation preconditions with form <math id="A3.p1.1.m1.1" class="ltx_Math" alttext="P=\rho I+UU^{T}" display="inline"><semantics id="A3.p1.1.m1.1a"><mrow id="A3.p1.1.m1.1.1" xref="A3.p1.1.m1.1.1.cmml"><mi id="A3.p1.1.m1.1.1.2" xref="A3.p1.1.m1.1.1.2.cmml">P</mi><mo id="A3.p1.1.m1.1.1.1" xref="A3.p1.1.m1.1.1.1.cmml">=</mo><mrow id="A3.p1.1.m1.1.1.3" xref="A3.p1.1.m1.1.1.3.cmml"><mrow id="A3.p1.1.m1.1.1.3.2" xref="A3.p1.1.m1.1.1.3.2.cmml"><mi id="A3.p1.1.m1.1.1.3.2.2" xref="A3.p1.1.m1.1.1.3.2.2.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="A3.p1.1.m1.1.1.3.2.1" xref="A3.p1.1.m1.1.1.3.2.1.cmml">​</mo><mi id="A3.p1.1.m1.1.1.3.2.3" xref="A3.p1.1.m1.1.1.3.2.3.cmml">I</mi></mrow><mo id="A3.p1.1.m1.1.1.3.1" xref="A3.p1.1.m1.1.1.3.1.cmml">+</mo><mrow id="A3.p1.1.m1.1.1.3.3" xref="A3.p1.1.m1.1.1.3.3.cmml"><mi id="A3.p1.1.m1.1.1.3.3.2" xref="A3.p1.1.m1.1.1.3.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.p1.1.m1.1.1.3.3.1" xref="A3.p1.1.m1.1.1.3.3.1.cmml">​</mo><msup id="A3.p1.1.m1.1.1.3.3.3" xref="A3.p1.1.m1.1.1.3.3.3.cmml"><mi id="A3.p1.1.m1.1.1.3.3.3.2" xref="A3.p1.1.m1.1.1.3.3.3.2.cmml">U</mi><mi id="A3.p1.1.m1.1.1.3.3.3.3" xref="A3.p1.1.m1.1.1.3.3.3.3.cmml">T</mi></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.p1.1.m1.1b"><apply id="A3.p1.1.m1.1.1.cmml" xref="A3.p1.1.m1.1.1"><eq id="A3.p1.1.m1.1.1.1.cmml" xref="A3.p1.1.m1.1.1.1"></eq><ci id="A3.p1.1.m1.1.1.2.cmml" xref="A3.p1.1.m1.1.1.2">𝑃</ci><apply id="A3.p1.1.m1.1.1.3.cmml" xref="A3.p1.1.m1.1.1.3"><plus id="A3.p1.1.m1.1.1.3.1.cmml" xref="A3.p1.1.m1.1.1.3.1"></plus><apply id="A3.p1.1.m1.1.1.3.2.cmml" xref="A3.p1.1.m1.1.1.3.2"><times id="A3.p1.1.m1.1.1.3.2.1.cmml" xref="A3.p1.1.m1.1.1.3.2.1"></times><ci id="A3.p1.1.m1.1.1.3.2.2.cmml" xref="A3.p1.1.m1.1.1.3.2.2">𝜌</ci><ci id="A3.p1.1.m1.1.1.3.2.3.cmml" xref="A3.p1.1.m1.1.1.3.2.3">𝐼</ci></apply><apply id="A3.p1.1.m1.1.1.3.3.cmml" xref="A3.p1.1.m1.1.1.3.3"><times id="A3.p1.1.m1.1.1.3.3.1.cmml" xref="A3.p1.1.m1.1.1.3.3.1"></times><ci id="A3.p1.1.m1.1.1.3.3.2.cmml" xref="A3.p1.1.m1.1.1.3.3.2">𝑈</ci><apply id="A3.p1.1.m1.1.1.3.3.3.cmml" xref="A3.p1.1.m1.1.1.3.3.3"><csymbol cd="ambiguous" id="A3.p1.1.m1.1.1.3.3.3.1.cmml" xref="A3.p1.1.m1.1.1.3.3.3">superscript</csymbol><ci id="A3.p1.1.m1.1.1.3.3.3.2.cmml" xref="A3.p1.1.m1.1.1.3.3.3.2">𝑈</ci><ci id="A3.p1.1.m1.1.1.3.3.3.3.cmml" xref="A3.p1.1.m1.1.1.3.3.3.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p1.1.m1.1c">P=\rho I+UU^{T}</annotation></semantics></math>, whose eigenvalues are lower bounded by <math id="A3.p1.2.m2.1" class="ltx_Math" alttext="\rho" display="inline"><semantics id="A3.p1.2.m2.1a"><mi id="A3.p1.2.m2.1.1" xref="A3.p1.2.m2.1.1.cmml">ρ</mi><annotation-xml encoding="MathML-Content" id="A3.p1.2.m2.1b"><ci id="A3.p1.2.m2.1.1.cmml" xref="A3.p1.2.m2.1.1">𝜌</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.p1.2.m2.1c">\rho</annotation></semantics></math>.</p>
</div>
<section id="A3.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">C.1 </span>Notations</h3>

<div id="A3.SS1.p1" class="ltx_para">
<p id="A3.SS1.p1.7" class="ltx_p">Let <math id="A3.SS1.p1.1.m1.1" class="ltx_Math" alttext="Q=(I+UV^{T})B" display="inline"><semantics id="A3.SS1.p1.1.m1.1a"><mrow id="A3.SS1.p1.1.m1.1.1" xref="A3.SS1.p1.1.m1.1.1.cmml"><mi id="A3.SS1.p1.1.m1.1.1.3" xref="A3.SS1.p1.1.m1.1.1.3.cmml">Q</mi><mo id="A3.SS1.p1.1.m1.1.1.2" xref="A3.SS1.p1.1.m1.1.1.2.cmml">=</mo><mrow id="A3.SS1.p1.1.m1.1.1.1" xref="A3.SS1.p1.1.m1.1.1.1.cmml"><mrow id="A3.SS1.p1.1.m1.1.1.1.1.1" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS1.p1.1.m1.1.1.1.1.1.2" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS1.p1.1.m1.1.1.1.1.1.1" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.cmml"><mi id="A3.SS1.p1.1.m1.1.1.1.1.1.1.2" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A3.SS1.p1.1.m1.1.1.1.1.1.1.1" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.cmml"><mi id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.2" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.1" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.cmml"><mi id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.2" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.3" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A3.SS1.p1.1.m1.1.1.1.1.1.3" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.SS1.p1.1.m1.1.1.1.2" xref="A3.SS1.p1.1.m1.1.1.1.2.cmml">​</mo><mi id="A3.SS1.p1.1.m1.1.1.1.3" xref="A3.SS1.p1.1.m1.1.1.1.3.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.1.m1.1b"><apply id="A3.SS1.p1.1.m1.1.1.cmml" xref="A3.SS1.p1.1.m1.1.1"><eq id="A3.SS1.p1.1.m1.1.1.2.cmml" xref="A3.SS1.p1.1.m1.1.1.2"></eq><ci id="A3.SS1.p1.1.m1.1.1.3.cmml" xref="A3.SS1.p1.1.m1.1.1.3">𝑄</ci><apply id="A3.SS1.p1.1.m1.1.1.1.cmml" xref="A3.SS1.p1.1.m1.1.1.1"><times id="A3.SS1.p1.1.m1.1.1.1.2.cmml" xref="A3.SS1.p1.1.m1.1.1.1.2"></times><apply id="A3.SS1.p1.1.m1.1.1.1.1.1.1.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1"><plus id="A3.SS1.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.1"></plus><ci id="A3.SS1.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.2">𝐼</ci><apply id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3"><times id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.1.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.1"></times><ci id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.2.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.2">𝑈</ci><apply id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.1.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.2.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.3.cmml" xref="A3.SS1.p1.1.m1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="A3.SS1.p1.1.m1.1.1.1.3.cmml" xref="A3.SS1.p1.1.m1.1.1.1.3">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.1.m1.1c">Q=(I+UV^{T})B</annotation></semantics></math>, where <math id="A3.SS1.p1.2.m2.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A3.SS1.p1.2.m2.1a"><mi id="A3.SS1.p1.2.m2.1.1" xref="A3.SS1.p1.2.m2.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.2.m2.1b"><ci id="A3.SS1.p1.2.m2.1.1.cmml" xref="A3.SS1.p1.2.m2.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.2.m2.1c">U</annotation></semantics></math> and <math id="A3.SS1.p1.3.m3.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A3.SS1.p1.3.m3.1a"><mi id="A3.SS1.p1.3.m3.1.1" xref="A3.SS1.p1.3.m3.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.3.m3.1b"><ci id="A3.SS1.p1.3.m3.1.1.cmml" xref="A3.SS1.p1.3.m3.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.3.m3.1c">V</annotation></semantics></math> are two tall thin matrices, and <math id="A3.SS1.p1.4.m4.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A3.SS1.p1.4.m4.1a"><mi id="A3.SS1.p1.4.m4.1.1" xref="A3.SS1.p1.4.m4.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.4.m4.1b"><ci id="A3.SS1.p1.4.m4.1.1.cmml" xref="A3.SS1.p1.4.m4.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.4.m4.1c">B</annotation></semantics></math> is a matrix on certain group, e.g., the group of diagonal matrix, or simply a scalar. It is an important preconditioner as after reparameterization, we can have <math id="A3.SS1.p1.5.m5.1" class="ltx_Math" alttext="Q={\rm diag}(d)+UV^{T}" display="inline"><semantics id="A3.SS1.p1.5.m5.1a"><mrow id="A3.SS1.p1.5.m5.1.2" xref="A3.SS1.p1.5.m5.1.2.cmml"><mi id="A3.SS1.p1.5.m5.1.2.2" xref="A3.SS1.p1.5.m5.1.2.2.cmml">Q</mi><mo id="A3.SS1.p1.5.m5.1.2.1" xref="A3.SS1.p1.5.m5.1.2.1.cmml">=</mo><mrow id="A3.SS1.p1.5.m5.1.2.3" xref="A3.SS1.p1.5.m5.1.2.3.cmml"><mrow id="A3.SS1.p1.5.m5.1.2.3.2" xref="A3.SS1.p1.5.m5.1.2.3.2.cmml"><mi id="A3.SS1.p1.5.m5.1.2.3.2.2" xref="A3.SS1.p1.5.m5.1.2.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A3.SS1.p1.5.m5.1.2.3.2.1" xref="A3.SS1.p1.5.m5.1.2.3.2.1.cmml">​</mo><mrow id="A3.SS1.p1.5.m5.1.2.3.2.3.2" xref="A3.SS1.p1.5.m5.1.2.3.2.cmml"><mo stretchy="false" id="A3.SS1.p1.5.m5.1.2.3.2.3.2.1" xref="A3.SS1.p1.5.m5.1.2.3.2.cmml">(</mo><mi id="A3.SS1.p1.5.m5.1.1" xref="A3.SS1.p1.5.m5.1.1.cmml">d</mi><mo stretchy="false" id="A3.SS1.p1.5.m5.1.2.3.2.3.2.2" xref="A3.SS1.p1.5.m5.1.2.3.2.cmml">)</mo></mrow></mrow><mo id="A3.SS1.p1.5.m5.1.2.3.1" xref="A3.SS1.p1.5.m5.1.2.3.1.cmml">+</mo><mrow id="A3.SS1.p1.5.m5.1.2.3.3" xref="A3.SS1.p1.5.m5.1.2.3.3.cmml"><mi id="A3.SS1.p1.5.m5.1.2.3.3.2" xref="A3.SS1.p1.5.m5.1.2.3.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.SS1.p1.5.m5.1.2.3.3.1" xref="A3.SS1.p1.5.m5.1.2.3.3.1.cmml">​</mo><msup id="A3.SS1.p1.5.m5.1.2.3.3.3" xref="A3.SS1.p1.5.m5.1.2.3.3.3.cmml"><mi id="A3.SS1.p1.5.m5.1.2.3.3.3.2" xref="A3.SS1.p1.5.m5.1.2.3.3.3.2.cmml">V</mi><mi id="A3.SS1.p1.5.m5.1.2.3.3.3.3" xref="A3.SS1.p1.5.m5.1.2.3.3.3.3.cmml">T</mi></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.5.m5.1b"><apply id="A3.SS1.p1.5.m5.1.2.cmml" xref="A3.SS1.p1.5.m5.1.2"><eq id="A3.SS1.p1.5.m5.1.2.1.cmml" xref="A3.SS1.p1.5.m5.1.2.1"></eq><ci id="A3.SS1.p1.5.m5.1.2.2.cmml" xref="A3.SS1.p1.5.m5.1.2.2">𝑄</ci><apply id="A3.SS1.p1.5.m5.1.2.3.cmml" xref="A3.SS1.p1.5.m5.1.2.3"><plus id="A3.SS1.p1.5.m5.1.2.3.1.cmml" xref="A3.SS1.p1.5.m5.1.2.3.1"></plus><apply id="A3.SS1.p1.5.m5.1.2.3.2.cmml" xref="A3.SS1.p1.5.m5.1.2.3.2"><times id="A3.SS1.p1.5.m5.1.2.3.2.1.cmml" xref="A3.SS1.p1.5.m5.1.2.3.2.1"></times><ci id="A3.SS1.p1.5.m5.1.2.3.2.2.cmml" xref="A3.SS1.p1.5.m5.1.2.3.2.2">diag</ci><ci id="A3.SS1.p1.5.m5.1.1.cmml" xref="A3.SS1.p1.5.m5.1.1">𝑑</ci></apply><apply id="A3.SS1.p1.5.m5.1.2.3.3.cmml" xref="A3.SS1.p1.5.m5.1.2.3.3"><times id="A3.SS1.p1.5.m5.1.2.3.3.1.cmml" xref="A3.SS1.p1.5.m5.1.2.3.3.1"></times><ci id="A3.SS1.p1.5.m5.1.2.3.3.2.cmml" xref="A3.SS1.p1.5.m5.1.2.3.3.2">𝑈</ci><apply id="A3.SS1.p1.5.m5.1.2.3.3.3.cmml" xref="A3.SS1.p1.5.m5.1.2.3.3.3"><csymbol cd="ambiguous" id="A3.SS1.p1.5.m5.1.2.3.3.3.1.cmml" xref="A3.SS1.p1.5.m5.1.2.3.3.3">superscript</csymbol><ci id="A3.SS1.p1.5.m5.1.2.3.3.3.2.cmml" xref="A3.SS1.p1.5.m5.1.2.3.3.3.2">𝑉</ci><ci id="A3.SS1.p1.5.m5.1.2.3.3.3.3.cmml" xref="A3.SS1.p1.5.m5.1.2.3.3.3.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.5.m5.1c">Q={\rm diag}(d)+UV^{T}</annotation></semantics></math> for diagonal matrix <math id="A3.SS1.p1.6.m6.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A3.SS1.p1.6.m6.1a"><mi id="A3.SS1.p1.6.m6.1.1" xref="A3.SS1.p1.6.m6.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.6.m6.1b"><ci id="A3.SS1.p1.6.m6.1.1.cmml" xref="A3.SS1.p1.6.m6.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.6.m6.1c">B</annotation></semantics></math>, which relates to the LM-BFGS, HF, and conjugate gradient (CG) methods.
This preconditioner is efficient if low-rank modication can significantly further reduce the condition number <span id="footnote1" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">1</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">1</sup><span class="ltx_tag ltx_tag_note">1</span>Since <math id="footnote1.m1.1" class="ltx_Math" alttext="PH" display="inline"><semantics id="footnote1.m1.1b"><mrow id="footnote1.m1.1.1" xref="footnote1.m1.1.1.cmml"><mi id="footnote1.m1.1.1.2" xref="footnote1.m1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="footnote1.m1.1.1.1" xref="footnote1.m1.1.1.1.cmml">​</mo><mi id="footnote1.m1.1.1.3" xref="footnote1.m1.1.1.3.cmml">H</mi></mrow><annotation-xml encoding="MathML-Content" id="footnote1.m1.1c"><apply id="footnote1.m1.1.1.cmml" xref="footnote1.m1.1.1"><times id="footnote1.m1.1.1.1.cmml" xref="footnote1.m1.1.1.1"></times><ci id="footnote1.m1.1.1.2.cmml" xref="footnote1.m1.1.1.2">𝑃</ci><ci id="footnote1.m1.1.1.3.cmml" xref="footnote1.m1.1.1.3">𝐻</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote1.m1.1d">PH</annotation></semantics></math> is not symmetric, smaller eigenvalue spread does not always suggest smaller condition number, e.g., <math id="footnote1.m2.4" class="ltx_Math" alttext="[1,a;0,1]" display="inline"><semantics id="footnote1.m2.4b"><mrow id="footnote1.m2.4.5.2" xref="footnote1.m2.4.5.1.cmml"><mo stretchy="false" id="footnote1.m2.4.5.2.1" xref="footnote1.m2.4.5.1.cmml">[</mo><mn id="footnote1.m2.1.1" xref="footnote1.m2.1.1.cmml">1</mn><mo id="footnote1.m2.4.5.2.2" xref="footnote1.m2.4.5.1.cmml">,</mo><mi id="footnote1.m2.2.2" xref="footnote1.m2.2.2.cmml">a</mi><mo id="footnote1.m2.4.5.2.3" xref="footnote1.m2.4.5.1.cmml">;</mo><mn id="footnote1.m2.3.3" xref="footnote1.m2.3.3.cmml">0</mn><mo id="footnote1.m2.4.5.2.4" xref="footnote1.m2.4.5.1.cmml">,</mo><mn id="footnote1.m2.4.4" xref="footnote1.m2.4.4.cmml">1</mn><mo stretchy="false" id="footnote1.m2.4.5.2.5" xref="footnote1.m2.4.5.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="footnote1.m2.4c"><list id="footnote1.m2.4.5.1.cmml" xref="footnote1.m2.4.5.2"><cn type="integer" id="footnote1.m2.1.1.cmml" xref="footnote1.m2.1.1">1</cn><ci id="footnote1.m2.2.2.cmml" xref="footnote1.m2.2.2">𝑎</ci><cn type="integer" id="footnote1.m2.3.3.cmml" xref="footnote1.m2.3.3">0</cn><cn type="integer" id="footnote1.m2.4.4.cmml" xref="footnote1.m2.4.4">1</cn></list></annotation-xml><annotation encoding="application/x-tex" id="footnote1.m2.4d">[1,a;0,1]</annotation></semantics></math> has arbitrarily large conditioner number for <math id="footnote1.m3.1" class="ltx_Math" alttext="|a|\rightarrow\infty" display="inline"><semantics id="footnote1.m3.1b"><mrow id="footnote1.m3.1.2" xref="footnote1.m3.1.2.cmml"><mrow id="footnote1.m3.1.2.2.2" xref="footnote1.m3.1.2.2.1.cmml"><mo stretchy="false" id="footnote1.m3.1.2.2.2.1" xref="footnote1.m3.1.2.2.1.1.cmml">|</mo><mi id="footnote1.m3.1.1" xref="footnote1.m3.1.1.cmml">a</mi><mo stretchy="false" id="footnote1.m3.1.2.2.2.2" xref="footnote1.m3.1.2.2.1.1.cmml">|</mo></mrow><mo stretchy="false" id="footnote1.m3.1.2.1" xref="footnote1.m3.1.2.1.cmml">→</mo><mi mathvariant="normal" id="footnote1.m3.1.2.3" xref="footnote1.m3.1.2.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="footnote1.m3.1c"><apply id="footnote1.m3.1.2.cmml" xref="footnote1.m3.1.2"><ci id="footnote1.m3.1.2.1.cmml" xref="footnote1.m3.1.2.1">→</ci><apply id="footnote1.m3.1.2.2.1.cmml" xref="footnote1.m3.1.2.2.2"><abs id="footnote1.m3.1.2.2.1.1.cmml" xref="footnote1.m3.1.2.2.2.1"></abs><ci id="footnote1.m3.1.1.cmml" xref="footnote1.m3.1.1">𝑎</ci></apply><infinity id="footnote1.m3.1.2.3.cmml" xref="footnote1.m3.1.2.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote1.m3.1d">|a|\rightarrow\infty</annotation></semantics></math>. In PSGD, <math id="footnote1.m4.1" class="ltx_Math" alttext="P" display="inline"><semantics id="footnote1.m4.1b"><mi id="footnote1.m4.1.1" xref="footnote1.m4.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="footnote1.m4.1c"><ci id="footnote1.m4.1.1.cmml" xref="footnote1.m4.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="footnote1.m4.1d">P</annotation></semantics></math> does not amplify the gradient noise (ref <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib26" title="" class="ltx_ref">2015</a>]</cite>, page 5-6, section IV.B), and thus avoids such degraded solution. </span></span></span> after preconditioning the Hessian with a diagonal matrix, i.e., a Jacobi preconditioner.
One also can think <math id="A3.SS1.p1.7.m7.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS1.p1.7.m7.1a"><mi id="A3.SS1.p1.7.m7.1.1" xref="A3.SS1.p1.7.m7.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.p1.7.m7.1b"><ci id="A3.SS1.p1.7.m7.1.1.cmml" xref="A3.SS1.p1.7.m7.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.p1.7.m7.1c">Q</annotation></semantics></math> as a low-rank approximation of the inverse square root of a positive definite Hessian.
Note that this form of preconditioner can fit both tails of the spectra of Hessian.</p>
</div>
<div id="A3.SS1.p2" class="ltx_para">
<p id="A3.SS1.p2.1" class="ltx_p">See <a href="#S3.Thmclaim2" title="Claim 3.2. ‣ 3.3 Low-Rank Approximation Preconditioner ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.2</span></a></p>
</div>
<div id="A3.SS1.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A3.SS1.1.p1" class="ltx_para">
<p id="A3.SS1.1.p1.4" class="ltx_p">Let us check the simplest case, i.e., <math id="A3.SS1.1.p1.1.m1.1" class="ltx_Math" alttext="\rho=1" display="inline"><semantics id="A3.SS1.1.p1.1.m1.1a"><mrow id="A3.SS1.1.p1.1.m1.1.1" xref="A3.SS1.1.p1.1.m1.1.1.cmml"><mi id="A3.SS1.1.p1.1.m1.1.1.2" xref="A3.SS1.1.p1.1.m1.1.1.2.cmml">ρ</mi><mo id="A3.SS1.1.p1.1.m1.1.1.1" xref="A3.SS1.1.p1.1.m1.1.1.1.cmml">=</mo><mn id="A3.SS1.1.p1.1.m1.1.1.3" xref="A3.SS1.1.p1.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.1.m1.1b"><apply id="A3.SS1.1.p1.1.m1.1.1.cmml" xref="A3.SS1.1.p1.1.m1.1.1"><eq id="A3.SS1.1.p1.1.m1.1.1.1.cmml" xref="A3.SS1.1.p1.1.m1.1.1.1"></eq><ci id="A3.SS1.1.p1.1.m1.1.1.2.cmml" xref="A3.SS1.1.p1.1.m1.1.1.2">𝜌</ci><cn type="integer" id="A3.SS1.1.p1.1.m1.1.1.3.cmml" xref="A3.SS1.1.p1.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.1.m1.1c">\rho=1</annotation></semantics></math>, <math id="A3.SS1.1.p1.2.m2.1" class="ltx_Math" alttext="U=u" display="inline"><semantics id="A3.SS1.1.p1.2.m2.1a"><mrow id="A3.SS1.1.p1.2.m2.1.1" xref="A3.SS1.1.p1.2.m2.1.1.cmml"><mi id="A3.SS1.1.p1.2.m2.1.1.2" xref="A3.SS1.1.p1.2.m2.1.1.2.cmml">U</mi><mo id="A3.SS1.1.p1.2.m2.1.1.1" xref="A3.SS1.1.p1.2.m2.1.1.1.cmml">=</mo><mi id="A3.SS1.1.p1.2.m2.1.1.3" xref="A3.SS1.1.p1.2.m2.1.1.3.cmml">u</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.2.m2.1b"><apply id="A3.SS1.1.p1.2.m2.1.1.cmml" xref="A3.SS1.1.p1.2.m2.1.1"><eq id="A3.SS1.1.p1.2.m2.1.1.1.cmml" xref="A3.SS1.1.p1.2.m2.1.1.1"></eq><ci id="A3.SS1.1.p1.2.m2.1.1.2.cmml" xref="A3.SS1.1.p1.2.m2.1.1.2">𝑈</ci><ci id="A3.SS1.1.p1.2.m2.1.1.3.cmml" xref="A3.SS1.1.p1.2.m2.1.1.3">𝑢</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.2.m2.1c">U=u</annotation></semantics></math> and <math id="A3.SS1.1.p1.3.m3.1" class="ltx_Math" alttext="V=v" display="inline"><semantics id="A3.SS1.1.p1.3.m3.1a"><mrow id="A3.SS1.1.p1.3.m3.1.1" xref="A3.SS1.1.p1.3.m3.1.1.cmml"><mi id="A3.SS1.1.p1.3.m3.1.1.2" xref="A3.SS1.1.p1.3.m3.1.1.2.cmml">V</mi><mo id="A3.SS1.1.p1.3.m3.1.1.1" xref="A3.SS1.1.p1.3.m3.1.1.1.cmml">=</mo><mi id="A3.SS1.1.p1.3.m3.1.1.3" xref="A3.SS1.1.p1.3.m3.1.1.3.cmml">v</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.3.m3.1b"><apply id="A3.SS1.1.p1.3.m3.1.1.cmml" xref="A3.SS1.1.p1.3.m3.1.1"><eq id="A3.SS1.1.p1.3.m3.1.1.1.cmml" xref="A3.SS1.1.p1.3.m3.1.1.1"></eq><ci id="A3.SS1.1.p1.3.m3.1.1.2.cmml" xref="A3.SS1.1.p1.3.m3.1.1.2">𝑉</ci><ci id="A3.SS1.1.p1.3.m3.1.1.3.cmml" xref="A3.SS1.1.p1.3.m3.1.1.3">𝑣</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.3.m3.1c">V=v</annotation></semantics></math>. Then, <math id="A3.SS1.1.p1.4.m4.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A3.SS1.1.p1.4.m4.1a"><mi id="A3.SS1.1.p1.4.m4.1.1" xref="A3.SS1.1.p1.4.m4.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.4.m4.1b"><ci id="A3.SS1.1.p1.4.m4.1.1.cmml" xref="A3.SS1.1.p1.4.m4.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.4.m4.1c">P</annotation></semantics></math> is shown to be</p>
<table id="A12.EGx29" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.Ex40"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex40.m1.1" class="ltx_Math" alttext="\displaystyle P=" display="inline"><semantics id="A3.Ex40.m1.1a"><mrow id="A3.Ex40.m1.1.1" xref="A3.Ex40.m1.1.1.cmml"><mi id="A3.Ex40.m1.1.1.2" xref="A3.Ex40.m1.1.1.2.cmml">P</mi><mo id="A3.Ex40.m1.1.1.1" xref="A3.Ex40.m1.1.1.1.cmml">=</mo><mi id="A3.Ex40.m1.1.1.3" xref="A3.Ex40.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex40.m1.1b"><apply id="A3.Ex40.m1.1.1.cmml" xref="A3.Ex40.m1.1.1"><eq id="A3.Ex40.m1.1.1.1.cmml" xref="A3.Ex40.m1.1.1.1"></eq><ci id="A3.Ex40.m1.1.1.2.cmml" xref="A3.Ex40.m1.1.1.2">𝑃</ci><csymbol cd="latexml" id="A3.Ex40.m1.1.1.3.cmml" xref="A3.Ex40.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex40.m1.1c">\displaystyle P=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex40.m2.2" class="ltx_Math" alttext="\displaystyle(I+vu^{T})(1+uv^{T})" display="inline"><semantics id="A3.Ex40.m2.2a"><mrow id="A3.Ex40.m2.2.2" xref="A3.Ex40.m2.2.2.cmml"><mrow id="A3.Ex40.m2.1.1.1.1" xref="A3.Ex40.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex40.m2.1.1.1.1.2" xref="A3.Ex40.m2.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex40.m2.1.1.1.1.1" xref="A3.Ex40.m2.1.1.1.1.1.cmml"><mi id="A3.Ex40.m2.1.1.1.1.1.2" xref="A3.Ex40.m2.1.1.1.1.1.2.cmml">I</mi><mo id="A3.Ex40.m2.1.1.1.1.1.1" xref="A3.Ex40.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.Ex40.m2.1.1.1.1.1.3" xref="A3.Ex40.m2.1.1.1.1.1.3.cmml"><mi id="A3.Ex40.m2.1.1.1.1.1.3.2" xref="A3.Ex40.m2.1.1.1.1.1.3.2.cmml">v</mi><mo lspace="0em" rspace="0em" id="A3.Ex40.m2.1.1.1.1.1.3.1" xref="A3.Ex40.m2.1.1.1.1.1.3.1.cmml">​</mo><msup id="A3.Ex40.m2.1.1.1.1.1.3.3" xref="A3.Ex40.m2.1.1.1.1.1.3.3.cmml"><mi id="A3.Ex40.m2.1.1.1.1.1.3.3.2" xref="A3.Ex40.m2.1.1.1.1.1.3.3.2.cmml">u</mi><mi id="A3.Ex40.m2.1.1.1.1.1.3.3.3" xref="A3.Ex40.m2.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A3.Ex40.m2.1.1.1.1.3" xref="A3.Ex40.m2.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex40.m2.2.2.3" xref="A3.Ex40.m2.2.2.3.cmml">​</mo><mrow id="A3.Ex40.m2.2.2.2.1" xref="A3.Ex40.m2.2.2.2.1.1.cmml"><mo stretchy="false" id="A3.Ex40.m2.2.2.2.1.2" xref="A3.Ex40.m2.2.2.2.1.1.cmml">(</mo><mrow id="A3.Ex40.m2.2.2.2.1.1" xref="A3.Ex40.m2.2.2.2.1.1.cmml"><mn id="A3.Ex40.m2.2.2.2.1.1.2" xref="A3.Ex40.m2.2.2.2.1.1.2.cmml">1</mn><mo id="A3.Ex40.m2.2.2.2.1.1.1" xref="A3.Ex40.m2.2.2.2.1.1.1.cmml">+</mo><mrow id="A3.Ex40.m2.2.2.2.1.1.3" xref="A3.Ex40.m2.2.2.2.1.1.3.cmml"><mi id="A3.Ex40.m2.2.2.2.1.1.3.2" xref="A3.Ex40.m2.2.2.2.1.1.3.2.cmml">u</mi><mo lspace="0em" rspace="0em" id="A3.Ex40.m2.2.2.2.1.1.3.1" xref="A3.Ex40.m2.2.2.2.1.1.3.1.cmml">​</mo><msup id="A3.Ex40.m2.2.2.2.1.1.3.3" xref="A3.Ex40.m2.2.2.2.1.1.3.3.cmml"><mi id="A3.Ex40.m2.2.2.2.1.1.3.3.2" xref="A3.Ex40.m2.2.2.2.1.1.3.3.2.cmml">v</mi><mi id="A3.Ex40.m2.2.2.2.1.1.3.3.3" xref="A3.Ex40.m2.2.2.2.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A3.Ex40.m2.2.2.2.1.3" xref="A3.Ex40.m2.2.2.2.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex40.m2.2b"><apply id="A3.Ex40.m2.2.2.cmml" xref="A3.Ex40.m2.2.2"><times id="A3.Ex40.m2.2.2.3.cmml" xref="A3.Ex40.m2.2.2.3"></times><apply id="A3.Ex40.m2.1.1.1.1.1.cmml" xref="A3.Ex40.m2.1.1.1.1"><plus id="A3.Ex40.m2.1.1.1.1.1.1.cmml" xref="A3.Ex40.m2.1.1.1.1.1.1"></plus><ci id="A3.Ex40.m2.1.1.1.1.1.2.cmml" xref="A3.Ex40.m2.1.1.1.1.1.2">𝐼</ci><apply id="A3.Ex40.m2.1.1.1.1.1.3.cmml" xref="A3.Ex40.m2.1.1.1.1.1.3"><times id="A3.Ex40.m2.1.1.1.1.1.3.1.cmml" xref="A3.Ex40.m2.1.1.1.1.1.3.1"></times><ci id="A3.Ex40.m2.1.1.1.1.1.3.2.cmml" xref="A3.Ex40.m2.1.1.1.1.1.3.2">𝑣</ci><apply id="A3.Ex40.m2.1.1.1.1.1.3.3.cmml" xref="A3.Ex40.m2.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.Ex40.m2.1.1.1.1.1.3.3.1.cmml" xref="A3.Ex40.m2.1.1.1.1.1.3.3">superscript</csymbol><ci id="A3.Ex40.m2.1.1.1.1.1.3.3.2.cmml" xref="A3.Ex40.m2.1.1.1.1.1.3.3.2">𝑢</ci><ci id="A3.Ex40.m2.1.1.1.1.1.3.3.3.cmml" xref="A3.Ex40.m2.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="A3.Ex40.m2.2.2.2.1.1.cmml" xref="A3.Ex40.m2.2.2.2.1"><plus id="A3.Ex40.m2.2.2.2.1.1.1.cmml" xref="A3.Ex40.m2.2.2.2.1.1.1"></plus><cn type="integer" id="A3.Ex40.m2.2.2.2.1.1.2.cmml" xref="A3.Ex40.m2.2.2.2.1.1.2">1</cn><apply id="A3.Ex40.m2.2.2.2.1.1.3.cmml" xref="A3.Ex40.m2.2.2.2.1.1.3"><times id="A3.Ex40.m2.2.2.2.1.1.3.1.cmml" xref="A3.Ex40.m2.2.2.2.1.1.3.1"></times><ci id="A3.Ex40.m2.2.2.2.1.1.3.2.cmml" xref="A3.Ex40.m2.2.2.2.1.1.3.2">𝑢</ci><apply id="A3.Ex40.m2.2.2.2.1.1.3.3.cmml" xref="A3.Ex40.m2.2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="A3.Ex40.m2.2.2.2.1.1.3.3.1.cmml" xref="A3.Ex40.m2.2.2.2.1.1.3.3">superscript</csymbol><ci id="A3.Ex40.m2.2.2.2.1.1.3.3.2.cmml" xref="A3.Ex40.m2.2.2.2.1.1.3.3.2">𝑣</ci><ci id="A3.Ex40.m2.2.2.2.1.1.3.3.3.cmml" xref="A3.Ex40.m2.2.2.2.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex40.m2.2c">\displaystyle(I+vu^{T})(1+uv^{T})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex41"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex41.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A3.Ex41.m1.1a"><mo id="A3.Ex41.m1.1.1" xref="A3.Ex41.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A3.Ex41.m1.1b"><eq id="A3.Ex41.m1.1.1.cmml" xref="A3.Ex41.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex41.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex41.m2.1" class="ltx_Math" alttext="\displaystyle I+vu^{T}+uv^{T}+(u^{T}u)vv^{T}" display="inline"><semantics id="A3.Ex41.m2.1a"><mrow id="A3.Ex41.m2.1.1" xref="A3.Ex41.m2.1.1.cmml"><mi id="A3.Ex41.m2.1.1.3" xref="A3.Ex41.m2.1.1.3.cmml">I</mi><mo id="A3.Ex41.m2.1.1.2" xref="A3.Ex41.m2.1.1.2.cmml">+</mo><mrow id="A3.Ex41.m2.1.1.4" xref="A3.Ex41.m2.1.1.4.cmml"><mi id="A3.Ex41.m2.1.1.4.2" xref="A3.Ex41.m2.1.1.4.2.cmml">v</mi><mo lspace="0em" rspace="0em" id="A3.Ex41.m2.1.1.4.1" xref="A3.Ex41.m2.1.1.4.1.cmml">​</mo><msup id="A3.Ex41.m2.1.1.4.3" xref="A3.Ex41.m2.1.1.4.3.cmml"><mi id="A3.Ex41.m2.1.1.4.3.2" xref="A3.Ex41.m2.1.1.4.3.2.cmml">u</mi><mi id="A3.Ex41.m2.1.1.4.3.3" xref="A3.Ex41.m2.1.1.4.3.3.cmml">T</mi></msup></mrow><mo id="A3.Ex41.m2.1.1.2a" xref="A3.Ex41.m2.1.1.2.cmml">+</mo><mrow id="A3.Ex41.m2.1.1.5" xref="A3.Ex41.m2.1.1.5.cmml"><mi id="A3.Ex41.m2.1.1.5.2" xref="A3.Ex41.m2.1.1.5.2.cmml">u</mi><mo lspace="0em" rspace="0em" id="A3.Ex41.m2.1.1.5.1" xref="A3.Ex41.m2.1.1.5.1.cmml">​</mo><msup id="A3.Ex41.m2.1.1.5.3" xref="A3.Ex41.m2.1.1.5.3.cmml"><mi id="A3.Ex41.m2.1.1.5.3.2" xref="A3.Ex41.m2.1.1.5.3.2.cmml">v</mi><mi id="A3.Ex41.m2.1.1.5.3.3" xref="A3.Ex41.m2.1.1.5.3.3.cmml">T</mi></msup></mrow><mo id="A3.Ex41.m2.1.1.2b" xref="A3.Ex41.m2.1.1.2.cmml">+</mo><mrow id="A3.Ex41.m2.1.1.1" xref="A3.Ex41.m2.1.1.1.cmml"><mrow id="A3.Ex41.m2.1.1.1.1.1" xref="A3.Ex41.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex41.m2.1.1.1.1.1.2" xref="A3.Ex41.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex41.m2.1.1.1.1.1.1" xref="A3.Ex41.m2.1.1.1.1.1.1.cmml"><msup id="A3.Ex41.m2.1.1.1.1.1.1.2" xref="A3.Ex41.m2.1.1.1.1.1.1.2.cmml"><mi id="A3.Ex41.m2.1.1.1.1.1.1.2.2" xref="A3.Ex41.m2.1.1.1.1.1.1.2.2.cmml">u</mi><mi id="A3.Ex41.m2.1.1.1.1.1.1.2.3" xref="A3.Ex41.m2.1.1.1.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex41.m2.1.1.1.1.1.1.1" xref="A3.Ex41.m2.1.1.1.1.1.1.1.cmml">​</mo><mi id="A3.Ex41.m2.1.1.1.1.1.1.3" xref="A3.Ex41.m2.1.1.1.1.1.1.3.cmml">u</mi></mrow><mo stretchy="false" id="A3.Ex41.m2.1.1.1.1.1.3" xref="A3.Ex41.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex41.m2.1.1.1.2" xref="A3.Ex41.m2.1.1.1.2.cmml">​</mo><mi id="A3.Ex41.m2.1.1.1.3" xref="A3.Ex41.m2.1.1.1.3.cmml">v</mi><mo lspace="0em" rspace="0em" id="A3.Ex41.m2.1.1.1.2a" xref="A3.Ex41.m2.1.1.1.2.cmml">​</mo><msup id="A3.Ex41.m2.1.1.1.4" xref="A3.Ex41.m2.1.1.1.4.cmml"><mi id="A3.Ex41.m2.1.1.1.4.2" xref="A3.Ex41.m2.1.1.1.4.2.cmml">v</mi><mi id="A3.Ex41.m2.1.1.1.4.3" xref="A3.Ex41.m2.1.1.1.4.3.cmml">T</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex41.m2.1b"><apply id="A3.Ex41.m2.1.1.cmml" xref="A3.Ex41.m2.1.1"><plus id="A3.Ex41.m2.1.1.2.cmml" xref="A3.Ex41.m2.1.1.2"></plus><ci id="A3.Ex41.m2.1.1.3.cmml" xref="A3.Ex41.m2.1.1.3">𝐼</ci><apply id="A3.Ex41.m2.1.1.4.cmml" xref="A3.Ex41.m2.1.1.4"><times id="A3.Ex41.m2.1.1.4.1.cmml" xref="A3.Ex41.m2.1.1.4.1"></times><ci id="A3.Ex41.m2.1.1.4.2.cmml" xref="A3.Ex41.m2.1.1.4.2">𝑣</ci><apply id="A3.Ex41.m2.1.1.4.3.cmml" xref="A3.Ex41.m2.1.1.4.3"><csymbol cd="ambiguous" id="A3.Ex41.m2.1.1.4.3.1.cmml" xref="A3.Ex41.m2.1.1.4.3">superscript</csymbol><ci id="A3.Ex41.m2.1.1.4.3.2.cmml" xref="A3.Ex41.m2.1.1.4.3.2">𝑢</ci><ci id="A3.Ex41.m2.1.1.4.3.3.cmml" xref="A3.Ex41.m2.1.1.4.3.3">𝑇</ci></apply></apply><apply id="A3.Ex41.m2.1.1.5.cmml" xref="A3.Ex41.m2.1.1.5"><times id="A3.Ex41.m2.1.1.5.1.cmml" xref="A3.Ex41.m2.1.1.5.1"></times><ci id="A3.Ex41.m2.1.1.5.2.cmml" xref="A3.Ex41.m2.1.1.5.2">𝑢</ci><apply id="A3.Ex41.m2.1.1.5.3.cmml" xref="A3.Ex41.m2.1.1.5.3"><csymbol cd="ambiguous" id="A3.Ex41.m2.1.1.5.3.1.cmml" xref="A3.Ex41.m2.1.1.5.3">superscript</csymbol><ci id="A3.Ex41.m2.1.1.5.3.2.cmml" xref="A3.Ex41.m2.1.1.5.3.2">𝑣</ci><ci id="A3.Ex41.m2.1.1.5.3.3.cmml" xref="A3.Ex41.m2.1.1.5.3.3">𝑇</ci></apply></apply><apply id="A3.Ex41.m2.1.1.1.cmml" xref="A3.Ex41.m2.1.1.1"><times id="A3.Ex41.m2.1.1.1.2.cmml" xref="A3.Ex41.m2.1.1.1.2"></times><apply id="A3.Ex41.m2.1.1.1.1.1.1.cmml" xref="A3.Ex41.m2.1.1.1.1.1"><times id="A3.Ex41.m2.1.1.1.1.1.1.1.cmml" xref="A3.Ex41.m2.1.1.1.1.1.1.1"></times><apply id="A3.Ex41.m2.1.1.1.1.1.1.2.cmml" xref="A3.Ex41.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex41.m2.1.1.1.1.1.1.2.1.cmml" xref="A3.Ex41.m2.1.1.1.1.1.1.2">superscript</csymbol><ci id="A3.Ex41.m2.1.1.1.1.1.1.2.2.cmml" xref="A3.Ex41.m2.1.1.1.1.1.1.2.2">𝑢</ci><ci id="A3.Ex41.m2.1.1.1.1.1.1.2.3.cmml" xref="A3.Ex41.m2.1.1.1.1.1.1.2.3">𝑇</ci></apply><ci id="A3.Ex41.m2.1.1.1.1.1.1.3.cmml" xref="A3.Ex41.m2.1.1.1.1.1.1.3">𝑢</ci></apply><ci id="A3.Ex41.m2.1.1.1.3.cmml" xref="A3.Ex41.m2.1.1.1.3">𝑣</ci><apply id="A3.Ex41.m2.1.1.1.4.cmml" xref="A3.Ex41.m2.1.1.1.4"><csymbol cd="ambiguous" id="A3.Ex41.m2.1.1.1.4.1.cmml" xref="A3.Ex41.m2.1.1.1.4">superscript</csymbol><ci id="A3.Ex41.m2.1.1.1.4.2.cmml" xref="A3.Ex41.m2.1.1.1.4.2">𝑣</ci><ci id="A3.Ex41.m2.1.1.1.4.3.cmml" xref="A3.Ex41.m2.1.1.1.4.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex41.m2.1c">\displaystyle I+vu^{T}+uv^{T}+(u^{T}u)vv^{T}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A3.SS1.1.p1.9" class="ltx_p">This <math id="A3.SS1.1.p1.5.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A3.SS1.1.p1.5.m1.1a"><mi id="A3.SS1.1.p1.5.m1.1.1" xref="A3.SS1.1.p1.5.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.5.m1.1b"><ci id="A3.SS1.1.p1.5.m1.1.1.cmml" xref="A3.SS1.1.p1.5.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.5.m1.1c">P</annotation></semantics></math> has two eigenvalues determined by <math id="A3.SS1.1.p1.6.m2.1" class="ltx_Math" alttext="u" display="inline"><semantics id="A3.SS1.1.p1.6.m2.1a"><mi id="A3.SS1.1.p1.6.m2.1.1" xref="A3.SS1.1.p1.6.m2.1.1.cmml">u</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.6.m2.1b"><ci id="A3.SS1.1.p1.6.m2.1.1.cmml" xref="A3.SS1.1.p1.6.m2.1.1">𝑢</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.6.m2.1c">u</annotation></semantics></math> and <math id="A3.SS1.1.p1.7.m3.1" class="ltx_Math" alttext="v" display="inline"><semantics id="A3.SS1.1.p1.7.m3.1a"><mi id="A3.SS1.1.p1.7.m3.1.1" xref="A3.SS1.1.p1.7.m3.1.1.cmml">v</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.7.m3.1b"><ci id="A3.SS1.1.p1.7.m3.1.1.cmml" xref="A3.SS1.1.p1.7.m3.1.1">𝑣</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.7.m3.1c">v</annotation></semantics></math>, say <math id="A3.SS1.1.p1.8.m4.1" class="ltx_Math" alttext="\lambda_{1}" display="inline"><semantics id="A3.SS1.1.p1.8.m4.1a"><msub id="A3.SS1.1.p1.8.m4.1.1" xref="A3.SS1.1.p1.8.m4.1.1.cmml"><mi id="A3.SS1.1.p1.8.m4.1.1.2" xref="A3.SS1.1.p1.8.m4.1.1.2.cmml">λ</mi><mn id="A3.SS1.1.p1.8.m4.1.1.3" xref="A3.SS1.1.p1.8.m4.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.8.m4.1b"><apply id="A3.SS1.1.p1.8.m4.1.1.cmml" xref="A3.SS1.1.p1.8.m4.1.1"><csymbol cd="ambiguous" id="A3.SS1.1.p1.8.m4.1.1.1.cmml" xref="A3.SS1.1.p1.8.m4.1.1">subscript</csymbol><ci id="A3.SS1.1.p1.8.m4.1.1.2.cmml" xref="A3.SS1.1.p1.8.m4.1.1.2">𝜆</ci><cn type="integer" id="A3.SS1.1.p1.8.m4.1.1.3.cmml" xref="A3.SS1.1.p1.8.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.8.m4.1c">\lambda_{1}</annotation></semantics></math> and <math id="A3.SS1.1.p1.9.m5.1" class="ltx_Math" alttext="\lambda_{2}" display="inline"><semantics id="A3.SS1.1.p1.9.m5.1a"><msub id="A3.SS1.1.p1.9.m5.1.1" xref="A3.SS1.1.p1.9.m5.1.1.cmml"><mi id="A3.SS1.1.p1.9.m5.1.1.2" xref="A3.SS1.1.p1.9.m5.1.1.2.cmml">λ</mi><mn id="A3.SS1.1.p1.9.m5.1.1.3" xref="A3.SS1.1.p1.9.m5.1.1.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.9.m5.1b"><apply id="A3.SS1.1.p1.9.m5.1.1.cmml" xref="A3.SS1.1.p1.9.m5.1.1"><csymbol cd="ambiguous" id="A3.SS1.1.p1.9.m5.1.1.1.cmml" xref="A3.SS1.1.p1.9.m5.1.1">subscript</csymbol><ci id="A3.SS1.1.p1.9.m5.1.1.2.cmml" xref="A3.SS1.1.p1.9.m5.1.1.2">𝜆</ci><cn type="integer" id="A3.SS1.1.p1.9.m5.1.1.3.cmml" xref="A3.SS1.1.p1.9.m5.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.9.m5.1c">\lambda_{2}</annotation></semantics></math>. They satisfy</p>
<table id="A12.EGx30" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.Ex42"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex42.m1.1" class="ltx_Math" alttext="\displaystyle\lambda_{1}\lambda_{2}=" display="inline"><semantics id="A3.Ex42.m1.1a"><mrow id="A3.Ex42.m1.1.1" xref="A3.Ex42.m1.1.1.cmml"><mrow id="A3.Ex42.m1.1.1.2" xref="A3.Ex42.m1.1.1.2.cmml"><msub id="A3.Ex42.m1.1.1.2.2" xref="A3.Ex42.m1.1.1.2.2.cmml"><mi id="A3.Ex42.m1.1.1.2.2.2" xref="A3.Ex42.m1.1.1.2.2.2.cmml">λ</mi><mn id="A3.Ex42.m1.1.1.2.2.3" xref="A3.Ex42.m1.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A3.Ex42.m1.1.1.2.1" xref="A3.Ex42.m1.1.1.2.1.cmml">​</mo><msub id="A3.Ex42.m1.1.1.2.3" xref="A3.Ex42.m1.1.1.2.3.cmml"><mi id="A3.Ex42.m1.1.1.2.3.2" xref="A3.Ex42.m1.1.1.2.3.2.cmml">λ</mi><mn id="A3.Ex42.m1.1.1.2.3.3" xref="A3.Ex42.m1.1.1.2.3.3.cmml">2</mn></msub></mrow><mo id="A3.Ex42.m1.1.1.1" xref="A3.Ex42.m1.1.1.1.cmml">=</mo><mi id="A3.Ex42.m1.1.1.3" xref="A3.Ex42.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex42.m1.1b"><apply id="A3.Ex42.m1.1.1.cmml" xref="A3.Ex42.m1.1.1"><eq id="A3.Ex42.m1.1.1.1.cmml" xref="A3.Ex42.m1.1.1.1"></eq><apply id="A3.Ex42.m1.1.1.2.cmml" xref="A3.Ex42.m1.1.1.2"><times id="A3.Ex42.m1.1.1.2.1.cmml" xref="A3.Ex42.m1.1.1.2.1"></times><apply id="A3.Ex42.m1.1.1.2.2.cmml" xref="A3.Ex42.m1.1.1.2.2"><csymbol cd="ambiguous" id="A3.Ex42.m1.1.1.2.2.1.cmml" xref="A3.Ex42.m1.1.1.2.2">subscript</csymbol><ci id="A3.Ex42.m1.1.1.2.2.2.cmml" xref="A3.Ex42.m1.1.1.2.2.2">𝜆</ci><cn type="integer" id="A3.Ex42.m1.1.1.2.2.3.cmml" xref="A3.Ex42.m1.1.1.2.2.3">1</cn></apply><apply id="A3.Ex42.m1.1.1.2.3.cmml" xref="A3.Ex42.m1.1.1.2.3"><csymbol cd="ambiguous" id="A3.Ex42.m1.1.1.2.3.1.cmml" xref="A3.Ex42.m1.1.1.2.3">subscript</csymbol><ci id="A3.Ex42.m1.1.1.2.3.2.cmml" xref="A3.Ex42.m1.1.1.2.3.2">𝜆</ci><cn type="integer" id="A3.Ex42.m1.1.1.2.3.3.cmml" xref="A3.Ex42.m1.1.1.2.3.3">2</cn></apply></apply><csymbol cd="latexml" id="A3.Ex42.m1.1.1.3.cmml" xref="A3.Ex42.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex42.m1.1c">\displaystyle\lambda_{1}\lambda_{2}=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex42.m2.1" class="ltx_Math" alttext="\displaystyle(1+u^{T}v)^{2}" display="inline"><semantics id="A3.Ex42.m2.1a"><msup id="A3.Ex42.m2.1.1" xref="A3.Ex42.m2.1.1.cmml"><mrow id="A3.Ex42.m2.1.1.1.1" xref="A3.Ex42.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex42.m2.1.1.1.1.2" xref="A3.Ex42.m2.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex42.m2.1.1.1.1.1" xref="A3.Ex42.m2.1.1.1.1.1.cmml"><mn id="A3.Ex42.m2.1.1.1.1.1.2" xref="A3.Ex42.m2.1.1.1.1.1.2.cmml">1</mn><mo id="A3.Ex42.m2.1.1.1.1.1.1" xref="A3.Ex42.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.Ex42.m2.1.1.1.1.1.3" xref="A3.Ex42.m2.1.1.1.1.1.3.cmml"><msup id="A3.Ex42.m2.1.1.1.1.1.3.2" xref="A3.Ex42.m2.1.1.1.1.1.3.2.cmml"><mi id="A3.Ex42.m2.1.1.1.1.1.3.2.2" xref="A3.Ex42.m2.1.1.1.1.1.3.2.2.cmml">u</mi><mi id="A3.Ex42.m2.1.1.1.1.1.3.2.3" xref="A3.Ex42.m2.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex42.m2.1.1.1.1.1.3.1" xref="A3.Ex42.m2.1.1.1.1.1.3.1.cmml">​</mo><mi id="A3.Ex42.m2.1.1.1.1.1.3.3" xref="A3.Ex42.m2.1.1.1.1.1.3.3.cmml">v</mi></mrow></mrow><mo stretchy="false" id="A3.Ex42.m2.1.1.1.1.3" xref="A3.Ex42.m2.1.1.1.1.1.cmml">)</mo></mrow><mn id="A3.Ex42.m2.1.1.3" xref="A3.Ex42.m2.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A3.Ex42.m2.1b"><apply id="A3.Ex42.m2.1.1.cmml" xref="A3.Ex42.m2.1.1"><csymbol cd="ambiguous" id="A3.Ex42.m2.1.1.2.cmml" xref="A3.Ex42.m2.1.1">superscript</csymbol><apply id="A3.Ex42.m2.1.1.1.1.1.cmml" xref="A3.Ex42.m2.1.1.1.1"><plus id="A3.Ex42.m2.1.1.1.1.1.1.cmml" xref="A3.Ex42.m2.1.1.1.1.1.1"></plus><cn type="integer" id="A3.Ex42.m2.1.1.1.1.1.2.cmml" xref="A3.Ex42.m2.1.1.1.1.1.2">1</cn><apply id="A3.Ex42.m2.1.1.1.1.1.3.cmml" xref="A3.Ex42.m2.1.1.1.1.1.3"><times id="A3.Ex42.m2.1.1.1.1.1.3.1.cmml" xref="A3.Ex42.m2.1.1.1.1.1.3.1"></times><apply id="A3.Ex42.m2.1.1.1.1.1.3.2.cmml" xref="A3.Ex42.m2.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.Ex42.m2.1.1.1.1.1.3.2.1.cmml" xref="A3.Ex42.m2.1.1.1.1.1.3.2">superscript</csymbol><ci id="A3.Ex42.m2.1.1.1.1.1.3.2.2.cmml" xref="A3.Ex42.m2.1.1.1.1.1.3.2.2">𝑢</ci><ci id="A3.Ex42.m2.1.1.1.1.1.3.2.3.cmml" xref="A3.Ex42.m2.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A3.Ex42.m2.1.1.1.1.1.3.3.cmml" xref="A3.Ex42.m2.1.1.1.1.1.3.3">𝑣</ci></apply></apply><cn type="integer" id="A3.Ex42.m2.1.1.3.cmml" xref="A3.Ex42.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex42.m2.1c">\displaystyle(1+u^{T}v)^{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex43"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex43.m1.1" class="ltx_Math" alttext="\displaystyle\lambda_{1}+\lambda_{2}=" display="inline"><semantics id="A3.Ex43.m1.1a"><mrow id="A3.Ex43.m1.1.1" xref="A3.Ex43.m1.1.1.cmml"><mrow id="A3.Ex43.m1.1.1.2" xref="A3.Ex43.m1.1.1.2.cmml"><msub id="A3.Ex43.m1.1.1.2.2" xref="A3.Ex43.m1.1.1.2.2.cmml"><mi id="A3.Ex43.m1.1.1.2.2.2" xref="A3.Ex43.m1.1.1.2.2.2.cmml">λ</mi><mn id="A3.Ex43.m1.1.1.2.2.3" xref="A3.Ex43.m1.1.1.2.2.3.cmml">1</mn></msub><mo id="A3.Ex43.m1.1.1.2.1" xref="A3.Ex43.m1.1.1.2.1.cmml">+</mo><msub id="A3.Ex43.m1.1.1.2.3" xref="A3.Ex43.m1.1.1.2.3.cmml"><mi id="A3.Ex43.m1.1.1.2.3.2" xref="A3.Ex43.m1.1.1.2.3.2.cmml">λ</mi><mn id="A3.Ex43.m1.1.1.2.3.3" xref="A3.Ex43.m1.1.1.2.3.3.cmml">2</mn></msub></mrow><mo id="A3.Ex43.m1.1.1.1" xref="A3.Ex43.m1.1.1.1.cmml">=</mo><mi id="A3.Ex43.m1.1.1.3" xref="A3.Ex43.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex43.m1.1b"><apply id="A3.Ex43.m1.1.1.cmml" xref="A3.Ex43.m1.1.1"><eq id="A3.Ex43.m1.1.1.1.cmml" xref="A3.Ex43.m1.1.1.1"></eq><apply id="A3.Ex43.m1.1.1.2.cmml" xref="A3.Ex43.m1.1.1.2"><plus id="A3.Ex43.m1.1.1.2.1.cmml" xref="A3.Ex43.m1.1.1.2.1"></plus><apply id="A3.Ex43.m1.1.1.2.2.cmml" xref="A3.Ex43.m1.1.1.2.2"><csymbol cd="ambiguous" id="A3.Ex43.m1.1.1.2.2.1.cmml" xref="A3.Ex43.m1.1.1.2.2">subscript</csymbol><ci id="A3.Ex43.m1.1.1.2.2.2.cmml" xref="A3.Ex43.m1.1.1.2.2.2">𝜆</ci><cn type="integer" id="A3.Ex43.m1.1.1.2.2.3.cmml" xref="A3.Ex43.m1.1.1.2.2.3">1</cn></apply><apply id="A3.Ex43.m1.1.1.2.3.cmml" xref="A3.Ex43.m1.1.1.2.3"><csymbol cd="ambiguous" id="A3.Ex43.m1.1.1.2.3.1.cmml" xref="A3.Ex43.m1.1.1.2.3">subscript</csymbol><ci id="A3.Ex43.m1.1.1.2.3.2.cmml" xref="A3.Ex43.m1.1.1.2.3.2">𝜆</ci><cn type="integer" id="A3.Ex43.m1.1.1.2.3.3.cmml" xref="A3.Ex43.m1.1.1.2.3.3">2</cn></apply></apply><csymbol cd="latexml" id="A3.Ex43.m1.1.1.3.cmml" xref="A3.Ex43.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex43.m1.1c">\displaystyle\lambda_{1}+\lambda_{2}=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex43.m2.2" class="ltx_Math" alttext="\displaystyle 2+2u^{T}v+\|u\|^{2}\|v\|^{2}" display="inline"><semantics id="A3.Ex43.m2.2a"><mrow id="A3.Ex43.m2.2.3" xref="A3.Ex43.m2.2.3.cmml"><mn id="A3.Ex43.m2.2.3.2" xref="A3.Ex43.m2.2.3.2.cmml">2</mn><mo id="A3.Ex43.m2.2.3.1" xref="A3.Ex43.m2.2.3.1.cmml">+</mo><mrow id="A3.Ex43.m2.2.3.3" xref="A3.Ex43.m2.2.3.3.cmml"><mn id="A3.Ex43.m2.2.3.3.2" xref="A3.Ex43.m2.2.3.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A3.Ex43.m2.2.3.3.1" xref="A3.Ex43.m2.2.3.3.1.cmml">​</mo><msup id="A3.Ex43.m2.2.3.3.3" xref="A3.Ex43.m2.2.3.3.3.cmml"><mi id="A3.Ex43.m2.2.3.3.3.2" xref="A3.Ex43.m2.2.3.3.3.2.cmml">u</mi><mi id="A3.Ex43.m2.2.3.3.3.3" xref="A3.Ex43.m2.2.3.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex43.m2.2.3.3.1a" xref="A3.Ex43.m2.2.3.3.1.cmml">​</mo><mi id="A3.Ex43.m2.2.3.3.4" xref="A3.Ex43.m2.2.3.3.4.cmml">v</mi></mrow><mo id="A3.Ex43.m2.2.3.1a" xref="A3.Ex43.m2.2.3.1.cmml">+</mo><mrow id="A3.Ex43.m2.2.3.4" xref="A3.Ex43.m2.2.3.4.cmml"><msup id="A3.Ex43.m2.2.3.4.2" xref="A3.Ex43.m2.2.3.4.2.cmml"><mrow id="A3.Ex43.m2.2.3.4.2.2.2" xref="A3.Ex43.m2.2.3.4.2.2.1.cmml"><mo stretchy="false" id="A3.Ex43.m2.2.3.4.2.2.2.1" xref="A3.Ex43.m2.2.3.4.2.2.1.1.cmml">‖</mo><mi id="A3.Ex43.m2.1.1" xref="A3.Ex43.m2.1.1.cmml">u</mi><mo stretchy="false" id="A3.Ex43.m2.2.3.4.2.2.2.2" xref="A3.Ex43.m2.2.3.4.2.2.1.1.cmml">‖</mo></mrow><mn id="A3.Ex43.m2.2.3.4.2.3" xref="A3.Ex43.m2.2.3.4.2.3.cmml">2</mn></msup><mo lspace="0em" rspace="0em" id="A3.Ex43.m2.2.3.4.1" xref="A3.Ex43.m2.2.3.4.1.cmml">​</mo><msup id="A3.Ex43.m2.2.3.4.3" xref="A3.Ex43.m2.2.3.4.3.cmml"><mrow id="A3.Ex43.m2.2.3.4.3.2.2" xref="A3.Ex43.m2.2.3.4.3.2.1.cmml"><mo stretchy="false" id="A3.Ex43.m2.2.3.4.3.2.2.1" xref="A3.Ex43.m2.2.3.4.3.2.1.1.cmml">‖</mo><mi id="A3.Ex43.m2.2.2" xref="A3.Ex43.m2.2.2.cmml">v</mi><mo stretchy="false" id="A3.Ex43.m2.2.3.4.3.2.2.2" xref="A3.Ex43.m2.2.3.4.3.2.1.1.cmml">‖</mo></mrow><mn id="A3.Ex43.m2.2.3.4.3.3" xref="A3.Ex43.m2.2.3.4.3.3.cmml">2</mn></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex43.m2.2b"><apply id="A3.Ex43.m2.2.3.cmml" xref="A3.Ex43.m2.2.3"><plus id="A3.Ex43.m2.2.3.1.cmml" xref="A3.Ex43.m2.2.3.1"></plus><cn type="integer" id="A3.Ex43.m2.2.3.2.cmml" xref="A3.Ex43.m2.2.3.2">2</cn><apply id="A3.Ex43.m2.2.3.3.cmml" xref="A3.Ex43.m2.2.3.3"><times id="A3.Ex43.m2.2.3.3.1.cmml" xref="A3.Ex43.m2.2.3.3.1"></times><cn type="integer" id="A3.Ex43.m2.2.3.3.2.cmml" xref="A3.Ex43.m2.2.3.3.2">2</cn><apply id="A3.Ex43.m2.2.3.3.3.cmml" xref="A3.Ex43.m2.2.3.3.3"><csymbol cd="ambiguous" id="A3.Ex43.m2.2.3.3.3.1.cmml" xref="A3.Ex43.m2.2.3.3.3">superscript</csymbol><ci id="A3.Ex43.m2.2.3.3.3.2.cmml" xref="A3.Ex43.m2.2.3.3.3.2">𝑢</ci><ci id="A3.Ex43.m2.2.3.3.3.3.cmml" xref="A3.Ex43.m2.2.3.3.3.3">𝑇</ci></apply><ci id="A3.Ex43.m2.2.3.3.4.cmml" xref="A3.Ex43.m2.2.3.3.4">𝑣</ci></apply><apply id="A3.Ex43.m2.2.3.4.cmml" xref="A3.Ex43.m2.2.3.4"><times id="A3.Ex43.m2.2.3.4.1.cmml" xref="A3.Ex43.m2.2.3.4.1"></times><apply id="A3.Ex43.m2.2.3.4.2.cmml" xref="A3.Ex43.m2.2.3.4.2"><csymbol cd="ambiguous" id="A3.Ex43.m2.2.3.4.2.1.cmml" xref="A3.Ex43.m2.2.3.4.2">superscript</csymbol><apply id="A3.Ex43.m2.2.3.4.2.2.1.cmml" xref="A3.Ex43.m2.2.3.4.2.2.2"><csymbol cd="latexml" id="A3.Ex43.m2.2.3.4.2.2.1.1.cmml" xref="A3.Ex43.m2.2.3.4.2.2.2.1">norm</csymbol><ci id="A3.Ex43.m2.1.1.cmml" xref="A3.Ex43.m2.1.1">𝑢</ci></apply><cn type="integer" id="A3.Ex43.m2.2.3.4.2.3.cmml" xref="A3.Ex43.m2.2.3.4.2.3">2</cn></apply><apply id="A3.Ex43.m2.2.3.4.3.cmml" xref="A3.Ex43.m2.2.3.4.3"><csymbol cd="ambiguous" id="A3.Ex43.m2.2.3.4.3.1.cmml" xref="A3.Ex43.m2.2.3.4.3">superscript</csymbol><apply id="A3.Ex43.m2.2.3.4.3.2.1.cmml" xref="A3.Ex43.m2.2.3.4.3.2.2"><csymbol cd="latexml" id="A3.Ex43.m2.2.3.4.3.2.1.1.cmml" xref="A3.Ex43.m2.2.3.4.3.2.2.1">norm</csymbol><ci id="A3.Ex43.m2.2.2.cmml" xref="A3.Ex43.m2.2.2">𝑣</ci></apply><cn type="integer" id="A3.Ex43.m2.2.3.4.3.3.cmml" xref="A3.Ex43.m2.2.3.4.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex43.m2.2c">\displaystyle 2+2u^{T}v+\|u\|^{2}\|v\|^{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A3.SS1.1.p1.17" class="ltx_p">By choosing <math id="A3.SS1.1.p1.10.m1.1" class="ltx_Math" alttext="u" display="inline"><semantics id="A3.SS1.1.p1.10.m1.1a"><mi id="A3.SS1.1.p1.10.m1.1.1" xref="A3.SS1.1.p1.10.m1.1.1.cmml">u</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.10.m1.1b"><ci id="A3.SS1.1.p1.10.m1.1.1.cmml" xref="A3.SS1.1.p1.10.m1.1.1">𝑢</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.10.m1.1c">u</annotation></semantics></math> and <math id="A3.SS1.1.p1.11.m2.1" class="ltx_Math" alttext="v" display="inline"><semantics id="A3.SS1.1.p1.11.m2.1a"><mi id="A3.SS1.1.p1.11.m2.1.1" xref="A3.SS1.1.p1.11.m2.1.1.cmml">v</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.11.m2.1b"><ci id="A3.SS1.1.p1.11.m2.1.1.cmml" xref="A3.SS1.1.p1.11.m2.1.1">𝑣</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.11.m2.1c">v</annotation></semantics></math> properly, these two eigenvalues can be arbitrarily smaller or larger than <math id="A3.SS1.1.p1.12.m3.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A3.SS1.1.p1.12.m3.1a"><mn id="A3.SS1.1.p1.12.m3.1.1" xref="A3.SS1.1.p1.12.m3.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.12.m3.1b"><cn type="integer" id="A3.SS1.1.p1.12.m3.1.1.cmml" xref="A3.SS1.1.p1.12.m3.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.12.m3.1c">1</annotation></semantics></math>. For example, by letting <math id="A3.SS1.1.p1.13.m4.1" class="ltx_Math" alttext="u^{T}v=0" display="inline"><semantics id="A3.SS1.1.p1.13.m4.1a"><mrow id="A3.SS1.1.p1.13.m4.1.1" xref="A3.SS1.1.p1.13.m4.1.1.cmml"><mrow id="A3.SS1.1.p1.13.m4.1.1.2" xref="A3.SS1.1.p1.13.m4.1.1.2.cmml"><msup id="A3.SS1.1.p1.13.m4.1.1.2.2" xref="A3.SS1.1.p1.13.m4.1.1.2.2.cmml"><mi id="A3.SS1.1.p1.13.m4.1.1.2.2.2" xref="A3.SS1.1.p1.13.m4.1.1.2.2.2.cmml">u</mi><mi id="A3.SS1.1.p1.13.m4.1.1.2.2.3" xref="A3.SS1.1.p1.13.m4.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS1.1.p1.13.m4.1.1.2.1" xref="A3.SS1.1.p1.13.m4.1.1.2.1.cmml">​</mo><mi id="A3.SS1.1.p1.13.m4.1.1.2.3" xref="A3.SS1.1.p1.13.m4.1.1.2.3.cmml">v</mi></mrow><mo id="A3.SS1.1.p1.13.m4.1.1.1" xref="A3.SS1.1.p1.13.m4.1.1.1.cmml">=</mo><mn id="A3.SS1.1.p1.13.m4.1.1.3" xref="A3.SS1.1.p1.13.m4.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.13.m4.1b"><apply id="A3.SS1.1.p1.13.m4.1.1.cmml" xref="A3.SS1.1.p1.13.m4.1.1"><eq id="A3.SS1.1.p1.13.m4.1.1.1.cmml" xref="A3.SS1.1.p1.13.m4.1.1.1"></eq><apply id="A3.SS1.1.p1.13.m4.1.1.2.cmml" xref="A3.SS1.1.p1.13.m4.1.1.2"><times id="A3.SS1.1.p1.13.m4.1.1.2.1.cmml" xref="A3.SS1.1.p1.13.m4.1.1.2.1"></times><apply id="A3.SS1.1.p1.13.m4.1.1.2.2.cmml" xref="A3.SS1.1.p1.13.m4.1.1.2.2"><csymbol cd="ambiguous" id="A3.SS1.1.p1.13.m4.1.1.2.2.1.cmml" xref="A3.SS1.1.p1.13.m4.1.1.2.2">superscript</csymbol><ci id="A3.SS1.1.p1.13.m4.1.1.2.2.2.cmml" xref="A3.SS1.1.p1.13.m4.1.1.2.2.2">𝑢</ci><ci id="A3.SS1.1.p1.13.m4.1.1.2.2.3.cmml" xref="A3.SS1.1.p1.13.m4.1.1.2.2.3">𝑇</ci></apply><ci id="A3.SS1.1.p1.13.m4.1.1.2.3.cmml" xref="A3.SS1.1.p1.13.m4.1.1.2.3">𝑣</ci></apply><cn type="integer" id="A3.SS1.1.p1.13.m4.1.1.3.cmml" xref="A3.SS1.1.p1.13.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.13.m4.1c">u^{T}v=0</annotation></semantics></math> and <math id="A3.SS1.1.p1.14.m5.2" class="ltx_Math" alttext="\|u\|=\|v\|\rightarrow\infty" display="inline"><semantics id="A3.SS1.1.p1.14.m5.2a"><mrow id="A3.SS1.1.p1.14.m5.2.3" xref="A3.SS1.1.p1.14.m5.2.3.cmml"><mrow id="A3.SS1.1.p1.14.m5.2.3.2.2" xref="A3.SS1.1.p1.14.m5.2.3.2.1.cmml"><mo stretchy="false" id="A3.SS1.1.p1.14.m5.2.3.2.2.1" xref="A3.SS1.1.p1.14.m5.2.3.2.1.1.cmml">‖</mo><mi id="A3.SS1.1.p1.14.m5.1.1" xref="A3.SS1.1.p1.14.m5.1.1.cmml">u</mi><mo stretchy="false" id="A3.SS1.1.p1.14.m5.2.3.2.2.2" xref="A3.SS1.1.p1.14.m5.2.3.2.1.1.cmml">‖</mo></mrow><mo id="A3.SS1.1.p1.14.m5.2.3.3" xref="A3.SS1.1.p1.14.m5.2.3.3.cmml">=</mo><mrow id="A3.SS1.1.p1.14.m5.2.3.4.2" xref="A3.SS1.1.p1.14.m5.2.3.4.1.cmml"><mo stretchy="false" id="A3.SS1.1.p1.14.m5.2.3.4.2.1" xref="A3.SS1.1.p1.14.m5.2.3.4.1.1.cmml">‖</mo><mi id="A3.SS1.1.p1.14.m5.2.2" xref="A3.SS1.1.p1.14.m5.2.2.cmml">v</mi><mo stretchy="false" id="A3.SS1.1.p1.14.m5.2.3.4.2.2" xref="A3.SS1.1.p1.14.m5.2.3.4.1.1.cmml">‖</mo></mrow><mo stretchy="false" id="A3.SS1.1.p1.14.m5.2.3.5" xref="A3.SS1.1.p1.14.m5.2.3.5.cmml">→</mo><mi mathvariant="normal" id="A3.SS1.1.p1.14.m5.2.3.6" xref="A3.SS1.1.p1.14.m5.2.3.6.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.14.m5.2b"><apply id="A3.SS1.1.p1.14.m5.2.3.cmml" xref="A3.SS1.1.p1.14.m5.2.3"><and id="A3.SS1.1.p1.14.m5.2.3a.cmml" xref="A3.SS1.1.p1.14.m5.2.3"></and><apply id="A3.SS1.1.p1.14.m5.2.3b.cmml" xref="A3.SS1.1.p1.14.m5.2.3"><eq id="A3.SS1.1.p1.14.m5.2.3.3.cmml" xref="A3.SS1.1.p1.14.m5.2.3.3"></eq><apply id="A3.SS1.1.p1.14.m5.2.3.2.1.cmml" xref="A3.SS1.1.p1.14.m5.2.3.2.2"><csymbol cd="latexml" id="A3.SS1.1.p1.14.m5.2.3.2.1.1.cmml" xref="A3.SS1.1.p1.14.m5.2.3.2.2.1">norm</csymbol><ci id="A3.SS1.1.p1.14.m5.1.1.cmml" xref="A3.SS1.1.p1.14.m5.1.1">𝑢</ci></apply><apply id="A3.SS1.1.p1.14.m5.2.3.4.1.cmml" xref="A3.SS1.1.p1.14.m5.2.3.4.2"><csymbol cd="latexml" id="A3.SS1.1.p1.14.m5.2.3.4.1.1.cmml" xref="A3.SS1.1.p1.14.m5.2.3.4.2.1">norm</csymbol><ci id="A3.SS1.1.p1.14.m5.2.2.cmml" xref="A3.SS1.1.p1.14.m5.2.2">𝑣</ci></apply></apply><apply id="A3.SS1.1.p1.14.m5.2.3c.cmml" xref="A3.SS1.1.p1.14.m5.2.3"><ci id="A3.SS1.1.p1.14.m5.2.3.5.cmml" xref="A3.SS1.1.p1.14.m5.2.3.5">→</ci><share href="#A3.SS1.1.p1.14.m5.2.3.4.cmml" id="A3.SS1.1.p1.14.m5.2.3d.cmml" xref="A3.SS1.1.p1.14.m5.2.3"></share><infinity id="A3.SS1.1.p1.14.m5.2.3.6.cmml" xref="A3.SS1.1.p1.14.m5.2.3.6"></infinity></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.14.m5.2c">\|u\|=\|v\|\rightarrow\infty</annotation></semantics></math>, we have <math id="A3.SS1.1.p1.15.m6.1" class="ltx_Math" alttext="\lambda_{1}\lambda_{2}=1" display="inline"><semantics id="A3.SS1.1.p1.15.m6.1a"><mrow id="A3.SS1.1.p1.15.m6.1.1" xref="A3.SS1.1.p1.15.m6.1.1.cmml"><mrow id="A3.SS1.1.p1.15.m6.1.1.2" xref="A3.SS1.1.p1.15.m6.1.1.2.cmml"><msub id="A3.SS1.1.p1.15.m6.1.1.2.2" xref="A3.SS1.1.p1.15.m6.1.1.2.2.cmml"><mi id="A3.SS1.1.p1.15.m6.1.1.2.2.2" xref="A3.SS1.1.p1.15.m6.1.1.2.2.2.cmml">λ</mi><mn id="A3.SS1.1.p1.15.m6.1.1.2.2.3" xref="A3.SS1.1.p1.15.m6.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A3.SS1.1.p1.15.m6.1.1.2.1" xref="A3.SS1.1.p1.15.m6.1.1.2.1.cmml">​</mo><msub id="A3.SS1.1.p1.15.m6.1.1.2.3" xref="A3.SS1.1.p1.15.m6.1.1.2.3.cmml"><mi id="A3.SS1.1.p1.15.m6.1.1.2.3.2" xref="A3.SS1.1.p1.15.m6.1.1.2.3.2.cmml">λ</mi><mn id="A3.SS1.1.p1.15.m6.1.1.2.3.3" xref="A3.SS1.1.p1.15.m6.1.1.2.3.3.cmml">2</mn></msub></mrow><mo id="A3.SS1.1.p1.15.m6.1.1.1" xref="A3.SS1.1.p1.15.m6.1.1.1.cmml">=</mo><mn id="A3.SS1.1.p1.15.m6.1.1.3" xref="A3.SS1.1.p1.15.m6.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.15.m6.1b"><apply id="A3.SS1.1.p1.15.m6.1.1.cmml" xref="A3.SS1.1.p1.15.m6.1.1"><eq id="A3.SS1.1.p1.15.m6.1.1.1.cmml" xref="A3.SS1.1.p1.15.m6.1.1.1"></eq><apply id="A3.SS1.1.p1.15.m6.1.1.2.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2"><times id="A3.SS1.1.p1.15.m6.1.1.2.1.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.1"></times><apply id="A3.SS1.1.p1.15.m6.1.1.2.2.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.2"><csymbol cd="ambiguous" id="A3.SS1.1.p1.15.m6.1.1.2.2.1.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.2">subscript</csymbol><ci id="A3.SS1.1.p1.15.m6.1.1.2.2.2.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.2.2">𝜆</ci><cn type="integer" id="A3.SS1.1.p1.15.m6.1.1.2.2.3.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.2.3">1</cn></apply><apply id="A3.SS1.1.p1.15.m6.1.1.2.3.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.3"><csymbol cd="ambiguous" id="A3.SS1.1.p1.15.m6.1.1.2.3.1.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.3">subscript</csymbol><ci id="A3.SS1.1.p1.15.m6.1.1.2.3.2.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.3.2">𝜆</ci><cn type="integer" id="A3.SS1.1.p1.15.m6.1.1.2.3.3.cmml" xref="A3.SS1.1.p1.15.m6.1.1.2.3.3">2</cn></apply></apply><cn type="integer" id="A3.SS1.1.p1.15.m6.1.1.3.cmml" xref="A3.SS1.1.p1.15.m6.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.15.m6.1c">\lambda_{1}\lambda_{2}=1</annotation></semantics></math> and <math id="A3.SS1.1.p1.16.m7.1" class="ltx_Math" alttext="\lambda_{1}+\lambda_{2}\rightarrow\infty" display="inline"><semantics id="A3.SS1.1.p1.16.m7.1a"><mrow id="A3.SS1.1.p1.16.m7.1.1" xref="A3.SS1.1.p1.16.m7.1.1.cmml"><mrow id="A3.SS1.1.p1.16.m7.1.1.2" xref="A3.SS1.1.p1.16.m7.1.1.2.cmml"><msub id="A3.SS1.1.p1.16.m7.1.1.2.2" xref="A3.SS1.1.p1.16.m7.1.1.2.2.cmml"><mi id="A3.SS1.1.p1.16.m7.1.1.2.2.2" xref="A3.SS1.1.p1.16.m7.1.1.2.2.2.cmml">λ</mi><mn id="A3.SS1.1.p1.16.m7.1.1.2.2.3" xref="A3.SS1.1.p1.16.m7.1.1.2.2.3.cmml">1</mn></msub><mo id="A3.SS1.1.p1.16.m7.1.1.2.1" xref="A3.SS1.1.p1.16.m7.1.1.2.1.cmml">+</mo><msub id="A3.SS1.1.p1.16.m7.1.1.2.3" xref="A3.SS1.1.p1.16.m7.1.1.2.3.cmml"><mi id="A3.SS1.1.p1.16.m7.1.1.2.3.2" xref="A3.SS1.1.p1.16.m7.1.1.2.3.2.cmml">λ</mi><mn id="A3.SS1.1.p1.16.m7.1.1.2.3.3" xref="A3.SS1.1.p1.16.m7.1.1.2.3.3.cmml">2</mn></msub></mrow><mo stretchy="false" id="A3.SS1.1.p1.16.m7.1.1.1" xref="A3.SS1.1.p1.16.m7.1.1.1.cmml">→</mo><mi mathvariant="normal" id="A3.SS1.1.p1.16.m7.1.1.3" xref="A3.SS1.1.p1.16.m7.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.16.m7.1b"><apply id="A3.SS1.1.p1.16.m7.1.1.cmml" xref="A3.SS1.1.p1.16.m7.1.1"><ci id="A3.SS1.1.p1.16.m7.1.1.1.cmml" xref="A3.SS1.1.p1.16.m7.1.1.1">→</ci><apply id="A3.SS1.1.p1.16.m7.1.1.2.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2"><plus id="A3.SS1.1.p1.16.m7.1.1.2.1.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.1"></plus><apply id="A3.SS1.1.p1.16.m7.1.1.2.2.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.2"><csymbol cd="ambiguous" id="A3.SS1.1.p1.16.m7.1.1.2.2.1.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.2">subscript</csymbol><ci id="A3.SS1.1.p1.16.m7.1.1.2.2.2.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.2.2">𝜆</ci><cn type="integer" id="A3.SS1.1.p1.16.m7.1.1.2.2.3.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.2.3">1</cn></apply><apply id="A3.SS1.1.p1.16.m7.1.1.2.3.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.3"><csymbol cd="ambiguous" id="A3.SS1.1.p1.16.m7.1.1.2.3.1.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.3">subscript</csymbol><ci id="A3.SS1.1.p1.16.m7.1.1.2.3.2.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.3.2">𝜆</ci><cn type="integer" id="A3.SS1.1.p1.16.m7.1.1.2.3.3.cmml" xref="A3.SS1.1.p1.16.m7.1.1.2.3.3">2</cn></apply></apply><infinity id="A3.SS1.1.p1.16.m7.1.1.3.cmml" xref="A3.SS1.1.p1.16.m7.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.16.m7.1c">\lambda_{1}+\lambda_{2}\rightarrow\infty</annotation></semantics></math>. Hence, we must have one eigenvalue arbitrarily large, and the other one arbitrarily small. In general, the order of rank can be larger than <math id="A3.SS1.1.p1.17.m8.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A3.SS1.1.p1.17.m8.1a"><mn id="A3.SS1.1.p1.17.m8.1.1" xref="A3.SS1.1.p1.17.m8.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A3.SS1.1.p1.17.m8.1b"><cn type="integer" id="A3.SS1.1.p1.17.m8.1.1.cmml" xref="A3.SS1.1.p1.17.m8.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.1.p1.17.m8.1c">1</annotation></semantics></math>, and thus more degree of freedoms for fitting the spectra of Hessian.  ∎</p>
</div>
</div>
<div id="A3.SS1.p3" class="ltx_para">
<p id="A3.SS1.p3.1" class="ltx_p">See <a href="#S3.Thmclaim3" title="Claim 3.3. ‣ 3.3 Low-Rank Approximation Preconditioner ‣ 3 General Lie Group Preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3.3</span></a></p>
</div>
<div id="A3.SS1.2" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A3.SS1.2.p1" class="ltx_para">
<p id="A3.SS1.2.p1.4" class="ltx_p">Without the loss of generality, we assume <math id="A3.SS1.2.p1.1.m1.1" class="ltx_Math" alttext="\rho=1" display="inline"><semantics id="A3.SS1.2.p1.1.m1.1a"><mrow id="A3.SS1.2.p1.1.m1.1.1" xref="A3.SS1.2.p1.1.m1.1.1.cmml"><mi id="A3.SS1.2.p1.1.m1.1.1.2" xref="A3.SS1.2.p1.1.m1.1.1.2.cmml">ρ</mi><mo id="A3.SS1.2.p1.1.m1.1.1.1" xref="A3.SS1.2.p1.1.m1.1.1.1.cmml">=</mo><mn id="A3.SS1.2.p1.1.m1.1.1.3" xref="A3.SS1.2.p1.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.2.p1.1.m1.1b"><apply id="A3.SS1.2.p1.1.m1.1.1.cmml" xref="A3.SS1.2.p1.1.m1.1.1"><eq id="A3.SS1.2.p1.1.m1.1.1.1.cmml" xref="A3.SS1.2.p1.1.m1.1.1.1"></eq><ci id="A3.SS1.2.p1.1.m1.1.1.2.cmml" xref="A3.SS1.2.p1.1.m1.1.1.2">𝜌</ci><cn type="integer" id="A3.SS1.2.p1.1.m1.1.1.3.cmml" xref="A3.SS1.2.p1.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.2.p1.1.m1.1c">\rho=1</annotation></semantics></math>, and simplify rewrite <math id="A3.SS1.2.p1.2.m2.2" class="ltx_Math" alttext="A_{V}(1,U)" display="inline"><semantics id="A3.SS1.2.p1.2.m2.2a"><mrow id="A3.SS1.2.p1.2.m2.2.3" xref="A3.SS1.2.p1.2.m2.2.3.cmml"><msub id="A3.SS1.2.p1.2.m2.2.3.2" xref="A3.SS1.2.p1.2.m2.2.3.2.cmml"><mi id="A3.SS1.2.p1.2.m2.2.3.2.2" xref="A3.SS1.2.p1.2.m2.2.3.2.2.cmml">A</mi><mi id="A3.SS1.2.p1.2.m2.2.3.2.3" xref="A3.SS1.2.p1.2.m2.2.3.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.2.m2.2.3.1" xref="A3.SS1.2.p1.2.m2.2.3.1.cmml">​</mo><mrow id="A3.SS1.2.p1.2.m2.2.3.3.2" xref="A3.SS1.2.p1.2.m2.2.3.3.1.cmml"><mo stretchy="false" id="A3.SS1.2.p1.2.m2.2.3.3.2.1" xref="A3.SS1.2.p1.2.m2.2.3.3.1.cmml">(</mo><mn id="A3.SS1.2.p1.2.m2.1.1" xref="A3.SS1.2.p1.2.m2.1.1.cmml">1</mn><mo id="A3.SS1.2.p1.2.m2.2.3.3.2.2" xref="A3.SS1.2.p1.2.m2.2.3.3.1.cmml">,</mo><mi id="A3.SS1.2.p1.2.m2.2.2" xref="A3.SS1.2.p1.2.m2.2.2.cmml">U</mi><mo stretchy="false" id="A3.SS1.2.p1.2.m2.2.3.3.2.3" xref="A3.SS1.2.p1.2.m2.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.2.p1.2.m2.2b"><apply id="A3.SS1.2.p1.2.m2.2.3.cmml" xref="A3.SS1.2.p1.2.m2.2.3"><times id="A3.SS1.2.p1.2.m2.2.3.1.cmml" xref="A3.SS1.2.p1.2.m2.2.3.1"></times><apply id="A3.SS1.2.p1.2.m2.2.3.2.cmml" xref="A3.SS1.2.p1.2.m2.2.3.2"><csymbol cd="ambiguous" id="A3.SS1.2.p1.2.m2.2.3.2.1.cmml" xref="A3.SS1.2.p1.2.m2.2.3.2">subscript</csymbol><ci id="A3.SS1.2.p1.2.m2.2.3.2.2.cmml" xref="A3.SS1.2.p1.2.m2.2.3.2.2">𝐴</ci><ci id="A3.SS1.2.p1.2.m2.2.3.2.3.cmml" xref="A3.SS1.2.p1.2.m2.2.3.2.3">𝑉</ci></apply><interval closure="open" id="A3.SS1.2.p1.2.m2.2.3.3.1.cmml" xref="A3.SS1.2.p1.2.m2.2.3.3.2"><cn type="integer" id="A3.SS1.2.p1.2.m2.1.1.cmml" xref="A3.SS1.2.p1.2.m2.1.1">1</cn><ci id="A3.SS1.2.p1.2.m2.2.2.cmml" xref="A3.SS1.2.p1.2.m2.2.2">𝑈</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.2.p1.2.m2.2c">A_{V}(1,U)</annotation></semantics></math> as <math id="A3.SS1.2.p1.3.m3.1" class="ltx_Math" alttext="A_{V}(U)=I+UV^{T}" display="inline"><semantics id="A3.SS1.2.p1.3.m3.1a"><mrow id="A3.SS1.2.p1.3.m3.1.2" xref="A3.SS1.2.p1.3.m3.1.2.cmml"><mrow id="A3.SS1.2.p1.3.m3.1.2.2" xref="A3.SS1.2.p1.3.m3.1.2.2.cmml"><msub id="A3.SS1.2.p1.3.m3.1.2.2.2" xref="A3.SS1.2.p1.3.m3.1.2.2.2.cmml"><mi id="A3.SS1.2.p1.3.m3.1.2.2.2.2" xref="A3.SS1.2.p1.3.m3.1.2.2.2.2.cmml">A</mi><mi id="A3.SS1.2.p1.3.m3.1.2.2.2.3" xref="A3.SS1.2.p1.3.m3.1.2.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.3.m3.1.2.2.1" xref="A3.SS1.2.p1.3.m3.1.2.2.1.cmml">​</mo><mrow id="A3.SS1.2.p1.3.m3.1.2.2.3.2" xref="A3.SS1.2.p1.3.m3.1.2.2.cmml"><mo stretchy="false" id="A3.SS1.2.p1.3.m3.1.2.2.3.2.1" xref="A3.SS1.2.p1.3.m3.1.2.2.cmml">(</mo><mi id="A3.SS1.2.p1.3.m3.1.1" xref="A3.SS1.2.p1.3.m3.1.1.cmml">U</mi><mo stretchy="false" id="A3.SS1.2.p1.3.m3.1.2.2.3.2.2" xref="A3.SS1.2.p1.3.m3.1.2.2.cmml">)</mo></mrow></mrow><mo id="A3.SS1.2.p1.3.m3.1.2.1" xref="A3.SS1.2.p1.3.m3.1.2.1.cmml">=</mo><mrow id="A3.SS1.2.p1.3.m3.1.2.3" xref="A3.SS1.2.p1.3.m3.1.2.3.cmml"><mi id="A3.SS1.2.p1.3.m3.1.2.3.2" xref="A3.SS1.2.p1.3.m3.1.2.3.2.cmml">I</mi><mo id="A3.SS1.2.p1.3.m3.1.2.3.1" xref="A3.SS1.2.p1.3.m3.1.2.3.1.cmml">+</mo><mrow id="A3.SS1.2.p1.3.m3.1.2.3.3" xref="A3.SS1.2.p1.3.m3.1.2.3.3.cmml"><mi id="A3.SS1.2.p1.3.m3.1.2.3.3.2" xref="A3.SS1.2.p1.3.m3.1.2.3.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.3.m3.1.2.3.3.1" xref="A3.SS1.2.p1.3.m3.1.2.3.3.1.cmml">​</mo><msup id="A3.SS1.2.p1.3.m3.1.2.3.3.3" xref="A3.SS1.2.p1.3.m3.1.2.3.3.3.cmml"><mi id="A3.SS1.2.p1.3.m3.1.2.3.3.3.2" xref="A3.SS1.2.p1.3.m3.1.2.3.3.3.2.cmml">V</mi><mi id="A3.SS1.2.p1.3.m3.1.2.3.3.3.3" xref="A3.SS1.2.p1.3.m3.1.2.3.3.3.3.cmml">T</mi></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.2.p1.3.m3.1b"><apply id="A3.SS1.2.p1.3.m3.1.2.cmml" xref="A3.SS1.2.p1.3.m3.1.2"><eq id="A3.SS1.2.p1.3.m3.1.2.1.cmml" xref="A3.SS1.2.p1.3.m3.1.2.1"></eq><apply id="A3.SS1.2.p1.3.m3.1.2.2.cmml" xref="A3.SS1.2.p1.3.m3.1.2.2"><times id="A3.SS1.2.p1.3.m3.1.2.2.1.cmml" xref="A3.SS1.2.p1.3.m3.1.2.2.1"></times><apply id="A3.SS1.2.p1.3.m3.1.2.2.2.cmml" xref="A3.SS1.2.p1.3.m3.1.2.2.2"><csymbol cd="ambiguous" id="A3.SS1.2.p1.3.m3.1.2.2.2.1.cmml" xref="A3.SS1.2.p1.3.m3.1.2.2.2">subscript</csymbol><ci id="A3.SS1.2.p1.3.m3.1.2.2.2.2.cmml" xref="A3.SS1.2.p1.3.m3.1.2.2.2.2">𝐴</ci><ci id="A3.SS1.2.p1.3.m3.1.2.2.2.3.cmml" xref="A3.SS1.2.p1.3.m3.1.2.2.2.3">𝑉</ci></apply><ci id="A3.SS1.2.p1.3.m3.1.1.cmml" xref="A3.SS1.2.p1.3.m3.1.1">𝑈</ci></apply><apply id="A3.SS1.2.p1.3.m3.1.2.3.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3"><plus id="A3.SS1.2.p1.3.m3.1.2.3.1.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.1"></plus><ci id="A3.SS1.2.p1.3.m3.1.2.3.2.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.2">𝐼</ci><apply id="A3.SS1.2.p1.3.m3.1.2.3.3.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.3"><times id="A3.SS1.2.p1.3.m3.1.2.3.3.1.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.3.1"></times><ci id="A3.SS1.2.p1.3.m3.1.2.3.3.2.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.3.2">𝑈</ci><apply id="A3.SS1.2.p1.3.m3.1.2.3.3.3.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.3.3"><csymbol cd="ambiguous" id="A3.SS1.2.p1.3.m3.1.2.3.3.3.1.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.3.3">superscript</csymbol><ci id="A3.SS1.2.p1.3.m3.1.2.3.3.3.2.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.3.3.2">𝑉</ci><ci id="A3.SS1.2.p1.3.m3.1.2.3.3.3.3.cmml" xref="A3.SS1.2.p1.3.m3.1.2.3.3.3.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.2.p1.3.m3.1c">A_{V}(U)=I+UV^{T}</annotation></semantics></math>. We can show that <math id="A3.SS1.2.p1.4.m4.1" class="ltx_Math" alttext="A_{V}(U)" display="inline"><semantics id="A3.SS1.2.p1.4.m4.1a"><mrow id="A3.SS1.2.p1.4.m4.1.2" xref="A3.SS1.2.p1.4.m4.1.2.cmml"><msub id="A3.SS1.2.p1.4.m4.1.2.2" xref="A3.SS1.2.p1.4.m4.1.2.2.cmml"><mi id="A3.SS1.2.p1.4.m4.1.2.2.2" xref="A3.SS1.2.p1.4.m4.1.2.2.2.cmml">A</mi><mi id="A3.SS1.2.p1.4.m4.1.2.2.3" xref="A3.SS1.2.p1.4.m4.1.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.4.m4.1.2.1" xref="A3.SS1.2.p1.4.m4.1.2.1.cmml">​</mo><mrow id="A3.SS1.2.p1.4.m4.1.2.3.2" xref="A3.SS1.2.p1.4.m4.1.2.cmml"><mo stretchy="false" id="A3.SS1.2.p1.4.m4.1.2.3.2.1" xref="A3.SS1.2.p1.4.m4.1.2.cmml">(</mo><mi id="A3.SS1.2.p1.4.m4.1.1" xref="A3.SS1.2.p1.4.m4.1.1.cmml">U</mi><mo stretchy="false" id="A3.SS1.2.p1.4.m4.1.2.3.2.2" xref="A3.SS1.2.p1.4.m4.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.2.p1.4.m4.1b"><apply id="A3.SS1.2.p1.4.m4.1.2.cmml" xref="A3.SS1.2.p1.4.m4.1.2"><times id="A3.SS1.2.p1.4.m4.1.2.1.cmml" xref="A3.SS1.2.p1.4.m4.1.2.1"></times><apply id="A3.SS1.2.p1.4.m4.1.2.2.cmml" xref="A3.SS1.2.p1.4.m4.1.2.2"><csymbol cd="ambiguous" id="A3.SS1.2.p1.4.m4.1.2.2.1.cmml" xref="A3.SS1.2.p1.4.m4.1.2.2">subscript</csymbol><ci id="A3.SS1.2.p1.4.m4.1.2.2.2.cmml" xref="A3.SS1.2.p1.4.m4.1.2.2.2">𝐴</ci><ci id="A3.SS1.2.p1.4.m4.1.2.2.3.cmml" xref="A3.SS1.2.p1.4.m4.1.2.2.3">𝑉</ci></apply><ci id="A3.SS1.2.p1.4.m4.1.1.cmml" xref="A3.SS1.2.p1.4.m4.1.1">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.2.p1.4.m4.1c">A_{V}(U)</annotation></semantics></math> forms a Lie group by revealing the following facts</p>
<table id="A12.EGx31" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.Ex44"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex44.m1.1" class="ltx_Math" alttext="\displaystyle A_{V}(0)=" display="inline"><semantics id="A3.Ex44.m1.1a"><mrow id="A3.Ex44.m1.1.2" xref="A3.Ex44.m1.1.2.cmml"><mrow id="A3.Ex44.m1.1.2.2" xref="A3.Ex44.m1.1.2.2.cmml"><msub id="A3.Ex44.m1.1.2.2.2" xref="A3.Ex44.m1.1.2.2.2.cmml"><mi id="A3.Ex44.m1.1.2.2.2.2" xref="A3.Ex44.m1.1.2.2.2.2.cmml">A</mi><mi id="A3.Ex44.m1.1.2.2.2.3" xref="A3.Ex44.m1.1.2.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.Ex44.m1.1.2.2.1" xref="A3.Ex44.m1.1.2.2.1.cmml">​</mo><mrow id="A3.Ex44.m1.1.2.2.3.2" xref="A3.Ex44.m1.1.2.2.cmml"><mo stretchy="false" id="A3.Ex44.m1.1.2.2.3.2.1" xref="A3.Ex44.m1.1.2.2.cmml">(</mo><mn id="A3.Ex44.m1.1.1" xref="A3.Ex44.m1.1.1.cmml">0</mn><mo stretchy="false" id="A3.Ex44.m1.1.2.2.3.2.2" xref="A3.Ex44.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="A3.Ex44.m1.1.2.1" xref="A3.Ex44.m1.1.2.1.cmml">=</mo><mi id="A3.Ex44.m1.1.2.3" xref="A3.Ex44.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex44.m1.1b"><apply id="A3.Ex44.m1.1.2.cmml" xref="A3.Ex44.m1.1.2"><eq id="A3.Ex44.m1.1.2.1.cmml" xref="A3.Ex44.m1.1.2.1"></eq><apply id="A3.Ex44.m1.1.2.2.cmml" xref="A3.Ex44.m1.1.2.2"><times id="A3.Ex44.m1.1.2.2.1.cmml" xref="A3.Ex44.m1.1.2.2.1"></times><apply id="A3.Ex44.m1.1.2.2.2.cmml" xref="A3.Ex44.m1.1.2.2.2"><csymbol cd="ambiguous" id="A3.Ex44.m1.1.2.2.2.1.cmml" xref="A3.Ex44.m1.1.2.2.2">subscript</csymbol><ci id="A3.Ex44.m1.1.2.2.2.2.cmml" xref="A3.Ex44.m1.1.2.2.2.2">𝐴</ci><ci id="A3.Ex44.m1.1.2.2.2.3.cmml" xref="A3.Ex44.m1.1.2.2.2.3">𝑉</ci></apply><cn type="integer" id="A3.Ex44.m1.1.1.cmml" xref="A3.Ex44.m1.1.1">0</cn></apply><csymbol cd="latexml" id="A3.Ex44.m1.1.2.3.cmml" xref="A3.Ex44.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex44.m1.1c">\displaystyle A_{V}(0)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex44.m2.1" class="ltx_Math" alttext="\displaystyle I" display="inline"><semantics id="A3.Ex44.m2.1a"><mi id="A3.Ex44.m2.1.1" xref="A3.Ex44.m2.1.1.cmml">I</mi><annotation-xml encoding="MathML-Content" id="A3.Ex44.m2.1b"><ci id="A3.Ex44.m2.1.1.cmml" xref="A3.Ex44.m2.1.1">𝐼</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex44.m2.1c">\displaystyle I</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex45"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex45.m1.2" class="ltx_Math" alttext="\displaystyle A_{V}(U_{1})A_{V}(U_{2})=" display="inline"><semantics id="A3.Ex45.m1.2a"><mrow id="A3.Ex45.m1.2.2" xref="A3.Ex45.m1.2.2.cmml"><mrow id="A3.Ex45.m1.2.2.2" xref="A3.Ex45.m1.2.2.2.cmml"><msub id="A3.Ex45.m1.2.2.2.4" xref="A3.Ex45.m1.2.2.2.4.cmml"><mi id="A3.Ex45.m1.2.2.2.4.2" xref="A3.Ex45.m1.2.2.2.4.2.cmml">A</mi><mi id="A3.Ex45.m1.2.2.2.4.3" xref="A3.Ex45.m1.2.2.2.4.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.Ex45.m1.2.2.2.3" xref="A3.Ex45.m1.2.2.2.3.cmml">​</mo><mrow id="A3.Ex45.m1.1.1.1.1.1" xref="A3.Ex45.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex45.m1.1.1.1.1.1.2" xref="A3.Ex45.m1.1.1.1.1.1.1.cmml">(</mo><msub id="A3.Ex45.m1.1.1.1.1.1.1" xref="A3.Ex45.m1.1.1.1.1.1.1.cmml"><mi id="A3.Ex45.m1.1.1.1.1.1.1.2" xref="A3.Ex45.m1.1.1.1.1.1.1.2.cmml">U</mi><mn id="A3.Ex45.m1.1.1.1.1.1.1.3" xref="A3.Ex45.m1.1.1.1.1.1.1.3.cmml">1</mn></msub><mo stretchy="false" id="A3.Ex45.m1.1.1.1.1.1.3" xref="A3.Ex45.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.Ex45.m1.2.2.2.3a" xref="A3.Ex45.m1.2.2.2.3.cmml">​</mo><msub id="A3.Ex45.m1.2.2.2.5" xref="A3.Ex45.m1.2.2.2.5.cmml"><mi id="A3.Ex45.m1.2.2.2.5.2" xref="A3.Ex45.m1.2.2.2.5.2.cmml">A</mi><mi id="A3.Ex45.m1.2.2.2.5.3" xref="A3.Ex45.m1.2.2.2.5.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.Ex45.m1.2.2.2.3b" xref="A3.Ex45.m1.2.2.2.3.cmml">​</mo><mrow id="A3.Ex45.m1.2.2.2.2.1" xref="A3.Ex45.m1.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A3.Ex45.m1.2.2.2.2.1.2" xref="A3.Ex45.m1.2.2.2.2.1.1.cmml">(</mo><msub id="A3.Ex45.m1.2.2.2.2.1.1" xref="A3.Ex45.m1.2.2.2.2.1.1.cmml"><mi id="A3.Ex45.m1.2.2.2.2.1.1.2" xref="A3.Ex45.m1.2.2.2.2.1.1.2.cmml">U</mi><mn id="A3.Ex45.m1.2.2.2.2.1.1.3" xref="A3.Ex45.m1.2.2.2.2.1.1.3.cmml">2</mn></msub><mo stretchy="false" id="A3.Ex45.m1.2.2.2.2.1.3" xref="A3.Ex45.m1.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A3.Ex45.m1.2.2.3" xref="A3.Ex45.m1.2.2.3.cmml">=</mo><mi id="A3.Ex45.m1.2.2.4" xref="A3.Ex45.m1.2.2.4.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex45.m1.2b"><apply id="A3.Ex45.m1.2.2.cmml" xref="A3.Ex45.m1.2.2"><eq id="A3.Ex45.m1.2.2.3.cmml" xref="A3.Ex45.m1.2.2.3"></eq><apply id="A3.Ex45.m1.2.2.2.cmml" xref="A3.Ex45.m1.2.2.2"><times id="A3.Ex45.m1.2.2.2.3.cmml" xref="A3.Ex45.m1.2.2.2.3"></times><apply id="A3.Ex45.m1.2.2.2.4.cmml" xref="A3.Ex45.m1.2.2.2.4"><csymbol cd="ambiguous" id="A3.Ex45.m1.2.2.2.4.1.cmml" xref="A3.Ex45.m1.2.2.2.4">subscript</csymbol><ci id="A3.Ex45.m1.2.2.2.4.2.cmml" xref="A3.Ex45.m1.2.2.2.4.2">𝐴</ci><ci id="A3.Ex45.m1.2.2.2.4.3.cmml" xref="A3.Ex45.m1.2.2.2.4.3">𝑉</ci></apply><apply id="A3.Ex45.m1.1.1.1.1.1.1.cmml" xref="A3.Ex45.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.Ex45.m1.1.1.1.1.1.1.1.cmml" xref="A3.Ex45.m1.1.1.1.1.1">subscript</csymbol><ci id="A3.Ex45.m1.1.1.1.1.1.1.2.cmml" xref="A3.Ex45.m1.1.1.1.1.1.1.2">𝑈</ci><cn type="integer" id="A3.Ex45.m1.1.1.1.1.1.1.3.cmml" xref="A3.Ex45.m1.1.1.1.1.1.1.3">1</cn></apply><apply id="A3.Ex45.m1.2.2.2.5.cmml" xref="A3.Ex45.m1.2.2.2.5"><csymbol cd="ambiguous" id="A3.Ex45.m1.2.2.2.5.1.cmml" xref="A3.Ex45.m1.2.2.2.5">subscript</csymbol><ci id="A3.Ex45.m1.2.2.2.5.2.cmml" xref="A3.Ex45.m1.2.2.2.5.2">𝐴</ci><ci id="A3.Ex45.m1.2.2.2.5.3.cmml" xref="A3.Ex45.m1.2.2.2.5.3">𝑉</ci></apply><apply id="A3.Ex45.m1.2.2.2.2.1.1.cmml" xref="A3.Ex45.m1.2.2.2.2.1"><csymbol cd="ambiguous" id="A3.Ex45.m1.2.2.2.2.1.1.1.cmml" xref="A3.Ex45.m1.2.2.2.2.1">subscript</csymbol><ci id="A3.Ex45.m1.2.2.2.2.1.1.2.cmml" xref="A3.Ex45.m1.2.2.2.2.1.1.2">𝑈</ci><cn type="integer" id="A3.Ex45.m1.2.2.2.2.1.1.3.cmml" xref="A3.Ex45.m1.2.2.2.2.1.1.3">2</cn></apply></apply><csymbol cd="latexml" id="A3.Ex45.m1.2.2.4.cmml" xref="A3.Ex45.m1.2.2.4">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex45.m1.2c">\displaystyle A_{V}(U_{1})A_{V}(U_{2})=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex45.m2.1" class="ltx_Math" alttext="\displaystyle A_{V}(U_{1}+U_{2}+U_{1}V^{T}U_{2})" display="inline"><semantics id="A3.Ex45.m2.1a"><mrow id="A3.Ex45.m2.1.1" xref="A3.Ex45.m2.1.1.cmml"><msub id="A3.Ex45.m2.1.1.3" xref="A3.Ex45.m2.1.1.3.cmml"><mi id="A3.Ex45.m2.1.1.3.2" xref="A3.Ex45.m2.1.1.3.2.cmml">A</mi><mi id="A3.Ex45.m2.1.1.3.3" xref="A3.Ex45.m2.1.1.3.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.Ex45.m2.1.1.2" xref="A3.Ex45.m2.1.1.2.cmml">​</mo><mrow id="A3.Ex45.m2.1.1.1.1" xref="A3.Ex45.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex45.m2.1.1.1.1.2" xref="A3.Ex45.m2.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex45.m2.1.1.1.1.1" xref="A3.Ex45.m2.1.1.1.1.1.cmml"><msub id="A3.Ex45.m2.1.1.1.1.1.2" xref="A3.Ex45.m2.1.1.1.1.1.2.cmml"><mi id="A3.Ex45.m2.1.1.1.1.1.2.2" xref="A3.Ex45.m2.1.1.1.1.1.2.2.cmml">U</mi><mn id="A3.Ex45.m2.1.1.1.1.1.2.3" xref="A3.Ex45.m2.1.1.1.1.1.2.3.cmml">1</mn></msub><mo id="A3.Ex45.m2.1.1.1.1.1.1" xref="A3.Ex45.m2.1.1.1.1.1.1.cmml">+</mo><msub id="A3.Ex45.m2.1.1.1.1.1.3" xref="A3.Ex45.m2.1.1.1.1.1.3.cmml"><mi id="A3.Ex45.m2.1.1.1.1.1.3.2" xref="A3.Ex45.m2.1.1.1.1.1.3.2.cmml">U</mi><mn id="A3.Ex45.m2.1.1.1.1.1.3.3" xref="A3.Ex45.m2.1.1.1.1.1.3.3.cmml">2</mn></msub><mo id="A3.Ex45.m2.1.1.1.1.1.1a" xref="A3.Ex45.m2.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.Ex45.m2.1.1.1.1.1.4" xref="A3.Ex45.m2.1.1.1.1.1.4.cmml"><msub id="A3.Ex45.m2.1.1.1.1.1.4.2" xref="A3.Ex45.m2.1.1.1.1.1.4.2.cmml"><mi id="A3.Ex45.m2.1.1.1.1.1.4.2.2" xref="A3.Ex45.m2.1.1.1.1.1.4.2.2.cmml">U</mi><mn id="A3.Ex45.m2.1.1.1.1.1.4.2.3" xref="A3.Ex45.m2.1.1.1.1.1.4.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A3.Ex45.m2.1.1.1.1.1.4.1" xref="A3.Ex45.m2.1.1.1.1.1.4.1.cmml">​</mo><msup id="A3.Ex45.m2.1.1.1.1.1.4.3" xref="A3.Ex45.m2.1.1.1.1.1.4.3.cmml"><mi id="A3.Ex45.m2.1.1.1.1.1.4.3.2" xref="A3.Ex45.m2.1.1.1.1.1.4.3.2.cmml">V</mi><mi id="A3.Ex45.m2.1.1.1.1.1.4.3.3" xref="A3.Ex45.m2.1.1.1.1.1.4.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex45.m2.1.1.1.1.1.4.1a" xref="A3.Ex45.m2.1.1.1.1.1.4.1.cmml">​</mo><msub id="A3.Ex45.m2.1.1.1.1.1.4.4" xref="A3.Ex45.m2.1.1.1.1.1.4.4.cmml"><mi id="A3.Ex45.m2.1.1.1.1.1.4.4.2" xref="A3.Ex45.m2.1.1.1.1.1.4.4.2.cmml">U</mi><mn id="A3.Ex45.m2.1.1.1.1.1.4.4.3" xref="A3.Ex45.m2.1.1.1.1.1.4.4.3.cmml">2</mn></msub></mrow></mrow><mo stretchy="false" id="A3.Ex45.m2.1.1.1.1.3" xref="A3.Ex45.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex45.m2.1b"><apply id="A3.Ex45.m2.1.1.cmml" xref="A3.Ex45.m2.1.1"><times id="A3.Ex45.m2.1.1.2.cmml" xref="A3.Ex45.m2.1.1.2"></times><apply id="A3.Ex45.m2.1.1.3.cmml" xref="A3.Ex45.m2.1.1.3"><csymbol cd="ambiguous" id="A3.Ex45.m2.1.1.3.1.cmml" xref="A3.Ex45.m2.1.1.3">subscript</csymbol><ci id="A3.Ex45.m2.1.1.3.2.cmml" xref="A3.Ex45.m2.1.1.3.2">𝐴</ci><ci id="A3.Ex45.m2.1.1.3.3.cmml" xref="A3.Ex45.m2.1.1.3.3">𝑉</ci></apply><apply id="A3.Ex45.m2.1.1.1.1.1.cmml" xref="A3.Ex45.m2.1.1.1.1"><plus id="A3.Ex45.m2.1.1.1.1.1.1.cmml" xref="A3.Ex45.m2.1.1.1.1.1.1"></plus><apply id="A3.Ex45.m2.1.1.1.1.1.2.cmml" xref="A3.Ex45.m2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.Ex45.m2.1.1.1.1.1.2.1.cmml" xref="A3.Ex45.m2.1.1.1.1.1.2">subscript</csymbol><ci id="A3.Ex45.m2.1.1.1.1.1.2.2.cmml" xref="A3.Ex45.m2.1.1.1.1.1.2.2">𝑈</ci><cn type="integer" id="A3.Ex45.m2.1.1.1.1.1.2.3.cmml" xref="A3.Ex45.m2.1.1.1.1.1.2.3">1</cn></apply><apply id="A3.Ex45.m2.1.1.1.1.1.3.cmml" xref="A3.Ex45.m2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A3.Ex45.m2.1.1.1.1.1.3.1.cmml" xref="A3.Ex45.m2.1.1.1.1.1.3">subscript</csymbol><ci id="A3.Ex45.m2.1.1.1.1.1.3.2.cmml" xref="A3.Ex45.m2.1.1.1.1.1.3.2">𝑈</ci><cn type="integer" id="A3.Ex45.m2.1.1.1.1.1.3.3.cmml" xref="A3.Ex45.m2.1.1.1.1.1.3.3">2</cn></apply><apply id="A3.Ex45.m2.1.1.1.1.1.4.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4"><times id="A3.Ex45.m2.1.1.1.1.1.4.1.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.1"></times><apply id="A3.Ex45.m2.1.1.1.1.1.4.2.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="A3.Ex45.m2.1.1.1.1.1.4.2.1.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.2">subscript</csymbol><ci id="A3.Ex45.m2.1.1.1.1.1.4.2.2.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.2.2">𝑈</ci><cn type="integer" id="A3.Ex45.m2.1.1.1.1.1.4.2.3.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.2.3">1</cn></apply><apply id="A3.Ex45.m2.1.1.1.1.1.4.3.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.3"><csymbol cd="ambiguous" id="A3.Ex45.m2.1.1.1.1.1.4.3.1.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.3">superscript</csymbol><ci id="A3.Ex45.m2.1.1.1.1.1.4.3.2.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.3.2">𝑉</ci><ci id="A3.Ex45.m2.1.1.1.1.1.4.3.3.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.3.3">𝑇</ci></apply><apply id="A3.Ex45.m2.1.1.1.1.1.4.4.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.4"><csymbol cd="ambiguous" id="A3.Ex45.m2.1.1.1.1.1.4.4.1.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.4">subscript</csymbol><ci id="A3.Ex45.m2.1.1.1.1.1.4.4.2.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.4.2">𝑈</ci><cn type="integer" id="A3.Ex45.m2.1.1.1.1.1.4.4.3.cmml" xref="A3.Ex45.m2.1.1.1.1.1.4.4.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex45.m2.1c">\displaystyle A_{V}(U_{1}+U_{2}+U_{1}V^{T}U_{2})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A3.Ex46"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.Ex46.m1.1" class="ltx_Math" alttext="\displaystyle A_{V}^{-1}(U)=" display="inline"><semantics id="A3.Ex46.m1.1a"><mrow id="A3.Ex46.m1.1.2" xref="A3.Ex46.m1.1.2.cmml"><mrow id="A3.Ex46.m1.1.2.2" xref="A3.Ex46.m1.1.2.2.cmml"><msubsup id="A3.Ex46.m1.1.2.2.2" xref="A3.Ex46.m1.1.2.2.2.cmml"><mi id="A3.Ex46.m1.1.2.2.2.2.2" xref="A3.Ex46.m1.1.2.2.2.2.2.cmml">A</mi><mi id="A3.Ex46.m1.1.2.2.2.2.3" xref="A3.Ex46.m1.1.2.2.2.2.3.cmml">V</mi><mrow id="A3.Ex46.m1.1.2.2.2.3" xref="A3.Ex46.m1.1.2.2.2.3.cmml"><mo id="A3.Ex46.m1.1.2.2.2.3a" xref="A3.Ex46.m1.1.2.2.2.3.cmml">−</mo><mn id="A3.Ex46.m1.1.2.2.2.3.2" xref="A3.Ex46.m1.1.2.2.2.3.2.cmml">1</mn></mrow></msubsup><mo lspace="0em" rspace="0em" id="A3.Ex46.m1.1.2.2.1" xref="A3.Ex46.m1.1.2.2.1.cmml">​</mo><mrow id="A3.Ex46.m1.1.2.2.3.2" xref="A3.Ex46.m1.1.2.2.cmml"><mo stretchy="false" id="A3.Ex46.m1.1.2.2.3.2.1" xref="A3.Ex46.m1.1.2.2.cmml">(</mo><mi id="A3.Ex46.m1.1.1" xref="A3.Ex46.m1.1.1.cmml">U</mi><mo stretchy="false" id="A3.Ex46.m1.1.2.2.3.2.2" xref="A3.Ex46.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="A3.Ex46.m1.1.2.1" xref="A3.Ex46.m1.1.2.1.cmml">=</mo><mi id="A3.Ex46.m1.1.2.3" xref="A3.Ex46.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex46.m1.1b"><apply id="A3.Ex46.m1.1.2.cmml" xref="A3.Ex46.m1.1.2"><eq id="A3.Ex46.m1.1.2.1.cmml" xref="A3.Ex46.m1.1.2.1"></eq><apply id="A3.Ex46.m1.1.2.2.cmml" xref="A3.Ex46.m1.1.2.2"><times id="A3.Ex46.m1.1.2.2.1.cmml" xref="A3.Ex46.m1.1.2.2.1"></times><apply id="A3.Ex46.m1.1.2.2.2.cmml" xref="A3.Ex46.m1.1.2.2.2"><csymbol cd="ambiguous" id="A3.Ex46.m1.1.2.2.2.1.cmml" xref="A3.Ex46.m1.1.2.2.2">superscript</csymbol><apply id="A3.Ex46.m1.1.2.2.2.2.cmml" xref="A3.Ex46.m1.1.2.2.2"><csymbol cd="ambiguous" id="A3.Ex46.m1.1.2.2.2.2.1.cmml" xref="A3.Ex46.m1.1.2.2.2">subscript</csymbol><ci id="A3.Ex46.m1.1.2.2.2.2.2.cmml" xref="A3.Ex46.m1.1.2.2.2.2.2">𝐴</ci><ci id="A3.Ex46.m1.1.2.2.2.2.3.cmml" xref="A3.Ex46.m1.1.2.2.2.2.3">𝑉</ci></apply><apply id="A3.Ex46.m1.1.2.2.2.3.cmml" xref="A3.Ex46.m1.1.2.2.2.3"><minus id="A3.Ex46.m1.1.2.2.2.3.1.cmml" xref="A3.Ex46.m1.1.2.2.2.3"></minus><cn type="integer" id="A3.Ex46.m1.1.2.2.2.3.2.cmml" xref="A3.Ex46.m1.1.2.2.2.3.2">1</cn></apply></apply><ci id="A3.Ex46.m1.1.1.cmml" xref="A3.Ex46.m1.1.1">𝑈</ci></apply><csymbol cd="latexml" id="A3.Ex46.m1.1.2.3.cmml" xref="A3.Ex46.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex46.m1.1c">\displaystyle A_{V}^{-1}(U)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.Ex46.m2.1" class="ltx_Math" alttext="\displaystyle A_{V}[-U(I+V^{T}U)^{-1}]" display="inline"><semantics id="A3.Ex46.m2.1a"><mrow id="A3.Ex46.m2.1.1" xref="A3.Ex46.m2.1.1.cmml"><msub id="A3.Ex46.m2.1.1.3" xref="A3.Ex46.m2.1.1.3.cmml"><mi id="A3.Ex46.m2.1.1.3.2" xref="A3.Ex46.m2.1.1.3.2.cmml">A</mi><mi id="A3.Ex46.m2.1.1.3.3" xref="A3.Ex46.m2.1.1.3.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.Ex46.m2.1.1.2" xref="A3.Ex46.m2.1.1.2.cmml">​</mo><mrow id="A3.Ex46.m2.1.1.1.1" xref="A3.Ex46.m2.1.1.1.2.cmml"><mo stretchy="false" id="A3.Ex46.m2.1.1.1.1.2" xref="A3.Ex46.m2.1.1.1.2.1.cmml">[</mo><mrow id="A3.Ex46.m2.1.1.1.1.1" xref="A3.Ex46.m2.1.1.1.1.1.cmml"><mo id="A3.Ex46.m2.1.1.1.1.1a" xref="A3.Ex46.m2.1.1.1.1.1.cmml">−</mo><mrow id="A3.Ex46.m2.1.1.1.1.1.1" xref="A3.Ex46.m2.1.1.1.1.1.1.cmml"><mi id="A3.Ex46.m2.1.1.1.1.1.1.3" xref="A3.Ex46.m2.1.1.1.1.1.1.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.Ex46.m2.1.1.1.1.1.1.2" xref="A3.Ex46.m2.1.1.1.1.1.1.2.cmml">​</mo><msup id="A3.Ex46.m2.1.1.1.1.1.1.1" xref="A3.Ex46.m2.1.1.1.1.1.1.1.cmml"><mrow id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.2" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.1" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.cmml"><msup id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.cmml"><mi id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.2" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.3" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.1" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.3" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.3" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A3.Ex46.m2.1.1.1.1.1.1.1.3" xref="A3.Ex46.m2.1.1.1.1.1.1.1.3.cmml"><mo id="A3.Ex46.m2.1.1.1.1.1.1.1.3a" xref="A3.Ex46.m2.1.1.1.1.1.1.1.3.cmml">−</mo><mn id="A3.Ex46.m2.1.1.1.1.1.1.1.3.2" xref="A3.Ex46.m2.1.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup></mrow></mrow><mo stretchy="false" id="A3.Ex46.m2.1.1.1.1.3" xref="A3.Ex46.m2.1.1.1.2.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex46.m2.1b"><apply id="A3.Ex46.m2.1.1.cmml" xref="A3.Ex46.m2.1.1"><times id="A3.Ex46.m2.1.1.2.cmml" xref="A3.Ex46.m2.1.1.2"></times><apply id="A3.Ex46.m2.1.1.3.cmml" xref="A3.Ex46.m2.1.1.3"><csymbol cd="ambiguous" id="A3.Ex46.m2.1.1.3.1.cmml" xref="A3.Ex46.m2.1.1.3">subscript</csymbol><ci id="A3.Ex46.m2.1.1.3.2.cmml" xref="A3.Ex46.m2.1.1.3.2">𝐴</ci><ci id="A3.Ex46.m2.1.1.3.3.cmml" xref="A3.Ex46.m2.1.1.3.3">𝑉</ci></apply><apply id="A3.Ex46.m2.1.1.1.2.cmml" xref="A3.Ex46.m2.1.1.1.1"><csymbol cd="latexml" id="A3.Ex46.m2.1.1.1.2.1.cmml" xref="A3.Ex46.m2.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.Ex46.m2.1.1.1.1.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1"><minus id="A3.Ex46.m2.1.1.1.1.1.2.cmml" xref="A3.Ex46.m2.1.1.1.1.1"></minus><apply id="A3.Ex46.m2.1.1.1.1.1.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1"><times id="A3.Ex46.m2.1.1.1.1.1.1.2.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.2"></times><ci id="A3.Ex46.m2.1.1.1.1.1.1.3.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.3">𝑈</ci><apply id="A3.Ex46.m2.1.1.1.1.1.1.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.Ex46.m2.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1">superscript</csymbol><apply id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1"><plus id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.1"></plus><ci id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.2">𝐼</ci><apply id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3"><times id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.1"></times><apply id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.1.1.1.3.3">𝑈</ci></apply></apply><apply id="A3.Ex46.m2.1.1.1.1.1.1.1.3.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.3"><minus id="A3.Ex46.m2.1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.3"></minus><cn type="integer" id="A3.Ex46.m2.1.1.1.1.1.1.1.3.2.cmml" xref="A3.Ex46.m2.1.1.1.1.1.1.1.3.2">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex46.m2.1c">\displaystyle A_{V}[-U(I+V^{T}U)^{-1}]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A3.SS1.2.p1.8" class="ltx_p">i.e., the existence of identity element, closed with respect to matrix multiplication, and the existence of inverse, respectively.
The last equation is simply the rewriting of the Woodbury matrix identity, i.e.,</p>
<table id="A3.Ex47" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A3.Ex47.m1.2" class="ltx_Math" alttext="[I+UV^{T}]^{-1}=I-U(I+V^{T}U)^{-1}V^{T}" display="block"><semantics id="A3.Ex47.m1.2a"><mrow id="A3.Ex47.m1.2.2" xref="A3.Ex47.m1.2.2.cmml"><msup id="A3.Ex47.m1.1.1.1" xref="A3.Ex47.m1.1.1.1.cmml"><mrow id="A3.Ex47.m1.1.1.1.1.1" xref="A3.Ex47.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.Ex47.m1.1.1.1.1.1.2" xref="A3.Ex47.m1.1.1.1.1.2.1.cmml">[</mo><mrow id="A3.Ex47.m1.1.1.1.1.1.1" xref="A3.Ex47.m1.1.1.1.1.1.1.cmml"><mi id="A3.Ex47.m1.1.1.1.1.1.1.2" xref="A3.Ex47.m1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A3.Ex47.m1.1.1.1.1.1.1.1" xref="A3.Ex47.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.Ex47.m1.1.1.1.1.1.1.3" xref="A3.Ex47.m1.1.1.1.1.1.1.3.cmml"><mi id="A3.Ex47.m1.1.1.1.1.1.1.3.2" xref="A3.Ex47.m1.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.Ex47.m1.1.1.1.1.1.1.3.1" xref="A3.Ex47.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A3.Ex47.m1.1.1.1.1.1.1.3.3" xref="A3.Ex47.m1.1.1.1.1.1.1.3.3.cmml"><mi id="A3.Ex47.m1.1.1.1.1.1.1.3.3.2" xref="A3.Ex47.m1.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="A3.Ex47.m1.1.1.1.1.1.1.3.3.3" xref="A3.Ex47.m1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A3.Ex47.m1.1.1.1.1.1.3" xref="A3.Ex47.m1.1.1.1.1.2.1.cmml">]</mo></mrow><mrow id="A3.Ex47.m1.1.1.1.3" xref="A3.Ex47.m1.1.1.1.3.cmml"><mo id="A3.Ex47.m1.1.1.1.3a" xref="A3.Ex47.m1.1.1.1.3.cmml">−</mo><mn id="A3.Ex47.m1.1.1.1.3.2" xref="A3.Ex47.m1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo id="A3.Ex47.m1.2.2.3" xref="A3.Ex47.m1.2.2.3.cmml">=</mo><mrow id="A3.Ex47.m1.2.2.2" xref="A3.Ex47.m1.2.2.2.cmml"><mi id="A3.Ex47.m1.2.2.2.3" xref="A3.Ex47.m1.2.2.2.3.cmml">I</mi><mo id="A3.Ex47.m1.2.2.2.2" xref="A3.Ex47.m1.2.2.2.2.cmml">−</mo><mrow id="A3.Ex47.m1.2.2.2.1" xref="A3.Ex47.m1.2.2.2.1.cmml"><mi id="A3.Ex47.m1.2.2.2.1.3" xref="A3.Ex47.m1.2.2.2.1.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.Ex47.m1.2.2.2.1.2" xref="A3.Ex47.m1.2.2.2.1.2.cmml">​</mo><msup id="A3.Ex47.m1.2.2.2.1.1" xref="A3.Ex47.m1.2.2.2.1.1.cmml"><mrow id="A3.Ex47.m1.2.2.2.1.1.1.1" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.Ex47.m1.2.2.2.1.1.1.1.2" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="A3.Ex47.m1.2.2.2.1.1.1.1.1" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.cmml"><mi id="A3.Ex47.m1.2.2.2.1.1.1.1.1.2" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.2.cmml">I</mi><mo id="A3.Ex47.m1.2.2.2.1.1.1.1.1.1" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.cmml"><msup id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.cmml"><mi id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.2" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.3" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.1" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.1.cmml">​</mo><mi id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.3" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="A3.Ex47.m1.2.2.2.1.1.1.1.3" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A3.Ex47.m1.2.2.2.1.1.3" xref="A3.Ex47.m1.2.2.2.1.1.3.cmml"><mo id="A3.Ex47.m1.2.2.2.1.1.3a" xref="A3.Ex47.m1.2.2.2.1.1.3.cmml">−</mo><mn id="A3.Ex47.m1.2.2.2.1.1.3.2" xref="A3.Ex47.m1.2.2.2.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A3.Ex47.m1.2.2.2.1.2a" xref="A3.Ex47.m1.2.2.2.1.2.cmml">​</mo><msup id="A3.Ex47.m1.2.2.2.1.4" xref="A3.Ex47.m1.2.2.2.1.4.cmml"><mi id="A3.Ex47.m1.2.2.2.1.4.2" xref="A3.Ex47.m1.2.2.2.1.4.2.cmml">V</mi><mi id="A3.Ex47.m1.2.2.2.1.4.3" xref="A3.Ex47.m1.2.2.2.1.4.3.cmml">T</mi></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.Ex47.m1.2b"><apply id="A3.Ex47.m1.2.2.cmml" xref="A3.Ex47.m1.2.2"><eq id="A3.Ex47.m1.2.2.3.cmml" xref="A3.Ex47.m1.2.2.3"></eq><apply id="A3.Ex47.m1.1.1.1.cmml" xref="A3.Ex47.m1.1.1.1"><csymbol cd="ambiguous" id="A3.Ex47.m1.1.1.1.2.cmml" xref="A3.Ex47.m1.1.1.1">superscript</csymbol><apply id="A3.Ex47.m1.1.1.1.1.2.cmml" xref="A3.Ex47.m1.1.1.1.1.1"><csymbol cd="latexml" id="A3.Ex47.m1.1.1.1.1.2.1.cmml" xref="A3.Ex47.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A3.Ex47.m1.1.1.1.1.1.1.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1"><plus id="A3.Ex47.m1.1.1.1.1.1.1.1.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.1"></plus><ci id="A3.Ex47.m1.1.1.1.1.1.1.2.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.2">𝐼</ci><apply id="A3.Ex47.m1.1.1.1.1.1.1.3.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.3"><times id="A3.Ex47.m1.1.1.1.1.1.1.3.1.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.3.1"></times><ci id="A3.Ex47.m1.1.1.1.1.1.1.3.2.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.3.2">𝑈</ci><apply id="A3.Ex47.m1.1.1.1.1.1.1.3.3.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.Ex47.m1.1.1.1.1.1.1.3.3.1.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A3.Ex47.m1.1.1.1.1.1.1.3.3.2.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="A3.Ex47.m1.1.1.1.1.1.1.3.3.3.cmml" xref="A3.Ex47.m1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply><apply id="A3.Ex47.m1.1.1.1.3.cmml" xref="A3.Ex47.m1.1.1.1.3"><minus id="A3.Ex47.m1.1.1.1.3.1.cmml" xref="A3.Ex47.m1.1.1.1.3"></minus><cn type="integer" id="A3.Ex47.m1.1.1.1.3.2.cmml" xref="A3.Ex47.m1.1.1.1.3.2">1</cn></apply></apply><apply id="A3.Ex47.m1.2.2.2.cmml" xref="A3.Ex47.m1.2.2.2"><minus id="A3.Ex47.m1.2.2.2.2.cmml" xref="A3.Ex47.m1.2.2.2.2"></minus><ci id="A3.Ex47.m1.2.2.2.3.cmml" xref="A3.Ex47.m1.2.2.2.3">𝐼</ci><apply id="A3.Ex47.m1.2.2.2.1.cmml" xref="A3.Ex47.m1.2.2.2.1"><times id="A3.Ex47.m1.2.2.2.1.2.cmml" xref="A3.Ex47.m1.2.2.2.1.2"></times><ci id="A3.Ex47.m1.2.2.2.1.3.cmml" xref="A3.Ex47.m1.2.2.2.1.3">𝑈</ci><apply id="A3.Ex47.m1.2.2.2.1.1.cmml" xref="A3.Ex47.m1.2.2.2.1.1"><csymbol cd="ambiguous" id="A3.Ex47.m1.2.2.2.1.1.2.cmml" xref="A3.Ex47.m1.2.2.2.1.1">superscript</csymbol><apply id="A3.Ex47.m1.2.2.2.1.1.1.1.1.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1"><plus id="A3.Ex47.m1.2.2.2.1.1.1.1.1.1.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.1"></plus><ci id="A3.Ex47.m1.2.2.2.1.1.1.1.1.2.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.2">𝐼</ci><apply id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3"><times id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.1.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.1"></times><apply id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.1.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2">superscript</csymbol><ci id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.2.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.3.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.3.cmml" xref="A3.Ex47.m1.2.2.2.1.1.1.1.1.3.3">𝑈</ci></apply></apply><apply id="A3.Ex47.m1.2.2.2.1.1.3.cmml" xref="A3.Ex47.m1.2.2.2.1.1.3"><minus id="A3.Ex47.m1.2.2.2.1.1.3.1.cmml" xref="A3.Ex47.m1.2.2.2.1.1.3"></minus><cn type="integer" id="A3.Ex47.m1.2.2.2.1.1.3.2.cmml" xref="A3.Ex47.m1.2.2.2.1.1.3.2">1</cn></apply></apply><apply id="A3.Ex47.m1.2.2.2.1.4.cmml" xref="A3.Ex47.m1.2.2.2.1.4"><csymbol cd="ambiguous" id="A3.Ex47.m1.2.2.2.1.4.1.cmml" xref="A3.Ex47.m1.2.2.2.1.4">superscript</csymbol><ci id="A3.Ex47.m1.2.2.2.1.4.2.cmml" xref="A3.Ex47.m1.2.2.2.1.4.2">𝑉</ci><ci id="A3.Ex47.m1.2.2.2.1.4.3.cmml" xref="A3.Ex47.m1.2.2.2.1.4.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.Ex47.m1.2c">[I+UV^{T}]^{-1}=I-U(I+V^{T}U)^{-1}V^{T}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A3.SS1.2.p1.7" class="ltx_p">The condition that <math id="A3.SS1.2.p1.5.m1.1" class="ltx_Math" alttext="(I+V^{T}U)^{-1}" display="inline"><semantics id="A3.SS1.2.p1.5.m1.1a"><msup id="A3.SS1.2.p1.5.m1.1.1" xref="A3.SS1.2.p1.5.m1.1.1.cmml"><mrow id="A3.SS1.2.p1.5.m1.1.1.1.1" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS1.2.p1.5.m1.1.1.1.1.2" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS1.2.p1.5.m1.1.1.1.1.1" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.cmml"><mi id="A3.SS1.2.p1.5.m1.1.1.1.1.1.2" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.2.cmml">I</mi><mo id="A3.SS1.2.p1.5.m1.1.1.1.1.1.1" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.cmml"><msup id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.cmml"><mi id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.2" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.3" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.1" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.3" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="A3.SS1.2.p1.5.m1.1.1.1.1.3" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A3.SS1.2.p1.5.m1.1.1.3" xref="A3.SS1.2.p1.5.m1.1.1.3.cmml"><mo id="A3.SS1.2.p1.5.m1.1.1.3a" xref="A3.SS1.2.p1.5.m1.1.1.3.cmml">−</mo><mn id="A3.SS1.2.p1.5.m1.1.1.3.2" xref="A3.SS1.2.p1.5.m1.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A3.SS1.2.p1.5.m1.1b"><apply id="A3.SS1.2.p1.5.m1.1.1.cmml" xref="A3.SS1.2.p1.5.m1.1.1"><csymbol cd="ambiguous" id="A3.SS1.2.p1.5.m1.1.1.2.cmml" xref="A3.SS1.2.p1.5.m1.1.1">superscript</csymbol><apply id="A3.SS1.2.p1.5.m1.1.1.1.1.1.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1"><plus id="A3.SS1.2.p1.5.m1.1.1.1.1.1.1.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.1"></plus><ci id="A3.SS1.2.p1.5.m1.1.1.1.1.1.2.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.2">𝐼</ci><apply id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3"><times id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.1.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.1"></times><apply id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.1.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.2.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.3.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.3.cmml" xref="A3.SS1.2.p1.5.m1.1.1.1.1.1.3.3">𝑈</ci></apply></apply><apply id="A3.SS1.2.p1.5.m1.1.1.3.cmml" xref="A3.SS1.2.p1.5.m1.1.1.3"><minus id="A3.SS1.2.p1.5.m1.1.1.3.1.cmml" xref="A3.SS1.2.p1.5.m1.1.1.3"></minus><cn type="integer" id="A3.SS1.2.p1.5.m1.1.1.3.2.cmml" xref="A3.SS1.2.p1.5.m1.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.2.p1.5.m1.1c">(I+V^{T}U)^{-1}</annotation></semantics></math> exists is necessary as otherwise <math id="A3.SS1.2.p1.6.m2.1" class="ltx_Math" alttext="A_{V}(U)" display="inline"><semantics id="A3.SS1.2.p1.6.m2.1a"><mrow id="A3.SS1.2.p1.6.m2.1.2" xref="A3.SS1.2.p1.6.m2.1.2.cmml"><msub id="A3.SS1.2.p1.6.m2.1.2.2" xref="A3.SS1.2.p1.6.m2.1.2.2.cmml"><mi id="A3.SS1.2.p1.6.m2.1.2.2.2" xref="A3.SS1.2.p1.6.m2.1.2.2.2.cmml">A</mi><mi id="A3.SS1.2.p1.6.m2.1.2.2.3" xref="A3.SS1.2.p1.6.m2.1.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.6.m2.1.2.1" xref="A3.SS1.2.p1.6.m2.1.2.1.cmml">​</mo><mrow id="A3.SS1.2.p1.6.m2.1.2.3.2" xref="A3.SS1.2.p1.6.m2.1.2.cmml"><mo stretchy="false" id="A3.SS1.2.p1.6.m2.1.2.3.2.1" xref="A3.SS1.2.p1.6.m2.1.2.cmml">(</mo><mi id="A3.SS1.2.p1.6.m2.1.1" xref="A3.SS1.2.p1.6.m2.1.1.cmml">U</mi><mo stretchy="false" id="A3.SS1.2.p1.6.m2.1.2.3.2.2" xref="A3.SS1.2.p1.6.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.2.p1.6.m2.1b"><apply id="A3.SS1.2.p1.6.m2.1.2.cmml" xref="A3.SS1.2.p1.6.m2.1.2"><times id="A3.SS1.2.p1.6.m2.1.2.1.cmml" xref="A3.SS1.2.p1.6.m2.1.2.1"></times><apply id="A3.SS1.2.p1.6.m2.1.2.2.cmml" xref="A3.SS1.2.p1.6.m2.1.2.2"><csymbol cd="ambiguous" id="A3.SS1.2.p1.6.m2.1.2.2.1.cmml" xref="A3.SS1.2.p1.6.m2.1.2.2">subscript</csymbol><ci id="A3.SS1.2.p1.6.m2.1.2.2.2.cmml" xref="A3.SS1.2.p1.6.m2.1.2.2.2">𝐴</ci><ci id="A3.SS1.2.p1.6.m2.1.2.2.3.cmml" xref="A3.SS1.2.p1.6.m2.1.2.2.3">𝑉</ci></apply><ci id="A3.SS1.2.p1.6.m2.1.1.cmml" xref="A3.SS1.2.p1.6.m2.1.1">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.2.p1.6.m2.1c">A_{V}(U)</annotation></semantics></math> is singular.
Lastly, the associativity property clearly holds for matrix multiplications. Hence, all such matrices form a Lie group.
Similarly, we can show that <math id="A3.SS1.2.p1.7.m3.1" class="ltx_Math" alttext="A_{U}(V)=I+UV^{T}" display="inline"><semantics id="A3.SS1.2.p1.7.m3.1a"><mrow id="A3.SS1.2.p1.7.m3.1.2" xref="A3.SS1.2.p1.7.m3.1.2.cmml"><mrow id="A3.SS1.2.p1.7.m3.1.2.2" xref="A3.SS1.2.p1.7.m3.1.2.2.cmml"><msub id="A3.SS1.2.p1.7.m3.1.2.2.2" xref="A3.SS1.2.p1.7.m3.1.2.2.2.cmml"><mi id="A3.SS1.2.p1.7.m3.1.2.2.2.2" xref="A3.SS1.2.p1.7.m3.1.2.2.2.2.cmml">A</mi><mi id="A3.SS1.2.p1.7.m3.1.2.2.2.3" xref="A3.SS1.2.p1.7.m3.1.2.2.2.3.cmml">U</mi></msub><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.7.m3.1.2.2.1" xref="A3.SS1.2.p1.7.m3.1.2.2.1.cmml">​</mo><mrow id="A3.SS1.2.p1.7.m3.1.2.2.3.2" xref="A3.SS1.2.p1.7.m3.1.2.2.cmml"><mo stretchy="false" id="A3.SS1.2.p1.7.m3.1.2.2.3.2.1" xref="A3.SS1.2.p1.7.m3.1.2.2.cmml">(</mo><mi id="A3.SS1.2.p1.7.m3.1.1" xref="A3.SS1.2.p1.7.m3.1.1.cmml">V</mi><mo stretchy="false" id="A3.SS1.2.p1.7.m3.1.2.2.3.2.2" xref="A3.SS1.2.p1.7.m3.1.2.2.cmml">)</mo></mrow></mrow><mo id="A3.SS1.2.p1.7.m3.1.2.1" xref="A3.SS1.2.p1.7.m3.1.2.1.cmml">=</mo><mrow id="A3.SS1.2.p1.7.m3.1.2.3" xref="A3.SS1.2.p1.7.m3.1.2.3.cmml"><mi id="A3.SS1.2.p1.7.m3.1.2.3.2" xref="A3.SS1.2.p1.7.m3.1.2.3.2.cmml">I</mi><mo id="A3.SS1.2.p1.7.m3.1.2.3.1" xref="A3.SS1.2.p1.7.m3.1.2.3.1.cmml">+</mo><mrow id="A3.SS1.2.p1.7.m3.1.2.3.3" xref="A3.SS1.2.p1.7.m3.1.2.3.3.cmml"><mi id="A3.SS1.2.p1.7.m3.1.2.3.3.2" xref="A3.SS1.2.p1.7.m3.1.2.3.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.SS1.2.p1.7.m3.1.2.3.3.1" xref="A3.SS1.2.p1.7.m3.1.2.3.3.1.cmml">​</mo><msup id="A3.SS1.2.p1.7.m3.1.2.3.3.3" xref="A3.SS1.2.p1.7.m3.1.2.3.3.3.cmml"><mi id="A3.SS1.2.p1.7.m3.1.2.3.3.3.2" xref="A3.SS1.2.p1.7.m3.1.2.3.3.3.2.cmml">V</mi><mi id="A3.SS1.2.p1.7.m3.1.2.3.3.3.3" xref="A3.SS1.2.p1.7.m3.1.2.3.3.3.3.cmml">T</mi></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.2.p1.7.m3.1b"><apply id="A3.SS1.2.p1.7.m3.1.2.cmml" xref="A3.SS1.2.p1.7.m3.1.2"><eq id="A3.SS1.2.p1.7.m3.1.2.1.cmml" xref="A3.SS1.2.p1.7.m3.1.2.1"></eq><apply id="A3.SS1.2.p1.7.m3.1.2.2.cmml" xref="A3.SS1.2.p1.7.m3.1.2.2"><times id="A3.SS1.2.p1.7.m3.1.2.2.1.cmml" xref="A3.SS1.2.p1.7.m3.1.2.2.1"></times><apply id="A3.SS1.2.p1.7.m3.1.2.2.2.cmml" xref="A3.SS1.2.p1.7.m3.1.2.2.2"><csymbol cd="ambiguous" id="A3.SS1.2.p1.7.m3.1.2.2.2.1.cmml" xref="A3.SS1.2.p1.7.m3.1.2.2.2">subscript</csymbol><ci id="A3.SS1.2.p1.7.m3.1.2.2.2.2.cmml" xref="A3.SS1.2.p1.7.m3.1.2.2.2.2">𝐴</ci><ci id="A3.SS1.2.p1.7.m3.1.2.2.2.3.cmml" xref="A3.SS1.2.p1.7.m3.1.2.2.2.3">𝑈</ci></apply><ci id="A3.SS1.2.p1.7.m3.1.1.cmml" xref="A3.SS1.2.p1.7.m3.1.1">𝑉</ci></apply><apply id="A3.SS1.2.p1.7.m3.1.2.3.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3"><plus id="A3.SS1.2.p1.7.m3.1.2.3.1.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.1"></plus><ci id="A3.SS1.2.p1.7.m3.1.2.3.2.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.2">𝐼</ci><apply id="A3.SS1.2.p1.7.m3.1.2.3.3.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.3"><times id="A3.SS1.2.p1.7.m3.1.2.3.3.1.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.3.1"></times><ci id="A3.SS1.2.p1.7.m3.1.2.3.3.2.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.3.2">𝑈</ci><apply id="A3.SS1.2.p1.7.m3.1.2.3.3.3.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.3.3"><csymbol cd="ambiguous" id="A3.SS1.2.p1.7.m3.1.2.3.3.3.1.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.3.3">superscript</csymbol><ci id="A3.SS1.2.p1.7.m3.1.2.3.3.3.2.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.3.3.2">𝑉</ci><ci id="A3.SS1.2.p1.7.m3.1.2.3.3.3.3.cmml" xref="A3.SS1.2.p1.7.m3.1.2.3.3.3.3">𝑇</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.2.p1.7.m3.1c">A_{U}(V)=I+UV^{T}</annotation></semantics></math> defines another Lie group.  ∎</p>
</div>
</div>
<section id="A3.SS1.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">C.1.1 </span>The rotation ambiguity and Schur decomposition</h4>

<div id="A3.SS1.SSS1.p1" class="ltx_para">
<p id="A3.SS1.SSS1.p1.9" class="ltx_p">Note that <math id="A3.SS1.SSS1.p1.1.m1.1" class="ltx_Math" alttext="UV^{T}=UQ(VQ)^{T}" display="inline"><semantics id="A3.SS1.SSS1.p1.1.m1.1a"><mrow id="A3.SS1.SSS1.p1.1.m1.1.1" xref="A3.SS1.SSS1.p1.1.m1.1.1.cmml"><mrow id="A3.SS1.SSS1.p1.1.m1.1.1.3" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.cmml"><mi id="A3.SS1.SSS1.p1.1.m1.1.1.3.2" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.1.m1.1.1.3.1" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.1.cmml">​</mo><msup id="A3.SS1.SSS1.p1.1.m1.1.1.3.3" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.3.cmml"><mi id="A3.SS1.SSS1.p1.1.m1.1.1.3.3.2" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.3.2.cmml">V</mi><mi id="A3.SS1.SSS1.p1.1.m1.1.1.3.3.3" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.3.3.cmml">T</mi></msup></mrow><mo id="A3.SS1.SSS1.p1.1.m1.1.1.2" xref="A3.SS1.SSS1.p1.1.m1.1.1.2.cmml">=</mo><mrow id="A3.SS1.SSS1.p1.1.m1.1.1.1" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.cmml"><mi id="A3.SS1.SSS1.p1.1.m1.1.1.1.3" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.1.m1.1.1.1.2" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.2.cmml">​</mo><mi id="A3.SS1.SSS1.p1.1.m1.1.1.1.4" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.4.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.1.m1.1.1.1.2a" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.2.cmml">​</mo><msup id="A3.SS1.SSS1.p1.1.m1.1.1.1.1" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.cmml"><mrow id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.2" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.cmml"><mi id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.2" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.1" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.3" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.3.cmml">Q</mi></mrow><mo stretchy="false" id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.3" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.3" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.3.cmml">T</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.1.m1.1b"><apply id="A3.SS1.SSS1.p1.1.m1.1.1.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1"><eq id="A3.SS1.SSS1.p1.1.m1.1.1.2.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.2"></eq><apply id="A3.SS1.SSS1.p1.1.m1.1.1.3.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.3"><times id="A3.SS1.SSS1.p1.1.m1.1.1.3.1.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.1"></times><ci id="A3.SS1.SSS1.p1.1.m1.1.1.3.2.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.2">𝑈</ci><apply id="A3.SS1.SSS1.p1.1.m1.1.1.3.3.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="A3.SS1.SSS1.p1.1.m1.1.1.3.3.1.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.3">superscript</csymbol><ci id="A3.SS1.SSS1.p1.1.m1.1.1.3.3.2.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.3.2">𝑉</ci><ci id="A3.SS1.SSS1.p1.1.m1.1.1.3.3.3.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.3.3.3">𝑇</ci></apply></apply><apply id="A3.SS1.SSS1.p1.1.m1.1.1.1.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1"><times id="A3.SS1.SSS1.p1.1.m1.1.1.1.2.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.2"></times><ci id="A3.SS1.SSS1.p1.1.m1.1.1.1.3.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.3">𝑈</ci><ci id="A3.SS1.SSS1.p1.1.m1.1.1.1.4.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.4">𝑄</ci><apply id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.2.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1">superscript</csymbol><apply id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1"><times id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.1.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.1"></times><ci id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.2.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.2">𝑉</ci><ci id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.3.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.1.1.1.3">𝑄</ci></apply><ci id="A3.SS1.SSS1.p1.1.m1.1.1.1.1.3.cmml" xref="A3.SS1.SSS1.p1.1.m1.1.1.1.1.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.1.m1.1c">UV^{T}=UQ(VQ)^{T}</annotation></semantics></math> for any orthogonal matrix <math id="A3.SS1.SSS1.p1.2.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS1.SSS1.p1.2.m2.1a"><mi id="A3.SS1.SSS1.p1.2.m2.1.1" xref="A3.SS1.SSS1.p1.2.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.2.m2.1b"><ci id="A3.SS1.SSS1.p1.2.m2.1.1.cmml" xref="A3.SS1.SSS1.p1.2.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.2.m2.1c">Q</annotation></semantics></math>.
Thus, we can remove this rotation ambiguity by selecting a <math id="A3.SS1.SSS1.p1.3.m3.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A3.SS1.SSS1.p1.3.m3.1a"><mi id="A3.SS1.SSS1.p1.3.m3.1.1" xref="A3.SS1.SSS1.p1.3.m3.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.3.m3.1b"><ci id="A3.SS1.SSS1.p1.3.m3.1.1.cmml" xref="A3.SS1.SSS1.p1.3.m3.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.3.m3.1c">Q</annotation></semantics></math> such that <math id="A3.SS1.SSS1.p1.4.m4.1" class="ltx_Math" alttext="Q^{T}(V^{T}U)Q" display="inline"><semantics id="A3.SS1.SSS1.p1.4.m4.1a"><mrow id="A3.SS1.SSS1.p1.4.m4.1.1" xref="A3.SS1.SSS1.p1.4.m4.1.1.cmml"><msup id="A3.SS1.SSS1.p1.4.m4.1.1.3" xref="A3.SS1.SSS1.p1.4.m4.1.1.3.cmml"><mi id="A3.SS1.SSS1.p1.4.m4.1.1.3.2" xref="A3.SS1.SSS1.p1.4.m4.1.1.3.2.cmml">Q</mi><mi id="A3.SS1.SSS1.p1.4.m4.1.1.3.3" xref="A3.SS1.SSS1.p1.4.m4.1.1.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.4.m4.1.1.2" xref="A3.SS1.SSS1.p1.4.m4.1.1.2.cmml">​</mo><mrow id="A3.SS1.SSS1.p1.4.m4.1.1.1.1" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.2" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.cmml">(</mo><mrow id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.cmml"><msup id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.cmml"><mi id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.2" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.2.cmml">V</mi><mi id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.3" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.1" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.1.cmml">​</mo><mi id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.3" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.3.cmml">U</mi></mrow><mo stretchy="false" id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.3" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.4.m4.1.1.2a" xref="A3.SS1.SSS1.p1.4.m4.1.1.2.cmml">​</mo><mi id="A3.SS1.SSS1.p1.4.m4.1.1.4" xref="A3.SS1.SSS1.p1.4.m4.1.1.4.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.4.m4.1b"><apply id="A3.SS1.SSS1.p1.4.m4.1.1.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1"><times id="A3.SS1.SSS1.p1.4.m4.1.1.2.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.2"></times><apply id="A3.SS1.SSS1.p1.4.m4.1.1.3.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.3"><csymbol cd="ambiguous" id="A3.SS1.SSS1.p1.4.m4.1.1.3.1.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.3">superscript</csymbol><ci id="A3.SS1.SSS1.p1.4.m4.1.1.3.2.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.3.2">𝑄</ci><ci id="A3.SS1.SSS1.p1.4.m4.1.1.3.3.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.3.3">𝑇</ci></apply><apply id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1"><times id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.1.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.1"></times><apply id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.1.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2">superscript</csymbol><ci id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.2.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.2">𝑉</ci><ci id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.3.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.2.3">𝑇</ci></apply><ci id="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.3.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.1.1.1.3">𝑈</ci></apply><ci id="A3.SS1.SSS1.p1.4.m4.1.1.4.cmml" xref="A3.SS1.SSS1.p1.4.m4.1.1.4">𝑄</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.4.m4.1c">Q^{T}(V^{T}U)Q</annotation></semantics></math> is an upper triangular block matrix with block size <math id="A3.SS1.SSS1.p1.5.m5.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A3.SS1.SSS1.p1.5.m5.1a"><mn id="A3.SS1.SSS1.p1.5.m5.1.1" xref="A3.SS1.SSS1.p1.5.m5.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.5.m5.1b"><cn type="integer" id="A3.SS1.SSS1.p1.5.m5.1.1.cmml" xref="A3.SS1.SSS1.p1.5.m5.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.5.m5.1c">1</annotation></semantics></math> or <math id="A3.SS1.SSS1.p1.6.m6.1" class="ltx_Math" alttext="2" display="inline"><semantics id="A3.SS1.SSS1.p1.6.m6.1a"><mn id="A3.SS1.SSS1.p1.6.m6.1.1" xref="A3.SS1.SSS1.p1.6.m6.1.1.cmml">2</mn><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.6.m6.1b"><cn type="integer" id="A3.SS1.SSS1.p1.6.m6.1.1.cmml" xref="A3.SS1.SSS1.p1.6.m6.1.1">2</cn></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.6.m6.1c">2</annotation></semantics></math>, i.e., the Schur decomposition.
<math id="A3.SS1.SSS1.p1.7.m7.1" class="ltx_Math" alttext="A_{V}(U)" display="inline"><semantics id="A3.SS1.SSS1.p1.7.m7.1a"><mrow id="A3.SS1.SSS1.p1.7.m7.1.2" xref="A3.SS1.SSS1.p1.7.m7.1.2.cmml"><msub id="A3.SS1.SSS1.p1.7.m7.1.2.2" xref="A3.SS1.SSS1.p1.7.m7.1.2.2.cmml"><mi id="A3.SS1.SSS1.p1.7.m7.1.2.2.2" xref="A3.SS1.SSS1.p1.7.m7.1.2.2.2.cmml">A</mi><mi id="A3.SS1.SSS1.p1.7.m7.1.2.2.3" xref="A3.SS1.SSS1.p1.7.m7.1.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.7.m7.1.2.1" xref="A3.SS1.SSS1.p1.7.m7.1.2.1.cmml">​</mo><mrow id="A3.SS1.SSS1.p1.7.m7.1.2.3.2" xref="A3.SS1.SSS1.p1.7.m7.1.2.cmml"><mo stretchy="false" id="A3.SS1.SSS1.p1.7.m7.1.2.3.2.1" xref="A3.SS1.SSS1.p1.7.m7.1.2.cmml">(</mo><mi id="A3.SS1.SSS1.p1.7.m7.1.1" xref="A3.SS1.SSS1.p1.7.m7.1.1.cmml">U</mi><mo stretchy="false" id="A3.SS1.SSS1.p1.7.m7.1.2.3.2.2" xref="A3.SS1.SSS1.p1.7.m7.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.7.m7.1b"><apply id="A3.SS1.SSS1.p1.7.m7.1.2.cmml" xref="A3.SS1.SSS1.p1.7.m7.1.2"><times id="A3.SS1.SSS1.p1.7.m7.1.2.1.cmml" xref="A3.SS1.SSS1.p1.7.m7.1.2.1"></times><apply id="A3.SS1.SSS1.p1.7.m7.1.2.2.cmml" xref="A3.SS1.SSS1.p1.7.m7.1.2.2"><csymbol cd="ambiguous" id="A3.SS1.SSS1.p1.7.m7.1.2.2.1.cmml" xref="A3.SS1.SSS1.p1.7.m7.1.2.2">subscript</csymbol><ci id="A3.SS1.SSS1.p1.7.m7.1.2.2.2.cmml" xref="A3.SS1.SSS1.p1.7.m7.1.2.2.2">𝐴</ci><ci id="A3.SS1.SSS1.p1.7.m7.1.2.2.3.cmml" xref="A3.SS1.SSS1.p1.7.m7.1.2.2.3">𝑉</ci></apply><ci id="A3.SS1.SSS1.p1.7.m7.1.1.cmml" xref="A3.SS1.SSS1.p1.7.m7.1.1">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.7.m7.1c">A_{V}(U)</annotation></semantics></math> and <math id="A3.SS1.SSS1.p1.8.m8.1" class="ltx_Math" alttext="A_{U}(V)" display="inline"><semantics id="A3.SS1.SSS1.p1.8.m8.1a"><mrow id="A3.SS1.SSS1.p1.8.m8.1.2" xref="A3.SS1.SSS1.p1.8.m8.1.2.cmml"><msub id="A3.SS1.SSS1.p1.8.m8.1.2.2" xref="A3.SS1.SSS1.p1.8.m8.1.2.2.cmml"><mi id="A3.SS1.SSS1.p1.8.m8.1.2.2.2" xref="A3.SS1.SSS1.p1.8.m8.1.2.2.2.cmml">A</mi><mi id="A3.SS1.SSS1.p1.8.m8.1.2.2.3" xref="A3.SS1.SSS1.p1.8.m8.1.2.2.3.cmml">U</mi></msub><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.8.m8.1.2.1" xref="A3.SS1.SSS1.p1.8.m8.1.2.1.cmml">​</mo><mrow id="A3.SS1.SSS1.p1.8.m8.1.2.3.2" xref="A3.SS1.SSS1.p1.8.m8.1.2.cmml"><mo stretchy="false" id="A3.SS1.SSS1.p1.8.m8.1.2.3.2.1" xref="A3.SS1.SSS1.p1.8.m8.1.2.cmml">(</mo><mi id="A3.SS1.SSS1.p1.8.m8.1.1" xref="A3.SS1.SSS1.p1.8.m8.1.1.cmml">V</mi><mo stretchy="false" id="A3.SS1.SSS1.p1.8.m8.1.2.3.2.2" xref="A3.SS1.SSS1.p1.8.m8.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.8.m8.1b"><apply id="A3.SS1.SSS1.p1.8.m8.1.2.cmml" xref="A3.SS1.SSS1.p1.8.m8.1.2"><times id="A3.SS1.SSS1.p1.8.m8.1.2.1.cmml" xref="A3.SS1.SSS1.p1.8.m8.1.2.1"></times><apply id="A3.SS1.SSS1.p1.8.m8.1.2.2.cmml" xref="A3.SS1.SSS1.p1.8.m8.1.2.2"><csymbol cd="ambiguous" id="A3.SS1.SSS1.p1.8.m8.1.2.2.1.cmml" xref="A3.SS1.SSS1.p1.8.m8.1.2.2">subscript</csymbol><ci id="A3.SS1.SSS1.p1.8.m8.1.2.2.2.cmml" xref="A3.SS1.SSS1.p1.8.m8.1.2.2.2">𝐴</ci><ci id="A3.SS1.SSS1.p1.8.m8.1.2.2.3.cmml" xref="A3.SS1.SSS1.p1.8.m8.1.2.2.3">𝑈</ci></apply><ci id="A3.SS1.SSS1.p1.8.m8.1.1.cmml" xref="A3.SS1.SSS1.p1.8.m8.1.1">𝑉</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.8.m8.1c">A_{U}(V)</annotation></semantics></math> still form groups by constraining <math id="A3.SS1.SSS1.p1.9.m9.1" class="ltx_Math" alttext="V^{T}U" display="inline"><semantics id="A3.SS1.SSS1.p1.9.m9.1a"><mrow id="A3.SS1.SSS1.p1.9.m9.1.1" xref="A3.SS1.SSS1.p1.9.m9.1.1.cmml"><msup id="A3.SS1.SSS1.p1.9.m9.1.1.2" xref="A3.SS1.SSS1.p1.9.m9.1.1.2.cmml"><mi id="A3.SS1.SSS1.p1.9.m9.1.1.2.2" xref="A3.SS1.SSS1.p1.9.m9.1.1.2.2.cmml">V</mi><mi id="A3.SS1.SSS1.p1.9.m9.1.1.2.3" xref="A3.SS1.SSS1.p1.9.m9.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A3.SS1.SSS1.p1.9.m9.1.1.1" xref="A3.SS1.SSS1.p1.9.m9.1.1.1.cmml">​</mo><mi id="A3.SS1.SSS1.p1.9.m9.1.1.3" xref="A3.SS1.SSS1.p1.9.m9.1.1.3.cmml">U</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.SS1.SSS1.p1.9.m9.1b"><apply id="A3.SS1.SSS1.p1.9.m9.1.1.cmml" xref="A3.SS1.SSS1.p1.9.m9.1.1"><times id="A3.SS1.SSS1.p1.9.m9.1.1.1.cmml" xref="A3.SS1.SSS1.p1.9.m9.1.1.1"></times><apply id="A3.SS1.SSS1.p1.9.m9.1.1.2.cmml" xref="A3.SS1.SSS1.p1.9.m9.1.1.2"><csymbol cd="ambiguous" id="A3.SS1.SSS1.p1.9.m9.1.1.2.1.cmml" xref="A3.SS1.SSS1.p1.9.m9.1.1.2">superscript</csymbol><ci id="A3.SS1.SSS1.p1.9.m9.1.1.2.2.cmml" xref="A3.SS1.SSS1.p1.9.m9.1.1.2.2">𝑉</ci><ci id="A3.SS1.SSS1.p1.9.m9.1.1.2.3.cmml" xref="A3.SS1.SSS1.p1.9.m9.1.1.2.3">𝑇</ci></apply><ci id="A3.SS1.SSS1.p1.9.m9.1.1.3.cmml" xref="A3.SS1.SSS1.p1.9.m9.1.1.3">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.SS1.SSS1.p1.9.m9.1c">V^{T}U</annotation></semantics></math> to be quasi-triangular.</p>
</div>
</section>
</section>
</section>
<section id="A4" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix D </span>Low-rank approximation preconditioner fitting</h2>

<div id="A4.p1" class="ltx_para">
<p id="A4.p1.5" class="ltx_p">In practice, we seldom use <math id="A4.p1.1.m1.1" class="ltx_Math" alttext="Q=\rho(I+UV^{T})" display="inline"><semantics id="A4.p1.1.m1.1a"><mrow id="A4.p1.1.m1.1.1" xref="A4.p1.1.m1.1.1.cmml"><mi id="A4.p1.1.m1.1.1.3" xref="A4.p1.1.m1.1.1.3.cmml">Q</mi><mo id="A4.p1.1.m1.1.1.2" xref="A4.p1.1.m1.1.1.2.cmml">=</mo><mrow id="A4.p1.1.m1.1.1.1" xref="A4.p1.1.m1.1.1.1.cmml"><mi id="A4.p1.1.m1.1.1.1.3" xref="A4.p1.1.m1.1.1.1.3.cmml">ρ</mi><mo lspace="0em" rspace="0em" id="A4.p1.1.m1.1.1.1.2" xref="A4.p1.1.m1.1.1.1.2.cmml">​</mo><mrow id="A4.p1.1.m1.1.1.1.1.1" xref="A4.p1.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.p1.1.m1.1.1.1.1.1.2" xref="A4.p1.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.p1.1.m1.1.1.1.1.1.1" xref="A4.p1.1.m1.1.1.1.1.1.1.cmml"><mi id="A4.p1.1.m1.1.1.1.1.1.1.2" xref="A4.p1.1.m1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A4.p1.1.m1.1.1.1.1.1.1.1" xref="A4.p1.1.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.p1.1.m1.1.1.1.1.1.1.3" xref="A4.p1.1.m1.1.1.1.1.1.1.3.cmml"><mi id="A4.p1.1.m1.1.1.1.1.1.1.3.2" xref="A4.p1.1.m1.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.p1.1.m1.1.1.1.1.1.1.3.1" xref="A4.p1.1.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.p1.1.m1.1.1.1.1.1.1.3.3" xref="A4.p1.1.m1.1.1.1.1.1.1.3.3.cmml"><mi id="A4.p1.1.m1.1.1.1.1.1.1.3.3.2" xref="A4.p1.1.m1.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="A4.p1.1.m1.1.1.1.1.1.1.3.3.3" xref="A4.p1.1.m1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.p1.1.m1.1.1.1.1.1.3" xref="A4.p1.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.1.m1.1b"><apply id="A4.p1.1.m1.1.1.cmml" xref="A4.p1.1.m1.1.1"><eq id="A4.p1.1.m1.1.1.2.cmml" xref="A4.p1.1.m1.1.1.2"></eq><ci id="A4.p1.1.m1.1.1.3.cmml" xref="A4.p1.1.m1.1.1.3">𝑄</ci><apply id="A4.p1.1.m1.1.1.1.cmml" xref="A4.p1.1.m1.1.1.1"><times id="A4.p1.1.m1.1.1.1.2.cmml" xref="A4.p1.1.m1.1.1.1.2"></times><ci id="A4.p1.1.m1.1.1.1.3.cmml" xref="A4.p1.1.m1.1.1.1.3">𝜌</ci><apply id="A4.p1.1.m1.1.1.1.1.1.1.cmml" xref="A4.p1.1.m1.1.1.1.1.1"><plus id="A4.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.1"></plus><ci id="A4.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.2">𝐼</ci><apply id="A4.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.3"><times id="A4.p1.1.m1.1.1.1.1.1.1.3.1.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.3.1"></times><ci id="A4.p1.1.m1.1.1.1.1.1.1.3.2.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.3.2">𝑈</ci><apply id="A4.p1.1.m1.1.1.1.1.1.1.3.3.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.p1.1.m1.1.1.1.1.1.1.3.3.1.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.p1.1.m1.1.1.1.1.1.1.3.3.2.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="A4.p1.1.m1.1.1.1.1.1.1.3.3.3.cmml" xref="A4.p1.1.m1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.1.m1.1c">Q=\rho(I+UV^{T})</annotation></semantics></math> as a preconditioner directly. Its limitation is clear, i.e., most of its eigenvalues are <math id="A4.p1.2.m2.1" class="ltx_Math" alttext="\rho^{2}" display="inline"><semantics id="A4.p1.2.m2.1a"><msup id="A4.p1.2.m2.1.1" xref="A4.p1.2.m2.1.1.cmml"><mi id="A4.p1.2.m2.1.1.2" xref="A4.p1.2.m2.1.1.2.cmml">ρ</mi><mn id="A4.p1.2.m2.1.1.3" xref="A4.p1.2.m2.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A4.p1.2.m2.1b"><apply id="A4.p1.2.m2.1.1.cmml" xref="A4.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A4.p1.2.m2.1.1.1.cmml" xref="A4.p1.2.m2.1.1">superscript</csymbol><ci id="A4.p1.2.m2.1.1.2.cmml" xref="A4.p1.2.m2.1.1.2">𝜌</ci><cn type="integer" id="A4.p1.2.m2.1.1.3.cmml" xref="A4.p1.2.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.2.m2.1c">\rho^{2}</annotation></semantics></math> with <math id="A4.p1.3.m3.1" class="ltx_Math" alttext="r\ll n" display="inline"><semantics id="A4.p1.3.m3.1a"><mrow id="A4.p1.3.m3.1.1" xref="A4.p1.3.m3.1.1.cmml"><mi id="A4.p1.3.m3.1.1.2" xref="A4.p1.3.m3.1.1.2.cmml">r</mi><mo id="A4.p1.3.m3.1.1.1" xref="A4.p1.3.m3.1.1.1.cmml">≪</mo><mi id="A4.p1.3.m3.1.1.3" xref="A4.p1.3.m3.1.1.3.cmml">n</mi></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.3.m3.1b"><apply id="A4.p1.3.m3.1.1.cmml" xref="A4.p1.3.m3.1.1"><csymbol cd="latexml" id="A4.p1.3.m3.1.1.1.cmml" xref="A4.p1.3.m3.1.1.1">much-less-than</csymbol><ci id="A4.p1.3.m3.1.1.2.cmml" xref="A4.p1.3.m3.1.1.2">𝑟</ci><ci id="A4.p1.3.m3.1.1.3.cmml" xref="A4.p1.3.m3.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.3.m3.1c">r\ll n</annotation></semantics></math>. In our method, we start from a rough preconditioner guess, say <math id="A4.p1.4.m4.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A4.p1.4.m4.1a"><mi id="A4.p1.4.m4.1.1" xref="A4.p1.4.m4.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A4.p1.4.m4.1b"><ci id="A4.p1.4.m4.1.1.cmml" xref="A4.p1.4.m4.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.4.m4.1c">B</annotation></semantics></math>, and modify it with <math id="A4.p1.5.m5.1" class="ltx_Math" alttext="I+UV^{T}" display="inline"><semantics id="A4.p1.5.m5.1a"><mrow id="A4.p1.5.m5.1.1" xref="A4.p1.5.m5.1.1.cmml"><mi id="A4.p1.5.m5.1.1.2" xref="A4.p1.5.m5.1.1.2.cmml">I</mi><mo id="A4.p1.5.m5.1.1.1" xref="A4.p1.5.m5.1.1.1.cmml">+</mo><mrow id="A4.p1.5.m5.1.1.3" xref="A4.p1.5.m5.1.1.3.cmml"><mi id="A4.p1.5.m5.1.1.3.2" xref="A4.p1.5.m5.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.p1.5.m5.1.1.3.1" xref="A4.p1.5.m5.1.1.3.1.cmml">​</mo><msup id="A4.p1.5.m5.1.1.3.3" xref="A4.p1.5.m5.1.1.3.3.cmml"><mi id="A4.p1.5.m5.1.1.3.3.2" xref="A4.p1.5.m5.1.1.3.3.2.cmml">V</mi><mi id="A4.p1.5.m5.1.1.3.3.3" xref="A4.p1.5.m5.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.5.m5.1b"><apply id="A4.p1.5.m5.1.1.cmml" xref="A4.p1.5.m5.1.1"><plus id="A4.p1.5.m5.1.1.1.cmml" xref="A4.p1.5.m5.1.1.1"></plus><ci id="A4.p1.5.m5.1.1.2.cmml" xref="A4.p1.5.m5.1.1.2">𝐼</ci><apply id="A4.p1.5.m5.1.1.3.cmml" xref="A4.p1.5.m5.1.1.3"><times id="A4.p1.5.m5.1.1.3.1.cmml" xref="A4.p1.5.m5.1.1.3.1"></times><ci id="A4.p1.5.m5.1.1.3.2.cmml" xref="A4.p1.5.m5.1.1.3.2">𝑈</ci><apply id="A4.p1.5.m5.1.1.3.3.cmml" xref="A4.p1.5.m5.1.1.3.3"><csymbol cd="ambiguous" id="A4.p1.5.m5.1.1.3.3.1.cmml" xref="A4.p1.5.m5.1.1.3.3">superscript</csymbol><ci id="A4.p1.5.m5.1.1.3.3.2.cmml" xref="A4.p1.5.m5.1.1.3.3.2">𝑉</ci><ci id="A4.p1.5.m5.1.1.3.3.3.cmml" xref="A4.p1.5.m5.1.1.3.3.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.5.m5.1c">I+UV^{T}</annotation></semantics></math> to have the refined preconditioner as</p>
<table id="A12.EGx32" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.Ex48"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex48.m1.1" class="ltx_Math" alttext="\displaystyle Q=(I+UV^{T})B" display="inline"><semantics id="A4.Ex48.m1.1a"><mrow id="A4.Ex48.m1.1.1" xref="A4.Ex48.m1.1.1.cmml"><mi id="A4.Ex48.m1.1.1.3" xref="A4.Ex48.m1.1.1.3.cmml">Q</mi><mo id="A4.Ex48.m1.1.1.2" xref="A4.Ex48.m1.1.1.2.cmml">=</mo><mrow id="A4.Ex48.m1.1.1.1" xref="A4.Ex48.m1.1.1.1.cmml"><mrow id="A4.Ex48.m1.1.1.1.1.1" xref="A4.Ex48.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex48.m1.1.1.1.1.1.2" xref="A4.Ex48.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex48.m1.1.1.1.1.1.1" xref="A4.Ex48.m1.1.1.1.1.1.1.cmml"><mi id="A4.Ex48.m1.1.1.1.1.1.1.2" xref="A4.Ex48.m1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A4.Ex48.m1.1.1.1.1.1.1.1" xref="A4.Ex48.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.Ex48.m1.1.1.1.1.1.1.3" xref="A4.Ex48.m1.1.1.1.1.1.1.3.cmml"><mi id="A4.Ex48.m1.1.1.1.1.1.1.3.2" xref="A4.Ex48.m1.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.Ex48.m1.1.1.1.1.1.1.3.1" xref="A4.Ex48.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex48.m1.1.1.1.1.1.1.3.3" xref="A4.Ex48.m1.1.1.1.1.1.1.3.3.cmml"><mi id="A4.Ex48.m1.1.1.1.1.1.1.3.3.2" xref="A4.Ex48.m1.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex48.m1.1.1.1.1.1.1.3.3.3" xref="A4.Ex48.m1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex48.m1.1.1.1.1.1.3" xref="A4.Ex48.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex48.m1.1.1.1.2" xref="A4.Ex48.m1.1.1.1.2.cmml">​</mo><mi id="A4.Ex48.m1.1.1.1.3" xref="A4.Ex48.m1.1.1.1.3.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex48.m1.1b"><apply id="A4.Ex48.m1.1.1.cmml" xref="A4.Ex48.m1.1.1"><eq id="A4.Ex48.m1.1.1.2.cmml" xref="A4.Ex48.m1.1.1.2"></eq><ci id="A4.Ex48.m1.1.1.3.cmml" xref="A4.Ex48.m1.1.1.3">𝑄</ci><apply id="A4.Ex48.m1.1.1.1.cmml" xref="A4.Ex48.m1.1.1.1"><times id="A4.Ex48.m1.1.1.1.2.cmml" xref="A4.Ex48.m1.1.1.1.2"></times><apply id="A4.Ex48.m1.1.1.1.1.1.1.cmml" xref="A4.Ex48.m1.1.1.1.1.1"><plus id="A4.Ex48.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.1"></plus><ci id="A4.Ex48.m1.1.1.1.1.1.1.2.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.2">𝐼</ci><apply id="A4.Ex48.m1.1.1.1.1.1.1.3.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.3"><times id="A4.Ex48.m1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.3.1"></times><ci id="A4.Ex48.m1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.3.2">𝑈</ci><apply id="A4.Ex48.m1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex48.m1.1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex48.m1.1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="A4.Ex48.m1.1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex48.m1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="A4.Ex48.m1.1.1.1.3.cmml" xref="A4.Ex48.m1.1.1.1.3">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex48.m1.1c">\displaystyle Q=(I+UV^{T})B</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.p1.9" class="ltx_p">If matrix <math id="A4.p1.6.m1.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A4.p1.6.m1.1a"><mi id="A4.p1.6.m1.1.1" xref="A4.p1.6.m1.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A4.p1.6.m1.1b"><ci id="A4.p1.6.m1.1.1.cmml" xref="A4.p1.6.m1.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.6.m1.1c">B</annotation></semantics></math> is from another Lie group, we still can update <math id="A4.p1.7.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A4.p1.7.m2.1a"><mi id="A4.p1.7.m2.1.1" xref="A4.p1.7.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A4.p1.7.m2.1b"><ci id="A4.p1.7.m2.1.1.cmml" xref="A4.p1.7.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.7.m2.1c">Q</annotation></semantics></math> efficiently. For example, <math id="A4.p1.8.m3.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A4.p1.8.m3.1a"><mi id="A4.p1.8.m3.1.1" xref="A4.p1.8.m3.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A4.p1.8.m3.1b"><ci id="A4.p1.8.m3.1.1.cmml" xref="A4.p1.8.m3.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.8.m3.1c">B</annotation></semantics></math> can be a diagonal matrix with nonzero diagonals. Then this composited preconditioner reduce to a diagonal one when <math id="A4.p1.9.m4.1" class="ltx_Math" alttext="r=0" display="inline"><semantics id="A4.p1.9.m4.1a"><mrow id="A4.p1.9.m4.1.1" xref="A4.p1.9.m4.1.1.cmml"><mi id="A4.p1.9.m4.1.1.2" xref="A4.p1.9.m4.1.1.2.cmml">r</mi><mo id="A4.p1.9.m4.1.1.1" xref="A4.p1.9.m4.1.1.1.cmml">=</mo><mn id="A4.p1.9.m4.1.1.3" xref="A4.p1.9.m4.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.9.m4.1b"><apply id="A4.p1.9.m4.1.1.cmml" xref="A4.p1.9.m4.1.1"><eq id="A4.p1.9.m4.1.1.1.cmml" xref="A4.p1.9.m4.1.1.1"></eq><ci id="A4.p1.9.m4.1.1.2.cmml" xref="A4.p1.9.m4.1.1.2">𝑟</ci><cn type="integer" id="A4.p1.9.m4.1.1.3.cmml" xref="A4.p1.9.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.9.m4.1c">r=0</annotation></semantics></math>.</p>
</div>
<section id="A4.SS0.SSS0.Px1" class="ltx_paragraph">
<h5 class="ltx_title ltx_title_paragraph">Computation</h5>

<div id="A4.SS0.SSS0.Px1.p1" class="ltx_para">
<p id="A4.SS0.SSS0.Px1.p1.1" class="ltx_p">Note that neither of or methods require direct formation of a curvature matrix. Instead we use Hessian vector products. One can utilize auto-differentiation packages to calculate the exact Hessian vector product or approximate them with finite differences both detailed by <cite class="ltx_cite ltx_citemacro_citep">[Pearlmutter, <a href="#bib.bib35" title="" class="ltx_ref">1994</a>]</cite>. Given a neural network with N parameters, the Hessian vector calculation can be done in O(N) time and space, and does not make any approximation. Additionally, we often only calculate the preconditioner with probability p = 0.1, making the PSGD as practical as SGD.</p>
</div>
</section>
<section id="A4.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">D.1 </span>Fundamental operations on Lie Group </h3>

<section id="A4.SS1.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">D.1.1 </span>The concept of group generator</h4>

<div id="A4.SS1.SSS1.p1" class="ltx_para">
<p id="A4.SS1.SSS1.p1.2" class="ltx_p">Unlike the additive update to move a point in a Euclidean space, we use multiplicative update to move a point on the Lie group. For example, we can move <math id="A4.SS1.SSS1.p1.1.m1.1" class="ltx_Math" alttext="A_{V}(U)" display="inline"><semantics id="A4.SS1.SSS1.p1.1.m1.1a"><mrow id="A4.SS1.SSS1.p1.1.m1.1.2" xref="A4.SS1.SSS1.p1.1.m1.1.2.cmml"><msub id="A4.SS1.SSS1.p1.1.m1.1.2.2" xref="A4.SS1.SSS1.p1.1.m1.1.2.2.cmml"><mi id="A4.SS1.SSS1.p1.1.m1.1.2.2.2" xref="A4.SS1.SSS1.p1.1.m1.1.2.2.2.cmml">A</mi><mi id="A4.SS1.SSS1.p1.1.m1.1.2.2.3" xref="A4.SS1.SSS1.p1.1.m1.1.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.1.m1.1.2.1" xref="A4.SS1.SSS1.p1.1.m1.1.2.1.cmml">​</mo><mrow id="A4.SS1.SSS1.p1.1.m1.1.2.3.2" xref="A4.SS1.SSS1.p1.1.m1.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS1.p1.1.m1.1.2.3.2.1" xref="A4.SS1.SSS1.p1.1.m1.1.2.cmml">(</mo><mi id="A4.SS1.SSS1.p1.1.m1.1.1" xref="A4.SS1.SSS1.p1.1.m1.1.1.cmml">U</mi><mo stretchy="false" id="A4.SS1.SSS1.p1.1.m1.1.2.3.2.2" xref="A4.SS1.SSS1.p1.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS1.p1.1.m1.1b"><apply id="A4.SS1.SSS1.p1.1.m1.1.2.cmml" xref="A4.SS1.SSS1.p1.1.m1.1.2"><times id="A4.SS1.SSS1.p1.1.m1.1.2.1.cmml" xref="A4.SS1.SSS1.p1.1.m1.1.2.1"></times><apply id="A4.SS1.SSS1.p1.1.m1.1.2.2.cmml" xref="A4.SS1.SSS1.p1.1.m1.1.2.2"><csymbol cd="ambiguous" id="A4.SS1.SSS1.p1.1.m1.1.2.2.1.cmml" xref="A4.SS1.SSS1.p1.1.m1.1.2.2">subscript</csymbol><ci id="A4.SS1.SSS1.p1.1.m1.1.2.2.2.cmml" xref="A4.SS1.SSS1.p1.1.m1.1.2.2.2">𝐴</ci><ci id="A4.SS1.SSS1.p1.1.m1.1.2.2.3.cmml" xref="A4.SS1.SSS1.p1.1.m1.1.2.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS1.p1.1.m1.1.1.cmml" xref="A4.SS1.SSS1.p1.1.m1.1.1">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS1.p1.1.m1.1c">A_{V}(U)</annotation></semantics></math> to any its neighbor, say <math id="A4.SS1.SSS1.p1.2.m2.1" class="ltx_Math" alttext="A_{V}(U+\mathcal{E})" display="inline"><semantics id="A4.SS1.SSS1.p1.2.m2.1a"><mrow id="A4.SS1.SSS1.p1.2.m2.1.1" xref="A4.SS1.SSS1.p1.2.m2.1.1.cmml"><msub id="A4.SS1.SSS1.p1.2.m2.1.1.3" xref="A4.SS1.SSS1.p1.2.m2.1.1.3.cmml"><mi id="A4.SS1.SSS1.p1.2.m2.1.1.3.2" xref="A4.SS1.SSS1.p1.2.m2.1.1.3.2.cmml">A</mi><mi id="A4.SS1.SSS1.p1.2.m2.1.1.3.3" xref="A4.SS1.SSS1.p1.2.m2.1.1.3.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.2.m2.1.1.2" xref="A4.SS1.SSS1.p1.2.m2.1.1.2.cmml">​</mo><mrow id="A4.SS1.SSS1.p1.2.m2.1.1.1.1" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.2" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.cmml"><mi id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.2" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.2.cmml">U</mi><mo id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.1" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.1.cmml">+</mo><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.3" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.3.cmml">ℰ</mi></mrow><mo stretchy="false" id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.3" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS1.p1.2.m2.1b"><apply id="A4.SS1.SSS1.p1.2.m2.1.1.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1"><times id="A4.SS1.SSS1.p1.2.m2.1.1.2.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.2"></times><apply id="A4.SS1.SSS1.p1.2.m2.1.1.3.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS1.p1.2.m2.1.1.3.1.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.3">subscript</csymbol><ci id="A4.SS1.SSS1.p1.2.m2.1.1.3.2.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.3.2">𝐴</ci><ci id="A4.SS1.SSS1.p1.2.m2.1.1.3.3.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.3.3">𝑉</ci></apply><apply id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1"><plus id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.1"></plus><ci id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.2.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.2">𝑈</ci><ci id="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.3.cmml" xref="A4.SS1.SSS1.p1.2.m2.1.1.1.1.1.3">ℰ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS1.p1.2.m2.1c">A_{V}(U+\mathcal{E})</annotation></semantics></math>, as</p>
<table id="A4.Ex49" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex49.m1.3" class="ltx_Math" alttext="A_{V}\left(\mathcal{E}(I+V^{T}U)^{-1}\right)A_{V}(U)=A_{V}(U+\mathcal{E})" display="block"><semantics id="A4.Ex49.m1.3a"><mrow id="A4.Ex49.m1.3.3" xref="A4.Ex49.m1.3.3.cmml"><mrow id="A4.Ex49.m1.2.2.1" xref="A4.Ex49.m1.2.2.1.cmml"><msub id="A4.Ex49.m1.2.2.1.3" xref="A4.Ex49.m1.2.2.1.3.cmml"><mi id="A4.Ex49.m1.2.2.1.3.2" xref="A4.Ex49.m1.2.2.1.3.2.cmml">A</mi><mi id="A4.Ex49.m1.2.2.1.3.3" xref="A4.Ex49.m1.2.2.1.3.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.Ex49.m1.2.2.1.2" xref="A4.Ex49.m1.2.2.1.2.cmml">​</mo><mrow id="A4.Ex49.m1.2.2.1.1.1" xref="A4.Ex49.m1.2.2.1.1.1.1.cmml"><mo id="A4.Ex49.m1.2.2.1.1.1.2" xref="A4.Ex49.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="A4.Ex49.m1.2.2.1.1.1.1" xref="A4.Ex49.m1.2.2.1.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex49.m1.2.2.1.1.1.1.3" xref="A4.Ex49.m1.2.2.1.1.1.1.3.cmml">ℰ</mi><mo lspace="0em" rspace="0em" id="A4.Ex49.m1.2.2.1.1.1.1.2" xref="A4.Ex49.m1.2.2.1.1.1.1.2.cmml">​</mo><msup id="A4.Ex49.m1.2.2.1.1.1.1.1" xref="A4.Ex49.m1.2.2.1.1.1.1.1.cmml"><mrow id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.2" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.2" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.1" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.cmml"><msup id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.cmml"><mi id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.2" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.3" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.1" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.3" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.3" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A4.Ex49.m1.2.2.1.1.1.1.1.3" xref="A4.Ex49.m1.2.2.1.1.1.1.1.3.cmml"><mo id="A4.Ex49.m1.2.2.1.1.1.1.1.3a" xref="A4.Ex49.m1.2.2.1.1.1.1.1.3.cmml">−</mo><mn id="A4.Ex49.m1.2.2.1.1.1.1.1.3.2" xref="A4.Ex49.m1.2.2.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup></mrow><mo id="A4.Ex49.m1.2.2.1.1.1.3" xref="A4.Ex49.m1.2.2.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex49.m1.2.2.1.2a" xref="A4.Ex49.m1.2.2.1.2.cmml">​</mo><msub id="A4.Ex49.m1.2.2.1.4" xref="A4.Ex49.m1.2.2.1.4.cmml"><mi id="A4.Ex49.m1.2.2.1.4.2" xref="A4.Ex49.m1.2.2.1.4.2.cmml">A</mi><mi id="A4.Ex49.m1.2.2.1.4.3" xref="A4.Ex49.m1.2.2.1.4.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.Ex49.m1.2.2.1.2b" xref="A4.Ex49.m1.2.2.1.2.cmml">​</mo><mrow id="A4.Ex49.m1.2.2.1.5.2" xref="A4.Ex49.m1.2.2.1.cmml"><mo stretchy="false" id="A4.Ex49.m1.2.2.1.5.2.1" xref="A4.Ex49.m1.2.2.1.cmml">(</mo><mi id="A4.Ex49.m1.1.1" xref="A4.Ex49.m1.1.1.cmml">U</mi><mo stretchy="false" id="A4.Ex49.m1.2.2.1.5.2.2" xref="A4.Ex49.m1.2.2.1.cmml">)</mo></mrow></mrow><mo id="A4.Ex49.m1.3.3.3" xref="A4.Ex49.m1.3.3.3.cmml">=</mo><mrow id="A4.Ex49.m1.3.3.2" xref="A4.Ex49.m1.3.3.2.cmml"><msub id="A4.Ex49.m1.3.3.2.3" xref="A4.Ex49.m1.3.3.2.3.cmml"><mi id="A4.Ex49.m1.3.3.2.3.2" xref="A4.Ex49.m1.3.3.2.3.2.cmml">A</mi><mi id="A4.Ex49.m1.3.3.2.3.3" xref="A4.Ex49.m1.3.3.2.3.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.Ex49.m1.3.3.2.2" xref="A4.Ex49.m1.3.3.2.2.cmml">​</mo><mrow id="A4.Ex49.m1.3.3.2.1.1" xref="A4.Ex49.m1.3.3.2.1.1.1.cmml"><mo stretchy="false" id="A4.Ex49.m1.3.3.2.1.1.2" xref="A4.Ex49.m1.3.3.2.1.1.1.cmml">(</mo><mrow id="A4.Ex49.m1.3.3.2.1.1.1" xref="A4.Ex49.m1.3.3.2.1.1.1.cmml"><mi id="A4.Ex49.m1.3.3.2.1.1.1.2" xref="A4.Ex49.m1.3.3.2.1.1.1.2.cmml">U</mi><mo id="A4.Ex49.m1.3.3.2.1.1.1.1" xref="A4.Ex49.m1.3.3.2.1.1.1.1.cmml">+</mo><mi class="ltx_font_mathcaligraphic" id="A4.Ex49.m1.3.3.2.1.1.1.3" xref="A4.Ex49.m1.3.3.2.1.1.1.3.cmml">ℰ</mi></mrow><mo stretchy="false" id="A4.Ex49.m1.3.3.2.1.1.3" xref="A4.Ex49.m1.3.3.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex49.m1.3b"><apply id="A4.Ex49.m1.3.3.cmml" xref="A4.Ex49.m1.3.3"><eq id="A4.Ex49.m1.3.3.3.cmml" xref="A4.Ex49.m1.3.3.3"></eq><apply id="A4.Ex49.m1.2.2.1.cmml" xref="A4.Ex49.m1.2.2.1"><times id="A4.Ex49.m1.2.2.1.2.cmml" xref="A4.Ex49.m1.2.2.1.2"></times><apply id="A4.Ex49.m1.2.2.1.3.cmml" xref="A4.Ex49.m1.2.2.1.3"><csymbol cd="ambiguous" id="A4.Ex49.m1.2.2.1.3.1.cmml" xref="A4.Ex49.m1.2.2.1.3">subscript</csymbol><ci id="A4.Ex49.m1.2.2.1.3.2.cmml" xref="A4.Ex49.m1.2.2.1.3.2">𝐴</ci><ci id="A4.Ex49.m1.2.2.1.3.3.cmml" xref="A4.Ex49.m1.2.2.1.3.3">𝑉</ci></apply><apply id="A4.Ex49.m1.2.2.1.1.1.1.cmml" xref="A4.Ex49.m1.2.2.1.1.1"><times id="A4.Ex49.m1.2.2.1.1.1.1.2.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.2"></times><ci id="A4.Ex49.m1.2.2.1.1.1.1.3.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.3">ℰ</ci><apply id="A4.Ex49.m1.2.2.1.1.1.1.1.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A4.Ex49.m1.2.2.1.1.1.1.1.2.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1">superscript</csymbol><apply id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1"><plus id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.1"></plus><ci id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.2">𝐼</ci><apply id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3"><times id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.1"></times><apply id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.1.1.1.3.3">𝑈</ci></apply></apply><apply id="A4.Ex49.m1.2.2.1.1.1.1.1.3.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.3"><minus id="A4.Ex49.m1.2.2.1.1.1.1.1.3.1.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.3"></minus><cn type="integer" id="A4.Ex49.m1.2.2.1.1.1.1.1.3.2.cmml" xref="A4.Ex49.m1.2.2.1.1.1.1.1.3.2">1</cn></apply></apply></apply><apply id="A4.Ex49.m1.2.2.1.4.cmml" xref="A4.Ex49.m1.2.2.1.4"><csymbol cd="ambiguous" id="A4.Ex49.m1.2.2.1.4.1.cmml" xref="A4.Ex49.m1.2.2.1.4">subscript</csymbol><ci id="A4.Ex49.m1.2.2.1.4.2.cmml" xref="A4.Ex49.m1.2.2.1.4.2">𝐴</ci><ci id="A4.Ex49.m1.2.2.1.4.3.cmml" xref="A4.Ex49.m1.2.2.1.4.3">𝑉</ci></apply><ci id="A4.Ex49.m1.1.1.cmml" xref="A4.Ex49.m1.1.1">𝑈</ci></apply><apply id="A4.Ex49.m1.3.3.2.cmml" xref="A4.Ex49.m1.3.3.2"><times id="A4.Ex49.m1.3.3.2.2.cmml" xref="A4.Ex49.m1.3.3.2.2"></times><apply id="A4.Ex49.m1.3.3.2.3.cmml" xref="A4.Ex49.m1.3.3.2.3"><csymbol cd="ambiguous" id="A4.Ex49.m1.3.3.2.3.1.cmml" xref="A4.Ex49.m1.3.3.2.3">subscript</csymbol><ci id="A4.Ex49.m1.3.3.2.3.2.cmml" xref="A4.Ex49.m1.3.3.2.3.2">𝐴</ci><ci id="A4.Ex49.m1.3.3.2.3.3.cmml" xref="A4.Ex49.m1.3.3.2.3.3">𝑉</ci></apply><apply id="A4.Ex49.m1.3.3.2.1.1.1.cmml" xref="A4.Ex49.m1.3.3.2.1.1"><plus id="A4.Ex49.m1.3.3.2.1.1.1.1.cmml" xref="A4.Ex49.m1.3.3.2.1.1.1.1"></plus><ci id="A4.Ex49.m1.3.3.2.1.1.1.2.cmml" xref="A4.Ex49.m1.3.3.2.1.1.1.2">𝑈</ci><ci id="A4.Ex49.m1.3.3.2.1.1.1.3.cmml" xref="A4.Ex49.m1.3.3.2.1.1.1.3">ℰ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex49.m1.3c">A_{V}\left(\mathcal{E}(I+V^{T}U)^{-1}\right)A_{V}(U)=A_{V}(U+\mathcal{E})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS1.p1.6" class="ltx_p">Since <math id="A4.SS1.SSS1.p1.3.m1.1" class="ltx_Math" alttext="A_{V}(\mu U)=I+\mu UV^{T}=e^{\mu UV^{T}}" display="inline"><semantics id="A4.SS1.SSS1.p1.3.m1.1a"><mrow id="A4.SS1.SSS1.p1.3.m1.1.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.cmml"><mrow id="A4.SS1.SSS1.p1.3.m1.1.1.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.cmml"><msub id="A4.SS1.SSS1.p1.3.m1.1.1.1.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.3.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.1.3.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.3.2.cmml">A</mi><mi id="A4.SS1.SSS1.p1.3.m1.1.1.1.3.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.3.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.3.m1.1.1.1.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.2.cmml">​</mo><mrow id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.3.cmml">U</mi></mrow><mo stretchy="false" id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A4.SS1.SSS1.p1.3.m1.1.1.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.3.cmml">=</mo><mrow id="A4.SS1.SSS1.p1.3.m1.1.1.4" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.4.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.2.cmml">I</mi><mo id="A4.SS1.SSS1.p1.3.m1.1.1.4.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.1.cmml">+</mo><mrow id="A4.SS1.SSS1.p1.3.m1.1.1.4.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.1.cmml">​</mo><mi id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.1a" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.1.cmml">​</mo><msup id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.2.cmml">V</mi><mi id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.3.cmml">T</mi></msup></mrow></mrow><mo id="A4.SS1.SSS1.p1.3.m1.1.1.5" xref="A4.SS1.SSS1.p1.3.m1.1.1.5.cmml">=</mo><msup id="A4.SS1.SSS1.p1.3.m1.1.1.6" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.6.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.2.cmml">e</mi><mrow id="A4.SS1.SSS1.p1.3.m1.1.1.6.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.1" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.1.cmml">​</mo><mi id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.1a" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.1.cmml">​</mo><msup id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.cmml"><mi id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.2" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.2.cmml">V</mi><mi id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.3" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.3.cmml">T</mi></msup></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS1.p1.3.m1.1b"><apply id="A4.SS1.SSS1.p1.3.m1.1.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1"><and id="A4.SS1.SSS1.p1.3.m1.1.1a.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1"></and><apply id="A4.SS1.SSS1.p1.3.m1.1.1b.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1"><eq id="A4.SS1.SSS1.p1.3.m1.1.1.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.3"></eq><apply id="A4.SS1.SSS1.p1.3.m1.1.1.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1"><times id="A4.SS1.SSS1.p1.3.m1.1.1.1.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.2"></times><apply id="A4.SS1.SSS1.p1.3.m1.1.1.1.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS1.p1.3.m1.1.1.1.3.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.3">subscript</csymbol><ci id="A4.SS1.SSS1.p1.3.m1.1.1.1.3.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.3.2">𝐴</ci><ci id="A4.SS1.SSS1.p1.3.m1.1.1.1.3.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.3.3">𝑉</ci></apply><apply id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1"><times id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.1"></times><ci id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.2">𝜇</ci><ci id="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.1.1.1.1.3">𝑈</ci></apply></apply><apply id="A4.SS1.SSS1.p1.3.m1.1.1.4.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4"><plus id="A4.SS1.SSS1.p1.3.m1.1.1.4.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.1"></plus><ci id="A4.SS1.SSS1.p1.3.m1.1.1.4.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.2">𝐼</ci><apply id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3"><times id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.1"></times><ci id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.2">𝜇</ci><ci id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.3">𝑈</ci><apply id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4"><csymbol cd="ambiguous" id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4">superscript</csymbol><ci id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.2">𝑉</ci><ci id="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.4.3.4.3">𝑇</ci></apply></apply></apply></apply><apply id="A4.SS1.SSS1.p1.3.m1.1.1c.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1"><eq id="A4.SS1.SSS1.p1.3.m1.1.1.5.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.5"></eq><share href="#A4.SS1.SSS1.p1.3.m1.1.1.4.cmml" id="A4.SS1.SSS1.p1.3.m1.1.1d.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1"></share><apply id="A4.SS1.SSS1.p1.3.m1.1.1.6.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6"><csymbol cd="ambiguous" id="A4.SS1.SSS1.p1.3.m1.1.1.6.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6">superscript</csymbol><ci id="A4.SS1.SSS1.p1.3.m1.1.1.6.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.2">𝑒</ci><apply id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3"><times id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.1"></times><ci id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.2">𝜇</ci><ci id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.3">𝑈</ci><apply id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4"><csymbol cd="ambiguous" id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.1.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4">superscript</csymbol><ci id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.2.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.2">𝑉</ci><ci id="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.3.cmml" xref="A4.SS1.SSS1.p1.3.m1.1.1.6.3.4.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS1.p1.3.m1.1c">A_{V}(\mu U)=I+\mu UV^{T}=e^{\mu UV^{T}}</annotation></semantics></math> for <math id="A4.SS1.SSS1.p1.4.m2.1" class="ltx_Math" alttext="\mu\rightarrow 0" display="inline"><semantics id="A4.SS1.SSS1.p1.4.m2.1a"><mrow id="A4.SS1.SSS1.p1.4.m2.1.1" xref="A4.SS1.SSS1.p1.4.m2.1.1.cmml"><mi id="A4.SS1.SSS1.p1.4.m2.1.1.2" xref="A4.SS1.SSS1.p1.4.m2.1.1.2.cmml">μ</mi><mo stretchy="false" id="A4.SS1.SSS1.p1.4.m2.1.1.1" xref="A4.SS1.SSS1.p1.4.m2.1.1.1.cmml">→</mo><mn id="A4.SS1.SSS1.p1.4.m2.1.1.3" xref="A4.SS1.SSS1.p1.4.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS1.p1.4.m2.1b"><apply id="A4.SS1.SSS1.p1.4.m2.1.1.cmml" xref="A4.SS1.SSS1.p1.4.m2.1.1"><ci id="A4.SS1.SSS1.p1.4.m2.1.1.1.cmml" xref="A4.SS1.SSS1.p1.4.m2.1.1.1">→</ci><ci id="A4.SS1.SSS1.p1.4.m2.1.1.2.cmml" xref="A4.SS1.SSS1.p1.4.m2.1.1.2">𝜇</ci><cn type="integer" id="A4.SS1.SSS1.p1.4.m2.1.1.3.cmml" xref="A4.SS1.SSS1.p1.4.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS1.p1.4.m2.1c">\mu\rightarrow 0</annotation></semantics></math>, <math id="A4.SS1.SSS1.p1.5.m3.1" class="ltx_Math" alttext="UV^{T}" display="inline"><semantics id="A4.SS1.SSS1.p1.5.m3.1a"><mrow id="A4.SS1.SSS1.p1.5.m3.1.1" xref="A4.SS1.SSS1.p1.5.m3.1.1.cmml"><mi id="A4.SS1.SSS1.p1.5.m3.1.1.2" xref="A4.SS1.SSS1.p1.5.m3.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.5.m3.1.1.1" xref="A4.SS1.SSS1.p1.5.m3.1.1.1.cmml">​</mo><msup id="A4.SS1.SSS1.p1.5.m3.1.1.3" xref="A4.SS1.SSS1.p1.5.m3.1.1.3.cmml"><mi id="A4.SS1.SSS1.p1.5.m3.1.1.3.2" xref="A4.SS1.SSS1.p1.5.m3.1.1.3.2.cmml">V</mi><mi id="A4.SS1.SSS1.p1.5.m3.1.1.3.3" xref="A4.SS1.SSS1.p1.5.m3.1.1.3.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS1.p1.5.m3.1b"><apply id="A4.SS1.SSS1.p1.5.m3.1.1.cmml" xref="A4.SS1.SSS1.p1.5.m3.1.1"><times id="A4.SS1.SSS1.p1.5.m3.1.1.1.cmml" xref="A4.SS1.SSS1.p1.5.m3.1.1.1"></times><ci id="A4.SS1.SSS1.p1.5.m3.1.1.2.cmml" xref="A4.SS1.SSS1.p1.5.m3.1.1.2">𝑈</ci><apply id="A4.SS1.SSS1.p1.5.m3.1.1.3.cmml" xref="A4.SS1.SSS1.p1.5.m3.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS1.p1.5.m3.1.1.3.1.cmml" xref="A4.SS1.SSS1.p1.5.m3.1.1.3">superscript</csymbol><ci id="A4.SS1.SSS1.p1.5.m3.1.1.3.2.cmml" xref="A4.SS1.SSS1.p1.5.m3.1.1.3.2">𝑉</ci><ci id="A4.SS1.SSS1.p1.5.m3.1.1.3.3.cmml" xref="A4.SS1.SSS1.p1.5.m3.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS1.p1.5.m3.1c">UV^{T}</annotation></semantics></math> is a group generator for any <math id="A4.SS1.SSS1.p1.6.m4.1" class="ltx_Math" alttext="U\neq 0" display="inline"><semantics id="A4.SS1.SSS1.p1.6.m4.1a"><mrow id="A4.SS1.SSS1.p1.6.m4.1.1" xref="A4.SS1.SSS1.p1.6.m4.1.1.cmml"><mi id="A4.SS1.SSS1.p1.6.m4.1.1.2" xref="A4.SS1.SSS1.p1.6.m4.1.1.2.cmml">U</mi><mo id="A4.SS1.SSS1.p1.6.m4.1.1.1" xref="A4.SS1.SSS1.p1.6.m4.1.1.1.cmml">≠</mo><mn id="A4.SS1.SSS1.p1.6.m4.1.1.3" xref="A4.SS1.SSS1.p1.6.m4.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS1.p1.6.m4.1b"><apply id="A4.SS1.SSS1.p1.6.m4.1.1.cmml" xref="A4.SS1.SSS1.p1.6.m4.1.1"><neq id="A4.SS1.SSS1.p1.6.m4.1.1.1.cmml" xref="A4.SS1.SSS1.p1.6.m4.1.1.1"></neq><ci id="A4.SS1.SSS1.p1.6.m4.1.1.2.cmml" xref="A4.SS1.SSS1.p1.6.m4.1.1.2">𝑈</ci><cn type="integer" id="A4.SS1.SSS1.p1.6.m4.1.1.3.cmml" xref="A4.SS1.SSS1.p1.6.m4.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS1.p1.6.m4.1c">U\neq 0</annotation></semantics></math>. Indeed, the Lie algebra is closed as shown by</p>
<table id="A4.Ex50" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex50.m1.2" class="ltx_Math" alttext="&lt;U_{1}V^{T},U_{2}V^{T}&gt;=U_{1}V^{T}U_{2}V^{T}-U_{2}V^{T}U_{1}V^{T}=(U_{1}V^{T}U_{2}-U_{2}V^{T}U_{1})V^{T}" display="block"><semantics id="A4.Ex50.m1.2a"><mrow id="A4.Ex50.m1.2.2.2" xref="A4.Ex50.m1.2.2.3.cmml"><mrow id="A4.Ex50.m1.1.1.1.1" xref="A4.Ex50.m1.1.1.1.1.cmml"><mi id="A4.Ex50.m1.1.1.1.1.2" xref="A4.Ex50.m1.1.1.1.1.2.cmml"></mi><mo id="A4.Ex50.m1.1.1.1.1.1" xref="A4.Ex50.m1.1.1.1.1.1.cmml">&lt;</mo><mrow id="A4.Ex50.m1.1.1.1.1.3" xref="A4.Ex50.m1.1.1.1.1.3.cmml"><msub id="A4.Ex50.m1.1.1.1.1.3.2" xref="A4.Ex50.m1.1.1.1.1.3.2.cmml"><mi id="A4.Ex50.m1.1.1.1.1.3.2.2" xref="A4.Ex50.m1.1.1.1.1.3.2.2.cmml">U</mi><mn id="A4.Ex50.m1.1.1.1.1.3.2.3" xref="A4.Ex50.m1.1.1.1.1.3.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.1.1.1.1.3.1" xref="A4.Ex50.m1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex50.m1.1.1.1.1.3.3" xref="A4.Ex50.m1.1.1.1.1.3.3.cmml"><mi id="A4.Ex50.m1.1.1.1.1.3.3.2" xref="A4.Ex50.m1.1.1.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex50.m1.1.1.1.1.3.3.3" xref="A4.Ex50.m1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo id="A4.Ex50.m1.2.2.2.3" xref="A4.Ex50.m1.2.2.3a.cmml">,</mo><mrow id="A4.Ex50.m1.2.2.2.2" xref="A4.Ex50.m1.2.2.2.2.cmml"><mrow id="A4.Ex50.m1.2.2.2.2.3" xref="A4.Ex50.m1.2.2.2.2.3.cmml"><msub id="A4.Ex50.m1.2.2.2.2.3.2" xref="A4.Ex50.m1.2.2.2.2.3.2.cmml"><mi id="A4.Ex50.m1.2.2.2.2.3.2.2" xref="A4.Ex50.m1.2.2.2.2.3.2.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.3.2.3" xref="A4.Ex50.m1.2.2.2.2.3.2.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.3.1" xref="A4.Ex50.m1.2.2.2.2.3.1.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.3.3" xref="A4.Ex50.m1.2.2.2.2.3.3.cmml"><mi id="A4.Ex50.m1.2.2.2.2.3.3.2" xref="A4.Ex50.m1.2.2.2.2.3.3.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.3.3.3" xref="A4.Ex50.m1.2.2.2.2.3.3.3.cmml">T</mi></msup></mrow><mo lspace="0.278em" rspace="0.278em" id="A4.Ex50.m1.2.2.2.2.4" xref="A4.Ex50.m1.2.2.2.2.4.cmml">&gt;=</mo><mrow id="A4.Ex50.m1.2.2.2.2.5" xref="A4.Ex50.m1.2.2.2.2.5.cmml"><mrow id="A4.Ex50.m1.2.2.2.2.5.2" xref="A4.Ex50.m1.2.2.2.2.5.2.cmml"><msub id="A4.Ex50.m1.2.2.2.2.5.2.2" xref="A4.Ex50.m1.2.2.2.2.5.2.2.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.2.2.2" xref="A4.Ex50.m1.2.2.2.2.5.2.2.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.5.2.2.3" xref="A4.Ex50.m1.2.2.2.2.5.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.5.2.1" xref="A4.Ex50.m1.2.2.2.2.5.2.1.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.5.2.3" xref="A4.Ex50.m1.2.2.2.2.5.2.3.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.2.3.2" xref="A4.Ex50.m1.2.2.2.2.5.2.3.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.5.2.3.3" xref="A4.Ex50.m1.2.2.2.2.5.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.5.2.1a" xref="A4.Ex50.m1.2.2.2.2.5.2.1.cmml">​</mo><msub id="A4.Ex50.m1.2.2.2.2.5.2.4" xref="A4.Ex50.m1.2.2.2.2.5.2.4.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.2.4.2" xref="A4.Ex50.m1.2.2.2.2.5.2.4.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.5.2.4.3" xref="A4.Ex50.m1.2.2.2.2.5.2.4.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.5.2.1b" xref="A4.Ex50.m1.2.2.2.2.5.2.1.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.5.2.5" xref="A4.Ex50.m1.2.2.2.2.5.2.5.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.2.5.2" xref="A4.Ex50.m1.2.2.2.2.5.2.5.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.5.2.5.3" xref="A4.Ex50.m1.2.2.2.2.5.2.5.3.cmml">T</mi></msup></mrow><mo id="A4.Ex50.m1.2.2.2.2.5.1" xref="A4.Ex50.m1.2.2.2.2.5.1.cmml">−</mo><mrow id="A4.Ex50.m1.2.2.2.2.5.3" xref="A4.Ex50.m1.2.2.2.2.5.3.cmml"><msub id="A4.Ex50.m1.2.2.2.2.5.3.2" xref="A4.Ex50.m1.2.2.2.2.5.3.2.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.3.2.2" xref="A4.Ex50.m1.2.2.2.2.5.3.2.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.5.3.2.3" xref="A4.Ex50.m1.2.2.2.2.5.3.2.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.5.3.1" xref="A4.Ex50.m1.2.2.2.2.5.3.1.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.5.3.3" xref="A4.Ex50.m1.2.2.2.2.5.3.3.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.3.3.2" xref="A4.Ex50.m1.2.2.2.2.5.3.3.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.5.3.3.3" xref="A4.Ex50.m1.2.2.2.2.5.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.5.3.1a" xref="A4.Ex50.m1.2.2.2.2.5.3.1.cmml">​</mo><msub id="A4.Ex50.m1.2.2.2.2.5.3.4" xref="A4.Ex50.m1.2.2.2.2.5.3.4.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.3.4.2" xref="A4.Ex50.m1.2.2.2.2.5.3.4.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.5.3.4.3" xref="A4.Ex50.m1.2.2.2.2.5.3.4.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.5.3.1b" xref="A4.Ex50.m1.2.2.2.2.5.3.1.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.5.3.5" xref="A4.Ex50.m1.2.2.2.2.5.3.5.cmml"><mi id="A4.Ex50.m1.2.2.2.2.5.3.5.2" xref="A4.Ex50.m1.2.2.2.2.5.3.5.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.5.3.5.3" xref="A4.Ex50.m1.2.2.2.2.5.3.5.3.cmml">T</mi></msup></mrow></mrow><mo id="A4.Ex50.m1.2.2.2.2.6" xref="A4.Ex50.m1.2.2.2.2.6.cmml">=</mo><mrow id="A4.Ex50.m1.2.2.2.2.1" xref="A4.Ex50.m1.2.2.2.2.1.cmml"><mrow id="A4.Ex50.m1.2.2.2.2.1.1.1" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex50.m1.2.2.2.2.1.1.1.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.cmml">(</mo><mrow id="A4.Ex50.m1.2.2.2.2.1.1.1.1" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.cmml"><mrow id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.cmml"><msub id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.cmml"><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.1" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.1.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.cmml"><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.1a" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.1.cmml">​</mo><msub id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.cmml"><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.3.cmml">2</mn></msub></mrow><mo id="A4.Ex50.m1.2.2.2.2.1.1.1.1.1" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.1.cmml">−</mo><mrow id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.cmml"><msub id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.cmml"><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.1" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.cmml"><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.1a" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.1.cmml">​</mo><msub id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.cmml"><mi id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.2" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.2.cmml">U</mi><mn id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.3.cmml">1</mn></msub></mrow></mrow><mo stretchy="false" id="A4.Ex50.m1.2.2.2.2.1.1.1.3" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex50.m1.2.2.2.2.1.2" xref="A4.Ex50.m1.2.2.2.2.1.2.cmml">​</mo><msup id="A4.Ex50.m1.2.2.2.2.1.3" xref="A4.Ex50.m1.2.2.2.2.1.3.cmml"><mi id="A4.Ex50.m1.2.2.2.2.1.3.2" xref="A4.Ex50.m1.2.2.2.2.1.3.2.cmml">V</mi><mi id="A4.Ex50.m1.2.2.2.2.1.3.3" xref="A4.Ex50.m1.2.2.2.2.1.3.3.cmml">T</mi></msup></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex50.m1.2b"><apply id="A4.Ex50.m1.2.2.3.cmml" xref="A4.Ex50.m1.2.2.2"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.3a.cmml" xref="A4.Ex50.m1.2.2.2.3">formulae-sequence</csymbol><apply id="A4.Ex50.m1.1.1.1.1.cmml" xref="A4.Ex50.m1.1.1.1.1"><lt id="A4.Ex50.m1.1.1.1.1.1.cmml" xref="A4.Ex50.m1.1.1.1.1.1"></lt><csymbol cd="latexml" id="A4.Ex50.m1.1.1.1.1.2.cmml" xref="A4.Ex50.m1.1.1.1.1.2">absent</csymbol><apply id="A4.Ex50.m1.1.1.1.1.3.cmml" xref="A4.Ex50.m1.1.1.1.1.3"><times id="A4.Ex50.m1.1.1.1.1.3.1.cmml" xref="A4.Ex50.m1.1.1.1.1.3.1"></times><apply id="A4.Ex50.m1.1.1.1.1.3.2.cmml" xref="A4.Ex50.m1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A4.Ex50.m1.1.1.1.1.3.2.1.cmml" xref="A4.Ex50.m1.1.1.1.1.3.2">subscript</csymbol><ci id="A4.Ex50.m1.1.1.1.1.3.2.2.cmml" xref="A4.Ex50.m1.1.1.1.1.3.2.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.1.1.1.1.3.2.3.cmml" xref="A4.Ex50.m1.1.1.1.1.3.2.3">1</cn></apply><apply id="A4.Ex50.m1.1.1.1.1.3.3.cmml" xref="A4.Ex50.m1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex50.m1.1.1.1.1.3.3.1.cmml" xref="A4.Ex50.m1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex50.m1.1.1.1.1.3.3.2.cmml" xref="A4.Ex50.m1.1.1.1.1.3.3.2">𝑉</ci><ci id="A4.Ex50.m1.1.1.1.1.3.3.3.cmml" xref="A4.Ex50.m1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="A4.Ex50.m1.2.2.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2"><and id="A4.Ex50.m1.2.2.2.2a.cmml" xref="A4.Ex50.m1.2.2.2.2"></and><apply id="A4.Ex50.m1.2.2.2.2b.cmml" xref="A4.Ex50.m1.2.2.2.2"><geq id="A4.Ex50.m1.2.2.2.2.4.cmml" xref="A4.Ex50.m1.2.2.2.2.4"></geq><apply id="A4.Ex50.m1.2.2.2.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.3"><times id="A4.Ex50.m1.2.2.2.2.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.3.1"></times><apply id="A4.Ex50.m1.2.2.2.2.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.3.2"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.3.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.3.2">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.3.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2.3.2.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.3.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.3.2.3">2</cn></apply><apply id="A4.Ex50.m1.2.2.2.2.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.3.3"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.3.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.3.3">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.3.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.3.3.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.3.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.3.3.3">𝑇</ci></apply></apply><apply id="A4.Ex50.m1.2.2.2.2.5.cmml" xref="A4.Ex50.m1.2.2.2.2.5"><minus id="A4.Ex50.m1.2.2.2.2.5.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.1"></minus><apply id="A4.Ex50.m1.2.2.2.2.5.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2"><times id="A4.Ex50.m1.2.2.2.2.5.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.1"></times><apply id="A4.Ex50.m1.2.2.2.2.5.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.2"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.2.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.2">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.2.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.2.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.5.2.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.2.3">1</cn></apply><apply id="A4.Ex50.m1.2.2.2.2.5.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.3"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.2.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.3">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.2.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.3.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.5.2.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.3.3">𝑇</ci></apply><apply id="A4.Ex50.m1.2.2.2.2.5.2.4.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.4"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.2.4.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.4">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.2.4.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.4.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.5.2.4.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.4.3">2</cn></apply><apply id="A4.Ex50.m1.2.2.2.2.5.2.5.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.5"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.2.5.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.5">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.2.5.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.5.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.5.2.5.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.2.5.3">𝑇</ci></apply></apply><apply id="A4.Ex50.m1.2.2.2.2.5.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3"><times id="A4.Ex50.m1.2.2.2.2.5.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.1"></times><apply id="A4.Ex50.m1.2.2.2.2.5.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.2"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.3.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.2">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.3.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.2.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.5.3.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.2.3">2</cn></apply><apply id="A4.Ex50.m1.2.2.2.2.5.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.3"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.3.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.3">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.3.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.3.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.5.3.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.3.3">𝑇</ci></apply><apply id="A4.Ex50.m1.2.2.2.2.5.3.4.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.4"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.3.4.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.4">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.3.4.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.4.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.5.3.4.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.4.3">1</cn></apply><apply id="A4.Ex50.m1.2.2.2.2.5.3.5.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.5"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.5.3.5.1.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.5">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.5.3.5.2.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.5.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.5.3.5.3.cmml" xref="A4.Ex50.m1.2.2.2.2.5.3.5.3">𝑇</ci></apply></apply></apply></apply><apply id="A4.Ex50.m1.2.2.2.2c.cmml" xref="A4.Ex50.m1.2.2.2.2"><eq id="A4.Ex50.m1.2.2.2.2.6.cmml" xref="A4.Ex50.m1.2.2.2.2.6"></eq><share href="#A4.Ex50.m1.2.2.2.2.5.cmml" id="A4.Ex50.m1.2.2.2.2d.cmml" xref="A4.Ex50.m1.2.2.2.2"></share><apply id="A4.Ex50.m1.2.2.2.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1"><times id="A4.Ex50.m1.2.2.2.2.1.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.2"></times><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1"><minus id="A4.Ex50.m1.2.2.2.2.1.1.1.1.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.1"></minus><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2"><times id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.1"></times><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.2.3">1</cn></apply><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.3.3">𝑇</ci></apply><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.2.4.3">2</cn></apply></apply><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3"><times id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.1"></times><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.2.3">2</cn></apply><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.3.3">𝑇</ci></apply><apply id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4">subscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.2">𝑈</ci><cn type="integer" id="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.1.1.1.3.4.3">1</cn></apply></apply></apply><apply id="A4.Ex50.m1.2.2.2.2.1.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.3"><csymbol cd="ambiguous" id="A4.Ex50.m1.2.2.2.2.1.3.1.cmml" xref="A4.Ex50.m1.2.2.2.2.1.3">superscript</csymbol><ci id="A4.Ex50.m1.2.2.2.2.1.3.2.cmml" xref="A4.Ex50.m1.2.2.2.2.1.3.2">𝑉</ci><ci id="A4.Ex50.m1.2.2.2.2.1.3.3.cmml" xref="A4.Ex50.m1.2.2.2.2.1.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex50.m1.2c">&lt;U_{1}V^{T},U_{2}V^{T}&gt;=U_{1}V^{T}U_{2}V^{T}-U_{2}V^{T}U_{1}V^{T}=(U_{1}V^{T}U_{2}-U_{2}V^{T}U_{1})V^{T}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS1.p1.7" class="ltx_p">where <math id="A4.SS1.SSS1.p1.7.m1.1" class="ltx_math_unparsed" alttext="&lt;\cdot,\cdot&gt;" display="inline"><semantics id="A4.SS1.SSS1.p1.7.m1.1a"><mrow id="A4.SS1.SSS1.p1.7.m1.1b"><mo rspace="0em" id="A4.SS1.SSS1.p1.7.m1.1.1">&lt;</mo><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.7.m1.1.2">⋅</mo><mo rspace="0em" id="A4.SS1.SSS1.p1.7.m1.1.3">,</mo><mo lspace="0em" rspace="0em" id="A4.SS1.SSS1.p1.7.m1.1.4">⋅</mo><mo lspace="0em" id="A4.SS1.SSS1.p1.7.m1.1.5">&gt;</mo></mrow><annotation encoding="application/x-tex" id="A4.SS1.SSS1.p1.7.m1.1c">&lt;\cdot,\cdot&gt;</annotation></semantics></math> is the Lie bracket.</p>
</div>
</section>
<section id="A4.SS1.SSS2" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">D.1.2 </span>The gradients for preconditioner updating</h4>

<div id="A4.SS1.SSS2.p1" class="ltx_para">
<p id="A4.SS1.SSS2.p1.8" class="ltx_p">Here, the gradient always refers to the one on the Lie group. Thus <math id="A4.SS1.SSS2.p1.1.m1.1" class="ltx_Math" alttext="dA" display="inline"><semantics id="A4.SS1.SSS2.p1.1.m1.1a"><mrow id="A4.SS1.SSS2.p1.1.m1.1.1" xref="A4.SS1.SSS2.p1.1.m1.1.1.cmml"><mi id="A4.SS1.SSS2.p1.1.m1.1.1.2" xref="A4.SS1.SSS2.p1.1.m1.1.1.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.1.m1.1.1.1" xref="A4.SS1.SSS2.p1.1.m1.1.1.1.cmml">​</mo><mi id="A4.SS1.SSS2.p1.1.m1.1.1.3" xref="A4.SS1.SSS2.p1.1.m1.1.1.3.cmml">A</mi></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.1.m1.1b"><apply id="A4.SS1.SSS2.p1.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p1.1.m1.1.1"><times id="A4.SS1.SSS2.p1.1.m1.1.1.1.cmml" xref="A4.SS1.SSS2.p1.1.m1.1.1.1"></times><ci id="A4.SS1.SSS2.p1.1.m1.1.1.2.cmml" xref="A4.SS1.SSS2.p1.1.m1.1.1.2">𝑑</ci><ci id="A4.SS1.SSS2.p1.1.m1.1.1.3.cmml" xref="A4.SS1.SSS2.p1.1.m1.1.1.3">𝐴</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.1.m1.1c">dA</annotation></semantics></math>, say on group <math id="A4.SS1.SSS2.p1.2.m2.1" class="ltx_Math" alttext="A_{V}(U)" display="inline"><semantics id="A4.SS1.SSS2.p1.2.m2.1a"><mrow id="A4.SS1.SSS2.p1.2.m2.1.2" xref="A4.SS1.SSS2.p1.2.m2.1.2.cmml"><msub id="A4.SS1.SSS2.p1.2.m2.1.2.2" xref="A4.SS1.SSS2.p1.2.m2.1.2.2.cmml"><mi id="A4.SS1.SSS2.p1.2.m2.1.2.2.2" xref="A4.SS1.SSS2.p1.2.m2.1.2.2.2.cmml">A</mi><mi id="A4.SS1.SSS2.p1.2.m2.1.2.2.3" xref="A4.SS1.SSS2.p1.2.m2.1.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.2.m2.1.2.1" xref="A4.SS1.SSS2.p1.2.m2.1.2.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p1.2.m2.1.2.3.2" xref="A4.SS1.SSS2.p1.2.m2.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p1.2.m2.1.2.3.2.1" xref="A4.SS1.SSS2.p1.2.m2.1.2.cmml">(</mo><mi id="A4.SS1.SSS2.p1.2.m2.1.1" xref="A4.SS1.SSS2.p1.2.m2.1.1.cmml">U</mi><mo stretchy="false" id="A4.SS1.SSS2.p1.2.m2.1.2.3.2.2" xref="A4.SS1.SSS2.p1.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.2.m2.1b"><apply id="A4.SS1.SSS2.p1.2.m2.1.2.cmml" xref="A4.SS1.SSS2.p1.2.m2.1.2"><times id="A4.SS1.SSS2.p1.2.m2.1.2.1.cmml" xref="A4.SS1.SSS2.p1.2.m2.1.2.1"></times><apply id="A4.SS1.SSS2.p1.2.m2.1.2.2.cmml" xref="A4.SS1.SSS2.p1.2.m2.1.2.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p1.2.m2.1.2.2.1.cmml" xref="A4.SS1.SSS2.p1.2.m2.1.2.2">subscript</csymbol><ci id="A4.SS1.SSS2.p1.2.m2.1.2.2.2.cmml" xref="A4.SS1.SSS2.p1.2.m2.1.2.2.2">𝐴</ci><ci id="A4.SS1.SSS2.p1.2.m2.1.2.2.3.cmml" xref="A4.SS1.SSS2.p1.2.m2.1.2.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p1.2.m2.1.1.cmml" xref="A4.SS1.SSS2.p1.2.m2.1.1">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.2.m2.1c">A_{V}(U)</annotation></semantics></math>, is either <math id="A4.SS1.SSS2.p1.3.m3.2" class="ltx_Math" alttext="A_{V}(\mathcal{E})A_{V}(U)" display="inline"><semantics id="A4.SS1.SSS2.p1.3.m3.2a"><mrow id="A4.SS1.SSS2.p1.3.m3.2.3" xref="A4.SS1.SSS2.p1.3.m3.2.3.cmml"><msub id="A4.SS1.SSS2.p1.3.m3.2.3.2" xref="A4.SS1.SSS2.p1.3.m3.2.3.2.cmml"><mi id="A4.SS1.SSS2.p1.3.m3.2.3.2.2" xref="A4.SS1.SSS2.p1.3.m3.2.3.2.2.cmml">A</mi><mi id="A4.SS1.SSS2.p1.3.m3.2.3.2.3" xref="A4.SS1.SSS2.p1.3.m3.2.3.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.3.m3.2.3.1" xref="A4.SS1.SSS2.p1.3.m3.2.3.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p1.3.m3.2.3.3.2" xref="A4.SS1.SSS2.p1.3.m3.2.3.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p1.3.m3.2.3.3.2.1" xref="A4.SS1.SSS2.p1.3.m3.2.3.cmml">(</mo><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p1.3.m3.1.1" xref="A4.SS1.SSS2.p1.3.m3.1.1.cmml">ℰ</mi><mo stretchy="false" id="A4.SS1.SSS2.p1.3.m3.2.3.3.2.2" xref="A4.SS1.SSS2.p1.3.m3.2.3.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.3.m3.2.3.1a" xref="A4.SS1.SSS2.p1.3.m3.2.3.1.cmml">​</mo><msub id="A4.SS1.SSS2.p1.3.m3.2.3.4" xref="A4.SS1.SSS2.p1.3.m3.2.3.4.cmml"><mi id="A4.SS1.SSS2.p1.3.m3.2.3.4.2" xref="A4.SS1.SSS2.p1.3.m3.2.3.4.2.cmml">A</mi><mi id="A4.SS1.SSS2.p1.3.m3.2.3.4.3" xref="A4.SS1.SSS2.p1.3.m3.2.3.4.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.3.m3.2.3.1b" xref="A4.SS1.SSS2.p1.3.m3.2.3.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p1.3.m3.2.3.5.2" xref="A4.SS1.SSS2.p1.3.m3.2.3.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p1.3.m3.2.3.5.2.1" xref="A4.SS1.SSS2.p1.3.m3.2.3.cmml">(</mo><mi id="A4.SS1.SSS2.p1.3.m3.2.2" xref="A4.SS1.SSS2.p1.3.m3.2.2.cmml">U</mi><mo stretchy="false" id="A4.SS1.SSS2.p1.3.m3.2.3.5.2.2" xref="A4.SS1.SSS2.p1.3.m3.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.3.m3.2b"><apply id="A4.SS1.SSS2.p1.3.m3.2.3.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3"><times id="A4.SS1.SSS2.p1.3.m3.2.3.1.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.1"></times><apply id="A4.SS1.SSS2.p1.3.m3.2.3.2.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p1.3.m3.2.3.2.1.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.2">subscript</csymbol><ci id="A4.SS1.SSS2.p1.3.m3.2.3.2.2.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.2.2">𝐴</ci><ci id="A4.SS1.SSS2.p1.3.m3.2.3.2.3.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p1.3.m3.1.1.cmml" xref="A4.SS1.SSS2.p1.3.m3.1.1">ℰ</ci><apply id="A4.SS1.SSS2.p1.3.m3.2.3.4.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.4"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p1.3.m3.2.3.4.1.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.4">subscript</csymbol><ci id="A4.SS1.SSS2.p1.3.m3.2.3.4.2.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.4.2">𝐴</ci><ci id="A4.SS1.SSS2.p1.3.m3.2.3.4.3.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.3.4.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p1.3.m3.2.2.cmml" xref="A4.SS1.SSS2.p1.3.m3.2.2">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.3.m3.2c">A_{V}(\mathcal{E})A_{V}(U)</annotation></semantics></math> or <math id="A4.SS1.SSS2.p1.4.m4.2" class="ltx_Math" alttext="A_{V}(U)A_{V}(\mathcal{E})" display="inline"><semantics id="A4.SS1.SSS2.p1.4.m4.2a"><mrow id="A4.SS1.SSS2.p1.4.m4.2.3" xref="A4.SS1.SSS2.p1.4.m4.2.3.cmml"><msub id="A4.SS1.SSS2.p1.4.m4.2.3.2" xref="A4.SS1.SSS2.p1.4.m4.2.3.2.cmml"><mi id="A4.SS1.SSS2.p1.4.m4.2.3.2.2" xref="A4.SS1.SSS2.p1.4.m4.2.3.2.2.cmml">A</mi><mi id="A4.SS1.SSS2.p1.4.m4.2.3.2.3" xref="A4.SS1.SSS2.p1.4.m4.2.3.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.4.m4.2.3.1" xref="A4.SS1.SSS2.p1.4.m4.2.3.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p1.4.m4.2.3.3.2" xref="A4.SS1.SSS2.p1.4.m4.2.3.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p1.4.m4.2.3.3.2.1" xref="A4.SS1.SSS2.p1.4.m4.2.3.cmml">(</mo><mi id="A4.SS1.SSS2.p1.4.m4.1.1" xref="A4.SS1.SSS2.p1.4.m4.1.1.cmml">U</mi><mo stretchy="false" id="A4.SS1.SSS2.p1.4.m4.2.3.3.2.2" xref="A4.SS1.SSS2.p1.4.m4.2.3.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.4.m4.2.3.1a" xref="A4.SS1.SSS2.p1.4.m4.2.3.1.cmml">​</mo><msub id="A4.SS1.SSS2.p1.4.m4.2.3.4" xref="A4.SS1.SSS2.p1.4.m4.2.3.4.cmml"><mi id="A4.SS1.SSS2.p1.4.m4.2.3.4.2" xref="A4.SS1.SSS2.p1.4.m4.2.3.4.2.cmml">A</mi><mi id="A4.SS1.SSS2.p1.4.m4.2.3.4.3" xref="A4.SS1.SSS2.p1.4.m4.2.3.4.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.4.m4.2.3.1b" xref="A4.SS1.SSS2.p1.4.m4.2.3.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p1.4.m4.2.3.5.2" xref="A4.SS1.SSS2.p1.4.m4.2.3.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p1.4.m4.2.3.5.2.1" xref="A4.SS1.SSS2.p1.4.m4.2.3.cmml">(</mo><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p1.4.m4.2.2" xref="A4.SS1.SSS2.p1.4.m4.2.2.cmml">ℰ</mi><mo stretchy="false" id="A4.SS1.SSS2.p1.4.m4.2.3.5.2.2" xref="A4.SS1.SSS2.p1.4.m4.2.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.4.m4.2b"><apply id="A4.SS1.SSS2.p1.4.m4.2.3.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3"><times id="A4.SS1.SSS2.p1.4.m4.2.3.1.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.1"></times><apply id="A4.SS1.SSS2.p1.4.m4.2.3.2.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p1.4.m4.2.3.2.1.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.2">subscript</csymbol><ci id="A4.SS1.SSS2.p1.4.m4.2.3.2.2.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.2.2">𝐴</ci><ci id="A4.SS1.SSS2.p1.4.m4.2.3.2.3.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p1.4.m4.1.1.cmml" xref="A4.SS1.SSS2.p1.4.m4.1.1">𝑈</ci><apply id="A4.SS1.SSS2.p1.4.m4.2.3.4.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.4"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p1.4.m4.2.3.4.1.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.4">subscript</csymbol><ci id="A4.SS1.SSS2.p1.4.m4.2.3.4.2.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.4.2">𝐴</ci><ci id="A4.SS1.SSS2.p1.4.m4.2.3.4.3.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.3.4.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p1.4.m4.2.2.cmml" xref="A4.SS1.SSS2.p1.4.m4.2.2">ℰ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.4.m4.2c">A_{V}(U)A_{V}(\mathcal{E})</annotation></semantics></math>, where <math id="A4.SS1.SSS2.p1.5.m5.1" class="ltx_Math" alttext="\mathcal{E}\rightarrow 0" display="inline"><semantics id="A4.SS1.SSS2.p1.5.m5.1a"><mrow id="A4.SS1.SSS2.p1.5.m5.1.1" xref="A4.SS1.SSS2.p1.5.m5.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p1.5.m5.1.1.2" xref="A4.SS1.SSS2.p1.5.m5.1.1.2.cmml">ℰ</mi><mo stretchy="false" id="A4.SS1.SSS2.p1.5.m5.1.1.1" xref="A4.SS1.SSS2.p1.5.m5.1.1.1.cmml">→</mo><mn id="A4.SS1.SSS2.p1.5.m5.1.1.3" xref="A4.SS1.SSS2.p1.5.m5.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.5.m5.1b"><apply id="A4.SS1.SSS2.p1.5.m5.1.1.cmml" xref="A4.SS1.SSS2.p1.5.m5.1.1"><ci id="A4.SS1.SSS2.p1.5.m5.1.1.1.cmml" xref="A4.SS1.SSS2.p1.5.m5.1.1.1">→</ci><ci id="A4.SS1.SSS2.p1.5.m5.1.1.2.cmml" xref="A4.SS1.SSS2.p1.5.m5.1.1.2">ℰ</ci><cn type="integer" id="A4.SS1.SSS2.p1.5.m5.1.1.3.cmml" xref="A4.SS1.SSS2.p1.5.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.5.m5.1c">\mathcal{E}\rightarrow 0</annotation></semantics></math>. Since we will update both groups, we simple put it as <math id="A4.SS1.SSS2.p1.6.m6.1" class="ltx_Math" alttext="dA=\mathcal{E}_{1}A" display="inline"><semantics id="A4.SS1.SSS2.p1.6.m6.1a"><mrow id="A4.SS1.SSS2.p1.6.m6.1.1" xref="A4.SS1.SSS2.p1.6.m6.1.1.cmml"><mrow id="A4.SS1.SSS2.p1.6.m6.1.1.2" xref="A4.SS1.SSS2.p1.6.m6.1.1.2.cmml"><mi id="A4.SS1.SSS2.p1.6.m6.1.1.2.2" xref="A4.SS1.SSS2.p1.6.m6.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.6.m6.1.1.2.1" xref="A4.SS1.SSS2.p1.6.m6.1.1.2.1.cmml">​</mo><mi id="A4.SS1.SSS2.p1.6.m6.1.1.2.3" xref="A4.SS1.SSS2.p1.6.m6.1.1.2.3.cmml">A</mi></mrow><mo id="A4.SS1.SSS2.p1.6.m6.1.1.1" xref="A4.SS1.SSS2.p1.6.m6.1.1.1.cmml">=</mo><mrow id="A4.SS1.SSS2.p1.6.m6.1.1.3" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.cmml"><msub id="A4.SS1.SSS2.p1.6.m6.1.1.3.2" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p1.6.m6.1.1.3.2.2" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.2.2.cmml">ℰ</mi><mn id="A4.SS1.SSS2.p1.6.m6.1.1.3.2.3" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.6.m6.1.1.3.1" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.1.cmml">​</mo><mi id="A4.SS1.SSS2.p1.6.m6.1.1.3.3" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.3.cmml">A</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.6.m6.1b"><apply id="A4.SS1.SSS2.p1.6.m6.1.1.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1"><eq id="A4.SS1.SSS2.p1.6.m6.1.1.1.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.1"></eq><apply id="A4.SS1.SSS2.p1.6.m6.1.1.2.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.2"><times id="A4.SS1.SSS2.p1.6.m6.1.1.2.1.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.2.1"></times><ci id="A4.SS1.SSS2.p1.6.m6.1.1.2.2.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.2.2">𝑑</ci><ci id="A4.SS1.SSS2.p1.6.m6.1.1.2.3.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.2.3">𝐴</ci></apply><apply id="A4.SS1.SSS2.p1.6.m6.1.1.3.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.3"><times id="A4.SS1.SSS2.p1.6.m6.1.1.3.1.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.1"></times><apply id="A4.SS1.SSS2.p1.6.m6.1.1.3.2.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p1.6.m6.1.1.3.2.1.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.2">subscript</csymbol><ci id="A4.SS1.SSS2.p1.6.m6.1.1.3.2.2.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.2.2">ℰ</ci><cn type="integer" id="A4.SS1.SSS2.p1.6.m6.1.1.3.2.3.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.2.3">1</cn></apply><ci id="A4.SS1.SSS2.p1.6.m6.1.1.3.3.cmml" xref="A4.SS1.SSS2.p1.6.m6.1.1.3.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.6.m6.1c">dA=\mathcal{E}_{1}A</annotation></semantics></math> or <math id="A4.SS1.SSS2.p1.7.m7.1" class="ltx_Math" alttext="dA={A}\mathcal{E}_{2}" display="inline"><semantics id="A4.SS1.SSS2.p1.7.m7.1a"><mrow id="A4.SS1.SSS2.p1.7.m7.1.1" xref="A4.SS1.SSS2.p1.7.m7.1.1.cmml"><mrow id="A4.SS1.SSS2.p1.7.m7.1.1.2" xref="A4.SS1.SSS2.p1.7.m7.1.1.2.cmml"><mi id="A4.SS1.SSS2.p1.7.m7.1.1.2.2" xref="A4.SS1.SSS2.p1.7.m7.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.7.m7.1.1.2.1" xref="A4.SS1.SSS2.p1.7.m7.1.1.2.1.cmml">​</mo><mi id="A4.SS1.SSS2.p1.7.m7.1.1.2.3" xref="A4.SS1.SSS2.p1.7.m7.1.1.2.3.cmml">A</mi></mrow><mo id="A4.SS1.SSS2.p1.7.m7.1.1.1" xref="A4.SS1.SSS2.p1.7.m7.1.1.1.cmml">=</mo><mrow id="A4.SS1.SSS2.p1.7.m7.1.1.3" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.cmml"><mi id="A4.SS1.SSS2.p1.7.m7.1.1.3.2" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p1.7.m7.1.1.3.1" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.1.cmml">​</mo><msub id="A4.SS1.SSS2.p1.7.m7.1.1.3.3" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p1.7.m7.1.1.3.3.2" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.3.2.cmml">ℰ</mi><mn id="A4.SS1.SSS2.p1.7.m7.1.1.3.3.3" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.3.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.7.m7.1b"><apply id="A4.SS1.SSS2.p1.7.m7.1.1.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1"><eq id="A4.SS1.SSS2.p1.7.m7.1.1.1.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.1"></eq><apply id="A4.SS1.SSS2.p1.7.m7.1.1.2.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.2"><times id="A4.SS1.SSS2.p1.7.m7.1.1.2.1.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.2.1"></times><ci id="A4.SS1.SSS2.p1.7.m7.1.1.2.2.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.2.2">𝑑</ci><ci id="A4.SS1.SSS2.p1.7.m7.1.1.2.3.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.2.3">𝐴</ci></apply><apply id="A4.SS1.SSS2.p1.7.m7.1.1.3.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.3"><times id="A4.SS1.SSS2.p1.7.m7.1.1.3.1.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.1"></times><ci id="A4.SS1.SSS2.p1.7.m7.1.1.3.2.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.2">𝐴</ci><apply id="A4.SS1.SSS2.p1.7.m7.1.1.3.3.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.3"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p1.7.m7.1.1.3.3.1.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.3">subscript</csymbol><ci id="A4.SS1.SSS2.p1.7.m7.1.1.3.3.2.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.3.2">ℰ</ci><cn type="integer" id="A4.SS1.SSS2.p1.7.m7.1.1.3.3.3.cmml" xref="A4.SS1.SSS2.p1.7.m7.1.1.3.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.7.m7.1c">dA={A}\mathcal{E}_{2}</annotation></semantics></math>.
Let’s drop the <math id="A4.SS1.SSS2.p1.8.m8.1" class="ltx_Math" alttext="E" display="inline"><semantics id="A4.SS1.SSS2.p1.8.m8.1a"><mi id="A4.SS1.SSS2.p1.8.m8.1.1" xref="A4.SS1.SSS2.p1.8.m8.1.1.cmml">E</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p1.8.m8.1b"><ci id="A4.SS1.SSS2.p1.8.m8.1.1.cmml" xref="A4.SS1.SSS2.p1.8.m8.1.1">𝐸</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p1.8.m8.1c">E</annotation></semantics></math> in the PSGD preconditioner fitting criterion and derive the stochastic gradient as below,</p>
<table id="A12.EGx33" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.Ex51"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex51.m1.1" class="ltx_Math" alttext="\displaystyle d(h^{T}Ph+v^{T}P^{-1}v)" display="inline"><semantics id="A4.Ex51.m1.1a"><mrow id="A4.Ex51.m1.1.1" xref="A4.Ex51.m1.1.1.cmml"><mi id="A4.Ex51.m1.1.1.3" xref="A4.Ex51.m1.1.1.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex51.m1.1.1.2" xref="A4.Ex51.m1.1.1.2.cmml">​</mo><mrow id="A4.Ex51.m1.1.1.1.1" xref="A4.Ex51.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex51.m1.1.1.1.1.2" xref="A4.Ex51.m1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex51.m1.1.1.1.1.1" xref="A4.Ex51.m1.1.1.1.1.1.cmml"><mrow id="A4.Ex51.m1.1.1.1.1.1.2" xref="A4.Ex51.m1.1.1.1.1.1.2.cmml"><msup id="A4.Ex51.m1.1.1.1.1.1.2.2" xref="A4.Ex51.m1.1.1.1.1.1.2.2.cmml"><mi id="A4.Ex51.m1.1.1.1.1.1.2.2.2" xref="A4.Ex51.m1.1.1.1.1.1.2.2.2.cmml">h</mi><mi id="A4.Ex51.m1.1.1.1.1.1.2.2.3" xref="A4.Ex51.m1.1.1.1.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex51.m1.1.1.1.1.1.2.1" xref="A4.Ex51.m1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A4.Ex51.m1.1.1.1.1.1.2.3" xref="A4.Ex51.m1.1.1.1.1.1.2.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.Ex51.m1.1.1.1.1.1.2.1a" xref="A4.Ex51.m1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A4.Ex51.m1.1.1.1.1.1.2.4" xref="A4.Ex51.m1.1.1.1.1.1.2.4.cmml">h</mi></mrow><mo id="A4.Ex51.m1.1.1.1.1.1.1" xref="A4.Ex51.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.Ex51.m1.1.1.1.1.1.3" xref="A4.Ex51.m1.1.1.1.1.1.3.cmml"><msup id="A4.Ex51.m1.1.1.1.1.1.3.2" xref="A4.Ex51.m1.1.1.1.1.1.3.2.cmml"><mi id="A4.Ex51.m1.1.1.1.1.1.3.2.2" xref="A4.Ex51.m1.1.1.1.1.1.3.2.2.cmml">v</mi><mi id="A4.Ex51.m1.1.1.1.1.1.3.2.3" xref="A4.Ex51.m1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex51.m1.1.1.1.1.1.3.1" xref="A4.Ex51.m1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex51.m1.1.1.1.1.1.3.3" xref="A4.Ex51.m1.1.1.1.1.1.3.3.cmml"><mi id="A4.Ex51.m1.1.1.1.1.1.3.3.2" xref="A4.Ex51.m1.1.1.1.1.1.3.3.2.cmml">P</mi><mrow id="A4.Ex51.m1.1.1.1.1.1.3.3.3" xref="A4.Ex51.m1.1.1.1.1.1.3.3.3.cmml"><mo id="A4.Ex51.m1.1.1.1.1.1.3.3.3a" xref="A4.Ex51.m1.1.1.1.1.1.3.3.3.cmml">−</mo><mn id="A4.Ex51.m1.1.1.1.1.1.3.3.3.2" xref="A4.Ex51.m1.1.1.1.1.1.3.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex51.m1.1.1.1.1.1.3.1a" xref="A4.Ex51.m1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A4.Ex51.m1.1.1.1.1.1.3.4" xref="A4.Ex51.m1.1.1.1.1.1.3.4.cmml">v</mi></mrow></mrow><mo stretchy="false" id="A4.Ex51.m1.1.1.1.1.3" xref="A4.Ex51.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex51.m1.1b"><apply id="A4.Ex51.m1.1.1.cmml" xref="A4.Ex51.m1.1.1"><times id="A4.Ex51.m1.1.1.2.cmml" xref="A4.Ex51.m1.1.1.2"></times><ci id="A4.Ex51.m1.1.1.3.cmml" xref="A4.Ex51.m1.1.1.3">𝑑</ci><apply id="A4.Ex51.m1.1.1.1.1.1.cmml" xref="A4.Ex51.m1.1.1.1.1"><plus id="A4.Ex51.m1.1.1.1.1.1.1.cmml" xref="A4.Ex51.m1.1.1.1.1.1.1"></plus><apply id="A4.Ex51.m1.1.1.1.1.1.2.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2"><times id="A4.Ex51.m1.1.1.1.1.1.2.1.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2.1"></times><apply id="A4.Ex51.m1.1.1.1.1.1.2.2.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex51.m1.1.1.1.1.1.2.2.1.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2.2">superscript</csymbol><ci id="A4.Ex51.m1.1.1.1.1.1.2.2.2.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2.2.2">ℎ</ci><ci id="A4.Ex51.m1.1.1.1.1.1.2.2.3.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2.2.3">𝑇</ci></apply><ci id="A4.Ex51.m1.1.1.1.1.1.2.3.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2.3">𝑃</ci><ci id="A4.Ex51.m1.1.1.1.1.1.2.4.cmml" xref="A4.Ex51.m1.1.1.1.1.1.2.4">ℎ</ci></apply><apply id="A4.Ex51.m1.1.1.1.1.1.3.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3"><times id="A4.Ex51.m1.1.1.1.1.1.3.1.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.1"></times><apply id="A4.Ex51.m1.1.1.1.1.1.3.2.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A4.Ex51.m1.1.1.1.1.1.3.2.1.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A4.Ex51.m1.1.1.1.1.1.3.2.2.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.2.2">𝑣</ci><ci id="A4.Ex51.m1.1.1.1.1.1.3.2.3.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.2.3">𝑇</ci></apply><apply id="A4.Ex51.m1.1.1.1.1.1.3.3.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex51.m1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex51.m1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.3.2">𝑃</ci><apply id="A4.Ex51.m1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.3.3"><minus id="A4.Ex51.m1.1.1.1.1.1.3.3.3.1.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.3.3"></minus><cn type="integer" id="A4.Ex51.m1.1.1.1.1.1.3.3.3.2.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.3.3.2">1</cn></apply></apply><ci id="A4.Ex51.m1.1.1.1.1.1.3.4.cmml" xref="A4.Ex51.m1.1.1.1.1.1.3.4">𝑣</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex51.m1.1c">\displaystyle d(h^{T}Ph+v^{T}P^{-1}v)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.Ex52"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex52.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.Ex52.m1.1a"><mo id="A4.Ex52.m1.1.1" xref="A4.Ex52.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.Ex52.m1.1b"><eq id="A4.Ex52.m1.1.1.cmml" xref="A4.Ex52.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex52.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex52.m2.1" class="ltx_Math" alttext="\displaystyle h^{T}dPh-v^{T}P^{-1}dPP^{-1}v" display="inline"><semantics id="A4.Ex52.m2.1a"><mrow id="A4.Ex52.m2.1.1" xref="A4.Ex52.m2.1.1.cmml"><mrow id="A4.Ex52.m2.1.1.2" xref="A4.Ex52.m2.1.1.2.cmml"><msup id="A4.Ex52.m2.1.1.2.2" xref="A4.Ex52.m2.1.1.2.2.cmml"><mi id="A4.Ex52.m2.1.1.2.2.2" xref="A4.Ex52.m2.1.1.2.2.2.cmml">h</mi><mi id="A4.Ex52.m2.1.1.2.2.3" xref="A4.Ex52.m2.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.2.1" xref="A4.Ex52.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex52.m2.1.1.2.3" xref="A4.Ex52.m2.1.1.2.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.2.1a" xref="A4.Ex52.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex52.m2.1.1.2.4" xref="A4.Ex52.m2.1.1.2.4.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.2.1b" xref="A4.Ex52.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex52.m2.1.1.2.5" xref="A4.Ex52.m2.1.1.2.5.cmml">h</mi></mrow><mo id="A4.Ex52.m2.1.1.1" xref="A4.Ex52.m2.1.1.1.cmml">−</mo><mrow id="A4.Ex52.m2.1.1.3" xref="A4.Ex52.m2.1.1.3.cmml"><msup id="A4.Ex52.m2.1.1.3.2" xref="A4.Ex52.m2.1.1.3.2.cmml"><mi id="A4.Ex52.m2.1.1.3.2.2" xref="A4.Ex52.m2.1.1.3.2.2.cmml">v</mi><mi id="A4.Ex52.m2.1.1.3.2.3" xref="A4.Ex52.m2.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.3.1" xref="A4.Ex52.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex52.m2.1.1.3.3" xref="A4.Ex52.m2.1.1.3.3.cmml"><mi id="A4.Ex52.m2.1.1.3.3.2" xref="A4.Ex52.m2.1.1.3.3.2.cmml">P</mi><mrow id="A4.Ex52.m2.1.1.3.3.3" xref="A4.Ex52.m2.1.1.3.3.3.cmml"><mo id="A4.Ex52.m2.1.1.3.3.3a" xref="A4.Ex52.m2.1.1.3.3.3.cmml">−</mo><mn id="A4.Ex52.m2.1.1.3.3.3.2" xref="A4.Ex52.m2.1.1.3.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.3.1a" xref="A4.Ex52.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex52.m2.1.1.3.4" xref="A4.Ex52.m2.1.1.3.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.3.1b" xref="A4.Ex52.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex52.m2.1.1.3.5" xref="A4.Ex52.m2.1.1.3.5.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.3.1c" xref="A4.Ex52.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex52.m2.1.1.3.6" xref="A4.Ex52.m2.1.1.3.6.cmml"><mi id="A4.Ex52.m2.1.1.3.6.2" xref="A4.Ex52.m2.1.1.3.6.2.cmml">P</mi><mrow id="A4.Ex52.m2.1.1.3.6.3" xref="A4.Ex52.m2.1.1.3.6.3.cmml"><mo id="A4.Ex52.m2.1.1.3.6.3a" xref="A4.Ex52.m2.1.1.3.6.3.cmml">−</mo><mn id="A4.Ex52.m2.1.1.3.6.3.2" xref="A4.Ex52.m2.1.1.3.6.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex52.m2.1.1.3.1d" xref="A4.Ex52.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex52.m2.1.1.3.7" xref="A4.Ex52.m2.1.1.3.7.cmml">v</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex52.m2.1b"><apply id="A4.Ex52.m2.1.1.cmml" xref="A4.Ex52.m2.1.1"><minus id="A4.Ex52.m2.1.1.1.cmml" xref="A4.Ex52.m2.1.1.1"></minus><apply id="A4.Ex52.m2.1.1.2.cmml" xref="A4.Ex52.m2.1.1.2"><times id="A4.Ex52.m2.1.1.2.1.cmml" xref="A4.Ex52.m2.1.1.2.1"></times><apply id="A4.Ex52.m2.1.1.2.2.cmml" xref="A4.Ex52.m2.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex52.m2.1.1.2.2.1.cmml" xref="A4.Ex52.m2.1.1.2.2">superscript</csymbol><ci id="A4.Ex52.m2.1.1.2.2.2.cmml" xref="A4.Ex52.m2.1.1.2.2.2">ℎ</ci><ci id="A4.Ex52.m2.1.1.2.2.3.cmml" xref="A4.Ex52.m2.1.1.2.2.3">𝑇</ci></apply><ci id="A4.Ex52.m2.1.1.2.3.cmml" xref="A4.Ex52.m2.1.1.2.3">𝑑</ci><ci id="A4.Ex52.m2.1.1.2.4.cmml" xref="A4.Ex52.m2.1.1.2.4">𝑃</ci><ci id="A4.Ex52.m2.1.1.2.5.cmml" xref="A4.Ex52.m2.1.1.2.5">ℎ</ci></apply><apply id="A4.Ex52.m2.1.1.3.cmml" xref="A4.Ex52.m2.1.1.3"><times id="A4.Ex52.m2.1.1.3.1.cmml" xref="A4.Ex52.m2.1.1.3.1"></times><apply id="A4.Ex52.m2.1.1.3.2.cmml" xref="A4.Ex52.m2.1.1.3.2"><csymbol cd="ambiguous" id="A4.Ex52.m2.1.1.3.2.1.cmml" xref="A4.Ex52.m2.1.1.3.2">superscript</csymbol><ci id="A4.Ex52.m2.1.1.3.2.2.cmml" xref="A4.Ex52.m2.1.1.3.2.2">𝑣</ci><ci id="A4.Ex52.m2.1.1.3.2.3.cmml" xref="A4.Ex52.m2.1.1.3.2.3">𝑇</ci></apply><apply id="A4.Ex52.m2.1.1.3.3.cmml" xref="A4.Ex52.m2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex52.m2.1.1.3.3.1.cmml" xref="A4.Ex52.m2.1.1.3.3">superscript</csymbol><ci id="A4.Ex52.m2.1.1.3.3.2.cmml" xref="A4.Ex52.m2.1.1.3.3.2">𝑃</ci><apply id="A4.Ex52.m2.1.1.3.3.3.cmml" xref="A4.Ex52.m2.1.1.3.3.3"><minus id="A4.Ex52.m2.1.1.3.3.3.1.cmml" xref="A4.Ex52.m2.1.1.3.3.3"></minus><cn type="integer" id="A4.Ex52.m2.1.1.3.3.3.2.cmml" xref="A4.Ex52.m2.1.1.3.3.3.2">1</cn></apply></apply><ci id="A4.Ex52.m2.1.1.3.4.cmml" xref="A4.Ex52.m2.1.1.3.4">𝑑</ci><ci id="A4.Ex52.m2.1.1.3.5.cmml" xref="A4.Ex52.m2.1.1.3.5">𝑃</ci><apply id="A4.Ex52.m2.1.1.3.6.cmml" xref="A4.Ex52.m2.1.1.3.6"><csymbol cd="ambiguous" id="A4.Ex52.m2.1.1.3.6.1.cmml" xref="A4.Ex52.m2.1.1.3.6">superscript</csymbol><ci id="A4.Ex52.m2.1.1.3.6.2.cmml" xref="A4.Ex52.m2.1.1.3.6.2">𝑃</ci><apply id="A4.Ex52.m2.1.1.3.6.3.cmml" xref="A4.Ex52.m2.1.1.3.6.3"><minus id="A4.Ex52.m2.1.1.3.6.3.1.cmml" xref="A4.Ex52.m2.1.1.3.6.3"></minus><cn type="integer" id="A4.Ex52.m2.1.1.3.6.3.2.cmml" xref="A4.Ex52.m2.1.1.3.6.3.2">1</cn></apply></apply><ci id="A4.Ex52.m2.1.1.3.7.cmml" xref="A4.Ex52.m2.1.1.3.7">𝑣</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex52.m2.1c">\displaystyle h^{T}dPh-v^{T}P^{-1}dPP^{-1}v</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.Ex53"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex53.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.Ex53.m1.1a"><mo id="A4.Ex53.m1.1.1" xref="A4.Ex53.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.Ex53.m1.1b"><eq id="A4.Ex53.m1.1.1.cmml" xref="A4.Ex53.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex53.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex53.m2.1" class="ltx_Math" alttext="\displaystyle 2h^{T}dQ^{T}Qh-2v^{T}P^{-1}dQ^{T}QP^{-1}v" display="inline"><semantics id="A4.Ex53.m2.1a"><mrow id="A4.Ex53.m2.1.1" xref="A4.Ex53.m2.1.1.cmml"><mrow id="A4.Ex53.m2.1.1.2" xref="A4.Ex53.m2.1.1.2.cmml"><mn id="A4.Ex53.m2.1.1.2.2" xref="A4.Ex53.m2.1.1.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.2.1" xref="A4.Ex53.m2.1.1.2.1.cmml">​</mo><msup id="A4.Ex53.m2.1.1.2.3" xref="A4.Ex53.m2.1.1.2.3.cmml"><mi id="A4.Ex53.m2.1.1.2.3.2" xref="A4.Ex53.m2.1.1.2.3.2.cmml">h</mi><mi id="A4.Ex53.m2.1.1.2.3.3" xref="A4.Ex53.m2.1.1.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.2.1a" xref="A4.Ex53.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex53.m2.1.1.2.4" xref="A4.Ex53.m2.1.1.2.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.2.1b" xref="A4.Ex53.m2.1.1.2.1.cmml">​</mo><msup id="A4.Ex53.m2.1.1.2.5" xref="A4.Ex53.m2.1.1.2.5.cmml"><mi id="A4.Ex53.m2.1.1.2.5.2" xref="A4.Ex53.m2.1.1.2.5.2.cmml">Q</mi><mi id="A4.Ex53.m2.1.1.2.5.3" xref="A4.Ex53.m2.1.1.2.5.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.2.1c" xref="A4.Ex53.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex53.m2.1.1.2.6" xref="A4.Ex53.m2.1.1.2.6.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.2.1d" xref="A4.Ex53.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex53.m2.1.1.2.7" xref="A4.Ex53.m2.1.1.2.7.cmml">h</mi></mrow><mo id="A4.Ex53.m2.1.1.1" xref="A4.Ex53.m2.1.1.1.cmml">−</mo><mrow id="A4.Ex53.m2.1.1.3" xref="A4.Ex53.m2.1.1.3.cmml"><mn id="A4.Ex53.m2.1.1.3.2" xref="A4.Ex53.m2.1.1.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.3.1" xref="A4.Ex53.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex53.m2.1.1.3.3" xref="A4.Ex53.m2.1.1.3.3.cmml"><mi id="A4.Ex53.m2.1.1.3.3.2" xref="A4.Ex53.m2.1.1.3.3.2.cmml">v</mi><mi id="A4.Ex53.m2.1.1.3.3.3" xref="A4.Ex53.m2.1.1.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.3.1a" xref="A4.Ex53.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex53.m2.1.1.3.4" xref="A4.Ex53.m2.1.1.3.4.cmml"><mi id="A4.Ex53.m2.1.1.3.4.2" xref="A4.Ex53.m2.1.1.3.4.2.cmml">P</mi><mrow id="A4.Ex53.m2.1.1.3.4.3" xref="A4.Ex53.m2.1.1.3.4.3.cmml"><mo id="A4.Ex53.m2.1.1.3.4.3a" xref="A4.Ex53.m2.1.1.3.4.3.cmml">−</mo><mn id="A4.Ex53.m2.1.1.3.4.3.2" xref="A4.Ex53.m2.1.1.3.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.3.1b" xref="A4.Ex53.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex53.m2.1.1.3.5" xref="A4.Ex53.m2.1.1.3.5.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.3.1c" xref="A4.Ex53.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex53.m2.1.1.3.6" xref="A4.Ex53.m2.1.1.3.6.cmml"><mi id="A4.Ex53.m2.1.1.3.6.2" xref="A4.Ex53.m2.1.1.3.6.2.cmml">Q</mi><mi id="A4.Ex53.m2.1.1.3.6.3" xref="A4.Ex53.m2.1.1.3.6.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.3.1d" xref="A4.Ex53.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex53.m2.1.1.3.7" xref="A4.Ex53.m2.1.1.3.7.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.3.1e" xref="A4.Ex53.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex53.m2.1.1.3.8" xref="A4.Ex53.m2.1.1.3.8.cmml"><mi id="A4.Ex53.m2.1.1.3.8.2" xref="A4.Ex53.m2.1.1.3.8.2.cmml">P</mi><mrow id="A4.Ex53.m2.1.1.3.8.3" xref="A4.Ex53.m2.1.1.3.8.3.cmml"><mo id="A4.Ex53.m2.1.1.3.8.3a" xref="A4.Ex53.m2.1.1.3.8.3.cmml">−</mo><mn id="A4.Ex53.m2.1.1.3.8.3.2" xref="A4.Ex53.m2.1.1.3.8.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex53.m2.1.1.3.1f" xref="A4.Ex53.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex53.m2.1.1.3.9" xref="A4.Ex53.m2.1.1.3.9.cmml">v</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex53.m2.1b"><apply id="A4.Ex53.m2.1.1.cmml" xref="A4.Ex53.m2.1.1"><minus id="A4.Ex53.m2.1.1.1.cmml" xref="A4.Ex53.m2.1.1.1"></minus><apply id="A4.Ex53.m2.1.1.2.cmml" xref="A4.Ex53.m2.1.1.2"><times id="A4.Ex53.m2.1.1.2.1.cmml" xref="A4.Ex53.m2.1.1.2.1"></times><cn type="integer" id="A4.Ex53.m2.1.1.2.2.cmml" xref="A4.Ex53.m2.1.1.2.2">2</cn><apply id="A4.Ex53.m2.1.1.2.3.cmml" xref="A4.Ex53.m2.1.1.2.3"><csymbol cd="ambiguous" id="A4.Ex53.m2.1.1.2.3.1.cmml" xref="A4.Ex53.m2.1.1.2.3">superscript</csymbol><ci id="A4.Ex53.m2.1.1.2.3.2.cmml" xref="A4.Ex53.m2.1.1.2.3.2">ℎ</ci><ci id="A4.Ex53.m2.1.1.2.3.3.cmml" xref="A4.Ex53.m2.1.1.2.3.3">𝑇</ci></apply><ci id="A4.Ex53.m2.1.1.2.4.cmml" xref="A4.Ex53.m2.1.1.2.4">𝑑</ci><apply id="A4.Ex53.m2.1.1.2.5.cmml" xref="A4.Ex53.m2.1.1.2.5"><csymbol cd="ambiguous" id="A4.Ex53.m2.1.1.2.5.1.cmml" xref="A4.Ex53.m2.1.1.2.5">superscript</csymbol><ci id="A4.Ex53.m2.1.1.2.5.2.cmml" xref="A4.Ex53.m2.1.1.2.5.2">𝑄</ci><ci id="A4.Ex53.m2.1.1.2.5.3.cmml" xref="A4.Ex53.m2.1.1.2.5.3">𝑇</ci></apply><ci id="A4.Ex53.m2.1.1.2.6.cmml" xref="A4.Ex53.m2.1.1.2.6">𝑄</ci><ci id="A4.Ex53.m2.1.1.2.7.cmml" xref="A4.Ex53.m2.1.1.2.7">ℎ</ci></apply><apply id="A4.Ex53.m2.1.1.3.cmml" xref="A4.Ex53.m2.1.1.3"><times id="A4.Ex53.m2.1.1.3.1.cmml" xref="A4.Ex53.m2.1.1.3.1"></times><cn type="integer" id="A4.Ex53.m2.1.1.3.2.cmml" xref="A4.Ex53.m2.1.1.3.2">2</cn><apply id="A4.Ex53.m2.1.1.3.3.cmml" xref="A4.Ex53.m2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex53.m2.1.1.3.3.1.cmml" xref="A4.Ex53.m2.1.1.3.3">superscript</csymbol><ci id="A4.Ex53.m2.1.1.3.3.2.cmml" xref="A4.Ex53.m2.1.1.3.3.2">𝑣</ci><ci id="A4.Ex53.m2.1.1.3.3.3.cmml" xref="A4.Ex53.m2.1.1.3.3.3">𝑇</ci></apply><apply id="A4.Ex53.m2.1.1.3.4.cmml" xref="A4.Ex53.m2.1.1.3.4"><csymbol cd="ambiguous" id="A4.Ex53.m2.1.1.3.4.1.cmml" xref="A4.Ex53.m2.1.1.3.4">superscript</csymbol><ci id="A4.Ex53.m2.1.1.3.4.2.cmml" xref="A4.Ex53.m2.1.1.3.4.2">𝑃</ci><apply id="A4.Ex53.m2.1.1.3.4.3.cmml" xref="A4.Ex53.m2.1.1.3.4.3"><minus id="A4.Ex53.m2.1.1.3.4.3.1.cmml" xref="A4.Ex53.m2.1.1.3.4.3"></minus><cn type="integer" id="A4.Ex53.m2.1.1.3.4.3.2.cmml" xref="A4.Ex53.m2.1.1.3.4.3.2">1</cn></apply></apply><ci id="A4.Ex53.m2.1.1.3.5.cmml" xref="A4.Ex53.m2.1.1.3.5">𝑑</ci><apply id="A4.Ex53.m2.1.1.3.6.cmml" xref="A4.Ex53.m2.1.1.3.6"><csymbol cd="ambiguous" id="A4.Ex53.m2.1.1.3.6.1.cmml" xref="A4.Ex53.m2.1.1.3.6">superscript</csymbol><ci id="A4.Ex53.m2.1.1.3.6.2.cmml" xref="A4.Ex53.m2.1.1.3.6.2">𝑄</ci><ci id="A4.Ex53.m2.1.1.3.6.3.cmml" xref="A4.Ex53.m2.1.1.3.6.3">𝑇</ci></apply><ci id="A4.Ex53.m2.1.1.3.7.cmml" xref="A4.Ex53.m2.1.1.3.7">𝑄</ci><apply id="A4.Ex53.m2.1.1.3.8.cmml" xref="A4.Ex53.m2.1.1.3.8"><csymbol cd="ambiguous" id="A4.Ex53.m2.1.1.3.8.1.cmml" xref="A4.Ex53.m2.1.1.3.8">superscript</csymbol><ci id="A4.Ex53.m2.1.1.3.8.2.cmml" xref="A4.Ex53.m2.1.1.3.8.2">𝑃</ci><apply id="A4.Ex53.m2.1.1.3.8.3.cmml" xref="A4.Ex53.m2.1.1.3.8.3"><minus id="A4.Ex53.m2.1.1.3.8.3.1.cmml" xref="A4.Ex53.m2.1.1.3.8.3"></minus><cn type="integer" id="A4.Ex53.m2.1.1.3.8.3.2.cmml" xref="A4.Ex53.m2.1.1.3.8.3.2">1</cn></apply></apply><ci id="A4.Ex53.m2.1.1.3.9.cmml" xref="A4.Ex53.m2.1.1.3.9">𝑣</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex53.m2.1c">\displaystyle 2h^{T}dQ^{T}Qh-2v^{T}P^{-1}dQ^{T}QP^{-1}v</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A4.SS1.SSS2.p2" class="ltx_para">
<p id="A4.SS1.SSS2.p2.2" class="ltx_p">Since we are to fit <math id="A4.SS1.SSS2.p2.1.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A4.SS1.SSS2.p2.1.m1.1a"><mi id="A4.SS1.SSS2.p2.1.m1.1.1" xref="A4.SS1.SSS2.p2.1.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p2.1.m1.1b"><ci id="A4.SS1.SSS2.p2.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p2.1.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p2.1.m1.1c">A</annotation></semantics></math> and <math id="A4.SS1.SSS2.p2.2.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A4.SS1.SSS2.p2.2.m2.1a"><mi id="A4.SS1.SSS2.p2.2.m2.1.1" xref="A4.SS1.SSS2.p2.2.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p2.2.m2.1b"><ci id="A4.SS1.SSS2.p2.2.m2.1.1.cmml" xref="A4.SS1.SSS2.p2.2.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p2.2.m2.1c">B</annotation></semantics></math> on the Lie groups, thus let</p>
<table id="A12.EGx34" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.Ex54"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex54.m1.1" class="ltx_Math" alttext="\displaystyle dQ=" display="inline"><semantics id="A4.Ex54.m1.1a"><mrow id="A4.Ex54.m1.1.1" xref="A4.Ex54.m1.1.1.cmml"><mrow id="A4.Ex54.m1.1.1.2" xref="A4.Ex54.m1.1.1.2.cmml"><mi id="A4.Ex54.m1.1.1.2.2" xref="A4.Ex54.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex54.m1.1.1.2.1" xref="A4.Ex54.m1.1.1.2.1.cmml">​</mo><mi id="A4.Ex54.m1.1.1.2.3" xref="A4.Ex54.m1.1.1.2.3.cmml">Q</mi></mrow><mo id="A4.Ex54.m1.1.1.1" xref="A4.Ex54.m1.1.1.1.cmml">=</mo><mi id="A4.Ex54.m1.1.1.3" xref="A4.Ex54.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex54.m1.1b"><apply id="A4.Ex54.m1.1.1.cmml" xref="A4.Ex54.m1.1.1"><eq id="A4.Ex54.m1.1.1.1.cmml" xref="A4.Ex54.m1.1.1.1"></eq><apply id="A4.Ex54.m1.1.1.2.cmml" xref="A4.Ex54.m1.1.1.2"><times id="A4.Ex54.m1.1.1.2.1.cmml" xref="A4.Ex54.m1.1.1.2.1"></times><ci id="A4.Ex54.m1.1.1.2.2.cmml" xref="A4.Ex54.m1.1.1.2.2">𝑑</ci><ci id="A4.Ex54.m1.1.1.2.3.cmml" xref="A4.Ex54.m1.1.1.2.3">𝑄</ci></apply><csymbol cd="latexml" id="A4.Ex54.m1.1.1.3.cmml" xref="A4.Ex54.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex54.m1.1c">\displaystyle dQ=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex54.m2.1" class="ltx_Math" alttext="\displaystyle dAB+AdB" display="inline"><semantics id="A4.Ex54.m2.1a"><mrow id="A4.Ex54.m2.1.1" xref="A4.Ex54.m2.1.1.cmml"><mrow id="A4.Ex54.m2.1.1.2" xref="A4.Ex54.m2.1.1.2.cmml"><mi id="A4.Ex54.m2.1.1.2.2" xref="A4.Ex54.m2.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex54.m2.1.1.2.1" xref="A4.Ex54.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex54.m2.1.1.2.3" xref="A4.Ex54.m2.1.1.2.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A4.Ex54.m2.1.1.2.1a" xref="A4.Ex54.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex54.m2.1.1.2.4" xref="A4.Ex54.m2.1.1.2.4.cmml">B</mi></mrow><mo id="A4.Ex54.m2.1.1.1" xref="A4.Ex54.m2.1.1.1.cmml">+</mo><mrow id="A4.Ex54.m2.1.1.3" xref="A4.Ex54.m2.1.1.3.cmml"><mi id="A4.Ex54.m2.1.1.3.2" xref="A4.Ex54.m2.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A4.Ex54.m2.1.1.3.1" xref="A4.Ex54.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex54.m2.1.1.3.3" xref="A4.Ex54.m2.1.1.3.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex54.m2.1.1.3.1a" xref="A4.Ex54.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex54.m2.1.1.3.4" xref="A4.Ex54.m2.1.1.3.4.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex54.m2.1b"><apply id="A4.Ex54.m2.1.1.cmml" xref="A4.Ex54.m2.1.1"><plus id="A4.Ex54.m2.1.1.1.cmml" xref="A4.Ex54.m2.1.1.1"></plus><apply id="A4.Ex54.m2.1.1.2.cmml" xref="A4.Ex54.m2.1.1.2"><times id="A4.Ex54.m2.1.1.2.1.cmml" xref="A4.Ex54.m2.1.1.2.1"></times><ci id="A4.Ex54.m2.1.1.2.2.cmml" xref="A4.Ex54.m2.1.1.2.2">𝑑</ci><ci id="A4.Ex54.m2.1.1.2.3.cmml" xref="A4.Ex54.m2.1.1.2.3">𝐴</ci><ci id="A4.Ex54.m2.1.1.2.4.cmml" xref="A4.Ex54.m2.1.1.2.4">𝐵</ci></apply><apply id="A4.Ex54.m2.1.1.3.cmml" xref="A4.Ex54.m2.1.1.3"><times id="A4.Ex54.m2.1.1.3.1.cmml" xref="A4.Ex54.m2.1.1.3.1"></times><ci id="A4.Ex54.m2.1.1.3.2.cmml" xref="A4.Ex54.m2.1.1.3.2">𝐴</ci><ci id="A4.Ex54.m2.1.1.3.3.cmml" xref="A4.Ex54.m2.1.1.3.3">𝑑</ci><ci id="A4.Ex54.m2.1.1.3.4.cmml" xref="A4.Ex54.m2.1.1.3.4">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex54.m2.1c">\displaystyle dAB+AdB</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.Ex55"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex55.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.Ex55.m1.1a"><mo id="A4.Ex55.m1.1.1" xref="A4.Ex55.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.Ex55.m1.1b"><eq id="A4.Ex55.m1.1.1.cmml" xref="A4.Ex55.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex55.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex55.m2.1" class="ltx_Math" alttext="\displaystyle\mathcal{E}_{1}AB+AB\mathcal{E}_{2}" display="inline"><semantics id="A4.Ex55.m2.1a"><mrow id="A4.Ex55.m2.1.1" xref="A4.Ex55.m2.1.1.cmml"><mrow id="A4.Ex55.m2.1.1.2" xref="A4.Ex55.m2.1.1.2.cmml"><msub id="A4.Ex55.m2.1.1.2.2" xref="A4.Ex55.m2.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex55.m2.1.1.2.2.2" xref="A4.Ex55.m2.1.1.2.2.2.cmml">ℰ</mi><mn id="A4.Ex55.m2.1.1.2.2.3" xref="A4.Ex55.m2.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex55.m2.1.1.2.1" xref="A4.Ex55.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex55.m2.1.1.2.3" xref="A4.Ex55.m2.1.1.2.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A4.Ex55.m2.1.1.2.1a" xref="A4.Ex55.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex55.m2.1.1.2.4" xref="A4.Ex55.m2.1.1.2.4.cmml">B</mi></mrow><mo id="A4.Ex55.m2.1.1.1" xref="A4.Ex55.m2.1.1.1.cmml">+</mo><mrow id="A4.Ex55.m2.1.1.3" xref="A4.Ex55.m2.1.1.3.cmml"><mi id="A4.Ex55.m2.1.1.3.2" xref="A4.Ex55.m2.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A4.Ex55.m2.1.1.3.1" xref="A4.Ex55.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex55.m2.1.1.3.3" xref="A4.Ex55.m2.1.1.3.3.cmml">B</mi><mo lspace="0em" rspace="0em" id="A4.Ex55.m2.1.1.3.1a" xref="A4.Ex55.m2.1.1.3.1.cmml">​</mo><msub id="A4.Ex55.m2.1.1.3.4" xref="A4.Ex55.m2.1.1.3.4.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex55.m2.1.1.3.4.2" xref="A4.Ex55.m2.1.1.3.4.2.cmml">ℰ</mi><mn id="A4.Ex55.m2.1.1.3.4.3" xref="A4.Ex55.m2.1.1.3.4.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex55.m2.1b"><apply id="A4.Ex55.m2.1.1.cmml" xref="A4.Ex55.m2.1.1"><plus id="A4.Ex55.m2.1.1.1.cmml" xref="A4.Ex55.m2.1.1.1"></plus><apply id="A4.Ex55.m2.1.1.2.cmml" xref="A4.Ex55.m2.1.1.2"><times id="A4.Ex55.m2.1.1.2.1.cmml" xref="A4.Ex55.m2.1.1.2.1"></times><apply id="A4.Ex55.m2.1.1.2.2.cmml" xref="A4.Ex55.m2.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex55.m2.1.1.2.2.1.cmml" xref="A4.Ex55.m2.1.1.2.2">subscript</csymbol><ci id="A4.Ex55.m2.1.1.2.2.2.cmml" xref="A4.Ex55.m2.1.1.2.2.2">ℰ</ci><cn type="integer" id="A4.Ex55.m2.1.1.2.2.3.cmml" xref="A4.Ex55.m2.1.1.2.2.3">1</cn></apply><ci id="A4.Ex55.m2.1.1.2.3.cmml" xref="A4.Ex55.m2.1.1.2.3">𝐴</ci><ci id="A4.Ex55.m2.1.1.2.4.cmml" xref="A4.Ex55.m2.1.1.2.4">𝐵</ci></apply><apply id="A4.Ex55.m2.1.1.3.cmml" xref="A4.Ex55.m2.1.1.3"><times id="A4.Ex55.m2.1.1.3.1.cmml" xref="A4.Ex55.m2.1.1.3.1"></times><ci id="A4.Ex55.m2.1.1.3.2.cmml" xref="A4.Ex55.m2.1.1.3.2">𝐴</ci><ci id="A4.Ex55.m2.1.1.3.3.cmml" xref="A4.Ex55.m2.1.1.3.3">𝐵</ci><apply id="A4.Ex55.m2.1.1.3.4.cmml" xref="A4.Ex55.m2.1.1.3.4"><csymbol cd="ambiguous" id="A4.Ex55.m2.1.1.3.4.1.cmml" xref="A4.Ex55.m2.1.1.3.4">subscript</csymbol><ci id="A4.Ex55.m2.1.1.3.4.2.cmml" xref="A4.Ex55.m2.1.1.3.4.2">ℰ</ci><cn type="integer" id="A4.Ex55.m2.1.1.3.4.3.cmml" xref="A4.Ex55.m2.1.1.3.4.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex55.m2.1c">\displaystyle\mathcal{E}_{1}AB+AB\mathcal{E}_{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.Ex56"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex56.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.Ex56.m1.1a"><mo id="A4.Ex56.m1.1.1" xref="A4.Ex56.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.Ex56.m1.1b"><eq id="A4.Ex56.m1.1.1.cmml" xref="A4.Ex56.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex56.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex56.m2.1" class="ltx_Math" alttext="\displaystyle\mathcal{E}_{1}Q+Q\mathcal{E}_{2}" display="inline"><semantics id="A4.Ex56.m2.1a"><mrow id="A4.Ex56.m2.1.1" xref="A4.Ex56.m2.1.1.cmml"><mrow id="A4.Ex56.m2.1.1.2" xref="A4.Ex56.m2.1.1.2.cmml"><msub id="A4.Ex56.m2.1.1.2.2" xref="A4.Ex56.m2.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex56.m2.1.1.2.2.2" xref="A4.Ex56.m2.1.1.2.2.2.cmml">ℰ</mi><mn id="A4.Ex56.m2.1.1.2.2.3" xref="A4.Ex56.m2.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A4.Ex56.m2.1.1.2.1" xref="A4.Ex56.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex56.m2.1.1.2.3" xref="A4.Ex56.m2.1.1.2.3.cmml">Q</mi></mrow><mo id="A4.Ex56.m2.1.1.1" xref="A4.Ex56.m2.1.1.1.cmml">+</mo><mrow id="A4.Ex56.m2.1.1.3" xref="A4.Ex56.m2.1.1.3.cmml"><mi id="A4.Ex56.m2.1.1.3.2" xref="A4.Ex56.m2.1.1.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex56.m2.1.1.3.1" xref="A4.Ex56.m2.1.1.3.1.cmml">​</mo><msub id="A4.Ex56.m2.1.1.3.3" xref="A4.Ex56.m2.1.1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex56.m2.1.1.3.3.2" xref="A4.Ex56.m2.1.1.3.3.2.cmml">ℰ</mi><mn id="A4.Ex56.m2.1.1.3.3.3" xref="A4.Ex56.m2.1.1.3.3.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex56.m2.1b"><apply id="A4.Ex56.m2.1.1.cmml" xref="A4.Ex56.m2.1.1"><plus id="A4.Ex56.m2.1.1.1.cmml" xref="A4.Ex56.m2.1.1.1"></plus><apply id="A4.Ex56.m2.1.1.2.cmml" xref="A4.Ex56.m2.1.1.2"><times id="A4.Ex56.m2.1.1.2.1.cmml" xref="A4.Ex56.m2.1.1.2.1"></times><apply id="A4.Ex56.m2.1.1.2.2.cmml" xref="A4.Ex56.m2.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex56.m2.1.1.2.2.1.cmml" xref="A4.Ex56.m2.1.1.2.2">subscript</csymbol><ci id="A4.Ex56.m2.1.1.2.2.2.cmml" xref="A4.Ex56.m2.1.1.2.2.2">ℰ</ci><cn type="integer" id="A4.Ex56.m2.1.1.2.2.3.cmml" xref="A4.Ex56.m2.1.1.2.2.3">1</cn></apply><ci id="A4.Ex56.m2.1.1.2.3.cmml" xref="A4.Ex56.m2.1.1.2.3">𝑄</ci></apply><apply id="A4.Ex56.m2.1.1.3.cmml" xref="A4.Ex56.m2.1.1.3"><times id="A4.Ex56.m2.1.1.3.1.cmml" xref="A4.Ex56.m2.1.1.3.1"></times><ci id="A4.Ex56.m2.1.1.3.2.cmml" xref="A4.Ex56.m2.1.1.3.2">𝑄</ci><apply id="A4.Ex56.m2.1.1.3.3.cmml" xref="A4.Ex56.m2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex56.m2.1.1.3.3.1.cmml" xref="A4.Ex56.m2.1.1.3.3">subscript</csymbol><ci id="A4.Ex56.m2.1.1.3.3.2.cmml" xref="A4.Ex56.m2.1.1.3.3.2">ℰ</ci><cn type="integer" id="A4.Ex56.m2.1.1.3.3.3.cmml" xref="A4.Ex56.m2.1.1.3.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex56.m2.1c">\displaystyle\mathcal{E}_{1}Q+Q\mathcal{E}_{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p2.3" class="ltx_p">Then, we have</p>
<table id="A12.EGx35" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A4.Ex57"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_eqn_cell"></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex57.m1.1" class="ltx_Math" alttext="\displaystyle d(h^{T}Ph+v^{T}P^{-1}v)" display="inline"><semantics id="A4.Ex57.m1.1a"><mrow id="A4.Ex57.m1.1.1" xref="A4.Ex57.m1.1.1.cmml"><mi id="A4.Ex57.m1.1.1.3" xref="A4.Ex57.m1.1.1.3.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex57.m1.1.1.2" xref="A4.Ex57.m1.1.1.2.cmml">​</mo><mrow id="A4.Ex57.m1.1.1.1.1" xref="A4.Ex57.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex57.m1.1.1.1.1.2" xref="A4.Ex57.m1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex57.m1.1.1.1.1.1" xref="A4.Ex57.m1.1.1.1.1.1.cmml"><mrow id="A4.Ex57.m1.1.1.1.1.1.2" xref="A4.Ex57.m1.1.1.1.1.1.2.cmml"><msup id="A4.Ex57.m1.1.1.1.1.1.2.2" xref="A4.Ex57.m1.1.1.1.1.1.2.2.cmml"><mi id="A4.Ex57.m1.1.1.1.1.1.2.2.2" xref="A4.Ex57.m1.1.1.1.1.1.2.2.2.cmml">h</mi><mi id="A4.Ex57.m1.1.1.1.1.1.2.2.3" xref="A4.Ex57.m1.1.1.1.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex57.m1.1.1.1.1.1.2.1" xref="A4.Ex57.m1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A4.Ex57.m1.1.1.1.1.1.2.3" xref="A4.Ex57.m1.1.1.1.1.1.2.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.Ex57.m1.1.1.1.1.1.2.1a" xref="A4.Ex57.m1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A4.Ex57.m1.1.1.1.1.1.2.4" xref="A4.Ex57.m1.1.1.1.1.1.2.4.cmml">h</mi></mrow><mo id="A4.Ex57.m1.1.1.1.1.1.1" xref="A4.Ex57.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.Ex57.m1.1.1.1.1.1.3" xref="A4.Ex57.m1.1.1.1.1.1.3.cmml"><msup id="A4.Ex57.m1.1.1.1.1.1.3.2" xref="A4.Ex57.m1.1.1.1.1.1.3.2.cmml"><mi id="A4.Ex57.m1.1.1.1.1.1.3.2.2" xref="A4.Ex57.m1.1.1.1.1.1.3.2.2.cmml">v</mi><mi id="A4.Ex57.m1.1.1.1.1.1.3.2.3" xref="A4.Ex57.m1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex57.m1.1.1.1.1.1.3.1" xref="A4.Ex57.m1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex57.m1.1.1.1.1.1.3.3" xref="A4.Ex57.m1.1.1.1.1.1.3.3.cmml"><mi id="A4.Ex57.m1.1.1.1.1.1.3.3.2" xref="A4.Ex57.m1.1.1.1.1.1.3.3.2.cmml">P</mi><mrow id="A4.Ex57.m1.1.1.1.1.1.3.3.3" xref="A4.Ex57.m1.1.1.1.1.1.3.3.3.cmml"><mo id="A4.Ex57.m1.1.1.1.1.1.3.3.3a" xref="A4.Ex57.m1.1.1.1.1.1.3.3.3.cmml">−</mo><mn id="A4.Ex57.m1.1.1.1.1.1.3.3.3.2" xref="A4.Ex57.m1.1.1.1.1.1.3.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex57.m1.1.1.1.1.1.3.1a" xref="A4.Ex57.m1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A4.Ex57.m1.1.1.1.1.1.3.4" xref="A4.Ex57.m1.1.1.1.1.1.3.4.cmml">v</mi></mrow></mrow><mo stretchy="false" id="A4.Ex57.m1.1.1.1.1.3" xref="A4.Ex57.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex57.m1.1b"><apply id="A4.Ex57.m1.1.1.cmml" xref="A4.Ex57.m1.1.1"><times id="A4.Ex57.m1.1.1.2.cmml" xref="A4.Ex57.m1.1.1.2"></times><ci id="A4.Ex57.m1.1.1.3.cmml" xref="A4.Ex57.m1.1.1.3">𝑑</ci><apply id="A4.Ex57.m1.1.1.1.1.1.cmml" xref="A4.Ex57.m1.1.1.1.1"><plus id="A4.Ex57.m1.1.1.1.1.1.1.cmml" xref="A4.Ex57.m1.1.1.1.1.1.1"></plus><apply id="A4.Ex57.m1.1.1.1.1.1.2.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2"><times id="A4.Ex57.m1.1.1.1.1.1.2.1.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2.1"></times><apply id="A4.Ex57.m1.1.1.1.1.1.2.2.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex57.m1.1.1.1.1.1.2.2.1.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2.2">superscript</csymbol><ci id="A4.Ex57.m1.1.1.1.1.1.2.2.2.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2.2.2">ℎ</ci><ci id="A4.Ex57.m1.1.1.1.1.1.2.2.3.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2.2.3">𝑇</ci></apply><ci id="A4.Ex57.m1.1.1.1.1.1.2.3.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2.3">𝑃</ci><ci id="A4.Ex57.m1.1.1.1.1.1.2.4.cmml" xref="A4.Ex57.m1.1.1.1.1.1.2.4">ℎ</ci></apply><apply id="A4.Ex57.m1.1.1.1.1.1.3.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3"><times id="A4.Ex57.m1.1.1.1.1.1.3.1.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.1"></times><apply id="A4.Ex57.m1.1.1.1.1.1.3.2.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A4.Ex57.m1.1.1.1.1.1.3.2.1.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A4.Ex57.m1.1.1.1.1.1.3.2.2.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.2.2">𝑣</ci><ci id="A4.Ex57.m1.1.1.1.1.1.3.2.3.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.2.3">𝑇</ci></apply><apply id="A4.Ex57.m1.1.1.1.1.1.3.3.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex57.m1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex57.m1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.3.2">𝑃</ci><apply id="A4.Ex57.m1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.3.3"><minus id="A4.Ex57.m1.1.1.1.1.1.3.3.3.1.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.3.3"></minus><cn type="integer" id="A4.Ex57.m1.1.1.1.1.1.3.3.3.2.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.3.3.2">1</cn></apply></apply><ci id="A4.Ex57.m1.1.1.1.1.1.3.4.cmml" xref="A4.Ex57.m1.1.1.1.1.1.3.4">𝑣</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex57.m1.1c">\displaystyle d(h^{T}Ph+v^{T}P^{-1}v)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.Ex58"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex58.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.Ex58.m1.1a"><mo id="A4.Ex58.m1.1.1" xref="A4.Ex58.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.Ex58.m1.1b"><eq id="A4.Ex58.m1.1.1.cmml" xref="A4.Ex58.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex58.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex58.m2.1" class="ltx_Math" alttext="\displaystyle 2h^{T}dQ^{T}Qh-2v^{T}P^{-1}dQ^{T}QP^{-1}v" display="inline"><semantics id="A4.Ex58.m2.1a"><mrow id="A4.Ex58.m2.1.1" xref="A4.Ex58.m2.1.1.cmml"><mrow id="A4.Ex58.m2.1.1.2" xref="A4.Ex58.m2.1.1.2.cmml"><mn id="A4.Ex58.m2.1.1.2.2" xref="A4.Ex58.m2.1.1.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.2.1" xref="A4.Ex58.m2.1.1.2.1.cmml">​</mo><msup id="A4.Ex58.m2.1.1.2.3" xref="A4.Ex58.m2.1.1.2.3.cmml"><mi id="A4.Ex58.m2.1.1.2.3.2" xref="A4.Ex58.m2.1.1.2.3.2.cmml">h</mi><mi id="A4.Ex58.m2.1.1.2.3.3" xref="A4.Ex58.m2.1.1.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.2.1a" xref="A4.Ex58.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex58.m2.1.1.2.4" xref="A4.Ex58.m2.1.1.2.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.2.1b" xref="A4.Ex58.m2.1.1.2.1.cmml">​</mo><msup id="A4.Ex58.m2.1.1.2.5" xref="A4.Ex58.m2.1.1.2.5.cmml"><mi id="A4.Ex58.m2.1.1.2.5.2" xref="A4.Ex58.m2.1.1.2.5.2.cmml">Q</mi><mi id="A4.Ex58.m2.1.1.2.5.3" xref="A4.Ex58.m2.1.1.2.5.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.2.1c" xref="A4.Ex58.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex58.m2.1.1.2.6" xref="A4.Ex58.m2.1.1.2.6.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.2.1d" xref="A4.Ex58.m2.1.1.2.1.cmml">​</mo><mi id="A4.Ex58.m2.1.1.2.7" xref="A4.Ex58.m2.1.1.2.7.cmml">h</mi></mrow><mo id="A4.Ex58.m2.1.1.1" xref="A4.Ex58.m2.1.1.1.cmml">−</mo><mrow id="A4.Ex58.m2.1.1.3" xref="A4.Ex58.m2.1.1.3.cmml"><mn id="A4.Ex58.m2.1.1.3.2" xref="A4.Ex58.m2.1.1.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.3.1" xref="A4.Ex58.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex58.m2.1.1.3.3" xref="A4.Ex58.m2.1.1.3.3.cmml"><mi id="A4.Ex58.m2.1.1.3.3.2" xref="A4.Ex58.m2.1.1.3.3.2.cmml">v</mi><mi id="A4.Ex58.m2.1.1.3.3.3" xref="A4.Ex58.m2.1.1.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.3.1a" xref="A4.Ex58.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex58.m2.1.1.3.4" xref="A4.Ex58.m2.1.1.3.4.cmml"><mi id="A4.Ex58.m2.1.1.3.4.2" xref="A4.Ex58.m2.1.1.3.4.2.cmml">P</mi><mrow id="A4.Ex58.m2.1.1.3.4.3" xref="A4.Ex58.m2.1.1.3.4.3.cmml"><mo id="A4.Ex58.m2.1.1.3.4.3a" xref="A4.Ex58.m2.1.1.3.4.3.cmml">−</mo><mn id="A4.Ex58.m2.1.1.3.4.3.2" xref="A4.Ex58.m2.1.1.3.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.3.1b" xref="A4.Ex58.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex58.m2.1.1.3.5" xref="A4.Ex58.m2.1.1.3.5.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.3.1c" xref="A4.Ex58.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex58.m2.1.1.3.6" xref="A4.Ex58.m2.1.1.3.6.cmml"><mi id="A4.Ex58.m2.1.1.3.6.2" xref="A4.Ex58.m2.1.1.3.6.2.cmml">Q</mi><mi id="A4.Ex58.m2.1.1.3.6.3" xref="A4.Ex58.m2.1.1.3.6.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.3.1d" xref="A4.Ex58.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex58.m2.1.1.3.7" xref="A4.Ex58.m2.1.1.3.7.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.3.1e" xref="A4.Ex58.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex58.m2.1.1.3.8" xref="A4.Ex58.m2.1.1.3.8.cmml"><mi id="A4.Ex58.m2.1.1.3.8.2" xref="A4.Ex58.m2.1.1.3.8.2.cmml">P</mi><mrow id="A4.Ex58.m2.1.1.3.8.3" xref="A4.Ex58.m2.1.1.3.8.3.cmml"><mo id="A4.Ex58.m2.1.1.3.8.3a" xref="A4.Ex58.m2.1.1.3.8.3.cmml">−</mo><mn id="A4.Ex58.m2.1.1.3.8.3.2" xref="A4.Ex58.m2.1.1.3.8.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex58.m2.1.1.3.1f" xref="A4.Ex58.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex58.m2.1.1.3.9" xref="A4.Ex58.m2.1.1.3.9.cmml">v</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex58.m2.1b"><apply id="A4.Ex58.m2.1.1.cmml" xref="A4.Ex58.m2.1.1"><minus id="A4.Ex58.m2.1.1.1.cmml" xref="A4.Ex58.m2.1.1.1"></minus><apply id="A4.Ex58.m2.1.1.2.cmml" xref="A4.Ex58.m2.1.1.2"><times id="A4.Ex58.m2.1.1.2.1.cmml" xref="A4.Ex58.m2.1.1.2.1"></times><cn type="integer" id="A4.Ex58.m2.1.1.2.2.cmml" xref="A4.Ex58.m2.1.1.2.2">2</cn><apply id="A4.Ex58.m2.1.1.2.3.cmml" xref="A4.Ex58.m2.1.1.2.3"><csymbol cd="ambiguous" id="A4.Ex58.m2.1.1.2.3.1.cmml" xref="A4.Ex58.m2.1.1.2.3">superscript</csymbol><ci id="A4.Ex58.m2.1.1.2.3.2.cmml" xref="A4.Ex58.m2.1.1.2.3.2">ℎ</ci><ci id="A4.Ex58.m2.1.1.2.3.3.cmml" xref="A4.Ex58.m2.1.1.2.3.3">𝑇</ci></apply><ci id="A4.Ex58.m2.1.1.2.4.cmml" xref="A4.Ex58.m2.1.1.2.4">𝑑</ci><apply id="A4.Ex58.m2.1.1.2.5.cmml" xref="A4.Ex58.m2.1.1.2.5"><csymbol cd="ambiguous" id="A4.Ex58.m2.1.1.2.5.1.cmml" xref="A4.Ex58.m2.1.1.2.5">superscript</csymbol><ci id="A4.Ex58.m2.1.1.2.5.2.cmml" xref="A4.Ex58.m2.1.1.2.5.2">𝑄</ci><ci id="A4.Ex58.m2.1.1.2.5.3.cmml" xref="A4.Ex58.m2.1.1.2.5.3">𝑇</ci></apply><ci id="A4.Ex58.m2.1.1.2.6.cmml" xref="A4.Ex58.m2.1.1.2.6">𝑄</ci><ci id="A4.Ex58.m2.1.1.2.7.cmml" xref="A4.Ex58.m2.1.1.2.7">ℎ</ci></apply><apply id="A4.Ex58.m2.1.1.3.cmml" xref="A4.Ex58.m2.1.1.3"><times id="A4.Ex58.m2.1.1.3.1.cmml" xref="A4.Ex58.m2.1.1.3.1"></times><cn type="integer" id="A4.Ex58.m2.1.1.3.2.cmml" xref="A4.Ex58.m2.1.1.3.2">2</cn><apply id="A4.Ex58.m2.1.1.3.3.cmml" xref="A4.Ex58.m2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex58.m2.1.1.3.3.1.cmml" xref="A4.Ex58.m2.1.1.3.3">superscript</csymbol><ci id="A4.Ex58.m2.1.1.3.3.2.cmml" xref="A4.Ex58.m2.1.1.3.3.2">𝑣</ci><ci id="A4.Ex58.m2.1.1.3.3.3.cmml" xref="A4.Ex58.m2.1.1.3.3.3">𝑇</ci></apply><apply id="A4.Ex58.m2.1.1.3.4.cmml" xref="A4.Ex58.m2.1.1.3.4"><csymbol cd="ambiguous" id="A4.Ex58.m2.1.1.3.4.1.cmml" xref="A4.Ex58.m2.1.1.3.4">superscript</csymbol><ci id="A4.Ex58.m2.1.1.3.4.2.cmml" xref="A4.Ex58.m2.1.1.3.4.2">𝑃</ci><apply id="A4.Ex58.m2.1.1.3.4.3.cmml" xref="A4.Ex58.m2.1.1.3.4.3"><minus id="A4.Ex58.m2.1.1.3.4.3.1.cmml" xref="A4.Ex58.m2.1.1.3.4.3"></minus><cn type="integer" id="A4.Ex58.m2.1.1.3.4.3.2.cmml" xref="A4.Ex58.m2.1.1.3.4.3.2">1</cn></apply></apply><ci id="A4.Ex58.m2.1.1.3.5.cmml" xref="A4.Ex58.m2.1.1.3.5">𝑑</ci><apply id="A4.Ex58.m2.1.1.3.6.cmml" xref="A4.Ex58.m2.1.1.3.6"><csymbol cd="ambiguous" id="A4.Ex58.m2.1.1.3.6.1.cmml" xref="A4.Ex58.m2.1.1.3.6">superscript</csymbol><ci id="A4.Ex58.m2.1.1.3.6.2.cmml" xref="A4.Ex58.m2.1.1.3.6.2">𝑄</ci><ci id="A4.Ex58.m2.1.1.3.6.3.cmml" xref="A4.Ex58.m2.1.1.3.6.3">𝑇</ci></apply><ci id="A4.Ex58.m2.1.1.3.7.cmml" xref="A4.Ex58.m2.1.1.3.7">𝑄</ci><apply id="A4.Ex58.m2.1.1.3.8.cmml" xref="A4.Ex58.m2.1.1.3.8"><csymbol cd="ambiguous" id="A4.Ex58.m2.1.1.3.8.1.cmml" xref="A4.Ex58.m2.1.1.3.8">superscript</csymbol><ci id="A4.Ex58.m2.1.1.3.8.2.cmml" xref="A4.Ex58.m2.1.1.3.8.2">𝑃</ci><apply id="A4.Ex58.m2.1.1.3.8.3.cmml" xref="A4.Ex58.m2.1.1.3.8.3"><minus id="A4.Ex58.m2.1.1.3.8.3.1.cmml" xref="A4.Ex58.m2.1.1.3.8.3"></minus><cn type="integer" id="A4.Ex58.m2.1.1.3.8.3.2.cmml" xref="A4.Ex58.m2.1.1.3.8.3.2">1</cn></apply></apply><ci id="A4.Ex58.m2.1.1.3.9.cmml" xref="A4.Ex58.m2.1.1.3.9">𝑣</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex58.m2.1c">\displaystyle 2h^{T}dQ^{T}Qh-2v^{T}P^{-1}dQ^{T}QP^{-1}v</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.Ex59"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex59.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.Ex59.m1.1a"><mo id="A4.Ex59.m1.1.1" xref="A4.Ex59.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.Ex59.m1.1b"><eq id="A4.Ex59.m1.1.1.cmml" xref="A4.Ex59.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex59.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex59.m2.1" class="ltx_Math" alttext="\displaystyle 2h^{T}Q^{T}\mathcal{E}_{1}^{T}Qh+2h^{T}\mathcal{E}_{2}^{T}Q^{T}Qh-2v^{T}P^{-1}Q^{T}\mathcal{E}_{1}^{T}QP^{-1}v-2v^{T}P^{-1}\mathcal{E}_{2}^{T}Q^{T}QP^{-1}v" display="inline"><semantics id="A4.Ex59.m2.1a"><mrow id="A4.Ex59.m2.1.1" xref="A4.Ex59.m2.1.1.cmml"><mrow id="A4.Ex59.m2.1.1.2" xref="A4.Ex59.m2.1.1.2.cmml"><mrow id="A4.Ex59.m2.1.1.2.2" xref="A4.Ex59.m2.1.1.2.2.cmml"><mn id="A4.Ex59.m2.1.1.2.2.2" xref="A4.Ex59.m2.1.1.2.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.2.1" xref="A4.Ex59.m2.1.1.2.2.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.2.2.3" xref="A4.Ex59.m2.1.1.2.2.3.cmml"><mi id="A4.Ex59.m2.1.1.2.2.3.2" xref="A4.Ex59.m2.1.1.2.2.3.2.cmml">h</mi><mi id="A4.Ex59.m2.1.1.2.2.3.3" xref="A4.Ex59.m2.1.1.2.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.2.1a" xref="A4.Ex59.m2.1.1.2.2.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.2.2.4" xref="A4.Ex59.m2.1.1.2.2.4.cmml"><mi id="A4.Ex59.m2.1.1.2.2.4.2" xref="A4.Ex59.m2.1.1.2.2.4.2.cmml">Q</mi><mi id="A4.Ex59.m2.1.1.2.2.4.3" xref="A4.Ex59.m2.1.1.2.2.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.2.1b" xref="A4.Ex59.m2.1.1.2.2.1.cmml">​</mo><msubsup id="A4.Ex59.m2.1.1.2.2.5" xref="A4.Ex59.m2.1.1.2.2.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex59.m2.1.1.2.2.5.2.2" xref="A4.Ex59.m2.1.1.2.2.5.2.2.cmml">ℰ</mi><mn id="A4.Ex59.m2.1.1.2.2.5.2.3" xref="A4.Ex59.m2.1.1.2.2.5.2.3.cmml">1</mn><mi id="A4.Ex59.m2.1.1.2.2.5.3" xref="A4.Ex59.m2.1.1.2.2.5.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.2.1c" xref="A4.Ex59.m2.1.1.2.2.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.2.2.6" xref="A4.Ex59.m2.1.1.2.2.6.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.2.1d" xref="A4.Ex59.m2.1.1.2.2.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.2.2.7" xref="A4.Ex59.m2.1.1.2.2.7.cmml">h</mi></mrow><mo id="A4.Ex59.m2.1.1.2.1" xref="A4.Ex59.m2.1.1.2.1.cmml">+</mo><mrow id="A4.Ex59.m2.1.1.2.3" xref="A4.Ex59.m2.1.1.2.3.cmml"><mn id="A4.Ex59.m2.1.1.2.3.2" xref="A4.Ex59.m2.1.1.2.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.3.1" xref="A4.Ex59.m2.1.1.2.3.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.2.3.3" xref="A4.Ex59.m2.1.1.2.3.3.cmml"><mi id="A4.Ex59.m2.1.1.2.3.3.2" xref="A4.Ex59.m2.1.1.2.3.3.2.cmml">h</mi><mi id="A4.Ex59.m2.1.1.2.3.3.3" xref="A4.Ex59.m2.1.1.2.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.3.1a" xref="A4.Ex59.m2.1.1.2.3.1.cmml">​</mo><msubsup id="A4.Ex59.m2.1.1.2.3.4" xref="A4.Ex59.m2.1.1.2.3.4.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex59.m2.1.1.2.3.4.2.2" xref="A4.Ex59.m2.1.1.2.3.4.2.2.cmml">ℰ</mi><mn id="A4.Ex59.m2.1.1.2.3.4.2.3" xref="A4.Ex59.m2.1.1.2.3.4.2.3.cmml">2</mn><mi id="A4.Ex59.m2.1.1.2.3.4.3" xref="A4.Ex59.m2.1.1.2.3.4.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.3.1b" xref="A4.Ex59.m2.1.1.2.3.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.2.3.5" xref="A4.Ex59.m2.1.1.2.3.5.cmml"><mi id="A4.Ex59.m2.1.1.2.3.5.2" xref="A4.Ex59.m2.1.1.2.3.5.2.cmml">Q</mi><mi id="A4.Ex59.m2.1.1.2.3.5.3" xref="A4.Ex59.m2.1.1.2.3.5.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.3.1c" xref="A4.Ex59.m2.1.1.2.3.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.2.3.6" xref="A4.Ex59.m2.1.1.2.3.6.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.2.3.1d" xref="A4.Ex59.m2.1.1.2.3.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.2.3.7" xref="A4.Ex59.m2.1.1.2.3.7.cmml">h</mi></mrow></mrow><mo id="A4.Ex59.m2.1.1.1" xref="A4.Ex59.m2.1.1.1.cmml">−</mo><mrow id="A4.Ex59.m2.1.1.3" xref="A4.Ex59.m2.1.1.3.cmml"><mn id="A4.Ex59.m2.1.1.3.2" xref="A4.Ex59.m2.1.1.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.3.1" xref="A4.Ex59.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.3.3" xref="A4.Ex59.m2.1.1.3.3.cmml"><mi id="A4.Ex59.m2.1.1.3.3.2" xref="A4.Ex59.m2.1.1.3.3.2.cmml">v</mi><mi id="A4.Ex59.m2.1.1.3.3.3" xref="A4.Ex59.m2.1.1.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.3.1a" xref="A4.Ex59.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.3.4" xref="A4.Ex59.m2.1.1.3.4.cmml"><mi id="A4.Ex59.m2.1.1.3.4.2" xref="A4.Ex59.m2.1.1.3.4.2.cmml">P</mi><mrow id="A4.Ex59.m2.1.1.3.4.3" xref="A4.Ex59.m2.1.1.3.4.3.cmml"><mo id="A4.Ex59.m2.1.1.3.4.3a" xref="A4.Ex59.m2.1.1.3.4.3.cmml">−</mo><mn id="A4.Ex59.m2.1.1.3.4.3.2" xref="A4.Ex59.m2.1.1.3.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.3.1b" xref="A4.Ex59.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.3.5" xref="A4.Ex59.m2.1.1.3.5.cmml"><mi id="A4.Ex59.m2.1.1.3.5.2" xref="A4.Ex59.m2.1.1.3.5.2.cmml">Q</mi><mi id="A4.Ex59.m2.1.1.3.5.3" xref="A4.Ex59.m2.1.1.3.5.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.3.1c" xref="A4.Ex59.m2.1.1.3.1.cmml">​</mo><msubsup id="A4.Ex59.m2.1.1.3.6" xref="A4.Ex59.m2.1.1.3.6.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex59.m2.1.1.3.6.2.2" xref="A4.Ex59.m2.1.1.3.6.2.2.cmml">ℰ</mi><mn id="A4.Ex59.m2.1.1.3.6.2.3" xref="A4.Ex59.m2.1.1.3.6.2.3.cmml">1</mn><mi id="A4.Ex59.m2.1.1.3.6.3" xref="A4.Ex59.m2.1.1.3.6.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.3.1d" xref="A4.Ex59.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.3.7" xref="A4.Ex59.m2.1.1.3.7.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.3.1e" xref="A4.Ex59.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.3.8" xref="A4.Ex59.m2.1.1.3.8.cmml"><mi id="A4.Ex59.m2.1.1.3.8.2" xref="A4.Ex59.m2.1.1.3.8.2.cmml">P</mi><mrow id="A4.Ex59.m2.1.1.3.8.3" xref="A4.Ex59.m2.1.1.3.8.3.cmml"><mo id="A4.Ex59.m2.1.1.3.8.3a" xref="A4.Ex59.m2.1.1.3.8.3.cmml">−</mo><mn id="A4.Ex59.m2.1.1.3.8.3.2" xref="A4.Ex59.m2.1.1.3.8.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.3.1f" xref="A4.Ex59.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.3.9" xref="A4.Ex59.m2.1.1.3.9.cmml">v</mi></mrow><mo id="A4.Ex59.m2.1.1.1a" xref="A4.Ex59.m2.1.1.1.cmml">−</mo><mrow id="A4.Ex59.m2.1.1.4" xref="A4.Ex59.m2.1.1.4.cmml"><mn id="A4.Ex59.m2.1.1.4.2" xref="A4.Ex59.m2.1.1.4.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.4.1" xref="A4.Ex59.m2.1.1.4.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.4.3" xref="A4.Ex59.m2.1.1.4.3.cmml"><mi id="A4.Ex59.m2.1.1.4.3.2" xref="A4.Ex59.m2.1.1.4.3.2.cmml">v</mi><mi id="A4.Ex59.m2.1.1.4.3.3" xref="A4.Ex59.m2.1.1.4.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.4.1a" xref="A4.Ex59.m2.1.1.4.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.4.4" xref="A4.Ex59.m2.1.1.4.4.cmml"><mi id="A4.Ex59.m2.1.1.4.4.2" xref="A4.Ex59.m2.1.1.4.4.2.cmml">P</mi><mrow id="A4.Ex59.m2.1.1.4.4.3" xref="A4.Ex59.m2.1.1.4.4.3.cmml"><mo id="A4.Ex59.m2.1.1.4.4.3a" xref="A4.Ex59.m2.1.1.4.4.3.cmml">−</mo><mn id="A4.Ex59.m2.1.1.4.4.3.2" xref="A4.Ex59.m2.1.1.4.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.4.1b" xref="A4.Ex59.m2.1.1.4.1.cmml">​</mo><msubsup id="A4.Ex59.m2.1.1.4.5" xref="A4.Ex59.m2.1.1.4.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex59.m2.1.1.4.5.2.2" xref="A4.Ex59.m2.1.1.4.5.2.2.cmml">ℰ</mi><mn id="A4.Ex59.m2.1.1.4.5.2.3" xref="A4.Ex59.m2.1.1.4.5.2.3.cmml">2</mn><mi id="A4.Ex59.m2.1.1.4.5.3" xref="A4.Ex59.m2.1.1.4.5.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.4.1c" xref="A4.Ex59.m2.1.1.4.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.4.6" xref="A4.Ex59.m2.1.1.4.6.cmml"><mi id="A4.Ex59.m2.1.1.4.6.2" xref="A4.Ex59.m2.1.1.4.6.2.cmml">Q</mi><mi id="A4.Ex59.m2.1.1.4.6.3" xref="A4.Ex59.m2.1.1.4.6.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.4.1d" xref="A4.Ex59.m2.1.1.4.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.4.7" xref="A4.Ex59.m2.1.1.4.7.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.4.1e" xref="A4.Ex59.m2.1.1.4.1.cmml">​</mo><msup id="A4.Ex59.m2.1.1.4.8" xref="A4.Ex59.m2.1.1.4.8.cmml"><mi id="A4.Ex59.m2.1.1.4.8.2" xref="A4.Ex59.m2.1.1.4.8.2.cmml">P</mi><mrow id="A4.Ex59.m2.1.1.4.8.3" xref="A4.Ex59.m2.1.1.4.8.3.cmml"><mo id="A4.Ex59.m2.1.1.4.8.3a" xref="A4.Ex59.m2.1.1.4.8.3.cmml">−</mo><mn id="A4.Ex59.m2.1.1.4.8.3.2" xref="A4.Ex59.m2.1.1.4.8.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex59.m2.1.1.4.1f" xref="A4.Ex59.m2.1.1.4.1.cmml">​</mo><mi id="A4.Ex59.m2.1.1.4.9" xref="A4.Ex59.m2.1.1.4.9.cmml">v</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex59.m2.1b"><apply id="A4.Ex59.m2.1.1.cmml" xref="A4.Ex59.m2.1.1"><minus id="A4.Ex59.m2.1.1.1.cmml" xref="A4.Ex59.m2.1.1.1"></minus><apply id="A4.Ex59.m2.1.1.2.cmml" xref="A4.Ex59.m2.1.1.2"><plus id="A4.Ex59.m2.1.1.2.1.cmml" xref="A4.Ex59.m2.1.1.2.1"></plus><apply id="A4.Ex59.m2.1.1.2.2.cmml" xref="A4.Ex59.m2.1.1.2.2"><times id="A4.Ex59.m2.1.1.2.2.1.cmml" xref="A4.Ex59.m2.1.1.2.2.1"></times><cn type="integer" id="A4.Ex59.m2.1.1.2.2.2.cmml" xref="A4.Ex59.m2.1.1.2.2.2">2</cn><apply id="A4.Ex59.m2.1.1.2.2.3.cmml" xref="A4.Ex59.m2.1.1.2.2.3"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.2.3.1.cmml" xref="A4.Ex59.m2.1.1.2.2.3">superscript</csymbol><ci id="A4.Ex59.m2.1.1.2.2.3.2.cmml" xref="A4.Ex59.m2.1.1.2.2.3.2">ℎ</ci><ci id="A4.Ex59.m2.1.1.2.2.3.3.cmml" xref="A4.Ex59.m2.1.1.2.2.3.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.2.2.4.cmml" xref="A4.Ex59.m2.1.1.2.2.4"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.2.4.1.cmml" xref="A4.Ex59.m2.1.1.2.2.4">superscript</csymbol><ci id="A4.Ex59.m2.1.1.2.2.4.2.cmml" xref="A4.Ex59.m2.1.1.2.2.4.2">𝑄</ci><ci id="A4.Ex59.m2.1.1.2.2.4.3.cmml" xref="A4.Ex59.m2.1.1.2.2.4.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.2.2.5.cmml" xref="A4.Ex59.m2.1.1.2.2.5"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.2.5.1.cmml" xref="A4.Ex59.m2.1.1.2.2.5">superscript</csymbol><apply id="A4.Ex59.m2.1.1.2.2.5.2.cmml" xref="A4.Ex59.m2.1.1.2.2.5"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.2.5.2.1.cmml" xref="A4.Ex59.m2.1.1.2.2.5">subscript</csymbol><ci id="A4.Ex59.m2.1.1.2.2.5.2.2.cmml" xref="A4.Ex59.m2.1.1.2.2.5.2.2">ℰ</ci><cn type="integer" id="A4.Ex59.m2.1.1.2.2.5.2.3.cmml" xref="A4.Ex59.m2.1.1.2.2.5.2.3">1</cn></apply><ci id="A4.Ex59.m2.1.1.2.2.5.3.cmml" xref="A4.Ex59.m2.1.1.2.2.5.3">𝑇</ci></apply><ci id="A4.Ex59.m2.1.1.2.2.6.cmml" xref="A4.Ex59.m2.1.1.2.2.6">𝑄</ci><ci id="A4.Ex59.m2.1.1.2.2.7.cmml" xref="A4.Ex59.m2.1.1.2.2.7">ℎ</ci></apply><apply id="A4.Ex59.m2.1.1.2.3.cmml" xref="A4.Ex59.m2.1.1.2.3"><times id="A4.Ex59.m2.1.1.2.3.1.cmml" xref="A4.Ex59.m2.1.1.2.3.1"></times><cn type="integer" id="A4.Ex59.m2.1.1.2.3.2.cmml" xref="A4.Ex59.m2.1.1.2.3.2">2</cn><apply id="A4.Ex59.m2.1.1.2.3.3.cmml" xref="A4.Ex59.m2.1.1.2.3.3"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.3.3.1.cmml" xref="A4.Ex59.m2.1.1.2.3.3">superscript</csymbol><ci id="A4.Ex59.m2.1.1.2.3.3.2.cmml" xref="A4.Ex59.m2.1.1.2.3.3.2">ℎ</ci><ci id="A4.Ex59.m2.1.1.2.3.3.3.cmml" xref="A4.Ex59.m2.1.1.2.3.3.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.2.3.4.cmml" xref="A4.Ex59.m2.1.1.2.3.4"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.3.4.1.cmml" xref="A4.Ex59.m2.1.1.2.3.4">superscript</csymbol><apply id="A4.Ex59.m2.1.1.2.3.4.2.cmml" xref="A4.Ex59.m2.1.1.2.3.4"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.3.4.2.1.cmml" xref="A4.Ex59.m2.1.1.2.3.4">subscript</csymbol><ci id="A4.Ex59.m2.1.1.2.3.4.2.2.cmml" xref="A4.Ex59.m2.1.1.2.3.4.2.2">ℰ</ci><cn type="integer" id="A4.Ex59.m2.1.1.2.3.4.2.3.cmml" xref="A4.Ex59.m2.1.1.2.3.4.2.3">2</cn></apply><ci id="A4.Ex59.m2.1.1.2.3.4.3.cmml" xref="A4.Ex59.m2.1.1.2.3.4.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.2.3.5.cmml" xref="A4.Ex59.m2.1.1.2.3.5"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.2.3.5.1.cmml" xref="A4.Ex59.m2.1.1.2.3.5">superscript</csymbol><ci id="A4.Ex59.m2.1.1.2.3.5.2.cmml" xref="A4.Ex59.m2.1.1.2.3.5.2">𝑄</ci><ci id="A4.Ex59.m2.1.1.2.3.5.3.cmml" xref="A4.Ex59.m2.1.1.2.3.5.3">𝑇</ci></apply><ci id="A4.Ex59.m2.1.1.2.3.6.cmml" xref="A4.Ex59.m2.1.1.2.3.6">𝑄</ci><ci id="A4.Ex59.m2.1.1.2.3.7.cmml" xref="A4.Ex59.m2.1.1.2.3.7">ℎ</ci></apply></apply><apply id="A4.Ex59.m2.1.1.3.cmml" xref="A4.Ex59.m2.1.1.3"><times id="A4.Ex59.m2.1.1.3.1.cmml" xref="A4.Ex59.m2.1.1.3.1"></times><cn type="integer" id="A4.Ex59.m2.1.1.3.2.cmml" xref="A4.Ex59.m2.1.1.3.2">2</cn><apply id="A4.Ex59.m2.1.1.3.3.cmml" xref="A4.Ex59.m2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.3.3.1.cmml" xref="A4.Ex59.m2.1.1.3.3">superscript</csymbol><ci id="A4.Ex59.m2.1.1.3.3.2.cmml" xref="A4.Ex59.m2.1.1.3.3.2">𝑣</ci><ci id="A4.Ex59.m2.1.1.3.3.3.cmml" xref="A4.Ex59.m2.1.1.3.3.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.3.4.cmml" xref="A4.Ex59.m2.1.1.3.4"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.3.4.1.cmml" xref="A4.Ex59.m2.1.1.3.4">superscript</csymbol><ci id="A4.Ex59.m2.1.1.3.4.2.cmml" xref="A4.Ex59.m2.1.1.3.4.2">𝑃</ci><apply id="A4.Ex59.m2.1.1.3.4.3.cmml" xref="A4.Ex59.m2.1.1.3.4.3"><minus id="A4.Ex59.m2.1.1.3.4.3.1.cmml" xref="A4.Ex59.m2.1.1.3.4.3"></minus><cn type="integer" id="A4.Ex59.m2.1.1.3.4.3.2.cmml" xref="A4.Ex59.m2.1.1.3.4.3.2">1</cn></apply></apply><apply id="A4.Ex59.m2.1.1.3.5.cmml" xref="A4.Ex59.m2.1.1.3.5"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.3.5.1.cmml" xref="A4.Ex59.m2.1.1.3.5">superscript</csymbol><ci id="A4.Ex59.m2.1.1.3.5.2.cmml" xref="A4.Ex59.m2.1.1.3.5.2">𝑄</ci><ci id="A4.Ex59.m2.1.1.3.5.3.cmml" xref="A4.Ex59.m2.1.1.3.5.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.3.6.cmml" xref="A4.Ex59.m2.1.1.3.6"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.3.6.1.cmml" xref="A4.Ex59.m2.1.1.3.6">superscript</csymbol><apply id="A4.Ex59.m2.1.1.3.6.2.cmml" xref="A4.Ex59.m2.1.1.3.6"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.3.6.2.1.cmml" xref="A4.Ex59.m2.1.1.3.6">subscript</csymbol><ci id="A4.Ex59.m2.1.1.3.6.2.2.cmml" xref="A4.Ex59.m2.1.1.3.6.2.2">ℰ</ci><cn type="integer" id="A4.Ex59.m2.1.1.3.6.2.3.cmml" xref="A4.Ex59.m2.1.1.3.6.2.3">1</cn></apply><ci id="A4.Ex59.m2.1.1.3.6.3.cmml" xref="A4.Ex59.m2.1.1.3.6.3">𝑇</ci></apply><ci id="A4.Ex59.m2.1.1.3.7.cmml" xref="A4.Ex59.m2.1.1.3.7">𝑄</ci><apply id="A4.Ex59.m2.1.1.3.8.cmml" xref="A4.Ex59.m2.1.1.3.8"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.3.8.1.cmml" xref="A4.Ex59.m2.1.1.3.8">superscript</csymbol><ci id="A4.Ex59.m2.1.1.3.8.2.cmml" xref="A4.Ex59.m2.1.1.3.8.2">𝑃</ci><apply id="A4.Ex59.m2.1.1.3.8.3.cmml" xref="A4.Ex59.m2.1.1.3.8.3"><minus id="A4.Ex59.m2.1.1.3.8.3.1.cmml" xref="A4.Ex59.m2.1.1.3.8.3"></minus><cn type="integer" id="A4.Ex59.m2.1.1.3.8.3.2.cmml" xref="A4.Ex59.m2.1.1.3.8.3.2">1</cn></apply></apply><ci id="A4.Ex59.m2.1.1.3.9.cmml" xref="A4.Ex59.m2.1.1.3.9">𝑣</ci></apply><apply id="A4.Ex59.m2.1.1.4.cmml" xref="A4.Ex59.m2.1.1.4"><times id="A4.Ex59.m2.1.1.4.1.cmml" xref="A4.Ex59.m2.1.1.4.1"></times><cn type="integer" id="A4.Ex59.m2.1.1.4.2.cmml" xref="A4.Ex59.m2.1.1.4.2">2</cn><apply id="A4.Ex59.m2.1.1.4.3.cmml" xref="A4.Ex59.m2.1.1.4.3"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.4.3.1.cmml" xref="A4.Ex59.m2.1.1.4.3">superscript</csymbol><ci id="A4.Ex59.m2.1.1.4.3.2.cmml" xref="A4.Ex59.m2.1.1.4.3.2">𝑣</ci><ci id="A4.Ex59.m2.1.1.4.3.3.cmml" xref="A4.Ex59.m2.1.1.4.3.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.4.4.cmml" xref="A4.Ex59.m2.1.1.4.4"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.4.4.1.cmml" xref="A4.Ex59.m2.1.1.4.4">superscript</csymbol><ci id="A4.Ex59.m2.1.1.4.4.2.cmml" xref="A4.Ex59.m2.1.1.4.4.2">𝑃</ci><apply id="A4.Ex59.m2.1.1.4.4.3.cmml" xref="A4.Ex59.m2.1.1.4.4.3"><minus id="A4.Ex59.m2.1.1.4.4.3.1.cmml" xref="A4.Ex59.m2.1.1.4.4.3"></minus><cn type="integer" id="A4.Ex59.m2.1.1.4.4.3.2.cmml" xref="A4.Ex59.m2.1.1.4.4.3.2">1</cn></apply></apply><apply id="A4.Ex59.m2.1.1.4.5.cmml" xref="A4.Ex59.m2.1.1.4.5"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.4.5.1.cmml" xref="A4.Ex59.m2.1.1.4.5">superscript</csymbol><apply id="A4.Ex59.m2.1.1.4.5.2.cmml" xref="A4.Ex59.m2.1.1.4.5"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.4.5.2.1.cmml" xref="A4.Ex59.m2.1.1.4.5">subscript</csymbol><ci id="A4.Ex59.m2.1.1.4.5.2.2.cmml" xref="A4.Ex59.m2.1.1.4.5.2.2">ℰ</ci><cn type="integer" id="A4.Ex59.m2.1.1.4.5.2.3.cmml" xref="A4.Ex59.m2.1.1.4.5.2.3">2</cn></apply><ci id="A4.Ex59.m2.1.1.4.5.3.cmml" xref="A4.Ex59.m2.1.1.4.5.3">𝑇</ci></apply><apply id="A4.Ex59.m2.1.1.4.6.cmml" xref="A4.Ex59.m2.1.1.4.6"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.4.6.1.cmml" xref="A4.Ex59.m2.1.1.4.6">superscript</csymbol><ci id="A4.Ex59.m2.1.1.4.6.2.cmml" xref="A4.Ex59.m2.1.1.4.6.2">𝑄</ci><ci id="A4.Ex59.m2.1.1.4.6.3.cmml" xref="A4.Ex59.m2.1.1.4.6.3">𝑇</ci></apply><ci id="A4.Ex59.m2.1.1.4.7.cmml" xref="A4.Ex59.m2.1.1.4.7">𝑄</ci><apply id="A4.Ex59.m2.1.1.4.8.cmml" xref="A4.Ex59.m2.1.1.4.8"><csymbol cd="ambiguous" id="A4.Ex59.m2.1.1.4.8.1.cmml" xref="A4.Ex59.m2.1.1.4.8">superscript</csymbol><ci id="A4.Ex59.m2.1.1.4.8.2.cmml" xref="A4.Ex59.m2.1.1.4.8.2">𝑃</ci><apply id="A4.Ex59.m2.1.1.4.8.3.cmml" xref="A4.Ex59.m2.1.1.4.8.3"><minus id="A4.Ex59.m2.1.1.4.8.3.1.cmml" xref="A4.Ex59.m2.1.1.4.8.3"></minus><cn type="integer" id="A4.Ex59.m2.1.1.4.8.3.2.cmml" xref="A4.Ex59.m2.1.1.4.8.3.2">1</cn></apply></apply><ci id="A4.Ex59.m2.1.1.4.9.cmml" xref="A4.Ex59.m2.1.1.4.9">𝑣</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex59.m2.1c">\displaystyle 2h^{T}Q^{T}\mathcal{E}_{1}^{T}Qh+2h^{T}\mathcal{E}_{2}^{T}Q^{T}Qh-2v^{T}P^{-1}Q^{T}\mathcal{E}_{1}^{T}QP^{-1}v-2v^{T}P^{-1}\mathcal{E}_{2}^{T}Q^{T}QP^{-1}v</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.Ex60"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.Ex60.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.Ex60.m1.1a"><mo id="A4.Ex60.m1.1.1" xref="A4.Ex60.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.Ex60.m1.1b"><eq id="A4.Ex60.m1.1.1.cmml" xref="A4.Ex60.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex60.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.Ex60.m2.1" class="ltx_Math" alttext="\displaystyle 2h^{T}Q^{T}\mathcal{E}_{1}^{T}Qh+2h^{T}\mathcal{E}_{2}^{T}Ph-2v^{T}Q^{-1}\mathcal{E}_{1}^{T}Q^{-T}v-2v^{T}P^{-1}\mathcal{E}_{2}^{T}v" display="inline"><semantics id="A4.Ex60.m2.1a"><mrow id="A4.Ex60.m2.1.1" xref="A4.Ex60.m2.1.1.cmml"><mrow id="A4.Ex60.m2.1.1.2" xref="A4.Ex60.m2.1.1.2.cmml"><mrow id="A4.Ex60.m2.1.1.2.2" xref="A4.Ex60.m2.1.1.2.2.cmml"><mn id="A4.Ex60.m2.1.1.2.2.2" xref="A4.Ex60.m2.1.1.2.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.2.1" xref="A4.Ex60.m2.1.1.2.2.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.2.2.3" xref="A4.Ex60.m2.1.1.2.2.3.cmml"><mi id="A4.Ex60.m2.1.1.2.2.3.2" xref="A4.Ex60.m2.1.1.2.2.3.2.cmml">h</mi><mi id="A4.Ex60.m2.1.1.2.2.3.3" xref="A4.Ex60.m2.1.1.2.2.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.2.1a" xref="A4.Ex60.m2.1.1.2.2.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.2.2.4" xref="A4.Ex60.m2.1.1.2.2.4.cmml"><mi id="A4.Ex60.m2.1.1.2.2.4.2" xref="A4.Ex60.m2.1.1.2.2.4.2.cmml">Q</mi><mi id="A4.Ex60.m2.1.1.2.2.4.3" xref="A4.Ex60.m2.1.1.2.2.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.2.1b" xref="A4.Ex60.m2.1.1.2.2.1.cmml">​</mo><msubsup id="A4.Ex60.m2.1.1.2.2.5" xref="A4.Ex60.m2.1.1.2.2.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex60.m2.1.1.2.2.5.2.2" xref="A4.Ex60.m2.1.1.2.2.5.2.2.cmml">ℰ</mi><mn id="A4.Ex60.m2.1.1.2.2.5.2.3" xref="A4.Ex60.m2.1.1.2.2.5.2.3.cmml">1</mn><mi id="A4.Ex60.m2.1.1.2.2.5.3" xref="A4.Ex60.m2.1.1.2.2.5.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.2.1c" xref="A4.Ex60.m2.1.1.2.2.1.cmml">​</mo><mi id="A4.Ex60.m2.1.1.2.2.6" xref="A4.Ex60.m2.1.1.2.2.6.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.2.1d" xref="A4.Ex60.m2.1.1.2.2.1.cmml">​</mo><mi id="A4.Ex60.m2.1.1.2.2.7" xref="A4.Ex60.m2.1.1.2.2.7.cmml">h</mi></mrow><mo id="A4.Ex60.m2.1.1.2.1" xref="A4.Ex60.m2.1.1.2.1.cmml">+</mo><mrow id="A4.Ex60.m2.1.1.2.3" xref="A4.Ex60.m2.1.1.2.3.cmml"><mn id="A4.Ex60.m2.1.1.2.3.2" xref="A4.Ex60.m2.1.1.2.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.3.1" xref="A4.Ex60.m2.1.1.2.3.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.2.3.3" xref="A4.Ex60.m2.1.1.2.3.3.cmml"><mi id="A4.Ex60.m2.1.1.2.3.3.2" xref="A4.Ex60.m2.1.1.2.3.3.2.cmml">h</mi><mi id="A4.Ex60.m2.1.1.2.3.3.3" xref="A4.Ex60.m2.1.1.2.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.3.1a" xref="A4.Ex60.m2.1.1.2.3.1.cmml">​</mo><msubsup id="A4.Ex60.m2.1.1.2.3.4" xref="A4.Ex60.m2.1.1.2.3.4.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex60.m2.1.1.2.3.4.2.2" xref="A4.Ex60.m2.1.1.2.3.4.2.2.cmml">ℰ</mi><mn id="A4.Ex60.m2.1.1.2.3.4.2.3" xref="A4.Ex60.m2.1.1.2.3.4.2.3.cmml">2</mn><mi id="A4.Ex60.m2.1.1.2.3.4.3" xref="A4.Ex60.m2.1.1.2.3.4.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.3.1b" xref="A4.Ex60.m2.1.1.2.3.1.cmml">​</mo><mi id="A4.Ex60.m2.1.1.2.3.5" xref="A4.Ex60.m2.1.1.2.3.5.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.2.3.1c" xref="A4.Ex60.m2.1.1.2.3.1.cmml">​</mo><mi id="A4.Ex60.m2.1.1.2.3.6" xref="A4.Ex60.m2.1.1.2.3.6.cmml">h</mi></mrow></mrow><mo id="A4.Ex60.m2.1.1.1" xref="A4.Ex60.m2.1.1.1.cmml">−</mo><mrow id="A4.Ex60.m2.1.1.3" xref="A4.Ex60.m2.1.1.3.cmml"><mn id="A4.Ex60.m2.1.1.3.2" xref="A4.Ex60.m2.1.1.3.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.3.1" xref="A4.Ex60.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.3.3" xref="A4.Ex60.m2.1.1.3.3.cmml"><mi id="A4.Ex60.m2.1.1.3.3.2" xref="A4.Ex60.m2.1.1.3.3.2.cmml">v</mi><mi id="A4.Ex60.m2.1.1.3.3.3" xref="A4.Ex60.m2.1.1.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.3.1a" xref="A4.Ex60.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.3.4" xref="A4.Ex60.m2.1.1.3.4.cmml"><mi id="A4.Ex60.m2.1.1.3.4.2" xref="A4.Ex60.m2.1.1.3.4.2.cmml">Q</mi><mrow id="A4.Ex60.m2.1.1.3.4.3" xref="A4.Ex60.m2.1.1.3.4.3.cmml"><mo id="A4.Ex60.m2.1.1.3.4.3a" xref="A4.Ex60.m2.1.1.3.4.3.cmml">−</mo><mn id="A4.Ex60.m2.1.1.3.4.3.2" xref="A4.Ex60.m2.1.1.3.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.3.1b" xref="A4.Ex60.m2.1.1.3.1.cmml">​</mo><msubsup id="A4.Ex60.m2.1.1.3.5" xref="A4.Ex60.m2.1.1.3.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex60.m2.1.1.3.5.2.2" xref="A4.Ex60.m2.1.1.3.5.2.2.cmml">ℰ</mi><mn id="A4.Ex60.m2.1.1.3.5.2.3" xref="A4.Ex60.m2.1.1.3.5.2.3.cmml">1</mn><mi id="A4.Ex60.m2.1.1.3.5.3" xref="A4.Ex60.m2.1.1.3.5.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.3.1c" xref="A4.Ex60.m2.1.1.3.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.3.6" xref="A4.Ex60.m2.1.1.3.6.cmml"><mi id="A4.Ex60.m2.1.1.3.6.2" xref="A4.Ex60.m2.1.1.3.6.2.cmml">Q</mi><mrow id="A4.Ex60.m2.1.1.3.6.3" xref="A4.Ex60.m2.1.1.3.6.3.cmml"><mo id="A4.Ex60.m2.1.1.3.6.3a" xref="A4.Ex60.m2.1.1.3.6.3.cmml">−</mo><mi id="A4.Ex60.m2.1.1.3.6.3.2" xref="A4.Ex60.m2.1.1.3.6.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.3.1d" xref="A4.Ex60.m2.1.1.3.1.cmml">​</mo><mi id="A4.Ex60.m2.1.1.3.7" xref="A4.Ex60.m2.1.1.3.7.cmml">v</mi></mrow><mo id="A4.Ex60.m2.1.1.1a" xref="A4.Ex60.m2.1.1.1.cmml">−</mo><mrow id="A4.Ex60.m2.1.1.4" xref="A4.Ex60.m2.1.1.4.cmml"><mn id="A4.Ex60.m2.1.1.4.2" xref="A4.Ex60.m2.1.1.4.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.4.1" xref="A4.Ex60.m2.1.1.4.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.4.3" xref="A4.Ex60.m2.1.1.4.3.cmml"><mi id="A4.Ex60.m2.1.1.4.3.2" xref="A4.Ex60.m2.1.1.4.3.2.cmml">v</mi><mi id="A4.Ex60.m2.1.1.4.3.3" xref="A4.Ex60.m2.1.1.4.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.4.1a" xref="A4.Ex60.m2.1.1.4.1.cmml">​</mo><msup id="A4.Ex60.m2.1.1.4.4" xref="A4.Ex60.m2.1.1.4.4.cmml"><mi id="A4.Ex60.m2.1.1.4.4.2" xref="A4.Ex60.m2.1.1.4.4.2.cmml">P</mi><mrow id="A4.Ex60.m2.1.1.4.4.3" xref="A4.Ex60.m2.1.1.4.4.3.cmml"><mo id="A4.Ex60.m2.1.1.4.4.3a" xref="A4.Ex60.m2.1.1.4.4.3.cmml">−</mo><mn id="A4.Ex60.m2.1.1.4.4.3.2" xref="A4.Ex60.m2.1.1.4.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.4.1b" xref="A4.Ex60.m2.1.1.4.1.cmml">​</mo><msubsup id="A4.Ex60.m2.1.1.4.5" xref="A4.Ex60.m2.1.1.4.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex60.m2.1.1.4.5.2.2" xref="A4.Ex60.m2.1.1.4.5.2.2.cmml">ℰ</mi><mn id="A4.Ex60.m2.1.1.4.5.2.3" xref="A4.Ex60.m2.1.1.4.5.2.3.cmml">2</mn><mi id="A4.Ex60.m2.1.1.4.5.3" xref="A4.Ex60.m2.1.1.4.5.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.Ex60.m2.1.1.4.1c" xref="A4.Ex60.m2.1.1.4.1.cmml">​</mo><mi id="A4.Ex60.m2.1.1.4.6" xref="A4.Ex60.m2.1.1.4.6.cmml">v</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex60.m2.1b"><apply id="A4.Ex60.m2.1.1.cmml" xref="A4.Ex60.m2.1.1"><minus id="A4.Ex60.m2.1.1.1.cmml" xref="A4.Ex60.m2.1.1.1"></minus><apply id="A4.Ex60.m2.1.1.2.cmml" xref="A4.Ex60.m2.1.1.2"><plus id="A4.Ex60.m2.1.1.2.1.cmml" xref="A4.Ex60.m2.1.1.2.1"></plus><apply id="A4.Ex60.m2.1.1.2.2.cmml" xref="A4.Ex60.m2.1.1.2.2"><times id="A4.Ex60.m2.1.1.2.2.1.cmml" xref="A4.Ex60.m2.1.1.2.2.1"></times><cn type="integer" id="A4.Ex60.m2.1.1.2.2.2.cmml" xref="A4.Ex60.m2.1.1.2.2.2">2</cn><apply id="A4.Ex60.m2.1.1.2.2.3.cmml" xref="A4.Ex60.m2.1.1.2.2.3"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.2.2.3.1.cmml" xref="A4.Ex60.m2.1.1.2.2.3">superscript</csymbol><ci id="A4.Ex60.m2.1.1.2.2.3.2.cmml" xref="A4.Ex60.m2.1.1.2.2.3.2">ℎ</ci><ci id="A4.Ex60.m2.1.1.2.2.3.3.cmml" xref="A4.Ex60.m2.1.1.2.2.3.3">𝑇</ci></apply><apply id="A4.Ex60.m2.1.1.2.2.4.cmml" xref="A4.Ex60.m2.1.1.2.2.4"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.2.2.4.1.cmml" xref="A4.Ex60.m2.1.1.2.2.4">superscript</csymbol><ci id="A4.Ex60.m2.1.1.2.2.4.2.cmml" xref="A4.Ex60.m2.1.1.2.2.4.2">𝑄</ci><ci id="A4.Ex60.m2.1.1.2.2.4.3.cmml" xref="A4.Ex60.m2.1.1.2.2.4.3">𝑇</ci></apply><apply id="A4.Ex60.m2.1.1.2.2.5.cmml" xref="A4.Ex60.m2.1.1.2.2.5"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.2.2.5.1.cmml" xref="A4.Ex60.m2.1.1.2.2.5">superscript</csymbol><apply id="A4.Ex60.m2.1.1.2.2.5.2.cmml" xref="A4.Ex60.m2.1.1.2.2.5"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.2.2.5.2.1.cmml" xref="A4.Ex60.m2.1.1.2.2.5">subscript</csymbol><ci id="A4.Ex60.m2.1.1.2.2.5.2.2.cmml" xref="A4.Ex60.m2.1.1.2.2.5.2.2">ℰ</ci><cn type="integer" id="A4.Ex60.m2.1.1.2.2.5.2.3.cmml" xref="A4.Ex60.m2.1.1.2.2.5.2.3">1</cn></apply><ci id="A4.Ex60.m2.1.1.2.2.5.3.cmml" xref="A4.Ex60.m2.1.1.2.2.5.3">𝑇</ci></apply><ci id="A4.Ex60.m2.1.1.2.2.6.cmml" xref="A4.Ex60.m2.1.1.2.2.6">𝑄</ci><ci id="A4.Ex60.m2.1.1.2.2.7.cmml" xref="A4.Ex60.m2.1.1.2.2.7">ℎ</ci></apply><apply id="A4.Ex60.m2.1.1.2.3.cmml" xref="A4.Ex60.m2.1.1.2.3"><times id="A4.Ex60.m2.1.1.2.3.1.cmml" xref="A4.Ex60.m2.1.1.2.3.1"></times><cn type="integer" id="A4.Ex60.m2.1.1.2.3.2.cmml" xref="A4.Ex60.m2.1.1.2.3.2">2</cn><apply id="A4.Ex60.m2.1.1.2.3.3.cmml" xref="A4.Ex60.m2.1.1.2.3.3"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.2.3.3.1.cmml" xref="A4.Ex60.m2.1.1.2.3.3">superscript</csymbol><ci id="A4.Ex60.m2.1.1.2.3.3.2.cmml" xref="A4.Ex60.m2.1.1.2.3.3.2">ℎ</ci><ci id="A4.Ex60.m2.1.1.2.3.3.3.cmml" xref="A4.Ex60.m2.1.1.2.3.3.3">𝑇</ci></apply><apply id="A4.Ex60.m2.1.1.2.3.4.cmml" xref="A4.Ex60.m2.1.1.2.3.4"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.2.3.4.1.cmml" xref="A4.Ex60.m2.1.1.2.3.4">superscript</csymbol><apply id="A4.Ex60.m2.1.1.2.3.4.2.cmml" xref="A4.Ex60.m2.1.1.2.3.4"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.2.3.4.2.1.cmml" xref="A4.Ex60.m2.1.1.2.3.4">subscript</csymbol><ci id="A4.Ex60.m2.1.1.2.3.4.2.2.cmml" xref="A4.Ex60.m2.1.1.2.3.4.2.2">ℰ</ci><cn type="integer" id="A4.Ex60.m2.1.1.2.3.4.2.3.cmml" xref="A4.Ex60.m2.1.1.2.3.4.2.3">2</cn></apply><ci id="A4.Ex60.m2.1.1.2.3.4.3.cmml" xref="A4.Ex60.m2.1.1.2.3.4.3">𝑇</ci></apply><ci id="A4.Ex60.m2.1.1.2.3.5.cmml" xref="A4.Ex60.m2.1.1.2.3.5">𝑃</ci><ci id="A4.Ex60.m2.1.1.2.3.6.cmml" xref="A4.Ex60.m2.1.1.2.3.6">ℎ</ci></apply></apply><apply id="A4.Ex60.m2.1.1.3.cmml" xref="A4.Ex60.m2.1.1.3"><times id="A4.Ex60.m2.1.1.3.1.cmml" xref="A4.Ex60.m2.1.1.3.1"></times><cn type="integer" id="A4.Ex60.m2.1.1.3.2.cmml" xref="A4.Ex60.m2.1.1.3.2">2</cn><apply id="A4.Ex60.m2.1.1.3.3.cmml" xref="A4.Ex60.m2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.3.3.1.cmml" xref="A4.Ex60.m2.1.1.3.3">superscript</csymbol><ci id="A4.Ex60.m2.1.1.3.3.2.cmml" xref="A4.Ex60.m2.1.1.3.3.2">𝑣</ci><ci id="A4.Ex60.m2.1.1.3.3.3.cmml" xref="A4.Ex60.m2.1.1.3.3.3">𝑇</ci></apply><apply id="A4.Ex60.m2.1.1.3.4.cmml" xref="A4.Ex60.m2.1.1.3.4"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.3.4.1.cmml" xref="A4.Ex60.m2.1.1.3.4">superscript</csymbol><ci id="A4.Ex60.m2.1.1.3.4.2.cmml" xref="A4.Ex60.m2.1.1.3.4.2">𝑄</ci><apply id="A4.Ex60.m2.1.1.3.4.3.cmml" xref="A4.Ex60.m2.1.1.3.4.3"><minus id="A4.Ex60.m2.1.1.3.4.3.1.cmml" xref="A4.Ex60.m2.1.1.3.4.3"></minus><cn type="integer" id="A4.Ex60.m2.1.1.3.4.3.2.cmml" xref="A4.Ex60.m2.1.1.3.4.3.2">1</cn></apply></apply><apply id="A4.Ex60.m2.1.1.3.5.cmml" xref="A4.Ex60.m2.1.1.3.5"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.3.5.1.cmml" xref="A4.Ex60.m2.1.1.3.5">superscript</csymbol><apply id="A4.Ex60.m2.1.1.3.5.2.cmml" xref="A4.Ex60.m2.1.1.3.5"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.3.5.2.1.cmml" xref="A4.Ex60.m2.1.1.3.5">subscript</csymbol><ci id="A4.Ex60.m2.1.1.3.5.2.2.cmml" xref="A4.Ex60.m2.1.1.3.5.2.2">ℰ</ci><cn type="integer" id="A4.Ex60.m2.1.1.3.5.2.3.cmml" xref="A4.Ex60.m2.1.1.3.5.2.3">1</cn></apply><ci id="A4.Ex60.m2.1.1.3.5.3.cmml" xref="A4.Ex60.m2.1.1.3.5.3">𝑇</ci></apply><apply id="A4.Ex60.m2.1.1.3.6.cmml" xref="A4.Ex60.m2.1.1.3.6"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.3.6.1.cmml" xref="A4.Ex60.m2.1.1.3.6">superscript</csymbol><ci id="A4.Ex60.m2.1.1.3.6.2.cmml" xref="A4.Ex60.m2.1.1.3.6.2">𝑄</ci><apply id="A4.Ex60.m2.1.1.3.6.3.cmml" xref="A4.Ex60.m2.1.1.3.6.3"><minus id="A4.Ex60.m2.1.1.3.6.3.1.cmml" xref="A4.Ex60.m2.1.1.3.6.3"></minus><ci id="A4.Ex60.m2.1.1.3.6.3.2.cmml" xref="A4.Ex60.m2.1.1.3.6.3.2">𝑇</ci></apply></apply><ci id="A4.Ex60.m2.1.1.3.7.cmml" xref="A4.Ex60.m2.1.1.3.7">𝑣</ci></apply><apply id="A4.Ex60.m2.1.1.4.cmml" xref="A4.Ex60.m2.1.1.4"><times id="A4.Ex60.m2.1.1.4.1.cmml" xref="A4.Ex60.m2.1.1.4.1"></times><cn type="integer" id="A4.Ex60.m2.1.1.4.2.cmml" xref="A4.Ex60.m2.1.1.4.2">2</cn><apply id="A4.Ex60.m2.1.1.4.3.cmml" xref="A4.Ex60.m2.1.1.4.3"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.4.3.1.cmml" xref="A4.Ex60.m2.1.1.4.3">superscript</csymbol><ci id="A4.Ex60.m2.1.1.4.3.2.cmml" xref="A4.Ex60.m2.1.1.4.3.2">𝑣</ci><ci id="A4.Ex60.m2.1.1.4.3.3.cmml" xref="A4.Ex60.m2.1.1.4.3.3">𝑇</ci></apply><apply id="A4.Ex60.m2.1.1.4.4.cmml" xref="A4.Ex60.m2.1.1.4.4"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.4.4.1.cmml" xref="A4.Ex60.m2.1.1.4.4">superscript</csymbol><ci id="A4.Ex60.m2.1.1.4.4.2.cmml" xref="A4.Ex60.m2.1.1.4.4.2">𝑃</ci><apply id="A4.Ex60.m2.1.1.4.4.3.cmml" xref="A4.Ex60.m2.1.1.4.4.3"><minus id="A4.Ex60.m2.1.1.4.4.3.1.cmml" xref="A4.Ex60.m2.1.1.4.4.3"></minus><cn type="integer" id="A4.Ex60.m2.1.1.4.4.3.2.cmml" xref="A4.Ex60.m2.1.1.4.4.3.2">1</cn></apply></apply><apply id="A4.Ex60.m2.1.1.4.5.cmml" xref="A4.Ex60.m2.1.1.4.5"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.4.5.1.cmml" xref="A4.Ex60.m2.1.1.4.5">superscript</csymbol><apply id="A4.Ex60.m2.1.1.4.5.2.cmml" xref="A4.Ex60.m2.1.1.4.5"><csymbol cd="ambiguous" id="A4.Ex60.m2.1.1.4.5.2.1.cmml" xref="A4.Ex60.m2.1.1.4.5">subscript</csymbol><ci id="A4.Ex60.m2.1.1.4.5.2.2.cmml" xref="A4.Ex60.m2.1.1.4.5.2.2">ℰ</ci><cn type="integer" id="A4.Ex60.m2.1.1.4.5.2.3.cmml" xref="A4.Ex60.m2.1.1.4.5.2.3">2</cn></apply><ci id="A4.Ex60.m2.1.1.4.5.3.cmml" xref="A4.Ex60.m2.1.1.4.5.3">𝑇</ci></apply><ci id="A4.Ex60.m2.1.1.4.6.cmml" xref="A4.Ex60.m2.1.1.4.6">𝑣</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex60.m2.1c">\displaystyle 2h^{T}Q^{T}\mathcal{E}_{1}^{T}Qh+2h^{T}\mathcal{E}_{2}^{T}Ph-2v^{T}Q^{-1}\mathcal{E}_{1}^{T}Q^{-T}v-2v^{T}P^{-1}\mathcal{E}_{2}^{T}v</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A4.E19"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A4.E19.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A4.E19.m1.1a"><mo id="A4.E19.m1.1.1" xref="A4.E19.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A4.E19.m1.1b"><eq id="A4.E19.m1.1.1.cmml" xref="A4.E19.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A4.E19.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A4.E19.m2.2" class="ltx_Math" alttext="\displaystyle 2{\rm tr}\left\{\mathcal{E}_{1}^{T}\left[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}\right]\right\}+2{\rm tr}\left\{\mathcal{E}_{2}^{T}\left[(Ph)h^{T}-v(P^{-1}v)^{T}\right]\right\}" display="inline"><semantics id="A4.E19.m2.2a"><mrow id="A4.E19.m2.2.2" xref="A4.E19.m2.2.2.cmml"><mrow id="A4.E19.m2.1.1.1" xref="A4.E19.m2.1.1.1.cmml"><mn id="A4.E19.m2.1.1.1.3" xref="A4.E19.m2.1.1.1.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.2" xref="A4.E19.m2.1.1.1.2.cmml">​</mo><mi mathvariant="normal" id="A4.E19.m2.1.1.1.4" xref="A4.E19.m2.1.1.1.4.cmml">t</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.2a" xref="A4.E19.m2.1.1.1.2.cmml">​</mo><mi mathvariant="normal" id="A4.E19.m2.1.1.1.5" xref="A4.E19.m2.1.1.1.5.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.2b" xref="A4.E19.m2.1.1.1.2.cmml">​</mo><mrow id="A4.E19.m2.1.1.1.1.1" xref="A4.E19.m2.1.1.1.1.2.cmml"><mo id="A4.E19.m2.1.1.1.1.1.2" xref="A4.E19.m2.1.1.1.1.2.cmml">{</mo><mrow id="A4.E19.m2.1.1.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.cmml"><msubsup id="A4.E19.m2.1.1.1.1.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.E19.m2.1.1.1.1.1.1.3.2.2" xref="A4.E19.m2.1.1.1.1.1.1.3.2.2.cmml">ℰ</mi><mn id="A4.E19.m2.1.1.1.1.1.1.3.2.3" xref="A4.E19.m2.1.1.1.1.1.1.3.2.3.cmml">1</mn><mi id="A4.E19.m2.1.1.1.1.1.1.3.3" xref="A4.E19.m2.1.1.1.1.1.1.3.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.2.cmml"><mo id="A4.E19.m2.1.1.1.1.1.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.cmml"><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.cmml"><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.3.cmml">​</mo><msup id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.cmml"><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml">(</mo><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.1.cmml">​</mo><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml">)</mo></mrow><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.3.cmml">T</mi></msup></mrow><mo id="A4.E19.m2.1.1.1.1.1.1.1.1.1.5" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.5.cmml">−</mo><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.cmml"><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.cmml"><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.cmml"><msup id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.cmml"><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.2.cmml">Q</mi><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.cmml"><mo id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3a" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.cmml">−</mo><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.1.cmml">​</mo><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.3.cmml">​</mo><msup id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.cmml"><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml"><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml">(</mo><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml"><msup id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.cmml"><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml"><mo id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3a" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml">−</mo><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.1" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.1.cmml">​</mo><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml">)</mo></mrow><mi id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.3" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.3.cmml">T</mi></msup></mrow></mrow><mo id="A4.E19.m2.1.1.1.1.1.1.1.1.3" xref="A4.E19.m2.1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A4.E19.m2.1.1.1.1.1.3" xref="A4.E19.m2.1.1.1.1.2.cmml">}</mo></mrow></mrow><mo id="A4.E19.m2.2.2.3" xref="A4.E19.m2.2.2.3.cmml">+</mo><mrow id="A4.E19.m2.2.2.2" xref="A4.E19.m2.2.2.2.cmml"><mn id="A4.E19.m2.2.2.2.3" xref="A4.E19.m2.2.2.2.3.cmml">2</mn><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.2" xref="A4.E19.m2.2.2.2.2.cmml">​</mo><mi mathvariant="normal" id="A4.E19.m2.2.2.2.4" xref="A4.E19.m2.2.2.2.4.cmml">t</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.2a" xref="A4.E19.m2.2.2.2.2.cmml">​</mo><mi mathvariant="normal" id="A4.E19.m2.2.2.2.5" xref="A4.E19.m2.2.2.2.5.cmml">r</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.2b" xref="A4.E19.m2.2.2.2.2.cmml">​</mo><mrow id="A4.E19.m2.2.2.2.1.1" xref="A4.E19.m2.2.2.2.1.2.cmml"><mo id="A4.E19.m2.2.2.2.1.1.2" xref="A4.E19.m2.2.2.2.1.2.cmml">{</mo><mrow id="A4.E19.m2.2.2.2.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.cmml"><msubsup id="A4.E19.m2.2.2.2.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.E19.m2.2.2.2.1.1.1.3.2.2" xref="A4.E19.m2.2.2.2.1.1.1.3.2.2.cmml">ℰ</mi><mn id="A4.E19.m2.2.2.2.1.1.1.3.2.3" xref="A4.E19.m2.2.2.2.1.1.1.3.2.3.cmml">2</mn><mi id="A4.E19.m2.2.2.2.1.1.1.3.3" xref="A4.E19.m2.2.2.2.1.1.1.3.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.2.cmml">​</mo><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.2.cmml"><mo id="A4.E19.m2.2.2.2.1.1.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.1.2.1.cmml">[</mo><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.cmml"><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.cmml"><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.2.cmml">​</mo><msup id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.cmml"><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.2.cmml">h</mi><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo id="A4.E19.m2.2.2.2.1.1.1.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.3.cmml">−</mo><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.cmml"><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.3.cmml">v</mi><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.2.cmml">​</mo><msup id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.cmml"><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.cmml"><mo stretchy="false" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.cmml">(</mo><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.cmml"><msup id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.cmml"><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml">P</mi><mrow id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml"><mo id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3a" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml">−</mo><mn id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.2" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.1" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.1.cmml">​</mo><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.cmml">)</mo></mrow><mi id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.3.cmml">T</mi></msup></mrow></mrow><mo id="A4.E19.m2.2.2.2.1.1.1.1.1.3" xref="A4.E19.m2.2.2.2.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A4.E19.m2.2.2.2.1.1.3" xref="A4.E19.m2.2.2.2.1.2.cmml">}</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.E19.m2.2b"><apply id="A4.E19.m2.2.2.cmml" xref="A4.E19.m2.2.2"><plus id="A4.E19.m2.2.2.3.cmml" xref="A4.E19.m2.2.2.3"></plus><apply id="A4.E19.m2.1.1.1.cmml" xref="A4.E19.m2.1.1.1"><times id="A4.E19.m2.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.2"></times><cn type="integer" id="A4.E19.m2.1.1.1.3.cmml" xref="A4.E19.m2.1.1.1.3">2</cn><ci id="A4.E19.m2.1.1.1.4.cmml" xref="A4.E19.m2.1.1.1.4">t</ci><ci id="A4.E19.m2.1.1.1.5.cmml" xref="A4.E19.m2.1.1.1.5">r</ci><set id="A4.E19.m2.1.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1"><apply id="A4.E19.m2.1.1.1.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1"><times id="A4.E19.m2.1.1.1.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.2"></times><apply id="A4.E19.m2.1.1.1.1.1.1.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.E19.m2.1.1.1.1.1.1.3.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.3">superscript</csymbol><apply id="A4.E19.m2.1.1.1.1.1.1.3.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.E19.m2.1.1.1.1.1.1.3.2.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.3">subscript</csymbol><ci id="A4.E19.m2.1.1.1.1.1.1.3.2.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.3.2.2">ℰ</ci><cn type="integer" id="A4.E19.m2.1.1.1.1.1.1.3.2.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.3.2.3">1</cn></apply><ci id="A4.E19.m2.1.1.1.1.1.1.3.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.3.3">𝑇</ci></apply><apply id="A4.E19.m2.1.1.1.1.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A4.E19.m2.1.1.1.1.1.1.1.2.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1"><minus id="A4.E19.m2.1.1.1.1.1.1.1.1.1.5.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.5"></minus><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2"><times id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.3"></times><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1"><times id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2">superscript</csymbol><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1"><times id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.1"></times><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.2">𝑄</ci><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.1.1.1.3">ℎ</ci></apply><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.2.2.3">𝑇</ci></apply></apply><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4"><times id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.3"></times><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1"><times id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.1"></times><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2">superscript</csymbol><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.2">𝑄</ci><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3"><minus id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3"></minus><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.3.1.1.1.3">𝑣</ci></apply><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2">superscript</csymbol><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1"><times id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.1"></times><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2"><csymbol cd="ambiguous" id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2">superscript</csymbol><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2">𝑄</ci><apply id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3"><minus id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.1.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3"></minus><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.1.1.1.3">𝑣</ci></apply><ci id="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.3.cmml" xref="A4.E19.m2.1.1.1.1.1.1.1.1.1.4.2.3">𝑇</ci></apply></apply></apply></apply></apply></set></apply><apply id="A4.E19.m2.2.2.2.cmml" xref="A4.E19.m2.2.2.2"><times id="A4.E19.m2.2.2.2.2.cmml" xref="A4.E19.m2.2.2.2.2"></times><cn type="integer" id="A4.E19.m2.2.2.2.3.cmml" xref="A4.E19.m2.2.2.2.3">2</cn><ci id="A4.E19.m2.2.2.2.4.cmml" xref="A4.E19.m2.2.2.2.4">t</ci><ci id="A4.E19.m2.2.2.2.5.cmml" xref="A4.E19.m2.2.2.2.5">r</ci><set id="A4.E19.m2.2.2.2.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1"><apply id="A4.E19.m2.2.2.2.1.1.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1"><times id="A4.E19.m2.2.2.2.1.1.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.2"></times><apply id="A4.E19.m2.2.2.2.1.1.1.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A4.E19.m2.2.2.2.1.1.1.3.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.3">superscript</csymbol><apply id="A4.E19.m2.2.2.2.1.1.1.3.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.3"><csymbol cd="ambiguous" id="A4.E19.m2.2.2.2.1.1.1.3.2.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.3">subscript</csymbol><ci id="A4.E19.m2.2.2.2.1.1.1.3.2.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.3.2.2">ℰ</ci><cn type="integer" id="A4.E19.m2.2.2.2.1.1.1.3.2.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.3.2.3">2</cn></apply><ci id="A4.E19.m2.2.2.2.1.1.1.3.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.3.3">𝑇</ci></apply><apply id="A4.E19.m2.2.2.2.1.1.1.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1"><csymbol cd="latexml" id="A4.E19.m2.2.2.2.1.1.1.1.2.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1"><minus id="A4.E19.m2.2.2.2.1.1.1.1.1.1.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.3"></minus><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1"><times id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.2"></times><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1"><times id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.2">ℎ</ci><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2"><times id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.2"></times><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.3">𝑣</ci><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1">superscript</csymbol><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1"><times id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.1"></times><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2"><csymbol cd="ambiguous" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2">superscript</csymbol><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.2">𝑃</ci><apply id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3"><minus id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.1.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3"></minus><cn type="integer" id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.2.3.2">1</cn></apply></apply><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.1.1.1.3">𝑣</ci></apply><ci id="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.3.cmml" xref="A4.E19.m2.2.2.2.1.1.1.1.1.1.2.1.3">𝑇</ci></apply></apply></apply></apply></apply></set></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.E19.m2.2c">\displaystyle 2{\rm tr}\left\{\mathcal{E}_{1}^{T}\left[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}\right]\right\}+2{\rm tr}\left\{\mathcal{E}_{2}^{T}\left[(Ph)h^{T}-v(P^{-1}v)^{T}\right]\right\}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(19)</span></td>
</tr></tbody>
</table>
</div>
<div id="A4.SS1.SSS2.p3" class="ltx_para">
<span id="A4.SS1.SSS2.p3.2" class="ltx_ERROR undefined">\subsubsubsection</span>
<p id="A4.SS1.SSS2.p3.1" class="ltx_p">Gradient with respect to <math id="A4.SS1.SSS2.p3.1.m1.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A4.SS1.SSS2.p3.1.m1.1a"><mi id="A4.SS1.SSS2.p3.1.m1.1.1" xref="A4.SS1.SSS2.p3.1.m1.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p3.1.m1.1b"><ci id="A4.SS1.SSS2.p3.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p3.1.m1.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p3.1.m1.1c">B</annotation></semantics></math></p>
</div>
<div id="A4.SS1.SSS2.p4" class="ltx_para">
<p id="A4.SS1.SSS2.p4.6" class="ltx_p">For diagonal matrix, we simply have</p>
<table id="A4.Ex61" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex61.m1.1" class="ltx_Math" alttext="0.5\nabla_{B}={\rm diag}[(Ph)h^{T}-v(P^{-1}v)^{T}]" display="block"><semantics id="A4.Ex61.m1.1a"><mrow id="A4.Ex61.m1.1.1" xref="A4.Ex61.m1.1.1.cmml"><mrow id="A4.Ex61.m1.1.1.3" xref="A4.Ex61.m1.1.1.3.cmml"><mn id="A4.Ex61.m1.1.1.3.2" xref="A4.Ex61.m1.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="A4.Ex61.m1.1.1.3.1" xref="A4.Ex61.m1.1.1.3.1.cmml">​</mo><msub id="A4.Ex61.m1.1.1.3.3" xref="A4.Ex61.m1.1.1.3.3.cmml"><mo id="A4.Ex61.m1.1.1.3.3.2" xref="A4.Ex61.m1.1.1.3.3.2.cmml">∇</mo><mi id="A4.Ex61.m1.1.1.3.3.3" xref="A4.Ex61.m1.1.1.3.3.3.cmml">B</mi></msub></mrow><mo id="A4.Ex61.m1.1.1.2" xref="A4.Ex61.m1.1.1.2.cmml">=</mo><mrow id="A4.Ex61.m1.1.1.1" xref="A4.Ex61.m1.1.1.1.cmml"><mi id="A4.Ex61.m1.1.1.1.3" xref="A4.Ex61.m1.1.1.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A4.Ex61.m1.1.1.1.2" xref="A4.Ex61.m1.1.1.1.2.cmml">​</mo><mrow id="A4.Ex61.m1.1.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.Ex61.m1.1.1.1.1.1.2" xref="A4.Ex61.m1.1.1.1.1.2.1.cmml">[</mo><mrow id="A4.Ex61.m1.1.1.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.cmml"><mrow id="A4.Ex61.m1.1.1.1.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.1.cmml"><mrow id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.2" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.3" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex61.m1.1.1.1.1.1.1.1.2" xref="A4.Ex61.m1.1.1.1.1.1.1.1.2.cmml">​</mo><msup id="A4.Ex61.m1.1.1.1.1.1.1.1.3" xref="A4.Ex61.m1.1.1.1.1.1.1.1.3.cmml"><mi id="A4.Ex61.m1.1.1.1.1.1.1.1.3.2" xref="A4.Ex61.m1.1.1.1.1.1.1.1.3.2.cmml">h</mi><mi id="A4.Ex61.m1.1.1.1.1.1.1.1.3.3" xref="A4.Ex61.m1.1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo id="A4.Ex61.m1.1.1.1.1.1.1.3" xref="A4.Ex61.m1.1.1.1.1.1.1.3.cmml">−</mo><mrow id="A4.Ex61.m1.1.1.1.1.1.1.2" xref="A4.Ex61.m1.1.1.1.1.1.1.2.cmml"><mi id="A4.Ex61.m1.1.1.1.1.1.1.2.3" xref="A4.Ex61.m1.1.1.1.1.1.1.2.3.cmml">v</mi><mo lspace="0em" rspace="0em" id="A4.Ex61.m1.1.1.1.1.1.1.2.2" xref="A4.Ex61.m1.1.1.1.1.1.1.2.2.cmml">​</mo><msup id="A4.Ex61.m1.1.1.1.1.1.1.2.1" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.cmml"><mrow id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.2" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">(</mo><mrow id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.cmml"><msup id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.cmml"><mi id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.2" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml">P</mi><mrow id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml"><mo id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3a" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml">−</mo><mn id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.1" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.1.cmml">​</mo><mi id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.3" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.3" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">)</mo></mrow><mi id="A4.Ex61.m1.1.1.1.1.1.1.2.1.3" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex61.m1.1.1.1.1.1.3" xref="A4.Ex61.m1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex61.m1.1b"><apply id="A4.Ex61.m1.1.1.cmml" xref="A4.Ex61.m1.1.1"><eq id="A4.Ex61.m1.1.1.2.cmml" xref="A4.Ex61.m1.1.1.2"></eq><apply id="A4.Ex61.m1.1.1.3.cmml" xref="A4.Ex61.m1.1.1.3"><times id="A4.Ex61.m1.1.1.3.1.cmml" xref="A4.Ex61.m1.1.1.3.1"></times><cn type="float" id="A4.Ex61.m1.1.1.3.2.cmml" xref="A4.Ex61.m1.1.1.3.2">0.5</cn><apply id="A4.Ex61.m1.1.1.3.3.cmml" xref="A4.Ex61.m1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex61.m1.1.1.3.3.1.cmml" xref="A4.Ex61.m1.1.1.3.3">subscript</csymbol><ci id="A4.Ex61.m1.1.1.3.3.2.cmml" xref="A4.Ex61.m1.1.1.3.3.2">∇</ci><ci id="A4.Ex61.m1.1.1.3.3.3.cmml" xref="A4.Ex61.m1.1.1.3.3.3">𝐵</ci></apply></apply><apply id="A4.Ex61.m1.1.1.1.cmml" xref="A4.Ex61.m1.1.1.1"><times id="A4.Ex61.m1.1.1.1.2.cmml" xref="A4.Ex61.m1.1.1.1.2"></times><ci id="A4.Ex61.m1.1.1.1.3.cmml" xref="A4.Ex61.m1.1.1.1.3">diag</ci><apply id="A4.Ex61.m1.1.1.1.1.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1"><csymbol cd="latexml" id="A4.Ex61.m1.1.1.1.1.2.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.Ex61.m1.1.1.1.1.1.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1"><minus id="A4.Ex61.m1.1.1.1.1.1.1.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.3"></minus><apply id="A4.Ex61.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1"><times id="A4.Ex61.m1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.2"></times><apply id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1"><times id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A4.Ex61.m1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.Ex61.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A4.Ex61.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.3.2">ℎ</ci><ci id="A4.Ex61.m1.1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply><apply id="A4.Ex61.m1.1.1.1.1.1.1.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2"><times id="A4.Ex61.m1.1.1.1.1.1.1.2.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.2"></times><ci id="A4.Ex61.m1.1.1.1.1.1.1.2.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.3">𝑣</ci><apply id="A4.Ex61.m1.1.1.1.1.1.1.2.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A4.Ex61.m1.1.1.1.1.1.1.2.1.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1">superscript</csymbol><apply id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1"><times id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.1"></times><apply id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2">superscript</csymbol><ci id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.2">𝑃</ci><apply id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3"><minus id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.1.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3"></minus><cn type="integer" id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2">1</cn></apply></apply><ci id="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.1.1.1.3">𝑣</ci></apply><ci id="A4.Ex61.m1.1.1.1.1.1.1.2.1.3.cmml" xref="A4.Ex61.m1.1.1.1.1.1.1.2.1.3">𝑇</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex61.m1.1c">0.5\nabla_{B}={\rm diag}[(Ph)h^{T}-v(P^{-1}v)^{T}]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p4.1" class="ltx_p">from (<a href="#A4.E19" title="Equation 19 ‣ D.1.2 The gradients for preconditioner updating ‣ D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a>), and thus update <math id="A4.SS1.SSS2.p4.1.m1.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A4.SS1.SSS2.p4.1.m1.1a"><mi id="A4.SS1.SSS2.p4.1.m1.1.1" xref="A4.SS1.SSS2.p4.1.m1.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p4.1.m1.1b"><ci id="A4.SS1.SSS2.p4.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p4.1.m1.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p4.1.m1.1c">B</annotation></semantics></math> as</p>
<table id="A4.Ex62" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex62.m1.1" class="ltx_Math" alttext="B\leftarrow B(I-\mu\nabla_{B})" display="block"><semantics id="A4.Ex62.m1.1a"><mrow id="A4.Ex62.m1.1.1" xref="A4.Ex62.m1.1.1.cmml"><mi id="A4.Ex62.m1.1.1.3" xref="A4.Ex62.m1.1.1.3.cmml">B</mi><mo stretchy="false" id="A4.Ex62.m1.1.1.2" xref="A4.Ex62.m1.1.1.2.cmml">←</mo><mrow id="A4.Ex62.m1.1.1.1" xref="A4.Ex62.m1.1.1.1.cmml"><mi id="A4.Ex62.m1.1.1.1.3" xref="A4.Ex62.m1.1.1.1.3.cmml">B</mi><mo lspace="0em" rspace="0em" id="A4.Ex62.m1.1.1.1.2" xref="A4.Ex62.m1.1.1.1.2.cmml">​</mo><mrow id="A4.Ex62.m1.1.1.1.1.1" xref="A4.Ex62.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex62.m1.1.1.1.1.1.2" xref="A4.Ex62.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex62.m1.1.1.1.1.1.1" xref="A4.Ex62.m1.1.1.1.1.1.1.cmml"><mi id="A4.Ex62.m1.1.1.1.1.1.1.2" xref="A4.Ex62.m1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A4.Ex62.m1.1.1.1.1.1.1.1" xref="A4.Ex62.m1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A4.Ex62.m1.1.1.1.1.1.1.3" xref="A4.Ex62.m1.1.1.1.1.1.1.3.cmml"><mi id="A4.Ex62.m1.1.1.1.1.1.1.3.2" xref="A4.Ex62.m1.1.1.1.1.1.1.3.2.cmml">μ</mi><mo lspace="0.167em" rspace="0em" id="A4.Ex62.m1.1.1.1.1.1.1.3.1" xref="A4.Ex62.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msub id="A4.Ex62.m1.1.1.1.1.1.1.3.3" xref="A4.Ex62.m1.1.1.1.1.1.1.3.3.cmml"><mo id="A4.Ex62.m1.1.1.1.1.1.1.3.3.2" xref="A4.Ex62.m1.1.1.1.1.1.1.3.3.2.cmml">∇</mo><mi id="A4.Ex62.m1.1.1.1.1.1.1.3.3.3" xref="A4.Ex62.m1.1.1.1.1.1.1.3.3.3.cmml">B</mi></msub></mrow></mrow><mo stretchy="false" id="A4.Ex62.m1.1.1.1.1.1.3" xref="A4.Ex62.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex62.m1.1b"><apply id="A4.Ex62.m1.1.1.cmml" xref="A4.Ex62.m1.1.1"><ci id="A4.Ex62.m1.1.1.2.cmml" xref="A4.Ex62.m1.1.1.2">←</ci><ci id="A4.Ex62.m1.1.1.3.cmml" xref="A4.Ex62.m1.1.1.3">𝐵</ci><apply id="A4.Ex62.m1.1.1.1.cmml" xref="A4.Ex62.m1.1.1.1"><times id="A4.Ex62.m1.1.1.1.2.cmml" xref="A4.Ex62.m1.1.1.1.2"></times><ci id="A4.Ex62.m1.1.1.1.3.cmml" xref="A4.Ex62.m1.1.1.1.3">𝐵</ci><apply id="A4.Ex62.m1.1.1.1.1.1.1.cmml" xref="A4.Ex62.m1.1.1.1.1.1"><minus id="A4.Ex62.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.1"></minus><ci id="A4.Ex62.m1.1.1.1.1.1.1.2.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.2">𝐼</ci><apply id="A4.Ex62.m1.1.1.1.1.1.1.3.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.3"><times id="A4.Ex62.m1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.3.1"></times><ci id="A4.Ex62.m1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.3.2">𝜇</ci><apply id="A4.Ex62.m1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex62.m1.1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A4.Ex62.m1.1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.3.3.2">∇</ci><ci id="A4.Ex62.m1.1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex62.m1.1.1.1.1.1.1.3.3.3">𝐵</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex62.m1.1c">B\leftarrow B(I-\mu\nabla_{B})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p4.5" class="ltx_p">where the step size <math id="A4.SS1.SSS2.p4.2.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A4.SS1.SSS2.p4.2.m1.1a"><mi id="A4.SS1.SSS2.p4.2.m1.1.1" xref="A4.SS1.SSS2.p4.2.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p4.2.m1.1b"><ci id="A4.SS1.SSS2.p4.2.m1.1.1.cmml" xref="A4.SS1.SSS2.p4.2.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p4.2.m1.1c">\mu</annotation></semantics></math> is small enough such that <math id="A4.SS1.SSS2.p4.3.m2.1" class="ltx_Math" alttext="\mu\|\nabla_{B}\|&lt;1" display="inline"><semantics id="A4.SS1.SSS2.p4.3.m2.1a"><mrow id="A4.SS1.SSS2.p4.3.m2.1.1" xref="A4.SS1.SSS2.p4.3.m2.1.1.cmml"><mrow id="A4.SS1.SSS2.p4.3.m2.1.1.1" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.cmml"><mi id="A4.SS1.SSS2.p4.3.m2.1.1.1.3" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p4.3.m2.1.1.1.2" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.2.cmml">​</mo><mrow id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.2" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.2.1.cmml">‖</mo><msub id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.cmml"><mo id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.2" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.2.cmml">∇</mo><mi id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.3" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.3.cmml">B</mi></msub><mo stretchy="false" id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.3" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.2.1.cmml">‖</mo></mrow></mrow><mo id="A4.SS1.SSS2.p4.3.m2.1.1.2" xref="A4.SS1.SSS2.p4.3.m2.1.1.2.cmml">&lt;</mo><mn id="A4.SS1.SSS2.p4.3.m2.1.1.3" xref="A4.SS1.SSS2.p4.3.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p4.3.m2.1b"><apply id="A4.SS1.SSS2.p4.3.m2.1.1.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1"><lt id="A4.SS1.SSS2.p4.3.m2.1.1.2.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.2"></lt><apply id="A4.SS1.SSS2.p4.3.m2.1.1.1.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1"><times id="A4.SS1.SSS2.p4.3.m2.1.1.1.2.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.2"></times><ci id="A4.SS1.SSS2.p4.3.m2.1.1.1.3.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.3">𝜇</ci><apply id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1"><csymbol cd="latexml" id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.2.1.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.2">norm</csymbol><apply id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1">subscript</csymbol><ci id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.2">∇</ci><ci id="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.3.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.1.1.1.1.3">𝐵</ci></apply></apply></apply><cn type="integer" id="A4.SS1.SSS2.p4.3.m2.1.1.3.cmml" xref="A4.SS1.SSS2.p4.3.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p4.3.m2.1c">\mu\|\nabla_{B}\|&lt;1</annotation></semantics></math>, and <math id="A4.SS1.SSS2.p4.4.m3.1" class="ltx_Math" alttext="\|\nabla_{B}\|" display="inline"><semantics id="A4.SS1.SSS2.p4.4.m3.1a"><mrow id="A4.SS1.SSS2.p4.4.m3.1.1.1" xref="A4.SS1.SSS2.p4.4.m3.1.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p4.4.m3.1.1.1.2" xref="A4.SS1.SSS2.p4.4.m3.1.1.2.1.cmml">‖</mo><msub id="A4.SS1.SSS2.p4.4.m3.1.1.1.1" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.1.cmml"><mo id="A4.SS1.SSS2.p4.4.m3.1.1.1.1.2" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.1.2.cmml">∇</mo><mi id="A4.SS1.SSS2.p4.4.m3.1.1.1.1.3" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.1.3.cmml">B</mi></msub><mo stretchy="false" id="A4.SS1.SSS2.p4.4.m3.1.1.1.3" xref="A4.SS1.SSS2.p4.4.m3.1.1.2.1.cmml">‖</mo></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p4.4.m3.1b"><apply id="A4.SS1.SSS2.p4.4.m3.1.1.2.cmml" xref="A4.SS1.SSS2.p4.4.m3.1.1.1"><csymbol cd="latexml" id="A4.SS1.SSS2.p4.4.m3.1.1.2.1.cmml" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.2">norm</csymbol><apply id="A4.SS1.SSS2.p4.4.m3.1.1.1.1.cmml" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.1"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p4.4.m3.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.1">subscript</csymbol><ci id="A4.SS1.SSS2.p4.4.m3.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.1.2">∇</ci><ci id="A4.SS1.SSS2.p4.4.m3.1.1.1.1.3.cmml" xref="A4.SS1.SSS2.p4.4.m3.1.1.1.1.3">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p4.4.m3.1c">\|\nabla_{B}\|</annotation></semantics></math> is just the max absolute diagonal element for a diagonal matrix. Here, <math id="A4.SS1.SSS2.p4.5.m4.1" class="ltx_math_unparsed" alttext="\|\cdot\|" display="inline"><semantics id="A4.SS1.SSS2.p4.5.m4.1a"><mrow id="A4.SS1.SSS2.p4.5.m4.1b"><mo rspace="0em" id="A4.SS1.SSS2.p4.5.m4.1.1">∥</mo><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p4.5.m4.1.2">⋅</mo><mo lspace="0em" id="A4.SS1.SSS2.p4.5.m4.1.3">∥</mo></mrow><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p4.5.m4.1c">\|\cdot\|</annotation></semantics></math> denotes spectral norm.</p>
</div>
<div id="A4.SS1.SSS2.p5" class="ltx_para">
<p id="A4.SS1.SSS2.p5.1" class="ltx_p">For a diagonal matrix, we also can update its diagonals with element-wise step sizes as the Lie group reduces to the direct sum of a series smaller ones with dimension one.
This could lead to faster convergence when the true Hessian is diagonal.
Otherwise, we do not observe any significant difference between these two step size selection strategies in our numerical results.</p>
</div>
<div id="A4.SS1.SSS2.p6" class="ltx_para">
<span id="A4.SS1.SSS2.p6.3" class="ltx_ERROR undefined">\subsubsubsection</span>
<p id="A4.SS1.SSS2.p6.2" class="ltx_p">Gradient with respect to <math id="A4.SS1.SSS2.p6.1.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A4.SS1.SSS2.p6.1.m1.1a"><mi id="A4.SS1.SSS2.p6.1.m1.1.1" xref="A4.SS1.SSS2.p6.1.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p6.1.m1.1b"><ci id="A4.SS1.SSS2.p6.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p6.1.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p6.1.m1.1c">U</annotation></semantics></math> on group <math id="A4.SS1.SSS2.p6.2.m2.1" class="ltx_Math" alttext="A_{V}(U)" display="inline"><semantics id="A4.SS1.SSS2.p6.2.m2.1a"><mrow id="A4.SS1.SSS2.p6.2.m2.1.2" xref="A4.SS1.SSS2.p6.2.m2.1.2.cmml"><msub id="A4.SS1.SSS2.p6.2.m2.1.2.2" xref="A4.SS1.SSS2.p6.2.m2.1.2.2.cmml"><mi id="A4.SS1.SSS2.p6.2.m2.1.2.2.2" xref="A4.SS1.SSS2.p6.2.m2.1.2.2.2.cmml">A</mi><mi id="A4.SS1.SSS2.p6.2.m2.1.2.2.3" xref="A4.SS1.SSS2.p6.2.m2.1.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p6.2.m2.1.2.1" xref="A4.SS1.SSS2.p6.2.m2.1.2.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p6.2.m2.1.2.3.2" xref="A4.SS1.SSS2.p6.2.m2.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p6.2.m2.1.2.3.2.1" xref="A4.SS1.SSS2.p6.2.m2.1.2.cmml">(</mo><mi id="A4.SS1.SSS2.p6.2.m2.1.1" xref="A4.SS1.SSS2.p6.2.m2.1.1.cmml">U</mi><mo stretchy="false" id="A4.SS1.SSS2.p6.2.m2.1.2.3.2.2" xref="A4.SS1.SSS2.p6.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p6.2.m2.1b"><apply id="A4.SS1.SSS2.p6.2.m2.1.2.cmml" xref="A4.SS1.SSS2.p6.2.m2.1.2"><times id="A4.SS1.SSS2.p6.2.m2.1.2.1.cmml" xref="A4.SS1.SSS2.p6.2.m2.1.2.1"></times><apply id="A4.SS1.SSS2.p6.2.m2.1.2.2.cmml" xref="A4.SS1.SSS2.p6.2.m2.1.2.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p6.2.m2.1.2.2.1.cmml" xref="A4.SS1.SSS2.p6.2.m2.1.2.2">subscript</csymbol><ci id="A4.SS1.SSS2.p6.2.m2.1.2.2.2.cmml" xref="A4.SS1.SSS2.p6.2.m2.1.2.2.2">𝐴</ci><ci id="A4.SS1.SSS2.p6.2.m2.1.2.2.3.cmml" xref="A4.SS1.SSS2.p6.2.m2.1.2.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p6.2.m2.1.1.cmml" xref="A4.SS1.SSS2.p6.2.m2.1.1">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p6.2.m2.1c">A_{V}(U)</annotation></semantics></math></p>
</div>
<div id="A4.SS1.SSS2.p7" class="ltx_para">
<p id="A4.SS1.SSS2.p7.7" class="ltx_p">Since</p>
<table id="A4.Ex63" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex63.m1.3" class="ltx_Math" alttext="dA=(I+\mathcal{E}V^{T})(I+UV^{T})-(I+UV^{T})=\mathcal{E}V^{T}A" display="block"><semantics id="A4.Ex63.m1.3a"><mrow id="A4.Ex63.m1.3.3" xref="A4.Ex63.m1.3.3.cmml"><mrow id="A4.Ex63.m1.3.3.5" xref="A4.Ex63.m1.3.3.5.cmml"><mi id="A4.Ex63.m1.3.3.5.2" xref="A4.Ex63.m1.3.3.5.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex63.m1.3.3.5.1" xref="A4.Ex63.m1.3.3.5.1.cmml">​</mo><mi id="A4.Ex63.m1.3.3.5.3" xref="A4.Ex63.m1.3.3.5.3.cmml">A</mi></mrow><mo id="A4.Ex63.m1.3.3.6" xref="A4.Ex63.m1.3.3.6.cmml">=</mo><mrow id="A4.Ex63.m1.3.3.3" xref="A4.Ex63.m1.3.3.3.cmml"><mrow id="A4.Ex63.m1.2.2.2.2" xref="A4.Ex63.m1.2.2.2.2.cmml"><mrow id="A4.Ex63.m1.1.1.1.1.1.1" xref="A4.Ex63.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex63.m1.1.1.1.1.1.1.2" xref="A4.Ex63.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex63.m1.1.1.1.1.1.1.1" xref="A4.Ex63.m1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex63.m1.1.1.1.1.1.1.1.2" xref="A4.Ex63.m1.1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A4.Ex63.m1.1.1.1.1.1.1.1.1" xref="A4.Ex63.m1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.Ex63.m1.1.1.1.1.1.1.1.3" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex63.m1.1.1.1.1.1.1.1.3.2" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.2.cmml">ℰ</mi><mo lspace="0em" rspace="0em" id="A4.Ex63.m1.1.1.1.1.1.1.1.3.1" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex63.m1.1.1.1.1.1.1.1.3.3" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.2" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.3" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex63.m1.1.1.1.1.1.1.3" xref="A4.Ex63.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex63.m1.2.2.2.2.3" xref="A4.Ex63.m1.2.2.2.2.3.cmml">​</mo><mrow id="A4.Ex63.m1.2.2.2.2.2.1" xref="A4.Ex63.m1.2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A4.Ex63.m1.2.2.2.2.2.1.2" xref="A4.Ex63.m1.2.2.2.2.2.1.1.cmml">(</mo><mrow id="A4.Ex63.m1.2.2.2.2.2.1.1" xref="A4.Ex63.m1.2.2.2.2.2.1.1.cmml"><mi id="A4.Ex63.m1.2.2.2.2.2.1.1.2" xref="A4.Ex63.m1.2.2.2.2.2.1.1.2.cmml">I</mi><mo id="A4.Ex63.m1.2.2.2.2.2.1.1.1" xref="A4.Ex63.m1.2.2.2.2.2.1.1.1.cmml">+</mo><mrow id="A4.Ex63.m1.2.2.2.2.2.1.1.3" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.cmml"><mi id="A4.Ex63.m1.2.2.2.2.2.1.1.3.2" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.Ex63.m1.2.2.2.2.2.1.1.3.1" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.1.cmml">​</mo><msup id="A4.Ex63.m1.2.2.2.2.2.1.1.3.3" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.cmml"><mi id="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.2" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.3" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex63.m1.2.2.2.2.2.1.3" xref="A4.Ex63.m1.2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A4.Ex63.m1.3.3.3.4" xref="A4.Ex63.m1.3.3.3.4.cmml">−</mo><mrow id="A4.Ex63.m1.3.3.3.3.1" xref="A4.Ex63.m1.3.3.3.3.1.1.cmml"><mo stretchy="false" id="A4.Ex63.m1.3.3.3.3.1.2" xref="A4.Ex63.m1.3.3.3.3.1.1.cmml">(</mo><mrow id="A4.Ex63.m1.3.3.3.3.1.1" xref="A4.Ex63.m1.3.3.3.3.1.1.cmml"><mi id="A4.Ex63.m1.3.3.3.3.1.1.2" xref="A4.Ex63.m1.3.3.3.3.1.1.2.cmml">I</mi><mo id="A4.Ex63.m1.3.3.3.3.1.1.1" xref="A4.Ex63.m1.3.3.3.3.1.1.1.cmml">+</mo><mrow id="A4.Ex63.m1.3.3.3.3.1.1.3" xref="A4.Ex63.m1.3.3.3.3.1.1.3.cmml"><mi id="A4.Ex63.m1.3.3.3.3.1.1.3.2" xref="A4.Ex63.m1.3.3.3.3.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.Ex63.m1.3.3.3.3.1.1.3.1" xref="A4.Ex63.m1.3.3.3.3.1.1.3.1.cmml">​</mo><msup id="A4.Ex63.m1.3.3.3.3.1.1.3.3" xref="A4.Ex63.m1.3.3.3.3.1.1.3.3.cmml"><mi id="A4.Ex63.m1.3.3.3.3.1.1.3.3.2" xref="A4.Ex63.m1.3.3.3.3.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex63.m1.3.3.3.3.1.1.3.3.3" xref="A4.Ex63.m1.3.3.3.3.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex63.m1.3.3.3.3.1.3" xref="A4.Ex63.m1.3.3.3.3.1.1.cmml">)</mo></mrow></mrow><mo id="A4.Ex63.m1.3.3.7" xref="A4.Ex63.m1.3.3.7.cmml">=</mo><mrow id="A4.Ex63.m1.3.3.8" xref="A4.Ex63.m1.3.3.8.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex63.m1.3.3.8.2" xref="A4.Ex63.m1.3.3.8.2.cmml">ℰ</mi><mo lspace="0em" rspace="0em" id="A4.Ex63.m1.3.3.8.1" xref="A4.Ex63.m1.3.3.8.1.cmml">​</mo><msup id="A4.Ex63.m1.3.3.8.3" xref="A4.Ex63.m1.3.3.8.3.cmml"><mi id="A4.Ex63.m1.3.3.8.3.2" xref="A4.Ex63.m1.3.3.8.3.2.cmml">V</mi><mi id="A4.Ex63.m1.3.3.8.3.3" xref="A4.Ex63.m1.3.3.8.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex63.m1.3.3.8.1a" xref="A4.Ex63.m1.3.3.8.1.cmml">​</mo><mi id="A4.Ex63.m1.3.3.8.4" xref="A4.Ex63.m1.3.3.8.4.cmml">A</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex63.m1.3b"><apply id="A4.Ex63.m1.3.3.cmml" xref="A4.Ex63.m1.3.3"><and id="A4.Ex63.m1.3.3a.cmml" xref="A4.Ex63.m1.3.3"></and><apply id="A4.Ex63.m1.3.3b.cmml" xref="A4.Ex63.m1.3.3"><eq id="A4.Ex63.m1.3.3.6.cmml" xref="A4.Ex63.m1.3.3.6"></eq><apply id="A4.Ex63.m1.3.3.5.cmml" xref="A4.Ex63.m1.3.3.5"><times id="A4.Ex63.m1.3.3.5.1.cmml" xref="A4.Ex63.m1.3.3.5.1"></times><ci id="A4.Ex63.m1.3.3.5.2.cmml" xref="A4.Ex63.m1.3.3.5.2">𝑑</ci><ci id="A4.Ex63.m1.3.3.5.3.cmml" xref="A4.Ex63.m1.3.3.5.3">𝐴</ci></apply><apply id="A4.Ex63.m1.3.3.3.cmml" xref="A4.Ex63.m1.3.3.3"><minus id="A4.Ex63.m1.3.3.3.4.cmml" xref="A4.Ex63.m1.3.3.3.4"></minus><apply id="A4.Ex63.m1.2.2.2.2.cmml" xref="A4.Ex63.m1.2.2.2.2"><times id="A4.Ex63.m1.2.2.2.2.3.cmml" xref="A4.Ex63.m1.2.2.2.2.3"></times><apply id="A4.Ex63.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1"><plus id="A4.Ex63.m1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.1"></plus><ci id="A4.Ex63.m1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.2">𝐼</ci><apply id="A4.Ex63.m1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3"><times id="A4.Ex63.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.1"></times><ci id="A4.Ex63.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.2">ℰ</ci><apply id="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.2">𝑉</ci><ci id="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex63.m1.1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="A4.Ex63.m1.2.2.2.2.2.1.1.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1"><plus id="A4.Ex63.m1.2.2.2.2.2.1.1.1.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.1"></plus><ci id="A4.Ex63.m1.2.2.2.2.2.1.1.2.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.2">𝐼</ci><apply id="A4.Ex63.m1.2.2.2.2.2.1.1.3.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3"><times id="A4.Ex63.m1.2.2.2.2.2.1.1.3.1.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.1"></times><ci id="A4.Ex63.m1.2.2.2.2.2.1.1.3.2.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.2">𝑈</ci><apply id="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.1.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.3">superscript</csymbol><ci id="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.2.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.2">𝑉</ci><ci id="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.3.cmml" xref="A4.Ex63.m1.2.2.2.2.2.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply><apply id="A4.Ex63.m1.3.3.3.3.1.1.cmml" xref="A4.Ex63.m1.3.3.3.3.1"><plus id="A4.Ex63.m1.3.3.3.3.1.1.1.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.1"></plus><ci id="A4.Ex63.m1.3.3.3.3.1.1.2.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.2">𝐼</ci><apply id="A4.Ex63.m1.3.3.3.3.1.1.3.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.3"><times id="A4.Ex63.m1.3.3.3.3.1.1.3.1.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.3.1"></times><ci id="A4.Ex63.m1.3.3.3.3.1.1.3.2.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.3.2">𝑈</ci><apply id="A4.Ex63.m1.3.3.3.3.1.1.3.3.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex63.m1.3.3.3.3.1.1.3.3.1.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.3.3">superscript</csymbol><ci id="A4.Ex63.m1.3.3.3.3.1.1.3.3.2.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.3.3.2">𝑉</ci><ci id="A4.Ex63.m1.3.3.3.3.1.1.3.3.3.cmml" xref="A4.Ex63.m1.3.3.3.3.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply><apply id="A4.Ex63.m1.3.3c.cmml" xref="A4.Ex63.m1.3.3"><eq id="A4.Ex63.m1.3.3.7.cmml" xref="A4.Ex63.m1.3.3.7"></eq><share href="#A4.Ex63.m1.3.3.3.cmml" id="A4.Ex63.m1.3.3d.cmml" xref="A4.Ex63.m1.3.3"></share><apply id="A4.Ex63.m1.3.3.8.cmml" xref="A4.Ex63.m1.3.3.8"><times id="A4.Ex63.m1.3.3.8.1.cmml" xref="A4.Ex63.m1.3.3.8.1"></times><ci id="A4.Ex63.m1.3.3.8.2.cmml" xref="A4.Ex63.m1.3.3.8.2">ℰ</ci><apply id="A4.Ex63.m1.3.3.8.3.cmml" xref="A4.Ex63.m1.3.3.8.3"><csymbol cd="ambiguous" id="A4.Ex63.m1.3.3.8.3.1.cmml" xref="A4.Ex63.m1.3.3.8.3">superscript</csymbol><ci id="A4.Ex63.m1.3.3.8.3.2.cmml" xref="A4.Ex63.m1.3.3.8.3.2">𝑉</ci><ci id="A4.Ex63.m1.3.3.8.3.3.cmml" xref="A4.Ex63.m1.3.3.8.3.3">𝑇</ci></apply><ci id="A4.Ex63.m1.3.3.8.4.cmml" xref="A4.Ex63.m1.3.3.8.4">𝐴</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex63.m1.3c">dA=(I+\mathcal{E}V^{T})(I+UV^{T})-(I+UV^{T})=\mathcal{E}V^{T}A</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p7.2" class="ltx_p">we replace the <math id="A4.SS1.SSS2.p7.1.m1.1" class="ltx_Math" alttext="\mathcal{E}_{1}" display="inline"><semantics id="A4.SS1.SSS2.p7.1.m1.1a"><msub id="A4.SS1.SSS2.p7.1.m1.1.1" xref="A4.SS1.SSS2.p7.1.m1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p7.1.m1.1.1.2" xref="A4.SS1.SSS2.p7.1.m1.1.1.2.cmml">ℰ</mi><mn id="A4.SS1.SSS2.p7.1.m1.1.1.3" xref="A4.SS1.SSS2.p7.1.m1.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p7.1.m1.1b"><apply id="A4.SS1.SSS2.p7.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p7.1.m1.1.1"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p7.1.m1.1.1.1.cmml" xref="A4.SS1.SSS2.p7.1.m1.1.1">subscript</csymbol><ci id="A4.SS1.SSS2.p7.1.m1.1.1.2.cmml" xref="A4.SS1.SSS2.p7.1.m1.1.1.2">ℰ</ci><cn type="integer" id="A4.SS1.SSS2.p7.1.m1.1.1.3.cmml" xref="A4.SS1.SSS2.p7.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p7.1.m1.1c">\mathcal{E}_{1}</annotation></semantics></math> in (<a href="#A4.E19" title="Equation 19 ‣ D.1.2 The gradients for preconditioner updating ‣ D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a>) with <math id="A4.SS1.SSS2.p7.2.m2.1" class="ltx_Math" alttext="\mathcal{E}V^{T}" display="inline"><semantics id="A4.SS1.SSS2.p7.2.m2.1a"><mrow id="A4.SS1.SSS2.p7.2.m2.1.1" xref="A4.SS1.SSS2.p7.2.m2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p7.2.m2.1.1.2" xref="A4.SS1.SSS2.p7.2.m2.1.1.2.cmml">ℰ</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p7.2.m2.1.1.1" xref="A4.SS1.SSS2.p7.2.m2.1.1.1.cmml">​</mo><msup id="A4.SS1.SSS2.p7.2.m2.1.1.3" xref="A4.SS1.SSS2.p7.2.m2.1.1.3.cmml"><mi id="A4.SS1.SSS2.p7.2.m2.1.1.3.2" xref="A4.SS1.SSS2.p7.2.m2.1.1.3.2.cmml">V</mi><mi id="A4.SS1.SSS2.p7.2.m2.1.1.3.3" xref="A4.SS1.SSS2.p7.2.m2.1.1.3.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p7.2.m2.1b"><apply id="A4.SS1.SSS2.p7.2.m2.1.1.cmml" xref="A4.SS1.SSS2.p7.2.m2.1.1"><times id="A4.SS1.SSS2.p7.2.m2.1.1.1.cmml" xref="A4.SS1.SSS2.p7.2.m2.1.1.1"></times><ci id="A4.SS1.SSS2.p7.2.m2.1.1.2.cmml" xref="A4.SS1.SSS2.p7.2.m2.1.1.2">ℰ</ci><apply id="A4.SS1.SSS2.p7.2.m2.1.1.3.cmml" xref="A4.SS1.SSS2.p7.2.m2.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p7.2.m2.1.1.3.1.cmml" xref="A4.SS1.SSS2.p7.2.m2.1.1.3">superscript</csymbol><ci id="A4.SS1.SSS2.p7.2.m2.1.1.3.2.cmml" xref="A4.SS1.SSS2.p7.2.m2.1.1.3.2">𝑉</ci><ci id="A4.SS1.SSS2.p7.2.m2.1.1.3.3.cmml" xref="A4.SS1.SSS2.p7.2.m2.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p7.2.m2.1c">\mathcal{E}V^{T}</annotation></semantics></math> to obtain gradient</p>
<table id="A4.Ex64" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex64.m1.1" class="ltx_Math" alttext="0.5\nabla_{U}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]V" display="block"><semantics id="A4.Ex64.m1.1a"><mrow id="A4.Ex64.m1.1.1" xref="A4.Ex64.m1.1.1.cmml"><mrow id="A4.Ex64.m1.1.1.3" xref="A4.Ex64.m1.1.1.3.cmml"><mn id="A4.Ex64.m1.1.1.3.2" xref="A4.Ex64.m1.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="A4.Ex64.m1.1.1.3.1" xref="A4.Ex64.m1.1.1.3.1.cmml">​</mo><msub id="A4.Ex64.m1.1.1.3.3" xref="A4.Ex64.m1.1.1.3.3.cmml"><mo id="A4.Ex64.m1.1.1.3.3.2" xref="A4.Ex64.m1.1.1.3.3.2.cmml">∇</mo><mi id="A4.Ex64.m1.1.1.3.3.3" xref="A4.Ex64.m1.1.1.3.3.3.cmml">U</mi></msub></mrow><mo id="A4.Ex64.m1.1.1.2" xref="A4.Ex64.m1.1.1.2.cmml">=</mo><mrow id="A4.Ex64.m1.1.1.1" xref="A4.Ex64.m1.1.1.1.cmml"><mrow id="A4.Ex64.m1.1.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.2" xref="A4.Ex64.m1.1.1.1.1.2.1.cmml">[</mo><mrow id="A4.Ex64.m1.1.1.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.cmml"><mrow id="A4.Ex64.m1.1.1.1.1.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.2.cmml"><mrow id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex64.m1.1.1.1.1.1.1.2.3" xref="A4.Ex64.m1.1.1.1.1.1.1.2.3.cmml">​</mo><msup id="A4.Ex64.m1.1.1.1.1.1.1.2.2" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.cmml"><mrow id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.cmml">(</mo><mrow id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mi id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.1.cmml">​</mo><mi id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.cmml">)</mo></mrow><mi id="A4.Ex64.m1.1.1.1.1.1.1.2.2.3" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.3.cmml">T</mi></msup></mrow><mo id="A4.Ex64.m1.1.1.1.1.1.1.5" xref="A4.Ex64.m1.1.1.1.1.1.1.5.cmml">−</mo><mrow id="A4.Ex64.m1.1.1.1.1.1.1.4" xref="A4.Ex64.m1.1.1.1.1.1.1.4.cmml"><mrow id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.cmml"><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.cmml"><msup id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.cmml"><mi id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.2" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.2.cmml">Q</mi><mrow id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.cmml"><mo id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3a" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.cmml">−</mo><mi id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.2" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.1.cmml">​</mo><mi id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex64.m1.1.1.1.1.1.1.4.3" xref="A4.Ex64.m1.1.1.1.1.1.1.4.3.cmml">​</mo><msup id="A4.Ex64.m1.1.1.1.1.1.1.4.2" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.cmml"><mrow id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.cmml"><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.cmml">(</mo><mrow id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.cmml"><msup id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.cmml"><mi id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.2" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml"><mo id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3a" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml">−</mo><mi id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.1" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.1.cmml">​</mo><mi id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.3" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.cmml">)</mo></mrow><mi id="A4.Ex64.m1.1.1.1.1.1.1.4.2.3" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex64.m1.1.1.1.1.1.3" xref="A4.Ex64.m1.1.1.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex64.m1.1.1.1.2" xref="A4.Ex64.m1.1.1.1.2.cmml">​</mo><mi id="A4.Ex64.m1.1.1.1.3" xref="A4.Ex64.m1.1.1.1.3.cmml">V</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex64.m1.1b"><apply id="A4.Ex64.m1.1.1.cmml" xref="A4.Ex64.m1.1.1"><eq id="A4.Ex64.m1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.2"></eq><apply id="A4.Ex64.m1.1.1.3.cmml" xref="A4.Ex64.m1.1.1.3"><times id="A4.Ex64.m1.1.1.3.1.cmml" xref="A4.Ex64.m1.1.1.3.1"></times><cn type="float" id="A4.Ex64.m1.1.1.3.2.cmml" xref="A4.Ex64.m1.1.1.3.2">0.5</cn><apply id="A4.Ex64.m1.1.1.3.3.cmml" xref="A4.Ex64.m1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex64.m1.1.1.3.3.1.cmml" xref="A4.Ex64.m1.1.1.3.3">subscript</csymbol><ci id="A4.Ex64.m1.1.1.3.3.2.cmml" xref="A4.Ex64.m1.1.1.3.3.2">∇</ci><ci id="A4.Ex64.m1.1.1.3.3.3.cmml" xref="A4.Ex64.m1.1.1.3.3.3">𝑈</ci></apply></apply><apply id="A4.Ex64.m1.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1"><times id="A4.Ex64.m1.1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.1.2"></times><apply id="A4.Ex64.m1.1.1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1"><csymbol cd="latexml" id="A4.Ex64.m1.1.1.1.1.2.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.Ex64.m1.1.1.1.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1"><minus id="A4.Ex64.m1.1.1.1.1.1.1.5.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.5"></minus><apply id="A4.Ex64.m1.1.1.1.1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2"><times id="A4.Ex64.m1.1.1.1.1.1.1.2.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.3"></times><apply id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1"><times id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A4.Ex64.m1.1.1.1.1.1.1.2.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex64.m1.1.1.1.1.1.1.2.2.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2">superscript</csymbol><apply id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1"><times id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.1"></times><ci id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.2">𝑄</ci><ci id="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.1.1.1.3">ℎ</ci></apply><ci id="A4.Ex64.m1.1.1.1.1.1.1.2.2.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.2.2.3">𝑇</ci></apply></apply><apply id="A4.Ex64.m1.1.1.1.1.1.1.4.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4"><times id="A4.Ex64.m1.1.1.1.1.1.1.4.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.3"></times><apply id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1"><times id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.1"></times><apply id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2">superscript</csymbol><ci id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.2">𝑄</ci><apply id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3"><minus id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3"></minus><ci id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.3.1.1.1.3">𝑣</ci></apply><apply id="A4.Ex64.m1.1.1.1.1.1.1.4.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="A4.Ex64.m1.1.1.1.1.1.1.4.2.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2">superscript</csymbol><apply id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1"><times id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.1"></times><apply id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2">superscript</csymbol><ci id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.2">𝑄</ci><apply id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3"><minus id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.1.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3"></minus><ci id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.1.1.1.3">𝑣</ci></apply><ci id="A4.Ex64.m1.1.1.1.1.1.1.4.2.3.cmml" xref="A4.Ex64.m1.1.1.1.1.1.1.4.2.3">𝑇</ci></apply></apply></apply></apply><ci id="A4.Ex64.m1.1.1.1.3.cmml" xref="A4.Ex64.m1.1.1.1.3">𝑉</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex64.m1.1c">0.5\nabla_{U}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]V</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p7.3" class="ltx_p">Then, we update <math id="A4.SS1.SSS2.p7.3.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A4.SS1.SSS2.p7.3.m1.1a"><mi id="A4.SS1.SSS2.p7.3.m1.1.1" xref="A4.SS1.SSS2.p7.3.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p7.3.m1.1b"><ci id="A4.SS1.SSS2.p7.3.m1.1.1.cmml" xref="A4.SS1.SSS2.p7.3.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p7.3.m1.1c">A</annotation></semantics></math> as</p>
<table id="A4.Ex65" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex65.m1.1" class="ltx_Math" alttext="A\leftarrow A-\mu\nabla_{U}V^{T}A" display="block"><semantics id="A4.Ex65.m1.1a"><mrow id="A4.Ex65.m1.1.1" xref="A4.Ex65.m1.1.1.cmml"><mi id="A4.Ex65.m1.1.1.2" xref="A4.Ex65.m1.1.1.2.cmml">A</mi><mo stretchy="false" id="A4.Ex65.m1.1.1.1" xref="A4.Ex65.m1.1.1.1.cmml">←</mo><mrow id="A4.Ex65.m1.1.1.3" xref="A4.Ex65.m1.1.1.3.cmml"><mi id="A4.Ex65.m1.1.1.3.2" xref="A4.Ex65.m1.1.1.3.2.cmml">A</mi><mo id="A4.Ex65.m1.1.1.3.1" xref="A4.Ex65.m1.1.1.3.1.cmml">−</mo><mrow id="A4.Ex65.m1.1.1.3.3" xref="A4.Ex65.m1.1.1.3.3.cmml"><mi id="A4.Ex65.m1.1.1.3.3.2" xref="A4.Ex65.m1.1.1.3.3.2.cmml">μ</mi><mo lspace="0.167em" rspace="0em" id="A4.Ex65.m1.1.1.3.3.1" xref="A4.Ex65.m1.1.1.3.3.1.cmml">​</mo><mrow id="A4.Ex65.m1.1.1.3.3.3" xref="A4.Ex65.m1.1.1.3.3.3.cmml"><msub id="A4.Ex65.m1.1.1.3.3.3.1" xref="A4.Ex65.m1.1.1.3.3.3.1.cmml"><mo rspace="0.167em" id="A4.Ex65.m1.1.1.3.3.3.1.2" xref="A4.Ex65.m1.1.1.3.3.3.1.2.cmml">∇</mo><mi id="A4.Ex65.m1.1.1.3.3.3.1.3" xref="A4.Ex65.m1.1.1.3.3.3.1.3.cmml">U</mi></msub><mrow id="A4.Ex65.m1.1.1.3.3.3.2" xref="A4.Ex65.m1.1.1.3.3.3.2.cmml"><msup id="A4.Ex65.m1.1.1.3.3.3.2.2" xref="A4.Ex65.m1.1.1.3.3.3.2.2.cmml"><mi id="A4.Ex65.m1.1.1.3.3.3.2.2.2" xref="A4.Ex65.m1.1.1.3.3.3.2.2.2.cmml">V</mi><mi id="A4.Ex65.m1.1.1.3.3.3.2.2.3" xref="A4.Ex65.m1.1.1.3.3.3.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex65.m1.1.1.3.3.3.2.1" xref="A4.Ex65.m1.1.1.3.3.3.2.1.cmml">​</mo><mi id="A4.Ex65.m1.1.1.3.3.3.2.3" xref="A4.Ex65.m1.1.1.3.3.3.2.3.cmml">A</mi></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex65.m1.1b"><apply id="A4.Ex65.m1.1.1.cmml" xref="A4.Ex65.m1.1.1"><ci id="A4.Ex65.m1.1.1.1.cmml" xref="A4.Ex65.m1.1.1.1">←</ci><ci id="A4.Ex65.m1.1.1.2.cmml" xref="A4.Ex65.m1.1.1.2">𝐴</ci><apply id="A4.Ex65.m1.1.1.3.cmml" xref="A4.Ex65.m1.1.1.3"><minus id="A4.Ex65.m1.1.1.3.1.cmml" xref="A4.Ex65.m1.1.1.3.1"></minus><ci id="A4.Ex65.m1.1.1.3.2.cmml" xref="A4.Ex65.m1.1.1.3.2">𝐴</ci><apply id="A4.Ex65.m1.1.1.3.3.cmml" xref="A4.Ex65.m1.1.1.3.3"><times id="A4.Ex65.m1.1.1.3.3.1.cmml" xref="A4.Ex65.m1.1.1.3.3.1"></times><ci id="A4.Ex65.m1.1.1.3.3.2.cmml" xref="A4.Ex65.m1.1.1.3.3.2">𝜇</ci><apply id="A4.Ex65.m1.1.1.3.3.3.cmml" xref="A4.Ex65.m1.1.1.3.3.3"><apply id="A4.Ex65.m1.1.1.3.3.3.1.cmml" xref="A4.Ex65.m1.1.1.3.3.3.1"><csymbol cd="ambiguous" id="A4.Ex65.m1.1.1.3.3.3.1.1.cmml" xref="A4.Ex65.m1.1.1.3.3.3.1">subscript</csymbol><ci id="A4.Ex65.m1.1.1.3.3.3.1.2.cmml" xref="A4.Ex65.m1.1.1.3.3.3.1.2">∇</ci><ci id="A4.Ex65.m1.1.1.3.3.3.1.3.cmml" xref="A4.Ex65.m1.1.1.3.3.3.1.3">𝑈</ci></apply><apply id="A4.Ex65.m1.1.1.3.3.3.2.cmml" xref="A4.Ex65.m1.1.1.3.3.3.2"><times id="A4.Ex65.m1.1.1.3.3.3.2.1.cmml" xref="A4.Ex65.m1.1.1.3.3.3.2.1"></times><apply id="A4.Ex65.m1.1.1.3.3.3.2.2.cmml" xref="A4.Ex65.m1.1.1.3.3.3.2.2"><csymbol cd="ambiguous" id="A4.Ex65.m1.1.1.3.3.3.2.2.1.cmml" xref="A4.Ex65.m1.1.1.3.3.3.2.2">superscript</csymbol><ci id="A4.Ex65.m1.1.1.3.3.3.2.2.2.cmml" xref="A4.Ex65.m1.1.1.3.3.3.2.2.2">𝑉</ci><ci id="A4.Ex65.m1.1.1.3.3.3.2.2.3.cmml" xref="A4.Ex65.m1.1.1.3.3.3.2.2.3">𝑇</ci></apply><ci id="A4.Ex65.m1.1.1.3.3.3.2.3.cmml" xref="A4.Ex65.m1.1.1.3.3.3.2.3">𝐴</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex65.m1.1c">A\leftarrow A-\mu\nabla_{U}V^{T}A</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p7.8" class="ltx_p">which suggests its parameter can be updated as</p>
<table id="A4.Ex66" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex66.m1.2" class="ltx_Math" alttext="U\leftarrow U-\mu\nabla_{U}(I+V^{T}U)" display="block"><semantics id="A4.Ex66.m1.2a"><mrow id="A4.Ex66.m1.2.2" xref="A4.Ex66.m1.2.2.cmml"><mi id="A4.Ex66.m1.2.2.4" xref="A4.Ex66.m1.2.2.4.cmml">U</mi><mo stretchy="false" id="A4.Ex66.m1.2.2.3" xref="A4.Ex66.m1.2.2.3.cmml">←</mo><mrow id="A4.Ex66.m1.2.2.2" xref="A4.Ex66.m1.2.2.2.cmml"><mi id="A4.Ex66.m1.2.2.2.4" xref="A4.Ex66.m1.2.2.2.4.cmml">U</mi><mo id="A4.Ex66.m1.2.2.2.3" xref="A4.Ex66.m1.2.2.2.3.cmml">−</mo><mrow id="A4.Ex66.m1.2.2.2.2" xref="A4.Ex66.m1.2.2.2.2.cmml"><mi id="A4.Ex66.m1.2.2.2.2.4" xref="A4.Ex66.m1.2.2.2.2.4.cmml">μ</mi><mo lspace="0.167em" rspace="0em" id="A4.Ex66.m1.2.2.2.2.3" xref="A4.Ex66.m1.2.2.2.2.3.cmml">​</mo><mrow id="A4.Ex66.m1.2.2.2.2.2.2" xref="A4.Ex66.m1.2.2.2.2.2.3.cmml"><msub id="A4.Ex66.m1.1.1.1.1.1.1.1" xref="A4.Ex66.m1.1.1.1.1.1.1.1.cmml"><mo id="A4.Ex66.m1.1.1.1.1.1.1.1.2" xref="A4.Ex66.m1.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="A4.Ex66.m1.1.1.1.1.1.1.1.3" xref="A4.Ex66.m1.1.1.1.1.1.1.1.3.cmml">U</mi></msub><mrow id="A4.Ex66.m1.2.2.2.2.2.2.2" xref="A4.Ex66.m1.2.2.2.2.2.3.cmml"><mo stretchy="false" id="A4.Ex66.m1.2.2.2.2.2.2.2.2" xref="A4.Ex66.m1.2.2.2.2.2.3.cmml">(</mo><mrow id="A4.Ex66.m1.2.2.2.2.2.2.2.1" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.cmml"><mi id="A4.Ex66.m1.2.2.2.2.2.2.2.1.2" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.2.cmml">I</mi><mo id="A4.Ex66.m1.2.2.2.2.2.2.2.1.1" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.1.cmml">+</mo><mrow id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.cmml"><msup id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.cmml"><mi id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.2" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.2.cmml">V</mi><mi id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.3" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.1" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.1.cmml">​</mo><mi id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.3" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="A4.Ex66.m1.2.2.2.2.2.2.2.3" xref="A4.Ex66.m1.2.2.2.2.2.3.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex66.m1.2b"><apply id="A4.Ex66.m1.2.2.cmml" xref="A4.Ex66.m1.2.2"><ci id="A4.Ex66.m1.2.2.3.cmml" xref="A4.Ex66.m1.2.2.3">←</ci><ci id="A4.Ex66.m1.2.2.4.cmml" xref="A4.Ex66.m1.2.2.4">𝑈</ci><apply id="A4.Ex66.m1.2.2.2.cmml" xref="A4.Ex66.m1.2.2.2"><minus id="A4.Ex66.m1.2.2.2.3.cmml" xref="A4.Ex66.m1.2.2.2.3"></minus><ci id="A4.Ex66.m1.2.2.2.4.cmml" xref="A4.Ex66.m1.2.2.2.4">𝑈</ci><apply id="A4.Ex66.m1.2.2.2.2.cmml" xref="A4.Ex66.m1.2.2.2.2"><times id="A4.Ex66.m1.2.2.2.2.3.cmml" xref="A4.Ex66.m1.2.2.2.2.3"></times><ci id="A4.Ex66.m1.2.2.2.2.4.cmml" xref="A4.Ex66.m1.2.2.2.2.4">𝜇</ci><apply id="A4.Ex66.m1.2.2.2.2.2.3.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2"><apply id="A4.Ex66.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex66.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A4.Ex66.m1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex66.m1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A4.Ex66.m1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex66.m1.1.1.1.1.1.1.1.2">∇</ci><ci id="A4.Ex66.m1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex66.m1.1.1.1.1.1.1.1.3">𝑈</ci></apply><apply id="A4.Ex66.m1.2.2.2.2.2.2.2.1.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1"><plus id="A4.Ex66.m1.2.2.2.2.2.2.2.1.1.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.1"></plus><ci id="A4.Ex66.m1.2.2.2.2.2.2.2.1.2.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.2">𝐼</ci><apply id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3"><times id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.1.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.1"></times><apply id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2"><csymbol cd="ambiguous" id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.1.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2">superscript</csymbol><ci id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.2.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.2">𝑉</ci><ci id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.3.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.2.3">𝑇</ci></apply><ci id="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.3.cmml" xref="A4.Ex66.m1.2.2.2.2.2.2.2.1.3.3">𝑈</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex66.m1.2c">U\leftarrow U-\mu\nabla_{U}(I+V^{T}U)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p7.6" class="ltx_p">since we are operating on the group <math id="A4.SS1.SSS2.p7.4.m1.1" class="ltx_Math" alttext="A_{V}(U)" display="inline"><semantics id="A4.SS1.SSS2.p7.4.m1.1a"><mrow id="A4.SS1.SSS2.p7.4.m1.1.2" xref="A4.SS1.SSS2.p7.4.m1.1.2.cmml"><msub id="A4.SS1.SSS2.p7.4.m1.1.2.2" xref="A4.SS1.SSS2.p7.4.m1.1.2.2.cmml"><mi id="A4.SS1.SSS2.p7.4.m1.1.2.2.2" xref="A4.SS1.SSS2.p7.4.m1.1.2.2.2.cmml">A</mi><mi id="A4.SS1.SSS2.p7.4.m1.1.2.2.3" xref="A4.SS1.SSS2.p7.4.m1.1.2.2.3.cmml">V</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p7.4.m1.1.2.1" xref="A4.SS1.SSS2.p7.4.m1.1.2.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p7.4.m1.1.2.3.2" xref="A4.SS1.SSS2.p7.4.m1.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p7.4.m1.1.2.3.2.1" xref="A4.SS1.SSS2.p7.4.m1.1.2.cmml">(</mo><mi id="A4.SS1.SSS2.p7.4.m1.1.1" xref="A4.SS1.SSS2.p7.4.m1.1.1.cmml">U</mi><mo stretchy="false" id="A4.SS1.SSS2.p7.4.m1.1.2.3.2.2" xref="A4.SS1.SSS2.p7.4.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p7.4.m1.1b"><apply id="A4.SS1.SSS2.p7.4.m1.1.2.cmml" xref="A4.SS1.SSS2.p7.4.m1.1.2"><times id="A4.SS1.SSS2.p7.4.m1.1.2.1.cmml" xref="A4.SS1.SSS2.p7.4.m1.1.2.1"></times><apply id="A4.SS1.SSS2.p7.4.m1.1.2.2.cmml" xref="A4.SS1.SSS2.p7.4.m1.1.2.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p7.4.m1.1.2.2.1.cmml" xref="A4.SS1.SSS2.p7.4.m1.1.2.2">subscript</csymbol><ci id="A4.SS1.SSS2.p7.4.m1.1.2.2.2.cmml" xref="A4.SS1.SSS2.p7.4.m1.1.2.2.2">𝐴</ci><ci id="A4.SS1.SSS2.p7.4.m1.1.2.2.3.cmml" xref="A4.SS1.SSS2.p7.4.m1.1.2.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p7.4.m1.1.1.cmml" xref="A4.SS1.SSS2.p7.4.m1.1.1">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p7.4.m1.1c">A_{V}(U)</annotation></semantics></math>,
where the step size is small enough such that <math id="A4.SS1.SSS2.p7.5.m2.1" class="ltx_Math" alttext="\mu\|\nabla_{U}V^{T}\|&lt;1" display="inline"><semantics id="A4.SS1.SSS2.p7.5.m2.1a"><mrow id="A4.SS1.SSS2.p7.5.m2.1.1" xref="A4.SS1.SSS2.p7.5.m2.1.1.cmml"><mrow id="A4.SS1.SSS2.p7.5.m2.1.1.1" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.cmml"><mi id="A4.SS1.SSS2.p7.5.m2.1.1.1.3" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p7.5.m2.1.1.1.2" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.2.cmml">​</mo><mrow id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.2" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.2.1.cmml">‖</mo><mrow id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.cmml"><msub id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.2" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.3" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.3.cmml">U</mi></msub><msup id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.cmml"><mi id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.2" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.2.cmml">V</mi><mi id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.3" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.3" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.2.1.cmml">‖</mo></mrow></mrow><mo id="A4.SS1.SSS2.p7.5.m2.1.1.2" xref="A4.SS1.SSS2.p7.5.m2.1.1.2.cmml">&lt;</mo><mn id="A4.SS1.SSS2.p7.5.m2.1.1.3" xref="A4.SS1.SSS2.p7.5.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p7.5.m2.1b"><apply id="A4.SS1.SSS2.p7.5.m2.1.1.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1"><lt id="A4.SS1.SSS2.p7.5.m2.1.1.2.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.2"></lt><apply id="A4.SS1.SSS2.p7.5.m2.1.1.1.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1"><times id="A4.SS1.SSS2.p7.5.m2.1.1.1.2.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.2"></times><ci id="A4.SS1.SSS2.p7.5.m2.1.1.1.3.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.3">𝜇</ci><apply id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1"><csymbol cd="latexml" id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.2.1.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.2">norm</csymbol><apply id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1"><apply id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1">subscript</csymbol><ci id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.2">∇</ci><ci id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.3.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.1.3">𝑈</ci></apply><apply id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.1.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2">superscript</csymbol><ci id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.2.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.2">𝑉</ci><ci id="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.3.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.1.1.1.1.2.3">𝑇</ci></apply></apply></apply></apply><cn type="integer" id="A4.SS1.SSS2.p7.5.m2.1.1.3.cmml" xref="A4.SS1.SSS2.p7.5.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p7.5.m2.1c">\mu\|\nabla_{U}V^{T}\|&lt;1</annotation></semantics></math>. Note that <math id="A4.SS1.SSS2.p7.6.m3.1" class="ltx_Math" alttext="\nabla_{U}V^{T}" display="inline"><semantics id="A4.SS1.SSS2.p7.6.m3.1a"><mrow id="A4.SS1.SSS2.p7.6.m3.1.1" xref="A4.SS1.SSS2.p7.6.m3.1.1.cmml"><msub id="A4.SS1.SSS2.p7.6.m3.1.1.1" xref="A4.SS1.SSS2.p7.6.m3.1.1.1.cmml"><mo id="A4.SS1.SSS2.p7.6.m3.1.1.1.2" xref="A4.SS1.SSS2.p7.6.m3.1.1.1.2.cmml">∇</mo><mi id="A4.SS1.SSS2.p7.6.m3.1.1.1.3" xref="A4.SS1.SSS2.p7.6.m3.1.1.1.3.cmml">U</mi></msub><msup id="A4.SS1.SSS2.p7.6.m3.1.1.2" xref="A4.SS1.SSS2.p7.6.m3.1.1.2.cmml"><mi id="A4.SS1.SSS2.p7.6.m3.1.1.2.2" xref="A4.SS1.SSS2.p7.6.m3.1.1.2.2.cmml">V</mi><mi id="A4.SS1.SSS2.p7.6.m3.1.1.2.3" xref="A4.SS1.SSS2.p7.6.m3.1.1.2.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p7.6.m3.1b"><apply id="A4.SS1.SSS2.p7.6.m3.1.1.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1"><apply id="A4.SS1.SSS2.p7.6.m3.1.1.1.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.1"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p7.6.m3.1.1.1.1.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.1">subscript</csymbol><ci id="A4.SS1.SSS2.p7.6.m3.1.1.1.2.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.1.2">∇</ci><ci id="A4.SS1.SSS2.p7.6.m3.1.1.1.3.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.1.3">𝑈</ci></apply><apply id="A4.SS1.SSS2.p7.6.m3.1.1.2.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p7.6.m3.1.1.2.1.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.2">superscript</csymbol><ci id="A4.SS1.SSS2.p7.6.m3.1.1.2.2.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.2.2">𝑉</ci><ci id="A4.SS1.SSS2.p7.6.m3.1.1.2.3.cmml" xref="A4.SS1.SSS2.p7.6.m3.1.1.2.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p7.6.m3.1c">\nabla_{U}V^{T}</annotation></semantics></math> has at most rank two. Hence, its Frobenius norm can be used to bound its spectral norm tightly, as shown by</p>
<table id="A4.Ex67" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex67.m1.3" class="ltx_Math" alttext="\|\nabla_{U}V^{T}\|_{F}/\sqrt{2}\leq\|\nabla_{U}V^{T}\|\leq\|\nabla_{U}V^{T}\|_{F}" display="block"><semantics id="A4.Ex67.m1.3a"><mrow id="A4.Ex67.m1.3.3" xref="A4.Ex67.m1.3.3.cmml"><mrow id="A4.Ex67.m1.1.1.1" xref="A4.Ex67.m1.1.1.1.cmml"><msub id="A4.Ex67.m1.1.1.1.1" xref="A4.Ex67.m1.1.1.1.1.cmml"><mrow id="A4.Ex67.m1.1.1.1.1.1.1" xref="A4.Ex67.m1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.Ex67.m1.1.1.1.1.1.1.2" xref="A4.Ex67.m1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A4.Ex67.m1.1.1.1.1.1.1.1" xref="A4.Ex67.m1.1.1.1.1.1.1.1.cmml"><msub id="A4.Ex67.m1.1.1.1.1.1.1.1.1" xref="A4.Ex67.m1.1.1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="A4.Ex67.m1.1.1.1.1.1.1.1.1.2" xref="A4.Ex67.m1.1.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="A4.Ex67.m1.1.1.1.1.1.1.1.1.3" xref="A4.Ex67.m1.1.1.1.1.1.1.1.1.3.cmml">U</mi></msub><msup id="A4.Ex67.m1.1.1.1.1.1.1.1.2" xref="A4.Ex67.m1.1.1.1.1.1.1.1.2.cmml"><mi id="A4.Ex67.m1.1.1.1.1.1.1.1.2.2" xref="A4.Ex67.m1.1.1.1.1.1.1.1.2.2.cmml">V</mi><mi id="A4.Ex67.m1.1.1.1.1.1.1.1.2.3" xref="A4.Ex67.m1.1.1.1.1.1.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A4.Ex67.m1.1.1.1.1.1.1.3" xref="A4.Ex67.m1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="A4.Ex67.m1.1.1.1.1.3" xref="A4.Ex67.m1.1.1.1.1.3.cmml">F</mi></msub><mo id="A4.Ex67.m1.1.1.1.2" xref="A4.Ex67.m1.1.1.1.2.cmml">/</mo><msqrt id="A4.Ex67.m1.1.1.1.3" xref="A4.Ex67.m1.1.1.1.3.cmml"><mn id="A4.Ex67.m1.1.1.1.3.2" xref="A4.Ex67.m1.1.1.1.3.2.cmml">2</mn></msqrt></mrow><mo id="A4.Ex67.m1.3.3.5" xref="A4.Ex67.m1.3.3.5.cmml">≤</mo><mrow id="A4.Ex67.m1.2.2.2.1" xref="A4.Ex67.m1.2.2.2.2.cmml"><mo stretchy="false" id="A4.Ex67.m1.2.2.2.1.2" xref="A4.Ex67.m1.2.2.2.2.1.cmml">‖</mo><mrow id="A4.Ex67.m1.2.2.2.1.1" xref="A4.Ex67.m1.2.2.2.1.1.cmml"><msub id="A4.Ex67.m1.2.2.2.1.1.1" xref="A4.Ex67.m1.2.2.2.1.1.1.cmml"><mo rspace="0.167em" id="A4.Ex67.m1.2.2.2.1.1.1.2" xref="A4.Ex67.m1.2.2.2.1.1.1.2.cmml">∇</mo><mi id="A4.Ex67.m1.2.2.2.1.1.1.3" xref="A4.Ex67.m1.2.2.2.1.1.1.3.cmml">U</mi></msub><msup id="A4.Ex67.m1.2.2.2.1.1.2" xref="A4.Ex67.m1.2.2.2.1.1.2.cmml"><mi id="A4.Ex67.m1.2.2.2.1.1.2.2" xref="A4.Ex67.m1.2.2.2.1.1.2.2.cmml">V</mi><mi id="A4.Ex67.m1.2.2.2.1.1.2.3" xref="A4.Ex67.m1.2.2.2.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A4.Ex67.m1.2.2.2.1.3" xref="A4.Ex67.m1.2.2.2.2.1.cmml">‖</mo></mrow><mo id="A4.Ex67.m1.3.3.6" xref="A4.Ex67.m1.3.3.6.cmml">≤</mo><msub id="A4.Ex67.m1.3.3.3" xref="A4.Ex67.m1.3.3.3.cmml"><mrow id="A4.Ex67.m1.3.3.3.1.1" xref="A4.Ex67.m1.3.3.3.1.2.cmml"><mo stretchy="false" id="A4.Ex67.m1.3.3.3.1.1.2" xref="A4.Ex67.m1.3.3.3.1.2.1.cmml">‖</mo><mrow id="A4.Ex67.m1.3.3.3.1.1.1" xref="A4.Ex67.m1.3.3.3.1.1.1.cmml"><msub id="A4.Ex67.m1.3.3.3.1.1.1.1" xref="A4.Ex67.m1.3.3.3.1.1.1.1.cmml"><mo rspace="0.167em" id="A4.Ex67.m1.3.3.3.1.1.1.1.2" xref="A4.Ex67.m1.3.3.3.1.1.1.1.2.cmml">∇</mo><mi id="A4.Ex67.m1.3.3.3.1.1.1.1.3" xref="A4.Ex67.m1.3.3.3.1.1.1.1.3.cmml">U</mi></msub><msup id="A4.Ex67.m1.3.3.3.1.1.1.2" xref="A4.Ex67.m1.3.3.3.1.1.1.2.cmml"><mi id="A4.Ex67.m1.3.3.3.1.1.1.2.2" xref="A4.Ex67.m1.3.3.3.1.1.1.2.2.cmml">V</mi><mi id="A4.Ex67.m1.3.3.3.1.1.1.2.3" xref="A4.Ex67.m1.3.3.3.1.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A4.Ex67.m1.3.3.3.1.1.3" xref="A4.Ex67.m1.3.3.3.1.2.1.cmml">‖</mo></mrow><mi id="A4.Ex67.m1.3.3.3.3" xref="A4.Ex67.m1.3.3.3.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex67.m1.3b"><apply id="A4.Ex67.m1.3.3.cmml" xref="A4.Ex67.m1.3.3"><and id="A4.Ex67.m1.3.3a.cmml" xref="A4.Ex67.m1.3.3"></and><apply id="A4.Ex67.m1.3.3b.cmml" xref="A4.Ex67.m1.3.3"><leq id="A4.Ex67.m1.3.3.5.cmml" xref="A4.Ex67.m1.3.3.5"></leq><apply id="A4.Ex67.m1.1.1.1.cmml" xref="A4.Ex67.m1.1.1.1"><divide id="A4.Ex67.m1.1.1.1.2.cmml" xref="A4.Ex67.m1.1.1.1.2"></divide><apply id="A4.Ex67.m1.1.1.1.1.cmml" xref="A4.Ex67.m1.1.1.1.1"><csymbol cd="ambiguous" id="A4.Ex67.m1.1.1.1.1.2.cmml" xref="A4.Ex67.m1.1.1.1.1">subscript</csymbol><apply id="A4.Ex67.m1.1.1.1.1.1.2.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="A4.Ex67.m1.1.1.1.1.1.2.1.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.2">norm</csymbol><apply id="A4.Ex67.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1"><apply id="A4.Ex67.m1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A4.Ex67.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A4.Ex67.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.1.2">∇</ci><ci id="A4.Ex67.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.1.3">𝑈</ci></apply><apply id="A4.Ex67.m1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex67.m1.1.1.1.1.1.1.1.2.1.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="A4.Ex67.m1.1.1.1.1.1.1.1.2.2.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.2.2">𝑉</ci><ci id="A4.Ex67.m1.1.1.1.1.1.1.1.2.3.cmml" xref="A4.Ex67.m1.1.1.1.1.1.1.1.2.3">𝑇</ci></apply></apply></apply><ci id="A4.Ex67.m1.1.1.1.1.3.cmml" xref="A4.Ex67.m1.1.1.1.1.3">𝐹</ci></apply><apply id="A4.Ex67.m1.1.1.1.3.cmml" xref="A4.Ex67.m1.1.1.1.3"><root id="A4.Ex67.m1.1.1.1.3a.cmml" xref="A4.Ex67.m1.1.1.1.3"></root><cn type="integer" id="A4.Ex67.m1.1.1.1.3.2.cmml" xref="A4.Ex67.m1.1.1.1.3.2">2</cn></apply></apply><apply id="A4.Ex67.m1.2.2.2.2.cmml" xref="A4.Ex67.m1.2.2.2.1"><csymbol cd="latexml" id="A4.Ex67.m1.2.2.2.2.1.cmml" xref="A4.Ex67.m1.2.2.2.1.2">norm</csymbol><apply id="A4.Ex67.m1.2.2.2.1.1.cmml" xref="A4.Ex67.m1.2.2.2.1.1"><apply id="A4.Ex67.m1.2.2.2.1.1.1.cmml" xref="A4.Ex67.m1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="A4.Ex67.m1.2.2.2.1.1.1.1.cmml" xref="A4.Ex67.m1.2.2.2.1.1.1">subscript</csymbol><ci id="A4.Ex67.m1.2.2.2.1.1.1.2.cmml" xref="A4.Ex67.m1.2.2.2.1.1.1.2">∇</ci><ci id="A4.Ex67.m1.2.2.2.1.1.1.3.cmml" xref="A4.Ex67.m1.2.2.2.1.1.1.3">𝑈</ci></apply><apply id="A4.Ex67.m1.2.2.2.1.1.2.cmml" xref="A4.Ex67.m1.2.2.2.1.1.2"><csymbol cd="ambiguous" id="A4.Ex67.m1.2.2.2.1.1.2.1.cmml" xref="A4.Ex67.m1.2.2.2.1.1.2">superscript</csymbol><ci id="A4.Ex67.m1.2.2.2.1.1.2.2.cmml" xref="A4.Ex67.m1.2.2.2.1.1.2.2">𝑉</ci><ci id="A4.Ex67.m1.2.2.2.1.1.2.3.cmml" xref="A4.Ex67.m1.2.2.2.1.1.2.3">𝑇</ci></apply></apply></apply></apply><apply id="A4.Ex67.m1.3.3c.cmml" xref="A4.Ex67.m1.3.3"><leq id="A4.Ex67.m1.3.3.6.cmml" xref="A4.Ex67.m1.3.3.6"></leq><share href="#A4.Ex67.m1.2.2.2.cmml" id="A4.Ex67.m1.3.3d.cmml" xref="A4.Ex67.m1.3.3"></share><apply id="A4.Ex67.m1.3.3.3.cmml" xref="A4.Ex67.m1.3.3.3"><csymbol cd="ambiguous" id="A4.Ex67.m1.3.3.3.2.cmml" xref="A4.Ex67.m1.3.3.3">subscript</csymbol><apply id="A4.Ex67.m1.3.3.3.1.2.cmml" xref="A4.Ex67.m1.3.3.3.1.1"><csymbol cd="latexml" id="A4.Ex67.m1.3.3.3.1.2.1.cmml" xref="A4.Ex67.m1.3.3.3.1.1.2">norm</csymbol><apply id="A4.Ex67.m1.3.3.3.1.1.1.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1"><apply id="A4.Ex67.m1.3.3.3.1.1.1.1.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.1"><csymbol cd="ambiguous" id="A4.Ex67.m1.3.3.3.1.1.1.1.1.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.1">subscript</csymbol><ci id="A4.Ex67.m1.3.3.3.1.1.1.1.2.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.1.2">∇</ci><ci id="A4.Ex67.m1.3.3.3.1.1.1.1.3.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.1.3">𝑈</ci></apply><apply id="A4.Ex67.m1.3.3.3.1.1.1.2.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex67.m1.3.3.3.1.1.1.2.1.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.2">superscript</csymbol><ci id="A4.Ex67.m1.3.3.3.1.1.1.2.2.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.2.2">𝑉</ci><ci id="A4.Ex67.m1.3.3.3.1.1.1.2.3.cmml" xref="A4.Ex67.m1.3.3.3.1.1.1.2.3">𝑇</ci></apply></apply></apply><ci id="A4.Ex67.m1.3.3.3.3.cmml" xref="A4.Ex67.m1.3.3.3.3">𝐹</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex67.m1.3c">\|\nabla_{U}V^{T}\|_{F}/\sqrt{2}\leq\|\nabla_{U}V^{T}\|\leq\|\nabla_{U}V^{T}\|_{F}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A4.SS1.SSS2.p8" class="ltx_para">
<span id="A4.SS1.SSS2.p8.3" class="ltx_ERROR undefined">\subsubsubsection</span>
<p id="A4.SS1.SSS2.p8.2" class="ltx_p">Gradient with respect to <math id="A4.SS1.SSS2.p8.1.m1.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A4.SS1.SSS2.p8.1.m1.1a"><mi id="A4.SS1.SSS2.p8.1.m1.1.1" xref="A4.SS1.SSS2.p8.1.m1.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p8.1.m1.1b"><ci id="A4.SS1.SSS2.p8.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p8.1.m1.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p8.1.m1.1c">V</annotation></semantics></math> on group <math id="A4.SS1.SSS2.p8.2.m2.1" class="ltx_Math" alttext="A_{U}(V)" display="inline"><semantics id="A4.SS1.SSS2.p8.2.m2.1a"><mrow id="A4.SS1.SSS2.p8.2.m2.1.2" xref="A4.SS1.SSS2.p8.2.m2.1.2.cmml"><msub id="A4.SS1.SSS2.p8.2.m2.1.2.2" xref="A4.SS1.SSS2.p8.2.m2.1.2.2.cmml"><mi id="A4.SS1.SSS2.p8.2.m2.1.2.2.2" xref="A4.SS1.SSS2.p8.2.m2.1.2.2.2.cmml">A</mi><mi id="A4.SS1.SSS2.p8.2.m2.1.2.2.3" xref="A4.SS1.SSS2.p8.2.m2.1.2.2.3.cmml">U</mi></msub><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p8.2.m2.1.2.1" xref="A4.SS1.SSS2.p8.2.m2.1.2.1.cmml">​</mo><mrow id="A4.SS1.SSS2.p8.2.m2.1.2.3.2" xref="A4.SS1.SSS2.p8.2.m2.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p8.2.m2.1.2.3.2.1" xref="A4.SS1.SSS2.p8.2.m2.1.2.cmml">(</mo><mi id="A4.SS1.SSS2.p8.2.m2.1.1" xref="A4.SS1.SSS2.p8.2.m2.1.1.cmml">V</mi><mo stretchy="false" id="A4.SS1.SSS2.p8.2.m2.1.2.3.2.2" xref="A4.SS1.SSS2.p8.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p8.2.m2.1b"><apply id="A4.SS1.SSS2.p8.2.m2.1.2.cmml" xref="A4.SS1.SSS2.p8.2.m2.1.2"><times id="A4.SS1.SSS2.p8.2.m2.1.2.1.cmml" xref="A4.SS1.SSS2.p8.2.m2.1.2.1"></times><apply id="A4.SS1.SSS2.p8.2.m2.1.2.2.cmml" xref="A4.SS1.SSS2.p8.2.m2.1.2.2"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p8.2.m2.1.2.2.1.cmml" xref="A4.SS1.SSS2.p8.2.m2.1.2.2">subscript</csymbol><ci id="A4.SS1.SSS2.p8.2.m2.1.2.2.2.cmml" xref="A4.SS1.SSS2.p8.2.m2.1.2.2.2">𝐴</ci><ci id="A4.SS1.SSS2.p8.2.m2.1.2.2.3.cmml" xref="A4.SS1.SSS2.p8.2.m2.1.2.2.3">𝑈</ci></apply><ci id="A4.SS1.SSS2.p8.2.m2.1.1.cmml" xref="A4.SS1.SSS2.p8.2.m2.1.1">𝑉</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p8.2.m2.1c">A_{U}(V)</annotation></semantics></math></p>
</div>
<div id="A4.SS1.SSS2.p9" class="ltx_para">
<p id="A4.SS1.SSS2.p9.7" class="ltx_p">As</p>
<table id="A4.Ex68" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex68.m1.3" class="ltx_Math" alttext="dA=(I+U\mathcal{E}^{T})(I+UV^{T})-(I+UV^{T})=U\mathcal{E}^{T}A" display="block"><semantics id="A4.Ex68.m1.3a"><mrow id="A4.Ex68.m1.3.3" xref="A4.Ex68.m1.3.3.cmml"><mrow id="A4.Ex68.m1.3.3.5" xref="A4.Ex68.m1.3.3.5.cmml"><mi id="A4.Ex68.m1.3.3.5.2" xref="A4.Ex68.m1.3.3.5.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A4.Ex68.m1.3.3.5.1" xref="A4.Ex68.m1.3.3.5.1.cmml">​</mo><mi id="A4.Ex68.m1.3.3.5.3" xref="A4.Ex68.m1.3.3.5.3.cmml">A</mi></mrow><mo id="A4.Ex68.m1.3.3.6" xref="A4.Ex68.m1.3.3.6.cmml">=</mo><mrow id="A4.Ex68.m1.3.3.3" xref="A4.Ex68.m1.3.3.3.cmml"><mrow id="A4.Ex68.m1.2.2.2.2" xref="A4.Ex68.m1.2.2.2.2.cmml"><mrow id="A4.Ex68.m1.1.1.1.1.1.1" xref="A4.Ex68.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex68.m1.1.1.1.1.1.1.2" xref="A4.Ex68.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex68.m1.1.1.1.1.1.1.1" xref="A4.Ex68.m1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex68.m1.1.1.1.1.1.1.1.2" xref="A4.Ex68.m1.1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A4.Ex68.m1.1.1.1.1.1.1.1.1" xref="A4.Ex68.m1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.Ex68.m1.1.1.1.1.1.1.1.3" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.cmml"><mi id="A4.Ex68.m1.1.1.1.1.1.1.1.3.2" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.Ex68.m1.1.1.1.1.1.1.1.3.1" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex68.m1.1.1.1.1.1.1.1.3.3" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.2" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.2.cmml">ℰ</mi><mi id="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.3" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex68.m1.1.1.1.1.1.1.3" xref="A4.Ex68.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex68.m1.2.2.2.2.3" xref="A4.Ex68.m1.2.2.2.2.3.cmml">​</mo><mrow id="A4.Ex68.m1.2.2.2.2.2.1" xref="A4.Ex68.m1.2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A4.Ex68.m1.2.2.2.2.2.1.2" xref="A4.Ex68.m1.2.2.2.2.2.1.1.cmml">(</mo><mrow id="A4.Ex68.m1.2.2.2.2.2.1.1" xref="A4.Ex68.m1.2.2.2.2.2.1.1.cmml"><mi id="A4.Ex68.m1.2.2.2.2.2.1.1.2" xref="A4.Ex68.m1.2.2.2.2.2.1.1.2.cmml">I</mi><mo id="A4.Ex68.m1.2.2.2.2.2.1.1.1" xref="A4.Ex68.m1.2.2.2.2.2.1.1.1.cmml">+</mo><mrow id="A4.Ex68.m1.2.2.2.2.2.1.1.3" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.cmml"><mi id="A4.Ex68.m1.2.2.2.2.2.1.1.3.2" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.Ex68.m1.2.2.2.2.2.1.1.3.1" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.1.cmml">​</mo><msup id="A4.Ex68.m1.2.2.2.2.2.1.1.3.3" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.cmml"><mi id="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.2" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.3" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex68.m1.2.2.2.2.2.1.3" xref="A4.Ex68.m1.2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="A4.Ex68.m1.3.3.3.4" xref="A4.Ex68.m1.3.3.3.4.cmml">−</mo><mrow id="A4.Ex68.m1.3.3.3.3.1" xref="A4.Ex68.m1.3.3.3.3.1.1.cmml"><mo stretchy="false" id="A4.Ex68.m1.3.3.3.3.1.2" xref="A4.Ex68.m1.3.3.3.3.1.1.cmml">(</mo><mrow id="A4.Ex68.m1.3.3.3.3.1.1" xref="A4.Ex68.m1.3.3.3.3.1.1.cmml"><mi id="A4.Ex68.m1.3.3.3.3.1.1.2" xref="A4.Ex68.m1.3.3.3.3.1.1.2.cmml">I</mi><mo id="A4.Ex68.m1.3.3.3.3.1.1.1" xref="A4.Ex68.m1.3.3.3.3.1.1.1.cmml">+</mo><mrow id="A4.Ex68.m1.3.3.3.3.1.1.3" xref="A4.Ex68.m1.3.3.3.3.1.1.3.cmml"><mi id="A4.Ex68.m1.3.3.3.3.1.1.3.2" xref="A4.Ex68.m1.3.3.3.3.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.Ex68.m1.3.3.3.3.1.1.3.1" xref="A4.Ex68.m1.3.3.3.3.1.1.3.1.cmml">​</mo><msup id="A4.Ex68.m1.3.3.3.3.1.1.3.3" xref="A4.Ex68.m1.3.3.3.3.1.1.3.3.cmml"><mi id="A4.Ex68.m1.3.3.3.3.1.1.3.3.2" xref="A4.Ex68.m1.3.3.3.3.1.1.3.3.2.cmml">V</mi><mi id="A4.Ex68.m1.3.3.3.3.1.1.3.3.3" xref="A4.Ex68.m1.3.3.3.3.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex68.m1.3.3.3.3.1.3" xref="A4.Ex68.m1.3.3.3.3.1.1.cmml">)</mo></mrow></mrow><mo id="A4.Ex68.m1.3.3.7" xref="A4.Ex68.m1.3.3.7.cmml">=</mo><mrow id="A4.Ex68.m1.3.3.8" xref="A4.Ex68.m1.3.3.8.cmml"><mi id="A4.Ex68.m1.3.3.8.2" xref="A4.Ex68.m1.3.3.8.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.Ex68.m1.3.3.8.1" xref="A4.Ex68.m1.3.3.8.1.cmml">​</mo><msup id="A4.Ex68.m1.3.3.8.3" xref="A4.Ex68.m1.3.3.8.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.Ex68.m1.3.3.8.3.2" xref="A4.Ex68.m1.3.3.8.3.2.cmml">ℰ</mi><mi id="A4.Ex68.m1.3.3.8.3.3" xref="A4.Ex68.m1.3.3.8.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A4.Ex68.m1.3.3.8.1a" xref="A4.Ex68.m1.3.3.8.1.cmml">​</mo><mi id="A4.Ex68.m1.3.3.8.4" xref="A4.Ex68.m1.3.3.8.4.cmml">A</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex68.m1.3b"><apply id="A4.Ex68.m1.3.3.cmml" xref="A4.Ex68.m1.3.3"><and id="A4.Ex68.m1.3.3a.cmml" xref="A4.Ex68.m1.3.3"></and><apply id="A4.Ex68.m1.3.3b.cmml" xref="A4.Ex68.m1.3.3"><eq id="A4.Ex68.m1.3.3.6.cmml" xref="A4.Ex68.m1.3.3.6"></eq><apply id="A4.Ex68.m1.3.3.5.cmml" xref="A4.Ex68.m1.3.3.5"><times id="A4.Ex68.m1.3.3.5.1.cmml" xref="A4.Ex68.m1.3.3.5.1"></times><ci id="A4.Ex68.m1.3.3.5.2.cmml" xref="A4.Ex68.m1.3.3.5.2">𝑑</ci><ci id="A4.Ex68.m1.3.3.5.3.cmml" xref="A4.Ex68.m1.3.3.5.3">𝐴</ci></apply><apply id="A4.Ex68.m1.3.3.3.cmml" xref="A4.Ex68.m1.3.3.3"><minus id="A4.Ex68.m1.3.3.3.4.cmml" xref="A4.Ex68.m1.3.3.3.4"></minus><apply id="A4.Ex68.m1.2.2.2.2.cmml" xref="A4.Ex68.m1.2.2.2.2"><times id="A4.Ex68.m1.2.2.2.2.3.cmml" xref="A4.Ex68.m1.2.2.2.2.3"></times><apply id="A4.Ex68.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1"><plus id="A4.Ex68.m1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.1"></plus><ci id="A4.Ex68.m1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.2">𝐼</ci><apply id="A4.Ex68.m1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3"><times id="A4.Ex68.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.1"></times><ci id="A4.Ex68.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.2">𝑈</ci><apply id="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.2">ℰ</ci><ci id="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex68.m1.1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="A4.Ex68.m1.2.2.2.2.2.1.1.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1"><plus id="A4.Ex68.m1.2.2.2.2.2.1.1.1.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.1"></plus><ci id="A4.Ex68.m1.2.2.2.2.2.1.1.2.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.2">𝐼</ci><apply id="A4.Ex68.m1.2.2.2.2.2.1.1.3.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3"><times id="A4.Ex68.m1.2.2.2.2.2.1.1.3.1.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.1"></times><ci id="A4.Ex68.m1.2.2.2.2.2.1.1.3.2.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.2">𝑈</ci><apply id="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.1.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.3">superscript</csymbol><ci id="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.2.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.2">𝑉</ci><ci id="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.3.cmml" xref="A4.Ex68.m1.2.2.2.2.2.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply><apply id="A4.Ex68.m1.3.3.3.3.1.1.cmml" xref="A4.Ex68.m1.3.3.3.3.1"><plus id="A4.Ex68.m1.3.3.3.3.1.1.1.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.1"></plus><ci id="A4.Ex68.m1.3.3.3.3.1.1.2.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.2">𝐼</ci><apply id="A4.Ex68.m1.3.3.3.3.1.1.3.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.3"><times id="A4.Ex68.m1.3.3.3.3.1.1.3.1.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.3.1"></times><ci id="A4.Ex68.m1.3.3.3.3.1.1.3.2.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.3.2">𝑈</ci><apply id="A4.Ex68.m1.3.3.3.3.1.1.3.3.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex68.m1.3.3.3.3.1.1.3.3.1.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.3.3">superscript</csymbol><ci id="A4.Ex68.m1.3.3.3.3.1.1.3.3.2.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.3.3.2">𝑉</ci><ci id="A4.Ex68.m1.3.3.3.3.1.1.3.3.3.cmml" xref="A4.Ex68.m1.3.3.3.3.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply><apply id="A4.Ex68.m1.3.3c.cmml" xref="A4.Ex68.m1.3.3"><eq id="A4.Ex68.m1.3.3.7.cmml" xref="A4.Ex68.m1.3.3.7"></eq><share href="#A4.Ex68.m1.3.3.3.cmml" id="A4.Ex68.m1.3.3d.cmml" xref="A4.Ex68.m1.3.3"></share><apply id="A4.Ex68.m1.3.3.8.cmml" xref="A4.Ex68.m1.3.3.8"><times id="A4.Ex68.m1.3.3.8.1.cmml" xref="A4.Ex68.m1.3.3.8.1"></times><ci id="A4.Ex68.m1.3.3.8.2.cmml" xref="A4.Ex68.m1.3.3.8.2">𝑈</ci><apply id="A4.Ex68.m1.3.3.8.3.cmml" xref="A4.Ex68.m1.3.3.8.3"><csymbol cd="ambiguous" id="A4.Ex68.m1.3.3.8.3.1.cmml" xref="A4.Ex68.m1.3.3.8.3">superscript</csymbol><ci id="A4.Ex68.m1.3.3.8.3.2.cmml" xref="A4.Ex68.m1.3.3.8.3.2">ℰ</ci><ci id="A4.Ex68.m1.3.3.8.3.3.cmml" xref="A4.Ex68.m1.3.3.8.3.3">𝑇</ci></apply><ci id="A4.Ex68.m1.3.3.8.4.cmml" xref="A4.Ex68.m1.3.3.8.4">𝐴</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex68.m1.3c">dA=(I+U\mathcal{E}^{T})(I+UV^{T})-(I+UV^{T})=U\mathcal{E}^{T}A</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p9.2" class="ltx_p">we replace the <math id="A4.SS1.SSS2.p9.1.m1.1" class="ltx_Math" alttext="\mathcal{E}_{1}" display="inline"><semantics id="A4.SS1.SSS2.p9.1.m1.1a"><msub id="A4.SS1.SSS2.p9.1.m1.1.1" xref="A4.SS1.SSS2.p9.1.m1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p9.1.m1.1.1.2" xref="A4.SS1.SSS2.p9.1.m1.1.1.2.cmml">ℰ</mi><mn id="A4.SS1.SSS2.p9.1.m1.1.1.3" xref="A4.SS1.SSS2.p9.1.m1.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p9.1.m1.1b"><apply id="A4.SS1.SSS2.p9.1.m1.1.1.cmml" xref="A4.SS1.SSS2.p9.1.m1.1.1"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p9.1.m1.1.1.1.cmml" xref="A4.SS1.SSS2.p9.1.m1.1.1">subscript</csymbol><ci id="A4.SS1.SSS2.p9.1.m1.1.1.2.cmml" xref="A4.SS1.SSS2.p9.1.m1.1.1.2">ℰ</ci><cn type="integer" id="A4.SS1.SSS2.p9.1.m1.1.1.3.cmml" xref="A4.SS1.SSS2.p9.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p9.1.m1.1c">\mathcal{E}_{1}</annotation></semantics></math> in (<a href="#A4.E19" title="Equation 19 ‣ D.1.2 The gradients for preconditioner updating ‣ D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a>) with <math id="A4.SS1.SSS2.p9.2.m2.1" class="ltx_Math" alttext="U\mathcal{E}^{T}" display="inline"><semantics id="A4.SS1.SSS2.p9.2.m2.1a"><mrow id="A4.SS1.SSS2.p9.2.m2.1.1" xref="A4.SS1.SSS2.p9.2.m2.1.1.cmml"><mi id="A4.SS1.SSS2.p9.2.m2.1.1.2" xref="A4.SS1.SSS2.p9.2.m2.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p9.2.m2.1.1.1" xref="A4.SS1.SSS2.p9.2.m2.1.1.1.cmml">​</mo><msup id="A4.SS1.SSS2.p9.2.m2.1.1.3" xref="A4.SS1.SSS2.p9.2.m2.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A4.SS1.SSS2.p9.2.m2.1.1.3.2" xref="A4.SS1.SSS2.p9.2.m2.1.1.3.2.cmml">ℰ</mi><mi id="A4.SS1.SSS2.p9.2.m2.1.1.3.3" xref="A4.SS1.SSS2.p9.2.m2.1.1.3.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p9.2.m2.1b"><apply id="A4.SS1.SSS2.p9.2.m2.1.1.cmml" xref="A4.SS1.SSS2.p9.2.m2.1.1"><times id="A4.SS1.SSS2.p9.2.m2.1.1.1.cmml" xref="A4.SS1.SSS2.p9.2.m2.1.1.1"></times><ci id="A4.SS1.SSS2.p9.2.m2.1.1.2.cmml" xref="A4.SS1.SSS2.p9.2.m2.1.1.2">𝑈</ci><apply id="A4.SS1.SSS2.p9.2.m2.1.1.3.cmml" xref="A4.SS1.SSS2.p9.2.m2.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p9.2.m2.1.1.3.1.cmml" xref="A4.SS1.SSS2.p9.2.m2.1.1.3">superscript</csymbol><ci id="A4.SS1.SSS2.p9.2.m2.1.1.3.2.cmml" xref="A4.SS1.SSS2.p9.2.m2.1.1.3.2">ℰ</ci><ci id="A4.SS1.SSS2.p9.2.m2.1.1.3.3.cmml" xref="A4.SS1.SSS2.p9.2.m2.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p9.2.m2.1c">U\mathcal{E}^{T}</annotation></semantics></math> to give gradient</p>
<table id="A4.Ex69" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex69.m1.1" class="ltx_Math" alttext="0.5\nabla_{V}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]U" display="block"><semantics id="A4.Ex69.m1.1a"><mrow id="A4.Ex69.m1.1.1" xref="A4.Ex69.m1.1.1.cmml"><mrow id="A4.Ex69.m1.1.1.3" xref="A4.Ex69.m1.1.1.3.cmml"><mn id="A4.Ex69.m1.1.1.3.2" xref="A4.Ex69.m1.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="A4.Ex69.m1.1.1.3.1" xref="A4.Ex69.m1.1.1.3.1.cmml">​</mo><msub id="A4.Ex69.m1.1.1.3.3" xref="A4.Ex69.m1.1.1.3.3.cmml"><mo id="A4.Ex69.m1.1.1.3.3.2" xref="A4.Ex69.m1.1.1.3.3.2.cmml">∇</mo><mi id="A4.Ex69.m1.1.1.3.3.3" xref="A4.Ex69.m1.1.1.3.3.3.cmml">V</mi></msub></mrow><mo id="A4.Ex69.m1.1.1.2" xref="A4.Ex69.m1.1.1.2.cmml">=</mo><mrow id="A4.Ex69.m1.1.1.1" xref="A4.Ex69.m1.1.1.1.cmml"><mrow id="A4.Ex69.m1.1.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.2" xref="A4.Ex69.m1.1.1.1.1.2.1.cmml">[</mo><mrow id="A4.Ex69.m1.1.1.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.cmml"><mrow id="A4.Ex69.m1.1.1.1.1.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.2.cmml"><mrow id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex69.m1.1.1.1.1.1.1.2.3" xref="A4.Ex69.m1.1.1.1.1.1.1.2.3.cmml">​</mo><msup id="A4.Ex69.m1.1.1.1.1.1.1.2.2" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.cmml"><mrow id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.cmml">(</mo><mrow id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mi id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.1.cmml">​</mo><mi id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.cmml">)</mo></mrow><mi id="A4.Ex69.m1.1.1.1.1.1.1.2.2.3" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.3.cmml">T</mi></msup></mrow><mo id="A4.Ex69.m1.1.1.1.1.1.1.5" xref="A4.Ex69.m1.1.1.1.1.1.1.5.cmml">−</mo><mrow id="A4.Ex69.m1.1.1.1.1.1.1.4" xref="A4.Ex69.m1.1.1.1.1.1.1.4.cmml"><mrow id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.cmml"><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.cmml"><msup id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.cmml"><mi id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.2" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.2.cmml">Q</mi><mrow id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.cmml"><mo id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3a" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.cmml">−</mo><mi id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.2" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.1.cmml">​</mo><mi id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex69.m1.1.1.1.1.1.1.4.3" xref="A4.Ex69.m1.1.1.1.1.1.1.4.3.cmml">​</mo><msup id="A4.Ex69.m1.1.1.1.1.1.1.4.2" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.cmml"><mrow id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.cmml"><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.cmml">(</mo><mrow id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.cmml"><msup id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.cmml"><mi id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.2" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml"><mo id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3a" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml">−</mo><mi id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.1" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.1.cmml">​</mo><mi id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.3" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.cmml">)</mo></mrow><mi id="A4.Ex69.m1.1.1.1.1.1.1.4.2.3" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex69.m1.1.1.1.1.1.3" xref="A4.Ex69.m1.1.1.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A4.Ex69.m1.1.1.1.2" xref="A4.Ex69.m1.1.1.1.2.cmml">​</mo><mi id="A4.Ex69.m1.1.1.1.3" xref="A4.Ex69.m1.1.1.1.3.cmml">U</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex69.m1.1b"><apply id="A4.Ex69.m1.1.1.cmml" xref="A4.Ex69.m1.1.1"><eq id="A4.Ex69.m1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.2"></eq><apply id="A4.Ex69.m1.1.1.3.cmml" xref="A4.Ex69.m1.1.1.3"><times id="A4.Ex69.m1.1.1.3.1.cmml" xref="A4.Ex69.m1.1.1.3.1"></times><cn type="float" id="A4.Ex69.m1.1.1.3.2.cmml" xref="A4.Ex69.m1.1.1.3.2">0.5</cn><apply id="A4.Ex69.m1.1.1.3.3.cmml" xref="A4.Ex69.m1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex69.m1.1.1.3.3.1.cmml" xref="A4.Ex69.m1.1.1.3.3">subscript</csymbol><ci id="A4.Ex69.m1.1.1.3.3.2.cmml" xref="A4.Ex69.m1.1.1.3.3.2">∇</ci><ci id="A4.Ex69.m1.1.1.3.3.3.cmml" xref="A4.Ex69.m1.1.1.3.3.3">𝑉</ci></apply></apply><apply id="A4.Ex69.m1.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1"><times id="A4.Ex69.m1.1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.1.2"></times><apply id="A4.Ex69.m1.1.1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1"><csymbol cd="latexml" id="A4.Ex69.m1.1.1.1.1.2.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A4.Ex69.m1.1.1.1.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1"><minus id="A4.Ex69.m1.1.1.1.1.1.1.5.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.5"></minus><apply id="A4.Ex69.m1.1.1.1.1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2"><times id="A4.Ex69.m1.1.1.1.1.1.1.2.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.3"></times><apply id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1"><times id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A4.Ex69.m1.1.1.1.1.1.1.2.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A4.Ex69.m1.1.1.1.1.1.1.2.2.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2">superscript</csymbol><apply id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1"><times id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.1"></times><ci id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.2">𝑄</ci><ci id="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.1.1.1.3">ℎ</ci></apply><ci id="A4.Ex69.m1.1.1.1.1.1.1.2.2.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.2.2.3">𝑇</ci></apply></apply><apply id="A4.Ex69.m1.1.1.1.1.1.1.4.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4"><times id="A4.Ex69.m1.1.1.1.1.1.1.4.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.3"></times><apply id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1"><times id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.1"></times><apply id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2">superscript</csymbol><ci id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.2">𝑄</ci><apply id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3"><minus id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3"></minus><ci id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.3.1.1.1.3">𝑣</ci></apply><apply id="A4.Ex69.m1.1.1.1.1.1.1.4.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="A4.Ex69.m1.1.1.1.1.1.1.4.2.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2">superscript</csymbol><apply id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1"><times id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.1"></times><apply id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2"><csymbol cd="ambiguous" id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2">superscript</csymbol><ci id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.2">𝑄</ci><apply id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3"><minus id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.1.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3"></minus><ci id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.1.1.1.3">𝑣</ci></apply><ci id="A4.Ex69.m1.1.1.1.1.1.1.4.2.3.cmml" xref="A4.Ex69.m1.1.1.1.1.1.1.4.2.3">𝑇</ci></apply></apply></apply></apply><ci id="A4.Ex69.m1.1.1.1.3.cmml" xref="A4.Ex69.m1.1.1.1.3">𝑈</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex69.m1.1c">0.5\nabla_{V}=[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]U</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p9.3" class="ltx_p">Thus, we update <math id="A4.SS1.SSS2.p9.3.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A4.SS1.SSS2.p9.3.m1.1a"><mi id="A4.SS1.SSS2.p9.3.m1.1.1" xref="A4.SS1.SSS2.p9.3.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p9.3.m1.1b"><ci id="A4.SS1.SSS2.p9.3.m1.1.1.cmml" xref="A4.SS1.SSS2.p9.3.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p9.3.m1.1c">A</annotation></semantics></math> as</p>
<table id="A4.Ex70" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex70.m1.1" class="ltx_Math" alttext="A\leftarrow A-\mu U\nabla_{V}^{T}A" display="block"><semantics id="A4.Ex70.m1.1a"><mrow id="A4.Ex70.m1.1.1" xref="A4.Ex70.m1.1.1.cmml"><mi id="A4.Ex70.m1.1.1.2" xref="A4.Ex70.m1.1.1.2.cmml">A</mi><mo stretchy="false" id="A4.Ex70.m1.1.1.1" xref="A4.Ex70.m1.1.1.1.cmml">←</mo><mrow id="A4.Ex70.m1.1.1.3" xref="A4.Ex70.m1.1.1.3.cmml"><mi id="A4.Ex70.m1.1.1.3.2" xref="A4.Ex70.m1.1.1.3.2.cmml">A</mi><mo id="A4.Ex70.m1.1.1.3.1" xref="A4.Ex70.m1.1.1.3.1.cmml">−</mo><mrow id="A4.Ex70.m1.1.1.3.3" xref="A4.Ex70.m1.1.1.3.3.cmml"><mi id="A4.Ex70.m1.1.1.3.3.2" xref="A4.Ex70.m1.1.1.3.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.Ex70.m1.1.1.3.3.1" xref="A4.Ex70.m1.1.1.3.3.1.cmml">​</mo><mi id="A4.Ex70.m1.1.1.3.3.3" xref="A4.Ex70.m1.1.1.3.3.3.cmml">U</mi><mo lspace="0.167em" rspace="0em" id="A4.Ex70.m1.1.1.3.3.1a" xref="A4.Ex70.m1.1.1.3.3.1.cmml">​</mo><mrow id="A4.Ex70.m1.1.1.3.3.4" xref="A4.Ex70.m1.1.1.3.3.4.cmml"><msubsup id="A4.Ex70.m1.1.1.3.3.4.1" xref="A4.Ex70.m1.1.1.3.3.4.1.cmml"><mo rspace="0.167em" id="A4.Ex70.m1.1.1.3.3.4.1.2.2" xref="A4.Ex70.m1.1.1.3.3.4.1.2.2.cmml">∇</mo><mi id="A4.Ex70.m1.1.1.3.3.4.1.2.3" xref="A4.Ex70.m1.1.1.3.3.4.1.2.3.cmml">V</mi><mi id="A4.Ex70.m1.1.1.3.3.4.1.3" xref="A4.Ex70.m1.1.1.3.3.4.1.3.cmml">T</mi></msubsup><mi id="A4.Ex70.m1.1.1.3.3.4.2" xref="A4.Ex70.m1.1.1.3.3.4.2.cmml">A</mi></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex70.m1.1b"><apply id="A4.Ex70.m1.1.1.cmml" xref="A4.Ex70.m1.1.1"><ci id="A4.Ex70.m1.1.1.1.cmml" xref="A4.Ex70.m1.1.1.1">←</ci><ci id="A4.Ex70.m1.1.1.2.cmml" xref="A4.Ex70.m1.1.1.2">𝐴</ci><apply id="A4.Ex70.m1.1.1.3.cmml" xref="A4.Ex70.m1.1.1.3"><minus id="A4.Ex70.m1.1.1.3.1.cmml" xref="A4.Ex70.m1.1.1.3.1"></minus><ci id="A4.Ex70.m1.1.1.3.2.cmml" xref="A4.Ex70.m1.1.1.3.2">𝐴</ci><apply id="A4.Ex70.m1.1.1.3.3.cmml" xref="A4.Ex70.m1.1.1.3.3"><times id="A4.Ex70.m1.1.1.3.3.1.cmml" xref="A4.Ex70.m1.1.1.3.3.1"></times><ci id="A4.Ex70.m1.1.1.3.3.2.cmml" xref="A4.Ex70.m1.1.1.3.3.2">𝜇</ci><ci id="A4.Ex70.m1.1.1.3.3.3.cmml" xref="A4.Ex70.m1.1.1.3.3.3">𝑈</ci><apply id="A4.Ex70.m1.1.1.3.3.4.cmml" xref="A4.Ex70.m1.1.1.3.3.4"><apply id="A4.Ex70.m1.1.1.3.3.4.1.cmml" xref="A4.Ex70.m1.1.1.3.3.4.1"><csymbol cd="ambiguous" id="A4.Ex70.m1.1.1.3.3.4.1.1.cmml" xref="A4.Ex70.m1.1.1.3.3.4.1">superscript</csymbol><apply id="A4.Ex70.m1.1.1.3.3.4.1.2.cmml" xref="A4.Ex70.m1.1.1.3.3.4.1"><csymbol cd="ambiguous" id="A4.Ex70.m1.1.1.3.3.4.1.2.1.cmml" xref="A4.Ex70.m1.1.1.3.3.4.1">subscript</csymbol><ci id="A4.Ex70.m1.1.1.3.3.4.1.2.2.cmml" xref="A4.Ex70.m1.1.1.3.3.4.1.2.2">∇</ci><ci id="A4.Ex70.m1.1.1.3.3.4.1.2.3.cmml" xref="A4.Ex70.m1.1.1.3.3.4.1.2.3">𝑉</ci></apply><ci id="A4.Ex70.m1.1.1.3.3.4.1.3.cmml" xref="A4.Ex70.m1.1.1.3.3.4.1.3">𝑇</ci></apply><ci id="A4.Ex70.m1.1.1.3.3.4.2.cmml" xref="A4.Ex70.m1.1.1.3.3.4.2">𝐴</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex70.m1.1c">A\leftarrow A-\mu U\nabla_{V}^{T}A</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p9.4" class="ltx_p">which implies that its parameter <math id="A4.SS1.SSS2.p9.4.m1.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A4.SS1.SSS2.p9.4.m1.1a"><mi id="A4.SS1.SSS2.p9.4.m1.1.1" xref="A4.SS1.SSS2.p9.4.m1.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p9.4.m1.1b"><ci id="A4.SS1.SSS2.p9.4.m1.1.1.cmml" xref="A4.SS1.SSS2.p9.4.m1.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p9.4.m1.1c">V</annotation></semantics></math> should be updated as</p>
<table id="A4.Ex71" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A4.Ex71.m1.1" class="ltx_Math" alttext="V\leftarrow V-\mu(I+VU^{T})\nabla_{V}" display="block"><semantics id="A4.Ex71.m1.1a"><mrow id="A4.Ex71.m1.1.1" xref="A4.Ex71.m1.1.1.cmml"><mi id="A4.Ex71.m1.1.1.3" xref="A4.Ex71.m1.1.1.3.cmml">V</mi><mo stretchy="false" id="A4.Ex71.m1.1.1.2" xref="A4.Ex71.m1.1.1.2.cmml">←</mo><mrow id="A4.Ex71.m1.1.1.1" xref="A4.Ex71.m1.1.1.1.cmml"><mi id="A4.Ex71.m1.1.1.1.3" xref="A4.Ex71.m1.1.1.1.3.cmml">V</mi><mo id="A4.Ex71.m1.1.1.1.2" xref="A4.Ex71.m1.1.1.1.2.cmml">−</mo><mrow id="A4.Ex71.m1.1.1.1.1" xref="A4.Ex71.m1.1.1.1.1.cmml"><mi id="A4.Ex71.m1.1.1.1.1.3" xref="A4.Ex71.m1.1.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.Ex71.m1.1.1.1.1.2" xref="A4.Ex71.m1.1.1.1.1.2.cmml">​</mo><mrow id="A4.Ex71.m1.1.1.1.1.1.1" xref="A4.Ex71.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.Ex71.m1.1.1.1.1.1.1.2" xref="A4.Ex71.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.Ex71.m1.1.1.1.1.1.1.1" xref="A4.Ex71.m1.1.1.1.1.1.1.1.cmml"><mi id="A4.Ex71.m1.1.1.1.1.1.1.1.2" xref="A4.Ex71.m1.1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A4.Ex71.m1.1.1.1.1.1.1.1.1" xref="A4.Ex71.m1.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A4.Ex71.m1.1.1.1.1.1.1.1.3" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.cmml"><mi id="A4.Ex71.m1.1.1.1.1.1.1.1.3.2" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="A4.Ex71.m1.1.1.1.1.1.1.1.3.1" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A4.Ex71.m1.1.1.1.1.1.1.1.3.3" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.cmml"><mi id="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.2" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.2.cmml">U</mi><mi id="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.3" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A4.Ex71.m1.1.1.1.1.1.1.3" xref="A4.Ex71.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0.167em" rspace="0em" id="A4.Ex71.m1.1.1.1.1.2a" xref="A4.Ex71.m1.1.1.1.1.2.cmml">​</mo><msub id="A4.Ex71.m1.1.1.1.1.4" xref="A4.Ex71.m1.1.1.1.1.4.cmml"><mo id="A4.Ex71.m1.1.1.1.1.4.2" xref="A4.Ex71.m1.1.1.1.1.4.2.cmml">∇</mo><mi id="A4.Ex71.m1.1.1.1.1.4.3" xref="A4.Ex71.m1.1.1.1.1.4.3.cmml">V</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.Ex71.m1.1b"><apply id="A4.Ex71.m1.1.1.cmml" xref="A4.Ex71.m1.1.1"><ci id="A4.Ex71.m1.1.1.2.cmml" xref="A4.Ex71.m1.1.1.2">←</ci><ci id="A4.Ex71.m1.1.1.3.cmml" xref="A4.Ex71.m1.1.1.3">𝑉</ci><apply id="A4.Ex71.m1.1.1.1.cmml" xref="A4.Ex71.m1.1.1.1"><minus id="A4.Ex71.m1.1.1.1.2.cmml" xref="A4.Ex71.m1.1.1.1.2"></minus><ci id="A4.Ex71.m1.1.1.1.3.cmml" xref="A4.Ex71.m1.1.1.1.3">𝑉</ci><apply id="A4.Ex71.m1.1.1.1.1.cmml" xref="A4.Ex71.m1.1.1.1.1"><times id="A4.Ex71.m1.1.1.1.1.2.cmml" xref="A4.Ex71.m1.1.1.1.1.2"></times><ci id="A4.Ex71.m1.1.1.1.1.3.cmml" xref="A4.Ex71.m1.1.1.1.1.3">𝜇</ci><apply id="A4.Ex71.m1.1.1.1.1.1.1.1.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1"><plus id="A4.Ex71.m1.1.1.1.1.1.1.1.1.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.1"></plus><ci id="A4.Ex71.m1.1.1.1.1.1.1.1.2.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.2">𝐼</ci><apply id="A4.Ex71.m1.1.1.1.1.1.1.1.3.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3"><times id="A4.Ex71.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.1"></times><ci id="A4.Ex71.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.2">𝑉</ci><apply id="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.1.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.2.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.2">𝑈</ci><ci id="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.3.cmml" xref="A4.Ex71.m1.1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="A4.Ex71.m1.1.1.1.1.4.cmml" xref="A4.Ex71.m1.1.1.1.1.4"><csymbol cd="ambiguous" id="A4.Ex71.m1.1.1.1.1.4.1.cmml" xref="A4.Ex71.m1.1.1.1.1.4">subscript</csymbol><ci id="A4.Ex71.m1.1.1.1.1.4.2.cmml" xref="A4.Ex71.m1.1.1.1.1.4.2">∇</ci><ci id="A4.Ex71.m1.1.1.1.1.4.3.cmml" xref="A4.Ex71.m1.1.1.1.1.4.3">𝑉</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.Ex71.m1.1c">V\leftarrow V-\mu(I+VU^{T})\nabla_{V}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A4.SS1.SSS2.p9.6" class="ltx_p">where the step size is small enough such that <math id="A4.SS1.SSS2.p9.5.m1.1" class="ltx_Math" alttext="\mu\|U\nabla_{V}^{T}\|&lt;1" display="inline"><semantics id="A4.SS1.SSS2.p9.5.m1.1a"><mrow id="A4.SS1.SSS2.p9.5.m1.1.1" xref="A4.SS1.SSS2.p9.5.m1.1.1.cmml"><mrow id="A4.SS1.SSS2.p9.5.m1.1.1.1" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.cmml"><mi id="A4.SS1.SSS2.p9.5.m1.1.1.1.3" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A4.SS1.SSS2.p9.5.m1.1.1.1.2" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.2.cmml">​</mo><mrow id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.2" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.cmml"><mi id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.2" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.2.cmml">U</mi><mo lspace="0.167em" rspace="0em" id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.1" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.1.cmml">​</mo><msubsup id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.cmml"><mo id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.2" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.2.cmml">∇</mo><mi id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.3" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.3.cmml">V</mi><mi id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.3" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.3.cmml">T</mi></msubsup></mrow><mo stretchy="false" id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.3" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.2.1.cmml">‖</mo></mrow></mrow><mo id="A4.SS1.SSS2.p9.5.m1.1.1.2" xref="A4.SS1.SSS2.p9.5.m1.1.1.2.cmml">&lt;</mo><mn id="A4.SS1.SSS2.p9.5.m1.1.1.3" xref="A4.SS1.SSS2.p9.5.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p9.5.m1.1b"><apply id="A4.SS1.SSS2.p9.5.m1.1.1.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1"><lt id="A4.SS1.SSS2.p9.5.m1.1.1.2.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.2"></lt><apply id="A4.SS1.SSS2.p9.5.m1.1.1.1.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1"><times id="A4.SS1.SSS2.p9.5.m1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.2"></times><ci id="A4.SS1.SSS2.p9.5.m1.1.1.1.3.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.3">𝜇</ci><apply id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1"><csymbol cd="latexml" id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.2.1.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.2">norm</csymbol><apply id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1"><times id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.1.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.1"></times><ci id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.2.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.2">𝑈</ci><apply id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.1.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3">superscript</csymbol><apply id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.1.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.2.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.2">∇</ci><ci id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.3.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.3.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply></apply><cn type="integer" id="A4.SS1.SSS2.p9.5.m1.1.1.3.cmml" xref="A4.SS1.SSS2.p9.5.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p9.5.m1.1c">\mu\|U\nabla_{V}^{T}\|&lt;1</annotation></semantics></math>. Again, <math id="A4.SS1.SSS2.p9.6.m2.1" class="ltx_Math" alttext="U\nabla_{V}^{T}" display="inline"><semantics id="A4.SS1.SSS2.p9.6.m2.1a"><mrow id="A4.SS1.SSS2.p9.6.m2.1.1" xref="A4.SS1.SSS2.p9.6.m2.1.1.cmml"><mi id="A4.SS1.SSS2.p9.6.m2.1.1.2" xref="A4.SS1.SSS2.p9.6.m2.1.1.2.cmml">U</mi><mo lspace="0.167em" rspace="0em" id="A4.SS1.SSS2.p9.6.m2.1.1.1" xref="A4.SS1.SSS2.p9.6.m2.1.1.1.cmml">​</mo><msubsup id="A4.SS1.SSS2.p9.6.m2.1.1.3" xref="A4.SS1.SSS2.p9.6.m2.1.1.3.cmml"><mo id="A4.SS1.SSS2.p9.6.m2.1.1.3.2.2" xref="A4.SS1.SSS2.p9.6.m2.1.1.3.2.2.cmml">∇</mo><mi id="A4.SS1.SSS2.p9.6.m2.1.1.3.2.3" xref="A4.SS1.SSS2.p9.6.m2.1.1.3.2.3.cmml">V</mi><mi id="A4.SS1.SSS2.p9.6.m2.1.1.3.3" xref="A4.SS1.SSS2.p9.6.m2.1.1.3.3.cmml">T</mi></msubsup></mrow><annotation-xml encoding="MathML-Content" id="A4.SS1.SSS2.p9.6.m2.1b"><apply id="A4.SS1.SSS2.p9.6.m2.1.1.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1"><times id="A4.SS1.SSS2.p9.6.m2.1.1.1.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.1"></times><ci id="A4.SS1.SSS2.p9.6.m2.1.1.2.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.2">𝑈</ci><apply id="A4.SS1.SSS2.p9.6.m2.1.1.3.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p9.6.m2.1.1.3.1.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.3">superscript</csymbol><apply id="A4.SS1.SSS2.p9.6.m2.1.1.3.2.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.3"><csymbol cd="ambiguous" id="A4.SS1.SSS2.p9.6.m2.1.1.3.2.1.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.3">subscript</csymbol><ci id="A4.SS1.SSS2.p9.6.m2.1.1.3.2.2.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.3.2.2">∇</ci><ci id="A4.SS1.SSS2.p9.6.m2.1.1.3.2.3.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.3.2.3">𝑉</ci></apply><ci id="A4.SS1.SSS2.p9.6.m2.1.1.3.3.cmml" xref="A4.SS1.SSS2.p9.6.m2.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.SS1.SSS2.p9.6.m2.1c">U\nabla_{V}^{T}</annotation></semantics></math> has at most rank two, and its Frobenius norm gives a tight enough estimation of its spectral norm.</p>
</div>
</section>
</section>
</section>
<section id="A5" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix E </span>Algorithm</h2>

<figure id="alg3" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg3.2.1.1" class="ltx_text ltx_font_bold">Algorithm 3</span> </span> PSGD</figcaption>
<div id="alg3.3" class="ltx_listing ltx_listing">
<div id="alg3.l1" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l1.1.1.1" class="ltx_text" style="font-size:80%;">1:</span></span>  Initialize parameter <math id="alg3.l1.m1.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="alg3.l1.m1.1a"><mi id="alg3.l1.m1.1.1" xref="alg3.l1.m1.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="alg3.l1.m1.1b"><ci id="alg3.l1.m1.1.1.cmml" xref="alg3.l1.m1.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="alg3.l1.m1.1c">\theta</annotation></semantics></math> and its learning rate <math id="alg3.l1.m2.1" class="ltx_Math" alttext="0&lt;\mu_{1}&lt;1" display="inline"><semantics id="alg3.l1.m2.1a"><mrow id="alg3.l1.m2.1.1" xref="alg3.l1.m2.1.1.cmml"><mn id="alg3.l1.m2.1.1.2" xref="alg3.l1.m2.1.1.2.cmml">0</mn><mo id="alg3.l1.m2.1.1.3" xref="alg3.l1.m2.1.1.3.cmml">&lt;</mo><msub id="alg3.l1.m2.1.1.4" xref="alg3.l1.m2.1.1.4.cmml"><mi id="alg3.l1.m2.1.1.4.2" xref="alg3.l1.m2.1.1.4.2.cmml">μ</mi><mn id="alg3.l1.m2.1.1.4.3" xref="alg3.l1.m2.1.1.4.3.cmml">1</mn></msub><mo id="alg3.l1.m2.1.1.5" xref="alg3.l1.m2.1.1.5.cmml">&lt;</mo><mn id="alg3.l1.m2.1.1.6" xref="alg3.l1.m2.1.1.6.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="alg3.l1.m2.1b"><apply id="alg3.l1.m2.1.1.cmml" xref="alg3.l1.m2.1.1"><and id="alg3.l1.m2.1.1a.cmml" xref="alg3.l1.m2.1.1"></and><apply id="alg3.l1.m2.1.1b.cmml" xref="alg3.l1.m2.1.1"><lt id="alg3.l1.m2.1.1.3.cmml" xref="alg3.l1.m2.1.1.3"></lt><cn type="integer" id="alg3.l1.m2.1.1.2.cmml" xref="alg3.l1.m2.1.1.2">0</cn><apply id="alg3.l1.m2.1.1.4.cmml" xref="alg3.l1.m2.1.1.4"><csymbol cd="ambiguous" id="alg3.l1.m2.1.1.4.1.cmml" xref="alg3.l1.m2.1.1.4">subscript</csymbol><ci id="alg3.l1.m2.1.1.4.2.cmml" xref="alg3.l1.m2.1.1.4.2">𝜇</ci><cn type="integer" id="alg3.l1.m2.1.1.4.3.cmml" xref="alg3.l1.m2.1.1.4.3">1</cn></apply></apply><apply id="alg3.l1.m2.1.1c.cmml" xref="alg3.l1.m2.1.1"><lt id="alg3.l1.m2.1.1.5.cmml" xref="alg3.l1.m2.1.1.5"></lt><share href="#alg3.l1.m2.1.1.4.cmml" id="alg3.l1.m2.1.1d.cmml" xref="alg3.l1.m2.1.1"></share><cn type="integer" id="alg3.l1.m2.1.1.6.cmml" xref="alg3.l1.m2.1.1.6">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l1.m2.1c">0&lt;\mu_{1}&lt;1</annotation></semantics></math>

</div>
<div id="alg3.l2" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l2.1.1.1" class="ltx_text" style="font-size:80%;">2:</span></span>  Initialize preconditioner as <math id="alg3.l2.m1.1" class="ltx_Math" alttext="\mathbf{Q}\propto\mathbf{I}" display="inline"><semantics id="alg3.l2.m1.1a"><mrow id="alg3.l2.m1.1.1" xref="alg3.l2.m1.1.1.cmml"><mi id="alg3.l2.m1.1.1.2" xref="alg3.l2.m1.1.1.2.cmml">𝐐</mi><mo id="alg3.l2.m1.1.1.1" xref="alg3.l2.m1.1.1.1.cmml">∝</mo><mi id="alg3.l2.m1.1.1.3" xref="alg3.l2.m1.1.1.3.cmml">𝐈</mi></mrow><annotation-xml encoding="MathML-Content" id="alg3.l2.m1.1b"><apply id="alg3.l2.m1.1.1.cmml" xref="alg3.l2.m1.1.1"><csymbol cd="latexml" id="alg3.l2.m1.1.1.1.cmml" xref="alg3.l2.m1.1.1.1">proportional-to</csymbol><ci id="alg3.l2.m1.1.1.2.cmml" xref="alg3.l2.m1.1.1.2">𝐐</ci><ci id="alg3.l2.m1.1.1.3.cmml" xref="alg3.l2.m1.1.1.3">𝐈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l2.m1.1c">\mathbf{Q}\propto\mathbf{I}</annotation></semantics></math>, and its update rate and frequency as <math id="alg3.l2.m2.1" class="ltx_Math" alttext="0&lt;\mu_{2}&lt;1" display="inline"><semantics id="alg3.l2.m2.1a"><mrow id="alg3.l2.m2.1.1" xref="alg3.l2.m2.1.1.cmml"><mn id="alg3.l2.m2.1.1.2" xref="alg3.l2.m2.1.1.2.cmml">0</mn><mo id="alg3.l2.m2.1.1.3" xref="alg3.l2.m2.1.1.3.cmml">&lt;</mo><msub id="alg3.l2.m2.1.1.4" xref="alg3.l2.m2.1.1.4.cmml"><mi id="alg3.l2.m2.1.1.4.2" xref="alg3.l2.m2.1.1.4.2.cmml">μ</mi><mn id="alg3.l2.m2.1.1.4.3" xref="alg3.l2.m2.1.1.4.3.cmml">2</mn></msub><mo id="alg3.l2.m2.1.1.5" xref="alg3.l2.m2.1.1.5.cmml">&lt;</mo><mn id="alg3.l2.m2.1.1.6" xref="alg3.l2.m2.1.1.6.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="alg3.l2.m2.1b"><apply id="alg3.l2.m2.1.1.cmml" xref="alg3.l2.m2.1.1"><and id="alg3.l2.m2.1.1a.cmml" xref="alg3.l2.m2.1.1"></and><apply id="alg3.l2.m2.1.1b.cmml" xref="alg3.l2.m2.1.1"><lt id="alg3.l2.m2.1.1.3.cmml" xref="alg3.l2.m2.1.1.3"></lt><cn type="integer" id="alg3.l2.m2.1.1.2.cmml" xref="alg3.l2.m2.1.1.2">0</cn><apply id="alg3.l2.m2.1.1.4.cmml" xref="alg3.l2.m2.1.1.4"><csymbol cd="ambiguous" id="alg3.l2.m2.1.1.4.1.cmml" xref="alg3.l2.m2.1.1.4">subscript</csymbol><ci id="alg3.l2.m2.1.1.4.2.cmml" xref="alg3.l2.m2.1.1.4.2">𝜇</ci><cn type="integer" id="alg3.l2.m2.1.1.4.3.cmml" xref="alg3.l2.m2.1.1.4.3">2</cn></apply></apply><apply id="alg3.l2.m2.1.1c.cmml" xref="alg3.l2.m2.1.1"><lt id="alg3.l2.m2.1.1.5.cmml" xref="alg3.l2.m2.1.1.5"></lt><share href="#alg3.l2.m2.1.1.4.cmml" id="alg3.l2.m2.1.1d.cmml" xref="alg3.l2.m2.1.1"></share><cn type="integer" id="alg3.l2.m2.1.1.6.cmml" xref="alg3.l2.m2.1.1.6">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l2.m2.1c">0&lt;\mu_{2}&lt;1</annotation></semantics></math>, <math id="alg3.l2.m3.1" class="ltx_Math" alttext="0&lt;p\leq 1" display="inline"><semantics id="alg3.l2.m3.1a"><mrow id="alg3.l2.m3.1.1" xref="alg3.l2.m3.1.1.cmml"><mn id="alg3.l2.m3.1.1.2" xref="alg3.l2.m3.1.1.2.cmml">0</mn><mo id="alg3.l2.m3.1.1.3" xref="alg3.l2.m3.1.1.3.cmml">&lt;</mo><mi id="alg3.l2.m3.1.1.4" xref="alg3.l2.m3.1.1.4.cmml">p</mi><mo id="alg3.l2.m3.1.1.5" xref="alg3.l2.m3.1.1.5.cmml">≤</mo><mn id="alg3.l2.m3.1.1.6" xref="alg3.l2.m3.1.1.6.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="alg3.l2.m3.1b"><apply id="alg3.l2.m3.1.1.cmml" xref="alg3.l2.m3.1.1"><and id="alg3.l2.m3.1.1a.cmml" xref="alg3.l2.m3.1.1"></and><apply id="alg3.l2.m3.1.1b.cmml" xref="alg3.l2.m3.1.1"><lt id="alg3.l2.m3.1.1.3.cmml" xref="alg3.l2.m3.1.1.3"></lt><cn type="integer" id="alg3.l2.m3.1.1.2.cmml" xref="alg3.l2.m3.1.1.2">0</cn><ci id="alg3.l2.m3.1.1.4.cmml" xref="alg3.l2.m3.1.1.4">𝑝</ci></apply><apply id="alg3.l2.m3.1.1c.cmml" xref="alg3.l2.m3.1.1"><leq id="alg3.l2.m3.1.1.5.cmml" xref="alg3.l2.m3.1.1.5"></leq><share href="#alg3.l2.m3.1.1.4.cmml" id="alg3.l2.m3.1.1d.cmml" xref="alg3.l2.m3.1.1"></share><cn type="integer" id="alg3.l2.m3.1.1.6.cmml" xref="alg3.l2.m3.1.1.6">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l2.m3.1c">0&lt;p\leq 1</annotation></semantics></math>, respectively

</div>
<div id="alg3.l3" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l3.1.1.1" class="ltx_text" style="font-size:80%;">3:</span></span>  <span id="alg3.l3.2" class="ltx_text ltx_font_bold">for</span> <math id="alg3.l3.m1.3" class="ltx_Math" alttext="\text{iteration}=1,2,\ldots" display="inline"><semantics id="alg3.l3.m1.3a"><mrow id="alg3.l3.m1.3.4" xref="alg3.l3.m1.3.4.cmml"><mtext id="alg3.l3.m1.3.4.2" xref="alg3.l3.m1.3.4.2a.cmml">iteration</mtext><mo id="alg3.l3.m1.3.4.1" xref="alg3.l3.m1.3.4.1.cmml">=</mo><mrow id="alg3.l3.m1.3.4.3.2" xref="alg3.l3.m1.3.4.3.1.cmml"><mn id="alg3.l3.m1.1.1" xref="alg3.l3.m1.1.1.cmml">1</mn><mo id="alg3.l3.m1.3.4.3.2.1" xref="alg3.l3.m1.3.4.3.1.cmml">,</mo><mn id="alg3.l3.m1.2.2" xref="alg3.l3.m1.2.2.cmml">2</mn><mo id="alg3.l3.m1.3.4.3.2.2" xref="alg3.l3.m1.3.4.3.1.cmml">,</mo><mi mathvariant="normal" id="alg3.l3.m1.3.3" xref="alg3.l3.m1.3.3.cmml">…</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg3.l3.m1.3b"><apply id="alg3.l3.m1.3.4.cmml" xref="alg3.l3.m1.3.4"><eq id="alg3.l3.m1.3.4.1.cmml" xref="alg3.l3.m1.3.4.1"></eq><ci id="alg3.l3.m1.3.4.2a.cmml" xref="alg3.l3.m1.3.4.2"><mtext id="alg3.l3.m1.3.4.2.cmml" xref="alg3.l3.m1.3.4.2">iteration</mtext></ci><list id="alg3.l3.m1.3.4.3.1.cmml" xref="alg3.l3.m1.3.4.3.2"><cn type="integer" id="alg3.l3.m1.1.1.cmml" xref="alg3.l3.m1.1.1">1</cn><cn type="integer" id="alg3.l3.m1.2.2.cmml" xref="alg3.l3.m1.2.2">2</cn><ci id="alg3.l3.m1.3.3.cmml" xref="alg3.l3.m1.3.3">…</ci></list></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l3.m1.3c">\text{iteration}=1,2,\ldots</annotation></semantics></math> <span id="alg3.l3.3" class="ltx_text ltx_font_bold">do</span>



</div>
<div id="alg3.l4" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l4.1.1.1" class="ltx_text" style="font-size:80%;">4:</span></span>     Sample a stochastic loss <math id="alg3.l4.m1.2" class="ltx_Math" alttext="\ell(\theta,z)" display="inline"><semantics id="alg3.l4.m1.2a"><mrow id="alg3.l4.m1.2.3" xref="alg3.l4.m1.2.3.cmml"><mi mathvariant="normal" id="alg3.l4.m1.2.3.2" xref="alg3.l4.m1.2.3.2.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="alg3.l4.m1.2.3.1" xref="alg3.l4.m1.2.3.1.cmml">​</mo><mrow id="alg3.l4.m1.2.3.3.2" xref="alg3.l4.m1.2.3.3.1.cmml"><mo stretchy="false" id="alg3.l4.m1.2.3.3.2.1" xref="alg3.l4.m1.2.3.3.1.cmml">(</mo><mi id="alg3.l4.m1.1.1" xref="alg3.l4.m1.1.1.cmml">θ</mi><mo id="alg3.l4.m1.2.3.3.2.2" xref="alg3.l4.m1.2.3.3.1.cmml">,</mo><mi id="alg3.l4.m1.2.2" xref="alg3.l4.m1.2.2.cmml">z</mi><mo stretchy="false" id="alg3.l4.m1.2.3.3.2.3" xref="alg3.l4.m1.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg3.l4.m1.2b"><apply id="alg3.l4.m1.2.3.cmml" xref="alg3.l4.m1.2.3"><times id="alg3.l4.m1.2.3.1.cmml" xref="alg3.l4.m1.2.3.1"></times><ci id="alg3.l4.m1.2.3.2.cmml" xref="alg3.l4.m1.2.3.2">ℓ</ci><interval closure="open" id="alg3.l4.m1.2.3.3.1.cmml" xref="alg3.l4.m1.2.3.3.2"><ci id="alg3.l4.m1.1.1.cmml" xref="alg3.l4.m1.1.1">𝜃</ci><ci id="alg3.l4.m1.2.2.cmml" xref="alg3.l4.m1.2.2">𝑧</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l4.m1.2c">\ell(\theta,z)</annotation></semantics></math>

</div>
<div id="alg3.l5" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l5.1.1.1" class="ltx_text" style="font-size:80%;">5:</span></span>     Compute stochastic gradient <math id="alg3.l5.m1.2" class="ltx_Math" alttext="g=\frac{\partial\ell(\theta,z)}{\partial\theta}" display="inline"><semantics id="alg3.l5.m1.2a"><mrow id="alg3.l5.m1.2.3" xref="alg3.l5.m1.2.3.cmml"><mi id="alg3.l5.m1.2.3.2" xref="alg3.l5.m1.2.3.2.cmml">g</mi><mo id="alg3.l5.m1.2.3.1" xref="alg3.l5.m1.2.3.1.cmml">=</mo><mfrac id="alg3.l5.m1.2.2" xref="alg3.l5.m1.2.2.cmml"><mrow id="alg3.l5.m1.2.2.2" xref="alg3.l5.m1.2.2.2.cmml"><mo rspace="0em" id="alg3.l5.m1.2.2.2.3" xref="alg3.l5.m1.2.2.2.3.cmml">∂</mo><mrow id="alg3.l5.m1.2.2.2.4" xref="alg3.l5.m1.2.2.2.4.cmml"><mi mathvariant="normal" id="alg3.l5.m1.2.2.2.4.2" xref="alg3.l5.m1.2.2.2.4.2.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="alg3.l5.m1.2.2.2.4.1" xref="alg3.l5.m1.2.2.2.4.1.cmml">​</mo><mrow id="alg3.l5.m1.2.2.2.4.3.2" xref="alg3.l5.m1.2.2.2.4.3.1.cmml"><mo stretchy="false" id="alg3.l5.m1.2.2.2.4.3.2.1" xref="alg3.l5.m1.2.2.2.4.3.1.cmml">(</mo><mi id="alg3.l5.m1.1.1.1.1" xref="alg3.l5.m1.1.1.1.1.cmml">θ</mi><mo id="alg3.l5.m1.2.2.2.4.3.2.2" xref="alg3.l5.m1.2.2.2.4.3.1.cmml">,</mo><mi id="alg3.l5.m1.2.2.2.2" xref="alg3.l5.m1.2.2.2.2.cmml">z</mi><mo stretchy="false" id="alg3.l5.m1.2.2.2.4.3.2.3" xref="alg3.l5.m1.2.2.2.4.3.1.cmml">)</mo></mrow></mrow></mrow><mrow id="alg3.l5.m1.2.2.4" xref="alg3.l5.m1.2.2.4.cmml"><mo rspace="0em" id="alg3.l5.m1.2.2.4.1" xref="alg3.l5.m1.2.2.4.1.cmml">∂</mo><mi id="alg3.l5.m1.2.2.4.2" xref="alg3.l5.m1.2.2.4.2.cmml">θ</mi></mrow></mfrac></mrow><annotation-xml encoding="MathML-Content" id="alg3.l5.m1.2b"><apply id="alg3.l5.m1.2.3.cmml" xref="alg3.l5.m1.2.3"><eq id="alg3.l5.m1.2.3.1.cmml" xref="alg3.l5.m1.2.3.1"></eq><ci id="alg3.l5.m1.2.3.2.cmml" xref="alg3.l5.m1.2.3.2">𝑔</ci><apply id="alg3.l5.m1.2.2.cmml" xref="alg3.l5.m1.2.2"><divide id="alg3.l5.m1.2.2.3.cmml" xref="alg3.l5.m1.2.2"></divide><apply id="alg3.l5.m1.2.2.2.cmml" xref="alg3.l5.m1.2.2.2"><partialdiff id="alg3.l5.m1.2.2.2.3.cmml" xref="alg3.l5.m1.2.2.2.3"></partialdiff><apply id="alg3.l5.m1.2.2.2.4.cmml" xref="alg3.l5.m1.2.2.2.4"><times id="alg3.l5.m1.2.2.2.4.1.cmml" xref="alg3.l5.m1.2.2.2.4.1"></times><ci id="alg3.l5.m1.2.2.2.4.2.cmml" xref="alg3.l5.m1.2.2.2.4.2">ℓ</ci><interval closure="open" id="alg3.l5.m1.2.2.2.4.3.1.cmml" xref="alg3.l5.m1.2.2.2.4.3.2"><ci id="alg3.l5.m1.1.1.1.1.cmml" xref="alg3.l5.m1.1.1.1.1">𝜃</ci><ci id="alg3.l5.m1.2.2.2.2.cmml" xref="alg3.l5.m1.2.2.2.2">𝑧</ci></interval></apply></apply><apply id="alg3.l5.m1.2.2.4.cmml" xref="alg3.l5.m1.2.2.4"><partialdiff id="alg3.l5.m1.2.2.4.1.cmml" xref="alg3.l5.m1.2.2.4.1"></partialdiff><ci id="alg3.l5.m1.2.2.4.2.cmml" xref="alg3.l5.m1.2.2.4.2">𝜃</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l5.m1.2c">g=\frac{\partial\ell(\theta,z)}{\partial\theta}</annotation></semantics></math>

</div>
<div id="alg3.l6" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l6.1.1.1" class="ltx_text" style="font-size:80%;">6:</span></span>     <span id="alg3.l6.2" class="ltx_text ltx_font_bold">if</span> <math id="alg3.l6.m1.1" class="ltx_Math" alttext="u&lt;p" display="inline"><semantics id="alg3.l6.m1.1a"><mrow id="alg3.l6.m1.1.1" xref="alg3.l6.m1.1.1.cmml"><mi id="alg3.l6.m1.1.1.2" xref="alg3.l6.m1.1.1.2.cmml">u</mi><mo id="alg3.l6.m1.1.1.1" xref="alg3.l6.m1.1.1.1.cmml">&lt;</mo><mi id="alg3.l6.m1.1.1.3" xref="alg3.l6.m1.1.1.3.cmml">p</mi></mrow><annotation-xml encoding="MathML-Content" id="alg3.l6.m1.1b"><apply id="alg3.l6.m1.1.1.cmml" xref="alg3.l6.m1.1.1"><lt id="alg3.l6.m1.1.1.1.cmml" xref="alg3.l6.m1.1.1.1"></lt><ci id="alg3.l6.m1.1.1.2.cmml" xref="alg3.l6.m1.1.1.2">𝑢</ci><ci id="alg3.l6.m1.1.1.3.cmml" xref="alg3.l6.m1.1.1.3">𝑝</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l6.m1.1c">u&lt;p</annotation></semantics></math> with <math id="alg3.l6.m2.2" class="ltx_Math" alttext="u\sim\mathcal{U}(0,1)" display="inline"><semantics id="alg3.l6.m2.2a"><mrow id="alg3.l6.m2.2.3" xref="alg3.l6.m2.2.3.cmml"><mi id="alg3.l6.m2.2.3.2" xref="alg3.l6.m2.2.3.2.cmml">u</mi><mo id="alg3.l6.m2.2.3.1" xref="alg3.l6.m2.2.3.1.cmml">∼</mo><mrow id="alg3.l6.m2.2.3.3" xref="alg3.l6.m2.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg3.l6.m2.2.3.3.2" xref="alg3.l6.m2.2.3.3.2.cmml">𝒰</mi><mo lspace="0em" rspace="0em" id="alg3.l6.m2.2.3.3.1" xref="alg3.l6.m2.2.3.3.1.cmml">​</mo><mrow id="alg3.l6.m2.2.3.3.3.2" xref="alg3.l6.m2.2.3.3.3.1.cmml"><mo stretchy="false" id="alg3.l6.m2.2.3.3.3.2.1" xref="alg3.l6.m2.2.3.3.3.1.cmml">(</mo><mn id="alg3.l6.m2.1.1" xref="alg3.l6.m2.1.1.cmml">0</mn><mo id="alg3.l6.m2.2.3.3.3.2.2" xref="alg3.l6.m2.2.3.3.3.1.cmml">,</mo><mn id="alg3.l6.m2.2.2" xref="alg3.l6.m2.2.2.cmml">1</mn><mo stretchy="false" id="alg3.l6.m2.2.3.3.3.2.3" xref="alg3.l6.m2.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg3.l6.m2.2b"><apply id="alg3.l6.m2.2.3.cmml" xref="alg3.l6.m2.2.3"><csymbol cd="latexml" id="alg3.l6.m2.2.3.1.cmml" xref="alg3.l6.m2.2.3.1">similar-to</csymbol><ci id="alg3.l6.m2.2.3.2.cmml" xref="alg3.l6.m2.2.3.2">𝑢</ci><apply id="alg3.l6.m2.2.3.3.cmml" xref="alg3.l6.m2.2.3.3"><times id="alg3.l6.m2.2.3.3.1.cmml" xref="alg3.l6.m2.2.3.3.1"></times><ci id="alg3.l6.m2.2.3.3.2.cmml" xref="alg3.l6.m2.2.3.3.2">𝒰</ci><interval closure="open" id="alg3.l6.m2.2.3.3.3.1.cmml" xref="alg3.l6.m2.2.3.3.3.2"><cn type="integer" id="alg3.l6.m2.1.1.cmml" xref="alg3.l6.m2.1.1">0</cn><cn type="integer" id="alg3.l6.m2.2.2.cmml" xref="alg3.l6.m2.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l6.m2.2c">u\sim\mathcal{U}(0,1)</annotation></semantics></math> <span id="alg3.l6.3" class="ltx_text ltx_font_bold">then</span>



</div>
<div id="alg3.l7" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l7.1.1.1" class="ltx_text" style="font-size:80%;">7:</span></span>        Sample vector <math id="alg3.l7.m1.2" class="ltx_Math" alttext="v\sim\mathcal{N}(\mathbf{0},\mathbf{I})" display="inline"><semantics id="alg3.l7.m1.2a"><mrow id="alg3.l7.m1.2.3" xref="alg3.l7.m1.2.3.cmml"><mi id="alg3.l7.m1.2.3.2" xref="alg3.l7.m1.2.3.2.cmml">v</mi><mo id="alg3.l7.m1.2.3.1" xref="alg3.l7.m1.2.3.1.cmml">∼</mo><mrow id="alg3.l7.m1.2.3.3" xref="alg3.l7.m1.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg3.l7.m1.2.3.3.2" xref="alg3.l7.m1.2.3.3.2.cmml">𝒩</mi><mo lspace="0em" rspace="0em" id="alg3.l7.m1.2.3.3.1" xref="alg3.l7.m1.2.3.3.1.cmml">​</mo><mrow id="alg3.l7.m1.2.3.3.3.2" xref="alg3.l7.m1.2.3.3.3.1.cmml"><mo stretchy="false" id="alg3.l7.m1.2.3.3.3.2.1" xref="alg3.l7.m1.2.3.3.3.1.cmml">(</mo><mn id="alg3.l7.m1.1.1" xref="alg3.l7.m1.1.1.cmml">𝟎</mn><mo id="alg3.l7.m1.2.3.3.3.2.2" xref="alg3.l7.m1.2.3.3.3.1.cmml">,</mo><mi id="alg3.l7.m1.2.2" xref="alg3.l7.m1.2.2.cmml">𝐈</mi><mo stretchy="false" id="alg3.l7.m1.2.3.3.3.2.3" xref="alg3.l7.m1.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg3.l7.m1.2b"><apply id="alg3.l7.m1.2.3.cmml" xref="alg3.l7.m1.2.3"><csymbol cd="latexml" id="alg3.l7.m1.2.3.1.cmml" xref="alg3.l7.m1.2.3.1">similar-to</csymbol><ci id="alg3.l7.m1.2.3.2.cmml" xref="alg3.l7.m1.2.3.2">𝑣</ci><apply id="alg3.l7.m1.2.3.3.cmml" xref="alg3.l7.m1.2.3.3"><times id="alg3.l7.m1.2.3.3.1.cmml" xref="alg3.l7.m1.2.3.3.1"></times><ci id="alg3.l7.m1.2.3.3.2.cmml" xref="alg3.l7.m1.2.3.3.2">𝒩</ci><interval closure="open" id="alg3.l7.m1.2.3.3.3.1.cmml" xref="alg3.l7.m1.2.3.3.3.2"><cn type="integer" id="alg3.l7.m1.1.1.cmml" xref="alg3.l7.m1.1.1">0</cn><ci id="alg3.l7.m1.2.2.cmml" xref="alg3.l7.m1.2.2">𝐈</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l7.m1.2c">v\sim\mathcal{N}(\mathbf{0},\mathbf{I})</annotation></semantics></math>

</div>
<div id="alg3.l8" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l8.1.1.1" class="ltx_text" style="font-size:80%;">8:</span></span>        Compute Hessian-vector product <math id="alg3.l8.m1.1" class="ltx_Math" alttext="h=\frac{\partial(v^{\top}g)}{\partial\theta}" display="inline"><semantics id="alg3.l8.m1.1a"><mrow id="alg3.l8.m1.1.2" xref="alg3.l8.m1.1.2.cmml"><mi id="alg3.l8.m1.1.2.2" xref="alg3.l8.m1.1.2.2.cmml">h</mi><mo id="alg3.l8.m1.1.2.1" xref="alg3.l8.m1.1.2.1.cmml">=</mo><mfrac id="alg3.l8.m1.1.1" xref="alg3.l8.m1.1.1.cmml"><mrow id="alg3.l8.m1.1.1.1" xref="alg3.l8.m1.1.1.1.cmml"><mo rspace="0em" id="alg3.l8.m1.1.1.1.2" xref="alg3.l8.m1.1.1.1.2.cmml">∂</mo><mrow id="alg3.l8.m1.1.1.1.1.1" xref="alg3.l8.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg3.l8.m1.1.1.1.1.1.2" xref="alg3.l8.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg3.l8.m1.1.1.1.1.1.1" xref="alg3.l8.m1.1.1.1.1.1.1.cmml"><msup id="alg3.l8.m1.1.1.1.1.1.1.2" xref="alg3.l8.m1.1.1.1.1.1.1.2.cmml"><mi id="alg3.l8.m1.1.1.1.1.1.1.2.2" xref="alg3.l8.m1.1.1.1.1.1.1.2.2.cmml">v</mi><mo id="alg3.l8.m1.1.1.1.1.1.1.2.3" xref="alg3.l8.m1.1.1.1.1.1.1.2.3.cmml">⊤</mo></msup><mo lspace="0em" rspace="0em" id="alg3.l8.m1.1.1.1.1.1.1.1" xref="alg3.l8.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg3.l8.m1.1.1.1.1.1.1.3" xref="alg3.l8.m1.1.1.1.1.1.1.3.cmml">g</mi></mrow><mo stretchy="false" id="alg3.l8.m1.1.1.1.1.1.3" xref="alg3.l8.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mrow id="alg3.l8.m1.1.1.3" xref="alg3.l8.m1.1.1.3.cmml"><mo rspace="0em" id="alg3.l8.m1.1.1.3.1" xref="alg3.l8.m1.1.1.3.1.cmml">∂</mo><mi id="alg3.l8.m1.1.1.3.2" xref="alg3.l8.m1.1.1.3.2.cmml">θ</mi></mrow></mfrac></mrow><annotation-xml encoding="MathML-Content" id="alg3.l8.m1.1b"><apply id="alg3.l8.m1.1.2.cmml" xref="alg3.l8.m1.1.2"><eq id="alg3.l8.m1.1.2.1.cmml" xref="alg3.l8.m1.1.2.1"></eq><ci id="alg3.l8.m1.1.2.2.cmml" xref="alg3.l8.m1.1.2.2">ℎ</ci><apply id="alg3.l8.m1.1.1.cmml" xref="alg3.l8.m1.1.1"><divide id="alg3.l8.m1.1.1.2.cmml" xref="alg3.l8.m1.1.1"></divide><apply id="alg3.l8.m1.1.1.1.cmml" xref="alg3.l8.m1.1.1.1"><partialdiff id="alg3.l8.m1.1.1.1.2.cmml" xref="alg3.l8.m1.1.1.1.2"></partialdiff><apply id="alg3.l8.m1.1.1.1.1.1.1.cmml" xref="alg3.l8.m1.1.1.1.1.1"><times id="alg3.l8.m1.1.1.1.1.1.1.1.cmml" xref="alg3.l8.m1.1.1.1.1.1.1.1"></times><apply id="alg3.l8.m1.1.1.1.1.1.1.2.cmml" xref="alg3.l8.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="alg3.l8.m1.1.1.1.1.1.1.2.1.cmml" xref="alg3.l8.m1.1.1.1.1.1.1.2">superscript</csymbol><ci id="alg3.l8.m1.1.1.1.1.1.1.2.2.cmml" xref="alg3.l8.m1.1.1.1.1.1.1.2.2">𝑣</ci><csymbol cd="latexml" id="alg3.l8.m1.1.1.1.1.1.1.2.3.cmml" xref="alg3.l8.m1.1.1.1.1.1.1.2.3">top</csymbol></apply><ci id="alg3.l8.m1.1.1.1.1.1.1.3.cmml" xref="alg3.l8.m1.1.1.1.1.1.1.3">𝑔</ci></apply></apply><apply id="alg3.l8.m1.1.1.3.cmml" xref="alg3.l8.m1.1.1.3"><partialdiff id="alg3.l8.m1.1.1.3.1.cmml" xref="alg3.l8.m1.1.1.3.1"></partialdiff><ci id="alg3.l8.m1.1.1.3.2.cmml" xref="alg3.l8.m1.1.1.3.2">𝜃</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l8.m1.1c">h=\frac{\partial(v^{\top}g)}{\partial\theta}</annotation></semantics></math>

</div>
<div id="alg3.l9" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l9.1.1.1" class="ltx_text" style="font-size:80%;">9:</span></span>        Update preconditioner <math id="alg3.l9.m1.1" class="ltx_Math" alttext="\mathbf{Q}" display="inline"><semantics id="alg3.l9.m1.1a"><mi id="alg3.l9.m1.1.1" xref="alg3.l9.m1.1.1.cmml">𝐐</mi><annotation-xml encoding="MathML-Content" id="alg3.l9.m1.1b"><ci id="alg3.l9.m1.1.1.cmml" xref="alg3.l9.m1.1.1">𝐐</ci></annotation-xml><annotation encoding="application/x-tex" id="alg3.l9.m1.1c">\mathbf{Q}</annotation></semantics></math> with pair <math id="alg3.l9.m2.2" class="ltx_Math" alttext="(v,h)" display="inline"><semantics id="alg3.l9.m2.2a"><mrow id="alg3.l9.m2.2.3.2" xref="alg3.l9.m2.2.3.1.cmml"><mo stretchy="false" id="alg3.l9.m2.2.3.2.1" xref="alg3.l9.m2.2.3.1.cmml">(</mo><mi id="alg3.l9.m2.1.1" xref="alg3.l9.m2.1.1.cmml">v</mi><mo id="alg3.l9.m2.2.3.2.2" xref="alg3.l9.m2.2.3.1.cmml">,</mo><mi id="alg3.l9.m2.2.2" xref="alg3.l9.m2.2.2.cmml">h</mi><mo stretchy="false" id="alg3.l9.m2.2.3.2.3" xref="alg3.l9.m2.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="alg3.l9.m2.2b"><interval closure="open" id="alg3.l9.m2.2.3.1.cmml" xref="alg3.l9.m2.2.3.2"><ci id="alg3.l9.m2.1.1.cmml" xref="alg3.l9.m2.1.1">𝑣</ci><ci id="alg3.l9.m2.2.2.cmml" xref="alg3.l9.m2.2.2">ℎ</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="alg3.l9.m2.2c">(v,h)</annotation></semantics></math> and rate <math id="alg3.l9.m3.1" class="ltx_Math" alttext="\mu_{2}" display="inline"><semantics id="alg3.l9.m3.1a"><msub id="alg3.l9.m3.1.1" xref="alg3.l9.m3.1.1.cmml"><mi id="alg3.l9.m3.1.1.2" xref="alg3.l9.m3.1.1.2.cmml">μ</mi><mn id="alg3.l9.m3.1.1.3" xref="alg3.l9.m3.1.1.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="alg3.l9.m3.1b"><apply id="alg3.l9.m3.1.1.cmml" xref="alg3.l9.m3.1.1"><csymbol cd="ambiguous" id="alg3.l9.m3.1.1.1.cmml" xref="alg3.l9.m3.1.1">subscript</csymbol><ci id="alg3.l9.m3.1.1.2.cmml" xref="alg3.l9.m3.1.1.2">𝜇</ci><cn type="integer" id="alg3.l9.m3.1.1.3.cmml" xref="alg3.l9.m3.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l9.m3.1c">\mu_{2}</annotation></semantics></math>

</div>
<div id="alg3.l10" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l10.1.1.1" class="ltx_text" style="font-size:80%;">10:</span></span>     <span id="alg3.l10.2" class="ltx_text ltx_font_bold">end</span> <span id="alg3.l10.3" class="ltx_text ltx_font_bold">if</span>
</div>
<div id="alg3.l11" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l11.1.1.1" class="ltx_text" style="font-size:80%;">11:</span></span>     Compute preconditioned gradient <math id="alg3.l11.m1.1" class="ltx_Math" alttext="\mathfrak{g}=\mathbf{Q}^{\top}\mathbf{Q}g" display="inline"><semantics id="alg3.l11.m1.1a"><mrow id="alg3.l11.m1.1.1" xref="alg3.l11.m1.1.1.cmml"><mi id="alg3.l11.m1.1.1.2" xref="alg3.l11.m1.1.1.2.cmml">𝔤</mi><mo id="alg3.l11.m1.1.1.1" xref="alg3.l11.m1.1.1.1.cmml">=</mo><mrow id="alg3.l11.m1.1.1.3" xref="alg3.l11.m1.1.1.3.cmml"><msup id="alg3.l11.m1.1.1.3.2" xref="alg3.l11.m1.1.1.3.2.cmml"><mi id="alg3.l11.m1.1.1.3.2.2" xref="alg3.l11.m1.1.1.3.2.2.cmml">𝐐</mi><mo id="alg3.l11.m1.1.1.3.2.3" xref="alg3.l11.m1.1.1.3.2.3.cmml">⊤</mo></msup><mo lspace="0em" rspace="0em" id="alg3.l11.m1.1.1.3.1" xref="alg3.l11.m1.1.1.3.1.cmml">​</mo><mi id="alg3.l11.m1.1.1.3.3" xref="alg3.l11.m1.1.1.3.3.cmml">𝐐</mi><mo lspace="0em" rspace="0em" id="alg3.l11.m1.1.1.3.1a" xref="alg3.l11.m1.1.1.3.1.cmml">​</mo><mi id="alg3.l11.m1.1.1.3.4" xref="alg3.l11.m1.1.1.3.4.cmml">g</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg3.l11.m1.1b"><apply id="alg3.l11.m1.1.1.cmml" xref="alg3.l11.m1.1.1"><eq id="alg3.l11.m1.1.1.1.cmml" xref="alg3.l11.m1.1.1.1"></eq><ci id="alg3.l11.m1.1.1.2.cmml" xref="alg3.l11.m1.1.1.2">𝔤</ci><apply id="alg3.l11.m1.1.1.3.cmml" xref="alg3.l11.m1.1.1.3"><times id="alg3.l11.m1.1.1.3.1.cmml" xref="alg3.l11.m1.1.1.3.1"></times><apply id="alg3.l11.m1.1.1.3.2.cmml" xref="alg3.l11.m1.1.1.3.2"><csymbol cd="ambiguous" id="alg3.l11.m1.1.1.3.2.1.cmml" xref="alg3.l11.m1.1.1.3.2">superscript</csymbol><ci id="alg3.l11.m1.1.1.3.2.2.cmml" xref="alg3.l11.m1.1.1.3.2.2">𝐐</ci><csymbol cd="latexml" id="alg3.l11.m1.1.1.3.2.3.cmml" xref="alg3.l11.m1.1.1.3.2.3">top</csymbol></apply><ci id="alg3.l11.m1.1.1.3.3.cmml" xref="alg3.l11.m1.1.1.3.3">𝐐</ci><ci id="alg3.l11.m1.1.1.3.4.cmml" xref="alg3.l11.m1.1.1.3.4">𝑔</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l11.m1.1c">\mathfrak{g}=\mathbf{Q}^{\top}\mathbf{Q}g</annotation></semantics></math>

</div>
<div id="alg3.l12" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l12.1.1.1" class="ltx_text" style="font-size:80%;">12:</span></span>     Update parameter as <math id="alg3.l12.m1.1" class="ltx_Math" alttext="\theta\leftarrow\theta-\mu_{1}\mathfrak{g}" display="inline"><semantics id="alg3.l12.m1.1a"><mrow id="alg3.l12.m1.1.1" xref="alg3.l12.m1.1.1.cmml"><mi id="alg3.l12.m1.1.1.2" xref="alg3.l12.m1.1.1.2.cmml">θ</mi><mo stretchy="false" id="alg3.l12.m1.1.1.1" xref="alg3.l12.m1.1.1.1.cmml">←</mo><mrow id="alg3.l12.m1.1.1.3" xref="alg3.l12.m1.1.1.3.cmml"><mi id="alg3.l12.m1.1.1.3.2" xref="alg3.l12.m1.1.1.3.2.cmml">θ</mi><mo id="alg3.l12.m1.1.1.3.1" xref="alg3.l12.m1.1.1.3.1.cmml">−</mo><mrow id="alg3.l12.m1.1.1.3.3" xref="alg3.l12.m1.1.1.3.3.cmml"><msub id="alg3.l12.m1.1.1.3.3.2" xref="alg3.l12.m1.1.1.3.3.2.cmml"><mi id="alg3.l12.m1.1.1.3.3.2.2" xref="alg3.l12.m1.1.1.3.3.2.2.cmml">μ</mi><mn id="alg3.l12.m1.1.1.3.3.2.3" xref="alg3.l12.m1.1.1.3.3.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="alg3.l12.m1.1.1.3.3.1" xref="alg3.l12.m1.1.1.3.3.1.cmml">​</mo><mi id="alg3.l12.m1.1.1.3.3.3" xref="alg3.l12.m1.1.1.3.3.3.cmml">𝔤</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg3.l12.m1.1b"><apply id="alg3.l12.m1.1.1.cmml" xref="alg3.l12.m1.1.1"><ci id="alg3.l12.m1.1.1.1.cmml" xref="alg3.l12.m1.1.1.1">←</ci><ci id="alg3.l12.m1.1.1.2.cmml" xref="alg3.l12.m1.1.1.2">𝜃</ci><apply id="alg3.l12.m1.1.1.3.cmml" xref="alg3.l12.m1.1.1.3"><minus id="alg3.l12.m1.1.1.3.1.cmml" xref="alg3.l12.m1.1.1.3.1"></minus><ci id="alg3.l12.m1.1.1.3.2.cmml" xref="alg3.l12.m1.1.1.3.2">𝜃</ci><apply id="alg3.l12.m1.1.1.3.3.cmml" xref="alg3.l12.m1.1.1.3.3"><times id="alg3.l12.m1.1.1.3.3.1.cmml" xref="alg3.l12.m1.1.1.3.3.1"></times><apply id="alg3.l12.m1.1.1.3.3.2.cmml" xref="alg3.l12.m1.1.1.3.3.2"><csymbol cd="ambiguous" id="alg3.l12.m1.1.1.3.3.2.1.cmml" xref="alg3.l12.m1.1.1.3.3.2">subscript</csymbol><ci id="alg3.l12.m1.1.1.3.3.2.2.cmml" xref="alg3.l12.m1.1.1.3.3.2.2">𝜇</ci><cn type="integer" id="alg3.l12.m1.1.1.3.3.2.3.cmml" xref="alg3.l12.m1.1.1.3.3.2.3">1</cn></apply><ci id="alg3.l12.m1.1.1.3.3.3.cmml" xref="alg3.l12.m1.1.1.3.3.3">𝔤</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg3.l12.m1.1c">\theta\leftarrow\theta-\mu_{1}\mathfrak{g}</annotation></semantics></math>

</div>
<div id="alg3.l13" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l13.1.1.1" class="ltx_text" style="font-size:80%;">13:</span></span>     Adjust <math id="alg3.l13.m1.3" class="ltx_Math" alttext="(\mu_{1},\mu_{2},p)" display="inline"><semantics id="alg3.l13.m1.3a"><mrow id="alg3.l13.m1.3.3.2" xref="alg3.l13.m1.3.3.3.cmml"><mo stretchy="false" id="alg3.l13.m1.3.3.2.3" xref="alg3.l13.m1.3.3.3.cmml">(</mo><msub id="alg3.l13.m1.2.2.1.1" xref="alg3.l13.m1.2.2.1.1.cmml"><mi id="alg3.l13.m1.2.2.1.1.2" xref="alg3.l13.m1.2.2.1.1.2.cmml">μ</mi><mn id="alg3.l13.m1.2.2.1.1.3" xref="alg3.l13.m1.2.2.1.1.3.cmml">1</mn></msub><mo id="alg3.l13.m1.3.3.2.4" xref="alg3.l13.m1.3.3.3.cmml">,</mo><msub id="alg3.l13.m1.3.3.2.2" xref="alg3.l13.m1.3.3.2.2.cmml"><mi id="alg3.l13.m1.3.3.2.2.2" xref="alg3.l13.m1.3.3.2.2.2.cmml">μ</mi><mn id="alg3.l13.m1.3.3.2.2.3" xref="alg3.l13.m1.3.3.2.2.3.cmml">2</mn></msub><mo id="alg3.l13.m1.3.3.2.5" xref="alg3.l13.m1.3.3.3.cmml">,</mo><mi id="alg3.l13.m1.1.1" xref="alg3.l13.m1.1.1.cmml">p</mi><mo stretchy="false" id="alg3.l13.m1.3.3.2.6" xref="alg3.l13.m1.3.3.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="alg3.l13.m1.3b"><vector id="alg3.l13.m1.3.3.3.cmml" xref="alg3.l13.m1.3.3.2"><apply id="alg3.l13.m1.2.2.1.1.cmml" xref="alg3.l13.m1.2.2.1.1"><csymbol cd="ambiguous" id="alg3.l13.m1.2.2.1.1.1.cmml" xref="alg3.l13.m1.2.2.1.1">subscript</csymbol><ci id="alg3.l13.m1.2.2.1.1.2.cmml" xref="alg3.l13.m1.2.2.1.1.2">𝜇</ci><cn type="integer" id="alg3.l13.m1.2.2.1.1.3.cmml" xref="alg3.l13.m1.2.2.1.1.3">1</cn></apply><apply id="alg3.l13.m1.3.3.2.2.cmml" xref="alg3.l13.m1.3.3.2.2"><csymbol cd="ambiguous" id="alg3.l13.m1.3.3.2.2.1.cmml" xref="alg3.l13.m1.3.3.2.2">subscript</csymbol><ci id="alg3.l13.m1.3.3.2.2.2.cmml" xref="alg3.l13.m1.3.3.2.2.2">𝜇</ci><cn type="integer" id="alg3.l13.m1.3.3.2.2.3.cmml" xref="alg3.l13.m1.3.3.2.2.3">2</cn></apply><ci id="alg3.l13.m1.1.1.cmml" xref="alg3.l13.m1.1.1">𝑝</ci></vector></annotation-xml><annotation encoding="application/x-tex" id="alg3.l13.m1.3c">(\mu_{1},\mu_{2},p)</annotation></semantics></math> if needed; stop iteration if certain criteria are met

</div>
<div id="alg3.l14" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg3.l14.1.1.1" class="ltx_text" style="font-size:80%;">14:</span></span>  <span id="alg3.l14.2" class="ltx_text ltx_font_bold">end</span> <span id="alg3.l14.3" class="ltx_text ltx_font_bold">for</span>
</div>
</div>
</figure>
<div id="A5.p1" class="ltx_para">
<p id="A5.p1.3" class="ltx_p">A few notes for Algorithm 1. Both learning rates, <math id="A5.p1.1.m1.1" class="ltx_Math" alttext="\mu_{1}" display="inline"><semantics id="A5.p1.1.m1.1a"><msub id="A5.p1.1.m1.1.1" xref="A5.p1.1.m1.1.1.cmml"><mi id="A5.p1.1.m1.1.1.2" xref="A5.p1.1.m1.1.1.2.cmml">μ</mi><mn id="A5.p1.1.m1.1.1.3" xref="A5.p1.1.m1.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A5.p1.1.m1.1b"><apply id="A5.p1.1.m1.1.1.cmml" xref="A5.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A5.p1.1.m1.1.1.1.cmml" xref="A5.p1.1.m1.1.1">subscript</csymbol><ci id="A5.p1.1.m1.1.1.2.cmml" xref="A5.p1.1.m1.1.1.2">𝜇</ci><cn type="integer" id="A5.p1.1.m1.1.1.3.cmml" xref="A5.p1.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.1.m1.1c">\mu_{1}</annotation></semantics></math> and <math id="A5.p1.2.m2.1" class="ltx_Math" alttext="\mu_{2}" display="inline"><semantics id="A5.p1.2.m2.1a"><msub id="A5.p1.2.m2.1.1" xref="A5.p1.2.m2.1.1.cmml"><mi id="A5.p1.2.m2.1.1.2" xref="A5.p1.2.m2.1.1.2.cmml">μ</mi><mn id="A5.p1.2.m2.1.1.3" xref="A5.p1.2.m2.1.1.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="A5.p1.2.m2.1b"><apply id="A5.p1.2.m2.1.1.cmml" xref="A5.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A5.p1.2.m2.1.1.1.cmml" xref="A5.p1.2.m2.1.1">subscript</csymbol><ci id="A5.p1.2.m2.1.1.2.cmml" xref="A5.p1.2.m2.1.1.2">𝜇</ci><cn type="integer" id="A5.p1.2.m2.1.1.3.cmml" xref="A5.p1.2.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.2.m2.1c">\mu_{2}</annotation></semantics></math>, are normalized by design. We should not set either of them larger than <math id="A5.p1.3.m3.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A5.p1.3.m3.1a"><mn id="A5.p1.3.m3.1.1" xref="A5.p1.3.m3.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A5.p1.3.m3.1b"><cn type="integer" id="A5.p1.3.m3.1.1.cmml" xref="A5.p1.3.m3.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.3.m3.1c">1</annotation></semantics></math>. When the second order derivative is not supported by a certain automatic differentiation tool, we approximate the Hessian-vector product via finite difference as</p>
<table id="A5.Ex72" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A5.Ex72.m1.7" class="ltx_Math" alttext="v\sim\mathcal{N}(0,\varepsilon I),\quad h\approx\frac{\partial\ell(\theta+v,z)}{\partial\theta}-\frac{\partial\ell(\theta,z)}{\partial\theta}" display="block"><semantics id="A5.Ex72.m1.7a"><mrow id="A5.Ex72.m1.7.7.2" xref="A5.Ex72.m1.7.7.3.cmml"><mrow id="A5.Ex72.m1.6.6.1.1" xref="A5.Ex72.m1.6.6.1.1.cmml"><mi id="A5.Ex72.m1.6.6.1.1.3" xref="A5.Ex72.m1.6.6.1.1.3.cmml">v</mi><mo id="A5.Ex72.m1.6.6.1.1.2" xref="A5.Ex72.m1.6.6.1.1.2.cmml">∼</mo><mrow id="A5.Ex72.m1.6.6.1.1.1" xref="A5.Ex72.m1.6.6.1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A5.Ex72.m1.6.6.1.1.1.3" xref="A5.Ex72.m1.6.6.1.1.1.3.cmml">𝒩</mi><mo lspace="0em" rspace="0em" id="A5.Ex72.m1.6.6.1.1.1.2" xref="A5.Ex72.m1.6.6.1.1.1.2.cmml">​</mo><mrow id="A5.Ex72.m1.6.6.1.1.1.1.1" xref="A5.Ex72.m1.6.6.1.1.1.1.2.cmml"><mo stretchy="false" id="A5.Ex72.m1.6.6.1.1.1.1.1.2" xref="A5.Ex72.m1.6.6.1.1.1.1.2.cmml">(</mo><mn id="A5.Ex72.m1.5.5" xref="A5.Ex72.m1.5.5.cmml">0</mn><mo id="A5.Ex72.m1.6.6.1.1.1.1.1.3" xref="A5.Ex72.m1.6.6.1.1.1.1.2.cmml">,</mo><mrow id="A5.Ex72.m1.6.6.1.1.1.1.1.1" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1.cmml"><mi id="A5.Ex72.m1.6.6.1.1.1.1.1.1.2" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1.2.cmml">ε</mi><mo lspace="0em" rspace="0em" id="A5.Ex72.m1.6.6.1.1.1.1.1.1.1" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1.1.cmml">​</mo><mi id="A5.Ex72.m1.6.6.1.1.1.1.1.1.3" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1.3.cmml">I</mi></mrow><mo stretchy="false" id="A5.Ex72.m1.6.6.1.1.1.1.1.4" xref="A5.Ex72.m1.6.6.1.1.1.1.2.cmml">)</mo></mrow></mrow></mrow><mo rspace="1.167em" id="A5.Ex72.m1.7.7.2.3" xref="A5.Ex72.m1.7.7.3a.cmml">,</mo><mrow id="A5.Ex72.m1.7.7.2.2" xref="A5.Ex72.m1.7.7.2.2.cmml"><mi id="A5.Ex72.m1.7.7.2.2.2" xref="A5.Ex72.m1.7.7.2.2.2.cmml">h</mi><mo id="A5.Ex72.m1.7.7.2.2.1" xref="A5.Ex72.m1.7.7.2.2.1.cmml">≈</mo><mrow id="A5.Ex72.m1.7.7.2.2.3" xref="A5.Ex72.m1.7.7.2.2.3.cmml"><mfrac id="A5.Ex72.m1.2.2" xref="A5.Ex72.m1.2.2.cmml"><mrow id="A5.Ex72.m1.2.2.2" xref="A5.Ex72.m1.2.2.2.cmml"><mo rspace="0em" id="A5.Ex72.m1.2.2.2.3" xref="A5.Ex72.m1.2.2.2.3.cmml">∂</mo><mrow id="A5.Ex72.m1.2.2.2.2" xref="A5.Ex72.m1.2.2.2.2.cmml"><mi mathvariant="normal" id="A5.Ex72.m1.2.2.2.2.3" xref="A5.Ex72.m1.2.2.2.2.3.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="A5.Ex72.m1.2.2.2.2.2" xref="A5.Ex72.m1.2.2.2.2.2.cmml">​</mo><mrow id="A5.Ex72.m1.2.2.2.2.1.1" xref="A5.Ex72.m1.2.2.2.2.1.2.cmml"><mo stretchy="false" id="A5.Ex72.m1.2.2.2.2.1.1.2" xref="A5.Ex72.m1.2.2.2.2.1.2.cmml">(</mo><mrow id="A5.Ex72.m1.2.2.2.2.1.1.1" xref="A5.Ex72.m1.2.2.2.2.1.1.1.cmml"><mi id="A5.Ex72.m1.2.2.2.2.1.1.1.2" xref="A5.Ex72.m1.2.2.2.2.1.1.1.2.cmml">θ</mi><mo id="A5.Ex72.m1.2.2.2.2.1.1.1.1" xref="A5.Ex72.m1.2.2.2.2.1.1.1.1.cmml">+</mo><mi id="A5.Ex72.m1.2.2.2.2.1.1.1.3" xref="A5.Ex72.m1.2.2.2.2.1.1.1.3.cmml">v</mi></mrow><mo id="A5.Ex72.m1.2.2.2.2.1.1.3" xref="A5.Ex72.m1.2.2.2.2.1.2.cmml">,</mo><mi id="A5.Ex72.m1.1.1.1.1" xref="A5.Ex72.m1.1.1.1.1.cmml">z</mi><mo stretchy="false" id="A5.Ex72.m1.2.2.2.2.1.1.4" xref="A5.Ex72.m1.2.2.2.2.1.2.cmml">)</mo></mrow></mrow></mrow><mrow id="A5.Ex72.m1.2.2.4" xref="A5.Ex72.m1.2.2.4.cmml"><mo rspace="0em" id="A5.Ex72.m1.2.2.4.1" xref="A5.Ex72.m1.2.2.4.1.cmml">∂</mo><mi id="A5.Ex72.m1.2.2.4.2" xref="A5.Ex72.m1.2.2.4.2.cmml">θ</mi></mrow></mfrac><mo id="A5.Ex72.m1.7.7.2.2.3.1" xref="A5.Ex72.m1.7.7.2.2.3.1.cmml">−</mo><mfrac id="A5.Ex72.m1.4.4" xref="A5.Ex72.m1.4.4.cmml"><mrow id="A5.Ex72.m1.4.4.2" xref="A5.Ex72.m1.4.4.2.cmml"><mo rspace="0em" id="A5.Ex72.m1.4.4.2.3" xref="A5.Ex72.m1.4.4.2.3.cmml">∂</mo><mrow id="A5.Ex72.m1.4.4.2.4" xref="A5.Ex72.m1.4.4.2.4.cmml"><mi mathvariant="normal" id="A5.Ex72.m1.4.4.2.4.2" xref="A5.Ex72.m1.4.4.2.4.2.cmml">ℓ</mi><mo lspace="0em" rspace="0em" id="A5.Ex72.m1.4.4.2.4.1" xref="A5.Ex72.m1.4.4.2.4.1.cmml">​</mo><mrow id="A5.Ex72.m1.4.4.2.4.3.2" xref="A5.Ex72.m1.4.4.2.4.3.1.cmml"><mo stretchy="false" id="A5.Ex72.m1.4.4.2.4.3.2.1" xref="A5.Ex72.m1.4.4.2.4.3.1.cmml">(</mo><mi id="A5.Ex72.m1.3.3.1.1" xref="A5.Ex72.m1.3.3.1.1.cmml">θ</mi><mo id="A5.Ex72.m1.4.4.2.4.3.2.2" xref="A5.Ex72.m1.4.4.2.4.3.1.cmml">,</mo><mi id="A5.Ex72.m1.4.4.2.2" xref="A5.Ex72.m1.4.4.2.2.cmml">z</mi><mo stretchy="false" id="A5.Ex72.m1.4.4.2.4.3.2.3" xref="A5.Ex72.m1.4.4.2.4.3.1.cmml">)</mo></mrow></mrow></mrow><mrow id="A5.Ex72.m1.4.4.4" xref="A5.Ex72.m1.4.4.4.cmml"><mo rspace="0em" id="A5.Ex72.m1.4.4.4.1" xref="A5.Ex72.m1.4.4.4.1.cmml">∂</mo><mi id="A5.Ex72.m1.4.4.4.2" xref="A5.Ex72.m1.4.4.4.2.cmml">θ</mi></mrow></mfrac></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex72.m1.7b"><apply id="A5.Ex72.m1.7.7.3.cmml" xref="A5.Ex72.m1.7.7.2"><csymbol cd="ambiguous" id="A5.Ex72.m1.7.7.3a.cmml" xref="A5.Ex72.m1.7.7.2.3">formulae-sequence</csymbol><apply id="A5.Ex72.m1.6.6.1.1.cmml" xref="A5.Ex72.m1.6.6.1.1"><csymbol cd="latexml" id="A5.Ex72.m1.6.6.1.1.2.cmml" xref="A5.Ex72.m1.6.6.1.1.2">similar-to</csymbol><ci id="A5.Ex72.m1.6.6.1.1.3.cmml" xref="A5.Ex72.m1.6.6.1.1.3">𝑣</ci><apply id="A5.Ex72.m1.6.6.1.1.1.cmml" xref="A5.Ex72.m1.6.6.1.1.1"><times id="A5.Ex72.m1.6.6.1.1.1.2.cmml" xref="A5.Ex72.m1.6.6.1.1.1.2"></times><ci id="A5.Ex72.m1.6.6.1.1.1.3.cmml" xref="A5.Ex72.m1.6.6.1.1.1.3">𝒩</ci><interval closure="open" id="A5.Ex72.m1.6.6.1.1.1.1.2.cmml" xref="A5.Ex72.m1.6.6.1.1.1.1.1"><cn type="integer" id="A5.Ex72.m1.5.5.cmml" xref="A5.Ex72.m1.5.5">0</cn><apply id="A5.Ex72.m1.6.6.1.1.1.1.1.1.cmml" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1"><times id="A5.Ex72.m1.6.6.1.1.1.1.1.1.1.cmml" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1.1"></times><ci id="A5.Ex72.m1.6.6.1.1.1.1.1.1.2.cmml" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1.2">𝜀</ci><ci id="A5.Ex72.m1.6.6.1.1.1.1.1.1.3.cmml" xref="A5.Ex72.m1.6.6.1.1.1.1.1.1.3">𝐼</ci></apply></interval></apply></apply><apply id="A5.Ex72.m1.7.7.2.2.cmml" xref="A5.Ex72.m1.7.7.2.2"><approx id="A5.Ex72.m1.7.7.2.2.1.cmml" xref="A5.Ex72.m1.7.7.2.2.1"></approx><ci id="A5.Ex72.m1.7.7.2.2.2.cmml" xref="A5.Ex72.m1.7.7.2.2.2">ℎ</ci><apply id="A5.Ex72.m1.7.7.2.2.3.cmml" xref="A5.Ex72.m1.7.7.2.2.3"><minus id="A5.Ex72.m1.7.7.2.2.3.1.cmml" xref="A5.Ex72.m1.7.7.2.2.3.1"></minus><apply id="A5.Ex72.m1.2.2.cmml" xref="A5.Ex72.m1.2.2"><divide id="A5.Ex72.m1.2.2.3.cmml" xref="A5.Ex72.m1.2.2"></divide><apply id="A5.Ex72.m1.2.2.2.cmml" xref="A5.Ex72.m1.2.2.2"><partialdiff id="A5.Ex72.m1.2.2.2.3.cmml" xref="A5.Ex72.m1.2.2.2.3"></partialdiff><apply id="A5.Ex72.m1.2.2.2.2.cmml" xref="A5.Ex72.m1.2.2.2.2"><times id="A5.Ex72.m1.2.2.2.2.2.cmml" xref="A5.Ex72.m1.2.2.2.2.2"></times><ci id="A5.Ex72.m1.2.2.2.2.3.cmml" xref="A5.Ex72.m1.2.2.2.2.3">ℓ</ci><interval closure="open" id="A5.Ex72.m1.2.2.2.2.1.2.cmml" xref="A5.Ex72.m1.2.2.2.2.1.1"><apply id="A5.Ex72.m1.2.2.2.2.1.1.1.cmml" xref="A5.Ex72.m1.2.2.2.2.1.1.1"><plus id="A5.Ex72.m1.2.2.2.2.1.1.1.1.cmml" xref="A5.Ex72.m1.2.2.2.2.1.1.1.1"></plus><ci id="A5.Ex72.m1.2.2.2.2.1.1.1.2.cmml" xref="A5.Ex72.m1.2.2.2.2.1.1.1.2">𝜃</ci><ci id="A5.Ex72.m1.2.2.2.2.1.1.1.3.cmml" xref="A5.Ex72.m1.2.2.2.2.1.1.1.3">𝑣</ci></apply><ci id="A5.Ex72.m1.1.1.1.1.cmml" xref="A5.Ex72.m1.1.1.1.1">𝑧</ci></interval></apply></apply><apply id="A5.Ex72.m1.2.2.4.cmml" xref="A5.Ex72.m1.2.2.4"><partialdiff id="A5.Ex72.m1.2.2.4.1.cmml" xref="A5.Ex72.m1.2.2.4.1"></partialdiff><ci id="A5.Ex72.m1.2.2.4.2.cmml" xref="A5.Ex72.m1.2.2.4.2">𝜃</ci></apply></apply><apply id="A5.Ex72.m1.4.4.cmml" xref="A5.Ex72.m1.4.4"><divide id="A5.Ex72.m1.4.4.3.cmml" xref="A5.Ex72.m1.4.4"></divide><apply id="A5.Ex72.m1.4.4.2.cmml" xref="A5.Ex72.m1.4.4.2"><partialdiff id="A5.Ex72.m1.4.4.2.3.cmml" xref="A5.Ex72.m1.4.4.2.3"></partialdiff><apply id="A5.Ex72.m1.4.4.2.4.cmml" xref="A5.Ex72.m1.4.4.2.4"><times id="A5.Ex72.m1.4.4.2.4.1.cmml" xref="A5.Ex72.m1.4.4.2.4.1"></times><ci id="A5.Ex72.m1.4.4.2.4.2.cmml" xref="A5.Ex72.m1.4.4.2.4.2">ℓ</ci><interval closure="open" id="A5.Ex72.m1.4.4.2.4.3.1.cmml" xref="A5.Ex72.m1.4.4.2.4.3.2"><ci id="A5.Ex72.m1.3.3.1.1.cmml" xref="A5.Ex72.m1.3.3.1.1">𝜃</ci><ci id="A5.Ex72.m1.4.4.2.2.cmml" xref="A5.Ex72.m1.4.4.2.2">𝑧</ci></interval></apply></apply><apply id="A5.Ex72.m1.4.4.4.cmml" xref="A5.Ex72.m1.4.4.4"><partialdiff id="A5.Ex72.m1.4.4.4.1.cmml" xref="A5.Ex72.m1.4.4.4.1"></partialdiff><ci id="A5.Ex72.m1.4.4.4.2.cmml" xref="A5.Ex72.m1.4.4.4.2">𝜃</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex72.m1.7c">v\sim\mathcal{N}(0,\varepsilon I),\quad h\approx\frac{\partial\ell(\theta+v,z)}{\partial\theta}-\frac{\partial\ell(\theta,z)}{\partial\theta}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A5.p1.8" class="ltx_p">where <math id="A5.p1.4.m1.1" class="ltx_Math" alttext="\varepsilon" display="inline"><semantics id="A5.p1.4.m1.1a"><mi id="A5.p1.4.m1.1.1" xref="A5.p1.4.m1.1.1.cmml">ε</mi><annotation-xml encoding="MathML-Content" id="A5.p1.4.m1.1b"><ci id="A5.p1.4.m1.1.1.cmml" xref="A5.p1.4.m1.1.1">𝜀</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.4.m1.1c">\varepsilon</annotation></semantics></math> is a small positive number, e.g., the machine precision.
We should avoid forming the preconditioner <math id="A5.p1.5.m2.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A5.p1.5.m2.1a"><mi id="A5.p1.5.m2.1.1" xref="A5.p1.5.m2.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A5.p1.5.m2.1b"><ci id="A5.p1.5.m2.1.1.cmml" xref="A5.p1.5.m2.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.5.m2.1c">P</annotation></semantics></math> explicitly as <math id="A5.p1.6.m3.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="A5.p1.6.m3.1a"><mrow id="A5.p1.6.m3.1.1" xref="A5.p1.6.m3.1.1.cmml"><mi id="A5.p1.6.m3.1.1.2" xref="A5.p1.6.m3.1.1.2.cmml">P</mi><mo id="A5.p1.6.m3.1.1.1" xref="A5.p1.6.m3.1.1.1.cmml">=</mo><mrow id="A5.p1.6.m3.1.1.3" xref="A5.p1.6.m3.1.1.3.cmml"><msup id="A5.p1.6.m3.1.1.3.2" xref="A5.p1.6.m3.1.1.3.2.cmml"><mi id="A5.p1.6.m3.1.1.3.2.2" xref="A5.p1.6.m3.1.1.3.2.2.cmml">Q</mi><mi id="A5.p1.6.m3.1.1.3.2.3" xref="A5.p1.6.m3.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.p1.6.m3.1.1.3.1" xref="A5.p1.6.m3.1.1.3.1.cmml">​</mo><mi id="A5.p1.6.m3.1.1.3.3" xref="A5.p1.6.m3.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.p1.6.m3.1b"><apply id="A5.p1.6.m3.1.1.cmml" xref="A5.p1.6.m3.1.1"><eq id="A5.p1.6.m3.1.1.1.cmml" xref="A5.p1.6.m3.1.1.1"></eq><ci id="A5.p1.6.m3.1.1.2.cmml" xref="A5.p1.6.m3.1.1.2">𝑃</ci><apply id="A5.p1.6.m3.1.1.3.cmml" xref="A5.p1.6.m3.1.1.3"><times id="A5.p1.6.m3.1.1.3.1.cmml" xref="A5.p1.6.m3.1.1.3.1"></times><apply id="A5.p1.6.m3.1.1.3.2.cmml" xref="A5.p1.6.m3.1.1.3.2"><csymbol cd="ambiguous" id="A5.p1.6.m3.1.1.3.2.1.cmml" xref="A5.p1.6.m3.1.1.3.2">superscript</csymbol><ci id="A5.p1.6.m3.1.1.3.2.2.cmml" xref="A5.p1.6.m3.1.1.3.2.2">𝑄</ci><ci id="A5.p1.6.m3.1.1.3.2.3.cmml" xref="A5.p1.6.m3.1.1.3.2.3">𝑇</ci></apply><ci id="A5.p1.6.m3.1.1.3.3.cmml" xref="A5.p1.6.m3.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.6.m3.1c">P=Q^{T}Q</annotation></semantics></math>. Instead, the preconditioned gradient is always calculated as <math id="A5.p1.7.m4.1" class="ltx_Math" alttext="\mathfrak{g}=Q^{T}(Qg)" display="inline"><semantics id="A5.p1.7.m4.1a"><mrow id="A5.p1.7.m4.1.1" xref="A5.p1.7.m4.1.1.cmml"><mi id="A5.p1.7.m4.1.1.3" xref="A5.p1.7.m4.1.1.3.cmml">𝔤</mi><mo id="A5.p1.7.m4.1.1.2" xref="A5.p1.7.m4.1.1.2.cmml">=</mo><mrow id="A5.p1.7.m4.1.1.1" xref="A5.p1.7.m4.1.1.1.cmml"><msup id="A5.p1.7.m4.1.1.1.3" xref="A5.p1.7.m4.1.1.1.3.cmml"><mi id="A5.p1.7.m4.1.1.1.3.2" xref="A5.p1.7.m4.1.1.1.3.2.cmml">Q</mi><mi id="A5.p1.7.m4.1.1.1.3.3" xref="A5.p1.7.m4.1.1.1.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.p1.7.m4.1.1.1.2" xref="A5.p1.7.m4.1.1.1.2.cmml">​</mo><mrow id="A5.p1.7.m4.1.1.1.1.1" xref="A5.p1.7.m4.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.p1.7.m4.1.1.1.1.1.2" xref="A5.p1.7.m4.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.p1.7.m4.1.1.1.1.1.1" xref="A5.p1.7.m4.1.1.1.1.1.1.cmml"><mi id="A5.p1.7.m4.1.1.1.1.1.1.2" xref="A5.p1.7.m4.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A5.p1.7.m4.1.1.1.1.1.1.1" xref="A5.p1.7.m4.1.1.1.1.1.1.1.cmml">​</mo><mi id="A5.p1.7.m4.1.1.1.1.1.1.3" xref="A5.p1.7.m4.1.1.1.1.1.1.3.cmml">g</mi></mrow><mo stretchy="false" id="A5.p1.7.m4.1.1.1.1.1.3" xref="A5.p1.7.m4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.p1.7.m4.1b"><apply id="A5.p1.7.m4.1.1.cmml" xref="A5.p1.7.m4.1.1"><eq id="A5.p1.7.m4.1.1.2.cmml" xref="A5.p1.7.m4.1.1.2"></eq><ci id="A5.p1.7.m4.1.1.3.cmml" xref="A5.p1.7.m4.1.1.3">𝔤</ci><apply id="A5.p1.7.m4.1.1.1.cmml" xref="A5.p1.7.m4.1.1.1"><times id="A5.p1.7.m4.1.1.1.2.cmml" xref="A5.p1.7.m4.1.1.1.2"></times><apply id="A5.p1.7.m4.1.1.1.3.cmml" xref="A5.p1.7.m4.1.1.1.3"><csymbol cd="ambiguous" id="A5.p1.7.m4.1.1.1.3.1.cmml" xref="A5.p1.7.m4.1.1.1.3">superscript</csymbol><ci id="A5.p1.7.m4.1.1.1.3.2.cmml" xref="A5.p1.7.m4.1.1.1.3.2">𝑄</ci><ci id="A5.p1.7.m4.1.1.1.3.3.cmml" xref="A5.p1.7.m4.1.1.1.3.3">𝑇</ci></apply><apply id="A5.p1.7.m4.1.1.1.1.1.1.cmml" xref="A5.p1.7.m4.1.1.1.1.1"><times id="A5.p1.7.m4.1.1.1.1.1.1.1.cmml" xref="A5.p1.7.m4.1.1.1.1.1.1.1"></times><ci id="A5.p1.7.m4.1.1.1.1.1.1.2.cmml" xref="A5.p1.7.m4.1.1.1.1.1.1.2">𝑄</ci><ci id="A5.p1.7.m4.1.1.1.1.1.1.3.cmml" xref="A5.p1.7.m4.1.1.1.1.1.1.3">𝑔</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.7.m4.1c">\mathfrak{g}=Q^{T}(Qg)</annotation></semantics></math>. Algorithm 1 is for PSGD with any preconditioner design. Here, we elaborate its preconditioner update algorithms on the two specific Lie groups proposed in this paper. We are not going to detail the algorithm on the calculation of <math id="A5.p1.8.m5.1" class="ltx_Math" alttext="\mathfrak{g}=Q^{T}(Qg)" display="inline"><semantics id="A5.p1.8.m5.1a"><mrow id="A5.p1.8.m5.1.1" xref="A5.p1.8.m5.1.1.cmml"><mi id="A5.p1.8.m5.1.1.3" xref="A5.p1.8.m5.1.1.3.cmml">𝔤</mi><mo id="A5.p1.8.m5.1.1.2" xref="A5.p1.8.m5.1.1.2.cmml">=</mo><mrow id="A5.p1.8.m5.1.1.1" xref="A5.p1.8.m5.1.1.1.cmml"><msup id="A5.p1.8.m5.1.1.1.3" xref="A5.p1.8.m5.1.1.1.3.cmml"><mi id="A5.p1.8.m5.1.1.1.3.2" xref="A5.p1.8.m5.1.1.1.3.2.cmml">Q</mi><mi id="A5.p1.8.m5.1.1.1.3.3" xref="A5.p1.8.m5.1.1.1.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.p1.8.m5.1.1.1.2" xref="A5.p1.8.m5.1.1.1.2.cmml">​</mo><mrow id="A5.p1.8.m5.1.1.1.1.1" xref="A5.p1.8.m5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.p1.8.m5.1.1.1.1.1.2" xref="A5.p1.8.m5.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.p1.8.m5.1.1.1.1.1.1" xref="A5.p1.8.m5.1.1.1.1.1.1.cmml"><mi id="A5.p1.8.m5.1.1.1.1.1.1.2" xref="A5.p1.8.m5.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A5.p1.8.m5.1.1.1.1.1.1.1" xref="A5.p1.8.m5.1.1.1.1.1.1.1.cmml">​</mo><mi id="A5.p1.8.m5.1.1.1.1.1.1.3" xref="A5.p1.8.m5.1.1.1.1.1.1.3.cmml">g</mi></mrow><mo stretchy="false" id="A5.p1.8.m5.1.1.1.1.1.3" xref="A5.p1.8.m5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.p1.8.m5.1b"><apply id="A5.p1.8.m5.1.1.cmml" xref="A5.p1.8.m5.1.1"><eq id="A5.p1.8.m5.1.1.2.cmml" xref="A5.p1.8.m5.1.1.2"></eq><ci id="A5.p1.8.m5.1.1.3.cmml" xref="A5.p1.8.m5.1.1.3">𝔤</ci><apply id="A5.p1.8.m5.1.1.1.cmml" xref="A5.p1.8.m5.1.1.1"><times id="A5.p1.8.m5.1.1.1.2.cmml" xref="A5.p1.8.m5.1.1.1.2"></times><apply id="A5.p1.8.m5.1.1.1.3.cmml" xref="A5.p1.8.m5.1.1.1.3"><csymbol cd="ambiguous" id="A5.p1.8.m5.1.1.1.3.1.cmml" xref="A5.p1.8.m5.1.1.1.3">superscript</csymbol><ci id="A5.p1.8.m5.1.1.1.3.2.cmml" xref="A5.p1.8.m5.1.1.1.3.2">𝑄</ci><ci id="A5.p1.8.m5.1.1.1.3.3.cmml" xref="A5.p1.8.m5.1.1.1.3.3">𝑇</ci></apply><apply id="A5.p1.8.m5.1.1.1.1.1.1.cmml" xref="A5.p1.8.m5.1.1.1.1.1"><times id="A5.p1.8.m5.1.1.1.1.1.1.1.cmml" xref="A5.p1.8.m5.1.1.1.1.1.1.1"></times><ci id="A5.p1.8.m5.1.1.1.1.1.1.2.cmml" xref="A5.p1.8.m5.1.1.1.1.1.1.2">𝑄</ci><ci id="A5.p1.8.m5.1.1.1.1.1.1.3.cmml" xref="A5.p1.8.m5.1.1.1.1.1.1.3">𝑔</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.8.m5.1c">\mathfrak{g}=Q^{T}(Qg)</annotation></semantics></math> as its math is pretty straightforward.</p>
</div>
<div class="ltx_pagination ltx_role_newpage"></div>
<figure id="alg4" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg4.2.1.1" class="ltx_text ltx_font_bold">Algorithm 4</span> </span> XMat Preconditioner Update</figcaption>
<div id="alg4.3" class="ltx_listing ltx_listing">
<div id="alg4.l1" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l1.1.1.1" class="ltx_text" style="font-size:80%;">1:</span></span>  Prepare inputs <math id="alg4.l1.m1.2" class="ltx_Math" alttext="Q={\rm diag}(a)+{\rm adiag}(b)" display="inline"><semantics id="alg4.l1.m1.2a"><mrow id="alg4.l1.m1.2.3" xref="alg4.l1.m1.2.3.cmml"><mi id="alg4.l1.m1.2.3.2" xref="alg4.l1.m1.2.3.2.cmml">Q</mi><mo id="alg4.l1.m1.2.3.1" xref="alg4.l1.m1.2.3.1.cmml">=</mo><mrow id="alg4.l1.m1.2.3.3" xref="alg4.l1.m1.2.3.3.cmml"><mrow id="alg4.l1.m1.2.3.3.2" xref="alg4.l1.m1.2.3.3.2.cmml"><mi id="alg4.l1.m1.2.3.3.2.2" xref="alg4.l1.m1.2.3.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="alg4.l1.m1.2.3.3.2.1" xref="alg4.l1.m1.2.3.3.2.1.cmml">​</mo><mrow id="alg4.l1.m1.2.3.3.2.3.2" xref="alg4.l1.m1.2.3.3.2.cmml"><mo stretchy="false" id="alg4.l1.m1.2.3.3.2.3.2.1" xref="alg4.l1.m1.2.3.3.2.cmml">(</mo><mi id="alg4.l1.m1.1.1" xref="alg4.l1.m1.1.1.cmml">a</mi><mo stretchy="false" id="alg4.l1.m1.2.3.3.2.3.2.2" xref="alg4.l1.m1.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="alg4.l1.m1.2.3.3.1" xref="alg4.l1.m1.2.3.3.1.cmml">+</mo><mrow id="alg4.l1.m1.2.3.3.3" xref="alg4.l1.m1.2.3.3.3.cmml"><mi id="alg4.l1.m1.2.3.3.3.2" xref="alg4.l1.m1.2.3.3.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="alg4.l1.m1.2.3.3.3.1" xref="alg4.l1.m1.2.3.3.3.1.cmml">​</mo><mrow id="alg4.l1.m1.2.3.3.3.3.2" xref="alg4.l1.m1.2.3.3.3.cmml"><mo stretchy="false" id="alg4.l1.m1.2.3.3.3.3.2.1" xref="alg4.l1.m1.2.3.3.3.cmml">(</mo><mi id="alg4.l1.m1.2.2" xref="alg4.l1.m1.2.2.cmml">b</mi><mo stretchy="false" id="alg4.l1.m1.2.3.3.3.3.2.2" xref="alg4.l1.m1.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l1.m1.2b"><apply id="alg4.l1.m1.2.3.cmml" xref="alg4.l1.m1.2.3"><eq id="alg4.l1.m1.2.3.1.cmml" xref="alg4.l1.m1.2.3.1"></eq><ci id="alg4.l1.m1.2.3.2.cmml" xref="alg4.l1.m1.2.3.2">𝑄</ci><apply id="alg4.l1.m1.2.3.3.cmml" xref="alg4.l1.m1.2.3.3"><plus id="alg4.l1.m1.2.3.3.1.cmml" xref="alg4.l1.m1.2.3.3.1"></plus><apply id="alg4.l1.m1.2.3.3.2.cmml" xref="alg4.l1.m1.2.3.3.2"><times id="alg4.l1.m1.2.3.3.2.1.cmml" xref="alg4.l1.m1.2.3.3.2.1"></times><ci id="alg4.l1.m1.2.3.3.2.2.cmml" xref="alg4.l1.m1.2.3.3.2.2">diag</ci><ci id="alg4.l1.m1.1.1.cmml" xref="alg4.l1.m1.1.1">𝑎</ci></apply><apply id="alg4.l1.m1.2.3.3.3.cmml" xref="alg4.l1.m1.2.3.3.3"><times id="alg4.l1.m1.2.3.3.3.1.cmml" xref="alg4.l1.m1.2.3.3.3.1"></times><ci id="alg4.l1.m1.2.3.3.3.2.cmml" xref="alg4.l1.m1.2.3.3.3.2">adiag</ci><ci id="alg4.l1.m1.2.2.cmml" xref="alg4.l1.m1.2.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l1.m1.2c">Q={\rm diag}(a)+{\rm adiag}(b)</annotation></semantics></math> and pair <math id="alg4.l1.m2.2" class="ltx_Math" alttext="(v,h)" display="inline"><semantics id="alg4.l1.m2.2a"><mrow id="alg4.l1.m2.2.3.2" xref="alg4.l1.m2.2.3.1.cmml"><mo stretchy="false" id="alg4.l1.m2.2.3.2.1" xref="alg4.l1.m2.2.3.1.cmml">(</mo><mi id="alg4.l1.m2.1.1" xref="alg4.l1.m2.1.1.cmml">v</mi><mo id="alg4.l1.m2.2.3.2.2" xref="alg4.l1.m2.2.3.1.cmml">,</mo><mi id="alg4.l1.m2.2.2" xref="alg4.l1.m2.2.2.cmml">h</mi><mo stretchy="false" id="alg4.l1.m2.2.3.2.3" xref="alg4.l1.m2.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="alg4.l1.m2.2b"><interval closure="open" id="alg4.l1.m2.2.3.1.cmml" xref="alg4.l1.m2.2.3.2"><ci id="alg4.l1.m2.1.1.cmml" xref="alg4.l1.m2.1.1">𝑣</ci><ci id="alg4.l1.m2.2.2.cmml" xref="alg4.l1.m2.2.2">ℎ</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="alg4.l1.m2.2c">(v,h)</annotation></semantics></math>

</div>
<div id="alg4.l2" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l2.1.1.1" class="ltx_text" style="font-size:80%;">2:</span></span>  Calculate <math id="alg4.l2.m1.1" class="ltx_Math" alttext="Qh=a\odot h+b\odot{\rm flip}(h)" display="inline"><semantics id="alg4.l2.m1.1a"><mrow id="alg4.l2.m1.1.2" xref="alg4.l2.m1.1.2.cmml"><mrow id="alg4.l2.m1.1.2.2" xref="alg4.l2.m1.1.2.2.cmml"><mi id="alg4.l2.m1.1.2.2.2" xref="alg4.l2.m1.1.2.2.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg4.l2.m1.1.2.2.1" xref="alg4.l2.m1.1.2.2.1.cmml">​</mo><mi id="alg4.l2.m1.1.2.2.3" xref="alg4.l2.m1.1.2.2.3.cmml">h</mi></mrow><mo id="alg4.l2.m1.1.2.1" xref="alg4.l2.m1.1.2.1.cmml">=</mo><mrow id="alg4.l2.m1.1.2.3" xref="alg4.l2.m1.1.2.3.cmml"><mrow id="alg4.l2.m1.1.2.3.2" xref="alg4.l2.m1.1.2.3.2.cmml"><mi id="alg4.l2.m1.1.2.3.2.2" xref="alg4.l2.m1.1.2.3.2.2.cmml">a</mi><mo lspace="0.222em" rspace="0.222em" id="alg4.l2.m1.1.2.3.2.1" xref="alg4.l2.m1.1.2.3.2.1.cmml">⊙</mo><mi id="alg4.l2.m1.1.2.3.2.3" xref="alg4.l2.m1.1.2.3.2.3.cmml">h</mi></mrow><mo id="alg4.l2.m1.1.2.3.1" xref="alg4.l2.m1.1.2.3.1.cmml">+</mo><mrow id="alg4.l2.m1.1.2.3.3" xref="alg4.l2.m1.1.2.3.3.cmml"><mrow id="alg4.l2.m1.1.2.3.3.2" xref="alg4.l2.m1.1.2.3.3.2.cmml"><mi id="alg4.l2.m1.1.2.3.3.2.2" xref="alg4.l2.m1.1.2.3.3.2.2.cmml">b</mi><mo lspace="0.222em" rspace="0.222em" id="alg4.l2.m1.1.2.3.3.2.1" xref="alg4.l2.m1.1.2.3.3.2.1.cmml">⊙</mo><mi id="alg4.l2.m1.1.2.3.3.2.3" xref="alg4.l2.m1.1.2.3.3.2.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l2.m1.1.2.3.3.1" xref="alg4.l2.m1.1.2.3.3.1.cmml">​</mo><mrow id="alg4.l2.m1.1.2.3.3.3.2" xref="alg4.l2.m1.1.2.3.3.cmml"><mo stretchy="false" id="alg4.l2.m1.1.2.3.3.3.2.1" xref="alg4.l2.m1.1.2.3.3.cmml">(</mo><mi id="alg4.l2.m1.1.1" xref="alg4.l2.m1.1.1.cmml">h</mi><mo stretchy="false" id="alg4.l2.m1.1.2.3.3.3.2.2" xref="alg4.l2.m1.1.2.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l2.m1.1b"><apply id="alg4.l2.m1.1.2.cmml" xref="alg4.l2.m1.1.2"><eq id="alg4.l2.m1.1.2.1.cmml" xref="alg4.l2.m1.1.2.1"></eq><apply id="alg4.l2.m1.1.2.2.cmml" xref="alg4.l2.m1.1.2.2"><times id="alg4.l2.m1.1.2.2.1.cmml" xref="alg4.l2.m1.1.2.2.1"></times><ci id="alg4.l2.m1.1.2.2.2.cmml" xref="alg4.l2.m1.1.2.2.2">𝑄</ci><ci id="alg4.l2.m1.1.2.2.3.cmml" xref="alg4.l2.m1.1.2.2.3">ℎ</ci></apply><apply id="alg4.l2.m1.1.2.3.cmml" xref="alg4.l2.m1.1.2.3"><plus id="alg4.l2.m1.1.2.3.1.cmml" xref="alg4.l2.m1.1.2.3.1"></plus><apply id="alg4.l2.m1.1.2.3.2.cmml" xref="alg4.l2.m1.1.2.3.2"><csymbol cd="latexml" id="alg4.l2.m1.1.2.3.2.1.cmml" xref="alg4.l2.m1.1.2.3.2.1">direct-product</csymbol><ci id="alg4.l2.m1.1.2.3.2.2.cmml" xref="alg4.l2.m1.1.2.3.2.2">𝑎</ci><ci id="alg4.l2.m1.1.2.3.2.3.cmml" xref="alg4.l2.m1.1.2.3.2.3">ℎ</ci></apply><apply id="alg4.l2.m1.1.2.3.3.cmml" xref="alg4.l2.m1.1.2.3.3"><times id="alg4.l2.m1.1.2.3.3.1.cmml" xref="alg4.l2.m1.1.2.3.3.1"></times><apply id="alg4.l2.m1.1.2.3.3.2.cmml" xref="alg4.l2.m1.1.2.3.3.2"><csymbol cd="latexml" id="alg4.l2.m1.1.2.3.3.2.1.cmml" xref="alg4.l2.m1.1.2.3.3.2.1">direct-product</csymbol><ci id="alg4.l2.m1.1.2.3.3.2.2.cmml" xref="alg4.l2.m1.1.2.3.3.2.2">𝑏</ci><ci id="alg4.l2.m1.1.2.3.3.2.3.cmml" xref="alg4.l2.m1.1.2.3.3.2.3">flip</ci></apply><ci id="alg4.l2.m1.1.1.cmml" xref="alg4.l2.m1.1.1">ℎ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l2.m1.1c">Qh=a\odot h+b\odot{\rm flip}(h)</annotation></semantics></math>

</div>
<div id="alg4.l3" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l3.1.1.1" class="ltx_text" style="font-size:80%;">3:</span></span>  Calculate
<math id="alg4.l3.m1.7" class="ltx_Math" alttext="Q^{-T}v=({\rm flip}(a)\odot v-{\rm flip}(b)\odot{\rm flip}(v))\oslash(a\odot{\rm flip}(a)-b\odot{\rm flip}(b))" display="inline"><semantics id="alg4.l3.m1.7a"><mrow id="alg4.l3.m1.7.7" xref="alg4.l3.m1.7.7.cmml"><mrow id="alg4.l3.m1.7.7.4" xref="alg4.l3.m1.7.7.4.cmml"><msup id="alg4.l3.m1.7.7.4.2" xref="alg4.l3.m1.7.7.4.2.cmml"><mi id="alg4.l3.m1.7.7.4.2.2" xref="alg4.l3.m1.7.7.4.2.2.cmml">Q</mi><mrow id="alg4.l3.m1.7.7.4.2.3" xref="alg4.l3.m1.7.7.4.2.3.cmml"><mo id="alg4.l3.m1.7.7.4.2.3a" xref="alg4.l3.m1.7.7.4.2.3.cmml">−</mo><mi id="alg4.l3.m1.7.7.4.2.3.2" xref="alg4.l3.m1.7.7.4.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg4.l3.m1.7.7.4.1" xref="alg4.l3.m1.7.7.4.1.cmml">​</mo><mi id="alg4.l3.m1.7.7.4.3" xref="alg4.l3.m1.7.7.4.3.cmml">v</mi></mrow><mo id="alg4.l3.m1.7.7.3" xref="alg4.l3.m1.7.7.3.cmml">=</mo><mrow id="alg4.l3.m1.7.7.2" xref="alg4.l3.m1.7.7.2.cmml"><mrow id="alg4.l3.m1.6.6.1.1.1" xref="alg4.l3.m1.6.6.1.1.1.1.cmml"><mo stretchy="false" id="alg4.l3.m1.6.6.1.1.1.2" xref="alg4.l3.m1.6.6.1.1.1.1.cmml">(</mo><mrow id="alg4.l3.m1.6.6.1.1.1.1" xref="alg4.l3.m1.6.6.1.1.1.1.cmml"><mrow id="alg4.l3.m1.6.6.1.1.1.1.2" xref="alg4.l3.m1.6.6.1.1.1.1.2.cmml"><mrow id="alg4.l3.m1.6.6.1.1.1.1.2.2" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.cmml"><mi id="alg4.l3.m1.6.6.1.1.1.1.2.2.2" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.2.cmml">flip</mi><mo lspace="0em" rspace="0em" id="alg4.l3.m1.6.6.1.1.1.1.2.2.1" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.1.cmml">​</mo><mrow id="alg4.l3.m1.6.6.1.1.1.1.2.2.3.2" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.cmml"><mo stretchy="false" id="alg4.l3.m1.6.6.1.1.1.1.2.2.3.2.1" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.cmml">(</mo><mi id="alg4.l3.m1.1.1" xref="alg4.l3.m1.1.1.cmml">a</mi><mo rspace="0.055em" stretchy="false" id="alg4.l3.m1.6.6.1.1.1.1.2.2.3.2.2" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="alg4.l3.m1.6.6.1.1.1.1.2.1" xref="alg4.l3.m1.6.6.1.1.1.1.2.1.cmml">⊙</mo><mi id="alg4.l3.m1.6.6.1.1.1.1.2.3" xref="alg4.l3.m1.6.6.1.1.1.1.2.3.cmml">v</mi></mrow><mo id="alg4.l3.m1.6.6.1.1.1.1.1" xref="alg4.l3.m1.6.6.1.1.1.1.1.cmml">−</mo><mrow id="alg4.l3.m1.6.6.1.1.1.1.3" xref="alg4.l3.m1.6.6.1.1.1.1.3.cmml"><mrow id="alg4.l3.m1.6.6.1.1.1.1.3.2" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.cmml"><mrow id="alg4.l3.m1.6.6.1.1.1.1.3.2.2" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.cmml"><mi id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.2" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.2.cmml">flip</mi><mo lspace="0em" rspace="0em" id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.1" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.1.cmml">​</mo><mrow id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.3.2" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.cmml"><mo stretchy="false" id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.3.2.1" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.cmml">(</mo><mi id="alg4.l3.m1.2.2" xref="alg4.l3.m1.2.2.cmml">b</mi><mo rspace="0.055em" stretchy="false" id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.3.2.2" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="alg4.l3.m1.6.6.1.1.1.1.3.2.1" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.1.cmml">⊙</mo><mi id="alg4.l3.m1.6.6.1.1.1.1.3.2.3" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l3.m1.6.6.1.1.1.1.3.1" xref="alg4.l3.m1.6.6.1.1.1.1.3.1.cmml">​</mo><mrow id="alg4.l3.m1.6.6.1.1.1.1.3.3.2" xref="alg4.l3.m1.6.6.1.1.1.1.3.cmml"><mo stretchy="false" id="alg4.l3.m1.6.6.1.1.1.1.3.3.2.1" xref="alg4.l3.m1.6.6.1.1.1.1.3.cmml">(</mo><mi id="alg4.l3.m1.3.3" xref="alg4.l3.m1.3.3.cmml">v</mi><mo stretchy="false" id="alg4.l3.m1.6.6.1.1.1.1.3.3.2.2" xref="alg4.l3.m1.6.6.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="alg4.l3.m1.6.6.1.1.1.3" xref="alg4.l3.m1.6.6.1.1.1.1.cmml">)</mo></mrow><mo id="alg4.l3.m1.7.7.2.3" xref="alg4.l3.m1.7.7.2.3.cmml">⊘</mo><mrow id="alg4.l3.m1.7.7.2.2.1" xref="alg4.l3.m1.7.7.2.2.1.1.cmml"><mo stretchy="false" id="alg4.l3.m1.7.7.2.2.1.2" xref="alg4.l3.m1.7.7.2.2.1.1.cmml">(</mo><mrow id="alg4.l3.m1.7.7.2.2.1.1" xref="alg4.l3.m1.7.7.2.2.1.1.cmml"><mrow id="alg4.l3.m1.7.7.2.2.1.1.2" xref="alg4.l3.m1.7.7.2.2.1.1.2.cmml"><mrow id="alg4.l3.m1.7.7.2.2.1.1.2.2" xref="alg4.l3.m1.7.7.2.2.1.1.2.2.cmml"><mi id="alg4.l3.m1.7.7.2.2.1.1.2.2.2" xref="alg4.l3.m1.7.7.2.2.1.1.2.2.2.cmml">a</mi><mo lspace="0.222em" rspace="0.222em" id="alg4.l3.m1.7.7.2.2.1.1.2.2.1" xref="alg4.l3.m1.7.7.2.2.1.1.2.2.1.cmml">⊙</mo><mi id="alg4.l3.m1.7.7.2.2.1.1.2.2.3" xref="alg4.l3.m1.7.7.2.2.1.1.2.2.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l3.m1.7.7.2.2.1.1.2.1" xref="alg4.l3.m1.7.7.2.2.1.1.2.1.cmml">​</mo><mrow id="alg4.l3.m1.7.7.2.2.1.1.2.3.2" xref="alg4.l3.m1.7.7.2.2.1.1.2.cmml"><mo stretchy="false" id="alg4.l3.m1.7.7.2.2.1.1.2.3.2.1" xref="alg4.l3.m1.7.7.2.2.1.1.2.cmml">(</mo><mi id="alg4.l3.m1.4.4" xref="alg4.l3.m1.4.4.cmml">a</mi><mo stretchy="false" id="alg4.l3.m1.7.7.2.2.1.1.2.3.2.2" xref="alg4.l3.m1.7.7.2.2.1.1.2.cmml">)</mo></mrow></mrow><mo id="alg4.l3.m1.7.7.2.2.1.1.1" xref="alg4.l3.m1.7.7.2.2.1.1.1.cmml">−</mo><mrow id="alg4.l3.m1.7.7.2.2.1.1.3" xref="alg4.l3.m1.7.7.2.2.1.1.3.cmml"><mrow id="alg4.l3.m1.7.7.2.2.1.1.3.2" xref="alg4.l3.m1.7.7.2.2.1.1.3.2.cmml"><mi id="alg4.l3.m1.7.7.2.2.1.1.3.2.2" xref="alg4.l3.m1.7.7.2.2.1.1.3.2.2.cmml">b</mi><mo lspace="0.222em" rspace="0.222em" id="alg4.l3.m1.7.7.2.2.1.1.3.2.1" xref="alg4.l3.m1.7.7.2.2.1.1.3.2.1.cmml">⊙</mo><mi id="alg4.l3.m1.7.7.2.2.1.1.3.2.3" xref="alg4.l3.m1.7.7.2.2.1.1.3.2.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l3.m1.7.7.2.2.1.1.3.1" xref="alg4.l3.m1.7.7.2.2.1.1.3.1.cmml">​</mo><mrow id="alg4.l3.m1.7.7.2.2.1.1.3.3.2" xref="alg4.l3.m1.7.7.2.2.1.1.3.cmml"><mo stretchy="false" id="alg4.l3.m1.7.7.2.2.1.1.3.3.2.1" xref="alg4.l3.m1.7.7.2.2.1.1.3.cmml">(</mo><mi id="alg4.l3.m1.5.5" xref="alg4.l3.m1.5.5.cmml">b</mi><mo stretchy="false" id="alg4.l3.m1.7.7.2.2.1.1.3.3.2.2" xref="alg4.l3.m1.7.7.2.2.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="alg4.l3.m1.7.7.2.2.1.3" xref="alg4.l3.m1.7.7.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l3.m1.7b"><apply id="alg4.l3.m1.7.7.cmml" xref="alg4.l3.m1.7.7"><eq id="alg4.l3.m1.7.7.3.cmml" xref="alg4.l3.m1.7.7.3"></eq><apply id="alg4.l3.m1.7.7.4.cmml" xref="alg4.l3.m1.7.7.4"><times id="alg4.l3.m1.7.7.4.1.cmml" xref="alg4.l3.m1.7.7.4.1"></times><apply id="alg4.l3.m1.7.7.4.2.cmml" xref="alg4.l3.m1.7.7.4.2"><csymbol cd="ambiguous" id="alg4.l3.m1.7.7.4.2.1.cmml" xref="alg4.l3.m1.7.7.4.2">superscript</csymbol><ci id="alg4.l3.m1.7.7.4.2.2.cmml" xref="alg4.l3.m1.7.7.4.2.2">𝑄</ci><apply id="alg4.l3.m1.7.7.4.2.3.cmml" xref="alg4.l3.m1.7.7.4.2.3"><minus id="alg4.l3.m1.7.7.4.2.3.1.cmml" xref="alg4.l3.m1.7.7.4.2.3"></minus><ci id="alg4.l3.m1.7.7.4.2.3.2.cmml" xref="alg4.l3.m1.7.7.4.2.3.2">𝑇</ci></apply></apply><ci id="alg4.l3.m1.7.7.4.3.cmml" xref="alg4.l3.m1.7.7.4.3">𝑣</ci></apply><apply id="alg4.l3.m1.7.7.2.cmml" xref="alg4.l3.m1.7.7.2"><ci id="alg4.l3.m1.7.7.2.3.cmml" xref="alg4.l3.m1.7.7.2.3">⊘</ci><apply id="alg4.l3.m1.6.6.1.1.1.1.cmml" xref="alg4.l3.m1.6.6.1.1.1"><minus id="alg4.l3.m1.6.6.1.1.1.1.1.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.1"></minus><apply id="alg4.l3.m1.6.6.1.1.1.1.2.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.2"><csymbol cd="latexml" id="alg4.l3.m1.6.6.1.1.1.1.2.1.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.2.1">direct-product</csymbol><apply id="alg4.l3.m1.6.6.1.1.1.1.2.2.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.2.2"><times id="alg4.l3.m1.6.6.1.1.1.1.2.2.1.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.1"></times><ci id="alg4.l3.m1.6.6.1.1.1.1.2.2.2.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.2.2.2">flip</ci><ci id="alg4.l3.m1.1.1.cmml" xref="alg4.l3.m1.1.1">𝑎</ci></apply><ci id="alg4.l3.m1.6.6.1.1.1.1.2.3.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.2.3">𝑣</ci></apply><apply id="alg4.l3.m1.6.6.1.1.1.1.3.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3"><times id="alg4.l3.m1.6.6.1.1.1.1.3.1.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3.1"></times><apply id="alg4.l3.m1.6.6.1.1.1.1.3.2.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3.2"><csymbol cd="latexml" id="alg4.l3.m1.6.6.1.1.1.1.3.2.1.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.1">direct-product</csymbol><apply id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2"><times id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.1.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.1"></times><ci id="alg4.l3.m1.6.6.1.1.1.1.3.2.2.2.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.2.2">flip</ci><ci id="alg4.l3.m1.2.2.cmml" xref="alg4.l3.m1.2.2">𝑏</ci></apply><ci id="alg4.l3.m1.6.6.1.1.1.1.3.2.3.cmml" xref="alg4.l3.m1.6.6.1.1.1.1.3.2.3">flip</ci></apply><ci id="alg4.l3.m1.3.3.cmml" xref="alg4.l3.m1.3.3">𝑣</ci></apply></apply><apply id="alg4.l3.m1.7.7.2.2.1.1.cmml" xref="alg4.l3.m1.7.7.2.2.1"><minus id="alg4.l3.m1.7.7.2.2.1.1.1.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.1"></minus><apply id="alg4.l3.m1.7.7.2.2.1.1.2.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.2"><times id="alg4.l3.m1.7.7.2.2.1.1.2.1.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.2.1"></times><apply id="alg4.l3.m1.7.7.2.2.1.1.2.2.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.2.2"><csymbol cd="latexml" id="alg4.l3.m1.7.7.2.2.1.1.2.2.1.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.2.2.1">direct-product</csymbol><ci id="alg4.l3.m1.7.7.2.2.1.1.2.2.2.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.2.2.2">𝑎</ci><ci id="alg4.l3.m1.7.7.2.2.1.1.2.2.3.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.2.2.3">flip</ci></apply><ci id="alg4.l3.m1.4.4.cmml" xref="alg4.l3.m1.4.4">𝑎</ci></apply><apply id="alg4.l3.m1.7.7.2.2.1.1.3.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.3"><times id="alg4.l3.m1.7.7.2.2.1.1.3.1.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.3.1"></times><apply id="alg4.l3.m1.7.7.2.2.1.1.3.2.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.3.2"><csymbol cd="latexml" id="alg4.l3.m1.7.7.2.2.1.1.3.2.1.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.3.2.1">direct-product</csymbol><ci id="alg4.l3.m1.7.7.2.2.1.1.3.2.2.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.3.2.2">𝑏</ci><ci id="alg4.l3.m1.7.7.2.2.1.1.3.2.3.cmml" xref="alg4.l3.m1.7.7.2.2.1.1.3.2.3">flip</ci></apply><ci id="alg4.l3.m1.5.5.cmml" xref="alg4.l3.m1.5.5">𝑏</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l3.m1.7c">Q^{-T}v=({\rm flip}(a)\odot v-{\rm flip}(b)\odot{\rm flip}(v))\oslash(a\odot{\rm flip}(a)-b\odot{\rm flip}(b))</annotation></semantics></math>

</div>
<div id="alg4.l4" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l4.1.1.1" class="ltx_text" style="font-size:80%;">4:</span></span>  Calculate gradient <math id="alg4.l4.m1.4" class="ltx_Math" alttext="\nabla_{a}=(Qh)\odot(Qh)-(Q^{-T}v)\odot(Q^{-T}v)" display="inline"><semantics id="alg4.l4.m1.4a"><mrow id="alg4.l4.m1.4.4" xref="alg4.l4.m1.4.4.cmml"><msub id="alg4.l4.m1.4.4.6" xref="alg4.l4.m1.4.4.6.cmml"><mo id="alg4.l4.m1.4.4.6.2" xref="alg4.l4.m1.4.4.6.2.cmml">∇</mo><mi id="alg4.l4.m1.4.4.6.3" xref="alg4.l4.m1.4.4.6.3.cmml">a</mi></msub><mo id="alg4.l4.m1.4.4.5" xref="alg4.l4.m1.4.4.5.cmml">=</mo><mrow id="alg4.l4.m1.4.4.4" xref="alg4.l4.m1.4.4.4.cmml"><mrow id="alg4.l4.m1.2.2.2.2" xref="alg4.l4.m1.2.2.2.2.cmml"><mrow id="alg4.l4.m1.1.1.1.1.1.1" xref="alg4.l4.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg4.l4.m1.1.1.1.1.1.1.2" xref="alg4.l4.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg4.l4.m1.1.1.1.1.1.1.1" xref="alg4.l4.m1.1.1.1.1.1.1.1.cmml"><mi id="alg4.l4.m1.1.1.1.1.1.1.1.2" xref="alg4.l4.m1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg4.l4.m1.1.1.1.1.1.1.1.1" xref="alg4.l4.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg4.l4.m1.1.1.1.1.1.1.1.3" xref="alg4.l4.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg4.l4.m1.1.1.1.1.1.1.3" xref="alg4.l4.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg4.l4.m1.2.2.2.2.3" xref="alg4.l4.m1.2.2.2.2.3.cmml">⊙</mo><mrow id="alg4.l4.m1.2.2.2.2.2.1" xref="alg4.l4.m1.2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="alg4.l4.m1.2.2.2.2.2.1.2" xref="alg4.l4.m1.2.2.2.2.2.1.1.cmml">(</mo><mrow id="alg4.l4.m1.2.2.2.2.2.1.1" xref="alg4.l4.m1.2.2.2.2.2.1.1.cmml"><mi id="alg4.l4.m1.2.2.2.2.2.1.1.2" xref="alg4.l4.m1.2.2.2.2.2.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg4.l4.m1.2.2.2.2.2.1.1.1" xref="alg4.l4.m1.2.2.2.2.2.1.1.1.cmml">​</mo><mi id="alg4.l4.m1.2.2.2.2.2.1.1.3" xref="alg4.l4.m1.2.2.2.2.2.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg4.l4.m1.2.2.2.2.2.1.3" xref="alg4.l4.m1.2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="alg4.l4.m1.4.4.4.5" xref="alg4.l4.m1.4.4.4.5.cmml">−</mo><mrow id="alg4.l4.m1.4.4.4.4" xref="alg4.l4.m1.4.4.4.4.cmml"><mrow id="alg4.l4.m1.3.3.3.3.1.1" xref="alg4.l4.m1.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg4.l4.m1.3.3.3.3.1.1.2" xref="alg4.l4.m1.3.3.3.3.1.1.1.cmml">(</mo><mrow id="alg4.l4.m1.3.3.3.3.1.1.1" xref="alg4.l4.m1.3.3.3.3.1.1.1.cmml"><msup id="alg4.l4.m1.3.3.3.3.1.1.1.2" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.cmml"><mi id="alg4.l4.m1.3.3.3.3.1.1.1.2.2" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg4.l4.m1.3.3.3.3.1.1.1.2.3" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.3.cmml"><mo id="alg4.l4.m1.3.3.3.3.1.1.1.2.3a" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg4.l4.m1.3.3.3.3.1.1.1.2.3.2" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg4.l4.m1.3.3.3.3.1.1.1.1" xref="alg4.l4.m1.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="alg4.l4.m1.3.3.3.3.1.1.1.3" xref="alg4.l4.m1.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg4.l4.m1.3.3.3.3.1.1.3" xref="alg4.l4.m1.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg4.l4.m1.4.4.4.4.3" xref="alg4.l4.m1.4.4.4.4.3.cmml">⊙</mo><mrow id="alg4.l4.m1.4.4.4.4.2.1" xref="alg4.l4.m1.4.4.4.4.2.1.1.cmml"><mo stretchy="false" id="alg4.l4.m1.4.4.4.4.2.1.2" xref="alg4.l4.m1.4.4.4.4.2.1.1.cmml">(</mo><mrow id="alg4.l4.m1.4.4.4.4.2.1.1" xref="alg4.l4.m1.4.4.4.4.2.1.1.cmml"><msup id="alg4.l4.m1.4.4.4.4.2.1.1.2" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.cmml"><mi id="alg4.l4.m1.4.4.4.4.2.1.1.2.2" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.2.cmml">Q</mi><mrow id="alg4.l4.m1.4.4.4.4.2.1.1.2.3" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.3.cmml"><mo id="alg4.l4.m1.4.4.4.4.2.1.1.2.3a" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.3.cmml">−</mo><mi id="alg4.l4.m1.4.4.4.4.2.1.1.2.3.2" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg4.l4.m1.4.4.4.4.2.1.1.1" xref="alg4.l4.m1.4.4.4.4.2.1.1.1.cmml">​</mo><mi id="alg4.l4.m1.4.4.4.4.2.1.1.3" xref="alg4.l4.m1.4.4.4.4.2.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg4.l4.m1.4.4.4.4.2.1.3" xref="alg4.l4.m1.4.4.4.4.2.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l4.m1.4b"><apply id="alg4.l4.m1.4.4.cmml" xref="alg4.l4.m1.4.4"><eq id="alg4.l4.m1.4.4.5.cmml" xref="alg4.l4.m1.4.4.5"></eq><apply id="alg4.l4.m1.4.4.6.cmml" xref="alg4.l4.m1.4.4.6"><csymbol cd="ambiguous" id="alg4.l4.m1.4.4.6.1.cmml" xref="alg4.l4.m1.4.4.6">subscript</csymbol><ci id="alg4.l4.m1.4.4.6.2.cmml" xref="alg4.l4.m1.4.4.6.2">∇</ci><ci id="alg4.l4.m1.4.4.6.3.cmml" xref="alg4.l4.m1.4.4.6.3">𝑎</ci></apply><apply id="alg4.l4.m1.4.4.4.cmml" xref="alg4.l4.m1.4.4.4"><minus id="alg4.l4.m1.4.4.4.5.cmml" xref="alg4.l4.m1.4.4.4.5"></minus><apply id="alg4.l4.m1.2.2.2.2.cmml" xref="alg4.l4.m1.2.2.2.2"><csymbol cd="latexml" id="alg4.l4.m1.2.2.2.2.3.cmml" xref="alg4.l4.m1.2.2.2.2.3">direct-product</csymbol><apply id="alg4.l4.m1.1.1.1.1.1.1.1.cmml" xref="alg4.l4.m1.1.1.1.1.1.1"><times id="alg4.l4.m1.1.1.1.1.1.1.1.1.cmml" xref="alg4.l4.m1.1.1.1.1.1.1.1.1"></times><ci id="alg4.l4.m1.1.1.1.1.1.1.1.2.cmml" xref="alg4.l4.m1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg4.l4.m1.1.1.1.1.1.1.1.3.cmml" xref="alg4.l4.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg4.l4.m1.2.2.2.2.2.1.1.cmml" xref="alg4.l4.m1.2.2.2.2.2.1"><times id="alg4.l4.m1.2.2.2.2.2.1.1.1.cmml" xref="alg4.l4.m1.2.2.2.2.2.1.1.1"></times><ci id="alg4.l4.m1.2.2.2.2.2.1.1.2.cmml" xref="alg4.l4.m1.2.2.2.2.2.1.1.2">𝑄</ci><ci id="alg4.l4.m1.2.2.2.2.2.1.1.3.cmml" xref="alg4.l4.m1.2.2.2.2.2.1.1.3">ℎ</ci></apply></apply><apply id="alg4.l4.m1.4.4.4.4.cmml" xref="alg4.l4.m1.4.4.4.4"><csymbol cd="latexml" id="alg4.l4.m1.4.4.4.4.3.cmml" xref="alg4.l4.m1.4.4.4.4.3">direct-product</csymbol><apply id="alg4.l4.m1.3.3.3.3.1.1.1.cmml" xref="alg4.l4.m1.3.3.3.3.1.1"><times id="alg4.l4.m1.3.3.3.3.1.1.1.1.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.1"></times><apply id="alg4.l4.m1.3.3.3.3.1.1.1.2.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg4.l4.m1.3.3.3.3.1.1.1.2.1.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="alg4.l4.m1.3.3.3.3.1.1.1.2.2.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg4.l4.m1.3.3.3.3.1.1.1.2.3.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.3"><minus id="alg4.l4.m1.3.3.3.3.1.1.1.2.3.1.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.3"></minus><ci id="alg4.l4.m1.3.3.3.3.1.1.1.2.3.2.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg4.l4.m1.3.3.3.3.1.1.1.3.cmml" xref="alg4.l4.m1.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg4.l4.m1.4.4.4.4.2.1.1.cmml" xref="alg4.l4.m1.4.4.4.4.2.1"><times id="alg4.l4.m1.4.4.4.4.2.1.1.1.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.1"></times><apply id="alg4.l4.m1.4.4.4.4.2.1.1.2.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.2"><csymbol cd="ambiguous" id="alg4.l4.m1.4.4.4.4.2.1.1.2.1.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.2">superscript</csymbol><ci id="alg4.l4.m1.4.4.4.4.2.1.1.2.2.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.2">𝑄</ci><apply id="alg4.l4.m1.4.4.4.4.2.1.1.2.3.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.3"><minus id="alg4.l4.m1.4.4.4.4.2.1.1.2.3.1.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.3"></minus><ci id="alg4.l4.m1.4.4.4.4.2.1.1.2.3.2.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg4.l4.m1.4.4.4.4.2.1.1.3.cmml" xref="alg4.l4.m1.4.4.4.4.2.1.1.3">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l4.m1.4c">\nabla_{a}=(Qh)\odot(Qh)-(Q^{-T}v)\odot(Q^{-T}v)</annotation></semantics></math>

</div>
<div id="alg4.l5" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l5.1.1.1" class="ltx_text" style="font-size:80%;">5:</span></span>  Calculate gradient <math id="alg4.l5.m1.4" class="ltx_Math" alttext="\nabla_{b}=(Qh)\odot{\rm flip}(Qh)-(Q^{-T}v)\odot{\rm flip}(Q^{-T}v)" display="inline"><semantics id="alg4.l5.m1.4a"><mrow id="alg4.l5.m1.4.4" xref="alg4.l5.m1.4.4.cmml"><msub id="alg4.l5.m1.4.4.6" xref="alg4.l5.m1.4.4.6.cmml"><mo id="alg4.l5.m1.4.4.6.2" xref="alg4.l5.m1.4.4.6.2.cmml">∇</mo><mi id="alg4.l5.m1.4.4.6.3" xref="alg4.l5.m1.4.4.6.3.cmml">b</mi></msub><mo id="alg4.l5.m1.4.4.5" xref="alg4.l5.m1.4.4.5.cmml">=</mo><mrow id="alg4.l5.m1.4.4.4" xref="alg4.l5.m1.4.4.4.cmml"><mrow id="alg4.l5.m1.2.2.2.2" xref="alg4.l5.m1.2.2.2.2.cmml"><mrow id="alg4.l5.m1.1.1.1.1.1" xref="alg4.l5.m1.1.1.1.1.1.cmml"><mrow id="alg4.l5.m1.1.1.1.1.1.1.1" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg4.l5.m1.1.1.1.1.1.1.1.2" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg4.l5.m1.1.1.1.1.1.1.1.1" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.cmml"><mi id="alg4.l5.m1.1.1.1.1.1.1.1.1.2" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg4.l5.m1.1.1.1.1.1.1.1.1.1" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg4.l5.m1.1.1.1.1.1.1.1.1.3" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg4.l5.m1.1.1.1.1.1.1.1.3" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg4.l5.m1.1.1.1.1.1.2" xref="alg4.l5.m1.1.1.1.1.1.2.cmml">⊙</mo><mi id="alg4.l5.m1.1.1.1.1.1.3" xref="alg4.l5.m1.1.1.1.1.1.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l5.m1.2.2.2.2.3" xref="alg4.l5.m1.2.2.2.2.3.cmml">​</mo><mrow id="alg4.l5.m1.2.2.2.2.2.1" xref="alg4.l5.m1.2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="alg4.l5.m1.2.2.2.2.2.1.2" xref="alg4.l5.m1.2.2.2.2.2.1.1.cmml">(</mo><mrow id="alg4.l5.m1.2.2.2.2.2.1.1" xref="alg4.l5.m1.2.2.2.2.2.1.1.cmml"><mi id="alg4.l5.m1.2.2.2.2.2.1.1.2" xref="alg4.l5.m1.2.2.2.2.2.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg4.l5.m1.2.2.2.2.2.1.1.1" xref="alg4.l5.m1.2.2.2.2.2.1.1.1.cmml">​</mo><mi id="alg4.l5.m1.2.2.2.2.2.1.1.3" xref="alg4.l5.m1.2.2.2.2.2.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg4.l5.m1.2.2.2.2.2.1.3" xref="alg4.l5.m1.2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo id="alg4.l5.m1.4.4.4.5" xref="alg4.l5.m1.4.4.4.5.cmml">−</mo><mrow id="alg4.l5.m1.4.4.4.4" xref="alg4.l5.m1.4.4.4.4.cmml"><mrow id="alg4.l5.m1.3.3.3.3.1" xref="alg4.l5.m1.3.3.3.3.1.cmml"><mrow id="alg4.l5.m1.3.3.3.3.1.1.1" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.cmml"><mo stretchy="false" id="alg4.l5.m1.3.3.3.3.1.1.1.2" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.cmml">(</mo><mrow id="alg4.l5.m1.3.3.3.3.1.1.1.1" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.cmml"><msup id="alg4.l5.m1.3.3.3.3.1.1.1.1.2" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.cmml"><mi id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.2" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.2.cmml">Q</mi><mrow id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.cmml"><mo id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3a" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.cmml">−</mo><mi id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.2" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg4.l5.m1.3.3.3.3.1.1.1.1.1" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.1.cmml">​</mo><mi id="alg4.l5.m1.3.3.3.3.1.1.1.1.3" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.3.cmml">v</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg4.l5.m1.3.3.3.3.1.1.1.3" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg4.l5.m1.3.3.3.3.1.2" xref="alg4.l5.m1.3.3.3.3.1.2.cmml">⊙</mo><mi id="alg4.l5.m1.3.3.3.3.1.3" xref="alg4.l5.m1.3.3.3.3.1.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l5.m1.4.4.4.4.3" xref="alg4.l5.m1.4.4.4.4.3.cmml">​</mo><mrow id="alg4.l5.m1.4.4.4.4.2.1" xref="alg4.l5.m1.4.4.4.4.2.1.1.cmml"><mo stretchy="false" id="alg4.l5.m1.4.4.4.4.2.1.2" xref="alg4.l5.m1.4.4.4.4.2.1.1.cmml">(</mo><mrow id="alg4.l5.m1.4.4.4.4.2.1.1" xref="alg4.l5.m1.4.4.4.4.2.1.1.cmml"><msup id="alg4.l5.m1.4.4.4.4.2.1.1.2" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.cmml"><mi id="alg4.l5.m1.4.4.4.4.2.1.1.2.2" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.2.cmml">Q</mi><mrow id="alg4.l5.m1.4.4.4.4.2.1.1.2.3" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.3.cmml"><mo id="alg4.l5.m1.4.4.4.4.2.1.1.2.3a" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.3.cmml">−</mo><mi id="alg4.l5.m1.4.4.4.4.2.1.1.2.3.2" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg4.l5.m1.4.4.4.4.2.1.1.1" xref="alg4.l5.m1.4.4.4.4.2.1.1.1.cmml">​</mo><mi id="alg4.l5.m1.4.4.4.4.2.1.1.3" xref="alg4.l5.m1.4.4.4.4.2.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg4.l5.m1.4.4.4.4.2.1.3" xref="alg4.l5.m1.4.4.4.4.2.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l5.m1.4b"><apply id="alg4.l5.m1.4.4.cmml" xref="alg4.l5.m1.4.4"><eq id="alg4.l5.m1.4.4.5.cmml" xref="alg4.l5.m1.4.4.5"></eq><apply id="alg4.l5.m1.4.4.6.cmml" xref="alg4.l5.m1.4.4.6"><csymbol cd="ambiguous" id="alg4.l5.m1.4.4.6.1.cmml" xref="alg4.l5.m1.4.4.6">subscript</csymbol><ci id="alg4.l5.m1.4.4.6.2.cmml" xref="alg4.l5.m1.4.4.6.2">∇</ci><ci id="alg4.l5.m1.4.4.6.3.cmml" xref="alg4.l5.m1.4.4.6.3">𝑏</ci></apply><apply id="alg4.l5.m1.4.4.4.cmml" xref="alg4.l5.m1.4.4.4"><minus id="alg4.l5.m1.4.4.4.5.cmml" xref="alg4.l5.m1.4.4.4.5"></minus><apply id="alg4.l5.m1.2.2.2.2.cmml" xref="alg4.l5.m1.2.2.2.2"><times id="alg4.l5.m1.2.2.2.2.3.cmml" xref="alg4.l5.m1.2.2.2.2.3"></times><apply id="alg4.l5.m1.1.1.1.1.1.cmml" xref="alg4.l5.m1.1.1.1.1.1"><csymbol cd="latexml" id="alg4.l5.m1.1.1.1.1.1.2.cmml" xref="alg4.l5.m1.1.1.1.1.1.2">direct-product</csymbol><apply id="alg4.l5.m1.1.1.1.1.1.1.1.1.cmml" xref="alg4.l5.m1.1.1.1.1.1.1.1"><times id="alg4.l5.m1.1.1.1.1.1.1.1.1.1.cmml" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.1"></times><ci id="alg4.l5.m1.1.1.1.1.1.1.1.1.2.cmml" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg4.l5.m1.1.1.1.1.1.1.1.1.3.cmml" xref="alg4.l5.m1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><ci id="alg4.l5.m1.1.1.1.1.1.3.cmml" xref="alg4.l5.m1.1.1.1.1.1.3">flip</ci></apply><apply id="alg4.l5.m1.2.2.2.2.2.1.1.cmml" xref="alg4.l5.m1.2.2.2.2.2.1"><times id="alg4.l5.m1.2.2.2.2.2.1.1.1.cmml" xref="alg4.l5.m1.2.2.2.2.2.1.1.1"></times><ci id="alg4.l5.m1.2.2.2.2.2.1.1.2.cmml" xref="alg4.l5.m1.2.2.2.2.2.1.1.2">𝑄</ci><ci id="alg4.l5.m1.2.2.2.2.2.1.1.3.cmml" xref="alg4.l5.m1.2.2.2.2.2.1.1.3">ℎ</ci></apply></apply><apply id="alg4.l5.m1.4.4.4.4.cmml" xref="alg4.l5.m1.4.4.4.4"><times id="alg4.l5.m1.4.4.4.4.3.cmml" xref="alg4.l5.m1.4.4.4.4.3"></times><apply id="alg4.l5.m1.3.3.3.3.1.cmml" xref="alg4.l5.m1.3.3.3.3.1"><csymbol cd="latexml" id="alg4.l5.m1.3.3.3.3.1.2.cmml" xref="alg4.l5.m1.3.3.3.3.1.2">direct-product</csymbol><apply id="alg4.l5.m1.3.3.3.3.1.1.1.1.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1"><times id="alg4.l5.m1.3.3.3.3.1.1.1.1.1.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.1"></times><apply id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.1.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2">superscript</csymbol><ci id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.2.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.2">𝑄</ci><apply id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3"><minus id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.1.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3"></minus><ci id="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.2.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg4.l5.m1.3.3.3.3.1.1.1.1.3.cmml" xref="alg4.l5.m1.3.3.3.3.1.1.1.1.3">𝑣</ci></apply><ci id="alg4.l5.m1.3.3.3.3.1.3.cmml" xref="alg4.l5.m1.3.3.3.3.1.3">flip</ci></apply><apply id="alg4.l5.m1.4.4.4.4.2.1.1.cmml" xref="alg4.l5.m1.4.4.4.4.2.1"><times id="alg4.l5.m1.4.4.4.4.2.1.1.1.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.1"></times><apply id="alg4.l5.m1.4.4.4.4.2.1.1.2.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.2"><csymbol cd="ambiguous" id="alg4.l5.m1.4.4.4.4.2.1.1.2.1.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.2">superscript</csymbol><ci id="alg4.l5.m1.4.4.4.4.2.1.1.2.2.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.2">𝑄</ci><apply id="alg4.l5.m1.4.4.4.4.2.1.1.2.3.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.3"><minus id="alg4.l5.m1.4.4.4.4.2.1.1.2.3.1.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.3"></minus><ci id="alg4.l5.m1.4.4.4.4.2.1.1.2.3.2.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg4.l5.m1.4.4.4.4.2.1.1.3.cmml" xref="alg4.l5.m1.4.4.4.4.2.1.1.3">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l5.m1.4c">\nabla_{b}=(Qh)\odot{\rm flip}(Qh)-(Q^{-T}v)\odot{\rm flip}(Q^{-T}v)</annotation></semantics></math>

</div>
<div id="alg4.l6" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l6.1.1.1" class="ltx_text" style="font-size:80%;">6:</span></span>  <span id="alg4.l6.2" class="ltx_text ltx_font_bold">if</span> <math id="alg4.l6.m1.1" class="ltx_Math" alttext="b" display="inline"><semantics id="alg4.l6.m1.1a"><mi id="alg4.l6.m1.1.1" xref="alg4.l6.m1.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="alg4.l6.m1.1b"><ci id="alg4.l6.m1.1.1.cmml" xref="alg4.l6.m1.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="alg4.l6.m1.1c">b</annotation></semantics></math> has odd length <span id="alg4.l6.3" class="ltx_text ltx_font_bold">then</span>



</div>
<div id="alg4.l7" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l7.1.1.1" class="ltx_text" style="font-size:80%;">7:</span></span>     Set central element of <math id="alg4.l7.m1.1" class="ltx_Math" alttext="\nabla_{b}" display="inline"><semantics id="alg4.l7.m1.1a"><msub id="alg4.l7.m1.1.1" xref="alg4.l7.m1.1.1.cmml"><mo id="alg4.l7.m1.1.1.2" xref="alg4.l7.m1.1.1.2.cmml">∇</mo><mi id="alg4.l7.m1.1.1.3" xref="alg4.l7.m1.1.1.3.cmml">b</mi></msub><annotation-xml encoding="MathML-Content" id="alg4.l7.m1.1b"><apply id="alg4.l7.m1.1.1.cmml" xref="alg4.l7.m1.1.1"><csymbol cd="ambiguous" id="alg4.l7.m1.1.1.1.cmml" xref="alg4.l7.m1.1.1">subscript</csymbol><ci id="alg4.l7.m1.1.1.2.cmml" xref="alg4.l7.m1.1.1.2">∇</ci><ci id="alg4.l7.m1.1.1.3.cmml" xref="alg4.l7.m1.1.1.3">𝑏</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l7.m1.1c">\nabla_{b}</annotation></semantics></math> to zero

</div>
<div id="alg4.l8" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l8.1.1.1" class="ltx_text" style="font-size:80%;">8:</span></span>  <span id="alg4.l8.2" class="ltx_text ltx_font_bold">end</span> <span id="alg4.l8.3" class="ltx_text ltx_font_bold">if</span>
</div>
<div id="alg4.l9" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l9.1.1.1" class="ltx_text" style="font-size:80%;">9:</span></span>  Calculate step size <math id="alg4.l9.m1.5" class="ltx_Math" alttext="\mu=\frac{\mu_{2}}{\max[\max(|\nabla_{a}|),\max(|\nabla_{b}|)]}" display="inline"><semantics id="alg4.l9.m1.5a"><mrow id="alg4.l9.m1.5.6" xref="alg4.l9.m1.5.6.cmml"><mi id="alg4.l9.m1.5.6.2" xref="alg4.l9.m1.5.6.2.cmml">μ</mi><mo id="alg4.l9.m1.5.6.1" xref="alg4.l9.m1.5.6.1.cmml">=</mo><mfrac id="alg4.l9.m1.5.5" xref="alg4.l9.m1.5.5.cmml"><msub id="alg4.l9.m1.5.5.7" xref="alg4.l9.m1.5.5.7.cmml"><mi id="alg4.l9.m1.5.5.7.2" xref="alg4.l9.m1.5.5.7.2.cmml">μ</mi><mn id="alg4.l9.m1.5.5.7.3" xref="alg4.l9.m1.5.5.7.3.cmml">2</mn></msub><mrow id="alg4.l9.m1.5.5.5.5" xref="alg4.l9.m1.5.5.5.6.cmml"><mi id="alg4.l9.m1.3.3.3.3" xref="alg4.l9.m1.3.3.3.3.cmml">max</mi><mo id="alg4.l9.m1.5.5.5.5a" xref="alg4.l9.m1.5.5.5.6.cmml">⁡</mo><mrow id="alg4.l9.m1.5.5.5.5.2" xref="alg4.l9.m1.5.5.5.6.cmml"><mo stretchy="false" id="alg4.l9.m1.5.5.5.5.2.3" xref="alg4.l9.m1.5.5.5.6.cmml">[</mo><mrow id="alg4.l9.m1.4.4.4.4.1.1.1" xref="alg4.l9.m1.4.4.4.4.1.1.2.cmml"><mi id="alg4.l9.m1.1.1.1.1" xref="alg4.l9.m1.1.1.1.1.cmml">max</mi><mo id="alg4.l9.m1.4.4.4.4.1.1.1a" xref="alg4.l9.m1.4.4.4.4.1.1.2.cmml">⁡</mo><mrow id="alg4.l9.m1.4.4.4.4.1.1.1.1" xref="alg4.l9.m1.4.4.4.4.1.1.2.cmml"><mo stretchy="false" id="alg4.l9.m1.4.4.4.4.1.1.1.1.2" xref="alg4.l9.m1.4.4.4.4.1.1.2.cmml">(</mo><mrow id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.2.cmml"><mo stretchy="false" id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.2" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.2.1.cmml">|</mo><msub id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.cmml"><mo id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.2" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.3" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.3.cmml">a</mi></msub><mo stretchy="false" id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.3" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.2.1.cmml">|</mo></mrow><mo stretchy="false" id="alg4.l9.m1.4.4.4.4.1.1.1.1.3" xref="alg4.l9.m1.4.4.4.4.1.1.2.cmml">)</mo></mrow></mrow><mo id="alg4.l9.m1.5.5.5.5.2.4" xref="alg4.l9.m1.5.5.5.6.cmml">,</mo><mrow id="alg4.l9.m1.5.5.5.5.2.2.1" xref="alg4.l9.m1.5.5.5.5.2.2.2.cmml"><mi id="alg4.l9.m1.2.2.2.2" xref="alg4.l9.m1.2.2.2.2.cmml">max</mi><mo id="alg4.l9.m1.5.5.5.5.2.2.1a" xref="alg4.l9.m1.5.5.5.5.2.2.2.cmml">⁡</mo><mrow id="alg4.l9.m1.5.5.5.5.2.2.1.1" xref="alg4.l9.m1.5.5.5.5.2.2.2.cmml"><mo stretchy="false" id="alg4.l9.m1.5.5.5.5.2.2.1.1.2" xref="alg4.l9.m1.5.5.5.5.2.2.2.cmml">(</mo><mrow id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.2.cmml"><mo stretchy="false" id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.2" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.2.1.cmml">|</mo><msub id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.cmml"><mo id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.2" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.2.cmml">∇</mo><mi id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.3" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.3.cmml">b</mi></msub><mo stretchy="false" id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.3" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.2.1.cmml">|</mo></mrow><mo stretchy="false" id="alg4.l9.m1.5.5.5.5.2.2.1.1.3" xref="alg4.l9.m1.5.5.5.5.2.2.2.cmml">)</mo></mrow></mrow><mo stretchy="false" id="alg4.l9.m1.5.5.5.5.2.5" xref="alg4.l9.m1.5.5.5.6.cmml">]</mo></mrow></mrow></mfrac></mrow><annotation-xml encoding="MathML-Content" id="alg4.l9.m1.5b"><apply id="alg4.l9.m1.5.6.cmml" xref="alg4.l9.m1.5.6"><eq id="alg4.l9.m1.5.6.1.cmml" xref="alg4.l9.m1.5.6.1"></eq><ci id="alg4.l9.m1.5.6.2.cmml" xref="alg4.l9.m1.5.6.2">𝜇</ci><apply id="alg4.l9.m1.5.5.cmml" xref="alg4.l9.m1.5.5"><divide id="alg4.l9.m1.5.5.6.cmml" xref="alg4.l9.m1.5.5"></divide><apply id="alg4.l9.m1.5.5.7.cmml" xref="alg4.l9.m1.5.5.7"><csymbol cd="ambiguous" id="alg4.l9.m1.5.5.7.1.cmml" xref="alg4.l9.m1.5.5.7">subscript</csymbol><ci id="alg4.l9.m1.5.5.7.2.cmml" xref="alg4.l9.m1.5.5.7.2">𝜇</ci><cn type="integer" id="alg4.l9.m1.5.5.7.3.cmml" xref="alg4.l9.m1.5.5.7.3">2</cn></apply><apply id="alg4.l9.m1.5.5.5.6.cmml" xref="alg4.l9.m1.5.5.5.5"><max id="alg4.l9.m1.3.3.3.3.cmml" xref="alg4.l9.m1.3.3.3.3"></max><apply id="alg4.l9.m1.4.4.4.4.1.1.2.cmml" xref="alg4.l9.m1.4.4.4.4.1.1.1"><max id="alg4.l9.m1.1.1.1.1.cmml" xref="alg4.l9.m1.1.1.1.1"></max><apply id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.2.cmml" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1"><abs id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.2.1.cmml" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.2"></abs><apply id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.cmml" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.1.cmml" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1">subscript</csymbol><ci id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.2.cmml" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.2">∇</ci><ci id="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.3.cmml" xref="alg4.l9.m1.4.4.4.4.1.1.1.1.1.1.1.3">𝑎</ci></apply></apply></apply><apply id="alg4.l9.m1.5.5.5.5.2.2.2.cmml" xref="alg4.l9.m1.5.5.5.5.2.2.1"><max id="alg4.l9.m1.2.2.2.2.cmml" xref="alg4.l9.m1.2.2.2.2"></max><apply id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.2.cmml" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1"><abs id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.2.1.cmml" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.2"></abs><apply id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.cmml" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.1.cmml" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1">subscript</csymbol><ci id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.2.cmml" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.2">∇</ci><ci id="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.3.cmml" xref="alg4.l9.m1.5.5.5.5.2.2.1.1.1.1.1.3">𝑏</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l9.m1.5c">\mu=\frac{\mu_{2}}{\max[\max(|\nabla_{a}|),\max(|\nabla_{b}|)]}</annotation></semantics></math>

</div>
<div id="alg4.l10" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l10.1.1.1" class="ltx_text" style="font-size:80%;">10:</span></span>  Update <math id="alg4.l10.m1.1" class="ltx_Math" alttext="a" display="inline"><semantics id="alg4.l10.m1.1a"><mi id="alg4.l10.m1.1.1" xref="alg4.l10.m1.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="alg4.l10.m1.1b"><ci id="alg4.l10.m1.1.1.cmml" xref="alg4.l10.m1.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="alg4.l10.m1.1c">a</annotation></semantics></math> as <math id="alg4.l10.m2.2" class="ltx_Math" alttext="a\leftarrow a-\mu(\nabla_{a}\odot a+\nabla_{b}\odot{\rm flip}(b))" display="inline"><semantics id="alg4.l10.m2.2a"><mrow id="alg4.l10.m2.2.2" xref="alg4.l10.m2.2.2.cmml"><mi id="alg4.l10.m2.2.2.3" xref="alg4.l10.m2.2.2.3.cmml">a</mi><mo stretchy="false" id="alg4.l10.m2.2.2.2" xref="alg4.l10.m2.2.2.2.cmml">←</mo><mrow id="alg4.l10.m2.2.2.1" xref="alg4.l10.m2.2.2.1.cmml"><mi id="alg4.l10.m2.2.2.1.3" xref="alg4.l10.m2.2.2.1.3.cmml">a</mi><mo id="alg4.l10.m2.2.2.1.2" xref="alg4.l10.m2.2.2.1.2.cmml">−</mo><mrow id="alg4.l10.m2.2.2.1.1" xref="alg4.l10.m2.2.2.1.1.cmml"><mi id="alg4.l10.m2.2.2.1.1.3" xref="alg4.l10.m2.2.2.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="alg4.l10.m2.2.2.1.1.2" xref="alg4.l10.m2.2.2.1.1.2.cmml">​</mo><mrow id="alg4.l10.m2.2.2.1.1.1.1" xref="alg4.l10.m2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="alg4.l10.m2.2.2.1.1.1.1.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="alg4.l10.m2.2.2.1.1.1.1.1" xref="alg4.l10.m2.2.2.1.1.1.1.1.cmml"><mrow id="alg4.l10.m2.2.2.1.1.1.1.1.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.cmml"><msub id="alg4.l10.m2.2.2.1.1.1.1.1.2.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.2.cmml"><mo id="alg4.l10.m2.2.2.1.1.1.1.1.2.2.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.2.2.cmml">∇</mo><mi id="alg4.l10.m2.2.2.1.1.1.1.1.2.2.3" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.2.3.cmml">a</mi></msub><mo lspace="0em" rspace="0.222em" id="alg4.l10.m2.2.2.1.1.1.1.1.2.1" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.1.cmml">⊙</mo><mi id="alg4.l10.m2.2.2.1.1.1.1.1.2.3" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.3.cmml">a</mi></mrow><mo id="alg4.l10.m2.2.2.1.1.1.1.1.1" xref="alg4.l10.m2.2.2.1.1.1.1.1.1.cmml">+</mo><mrow id="alg4.l10.m2.2.2.1.1.1.1.1.3" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.cmml"><mrow id="alg4.l10.m2.2.2.1.1.1.1.1.3.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.cmml"><msub id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.cmml"><mo id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.2.cmml">∇</mo><mi id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.3" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.3.cmml">b</mi></msub><mo lspace="0em" rspace="0.222em" id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.1" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.1.cmml">⊙</mo><mi id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.3" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l10.m2.2.2.1.1.1.1.1.3.1" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.1.cmml">​</mo><mrow id="alg4.l10.m2.2.2.1.1.1.1.1.3.3.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.cmml"><mo stretchy="false" id="alg4.l10.m2.2.2.1.1.1.1.1.3.3.2.1" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.cmml">(</mo><mi id="alg4.l10.m2.1.1" xref="alg4.l10.m2.1.1.cmml">b</mi><mo stretchy="false" id="alg4.l10.m2.2.2.1.1.1.1.1.3.3.2.2" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="alg4.l10.m2.2.2.1.1.1.1.3" xref="alg4.l10.m2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l10.m2.2b"><apply id="alg4.l10.m2.2.2.cmml" xref="alg4.l10.m2.2.2"><ci id="alg4.l10.m2.2.2.2.cmml" xref="alg4.l10.m2.2.2.2">←</ci><ci id="alg4.l10.m2.2.2.3.cmml" xref="alg4.l10.m2.2.2.3">𝑎</ci><apply id="alg4.l10.m2.2.2.1.cmml" xref="alg4.l10.m2.2.2.1"><minus id="alg4.l10.m2.2.2.1.2.cmml" xref="alg4.l10.m2.2.2.1.2"></minus><ci id="alg4.l10.m2.2.2.1.3.cmml" xref="alg4.l10.m2.2.2.1.3">𝑎</ci><apply id="alg4.l10.m2.2.2.1.1.cmml" xref="alg4.l10.m2.2.2.1.1"><times id="alg4.l10.m2.2.2.1.1.2.cmml" xref="alg4.l10.m2.2.2.1.1.2"></times><ci id="alg4.l10.m2.2.2.1.1.3.cmml" xref="alg4.l10.m2.2.2.1.1.3">𝜇</ci><apply id="alg4.l10.m2.2.2.1.1.1.1.1.cmml" xref="alg4.l10.m2.2.2.1.1.1.1"><plus id="alg4.l10.m2.2.2.1.1.1.1.1.1.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.1"></plus><apply id="alg4.l10.m2.2.2.1.1.1.1.1.2.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.2"><csymbol cd="latexml" id="alg4.l10.m2.2.2.1.1.1.1.1.2.1.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.1">direct-product</csymbol><apply id="alg4.l10.m2.2.2.1.1.1.1.1.2.2.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="alg4.l10.m2.2.2.1.1.1.1.1.2.2.1.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.2">subscript</csymbol><ci id="alg4.l10.m2.2.2.1.1.1.1.1.2.2.2.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.2.2">∇</ci><ci id="alg4.l10.m2.2.2.1.1.1.1.1.2.2.3.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.2.3">𝑎</ci></apply><ci id="alg4.l10.m2.2.2.1.1.1.1.1.2.3.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.2.3">𝑎</ci></apply><apply id="alg4.l10.m2.2.2.1.1.1.1.1.3.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3"><times id="alg4.l10.m2.2.2.1.1.1.1.1.3.1.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.1"></times><apply id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2"><csymbol cd="latexml" id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.1.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.1">direct-product</csymbol><apply id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2"><csymbol cd="ambiguous" id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.1.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2">subscript</csymbol><ci id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.2.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.2">∇</ci><ci id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.3.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.2.3">𝑏</ci></apply><ci id="alg4.l10.m2.2.2.1.1.1.1.1.3.2.3.cmml" xref="alg4.l10.m2.2.2.1.1.1.1.1.3.2.3">flip</ci></apply><ci id="alg4.l10.m2.1.1.cmml" xref="alg4.l10.m2.1.1">𝑏</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l10.m2.2c">a\leftarrow a-\mu(\nabla_{a}\odot a+\nabla_{b}\odot{\rm flip}(b))</annotation></semantics></math>

</div>
<div id="alg4.l11" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l11.1.1.1" class="ltx_text" style="font-size:80%;">11:</span></span>  Update <math id="alg4.l11.m1.1" class="ltx_Math" alttext="b" display="inline"><semantics id="alg4.l11.m1.1a"><mi id="alg4.l11.m1.1.1" xref="alg4.l11.m1.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="alg4.l11.m1.1b"><ci id="alg4.l11.m1.1.1.cmml" xref="alg4.l11.m1.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="alg4.l11.m1.1c">b</annotation></semantics></math> as <math id="alg4.l11.m2.2" class="ltx_Math" alttext="b\leftarrow b-\mu(\nabla_{a}\odot b+\nabla_{b}\odot{\rm flip}(a))" display="inline"><semantics id="alg4.l11.m2.2a"><mrow id="alg4.l11.m2.2.2" xref="alg4.l11.m2.2.2.cmml"><mi id="alg4.l11.m2.2.2.3" xref="alg4.l11.m2.2.2.3.cmml">b</mi><mo stretchy="false" id="alg4.l11.m2.2.2.2" xref="alg4.l11.m2.2.2.2.cmml">←</mo><mrow id="alg4.l11.m2.2.2.1" xref="alg4.l11.m2.2.2.1.cmml"><mi id="alg4.l11.m2.2.2.1.3" xref="alg4.l11.m2.2.2.1.3.cmml">b</mi><mo id="alg4.l11.m2.2.2.1.2" xref="alg4.l11.m2.2.2.1.2.cmml">−</mo><mrow id="alg4.l11.m2.2.2.1.1" xref="alg4.l11.m2.2.2.1.1.cmml"><mi id="alg4.l11.m2.2.2.1.1.3" xref="alg4.l11.m2.2.2.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="alg4.l11.m2.2.2.1.1.2" xref="alg4.l11.m2.2.2.1.1.2.cmml">​</mo><mrow id="alg4.l11.m2.2.2.1.1.1.1" xref="alg4.l11.m2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="alg4.l11.m2.2.2.1.1.1.1.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="alg4.l11.m2.2.2.1.1.1.1.1" xref="alg4.l11.m2.2.2.1.1.1.1.1.cmml"><mrow id="alg4.l11.m2.2.2.1.1.1.1.1.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.cmml"><msub id="alg4.l11.m2.2.2.1.1.1.1.1.2.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.2.cmml"><mo id="alg4.l11.m2.2.2.1.1.1.1.1.2.2.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.2.2.cmml">∇</mo><mi id="alg4.l11.m2.2.2.1.1.1.1.1.2.2.3" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.2.3.cmml">a</mi></msub><mo lspace="0em" rspace="0.222em" id="alg4.l11.m2.2.2.1.1.1.1.1.2.1" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.1.cmml">⊙</mo><mi id="alg4.l11.m2.2.2.1.1.1.1.1.2.3" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.3.cmml">b</mi></mrow><mo id="alg4.l11.m2.2.2.1.1.1.1.1.1" xref="alg4.l11.m2.2.2.1.1.1.1.1.1.cmml">+</mo><mrow id="alg4.l11.m2.2.2.1.1.1.1.1.3" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.cmml"><mrow id="alg4.l11.m2.2.2.1.1.1.1.1.3.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.cmml"><msub id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.cmml"><mo id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.2.cmml">∇</mo><mi id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.3" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.3.cmml">b</mi></msub><mo lspace="0em" rspace="0.222em" id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.1" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.1.cmml">⊙</mo><mi id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.3" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.3.cmml">flip</mi></mrow><mo lspace="0em" rspace="0em" id="alg4.l11.m2.2.2.1.1.1.1.1.3.1" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.1.cmml">​</mo><mrow id="alg4.l11.m2.2.2.1.1.1.1.1.3.3.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.cmml"><mo stretchy="false" id="alg4.l11.m2.2.2.1.1.1.1.1.3.3.2.1" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.cmml">(</mo><mi id="alg4.l11.m2.1.1" xref="alg4.l11.m2.1.1.cmml">a</mi><mo stretchy="false" id="alg4.l11.m2.2.2.1.1.1.1.1.3.3.2.2" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="alg4.l11.m2.2.2.1.1.1.1.3" xref="alg4.l11.m2.2.2.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l11.m2.2b"><apply id="alg4.l11.m2.2.2.cmml" xref="alg4.l11.m2.2.2"><ci id="alg4.l11.m2.2.2.2.cmml" xref="alg4.l11.m2.2.2.2">←</ci><ci id="alg4.l11.m2.2.2.3.cmml" xref="alg4.l11.m2.2.2.3">𝑏</ci><apply id="alg4.l11.m2.2.2.1.cmml" xref="alg4.l11.m2.2.2.1"><minus id="alg4.l11.m2.2.2.1.2.cmml" xref="alg4.l11.m2.2.2.1.2"></minus><ci id="alg4.l11.m2.2.2.1.3.cmml" xref="alg4.l11.m2.2.2.1.3">𝑏</ci><apply id="alg4.l11.m2.2.2.1.1.cmml" xref="alg4.l11.m2.2.2.1.1"><times id="alg4.l11.m2.2.2.1.1.2.cmml" xref="alg4.l11.m2.2.2.1.1.2"></times><ci id="alg4.l11.m2.2.2.1.1.3.cmml" xref="alg4.l11.m2.2.2.1.1.3">𝜇</ci><apply id="alg4.l11.m2.2.2.1.1.1.1.1.cmml" xref="alg4.l11.m2.2.2.1.1.1.1"><plus id="alg4.l11.m2.2.2.1.1.1.1.1.1.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.1"></plus><apply id="alg4.l11.m2.2.2.1.1.1.1.1.2.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.2"><csymbol cd="latexml" id="alg4.l11.m2.2.2.1.1.1.1.1.2.1.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.1">direct-product</csymbol><apply id="alg4.l11.m2.2.2.1.1.1.1.1.2.2.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="alg4.l11.m2.2.2.1.1.1.1.1.2.2.1.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.2">subscript</csymbol><ci id="alg4.l11.m2.2.2.1.1.1.1.1.2.2.2.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.2.2">∇</ci><ci id="alg4.l11.m2.2.2.1.1.1.1.1.2.2.3.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.2.3">𝑎</ci></apply><ci id="alg4.l11.m2.2.2.1.1.1.1.1.2.3.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.2.3">𝑏</ci></apply><apply id="alg4.l11.m2.2.2.1.1.1.1.1.3.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3"><times id="alg4.l11.m2.2.2.1.1.1.1.1.3.1.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.1"></times><apply id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2"><csymbol cd="latexml" id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.1.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.1">direct-product</csymbol><apply id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2"><csymbol cd="ambiguous" id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.1.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2">subscript</csymbol><ci id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.2.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.2">∇</ci><ci id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.3.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.2.3">𝑏</ci></apply><ci id="alg4.l11.m2.2.2.1.1.1.1.1.3.2.3.cmml" xref="alg4.l11.m2.2.2.1.1.1.1.1.3.2.3">flip</ci></apply><ci id="alg4.l11.m2.1.1.cmml" xref="alg4.l11.m2.1.1">𝑎</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l11.m2.2c">b\leftarrow b-\mu(\nabla_{a}\odot b+\nabla_{b}\odot{\rm flip}(a))</annotation></semantics></math>

</div>
<div id="alg4.l12" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg4.l12.1.1.1" class="ltx_text" style="font-size:80%;">12:</span></span>  Return updated preconditioner as <math id="alg4.l12.m1.2" class="ltx_Math" alttext="Q={\rm diag}(a)+{\rm adiag}(b)" display="inline"><semantics id="alg4.l12.m1.2a"><mrow id="alg4.l12.m1.2.3" xref="alg4.l12.m1.2.3.cmml"><mi id="alg4.l12.m1.2.3.2" xref="alg4.l12.m1.2.3.2.cmml">Q</mi><mo id="alg4.l12.m1.2.3.1" xref="alg4.l12.m1.2.3.1.cmml">=</mo><mrow id="alg4.l12.m1.2.3.3" xref="alg4.l12.m1.2.3.3.cmml"><mrow id="alg4.l12.m1.2.3.3.2" xref="alg4.l12.m1.2.3.3.2.cmml"><mi id="alg4.l12.m1.2.3.3.2.2" xref="alg4.l12.m1.2.3.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="alg4.l12.m1.2.3.3.2.1" xref="alg4.l12.m1.2.3.3.2.1.cmml">​</mo><mrow id="alg4.l12.m1.2.3.3.2.3.2" xref="alg4.l12.m1.2.3.3.2.cmml"><mo stretchy="false" id="alg4.l12.m1.2.3.3.2.3.2.1" xref="alg4.l12.m1.2.3.3.2.cmml">(</mo><mi id="alg4.l12.m1.1.1" xref="alg4.l12.m1.1.1.cmml">a</mi><mo stretchy="false" id="alg4.l12.m1.2.3.3.2.3.2.2" xref="alg4.l12.m1.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="alg4.l12.m1.2.3.3.1" xref="alg4.l12.m1.2.3.3.1.cmml">+</mo><mrow id="alg4.l12.m1.2.3.3.3" xref="alg4.l12.m1.2.3.3.3.cmml"><mi id="alg4.l12.m1.2.3.3.3.2" xref="alg4.l12.m1.2.3.3.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="alg4.l12.m1.2.3.3.3.1" xref="alg4.l12.m1.2.3.3.3.1.cmml">​</mo><mrow id="alg4.l12.m1.2.3.3.3.3.2" xref="alg4.l12.m1.2.3.3.3.cmml"><mo stretchy="false" id="alg4.l12.m1.2.3.3.3.3.2.1" xref="alg4.l12.m1.2.3.3.3.cmml">(</mo><mi id="alg4.l12.m1.2.2" xref="alg4.l12.m1.2.2.cmml">b</mi><mo stretchy="false" id="alg4.l12.m1.2.3.3.3.3.2.2" xref="alg4.l12.m1.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg4.l12.m1.2b"><apply id="alg4.l12.m1.2.3.cmml" xref="alg4.l12.m1.2.3"><eq id="alg4.l12.m1.2.3.1.cmml" xref="alg4.l12.m1.2.3.1"></eq><ci id="alg4.l12.m1.2.3.2.cmml" xref="alg4.l12.m1.2.3.2">𝑄</ci><apply id="alg4.l12.m1.2.3.3.cmml" xref="alg4.l12.m1.2.3.3"><plus id="alg4.l12.m1.2.3.3.1.cmml" xref="alg4.l12.m1.2.3.3.1"></plus><apply id="alg4.l12.m1.2.3.3.2.cmml" xref="alg4.l12.m1.2.3.3.2"><times id="alg4.l12.m1.2.3.3.2.1.cmml" xref="alg4.l12.m1.2.3.3.2.1"></times><ci id="alg4.l12.m1.2.3.3.2.2.cmml" xref="alg4.l12.m1.2.3.3.2.2">diag</ci><ci id="alg4.l12.m1.1.1.cmml" xref="alg4.l12.m1.1.1">𝑎</ci></apply><apply id="alg4.l12.m1.2.3.3.3.cmml" xref="alg4.l12.m1.2.3.3.3"><times id="alg4.l12.m1.2.3.3.3.1.cmml" xref="alg4.l12.m1.2.3.3.3.1"></times><ci id="alg4.l12.m1.2.3.3.3.2.cmml" xref="alg4.l12.m1.2.3.3.3.2">adiag</ci><ci id="alg4.l12.m1.2.2.cmml" xref="alg4.l12.m1.2.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg4.l12.m1.2c">Q={\rm diag}(a)+{\rm adiag}(b)</annotation></semantics></math>

</div>
</div>
</figure>
<div id="A5.p2" class="ltx_para">
<p id="A5.p2.6" class="ltx_p">Here are a few notes for Algorithm 2. Notation <math id="A5.p2.1.m1.1" class="ltx_Math" alttext="{\rm adiag}(b)" display="inline"><semantics id="A5.p2.1.m1.1a"><mrow id="A5.p2.1.m1.1.2" xref="A5.p2.1.m1.1.2.cmml"><mi id="A5.p2.1.m1.1.2.2" xref="A5.p2.1.m1.1.2.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A5.p2.1.m1.1.2.1" xref="A5.p2.1.m1.1.2.1.cmml">​</mo><mrow id="A5.p2.1.m1.1.2.3.2" xref="A5.p2.1.m1.1.2.cmml"><mo stretchy="false" id="A5.p2.1.m1.1.2.3.2.1" xref="A5.p2.1.m1.1.2.cmml">(</mo><mi id="A5.p2.1.m1.1.1" xref="A5.p2.1.m1.1.1.cmml">b</mi><mo stretchy="false" id="A5.p2.1.m1.1.2.3.2.2" xref="A5.p2.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.p2.1.m1.1b"><apply id="A5.p2.1.m1.1.2.cmml" xref="A5.p2.1.m1.1.2"><times id="A5.p2.1.m1.1.2.1.cmml" xref="A5.p2.1.m1.1.2.1"></times><ci id="A5.p2.1.m1.1.2.2.cmml" xref="A5.p2.1.m1.1.2.2">adiag</ci><ci id="A5.p2.1.m1.1.1.cmml" xref="A5.p2.1.m1.1.1">𝑏</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p2.1.m1.1c">{\rm adiag}(b)</annotation></semantics></math> denotes the anti-diagonal matrix with elements in vector <math id="A5.p2.2.m2.1" class="ltx_Math" alttext="b" display="inline"><semantics id="A5.p2.2.m2.1a"><mi id="A5.p2.2.m2.1.1" xref="A5.p2.2.m2.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="A5.p2.2.m2.1b"><ci id="A5.p2.2.m2.1.1.cmml" xref="A5.p2.2.m2.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p2.2.m2.1c">b</annotation></semantics></math> as its entries. Notation <math id="A5.p2.3.m3.1" class="ltx_Math" alttext="{\rm flip}(a)" display="inline"><semantics id="A5.p2.3.m3.1a"><mrow id="A5.p2.3.m3.1.2" xref="A5.p2.3.m3.1.2.cmml"><mi id="A5.p2.3.m3.1.2.2" xref="A5.p2.3.m3.1.2.2.cmml">flip</mi><mo lspace="0em" rspace="0em" id="A5.p2.3.m3.1.2.1" xref="A5.p2.3.m3.1.2.1.cmml">​</mo><mrow id="A5.p2.3.m3.1.2.3.2" xref="A5.p2.3.m3.1.2.cmml"><mo stretchy="false" id="A5.p2.3.m3.1.2.3.2.1" xref="A5.p2.3.m3.1.2.cmml">(</mo><mi id="A5.p2.3.m3.1.1" xref="A5.p2.3.m3.1.1.cmml">a</mi><mo stretchy="false" id="A5.p2.3.m3.1.2.3.2.2" xref="A5.p2.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.p2.3.m3.1b"><apply id="A5.p2.3.m3.1.2.cmml" xref="A5.p2.3.m3.1.2"><times id="A5.p2.3.m3.1.2.1.cmml" xref="A5.p2.3.m3.1.2.1"></times><ci id="A5.p2.3.m3.1.2.2.cmml" xref="A5.p2.3.m3.1.2.2">flip</ci><ci id="A5.p2.3.m3.1.1.cmml" xref="A5.p2.3.m3.1.1">𝑎</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p2.3.m3.1c">{\rm flip}(a)</annotation></semantics></math> denotes the operation of flipping the order of elements in vector <math id="A5.p2.4.m4.1" class="ltx_Math" alttext="a" display="inline"><semantics id="A5.p2.4.m4.1a"><mi id="A5.p2.4.m4.1.1" xref="A5.p2.4.m4.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="A5.p2.4.m4.1b"><ci id="A5.p2.4.m4.1.1.cmml" xref="A5.p2.4.m4.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p2.4.m4.1c">a</annotation></semantics></math>. For <math id="A5.p2.5.m5.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A5.p2.5.m5.1a"><mi id="A5.p2.5.m5.1.1" xref="A5.p2.5.m5.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A5.p2.5.m5.1b"><ci id="A5.p2.5.m5.1.1.cmml" xref="A5.p2.5.m5.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p2.5.m5.1c">Q</annotation></semantics></math> with an odd size, we assume that the central element of <math id="A5.p2.6.m6.1" class="ltx_Math" alttext="b" display="inline"><semantics id="A5.p2.6.m6.1a"><mi id="A5.p2.6.m6.1.1" xref="A5.p2.6.m6.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="A5.p2.6.m6.1b"><ci id="A5.p2.6.m6.1.1.cmml" xref="A5.p2.6.m6.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p2.6.m6.1c">b</annotation></semantics></math> is zero to obtain a unique form of representation of the Lie group.</p>
</div>
<figure id="alg5" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg5.2.1.1" class="ltx_text ltx_font_bold">Algorithm 5</span> </span> Low Rank Approximation Preconditioner Update</figcaption>
<div id="alg5.3" class="ltx_listing ltx_listing">
<div id="alg5.l1" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l1.1.1.1" class="ltx_text" style="font-size:80%;">1:</span></span>  Prepare inputs <math id="alg5.l1.m1.2" class="ltx_Math" alttext="Q=(I+UV^{T}){\rm diag}(d)" display="inline"><semantics id="alg5.l1.m1.2a"><mrow id="alg5.l1.m1.2.2" xref="alg5.l1.m1.2.2.cmml"><mi id="alg5.l1.m1.2.2.3" xref="alg5.l1.m1.2.2.3.cmml">Q</mi><mo id="alg5.l1.m1.2.2.2" xref="alg5.l1.m1.2.2.2.cmml">=</mo><mrow id="alg5.l1.m1.2.2.1" xref="alg5.l1.m1.2.2.1.cmml"><mrow id="alg5.l1.m1.2.2.1.1.1" xref="alg5.l1.m1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l1.m1.2.2.1.1.1.2" xref="alg5.l1.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="alg5.l1.m1.2.2.1.1.1.1" xref="alg5.l1.m1.2.2.1.1.1.1.cmml"><mi id="alg5.l1.m1.2.2.1.1.1.1.2" xref="alg5.l1.m1.2.2.1.1.1.1.2.cmml">I</mi><mo id="alg5.l1.m1.2.2.1.1.1.1.1" xref="alg5.l1.m1.2.2.1.1.1.1.1.cmml">+</mo><mrow id="alg5.l1.m1.2.2.1.1.1.1.3" xref="alg5.l1.m1.2.2.1.1.1.1.3.cmml"><mi id="alg5.l1.m1.2.2.1.1.1.1.3.2" xref="alg5.l1.m1.2.2.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="alg5.l1.m1.2.2.1.1.1.1.3.1" xref="alg5.l1.m1.2.2.1.1.1.1.3.1.cmml">​</mo><msup id="alg5.l1.m1.2.2.1.1.1.1.3.3" xref="alg5.l1.m1.2.2.1.1.1.1.3.3.cmml"><mi id="alg5.l1.m1.2.2.1.1.1.1.3.3.2" xref="alg5.l1.m1.2.2.1.1.1.1.3.3.2.cmml">V</mi><mi id="alg5.l1.m1.2.2.1.1.1.1.3.3.3" xref="alg5.l1.m1.2.2.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="alg5.l1.m1.2.2.1.1.1.3" xref="alg5.l1.m1.2.2.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg5.l1.m1.2.2.1.2" xref="alg5.l1.m1.2.2.1.2.cmml">​</mo><mi id="alg5.l1.m1.2.2.1.3" xref="alg5.l1.m1.2.2.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="alg5.l1.m1.2.2.1.2a" xref="alg5.l1.m1.2.2.1.2.cmml">​</mo><mrow id="alg5.l1.m1.2.2.1.4.2" xref="alg5.l1.m1.2.2.1.cmml"><mo stretchy="false" id="alg5.l1.m1.2.2.1.4.2.1" xref="alg5.l1.m1.2.2.1.cmml">(</mo><mi id="alg5.l1.m1.1.1" xref="alg5.l1.m1.1.1.cmml">d</mi><mo stretchy="false" id="alg5.l1.m1.2.2.1.4.2.2" xref="alg5.l1.m1.2.2.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l1.m1.2b"><apply id="alg5.l1.m1.2.2.cmml" xref="alg5.l1.m1.2.2"><eq id="alg5.l1.m1.2.2.2.cmml" xref="alg5.l1.m1.2.2.2"></eq><ci id="alg5.l1.m1.2.2.3.cmml" xref="alg5.l1.m1.2.2.3">𝑄</ci><apply id="alg5.l1.m1.2.2.1.cmml" xref="alg5.l1.m1.2.2.1"><times id="alg5.l1.m1.2.2.1.2.cmml" xref="alg5.l1.m1.2.2.1.2"></times><apply id="alg5.l1.m1.2.2.1.1.1.1.cmml" xref="alg5.l1.m1.2.2.1.1.1"><plus id="alg5.l1.m1.2.2.1.1.1.1.1.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.1"></plus><ci id="alg5.l1.m1.2.2.1.1.1.1.2.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.2">𝐼</ci><apply id="alg5.l1.m1.2.2.1.1.1.1.3.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.3"><times id="alg5.l1.m1.2.2.1.1.1.1.3.1.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.3.1"></times><ci id="alg5.l1.m1.2.2.1.1.1.1.3.2.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.3.2">𝑈</ci><apply id="alg5.l1.m1.2.2.1.1.1.1.3.3.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="alg5.l1.m1.2.2.1.1.1.1.3.3.1.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.3.3">superscript</csymbol><ci id="alg5.l1.m1.2.2.1.1.1.1.3.3.2.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.3.3.2">𝑉</ci><ci id="alg5.l1.m1.2.2.1.1.1.1.3.3.3.cmml" xref="alg5.l1.m1.2.2.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="alg5.l1.m1.2.2.1.3.cmml" xref="alg5.l1.m1.2.2.1.3">diag</ci><ci id="alg5.l1.m1.1.1.cmml" xref="alg5.l1.m1.1.1">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l1.m1.2c">Q=(I+UV^{T}){\rm diag}(d)</annotation></semantics></math> and pair <math id="alg5.l1.m2.2" class="ltx_Math" alttext="(v,h)" display="inline"><semantics id="alg5.l1.m2.2a"><mrow id="alg5.l1.m2.2.3.2" xref="alg5.l1.m2.2.3.1.cmml"><mo stretchy="false" id="alg5.l1.m2.2.3.2.1" xref="alg5.l1.m2.2.3.1.cmml">(</mo><mi id="alg5.l1.m2.1.1" xref="alg5.l1.m2.1.1.cmml">v</mi><mo id="alg5.l1.m2.2.3.2.2" xref="alg5.l1.m2.2.3.1.cmml">,</mo><mi id="alg5.l1.m2.2.2" xref="alg5.l1.m2.2.2.cmml">h</mi><mo stretchy="false" id="alg5.l1.m2.2.3.2.3" xref="alg5.l1.m2.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="alg5.l1.m2.2b"><interval closure="open" id="alg5.l1.m2.2.3.1.cmml" xref="alg5.l1.m2.2.3.2"><ci id="alg5.l1.m2.1.1.cmml" xref="alg5.l1.m2.1.1">𝑣</ci><ci id="alg5.l1.m2.2.2.cmml" xref="alg5.l1.m2.2.2">ℎ</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="alg5.l1.m2.2c">(v,h)</annotation></semantics></math>

</div>
<div id="alg5.l2" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l2.1.1.1" class="ltx_text" style="font-size:80%;">2:</span></span>  Calculate <math id="alg5.l2.m1.1" class="ltx_Math" alttext="Qh" display="inline"><semantics id="alg5.l2.m1.1a"><mrow id="alg5.l2.m1.1.1" xref="alg5.l2.m1.1.1.cmml"><mi id="alg5.l2.m1.1.1.2" xref="alg5.l2.m1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg5.l2.m1.1.1.1" xref="alg5.l2.m1.1.1.1.cmml">​</mo><mi id="alg5.l2.m1.1.1.3" xref="alg5.l2.m1.1.1.3.cmml">h</mi></mrow><annotation-xml encoding="MathML-Content" id="alg5.l2.m1.1b"><apply id="alg5.l2.m1.1.1.cmml" xref="alg5.l2.m1.1.1"><times id="alg5.l2.m1.1.1.1.cmml" xref="alg5.l2.m1.1.1.1"></times><ci id="alg5.l2.m1.1.1.2.cmml" xref="alg5.l2.m1.1.1.2">𝑄</ci><ci id="alg5.l2.m1.1.1.3.cmml" xref="alg5.l2.m1.1.1.3">ℎ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l2.m1.1c">Qh</annotation></semantics></math>

</div>
<div id="alg5.l3" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l3.1.1.1" class="ltx_text" style="font-size:80%;">3:</span></span>  Calculate <math id="alg5.l3.m1.1" class="ltx_Math" alttext="Ph=Q^{T}(Qh)" display="inline"><semantics id="alg5.l3.m1.1a"><mrow id="alg5.l3.m1.1.1" xref="alg5.l3.m1.1.1.cmml"><mrow id="alg5.l3.m1.1.1.3" xref="alg5.l3.m1.1.1.3.cmml"><mi id="alg5.l3.m1.1.1.3.2" xref="alg5.l3.m1.1.1.3.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="alg5.l3.m1.1.1.3.1" xref="alg5.l3.m1.1.1.3.1.cmml">​</mo><mi id="alg5.l3.m1.1.1.3.3" xref="alg5.l3.m1.1.1.3.3.cmml">h</mi></mrow><mo id="alg5.l3.m1.1.1.2" xref="alg5.l3.m1.1.1.2.cmml">=</mo><mrow id="alg5.l3.m1.1.1.1" xref="alg5.l3.m1.1.1.1.cmml"><msup id="alg5.l3.m1.1.1.1.3" xref="alg5.l3.m1.1.1.1.3.cmml"><mi id="alg5.l3.m1.1.1.1.3.2" xref="alg5.l3.m1.1.1.1.3.2.cmml">Q</mi><mi id="alg5.l3.m1.1.1.1.3.3" xref="alg5.l3.m1.1.1.1.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg5.l3.m1.1.1.1.2" xref="alg5.l3.m1.1.1.1.2.cmml">​</mo><mrow id="alg5.l3.m1.1.1.1.1.1" xref="alg5.l3.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l3.m1.1.1.1.1.1.2" xref="alg5.l3.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg5.l3.m1.1.1.1.1.1.1" xref="alg5.l3.m1.1.1.1.1.1.1.cmml"><mi id="alg5.l3.m1.1.1.1.1.1.1.2" xref="alg5.l3.m1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg5.l3.m1.1.1.1.1.1.1.1" xref="alg5.l3.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg5.l3.m1.1.1.1.1.1.1.3" xref="alg5.l3.m1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg5.l3.m1.1.1.1.1.1.3" xref="alg5.l3.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l3.m1.1b"><apply id="alg5.l3.m1.1.1.cmml" xref="alg5.l3.m1.1.1"><eq id="alg5.l3.m1.1.1.2.cmml" xref="alg5.l3.m1.1.1.2"></eq><apply id="alg5.l3.m1.1.1.3.cmml" xref="alg5.l3.m1.1.1.3"><times id="alg5.l3.m1.1.1.3.1.cmml" xref="alg5.l3.m1.1.1.3.1"></times><ci id="alg5.l3.m1.1.1.3.2.cmml" xref="alg5.l3.m1.1.1.3.2">𝑃</ci><ci id="alg5.l3.m1.1.1.3.3.cmml" xref="alg5.l3.m1.1.1.3.3">ℎ</ci></apply><apply id="alg5.l3.m1.1.1.1.cmml" xref="alg5.l3.m1.1.1.1"><times id="alg5.l3.m1.1.1.1.2.cmml" xref="alg5.l3.m1.1.1.1.2"></times><apply id="alg5.l3.m1.1.1.1.3.cmml" xref="alg5.l3.m1.1.1.1.3"><csymbol cd="ambiguous" id="alg5.l3.m1.1.1.1.3.1.cmml" xref="alg5.l3.m1.1.1.1.3">superscript</csymbol><ci id="alg5.l3.m1.1.1.1.3.2.cmml" xref="alg5.l3.m1.1.1.1.3.2">𝑄</ci><ci id="alg5.l3.m1.1.1.1.3.3.cmml" xref="alg5.l3.m1.1.1.1.3.3">𝑇</ci></apply><apply id="alg5.l3.m1.1.1.1.1.1.1.cmml" xref="alg5.l3.m1.1.1.1.1.1"><times id="alg5.l3.m1.1.1.1.1.1.1.1.cmml" xref="alg5.l3.m1.1.1.1.1.1.1.1"></times><ci id="alg5.l3.m1.1.1.1.1.1.1.2.cmml" xref="alg5.l3.m1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg5.l3.m1.1.1.1.1.1.1.3.cmml" xref="alg5.l3.m1.1.1.1.1.1.1.3">ℎ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l3.m1.1c">Ph=Q^{T}(Qh)</annotation></semantics></math>

</div>
<div id="alg5.l4" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l4.1.1.1" class="ltx_text" style="font-size:80%;">4:</span></span>  Calculate <math id="alg5.l4.m1.1" class="ltx_Math" alttext="Q^{-T}v" display="inline"><semantics id="alg5.l4.m1.1a"><mrow id="alg5.l4.m1.1.1" xref="alg5.l4.m1.1.1.cmml"><msup id="alg5.l4.m1.1.1.2" xref="alg5.l4.m1.1.1.2.cmml"><mi id="alg5.l4.m1.1.1.2.2" xref="alg5.l4.m1.1.1.2.2.cmml">Q</mi><mrow id="alg5.l4.m1.1.1.2.3" xref="alg5.l4.m1.1.1.2.3.cmml"><mo id="alg5.l4.m1.1.1.2.3a" xref="alg5.l4.m1.1.1.2.3.cmml">−</mo><mi id="alg5.l4.m1.1.1.2.3.2" xref="alg5.l4.m1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l4.m1.1.1.1" xref="alg5.l4.m1.1.1.1.cmml">​</mo><mi id="alg5.l4.m1.1.1.3" xref="alg5.l4.m1.1.1.3.cmml">v</mi></mrow><annotation-xml encoding="MathML-Content" id="alg5.l4.m1.1b"><apply id="alg5.l4.m1.1.1.cmml" xref="alg5.l4.m1.1.1"><times id="alg5.l4.m1.1.1.1.cmml" xref="alg5.l4.m1.1.1.1"></times><apply id="alg5.l4.m1.1.1.2.cmml" xref="alg5.l4.m1.1.1.2"><csymbol cd="ambiguous" id="alg5.l4.m1.1.1.2.1.cmml" xref="alg5.l4.m1.1.1.2">superscript</csymbol><ci id="alg5.l4.m1.1.1.2.2.cmml" xref="alg5.l4.m1.1.1.2.2">𝑄</ci><apply id="alg5.l4.m1.1.1.2.3.cmml" xref="alg5.l4.m1.1.1.2.3"><minus id="alg5.l4.m1.1.1.2.3.1.cmml" xref="alg5.l4.m1.1.1.2.3"></minus><ci id="alg5.l4.m1.1.1.2.3.2.cmml" xref="alg5.l4.m1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg5.l4.m1.1.1.3.cmml" xref="alg5.l4.m1.1.1.3">𝑣</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l4.m1.1c">Q^{-T}v</annotation></semantics></math> using the Woodbury matrix identity

</div>
<div id="alg5.l5" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l5.1.1.1" class="ltx_text" style="font-size:80%;">5:</span></span>  Calculate <math id="alg5.l5.m1.1" class="ltx_Math" alttext="P^{-1}v=Q^{-1}(Q^{-T}v)" display="inline"><semantics id="alg5.l5.m1.1a"><mrow id="alg5.l5.m1.1.1" xref="alg5.l5.m1.1.1.cmml"><mrow id="alg5.l5.m1.1.1.3" xref="alg5.l5.m1.1.1.3.cmml"><msup id="alg5.l5.m1.1.1.3.2" xref="alg5.l5.m1.1.1.3.2.cmml"><mi id="alg5.l5.m1.1.1.3.2.2" xref="alg5.l5.m1.1.1.3.2.2.cmml">P</mi><mrow id="alg5.l5.m1.1.1.3.2.3" xref="alg5.l5.m1.1.1.3.2.3.cmml"><mo id="alg5.l5.m1.1.1.3.2.3a" xref="alg5.l5.m1.1.1.3.2.3.cmml">−</mo><mn id="alg5.l5.m1.1.1.3.2.3.2" xref="alg5.l5.m1.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l5.m1.1.1.3.1" xref="alg5.l5.m1.1.1.3.1.cmml">​</mo><mi id="alg5.l5.m1.1.1.3.3" xref="alg5.l5.m1.1.1.3.3.cmml">v</mi></mrow><mo id="alg5.l5.m1.1.1.2" xref="alg5.l5.m1.1.1.2.cmml">=</mo><mrow id="alg5.l5.m1.1.1.1" xref="alg5.l5.m1.1.1.1.cmml"><msup id="alg5.l5.m1.1.1.1.3" xref="alg5.l5.m1.1.1.1.3.cmml"><mi id="alg5.l5.m1.1.1.1.3.2" xref="alg5.l5.m1.1.1.1.3.2.cmml">Q</mi><mrow id="alg5.l5.m1.1.1.1.3.3" xref="alg5.l5.m1.1.1.1.3.3.cmml"><mo id="alg5.l5.m1.1.1.1.3.3a" xref="alg5.l5.m1.1.1.1.3.3.cmml">−</mo><mn id="alg5.l5.m1.1.1.1.3.3.2" xref="alg5.l5.m1.1.1.1.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l5.m1.1.1.1.2" xref="alg5.l5.m1.1.1.1.2.cmml">​</mo><mrow id="alg5.l5.m1.1.1.1.1.1" xref="alg5.l5.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l5.m1.1.1.1.1.1.2" xref="alg5.l5.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg5.l5.m1.1.1.1.1.1.1" xref="alg5.l5.m1.1.1.1.1.1.1.cmml"><msup id="alg5.l5.m1.1.1.1.1.1.1.2" xref="alg5.l5.m1.1.1.1.1.1.1.2.cmml"><mi id="alg5.l5.m1.1.1.1.1.1.1.2.2" xref="alg5.l5.m1.1.1.1.1.1.1.2.2.cmml">Q</mi><mrow id="alg5.l5.m1.1.1.1.1.1.1.2.3" xref="alg5.l5.m1.1.1.1.1.1.1.2.3.cmml"><mo id="alg5.l5.m1.1.1.1.1.1.1.2.3a" xref="alg5.l5.m1.1.1.1.1.1.1.2.3.cmml">−</mo><mi id="alg5.l5.m1.1.1.1.1.1.1.2.3.2" xref="alg5.l5.m1.1.1.1.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l5.m1.1.1.1.1.1.1.1" xref="alg5.l5.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg5.l5.m1.1.1.1.1.1.1.3" xref="alg5.l5.m1.1.1.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg5.l5.m1.1.1.1.1.1.3" xref="alg5.l5.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l5.m1.1b"><apply id="alg5.l5.m1.1.1.cmml" xref="alg5.l5.m1.1.1"><eq id="alg5.l5.m1.1.1.2.cmml" xref="alg5.l5.m1.1.1.2"></eq><apply id="alg5.l5.m1.1.1.3.cmml" xref="alg5.l5.m1.1.1.3"><times id="alg5.l5.m1.1.1.3.1.cmml" xref="alg5.l5.m1.1.1.3.1"></times><apply id="alg5.l5.m1.1.1.3.2.cmml" xref="alg5.l5.m1.1.1.3.2"><csymbol cd="ambiguous" id="alg5.l5.m1.1.1.3.2.1.cmml" xref="alg5.l5.m1.1.1.3.2">superscript</csymbol><ci id="alg5.l5.m1.1.1.3.2.2.cmml" xref="alg5.l5.m1.1.1.3.2.2">𝑃</ci><apply id="alg5.l5.m1.1.1.3.2.3.cmml" xref="alg5.l5.m1.1.1.3.2.3"><minus id="alg5.l5.m1.1.1.3.2.3.1.cmml" xref="alg5.l5.m1.1.1.3.2.3"></minus><cn type="integer" id="alg5.l5.m1.1.1.3.2.3.2.cmml" xref="alg5.l5.m1.1.1.3.2.3.2">1</cn></apply></apply><ci id="alg5.l5.m1.1.1.3.3.cmml" xref="alg5.l5.m1.1.1.3.3">𝑣</ci></apply><apply id="alg5.l5.m1.1.1.1.cmml" xref="alg5.l5.m1.1.1.1"><times id="alg5.l5.m1.1.1.1.2.cmml" xref="alg5.l5.m1.1.1.1.2"></times><apply id="alg5.l5.m1.1.1.1.3.cmml" xref="alg5.l5.m1.1.1.1.3"><csymbol cd="ambiguous" id="alg5.l5.m1.1.1.1.3.1.cmml" xref="alg5.l5.m1.1.1.1.3">superscript</csymbol><ci id="alg5.l5.m1.1.1.1.3.2.cmml" xref="alg5.l5.m1.1.1.1.3.2">𝑄</ci><apply id="alg5.l5.m1.1.1.1.3.3.cmml" xref="alg5.l5.m1.1.1.1.3.3"><minus id="alg5.l5.m1.1.1.1.3.3.1.cmml" xref="alg5.l5.m1.1.1.1.3.3"></minus><cn type="integer" id="alg5.l5.m1.1.1.1.3.3.2.cmml" xref="alg5.l5.m1.1.1.1.3.3.2">1</cn></apply></apply><apply id="alg5.l5.m1.1.1.1.1.1.1.cmml" xref="alg5.l5.m1.1.1.1.1.1"><times id="alg5.l5.m1.1.1.1.1.1.1.1.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.1"></times><apply id="alg5.l5.m1.1.1.1.1.1.1.2.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="alg5.l5.m1.1.1.1.1.1.1.2.1.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.2">superscript</csymbol><ci id="alg5.l5.m1.1.1.1.1.1.1.2.2.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.2.2">𝑄</ci><apply id="alg5.l5.m1.1.1.1.1.1.1.2.3.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.2.3"><minus id="alg5.l5.m1.1.1.1.1.1.1.2.3.1.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.2.3"></minus><ci id="alg5.l5.m1.1.1.1.1.1.1.2.3.2.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg5.l5.m1.1.1.1.1.1.1.3.cmml" xref="alg5.l5.m1.1.1.1.1.1.1.3">𝑣</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l5.m1.1c">P^{-1}v=Q^{-1}(Q^{-T}v)</annotation></semantics></math> using the Woodbury matrix identity

</div>
<div id="alg5.l6" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l6.1.1.1" class="ltx_text" style="font-size:80%;">6:</span></span>  Calculate gradient <math id="alg5.l6.m1.2" class="ltx_Math" alttext="\nabla_{d}=(Ph)\odot h-v\odot(P^{-1}v)" display="inline"><semantics id="alg5.l6.m1.2a"><mrow id="alg5.l6.m1.2.2" xref="alg5.l6.m1.2.2.cmml"><msub id="alg5.l6.m1.2.2.4" xref="alg5.l6.m1.2.2.4.cmml"><mo id="alg5.l6.m1.2.2.4.2" xref="alg5.l6.m1.2.2.4.2.cmml">∇</mo><mi id="alg5.l6.m1.2.2.4.3" xref="alg5.l6.m1.2.2.4.3.cmml">d</mi></msub><mo id="alg5.l6.m1.2.2.3" xref="alg5.l6.m1.2.2.3.cmml">=</mo><mrow id="alg5.l6.m1.2.2.2" xref="alg5.l6.m1.2.2.2.cmml"><mrow id="alg5.l6.m1.1.1.1.1" xref="alg5.l6.m1.1.1.1.1.cmml"><mrow id="alg5.l6.m1.1.1.1.1.1.1" xref="alg5.l6.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l6.m1.1.1.1.1.1.1.2" xref="alg5.l6.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg5.l6.m1.1.1.1.1.1.1.1" xref="alg5.l6.m1.1.1.1.1.1.1.1.cmml"><mi id="alg5.l6.m1.1.1.1.1.1.1.1.2" xref="alg5.l6.m1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="alg5.l6.m1.1.1.1.1.1.1.1.1" xref="alg5.l6.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg5.l6.m1.1.1.1.1.1.1.1.3" xref="alg5.l6.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg5.l6.m1.1.1.1.1.1.1.3" xref="alg5.l6.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg5.l6.m1.1.1.1.1.2" xref="alg5.l6.m1.1.1.1.1.2.cmml">⊙</mo><mi id="alg5.l6.m1.1.1.1.1.3" xref="alg5.l6.m1.1.1.1.1.3.cmml">h</mi></mrow><mo id="alg5.l6.m1.2.2.2.3" xref="alg5.l6.m1.2.2.2.3.cmml">−</mo><mrow id="alg5.l6.m1.2.2.2.2" xref="alg5.l6.m1.2.2.2.2.cmml"><mi id="alg5.l6.m1.2.2.2.2.3" xref="alg5.l6.m1.2.2.2.2.3.cmml">v</mi><mo lspace="0.222em" rspace="0.222em" id="alg5.l6.m1.2.2.2.2.2" xref="alg5.l6.m1.2.2.2.2.2.cmml">⊙</mo><mrow id="alg5.l6.m1.2.2.2.2.1.1" xref="alg5.l6.m1.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="alg5.l6.m1.2.2.2.2.1.1.2" xref="alg5.l6.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg5.l6.m1.2.2.2.2.1.1.1" xref="alg5.l6.m1.2.2.2.2.1.1.1.cmml"><msup id="alg5.l6.m1.2.2.2.2.1.1.1.2" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.cmml"><mi id="alg5.l6.m1.2.2.2.2.1.1.1.2.2" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.2.cmml">P</mi><mrow id="alg5.l6.m1.2.2.2.2.1.1.1.2.3" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.3.cmml"><mo id="alg5.l6.m1.2.2.2.2.1.1.1.2.3a" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.3.cmml">−</mo><mn id="alg5.l6.m1.2.2.2.2.1.1.1.2.3.2" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l6.m1.2.2.2.2.1.1.1.1" xref="alg5.l6.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="alg5.l6.m1.2.2.2.2.1.1.1.3" xref="alg5.l6.m1.2.2.2.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg5.l6.m1.2.2.2.2.1.1.3" xref="alg5.l6.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l6.m1.2b"><apply id="alg5.l6.m1.2.2.cmml" xref="alg5.l6.m1.2.2"><eq id="alg5.l6.m1.2.2.3.cmml" xref="alg5.l6.m1.2.2.3"></eq><apply id="alg5.l6.m1.2.2.4.cmml" xref="alg5.l6.m1.2.2.4"><csymbol cd="ambiguous" id="alg5.l6.m1.2.2.4.1.cmml" xref="alg5.l6.m1.2.2.4">subscript</csymbol><ci id="alg5.l6.m1.2.2.4.2.cmml" xref="alg5.l6.m1.2.2.4.2">∇</ci><ci id="alg5.l6.m1.2.2.4.3.cmml" xref="alg5.l6.m1.2.2.4.3">𝑑</ci></apply><apply id="alg5.l6.m1.2.2.2.cmml" xref="alg5.l6.m1.2.2.2"><minus id="alg5.l6.m1.2.2.2.3.cmml" xref="alg5.l6.m1.2.2.2.3"></minus><apply id="alg5.l6.m1.1.1.1.1.cmml" xref="alg5.l6.m1.1.1.1.1"><csymbol cd="latexml" id="alg5.l6.m1.1.1.1.1.2.cmml" xref="alg5.l6.m1.1.1.1.1.2">direct-product</csymbol><apply id="alg5.l6.m1.1.1.1.1.1.1.1.cmml" xref="alg5.l6.m1.1.1.1.1.1.1"><times id="alg5.l6.m1.1.1.1.1.1.1.1.1.cmml" xref="alg5.l6.m1.1.1.1.1.1.1.1.1"></times><ci id="alg5.l6.m1.1.1.1.1.1.1.1.2.cmml" xref="alg5.l6.m1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="alg5.l6.m1.1.1.1.1.1.1.1.3.cmml" xref="alg5.l6.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><ci id="alg5.l6.m1.1.1.1.1.3.cmml" xref="alg5.l6.m1.1.1.1.1.3">ℎ</ci></apply><apply id="alg5.l6.m1.2.2.2.2.cmml" xref="alg5.l6.m1.2.2.2.2"><csymbol cd="latexml" id="alg5.l6.m1.2.2.2.2.2.cmml" xref="alg5.l6.m1.2.2.2.2.2">direct-product</csymbol><ci id="alg5.l6.m1.2.2.2.2.3.cmml" xref="alg5.l6.m1.2.2.2.2.3">𝑣</ci><apply id="alg5.l6.m1.2.2.2.2.1.1.1.cmml" xref="alg5.l6.m1.2.2.2.2.1.1"><times id="alg5.l6.m1.2.2.2.2.1.1.1.1.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.1"></times><apply id="alg5.l6.m1.2.2.2.2.1.1.1.2.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="alg5.l6.m1.2.2.2.2.1.1.1.2.1.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.2">superscript</csymbol><ci id="alg5.l6.m1.2.2.2.2.1.1.1.2.2.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.2">𝑃</ci><apply id="alg5.l6.m1.2.2.2.2.1.1.1.2.3.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.3"><minus id="alg5.l6.m1.2.2.2.2.1.1.1.2.3.1.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.3"></minus><cn type="integer" id="alg5.l6.m1.2.2.2.2.1.1.1.2.3.2.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.2.3.2">1</cn></apply></apply><ci id="alg5.l6.m1.2.2.2.2.1.1.1.3.cmml" xref="alg5.l6.m1.2.2.2.2.1.1.1.3">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l6.m1.2c">\nabla_{d}=(Ph)\odot h-v\odot(P^{-1}v)</annotation></semantics></math>

</div>
<div id="alg5.l7" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l7.1.1.1" class="ltx_text" style="font-size:80%;">7:</span></span>  Update <math id="alg5.l7.m1.1" class="ltx_Math" alttext="d" display="inline"><semantics id="alg5.l7.m1.1a"><mi id="alg5.l7.m1.1.1" xref="alg5.l7.m1.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="alg5.l7.m1.1b"><ci id="alg5.l7.m1.1.1.cmml" xref="alg5.l7.m1.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="alg5.l7.m1.1c">d</annotation></semantics></math> as <math id="alg5.l7.m2.2" class="ltx_Math" alttext="d\leftarrow d-\frac{\mu_{2}}{\max(|\nabla_{d}|)}d\odot\nabla_{d}" display="inline"><semantics id="alg5.l7.m2.2a"><mrow id="alg5.l7.m2.2.3" xref="alg5.l7.m2.2.3.cmml"><mi id="alg5.l7.m2.2.3.2" xref="alg5.l7.m2.2.3.2.cmml">d</mi><mo stretchy="false" id="alg5.l7.m2.2.3.1" xref="alg5.l7.m2.2.3.1.cmml">←</mo><mrow id="alg5.l7.m2.2.3.3" xref="alg5.l7.m2.2.3.3.cmml"><mi id="alg5.l7.m2.2.3.3.2" xref="alg5.l7.m2.2.3.3.2.cmml">d</mi><mo id="alg5.l7.m2.2.3.3.1" xref="alg5.l7.m2.2.3.3.1.cmml">−</mo><mrow id="alg5.l7.m2.2.3.3.3" xref="alg5.l7.m2.2.3.3.3.cmml"><mrow id="alg5.l7.m2.2.3.3.3.2" xref="alg5.l7.m2.2.3.3.3.2.cmml"><mfrac id="alg5.l7.m2.2.2" xref="alg5.l7.m2.2.2.cmml"><msub id="alg5.l7.m2.2.2.4" xref="alg5.l7.m2.2.2.4.cmml"><mi id="alg5.l7.m2.2.2.4.2" xref="alg5.l7.m2.2.2.4.2.cmml">μ</mi><mn id="alg5.l7.m2.2.2.4.3" xref="alg5.l7.m2.2.2.4.3.cmml">2</mn></msub><mrow id="alg5.l7.m2.2.2.2.2" xref="alg5.l7.m2.2.2.2.3.cmml"><mi id="alg5.l7.m2.1.1.1.1" xref="alg5.l7.m2.1.1.1.1.cmml">max</mi><mo id="alg5.l7.m2.2.2.2.2a" xref="alg5.l7.m2.2.2.2.3.cmml">⁡</mo><mrow id="alg5.l7.m2.2.2.2.2.1" xref="alg5.l7.m2.2.2.2.3.cmml"><mo stretchy="false" id="alg5.l7.m2.2.2.2.2.1.2" xref="alg5.l7.m2.2.2.2.3.cmml">(</mo><mrow id="alg5.l7.m2.2.2.2.2.1.1.1" xref="alg5.l7.m2.2.2.2.2.1.1.2.cmml"><mo stretchy="false" id="alg5.l7.m2.2.2.2.2.1.1.1.2" xref="alg5.l7.m2.2.2.2.2.1.1.2.1.cmml">|</mo><msub id="alg5.l7.m2.2.2.2.2.1.1.1.1" xref="alg5.l7.m2.2.2.2.2.1.1.1.1.cmml"><mo id="alg5.l7.m2.2.2.2.2.1.1.1.1.2" xref="alg5.l7.m2.2.2.2.2.1.1.1.1.2.cmml">∇</mo><mi id="alg5.l7.m2.2.2.2.2.1.1.1.1.3" xref="alg5.l7.m2.2.2.2.2.1.1.1.1.3.cmml">d</mi></msub><mo stretchy="false" id="alg5.l7.m2.2.2.2.2.1.1.1.3" xref="alg5.l7.m2.2.2.2.2.1.1.2.1.cmml">|</mo></mrow><mo stretchy="false" id="alg5.l7.m2.2.2.2.2.1.3" xref="alg5.l7.m2.2.2.2.3.cmml">)</mo></mrow></mrow></mfrac><mo lspace="0em" rspace="0em" id="alg5.l7.m2.2.3.3.3.2.1" xref="alg5.l7.m2.2.3.3.3.2.1.cmml">​</mo><mi id="alg5.l7.m2.2.3.3.3.2.2" xref="alg5.l7.m2.2.3.3.3.2.2.cmml">d</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="alg5.l7.m2.2.3.3.3.1" xref="alg5.l7.m2.2.3.3.3.1.cmml">⊙</mo><msub id="alg5.l7.m2.2.3.3.3.3" xref="alg5.l7.m2.2.3.3.3.3.cmml"><mo id="alg5.l7.m2.2.3.3.3.3.2" xref="alg5.l7.m2.2.3.3.3.3.2.cmml">∇</mo><mi id="alg5.l7.m2.2.3.3.3.3.3" xref="alg5.l7.m2.2.3.3.3.3.3.cmml">d</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l7.m2.2b"><apply id="alg5.l7.m2.2.3.cmml" xref="alg5.l7.m2.2.3"><ci id="alg5.l7.m2.2.3.1.cmml" xref="alg5.l7.m2.2.3.1">←</ci><ci id="alg5.l7.m2.2.3.2.cmml" xref="alg5.l7.m2.2.3.2">𝑑</ci><apply id="alg5.l7.m2.2.3.3.cmml" xref="alg5.l7.m2.2.3.3"><minus id="alg5.l7.m2.2.3.3.1.cmml" xref="alg5.l7.m2.2.3.3.1"></minus><ci id="alg5.l7.m2.2.3.3.2.cmml" xref="alg5.l7.m2.2.3.3.2">𝑑</ci><apply id="alg5.l7.m2.2.3.3.3.cmml" xref="alg5.l7.m2.2.3.3.3"><csymbol cd="latexml" id="alg5.l7.m2.2.3.3.3.1.cmml" xref="alg5.l7.m2.2.3.3.3.1">direct-product</csymbol><apply id="alg5.l7.m2.2.3.3.3.2.cmml" xref="alg5.l7.m2.2.3.3.3.2"><times id="alg5.l7.m2.2.3.3.3.2.1.cmml" xref="alg5.l7.m2.2.3.3.3.2.1"></times><apply id="alg5.l7.m2.2.2.cmml" xref="alg5.l7.m2.2.2"><divide id="alg5.l7.m2.2.2.3.cmml" xref="alg5.l7.m2.2.2"></divide><apply id="alg5.l7.m2.2.2.4.cmml" xref="alg5.l7.m2.2.2.4"><csymbol cd="ambiguous" id="alg5.l7.m2.2.2.4.1.cmml" xref="alg5.l7.m2.2.2.4">subscript</csymbol><ci id="alg5.l7.m2.2.2.4.2.cmml" xref="alg5.l7.m2.2.2.4.2">𝜇</ci><cn type="integer" id="alg5.l7.m2.2.2.4.3.cmml" xref="alg5.l7.m2.2.2.4.3">2</cn></apply><apply id="alg5.l7.m2.2.2.2.3.cmml" xref="alg5.l7.m2.2.2.2.2"><max id="alg5.l7.m2.1.1.1.1.cmml" xref="alg5.l7.m2.1.1.1.1"></max><apply id="alg5.l7.m2.2.2.2.2.1.1.2.cmml" xref="alg5.l7.m2.2.2.2.2.1.1.1"><abs id="alg5.l7.m2.2.2.2.2.1.1.2.1.cmml" xref="alg5.l7.m2.2.2.2.2.1.1.1.2"></abs><apply id="alg5.l7.m2.2.2.2.2.1.1.1.1.cmml" xref="alg5.l7.m2.2.2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="alg5.l7.m2.2.2.2.2.1.1.1.1.1.cmml" xref="alg5.l7.m2.2.2.2.2.1.1.1.1">subscript</csymbol><ci id="alg5.l7.m2.2.2.2.2.1.1.1.1.2.cmml" xref="alg5.l7.m2.2.2.2.2.1.1.1.1.2">∇</ci><ci id="alg5.l7.m2.2.2.2.2.1.1.1.1.3.cmml" xref="alg5.l7.m2.2.2.2.2.1.1.1.1.3">𝑑</ci></apply></apply></apply></apply><ci id="alg5.l7.m2.2.3.3.3.2.2.cmml" xref="alg5.l7.m2.2.3.3.3.2.2">𝑑</ci></apply><apply id="alg5.l7.m2.2.3.3.3.3.cmml" xref="alg5.l7.m2.2.3.3.3.3"><csymbol cd="ambiguous" id="alg5.l7.m2.2.3.3.3.3.1.cmml" xref="alg5.l7.m2.2.3.3.3.3">subscript</csymbol><ci id="alg5.l7.m2.2.3.3.3.3.2.cmml" xref="alg5.l7.m2.2.3.3.3.3.2">∇</ci><ci id="alg5.l7.m2.2.3.3.3.3.3.cmml" xref="alg5.l7.m2.2.3.3.3.3.3">𝑑</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l7.m2.2c">d\leftarrow d-\frac{\mu_{2}}{\max(|\nabla_{d}|)}d\odot\nabla_{d}</annotation></semantics></math>

</div>
<div id="alg5.l8" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l8.1.1.1" class="ltx_text" style="font-size:80%;">8:</span></span>  <span id="alg5.l8.2" class="ltx_text ltx_font_bold">if</span>  <math id="alg5.l8.m1.1" class="ltx_Math" alttext="u&lt;0.5" display="inline"><semantics id="alg5.l8.m1.1a"><mrow id="alg5.l8.m1.1.1" xref="alg5.l8.m1.1.1.cmml"><mi id="alg5.l8.m1.1.1.2" xref="alg5.l8.m1.1.1.2.cmml">u</mi><mo id="alg5.l8.m1.1.1.1" xref="alg5.l8.m1.1.1.1.cmml">&lt;</mo><mn id="alg5.l8.m1.1.1.3" xref="alg5.l8.m1.1.1.3.cmml">0.5</mn></mrow><annotation-xml encoding="MathML-Content" id="alg5.l8.m1.1b"><apply id="alg5.l8.m1.1.1.cmml" xref="alg5.l8.m1.1.1"><lt id="alg5.l8.m1.1.1.1.cmml" xref="alg5.l8.m1.1.1.1"></lt><ci id="alg5.l8.m1.1.1.2.cmml" xref="alg5.l8.m1.1.1.2">𝑢</ci><cn type="float" id="alg5.l8.m1.1.1.3.cmml" xref="alg5.l8.m1.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l8.m1.1c">u&lt;0.5</annotation></semantics></math> with <math id="alg5.l8.m2.2" class="ltx_Math" alttext="u\sim\mathcal{U}(0,1)" display="inline"><semantics id="alg5.l8.m2.2a"><mrow id="alg5.l8.m2.2.3" xref="alg5.l8.m2.2.3.cmml"><mi id="alg5.l8.m2.2.3.2" xref="alg5.l8.m2.2.3.2.cmml">u</mi><mo id="alg5.l8.m2.2.3.1" xref="alg5.l8.m2.2.3.1.cmml">∼</mo><mrow id="alg5.l8.m2.2.3.3" xref="alg5.l8.m2.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg5.l8.m2.2.3.3.2" xref="alg5.l8.m2.2.3.3.2.cmml">𝒰</mi><mo lspace="0em" rspace="0em" id="alg5.l8.m2.2.3.3.1" xref="alg5.l8.m2.2.3.3.1.cmml">​</mo><mrow id="alg5.l8.m2.2.3.3.3.2" xref="alg5.l8.m2.2.3.3.3.1.cmml"><mo stretchy="false" id="alg5.l8.m2.2.3.3.3.2.1" xref="alg5.l8.m2.2.3.3.3.1.cmml">(</mo><mn id="alg5.l8.m2.1.1" xref="alg5.l8.m2.1.1.cmml">0</mn><mo id="alg5.l8.m2.2.3.3.3.2.2" xref="alg5.l8.m2.2.3.3.3.1.cmml">,</mo><mn id="alg5.l8.m2.2.2" xref="alg5.l8.m2.2.2.cmml">1</mn><mo stretchy="false" id="alg5.l8.m2.2.3.3.3.2.3" xref="alg5.l8.m2.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l8.m2.2b"><apply id="alg5.l8.m2.2.3.cmml" xref="alg5.l8.m2.2.3"><csymbol cd="latexml" id="alg5.l8.m2.2.3.1.cmml" xref="alg5.l8.m2.2.3.1">similar-to</csymbol><ci id="alg5.l8.m2.2.3.2.cmml" xref="alg5.l8.m2.2.3.2">𝑢</ci><apply id="alg5.l8.m2.2.3.3.cmml" xref="alg5.l8.m2.2.3.3"><times id="alg5.l8.m2.2.3.3.1.cmml" xref="alg5.l8.m2.2.3.3.1"></times><ci id="alg5.l8.m2.2.3.3.2.cmml" xref="alg5.l8.m2.2.3.3.2">𝒰</ci><interval closure="open" id="alg5.l8.m2.2.3.3.3.1.cmml" xref="alg5.l8.m2.2.3.3.3.2"><cn type="integer" id="alg5.l8.m2.1.1.cmml" xref="alg5.l8.m2.1.1">0</cn><cn type="integer" id="alg5.l8.m2.2.2.cmml" xref="alg5.l8.m2.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l8.m2.2c">u\sim\mathcal{U}(0,1)</annotation></semantics></math> <span id="alg5.l8.3" class="ltx_text ltx_font_bold">then</span>



</div>
<div id="alg5.l9" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l9.1.1.1" class="ltx_text" style="font-size:80%;">9:</span></span>     Calculate gradient <math id="alg5.l9.m1.4" class="ltx_Math" alttext="\nabla_{U}=(Qh)(Qh)^{T}V-(Q^{-T}v)(Q^{-T}v)^{T}V" display="inline"><semantics id="alg5.l9.m1.4a"><mrow id="alg5.l9.m1.4.4" xref="alg5.l9.m1.4.4.cmml"><msub id="alg5.l9.m1.4.4.6" xref="alg5.l9.m1.4.4.6.cmml"><mo id="alg5.l9.m1.4.4.6.2" xref="alg5.l9.m1.4.4.6.2.cmml">∇</mo><mi id="alg5.l9.m1.4.4.6.3" xref="alg5.l9.m1.4.4.6.3.cmml">U</mi></msub><mo id="alg5.l9.m1.4.4.5" xref="alg5.l9.m1.4.4.5.cmml">=</mo><mrow id="alg5.l9.m1.4.4.4" xref="alg5.l9.m1.4.4.4.cmml"><mrow id="alg5.l9.m1.2.2.2.2" xref="alg5.l9.m1.2.2.2.2.cmml"><mrow id="alg5.l9.m1.1.1.1.1.1.1" xref="alg5.l9.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l9.m1.1.1.1.1.1.1.2" xref="alg5.l9.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg5.l9.m1.1.1.1.1.1.1.1" xref="alg5.l9.m1.1.1.1.1.1.1.1.cmml"><mi id="alg5.l9.m1.1.1.1.1.1.1.1.2" xref="alg5.l9.m1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg5.l9.m1.1.1.1.1.1.1.1.1" xref="alg5.l9.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg5.l9.m1.1.1.1.1.1.1.1.3" xref="alg5.l9.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg5.l9.m1.1.1.1.1.1.1.3" xref="alg5.l9.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg5.l9.m1.2.2.2.2.3" xref="alg5.l9.m1.2.2.2.2.3.cmml">​</mo><msup id="alg5.l9.m1.2.2.2.2.2" xref="alg5.l9.m1.2.2.2.2.2.cmml"><mrow id="alg5.l9.m1.2.2.2.2.2.1.1" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="alg5.l9.m1.2.2.2.2.2.1.1.2" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg5.l9.m1.2.2.2.2.2.1.1.1" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.cmml"><mi id="alg5.l9.m1.2.2.2.2.2.1.1.1.2" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg5.l9.m1.2.2.2.2.2.1.1.1.1" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="alg5.l9.m1.2.2.2.2.2.1.1.1.3" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg5.l9.m1.2.2.2.2.2.1.1.3" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mi id="alg5.l9.m1.2.2.2.2.2.3" xref="alg5.l9.m1.2.2.2.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg5.l9.m1.2.2.2.2.3a" xref="alg5.l9.m1.2.2.2.2.3.cmml">​</mo><mi id="alg5.l9.m1.2.2.2.2.4" xref="alg5.l9.m1.2.2.2.2.4.cmml">V</mi></mrow><mo id="alg5.l9.m1.4.4.4.5" xref="alg5.l9.m1.4.4.4.5.cmml">−</mo><mrow id="alg5.l9.m1.4.4.4.4" xref="alg5.l9.m1.4.4.4.4.cmml"><mrow id="alg5.l9.m1.3.3.3.3.1.1" xref="alg5.l9.m1.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg5.l9.m1.3.3.3.3.1.1.2" xref="alg5.l9.m1.3.3.3.3.1.1.1.cmml">(</mo><mrow id="alg5.l9.m1.3.3.3.3.1.1.1" xref="alg5.l9.m1.3.3.3.3.1.1.1.cmml"><msup id="alg5.l9.m1.3.3.3.3.1.1.1.2" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.cmml"><mi id="alg5.l9.m1.3.3.3.3.1.1.1.2.2" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg5.l9.m1.3.3.3.3.1.1.1.2.3" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.3.cmml"><mo id="alg5.l9.m1.3.3.3.3.1.1.1.2.3a" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg5.l9.m1.3.3.3.3.1.1.1.2.3.2" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l9.m1.3.3.3.3.1.1.1.1" xref="alg5.l9.m1.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="alg5.l9.m1.3.3.3.3.1.1.1.3" xref="alg5.l9.m1.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg5.l9.m1.3.3.3.3.1.1.3" xref="alg5.l9.m1.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg5.l9.m1.4.4.4.4.3" xref="alg5.l9.m1.4.4.4.4.3.cmml">​</mo><msup id="alg5.l9.m1.4.4.4.4.2" xref="alg5.l9.m1.4.4.4.4.2.cmml"><mrow id="alg5.l9.m1.4.4.4.4.2.1.1" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.cmml"><mo stretchy="false" id="alg5.l9.m1.4.4.4.4.2.1.1.2" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.cmml">(</mo><mrow id="alg5.l9.m1.4.4.4.4.2.1.1.1" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.cmml"><msup id="alg5.l9.m1.4.4.4.4.2.1.1.1.2" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.cmml"><mi id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.2" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.cmml"><mo id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3a" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.cmml">−</mo><mi id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.2" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l9.m1.4.4.4.4.2.1.1.1.1" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.1.cmml">​</mo><mi id="alg5.l9.m1.4.4.4.4.2.1.1.1.3" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg5.l9.m1.4.4.4.4.2.1.1.3" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.cmml">)</mo></mrow><mi id="alg5.l9.m1.4.4.4.4.2.3" xref="alg5.l9.m1.4.4.4.4.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg5.l9.m1.4.4.4.4.3a" xref="alg5.l9.m1.4.4.4.4.3.cmml">​</mo><mi id="alg5.l9.m1.4.4.4.4.4" xref="alg5.l9.m1.4.4.4.4.4.cmml">V</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l9.m1.4b"><apply id="alg5.l9.m1.4.4.cmml" xref="alg5.l9.m1.4.4"><eq id="alg5.l9.m1.4.4.5.cmml" xref="alg5.l9.m1.4.4.5"></eq><apply id="alg5.l9.m1.4.4.6.cmml" xref="alg5.l9.m1.4.4.6"><csymbol cd="ambiguous" id="alg5.l9.m1.4.4.6.1.cmml" xref="alg5.l9.m1.4.4.6">subscript</csymbol><ci id="alg5.l9.m1.4.4.6.2.cmml" xref="alg5.l9.m1.4.4.6.2">∇</ci><ci id="alg5.l9.m1.4.4.6.3.cmml" xref="alg5.l9.m1.4.4.6.3">𝑈</ci></apply><apply id="alg5.l9.m1.4.4.4.cmml" xref="alg5.l9.m1.4.4.4"><minus id="alg5.l9.m1.4.4.4.5.cmml" xref="alg5.l9.m1.4.4.4.5"></minus><apply id="alg5.l9.m1.2.2.2.2.cmml" xref="alg5.l9.m1.2.2.2.2"><times id="alg5.l9.m1.2.2.2.2.3.cmml" xref="alg5.l9.m1.2.2.2.2.3"></times><apply id="alg5.l9.m1.1.1.1.1.1.1.1.cmml" xref="alg5.l9.m1.1.1.1.1.1.1"><times id="alg5.l9.m1.1.1.1.1.1.1.1.1.cmml" xref="alg5.l9.m1.1.1.1.1.1.1.1.1"></times><ci id="alg5.l9.m1.1.1.1.1.1.1.1.2.cmml" xref="alg5.l9.m1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg5.l9.m1.1.1.1.1.1.1.1.3.cmml" xref="alg5.l9.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg5.l9.m1.2.2.2.2.2.cmml" xref="alg5.l9.m1.2.2.2.2.2"><csymbol cd="ambiguous" id="alg5.l9.m1.2.2.2.2.2.2.cmml" xref="alg5.l9.m1.2.2.2.2.2">superscript</csymbol><apply id="alg5.l9.m1.2.2.2.2.2.1.1.1.cmml" xref="alg5.l9.m1.2.2.2.2.2.1.1"><times id="alg5.l9.m1.2.2.2.2.2.1.1.1.1.cmml" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.1"></times><ci id="alg5.l9.m1.2.2.2.2.2.1.1.1.2.cmml" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.2">𝑄</ci><ci id="alg5.l9.m1.2.2.2.2.2.1.1.1.3.cmml" xref="alg5.l9.m1.2.2.2.2.2.1.1.1.3">ℎ</ci></apply><ci id="alg5.l9.m1.2.2.2.2.2.3.cmml" xref="alg5.l9.m1.2.2.2.2.2.3">𝑇</ci></apply><ci id="alg5.l9.m1.2.2.2.2.4.cmml" xref="alg5.l9.m1.2.2.2.2.4">𝑉</ci></apply><apply id="alg5.l9.m1.4.4.4.4.cmml" xref="alg5.l9.m1.4.4.4.4"><times id="alg5.l9.m1.4.4.4.4.3.cmml" xref="alg5.l9.m1.4.4.4.4.3"></times><apply id="alg5.l9.m1.3.3.3.3.1.1.1.cmml" xref="alg5.l9.m1.3.3.3.3.1.1"><times id="alg5.l9.m1.3.3.3.3.1.1.1.1.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.1"></times><apply id="alg5.l9.m1.3.3.3.3.1.1.1.2.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg5.l9.m1.3.3.3.3.1.1.1.2.1.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="alg5.l9.m1.3.3.3.3.1.1.1.2.2.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg5.l9.m1.3.3.3.3.1.1.1.2.3.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.3"><minus id="alg5.l9.m1.3.3.3.3.1.1.1.2.3.1.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.3"></minus><ci id="alg5.l9.m1.3.3.3.3.1.1.1.2.3.2.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg5.l9.m1.3.3.3.3.1.1.1.3.cmml" xref="alg5.l9.m1.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg5.l9.m1.4.4.4.4.2.cmml" xref="alg5.l9.m1.4.4.4.4.2"><csymbol cd="ambiguous" id="alg5.l9.m1.4.4.4.4.2.2.cmml" xref="alg5.l9.m1.4.4.4.4.2">superscript</csymbol><apply id="alg5.l9.m1.4.4.4.4.2.1.1.1.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1"><times id="alg5.l9.m1.4.4.4.4.2.1.1.1.1.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.1"></times><apply id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2"><csymbol cd="ambiguous" id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.1.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2">superscript</csymbol><ci id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.2.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.2">𝑄</ci><apply id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3"><minus id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.1.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3"></minus><ci id="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.2.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg5.l9.m1.4.4.4.4.2.1.1.1.3.cmml" xref="alg5.l9.m1.4.4.4.4.2.1.1.1.3">𝑣</ci></apply><ci id="alg5.l9.m1.4.4.4.4.2.3.cmml" xref="alg5.l9.m1.4.4.4.4.2.3">𝑇</ci></apply><ci id="alg5.l9.m1.4.4.4.4.4.cmml" xref="alg5.l9.m1.4.4.4.4.4">𝑉</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l9.m1.4c">\nabla_{U}=(Qh)(Qh)^{T}V-(Q^{-T}v)(Q^{-T}v)^{T}V</annotation></semantics></math>

</div>
<div id="alg5.l10" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l10.1.1.1" class="ltx_text" style="font-size:80%;">10:</span></span>     Update <math id="alg5.l10.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="alg5.l10.m1.1a"><mi id="alg5.l10.m1.1.1" xref="alg5.l10.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="alg5.l10.m1.1b"><ci id="alg5.l10.m1.1.1.cmml" xref="alg5.l10.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="alg5.l10.m1.1c">U</annotation></semantics></math> as <math id="alg5.l10.m2.3" class="ltx_Math" alttext="U\leftarrow U-\frac{\mu_{2}}{\|\nabla_{U}V^{T}\|}\nabla_{U}(I+V^{T}U)" display="inline"><semantics id="alg5.l10.m2.3a"><mrow id="alg5.l10.m2.3.3" xref="alg5.l10.m2.3.3.cmml"><mi id="alg5.l10.m2.3.3.4" xref="alg5.l10.m2.3.3.4.cmml">U</mi><mo stretchy="false" id="alg5.l10.m2.3.3.3" xref="alg5.l10.m2.3.3.3.cmml">←</mo><mrow id="alg5.l10.m2.3.3.2" xref="alg5.l10.m2.3.3.2.cmml"><mi id="alg5.l10.m2.3.3.2.4" xref="alg5.l10.m2.3.3.2.4.cmml">U</mi><mo id="alg5.l10.m2.3.3.2.3" xref="alg5.l10.m2.3.3.2.3.cmml">−</mo><mrow id="alg5.l10.m2.3.3.2.2" xref="alg5.l10.m2.3.3.2.2.cmml"><mfrac id="alg5.l10.m2.1.1" xref="alg5.l10.m2.1.1.cmml"><msub id="alg5.l10.m2.1.1.3" xref="alg5.l10.m2.1.1.3.cmml"><mi id="alg5.l10.m2.1.1.3.2" xref="alg5.l10.m2.1.1.3.2.cmml">μ</mi><mn id="alg5.l10.m2.1.1.3.3" xref="alg5.l10.m2.1.1.3.3.cmml">2</mn></msub><mrow id="alg5.l10.m2.1.1.1.1" xref="alg5.l10.m2.1.1.1.2.cmml"><mo stretchy="false" id="alg5.l10.m2.1.1.1.1.2" xref="alg5.l10.m2.1.1.1.2.1.cmml">‖</mo><mrow id="alg5.l10.m2.1.1.1.1.1" xref="alg5.l10.m2.1.1.1.1.1.cmml"><msub id="alg5.l10.m2.1.1.1.1.1.1" xref="alg5.l10.m2.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="alg5.l10.m2.1.1.1.1.1.1.2" xref="alg5.l10.m2.1.1.1.1.1.1.2.cmml">∇</mo><mi id="alg5.l10.m2.1.1.1.1.1.1.3" xref="alg5.l10.m2.1.1.1.1.1.1.3.cmml">U</mi></msub><msup id="alg5.l10.m2.1.1.1.1.1.2" xref="alg5.l10.m2.1.1.1.1.1.2.cmml"><mi id="alg5.l10.m2.1.1.1.1.1.2.2" xref="alg5.l10.m2.1.1.1.1.1.2.2.cmml">V</mi><mi id="alg5.l10.m2.1.1.1.1.1.2.3" xref="alg5.l10.m2.1.1.1.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="alg5.l10.m2.1.1.1.1.3" xref="alg5.l10.m2.1.1.1.2.1.cmml">‖</mo></mrow></mfrac><mo lspace="0.167em" rspace="0em" id="alg5.l10.m2.3.3.2.2.3" xref="alg5.l10.m2.3.3.2.2.3.cmml">​</mo><mrow id="alg5.l10.m2.3.3.2.2.2.2" xref="alg5.l10.m2.3.3.2.2.2.3.cmml"><msub id="alg5.l10.m2.2.2.1.1.1.1.1" xref="alg5.l10.m2.2.2.1.1.1.1.1.cmml"><mo id="alg5.l10.m2.2.2.1.1.1.1.1.2" xref="alg5.l10.m2.2.2.1.1.1.1.1.2.cmml">∇</mo><mi id="alg5.l10.m2.2.2.1.1.1.1.1.3" xref="alg5.l10.m2.2.2.1.1.1.1.1.3.cmml">U</mi></msub><mrow id="alg5.l10.m2.3.3.2.2.2.2.2" xref="alg5.l10.m2.3.3.2.2.2.3.cmml"><mo stretchy="false" id="alg5.l10.m2.3.3.2.2.2.2.2.2" xref="alg5.l10.m2.3.3.2.2.2.3.cmml">(</mo><mrow id="alg5.l10.m2.3.3.2.2.2.2.2.1" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.cmml"><mi id="alg5.l10.m2.3.3.2.2.2.2.2.1.2" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.2.cmml">I</mi><mo id="alg5.l10.m2.3.3.2.2.2.2.2.1.1" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.1.cmml">+</mo><mrow id="alg5.l10.m2.3.3.2.2.2.2.2.1.3" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.cmml"><msup id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.cmml"><mi id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.2" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.2.cmml">V</mi><mi id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.3" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.1" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.1.cmml">​</mo><mi id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.3" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="alg5.l10.m2.3.3.2.2.2.2.2.3" xref="alg5.l10.m2.3.3.2.2.2.3.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l10.m2.3b"><apply id="alg5.l10.m2.3.3.cmml" xref="alg5.l10.m2.3.3"><ci id="alg5.l10.m2.3.3.3.cmml" xref="alg5.l10.m2.3.3.3">←</ci><ci id="alg5.l10.m2.3.3.4.cmml" xref="alg5.l10.m2.3.3.4">𝑈</ci><apply id="alg5.l10.m2.3.3.2.cmml" xref="alg5.l10.m2.3.3.2"><minus id="alg5.l10.m2.3.3.2.3.cmml" xref="alg5.l10.m2.3.3.2.3"></minus><ci id="alg5.l10.m2.3.3.2.4.cmml" xref="alg5.l10.m2.3.3.2.4">𝑈</ci><apply id="alg5.l10.m2.3.3.2.2.cmml" xref="alg5.l10.m2.3.3.2.2"><times id="alg5.l10.m2.3.3.2.2.3.cmml" xref="alg5.l10.m2.3.3.2.2.3"></times><apply id="alg5.l10.m2.1.1.cmml" xref="alg5.l10.m2.1.1"><divide id="alg5.l10.m2.1.1.2.cmml" xref="alg5.l10.m2.1.1"></divide><apply id="alg5.l10.m2.1.1.3.cmml" xref="alg5.l10.m2.1.1.3"><csymbol cd="ambiguous" id="alg5.l10.m2.1.1.3.1.cmml" xref="alg5.l10.m2.1.1.3">subscript</csymbol><ci id="alg5.l10.m2.1.1.3.2.cmml" xref="alg5.l10.m2.1.1.3.2">𝜇</ci><cn type="integer" id="alg5.l10.m2.1.1.3.3.cmml" xref="alg5.l10.m2.1.1.3.3">2</cn></apply><apply id="alg5.l10.m2.1.1.1.2.cmml" xref="alg5.l10.m2.1.1.1.1"><csymbol cd="latexml" id="alg5.l10.m2.1.1.1.2.1.cmml" xref="alg5.l10.m2.1.1.1.1.2">norm</csymbol><apply id="alg5.l10.m2.1.1.1.1.1.cmml" xref="alg5.l10.m2.1.1.1.1.1"><apply id="alg5.l10.m2.1.1.1.1.1.1.cmml" xref="alg5.l10.m2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="alg5.l10.m2.1.1.1.1.1.1.1.cmml" xref="alg5.l10.m2.1.1.1.1.1.1">subscript</csymbol><ci id="alg5.l10.m2.1.1.1.1.1.1.2.cmml" xref="alg5.l10.m2.1.1.1.1.1.1.2">∇</ci><ci id="alg5.l10.m2.1.1.1.1.1.1.3.cmml" xref="alg5.l10.m2.1.1.1.1.1.1.3">𝑈</ci></apply><apply id="alg5.l10.m2.1.1.1.1.1.2.cmml" xref="alg5.l10.m2.1.1.1.1.1.2"><csymbol cd="ambiguous" id="alg5.l10.m2.1.1.1.1.1.2.1.cmml" xref="alg5.l10.m2.1.1.1.1.1.2">superscript</csymbol><ci id="alg5.l10.m2.1.1.1.1.1.2.2.cmml" xref="alg5.l10.m2.1.1.1.1.1.2.2">𝑉</ci><ci id="alg5.l10.m2.1.1.1.1.1.2.3.cmml" xref="alg5.l10.m2.1.1.1.1.1.2.3">𝑇</ci></apply></apply></apply></apply><apply id="alg5.l10.m2.3.3.2.2.2.3.cmml" xref="alg5.l10.m2.3.3.2.2.2.2"><apply id="alg5.l10.m2.2.2.1.1.1.1.1.cmml" xref="alg5.l10.m2.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="alg5.l10.m2.2.2.1.1.1.1.1.1.cmml" xref="alg5.l10.m2.2.2.1.1.1.1.1">subscript</csymbol><ci id="alg5.l10.m2.2.2.1.1.1.1.1.2.cmml" xref="alg5.l10.m2.2.2.1.1.1.1.1.2">∇</ci><ci id="alg5.l10.m2.2.2.1.1.1.1.1.3.cmml" xref="alg5.l10.m2.2.2.1.1.1.1.1.3">𝑈</ci></apply><apply id="alg5.l10.m2.3.3.2.2.2.2.2.1.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1"><plus id="alg5.l10.m2.3.3.2.2.2.2.2.1.1.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.1"></plus><ci id="alg5.l10.m2.3.3.2.2.2.2.2.1.2.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.2">𝐼</ci><apply id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3"><times id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.1.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.1"></times><apply id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2"><csymbol cd="ambiguous" id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.1.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2">superscript</csymbol><ci id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.2.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.2">𝑉</ci><ci id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.3.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.2.3">𝑇</ci></apply><ci id="alg5.l10.m2.3.3.2.2.2.2.2.1.3.3.cmml" xref="alg5.l10.m2.3.3.2.2.2.2.2.1.3.3">𝑈</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l10.m2.3c">U\leftarrow U-\frac{\mu_{2}}{\|\nabla_{U}V^{T}\|}\nabla_{U}(I+V^{T}U)</annotation></semantics></math>

</div>
<div id="alg5.l11" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l11.1.1.1" class="ltx_text" style="font-size:80%;">11:</span></span>  <span id="alg5.l11.2" class="ltx_text ltx_font_bold">else</span>


</div>
<div id="alg5.l12" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l12.1.1.1" class="ltx_text" style="font-size:80%;">12:</span></span>     Calculate gradient <math id="alg5.l12.m1.4" class="ltx_Math" alttext="\nabla_{V}=(Qh)(Qh)^{T}U-(Q^{-T}v)(Q^{-T}v)^{T}U" display="inline"><semantics id="alg5.l12.m1.4a"><mrow id="alg5.l12.m1.4.4" xref="alg5.l12.m1.4.4.cmml"><msub id="alg5.l12.m1.4.4.6" xref="alg5.l12.m1.4.4.6.cmml"><mo id="alg5.l12.m1.4.4.6.2" xref="alg5.l12.m1.4.4.6.2.cmml">∇</mo><mi id="alg5.l12.m1.4.4.6.3" xref="alg5.l12.m1.4.4.6.3.cmml">V</mi></msub><mo id="alg5.l12.m1.4.4.5" xref="alg5.l12.m1.4.4.5.cmml">=</mo><mrow id="alg5.l12.m1.4.4.4" xref="alg5.l12.m1.4.4.4.cmml"><mrow id="alg5.l12.m1.2.2.2.2" xref="alg5.l12.m1.2.2.2.2.cmml"><mrow id="alg5.l12.m1.1.1.1.1.1.1" xref="alg5.l12.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l12.m1.1.1.1.1.1.1.2" xref="alg5.l12.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg5.l12.m1.1.1.1.1.1.1.1" xref="alg5.l12.m1.1.1.1.1.1.1.1.cmml"><mi id="alg5.l12.m1.1.1.1.1.1.1.1.2" xref="alg5.l12.m1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg5.l12.m1.1.1.1.1.1.1.1.1" xref="alg5.l12.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg5.l12.m1.1.1.1.1.1.1.1.3" xref="alg5.l12.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg5.l12.m1.1.1.1.1.1.1.3" xref="alg5.l12.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg5.l12.m1.2.2.2.2.3" xref="alg5.l12.m1.2.2.2.2.3.cmml">​</mo><msup id="alg5.l12.m1.2.2.2.2.2" xref="alg5.l12.m1.2.2.2.2.2.cmml"><mrow id="alg5.l12.m1.2.2.2.2.2.1.1" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="alg5.l12.m1.2.2.2.2.2.1.1.2" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg5.l12.m1.2.2.2.2.2.1.1.1" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.cmml"><mi id="alg5.l12.m1.2.2.2.2.2.1.1.1.2" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg5.l12.m1.2.2.2.2.2.1.1.1.1" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="alg5.l12.m1.2.2.2.2.2.1.1.1.3" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg5.l12.m1.2.2.2.2.2.1.1.3" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mi id="alg5.l12.m1.2.2.2.2.2.3" xref="alg5.l12.m1.2.2.2.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg5.l12.m1.2.2.2.2.3a" xref="alg5.l12.m1.2.2.2.2.3.cmml">​</mo><mi id="alg5.l12.m1.2.2.2.2.4" xref="alg5.l12.m1.2.2.2.2.4.cmml">U</mi></mrow><mo id="alg5.l12.m1.4.4.4.5" xref="alg5.l12.m1.4.4.4.5.cmml">−</mo><mrow id="alg5.l12.m1.4.4.4.4" xref="alg5.l12.m1.4.4.4.4.cmml"><mrow id="alg5.l12.m1.3.3.3.3.1.1" xref="alg5.l12.m1.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg5.l12.m1.3.3.3.3.1.1.2" xref="alg5.l12.m1.3.3.3.3.1.1.1.cmml">(</mo><mrow id="alg5.l12.m1.3.3.3.3.1.1.1" xref="alg5.l12.m1.3.3.3.3.1.1.1.cmml"><msup id="alg5.l12.m1.3.3.3.3.1.1.1.2" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.cmml"><mi id="alg5.l12.m1.3.3.3.3.1.1.1.2.2" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg5.l12.m1.3.3.3.3.1.1.1.2.3" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.3.cmml"><mo id="alg5.l12.m1.3.3.3.3.1.1.1.2.3a" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg5.l12.m1.3.3.3.3.1.1.1.2.3.2" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l12.m1.3.3.3.3.1.1.1.1" xref="alg5.l12.m1.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="alg5.l12.m1.3.3.3.3.1.1.1.3" xref="alg5.l12.m1.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg5.l12.m1.3.3.3.3.1.1.3" xref="alg5.l12.m1.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg5.l12.m1.4.4.4.4.3" xref="alg5.l12.m1.4.4.4.4.3.cmml">​</mo><msup id="alg5.l12.m1.4.4.4.4.2" xref="alg5.l12.m1.4.4.4.4.2.cmml"><mrow id="alg5.l12.m1.4.4.4.4.2.1.1" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.cmml"><mo stretchy="false" id="alg5.l12.m1.4.4.4.4.2.1.1.2" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.cmml">(</mo><mrow id="alg5.l12.m1.4.4.4.4.2.1.1.1" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.cmml"><msup id="alg5.l12.m1.4.4.4.4.2.1.1.1.2" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.cmml"><mi id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.2" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.cmml"><mo id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3a" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.cmml">−</mo><mi id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.2" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg5.l12.m1.4.4.4.4.2.1.1.1.1" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.1.cmml">​</mo><mi id="alg5.l12.m1.4.4.4.4.2.1.1.1.3" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg5.l12.m1.4.4.4.4.2.1.1.3" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.cmml">)</mo></mrow><mi id="alg5.l12.m1.4.4.4.4.2.3" xref="alg5.l12.m1.4.4.4.4.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg5.l12.m1.4.4.4.4.3a" xref="alg5.l12.m1.4.4.4.4.3.cmml">​</mo><mi id="alg5.l12.m1.4.4.4.4.4" xref="alg5.l12.m1.4.4.4.4.4.cmml">U</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l12.m1.4b"><apply id="alg5.l12.m1.4.4.cmml" xref="alg5.l12.m1.4.4"><eq id="alg5.l12.m1.4.4.5.cmml" xref="alg5.l12.m1.4.4.5"></eq><apply id="alg5.l12.m1.4.4.6.cmml" xref="alg5.l12.m1.4.4.6"><csymbol cd="ambiguous" id="alg5.l12.m1.4.4.6.1.cmml" xref="alg5.l12.m1.4.4.6">subscript</csymbol><ci id="alg5.l12.m1.4.4.6.2.cmml" xref="alg5.l12.m1.4.4.6.2">∇</ci><ci id="alg5.l12.m1.4.4.6.3.cmml" xref="alg5.l12.m1.4.4.6.3">𝑉</ci></apply><apply id="alg5.l12.m1.4.4.4.cmml" xref="alg5.l12.m1.4.4.4"><minus id="alg5.l12.m1.4.4.4.5.cmml" xref="alg5.l12.m1.4.4.4.5"></minus><apply id="alg5.l12.m1.2.2.2.2.cmml" xref="alg5.l12.m1.2.2.2.2"><times id="alg5.l12.m1.2.2.2.2.3.cmml" xref="alg5.l12.m1.2.2.2.2.3"></times><apply id="alg5.l12.m1.1.1.1.1.1.1.1.cmml" xref="alg5.l12.m1.1.1.1.1.1.1"><times id="alg5.l12.m1.1.1.1.1.1.1.1.1.cmml" xref="alg5.l12.m1.1.1.1.1.1.1.1.1"></times><ci id="alg5.l12.m1.1.1.1.1.1.1.1.2.cmml" xref="alg5.l12.m1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg5.l12.m1.1.1.1.1.1.1.1.3.cmml" xref="alg5.l12.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg5.l12.m1.2.2.2.2.2.cmml" xref="alg5.l12.m1.2.2.2.2.2"><csymbol cd="ambiguous" id="alg5.l12.m1.2.2.2.2.2.2.cmml" xref="alg5.l12.m1.2.2.2.2.2">superscript</csymbol><apply id="alg5.l12.m1.2.2.2.2.2.1.1.1.cmml" xref="alg5.l12.m1.2.2.2.2.2.1.1"><times id="alg5.l12.m1.2.2.2.2.2.1.1.1.1.cmml" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.1"></times><ci id="alg5.l12.m1.2.2.2.2.2.1.1.1.2.cmml" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.2">𝑄</ci><ci id="alg5.l12.m1.2.2.2.2.2.1.1.1.3.cmml" xref="alg5.l12.m1.2.2.2.2.2.1.1.1.3">ℎ</ci></apply><ci id="alg5.l12.m1.2.2.2.2.2.3.cmml" xref="alg5.l12.m1.2.2.2.2.2.3">𝑇</ci></apply><ci id="alg5.l12.m1.2.2.2.2.4.cmml" xref="alg5.l12.m1.2.2.2.2.4">𝑈</ci></apply><apply id="alg5.l12.m1.4.4.4.4.cmml" xref="alg5.l12.m1.4.4.4.4"><times id="alg5.l12.m1.4.4.4.4.3.cmml" xref="alg5.l12.m1.4.4.4.4.3"></times><apply id="alg5.l12.m1.3.3.3.3.1.1.1.cmml" xref="alg5.l12.m1.3.3.3.3.1.1"><times id="alg5.l12.m1.3.3.3.3.1.1.1.1.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.1"></times><apply id="alg5.l12.m1.3.3.3.3.1.1.1.2.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg5.l12.m1.3.3.3.3.1.1.1.2.1.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="alg5.l12.m1.3.3.3.3.1.1.1.2.2.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg5.l12.m1.3.3.3.3.1.1.1.2.3.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.3"><minus id="alg5.l12.m1.3.3.3.3.1.1.1.2.3.1.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.3"></minus><ci id="alg5.l12.m1.3.3.3.3.1.1.1.2.3.2.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg5.l12.m1.3.3.3.3.1.1.1.3.cmml" xref="alg5.l12.m1.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg5.l12.m1.4.4.4.4.2.cmml" xref="alg5.l12.m1.4.4.4.4.2"><csymbol cd="ambiguous" id="alg5.l12.m1.4.4.4.4.2.2.cmml" xref="alg5.l12.m1.4.4.4.4.2">superscript</csymbol><apply id="alg5.l12.m1.4.4.4.4.2.1.1.1.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1"><times id="alg5.l12.m1.4.4.4.4.2.1.1.1.1.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.1"></times><apply id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2"><csymbol cd="ambiguous" id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.1.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2">superscript</csymbol><ci id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.2.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.2">𝑄</ci><apply id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3"><minus id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.1.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3"></minus><ci id="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.2.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg5.l12.m1.4.4.4.4.2.1.1.1.3.cmml" xref="alg5.l12.m1.4.4.4.4.2.1.1.1.3">𝑣</ci></apply><ci id="alg5.l12.m1.4.4.4.4.2.3.cmml" xref="alg5.l12.m1.4.4.4.4.2.3">𝑇</ci></apply><ci id="alg5.l12.m1.4.4.4.4.4.cmml" xref="alg5.l12.m1.4.4.4.4.4">𝑈</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l12.m1.4c">\nabla_{V}=(Qh)(Qh)^{T}U-(Q^{-T}v)(Q^{-T}v)^{T}U</annotation></semantics></math>

</div>
<div id="alg5.l13" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l13.1.1.1" class="ltx_text" style="font-size:80%;">13:</span></span>     Update <math id="alg5.l13.m1.1" class="ltx_Math" alttext="V" display="inline"><semantics id="alg5.l13.m1.1a"><mi id="alg5.l13.m1.1.1" xref="alg5.l13.m1.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="alg5.l13.m1.1b"><ci id="alg5.l13.m1.1.1.cmml" xref="alg5.l13.m1.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="alg5.l13.m1.1c">V</annotation></semantics></math> as <math id="alg5.l13.m2.2" class="ltx_Math" alttext="V\leftarrow V-\frac{\mu_{2}}{\|U\nabla_{V}^{T}\|}(I+VU^{T})\nabla_{V}" display="inline"><semantics id="alg5.l13.m2.2a"><mrow id="alg5.l13.m2.2.2" xref="alg5.l13.m2.2.2.cmml"><mi id="alg5.l13.m2.2.2.3" xref="alg5.l13.m2.2.2.3.cmml">V</mi><mo stretchy="false" id="alg5.l13.m2.2.2.2" xref="alg5.l13.m2.2.2.2.cmml">←</mo><mrow id="alg5.l13.m2.2.2.1" xref="alg5.l13.m2.2.2.1.cmml"><mi id="alg5.l13.m2.2.2.1.3" xref="alg5.l13.m2.2.2.1.3.cmml">V</mi><mo id="alg5.l13.m2.2.2.1.2" xref="alg5.l13.m2.2.2.1.2.cmml">−</mo><mrow id="alg5.l13.m2.2.2.1.1" xref="alg5.l13.m2.2.2.1.1.cmml"><mfrac id="alg5.l13.m2.1.1" xref="alg5.l13.m2.1.1.cmml"><msub id="alg5.l13.m2.1.1.3" xref="alg5.l13.m2.1.1.3.cmml"><mi id="alg5.l13.m2.1.1.3.2" xref="alg5.l13.m2.1.1.3.2.cmml">μ</mi><mn id="alg5.l13.m2.1.1.3.3" xref="alg5.l13.m2.1.1.3.3.cmml">2</mn></msub><mrow id="alg5.l13.m2.1.1.1.1" xref="alg5.l13.m2.1.1.1.2.cmml"><mo stretchy="false" id="alg5.l13.m2.1.1.1.1.2" xref="alg5.l13.m2.1.1.1.2.1.cmml">‖</mo><mrow id="alg5.l13.m2.1.1.1.1.1" xref="alg5.l13.m2.1.1.1.1.1.cmml"><mi id="alg5.l13.m2.1.1.1.1.1.2" xref="alg5.l13.m2.1.1.1.1.1.2.cmml">U</mi><mo lspace="0.167em" rspace="0em" id="alg5.l13.m2.1.1.1.1.1.1" xref="alg5.l13.m2.1.1.1.1.1.1.cmml">​</mo><msubsup id="alg5.l13.m2.1.1.1.1.1.3" xref="alg5.l13.m2.1.1.1.1.1.3.cmml"><mo id="alg5.l13.m2.1.1.1.1.1.3.2.2" xref="alg5.l13.m2.1.1.1.1.1.3.2.2.cmml">∇</mo><mi id="alg5.l13.m2.1.1.1.1.1.3.2.3" xref="alg5.l13.m2.1.1.1.1.1.3.2.3.cmml">V</mi><mi id="alg5.l13.m2.1.1.1.1.1.3.3" xref="alg5.l13.m2.1.1.1.1.1.3.3.cmml">T</mi></msubsup></mrow><mo stretchy="false" id="alg5.l13.m2.1.1.1.1.3" xref="alg5.l13.m2.1.1.1.2.1.cmml">‖</mo></mrow></mfrac><mo lspace="0em" rspace="0em" id="alg5.l13.m2.2.2.1.1.2" xref="alg5.l13.m2.2.2.1.1.2.cmml">​</mo><mrow id="alg5.l13.m2.2.2.1.1.1.1" xref="alg5.l13.m2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l13.m2.2.2.1.1.1.1.2" xref="alg5.l13.m2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="alg5.l13.m2.2.2.1.1.1.1.1" xref="alg5.l13.m2.2.2.1.1.1.1.1.cmml"><mi id="alg5.l13.m2.2.2.1.1.1.1.1.2" xref="alg5.l13.m2.2.2.1.1.1.1.1.2.cmml">I</mi><mo id="alg5.l13.m2.2.2.1.1.1.1.1.1" xref="alg5.l13.m2.2.2.1.1.1.1.1.1.cmml">+</mo><mrow id="alg5.l13.m2.2.2.1.1.1.1.1.3" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.cmml"><mi id="alg5.l13.m2.2.2.1.1.1.1.1.3.2" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="alg5.l13.m2.2.2.1.1.1.1.1.3.1" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.1.cmml">​</mo><msup id="alg5.l13.m2.2.2.1.1.1.1.1.3.3" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.3.cmml"><mi id="alg5.l13.m2.2.2.1.1.1.1.1.3.3.2" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.3.2.cmml">U</mi><mi id="alg5.l13.m2.2.2.1.1.1.1.1.3.3.3" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="alg5.l13.m2.2.2.1.1.1.1.3" xref="alg5.l13.m2.2.2.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0.167em" rspace="0em" id="alg5.l13.m2.2.2.1.1.2a" xref="alg5.l13.m2.2.2.1.1.2.cmml">​</mo><msub id="alg5.l13.m2.2.2.1.1.3" xref="alg5.l13.m2.2.2.1.1.3.cmml"><mo id="alg5.l13.m2.2.2.1.1.3.2" xref="alg5.l13.m2.2.2.1.1.3.2.cmml">∇</mo><mi id="alg5.l13.m2.2.2.1.1.3.3" xref="alg5.l13.m2.2.2.1.1.3.3.cmml">V</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l13.m2.2b"><apply id="alg5.l13.m2.2.2.cmml" xref="alg5.l13.m2.2.2"><ci id="alg5.l13.m2.2.2.2.cmml" xref="alg5.l13.m2.2.2.2">←</ci><ci id="alg5.l13.m2.2.2.3.cmml" xref="alg5.l13.m2.2.2.3">𝑉</ci><apply id="alg5.l13.m2.2.2.1.cmml" xref="alg5.l13.m2.2.2.1"><minus id="alg5.l13.m2.2.2.1.2.cmml" xref="alg5.l13.m2.2.2.1.2"></minus><ci id="alg5.l13.m2.2.2.1.3.cmml" xref="alg5.l13.m2.2.2.1.3">𝑉</ci><apply id="alg5.l13.m2.2.2.1.1.cmml" xref="alg5.l13.m2.2.2.1.1"><times id="alg5.l13.m2.2.2.1.1.2.cmml" xref="alg5.l13.m2.2.2.1.1.2"></times><apply id="alg5.l13.m2.1.1.cmml" xref="alg5.l13.m2.1.1"><divide id="alg5.l13.m2.1.1.2.cmml" xref="alg5.l13.m2.1.1"></divide><apply id="alg5.l13.m2.1.1.3.cmml" xref="alg5.l13.m2.1.1.3"><csymbol cd="ambiguous" id="alg5.l13.m2.1.1.3.1.cmml" xref="alg5.l13.m2.1.1.3">subscript</csymbol><ci id="alg5.l13.m2.1.1.3.2.cmml" xref="alg5.l13.m2.1.1.3.2">𝜇</ci><cn type="integer" id="alg5.l13.m2.1.1.3.3.cmml" xref="alg5.l13.m2.1.1.3.3">2</cn></apply><apply id="alg5.l13.m2.1.1.1.2.cmml" xref="alg5.l13.m2.1.1.1.1"><csymbol cd="latexml" id="alg5.l13.m2.1.1.1.2.1.cmml" xref="alg5.l13.m2.1.1.1.1.2">norm</csymbol><apply id="alg5.l13.m2.1.1.1.1.1.cmml" xref="alg5.l13.m2.1.1.1.1.1"><times id="alg5.l13.m2.1.1.1.1.1.1.cmml" xref="alg5.l13.m2.1.1.1.1.1.1"></times><ci id="alg5.l13.m2.1.1.1.1.1.2.cmml" xref="alg5.l13.m2.1.1.1.1.1.2">𝑈</ci><apply id="alg5.l13.m2.1.1.1.1.1.3.cmml" xref="alg5.l13.m2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="alg5.l13.m2.1.1.1.1.1.3.1.cmml" xref="alg5.l13.m2.1.1.1.1.1.3">superscript</csymbol><apply id="alg5.l13.m2.1.1.1.1.1.3.2.cmml" xref="alg5.l13.m2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="alg5.l13.m2.1.1.1.1.1.3.2.1.cmml" xref="alg5.l13.m2.1.1.1.1.1.3">subscript</csymbol><ci id="alg5.l13.m2.1.1.1.1.1.3.2.2.cmml" xref="alg5.l13.m2.1.1.1.1.1.3.2.2">∇</ci><ci id="alg5.l13.m2.1.1.1.1.1.3.2.3.cmml" xref="alg5.l13.m2.1.1.1.1.1.3.2.3">𝑉</ci></apply><ci id="alg5.l13.m2.1.1.1.1.1.3.3.cmml" xref="alg5.l13.m2.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply></apply><apply id="alg5.l13.m2.2.2.1.1.1.1.1.cmml" xref="alg5.l13.m2.2.2.1.1.1.1"><plus id="alg5.l13.m2.2.2.1.1.1.1.1.1.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.1"></plus><ci id="alg5.l13.m2.2.2.1.1.1.1.1.2.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.2">𝐼</ci><apply id="alg5.l13.m2.2.2.1.1.1.1.1.3.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.3"><times id="alg5.l13.m2.2.2.1.1.1.1.1.3.1.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.1"></times><ci id="alg5.l13.m2.2.2.1.1.1.1.1.3.2.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.2">𝑉</ci><apply id="alg5.l13.m2.2.2.1.1.1.1.1.3.3.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="alg5.l13.m2.2.2.1.1.1.1.1.3.3.1.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.3">superscript</csymbol><ci id="alg5.l13.m2.2.2.1.1.1.1.1.3.3.2.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.3.2">𝑈</ci><ci id="alg5.l13.m2.2.2.1.1.1.1.1.3.3.3.cmml" xref="alg5.l13.m2.2.2.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="alg5.l13.m2.2.2.1.1.3.cmml" xref="alg5.l13.m2.2.2.1.1.3"><csymbol cd="ambiguous" id="alg5.l13.m2.2.2.1.1.3.1.cmml" xref="alg5.l13.m2.2.2.1.1.3">subscript</csymbol><ci id="alg5.l13.m2.2.2.1.1.3.2.cmml" xref="alg5.l13.m2.2.2.1.1.3.2">∇</ci><ci id="alg5.l13.m2.2.2.1.1.3.3.cmml" xref="alg5.l13.m2.2.2.1.1.3.3">𝑉</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l13.m2.2c">V\leftarrow V-\frac{\mu_{2}}{\|U\nabla_{V}^{T}\|}(I+VU^{T})\nabla_{V}</annotation></semantics></math>

</div>
<div id="alg5.l14" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l14.1.1.1" class="ltx_text" style="font-size:80%;">14:</span></span>  <span id="alg5.l14.2" class="ltx_text ltx_font_bold">end</span> <span id="alg5.l14.3" class="ltx_text ltx_font_bold">if</span>
</div>
<div id="alg5.l15" class="ltx_listingline">
<span class="ltx_tag ltx_tag_listingline"><span id="alg5.l15.1.1.1" class="ltx_text" style="font-size:80%;">15:</span></span>  Return the updated preconditioner as <math id="alg5.l15.m1.2" class="ltx_Math" alttext="Q=(I+UV^{T}){\rm diag}(d)" display="inline"><semantics id="alg5.l15.m1.2a"><mrow id="alg5.l15.m1.2.2" xref="alg5.l15.m1.2.2.cmml"><mi id="alg5.l15.m1.2.2.3" xref="alg5.l15.m1.2.2.3.cmml">Q</mi><mo id="alg5.l15.m1.2.2.2" xref="alg5.l15.m1.2.2.2.cmml">=</mo><mrow id="alg5.l15.m1.2.2.1" xref="alg5.l15.m1.2.2.1.cmml"><mrow id="alg5.l15.m1.2.2.1.1.1" xref="alg5.l15.m1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="alg5.l15.m1.2.2.1.1.1.2" xref="alg5.l15.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="alg5.l15.m1.2.2.1.1.1.1" xref="alg5.l15.m1.2.2.1.1.1.1.cmml"><mi id="alg5.l15.m1.2.2.1.1.1.1.2" xref="alg5.l15.m1.2.2.1.1.1.1.2.cmml">I</mi><mo id="alg5.l15.m1.2.2.1.1.1.1.1" xref="alg5.l15.m1.2.2.1.1.1.1.1.cmml">+</mo><mrow id="alg5.l15.m1.2.2.1.1.1.1.3" xref="alg5.l15.m1.2.2.1.1.1.1.3.cmml"><mi id="alg5.l15.m1.2.2.1.1.1.1.3.2" xref="alg5.l15.m1.2.2.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="alg5.l15.m1.2.2.1.1.1.1.3.1" xref="alg5.l15.m1.2.2.1.1.1.1.3.1.cmml">​</mo><msup id="alg5.l15.m1.2.2.1.1.1.1.3.3" xref="alg5.l15.m1.2.2.1.1.1.1.3.3.cmml"><mi id="alg5.l15.m1.2.2.1.1.1.1.3.3.2" xref="alg5.l15.m1.2.2.1.1.1.1.3.3.2.cmml">V</mi><mi id="alg5.l15.m1.2.2.1.1.1.1.3.3.3" xref="alg5.l15.m1.2.2.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="alg5.l15.m1.2.2.1.1.1.3" xref="alg5.l15.m1.2.2.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg5.l15.m1.2.2.1.2" xref="alg5.l15.m1.2.2.1.2.cmml">​</mo><mi id="alg5.l15.m1.2.2.1.3" xref="alg5.l15.m1.2.2.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="alg5.l15.m1.2.2.1.2a" xref="alg5.l15.m1.2.2.1.2.cmml">​</mo><mrow id="alg5.l15.m1.2.2.1.4.2" xref="alg5.l15.m1.2.2.1.cmml"><mo stretchy="false" id="alg5.l15.m1.2.2.1.4.2.1" xref="alg5.l15.m1.2.2.1.cmml">(</mo><mi id="alg5.l15.m1.1.1" xref="alg5.l15.m1.1.1.cmml">d</mi><mo stretchy="false" id="alg5.l15.m1.2.2.1.4.2.2" xref="alg5.l15.m1.2.2.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg5.l15.m1.2b"><apply id="alg5.l15.m1.2.2.cmml" xref="alg5.l15.m1.2.2"><eq id="alg5.l15.m1.2.2.2.cmml" xref="alg5.l15.m1.2.2.2"></eq><ci id="alg5.l15.m1.2.2.3.cmml" xref="alg5.l15.m1.2.2.3">𝑄</ci><apply id="alg5.l15.m1.2.2.1.cmml" xref="alg5.l15.m1.2.2.1"><times id="alg5.l15.m1.2.2.1.2.cmml" xref="alg5.l15.m1.2.2.1.2"></times><apply id="alg5.l15.m1.2.2.1.1.1.1.cmml" xref="alg5.l15.m1.2.2.1.1.1"><plus id="alg5.l15.m1.2.2.1.1.1.1.1.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.1"></plus><ci id="alg5.l15.m1.2.2.1.1.1.1.2.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.2">𝐼</ci><apply id="alg5.l15.m1.2.2.1.1.1.1.3.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.3"><times id="alg5.l15.m1.2.2.1.1.1.1.3.1.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.3.1"></times><ci id="alg5.l15.m1.2.2.1.1.1.1.3.2.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.3.2">𝑈</ci><apply id="alg5.l15.m1.2.2.1.1.1.1.3.3.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="alg5.l15.m1.2.2.1.1.1.1.3.3.1.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.3.3">superscript</csymbol><ci id="alg5.l15.m1.2.2.1.1.1.1.3.3.2.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.3.3.2">𝑉</ci><ci id="alg5.l15.m1.2.2.1.1.1.1.3.3.3.cmml" xref="alg5.l15.m1.2.2.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="alg5.l15.m1.2.2.1.3.cmml" xref="alg5.l15.m1.2.2.1.3">diag</ci><ci id="alg5.l15.m1.1.1.cmml" xref="alg5.l15.m1.1.1">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg5.l15.m1.2c">Q=(I+UV^{T}){\rm diag}(d)</annotation></semantics></math>

</div>
</div>
</figure>
<div id="A5.p3" class="ltx_para">
<p id="A5.p3.1" class="ltx_p">Here are a few notes on Algorithm 3. With the Woodbury matrix identity, linear system <math id="A5.p3.1.m1.1" class="ltx_Math" alttext="Qx=b" display="inline"><semantics id="A5.p3.1.m1.1a"><mrow id="A5.p3.1.m1.1.1" xref="A5.p3.1.m1.1.1.cmml"><mrow id="A5.p3.1.m1.1.1.2" xref="A5.p3.1.m1.1.1.2.cmml"><mi id="A5.p3.1.m1.1.1.2.2" xref="A5.p3.1.m1.1.1.2.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A5.p3.1.m1.1.1.2.1" xref="A5.p3.1.m1.1.1.2.1.cmml">​</mo><mi id="A5.p3.1.m1.1.1.2.3" xref="A5.p3.1.m1.1.1.2.3.cmml">x</mi></mrow><mo id="A5.p3.1.m1.1.1.1" xref="A5.p3.1.m1.1.1.1.cmml">=</mo><mi id="A5.p3.1.m1.1.1.3" xref="A5.p3.1.m1.1.1.3.cmml">b</mi></mrow><annotation-xml encoding="MathML-Content" id="A5.p3.1.m1.1b"><apply id="A5.p3.1.m1.1.1.cmml" xref="A5.p3.1.m1.1.1"><eq id="A5.p3.1.m1.1.1.1.cmml" xref="A5.p3.1.m1.1.1.1"></eq><apply id="A5.p3.1.m1.1.1.2.cmml" xref="A5.p3.1.m1.1.1.2"><times id="A5.p3.1.m1.1.1.2.1.cmml" xref="A5.p3.1.m1.1.1.2.1"></times><ci id="A5.p3.1.m1.1.1.2.2.cmml" xref="A5.p3.1.m1.1.1.2.2">𝑄</ci><ci id="A5.p3.1.m1.1.1.2.3.cmml" xref="A5.p3.1.m1.1.1.2.3">𝑥</ci></apply><ci id="A5.p3.1.m1.1.1.3.cmml" xref="A5.p3.1.m1.1.1.3">𝑏</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.1.m1.1c">Qx=b</annotation></semantics></math> can be solved as</p>
<table id="A5.Ex73" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A5.Ex73.m1.2" class="ltx_Math" alttext="x=Q^{-1}b={\rm diag}(1\oslash d)[b-U(I+V^{T}U)^{-1}(V^{T}b)]" display="block"><semantics id="A5.Ex73.m1.2a"><mrow id="A5.Ex73.m1.2.2" xref="A5.Ex73.m1.2.2.cmml"><mi id="A5.Ex73.m1.2.2.4" xref="A5.Ex73.m1.2.2.4.cmml">x</mi><mo id="A5.Ex73.m1.2.2.5" xref="A5.Ex73.m1.2.2.5.cmml">=</mo><mrow id="A5.Ex73.m1.2.2.6" xref="A5.Ex73.m1.2.2.6.cmml"><msup id="A5.Ex73.m1.2.2.6.2" xref="A5.Ex73.m1.2.2.6.2.cmml"><mi id="A5.Ex73.m1.2.2.6.2.2" xref="A5.Ex73.m1.2.2.6.2.2.cmml">Q</mi><mrow id="A5.Ex73.m1.2.2.6.2.3" xref="A5.Ex73.m1.2.2.6.2.3.cmml"><mo id="A5.Ex73.m1.2.2.6.2.3a" xref="A5.Ex73.m1.2.2.6.2.3.cmml">−</mo><mn id="A5.Ex73.m1.2.2.6.2.3.2" xref="A5.Ex73.m1.2.2.6.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A5.Ex73.m1.2.2.6.1" xref="A5.Ex73.m1.2.2.6.1.cmml">​</mo><mi id="A5.Ex73.m1.2.2.6.3" xref="A5.Ex73.m1.2.2.6.3.cmml">b</mi></mrow><mo id="A5.Ex73.m1.2.2.7" xref="A5.Ex73.m1.2.2.7.cmml">=</mo><mrow id="A5.Ex73.m1.2.2.2" xref="A5.Ex73.m1.2.2.2.cmml"><mi id="A5.Ex73.m1.2.2.2.4" xref="A5.Ex73.m1.2.2.2.4.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A5.Ex73.m1.2.2.2.3" xref="A5.Ex73.m1.2.2.2.3.cmml">​</mo><mrow id="A5.Ex73.m1.1.1.1.1.1" xref="A5.Ex73.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.Ex73.m1.1.1.1.1.1.2" xref="A5.Ex73.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.Ex73.m1.1.1.1.1.1.1" xref="A5.Ex73.m1.1.1.1.1.1.1.cmml"><mn id="A5.Ex73.m1.1.1.1.1.1.1.2" xref="A5.Ex73.m1.1.1.1.1.1.1.2.cmml">1</mn><mo id="A5.Ex73.m1.1.1.1.1.1.1.1" xref="A5.Ex73.m1.1.1.1.1.1.1.1.cmml">⊘</mo><mi id="A5.Ex73.m1.1.1.1.1.1.1.3" xref="A5.Ex73.m1.1.1.1.1.1.1.3.cmml">d</mi></mrow><mo stretchy="false" id="A5.Ex73.m1.1.1.1.1.1.3" xref="A5.Ex73.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A5.Ex73.m1.2.2.2.3a" xref="A5.Ex73.m1.2.2.2.3.cmml">​</mo><mrow id="A5.Ex73.m1.2.2.2.2.1" xref="A5.Ex73.m1.2.2.2.2.2.cmml"><mo stretchy="false" id="A5.Ex73.m1.2.2.2.2.1.2" xref="A5.Ex73.m1.2.2.2.2.2.1.cmml">[</mo><mrow id="A5.Ex73.m1.2.2.2.2.1.1" xref="A5.Ex73.m1.2.2.2.2.1.1.cmml"><mi id="A5.Ex73.m1.2.2.2.2.1.1.4" xref="A5.Ex73.m1.2.2.2.2.1.1.4.cmml">b</mi><mo id="A5.Ex73.m1.2.2.2.2.1.1.3" xref="A5.Ex73.m1.2.2.2.2.1.1.3.cmml">−</mo><mrow id="A5.Ex73.m1.2.2.2.2.1.1.2" xref="A5.Ex73.m1.2.2.2.2.1.1.2.cmml"><mi id="A5.Ex73.m1.2.2.2.2.1.1.2.4" xref="A5.Ex73.m1.2.2.2.2.1.1.2.4.cmml">U</mi><mo lspace="0em" rspace="0em" id="A5.Ex73.m1.2.2.2.2.1.1.2.3" xref="A5.Ex73.m1.2.2.2.2.1.1.2.3.cmml">​</mo><msup id="A5.Ex73.m1.2.2.2.2.1.1.1.1" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.cmml"><mrow id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.2" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.cmml"><mi id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.2" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.2.cmml">I</mi><mo id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.1" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.cmml"><msup id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.cmml"><mi id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.2" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.3" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.1" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.3" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.3" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="A5.Ex73.m1.2.2.2.2.1.1.1.1.3" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.cmml"><mo id="A5.Ex73.m1.2.2.2.2.1.1.1.1.3a" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.cmml">−</mo><mn id="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.2" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A5.Ex73.m1.2.2.2.2.1.1.2.3a" xref="A5.Ex73.m1.2.2.2.2.1.1.2.3.cmml">​</mo><mrow id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.cmml"><mo stretchy="false" id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.2" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.cmml">(</mo><mrow id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.cmml"><msup id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.cmml"><mi id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.2" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.2.cmml">V</mi><mi id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.3" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.1" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.1.cmml">​</mo><mi id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.3" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.3.cmml">b</mi></mrow><mo stretchy="false" id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.3" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="A5.Ex73.m1.2.2.2.2.1.3" xref="A5.Ex73.m1.2.2.2.2.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex73.m1.2b"><apply id="A5.Ex73.m1.2.2.cmml" xref="A5.Ex73.m1.2.2"><and id="A5.Ex73.m1.2.2a.cmml" xref="A5.Ex73.m1.2.2"></and><apply id="A5.Ex73.m1.2.2b.cmml" xref="A5.Ex73.m1.2.2"><eq id="A5.Ex73.m1.2.2.5.cmml" xref="A5.Ex73.m1.2.2.5"></eq><ci id="A5.Ex73.m1.2.2.4.cmml" xref="A5.Ex73.m1.2.2.4">𝑥</ci><apply id="A5.Ex73.m1.2.2.6.cmml" xref="A5.Ex73.m1.2.2.6"><times id="A5.Ex73.m1.2.2.6.1.cmml" xref="A5.Ex73.m1.2.2.6.1"></times><apply id="A5.Ex73.m1.2.2.6.2.cmml" xref="A5.Ex73.m1.2.2.6.2"><csymbol cd="ambiguous" id="A5.Ex73.m1.2.2.6.2.1.cmml" xref="A5.Ex73.m1.2.2.6.2">superscript</csymbol><ci id="A5.Ex73.m1.2.2.6.2.2.cmml" xref="A5.Ex73.m1.2.2.6.2.2">𝑄</ci><apply id="A5.Ex73.m1.2.2.6.2.3.cmml" xref="A5.Ex73.m1.2.2.6.2.3"><minus id="A5.Ex73.m1.2.2.6.2.3.1.cmml" xref="A5.Ex73.m1.2.2.6.2.3"></minus><cn type="integer" id="A5.Ex73.m1.2.2.6.2.3.2.cmml" xref="A5.Ex73.m1.2.2.6.2.3.2">1</cn></apply></apply><ci id="A5.Ex73.m1.2.2.6.3.cmml" xref="A5.Ex73.m1.2.2.6.3">𝑏</ci></apply></apply><apply id="A5.Ex73.m1.2.2c.cmml" xref="A5.Ex73.m1.2.2"><eq id="A5.Ex73.m1.2.2.7.cmml" xref="A5.Ex73.m1.2.2.7"></eq><share href="#A5.Ex73.m1.2.2.6.cmml" id="A5.Ex73.m1.2.2d.cmml" xref="A5.Ex73.m1.2.2"></share><apply id="A5.Ex73.m1.2.2.2.cmml" xref="A5.Ex73.m1.2.2.2"><times id="A5.Ex73.m1.2.2.2.3.cmml" xref="A5.Ex73.m1.2.2.2.3"></times><ci id="A5.Ex73.m1.2.2.2.4.cmml" xref="A5.Ex73.m1.2.2.2.4">diag</ci><apply id="A5.Ex73.m1.1.1.1.1.1.1.cmml" xref="A5.Ex73.m1.1.1.1.1.1"><ci id="A5.Ex73.m1.1.1.1.1.1.1.1.cmml" xref="A5.Ex73.m1.1.1.1.1.1.1.1">⊘</ci><cn type="integer" id="A5.Ex73.m1.1.1.1.1.1.1.2.cmml" xref="A5.Ex73.m1.1.1.1.1.1.1.2">1</cn><ci id="A5.Ex73.m1.1.1.1.1.1.1.3.cmml" xref="A5.Ex73.m1.1.1.1.1.1.1.3">𝑑</ci></apply><apply id="A5.Ex73.m1.2.2.2.2.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1"><csymbol cd="latexml" id="A5.Ex73.m1.2.2.2.2.2.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.2">delimited-[]</csymbol><apply id="A5.Ex73.m1.2.2.2.2.1.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1"><minus id="A5.Ex73.m1.2.2.2.2.1.1.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.3"></minus><ci id="A5.Ex73.m1.2.2.2.2.1.1.4.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.4">𝑏</ci><apply id="A5.Ex73.m1.2.2.2.2.1.1.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2"><times id="A5.Ex73.m1.2.2.2.2.1.1.2.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.3"></times><ci id="A5.Ex73.m1.2.2.2.2.1.1.2.4.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.4">𝑈</ci><apply id="A5.Ex73.m1.2.2.2.2.1.1.1.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A5.Ex73.m1.2.2.2.2.1.1.1.1.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1">superscript</csymbol><apply id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1"><plus id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.1"></plus><ci id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.2">𝐼</ci><apply id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3"><times id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.1"></times><apply id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.1.1.1.3.3">𝑈</ci></apply></apply><apply id="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.3"><minus id="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.3"></minus><cn type="integer" id="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.1.1.3.2">1</cn></apply></apply><apply id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1"><times id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.1"></times><apply id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2"><csymbol cd="ambiguous" id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.1.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2">superscript</csymbol><ci id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.2.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.2">𝑉</ci><ci id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.2.3">𝑇</ci></apply><ci id="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.3.cmml" xref="A5.Ex73.m1.2.2.2.2.1.1.2.2.1.1.3">𝑏</ci></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex73.m1.2c">x=Q^{-1}b={\rm diag}(1\oslash d)[b-U(I+V^{T}U)^{-1}(V^{T}b)]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A5.p3.16" class="ltx_p">which can be separate into the following two steps</p>
<table id="A12.EGx36" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A5.Ex74"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A5.Ex74.m1.1" class="ltx_Math" alttext="\displaystyle{\rm solve}\;(I+V^{T}U)y" display="inline"><semantics id="A5.Ex74.m1.1a"><mrow id="A5.Ex74.m1.1.1" xref="A5.Ex74.m1.1.1.cmml"><mi id="A5.Ex74.m1.1.1.3" xref="A5.Ex74.m1.1.1.3.cmml">solve</mi><mo lspace="0.280em" rspace="0em" id="A5.Ex74.m1.1.1.2" xref="A5.Ex74.m1.1.1.2.cmml">​</mo><mrow id="A5.Ex74.m1.1.1.1.1" xref="A5.Ex74.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.Ex74.m1.1.1.1.1.2" xref="A5.Ex74.m1.1.1.1.1.1.cmml">(</mo><mrow id="A5.Ex74.m1.1.1.1.1.1" xref="A5.Ex74.m1.1.1.1.1.1.cmml"><mi id="A5.Ex74.m1.1.1.1.1.1.2" xref="A5.Ex74.m1.1.1.1.1.1.2.cmml">I</mi><mo id="A5.Ex74.m1.1.1.1.1.1.1" xref="A5.Ex74.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="A5.Ex74.m1.1.1.1.1.1.3" xref="A5.Ex74.m1.1.1.1.1.1.3.cmml"><msup id="A5.Ex74.m1.1.1.1.1.1.3.2" xref="A5.Ex74.m1.1.1.1.1.1.3.2.cmml"><mi id="A5.Ex74.m1.1.1.1.1.1.3.2.2" xref="A5.Ex74.m1.1.1.1.1.1.3.2.2.cmml">V</mi><mi id="A5.Ex74.m1.1.1.1.1.1.3.2.3" xref="A5.Ex74.m1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.Ex74.m1.1.1.1.1.1.3.1" xref="A5.Ex74.m1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A5.Ex74.m1.1.1.1.1.1.3.3" xref="A5.Ex74.m1.1.1.1.1.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="A5.Ex74.m1.1.1.1.1.3" xref="A5.Ex74.m1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A5.Ex74.m1.1.1.2a" xref="A5.Ex74.m1.1.1.2.cmml">​</mo><mi id="A5.Ex74.m1.1.1.4" xref="A5.Ex74.m1.1.1.4.cmml">y</mi></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex74.m1.1b"><apply id="A5.Ex74.m1.1.1.cmml" xref="A5.Ex74.m1.1.1"><times id="A5.Ex74.m1.1.1.2.cmml" xref="A5.Ex74.m1.1.1.2"></times><ci id="A5.Ex74.m1.1.1.3.cmml" xref="A5.Ex74.m1.1.1.3">solve</ci><apply id="A5.Ex74.m1.1.1.1.1.1.cmml" xref="A5.Ex74.m1.1.1.1.1"><plus id="A5.Ex74.m1.1.1.1.1.1.1.cmml" xref="A5.Ex74.m1.1.1.1.1.1.1"></plus><ci id="A5.Ex74.m1.1.1.1.1.1.2.cmml" xref="A5.Ex74.m1.1.1.1.1.1.2">𝐼</ci><apply id="A5.Ex74.m1.1.1.1.1.1.3.cmml" xref="A5.Ex74.m1.1.1.1.1.1.3"><times id="A5.Ex74.m1.1.1.1.1.1.3.1.cmml" xref="A5.Ex74.m1.1.1.1.1.1.3.1"></times><apply id="A5.Ex74.m1.1.1.1.1.1.3.2.cmml" xref="A5.Ex74.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A5.Ex74.m1.1.1.1.1.1.3.2.1.cmml" xref="A5.Ex74.m1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A5.Ex74.m1.1.1.1.1.1.3.2.2.cmml" xref="A5.Ex74.m1.1.1.1.1.1.3.2.2">𝑉</ci><ci id="A5.Ex74.m1.1.1.1.1.1.3.2.3.cmml" xref="A5.Ex74.m1.1.1.1.1.1.3.2.3">𝑇</ci></apply><ci id="A5.Ex74.m1.1.1.1.1.1.3.3.cmml" xref="A5.Ex74.m1.1.1.1.1.1.3.3">𝑈</ci></apply></apply><ci id="A5.Ex74.m1.1.1.4.cmml" xref="A5.Ex74.m1.1.1.4">𝑦</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex74.m1.1c">\displaystyle{\rm solve}\;(I+V^{T}U)y</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A5.Ex74.m2.1" class="ltx_Math" alttext="\displaystyle=V^{T}b" display="inline"><semantics id="A5.Ex74.m2.1a"><mrow id="A5.Ex74.m2.1.1" xref="A5.Ex74.m2.1.1.cmml"><mi id="A5.Ex74.m2.1.1.2" xref="A5.Ex74.m2.1.1.2.cmml"></mi><mo id="A5.Ex74.m2.1.1.1" xref="A5.Ex74.m2.1.1.1.cmml">=</mo><mrow id="A5.Ex74.m2.1.1.3" xref="A5.Ex74.m2.1.1.3.cmml"><msup id="A5.Ex74.m2.1.1.3.2" xref="A5.Ex74.m2.1.1.3.2.cmml"><mi id="A5.Ex74.m2.1.1.3.2.2" xref="A5.Ex74.m2.1.1.3.2.2.cmml">V</mi><mi id="A5.Ex74.m2.1.1.3.2.3" xref="A5.Ex74.m2.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.Ex74.m2.1.1.3.1" xref="A5.Ex74.m2.1.1.3.1.cmml">​</mo><mi id="A5.Ex74.m2.1.1.3.3" xref="A5.Ex74.m2.1.1.3.3.cmml">b</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex74.m2.1b"><apply id="A5.Ex74.m2.1.1.cmml" xref="A5.Ex74.m2.1.1"><eq id="A5.Ex74.m2.1.1.1.cmml" xref="A5.Ex74.m2.1.1.1"></eq><csymbol cd="latexml" id="A5.Ex74.m2.1.1.2.cmml" xref="A5.Ex74.m2.1.1.2">absent</csymbol><apply id="A5.Ex74.m2.1.1.3.cmml" xref="A5.Ex74.m2.1.1.3"><times id="A5.Ex74.m2.1.1.3.1.cmml" xref="A5.Ex74.m2.1.1.3.1"></times><apply id="A5.Ex74.m2.1.1.3.2.cmml" xref="A5.Ex74.m2.1.1.3.2"><csymbol cd="ambiguous" id="A5.Ex74.m2.1.1.3.2.1.cmml" xref="A5.Ex74.m2.1.1.3.2">superscript</csymbol><ci id="A5.Ex74.m2.1.1.3.2.2.cmml" xref="A5.Ex74.m2.1.1.3.2.2">𝑉</ci><ci id="A5.Ex74.m2.1.1.3.2.3.cmml" xref="A5.Ex74.m2.1.1.3.2.3">𝑇</ci></apply><ci id="A5.Ex74.m2.1.1.3.3.cmml" xref="A5.Ex74.m2.1.1.3.3">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex74.m2.1c">\displaystyle=V^{T}b</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A5.Ex75"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A5.Ex75.m1.1" class="ltx_Math" alttext="\displaystyle x" display="inline"><semantics id="A5.Ex75.m1.1a"><mi id="A5.Ex75.m1.1.1" xref="A5.Ex75.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A5.Ex75.m1.1b"><ci id="A5.Ex75.m1.1.1.cmml" xref="A5.Ex75.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex75.m1.1c">\displaystyle x</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A5.Ex75.m2.2" class="ltx_Math" alttext="\displaystyle={\rm diag}(1\oslash d)(b-Uy)" display="inline"><semantics id="A5.Ex75.m2.2a"><mrow id="A5.Ex75.m2.2.2" xref="A5.Ex75.m2.2.2.cmml"><mi id="A5.Ex75.m2.2.2.4" xref="A5.Ex75.m2.2.2.4.cmml"></mi><mo id="A5.Ex75.m2.2.2.3" xref="A5.Ex75.m2.2.2.3.cmml">=</mo><mrow id="A5.Ex75.m2.2.2.2" xref="A5.Ex75.m2.2.2.2.cmml"><mi id="A5.Ex75.m2.2.2.2.4" xref="A5.Ex75.m2.2.2.2.4.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A5.Ex75.m2.2.2.2.3" xref="A5.Ex75.m2.2.2.2.3.cmml">​</mo><mrow id="A5.Ex75.m2.1.1.1.1.1" xref="A5.Ex75.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.Ex75.m2.1.1.1.1.1.2" xref="A5.Ex75.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.Ex75.m2.1.1.1.1.1.1" xref="A5.Ex75.m2.1.1.1.1.1.1.cmml"><mn id="A5.Ex75.m2.1.1.1.1.1.1.2" xref="A5.Ex75.m2.1.1.1.1.1.1.2.cmml">1</mn><mo id="A5.Ex75.m2.1.1.1.1.1.1.1" xref="A5.Ex75.m2.1.1.1.1.1.1.1.cmml">⊘</mo><mi id="A5.Ex75.m2.1.1.1.1.1.1.3" xref="A5.Ex75.m2.1.1.1.1.1.1.3.cmml">d</mi></mrow><mo stretchy="false" id="A5.Ex75.m2.1.1.1.1.1.3" xref="A5.Ex75.m2.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A5.Ex75.m2.2.2.2.3a" xref="A5.Ex75.m2.2.2.2.3.cmml">​</mo><mrow id="A5.Ex75.m2.2.2.2.2.1" xref="A5.Ex75.m2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A5.Ex75.m2.2.2.2.2.1.2" xref="A5.Ex75.m2.2.2.2.2.1.1.cmml">(</mo><mrow id="A5.Ex75.m2.2.2.2.2.1.1" xref="A5.Ex75.m2.2.2.2.2.1.1.cmml"><mi id="A5.Ex75.m2.2.2.2.2.1.1.2" xref="A5.Ex75.m2.2.2.2.2.1.1.2.cmml">b</mi><mo id="A5.Ex75.m2.2.2.2.2.1.1.1" xref="A5.Ex75.m2.2.2.2.2.1.1.1.cmml">−</mo><mrow id="A5.Ex75.m2.2.2.2.2.1.1.3" xref="A5.Ex75.m2.2.2.2.2.1.1.3.cmml"><mi id="A5.Ex75.m2.2.2.2.2.1.1.3.2" xref="A5.Ex75.m2.2.2.2.2.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A5.Ex75.m2.2.2.2.2.1.1.3.1" xref="A5.Ex75.m2.2.2.2.2.1.1.3.1.cmml">​</mo><mi id="A5.Ex75.m2.2.2.2.2.1.1.3.3" xref="A5.Ex75.m2.2.2.2.2.1.1.3.3.cmml">y</mi></mrow></mrow><mo stretchy="false" id="A5.Ex75.m2.2.2.2.2.1.3" xref="A5.Ex75.m2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex75.m2.2b"><apply id="A5.Ex75.m2.2.2.cmml" xref="A5.Ex75.m2.2.2"><eq id="A5.Ex75.m2.2.2.3.cmml" xref="A5.Ex75.m2.2.2.3"></eq><csymbol cd="latexml" id="A5.Ex75.m2.2.2.4.cmml" xref="A5.Ex75.m2.2.2.4">absent</csymbol><apply id="A5.Ex75.m2.2.2.2.cmml" xref="A5.Ex75.m2.2.2.2"><times id="A5.Ex75.m2.2.2.2.3.cmml" xref="A5.Ex75.m2.2.2.2.3"></times><ci id="A5.Ex75.m2.2.2.2.4.cmml" xref="A5.Ex75.m2.2.2.2.4">diag</ci><apply id="A5.Ex75.m2.1.1.1.1.1.1.cmml" xref="A5.Ex75.m2.1.1.1.1.1"><ci id="A5.Ex75.m2.1.1.1.1.1.1.1.cmml" xref="A5.Ex75.m2.1.1.1.1.1.1.1">⊘</ci><cn type="integer" id="A5.Ex75.m2.1.1.1.1.1.1.2.cmml" xref="A5.Ex75.m2.1.1.1.1.1.1.2">1</cn><ci id="A5.Ex75.m2.1.1.1.1.1.1.3.cmml" xref="A5.Ex75.m2.1.1.1.1.1.1.3">𝑑</ci></apply><apply id="A5.Ex75.m2.2.2.2.2.1.1.cmml" xref="A5.Ex75.m2.2.2.2.2.1"><minus id="A5.Ex75.m2.2.2.2.2.1.1.1.cmml" xref="A5.Ex75.m2.2.2.2.2.1.1.1"></minus><ci id="A5.Ex75.m2.2.2.2.2.1.1.2.cmml" xref="A5.Ex75.m2.2.2.2.2.1.1.2">𝑏</ci><apply id="A5.Ex75.m2.2.2.2.2.1.1.3.cmml" xref="A5.Ex75.m2.2.2.2.2.1.1.3"><times id="A5.Ex75.m2.2.2.2.2.1.1.3.1.cmml" xref="A5.Ex75.m2.2.2.2.2.1.1.3.1"></times><ci id="A5.Ex75.m2.2.2.2.2.1.1.3.2.cmml" xref="A5.Ex75.m2.2.2.2.2.1.1.3.2">𝑈</ci><ci id="A5.Ex75.m2.2.2.2.2.1.1.3.3.cmml" xref="A5.Ex75.m2.2.2.2.2.1.1.3.3">𝑦</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex75.m2.2c">\displaystyle={\rm diag}(1\oslash d)(b-Uy)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A5.p3.7" class="ltx_p">where <math id="A5.p3.2.m1.1" class="ltx_Math" alttext="I+V^{T}U" display="inline"><semantics id="A5.p3.2.m1.1a"><mrow id="A5.p3.2.m1.1.1" xref="A5.p3.2.m1.1.1.cmml"><mi id="A5.p3.2.m1.1.1.2" xref="A5.p3.2.m1.1.1.2.cmml">I</mi><mo id="A5.p3.2.m1.1.1.1" xref="A5.p3.2.m1.1.1.1.cmml">+</mo><mrow id="A5.p3.2.m1.1.1.3" xref="A5.p3.2.m1.1.1.3.cmml"><msup id="A5.p3.2.m1.1.1.3.2" xref="A5.p3.2.m1.1.1.3.2.cmml"><mi id="A5.p3.2.m1.1.1.3.2.2" xref="A5.p3.2.m1.1.1.3.2.2.cmml">V</mi><mi id="A5.p3.2.m1.1.1.3.2.3" xref="A5.p3.2.m1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.p3.2.m1.1.1.3.1" xref="A5.p3.2.m1.1.1.3.1.cmml">​</mo><mi id="A5.p3.2.m1.1.1.3.3" xref="A5.p3.2.m1.1.1.3.3.cmml">U</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.p3.2.m1.1b"><apply id="A5.p3.2.m1.1.1.cmml" xref="A5.p3.2.m1.1.1"><plus id="A5.p3.2.m1.1.1.1.cmml" xref="A5.p3.2.m1.1.1.1"></plus><ci id="A5.p3.2.m1.1.1.2.cmml" xref="A5.p3.2.m1.1.1.2">𝐼</ci><apply id="A5.p3.2.m1.1.1.3.cmml" xref="A5.p3.2.m1.1.1.3"><times id="A5.p3.2.m1.1.1.3.1.cmml" xref="A5.p3.2.m1.1.1.3.1"></times><apply id="A5.p3.2.m1.1.1.3.2.cmml" xref="A5.p3.2.m1.1.1.3.2"><csymbol cd="ambiguous" id="A5.p3.2.m1.1.1.3.2.1.cmml" xref="A5.p3.2.m1.1.1.3.2">superscript</csymbol><ci id="A5.p3.2.m1.1.1.3.2.2.cmml" xref="A5.p3.2.m1.1.1.3.2.2">𝑉</ci><ci id="A5.p3.2.m1.1.1.3.2.3.cmml" xref="A5.p3.2.m1.1.1.3.2.3">𝑇</ci></apply><ci id="A5.p3.2.m1.1.1.3.3.cmml" xref="A5.p3.2.m1.1.1.3.3">𝑈</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.2.m1.1c">I+V^{T}U</annotation></semantics></math> is a square matrix with size <math id="A5.p3.3.m2.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A5.p3.3.m2.1a"><mi id="A5.p3.3.m2.1.1" xref="A5.p3.3.m2.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A5.p3.3.m2.1b"><ci id="A5.p3.3.m2.1.1.cmml" xref="A5.p3.3.m2.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.3.m2.1c">r</annotation></semantics></math>, i.e., the rank or order of low rank approximation. Solving for such a linear system should not be considered as a burden for a moderate <math id="A5.p3.4.m3.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A5.p3.4.m3.1a"><mi id="A5.p3.4.m3.1.1" xref="A5.p3.4.m3.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A5.p3.4.m3.1b"><ci id="A5.p3.4.m3.1.1.cmml" xref="A5.p3.4.m3.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.4.m3.1c">r</annotation></semantics></math>, say up to thousands, on today’s hardware. Note that <math id="A5.p3.5.m4.1" class="ltx_Math" alttext="\nabla_{U}" display="inline"><semantics id="A5.p3.5.m4.1a"><msub id="A5.p3.5.m4.1.1" xref="A5.p3.5.m4.1.1.cmml"><mo id="A5.p3.5.m4.1.1.2" xref="A5.p3.5.m4.1.1.2.cmml">∇</mo><mi id="A5.p3.5.m4.1.1.3" xref="A5.p3.5.m4.1.1.3.cmml">U</mi></msub><annotation-xml encoding="MathML-Content" id="A5.p3.5.m4.1b"><apply id="A5.p3.5.m4.1.1.cmml" xref="A5.p3.5.m4.1.1"><csymbol cd="ambiguous" id="A5.p3.5.m4.1.1.1.cmml" xref="A5.p3.5.m4.1.1">subscript</csymbol><ci id="A5.p3.5.m4.1.1.2.cmml" xref="A5.p3.5.m4.1.1.2">∇</ci><ci id="A5.p3.5.m4.1.1.3.cmml" xref="A5.p3.5.m4.1.1.3">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.5.m4.1c">\nabla_{U}</annotation></semantics></math> is a matrix with rank <math id="A5.p3.6.m5.1" class="ltx_Math" alttext="2" display="inline"><semantics id="A5.p3.6.m5.1a"><mn id="A5.p3.6.m5.1.1" xref="A5.p3.6.m5.1.1.cmml">2</mn><annotation-xml encoding="MathML-Content" id="A5.p3.6.m5.1b"><cn type="integer" id="A5.p3.6.m5.1.1.cmml" xref="A5.p3.6.m5.1.1">2</cn></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.6.m5.1c">2</annotation></semantics></math> at most. Thus, we have no need to form <math id="A5.p3.7.m6.1" class="ltx_Math" alttext="\nabla_{U}" display="inline"><semantics id="A5.p3.7.m6.1a"><msub id="A5.p3.7.m6.1.1" xref="A5.p3.7.m6.1.1.cmml"><mo id="A5.p3.7.m6.1.1.2" xref="A5.p3.7.m6.1.1.2.cmml">∇</mo><mi id="A5.p3.7.m6.1.1.3" xref="A5.p3.7.m6.1.1.3.cmml">U</mi></msub><annotation-xml encoding="MathML-Content" id="A5.p3.7.m6.1b"><apply id="A5.p3.7.m6.1.1.cmml" xref="A5.p3.7.m6.1.1"><csymbol cd="ambiguous" id="A5.p3.7.m6.1.1.1.cmml" xref="A5.p3.7.m6.1.1">subscript</csymbol><ci id="A5.p3.7.m6.1.1.2.cmml" xref="A5.p3.7.m6.1.1.2">∇</ci><ci id="A5.p3.7.m6.1.1.3.cmml" xref="A5.p3.7.m6.1.1.3">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.7.m6.1c">\nabla_{U}</annotation></semantics></math> explicitly in the actual implementation by writing it as a difference of two outer products,</p>
<table id="A5.Ex76" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A5.Ex76.m1.4" class="ltx_Math" alttext="\nabla_{U}=(Qh)[(Qh)^{T}V]-(Q^{-T}v)[(Q^{-T}v)^{T}V]" display="block"><semantics id="A5.Ex76.m1.4a"><mrow id="A5.Ex76.m1.4.4" xref="A5.Ex76.m1.4.4.cmml"><msub id="A5.Ex76.m1.4.4.6" xref="A5.Ex76.m1.4.4.6.cmml"><mo id="A5.Ex76.m1.4.4.6.2" xref="A5.Ex76.m1.4.4.6.2.cmml">∇</mo><mi id="A5.Ex76.m1.4.4.6.3" xref="A5.Ex76.m1.4.4.6.3.cmml">U</mi></msub><mo id="A5.Ex76.m1.4.4.5" xref="A5.Ex76.m1.4.4.5.cmml">=</mo><mrow id="A5.Ex76.m1.4.4.4" xref="A5.Ex76.m1.4.4.4.cmml"><mrow id="A5.Ex76.m1.2.2.2.2" xref="A5.Ex76.m1.2.2.2.2.cmml"><mrow id="A5.Ex76.m1.1.1.1.1.1.1" xref="A5.Ex76.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.Ex76.m1.1.1.1.1.1.1.2" xref="A5.Ex76.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.Ex76.m1.1.1.1.1.1.1.1" xref="A5.Ex76.m1.1.1.1.1.1.1.1.cmml"><mi id="A5.Ex76.m1.1.1.1.1.1.1.1.2" xref="A5.Ex76.m1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.1.1.1.1.1.1.1.1" xref="A5.Ex76.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A5.Ex76.m1.1.1.1.1.1.1.1.3" xref="A5.Ex76.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A5.Ex76.m1.1.1.1.1.1.1.3" xref="A5.Ex76.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.2.2.2.2.3" xref="A5.Ex76.m1.2.2.2.2.3.cmml">​</mo><mrow id="A5.Ex76.m1.2.2.2.2.2.1" xref="A5.Ex76.m1.2.2.2.2.2.2.cmml"><mo stretchy="false" id="A5.Ex76.m1.2.2.2.2.2.1.2" xref="A5.Ex76.m1.2.2.2.2.2.2.1.cmml">[</mo><mrow id="A5.Ex76.m1.2.2.2.2.2.1.1" xref="A5.Ex76.m1.2.2.2.2.2.1.1.cmml"><msup id="A5.Ex76.m1.2.2.2.2.2.1.1.1" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.cmml"><mrow id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.2" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.cmml"><mi id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.2" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.1" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.3" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.3" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A5.Ex76.m1.2.2.2.2.2.1.1.1.3" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.2.2.2.2.2.1.1.2" xref="A5.Ex76.m1.2.2.2.2.2.1.1.2.cmml">​</mo><mi id="A5.Ex76.m1.2.2.2.2.2.1.1.3" xref="A5.Ex76.m1.2.2.2.2.2.1.1.3.cmml">V</mi></mrow><mo stretchy="false" id="A5.Ex76.m1.2.2.2.2.2.1.3" xref="A5.Ex76.m1.2.2.2.2.2.2.1.cmml">]</mo></mrow></mrow><mo id="A5.Ex76.m1.4.4.4.5" xref="A5.Ex76.m1.4.4.4.5.cmml">−</mo><mrow id="A5.Ex76.m1.4.4.4.4" xref="A5.Ex76.m1.4.4.4.4.cmml"><mrow id="A5.Ex76.m1.3.3.3.3.1.1" xref="A5.Ex76.m1.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="A5.Ex76.m1.3.3.3.3.1.1.2" xref="A5.Ex76.m1.3.3.3.3.1.1.1.cmml">(</mo><mrow id="A5.Ex76.m1.3.3.3.3.1.1.1" xref="A5.Ex76.m1.3.3.3.3.1.1.1.cmml"><msup id="A5.Ex76.m1.3.3.3.3.1.1.1.2" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.cmml"><mi id="A5.Ex76.m1.3.3.3.3.1.1.1.2.2" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="A5.Ex76.m1.3.3.3.3.1.1.1.2.3" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.cmml"><mo id="A5.Ex76.m1.3.3.3.3.1.1.1.2.3a" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.2" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.3.3.3.3.1.1.1.1" xref="A5.Ex76.m1.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="A5.Ex76.m1.3.3.3.3.1.1.1.3" xref="A5.Ex76.m1.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A5.Ex76.m1.3.3.3.3.1.1.3" xref="A5.Ex76.m1.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.4.4.4.4.3" xref="A5.Ex76.m1.4.4.4.4.3.cmml">​</mo><mrow id="A5.Ex76.m1.4.4.4.4.2.1" xref="A5.Ex76.m1.4.4.4.4.2.2.cmml"><mo stretchy="false" id="A5.Ex76.m1.4.4.4.4.2.1.2" xref="A5.Ex76.m1.4.4.4.4.2.2.1.cmml">[</mo><mrow id="A5.Ex76.m1.4.4.4.4.2.1.1" xref="A5.Ex76.m1.4.4.4.4.2.1.1.cmml"><msup id="A5.Ex76.m1.4.4.4.4.2.1.1.1" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.cmml"><mrow id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.2" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.cmml">(</mo><mrow id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.cmml"><msup id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.cmml"><mi id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.2" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.2.cmml">Q</mi><mrow id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.cmml"><mo id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3a" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.cmml">−</mo><mi id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.2" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.1" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.3" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.3" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A5.Ex76.m1.4.4.4.4.2.1.1.1.3" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.Ex76.m1.4.4.4.4.2.1.1.2" xref="A5.Ex76.m1.4.4.4.4.2.1.1.2.cmml">​</mo><mi id="A5.Ex76.m1.4.4.4.4.2.1.1.3" xref="A5.Ex76.m1.4.4.4.4.2.1.1.3.cmml">V</mi></mrow><mo stretchy="false" id="A5.Ex76.m1.4.4.4.4.2.1.3" xref="A5.Ex76.m1.4.4.4.4.2.2.1.cmml">]</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex76.m1.4b"><apply id="A5.Ex76.m1.4.4.cmml" xref="A5.Ex76.m1.4.4"><eq id="A5.Ex76.m1.4.4.5.cmml" xref="A5.Ex76.m1.4.4.5"></eq><apply id="A5.Ex76.m1.4.4.6.cmml" xref="A5.Ex76.m1.4.4.6"><csymbol cd="ambiguous" id="A5.Ex76.m1.4.4.6.1.cmml" xref="A5.Ex76.m1.4.4.6">subscript</csymbol><ci id="A5.Ex76.m1.4.4.6.2.cmml" xref="A5.Ex76.m1.4.4.6.2">∇</ci><ci id="A5.Ex76.m1.4.4.6.3.cmml" xref="A5.Ex76.m1.4.4.6.3">𝑈</ci></apply><apply id="A5.Ex76.m1.4.4.4.cmml" xref="A5.Ex76.m1.4.4.4"><minus id="A5.Ex76.m1.4.4.4.5.cmml" xref="A5.Ex76.m1.4.4.4.5"></minus><apply id="A5.Ex76.m1.2.2.2.2.cmml" xref="A5.Ex76.m1.2.2.2.2"><times id="A5.Ex76.m1.2.2.2.2.3.cmml" xref="A5.Ex76.m1.2.2.2.2.3"></times><apply id="A5.Ex76.m1.1.1.1.1.1.1.1.cmml" xref="A5.Ex76.m1.1.1.1.1.1.1"><times id="A5.Ex76.m1.1.1.1.1.1.1.1.1.cmml" xref="A5.Ex76.m1.1.1.1.1.1.1.1.1"></times><ci id="A5.Ex76.m1.1.1.1.1.1.1.1.2.cmml" xref="A5.Ex76.m1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A5.Ex76.m1.1.1.1.1.1.1.1.3.cmml" xref="A5.Ex76.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A5.Ex76.m1.2.2.2.2.2.2.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1"><csymbol cd="latexml" id="A5.Ex76.m1.2.2.2.2.2.2.1.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.2">delimited-[]</csymbol><apply id="A5.Ex76.m1.2.2.2.2.2.1.1.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1"><times id="A5.Ex76.m1.2.2.2.2.2.1.1.2.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.2"></times><apply id="A5.Ex76.m1.2.2.2.2.2.1.1.1.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1"><csymbol cd="ambiguous" id="A5.Ex76.m1.2.2.2.2.2.1.1.1.2.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1">superscript</csymbol><apply id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1"><times id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.1.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.1"></times><ci id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.2.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.2">𝑄</ci><ci id="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.3.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.1.1.1.3">ℎ</ci></apply><ci id="A5.Ex76.m1.2.2.2.2.2.1.1.1.3.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.1.3">𝑇</ci></apply><ci id="A5.Ex76.m1.2.2.2.2.2.1.1.3.cmml" xref="A5.Ex76.m1.2.2.2.2.2.1.1.3">𝑉</ci></apply></apply></apply><apply id="A5.Ex76.m1.4.4.4.4.cmml" xref="A5.Ex76.m1.4.4.4.4"><times id="A5.Ex76.m1.4.4.4.4.3.cmml" xref="A5.Ex76.m1.4.4.4.4.3"></times><apply id="A5.Ex76.m1.3.3.3.3.1.1.1.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1"><times id="A5.Ex76.m1.3.3.3.3.1.1.1.1.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.1"></times><apply id="A5.Ex76.m1.3.3.3.3.1.1.1.2.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="A5.Ex76.m1.3.3.3.3.1.1.1.2.1.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="A5.Ex76.m1.3.3.3.3.1.1.1.2.2.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.3"><minus id="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.1.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.3"></minus><ci id="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.2.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A5.Ex76.m1.3.3.3.3.1.1.1.3.cmml" xref="A5.Ex76.m1.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="A5.Ex76.m1.4.4.4.4.2.2.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1"><csymbol cd="latexml" id="A5.Ex76.m1.4.4.4.4.2.2.1.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.2">delimited-[]</csymbol><apply id="A5.Ex76.m1.4.4.4.4.2.1.1.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1"><times id="A5.Ex76.m1.4.4.4.4.2.1.1.2.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.2"></times><apply id="A5.Ex76.m1.4.4.4.4.2.1.1.1.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1"><csymbol cd="ambiguous" id="A5.Ex76.m1.4.4.4.4.2.1.1.1.2.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1">superscript</csymbol><apply id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1"><times id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.1.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.1"></times><apply id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.1.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2">superscript</csymbol><ci id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.2.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.2">𝑄</ci><apply id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3"><minus id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.1.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3"></minus><ci id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.2.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.3.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.1.1.1.3">𝑣</ci></apply><ci id="A5.Ex76.m1.4.4.4.4.2.1.1.1.3.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.1.3">𝑇</ci></apply><ci id="A5.Ex76.m1.4.4.4.4.2.1.1.3.cmml" xref="A5.Ex76.m1.4.4.4.4.2.1.1.3">𝑉</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex76.m1.4c">\nabla_{U}=(Qh)[(Qh)^{T}V]-(Q^{-T}v)[(Q^{-T}v)^{T}V]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A5.p3.15" class="ltx_p">This saves considerable memory and computes for a large <math id="A5.p3.8.m1.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A5.p3.8.m1.1a"><mi id="A5.p3.8.m1.1.1" xref="A5.p3.8.m1.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A5.p3.8.m1.1b"><ci id="A5.p3.8.m1.1.1.cmml" xref="A5.p3.8.m1.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.8.m1.1c">r</annotation></semantics></math>.
The spectral norm of <math id="A5.p3.9.m2.1" class="ltx_Math" alttext="\nabla_{U}V^{T}" display="inline"><semantics id="A5.p3.9.m2.1a"><mrow id="A5.p3.9.m2.1.1" xref="A5.p3.9.m2.1.1.cmml"><msub id="A5.p3.9.m2.1.1.1" xref="A5.p3.9.m2.1.1.1.cmml"><mo id="A5.p3.9.m2.1.1.1.2" xref="A5.p3.9.m2.1.1.1.2.cmml">∇</mo><mi id="A5.p3.9.m2.1.1.1.3" xref="A5.p3.9.m2.1.1.1.3.cmml">U</mi></msub><msup id="A5.p3.9.m2.1.1.2" xref="A5.p3.9.m2.1.1.2.cmml"><mi id="A5.p3.9.m2.1.1.2.2" xref="A5.p3.9.m2.1.1.2.2.cmml">V</mi><mi id="A5.p3.9.m2.1.1.2.3" xref="A5.p3.9.m2.1.1.2.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A5.p3.9.m2.1b"><apply id="A5.p3.9.m2.1.1.cmml" xref="A5.p3.9.m2.1.1"><apply id="A5.p3.9.m2.1.1.1.cmml" xref="A5.p3.9.m2.1.1.1"><csymbol cd="ambiguous" id="A5.p3.9.m2.1.1.1.1.cmml" xref="A5.p3.9.m2.1.1.1">subscript</csymbol><ci id="A5.p3.9.m2.1.1.1.2.cmml" xref="A5.p3.9.m2.1.1.1.2">∇</ci><ci id="A5.p3.9.m2.1.1.1.3.cmml" xref="A5.p3.9.m2.1.1.1.3">𝑈</ci></apply><apply id="A5.p3.9.m2.1.1.2.cmml" xref="A5.p3.9.m2.1.1.2"><csymbol cd="ambiguous" id="A5.p3.9.m2.1.1.2.1.cmml" xref="A5.p3.9.m2.1.1.2">superscript</csymbol><ci id="A5.p3.9.m2.1.1.2.2.cmml" xref="A5.p3.9.m2.1.1.2.2">𝑉</ci><ci id="A5.p3.9.m2.1.1.2.3.cmml" xref="A5.p3.9.m2.1.1.2.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.9.m2.1c">\nabla_{U}V^{T}</annotation></semantics></math> is approximated with its Frobenius norm. Again, since the rank of <math id="A5.p3.10.m3.1" class="ltx_Math" alttext="\nabla_{U}V^{T}" display="inline"><semantics id="A5.p3.10.m3.1a"><mrow id="A5.p3.10.m3.1.1" xref="A5.p3.10.m3.1.1.cmml"><msub id="A5.p3.10.m3.1.1.1" xref="A5.p3.10.m3.1.1.1.cmml"><mo id="A5.p3.10.m3.1.1.1.2" xref="A5.p3.10.m3.1.1.1.2.cmml">∇</mo><mi id="A5.p3.10.m3.1.1.1.3" xref="A5.p3.10.m3.1.1.1.3.cmml">U</mi></msub><msup id="A5.p3.10.m3.1.1.2" xref="A5.p3.10.m3.1.1.2.cmml"><mi id="A5.p3.10.m3.1.1.2.2" xref="A5.p3.10.m3.1.1.2.2.cmml">V</mi><mi id="A5.p3.10.m3.1.1.2.3" xref="A5.p3.10.m3.1.1.2.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A5.p3.10.m3.1b"><apply id="A5.p3.10.m3.1.1.cmml" xref="A5.p3.10.m3.1.1"><apply id="A5.p3.10.m3.1.1.1.cmml" xref="A5.p3.10.m3.1.1.1"><csymbol cd="ambiguous" id="A5.p3.10.m3.1.1.1.1.cmml" xref="A5.p3.10.m3.1.1.1">subscript</csymbol><ci id="A5.p3.10.m3.1.1.1.2.cmml" xref="A5.p3.10.m3.1.1.1.2">∇</ci><ci id="A5.p3.10.m3.1.1.1.3.cmml" xref="A5.p3.10.m3.1.1.1.3">𝑈</ci></apply><apply id="A5.p3.10.m3.1.1.2.cmml" xref="A5.p3.10.m3.1.1.2"><csymbol cd="ambiguous" id="A5.p3.10.m3.1.1.2.1.cmml" xref="A5.p3.10.m3.1.1.2">superscript</csymbol><ci id="A5.p3.10.m3.1.1.2.2.cmml" xref="A5.p3.10.m3.1.1.2.2">𝑉</ci><ci id="A5.p3.10.m3.1.1.2.3.cmml" xref="A5.p3.10.m3.1.1.2.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.10.m3.1c">\nabla_{U}V^{T}</annotation></semantics></math> is at most <math id="A5.p3.11.m4.1" class="ltx_Math" alttext="2" display="inline"><semantics id="A5.p3.11.m4.1a"><mn id="A5.p3.11.m4.1.1" xref="A5.p3.11.m4.1.1.cmml">2</mn><annotation-xml encoding="MathML-Content" id="A5.p3.11.m4.1b"><cn type="integer" id="A5.p3.11.m4.1.1.cmml" xref="A5.p3.11.m4.1.1">2</cn></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.11.m4.1c">2</annotation></semantics></math>, relative error of this approximation is bounded by <math id="A5.p3.12.m5.1" class="ltx_Math" alttext="3" display="inline"><semantics id="A5.p3.12.m5.1a"><mn id="A5.p3.12.m5.1.1" xref="A5.p3.12.m5.1.1.cmml">3</mn><annotation-xml encoding="MathML-Content" id="A5.p3.12.m5.1b"><cn type="integer" id="A5.p3.12.m5.1.1.cmml" xref="A5.p3.12.m5.1.1">3</cn></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.12.m5.1c">3</annotation></semantics></math> dB. The same processing techniques apply to the update of <math id="A5.p3.13.m6.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A5.p3.13.m6.1a"><mi id="A5.p3.13.m6.1.1" xref="A5.p3.13.m6.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A5.p3.13.m6.1b"><ci id="A5.p3.13.m6.1.1.cmml" xref="A5.p3.13.m6.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.13.m6.1c">V</annotation></semantics></math> as well. Note that we cannot update both <math id="A5.p3.14.m7.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A5.p3.14.m7.1a"><mi id="A5.p3.14.m7.1.1" xref="A5.p3.14.m7.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A5.p3.14.m7.1b"><ci id="A5.p3.14.m7.1.1.cmml" xref="A5.p3.14.m7.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.14.m7.1c">U</annotation></semantics></math> and <math id="A5.p3.15.m8.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A5.p3.15.m8.1a"><mi id="A5.p3.15.m8.1.1" xref="A5.p3.15.m8.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A5.p3.15.m8.1b"><ci id="A5.p3.15.m8.1.1.cmml" xref="A5.p3.15.m8.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.p3.15.m8.1c">V</annotation></semantics></math> in a single step due to the special way we have constructed these two “twin” Lie groups for low rank approximation. In our implementation, we choose to update either one with equal probability.</p>
</div>
<div id="A5.p4" class="ltx_para">
<p id="A5.p4.1" class="ltx_p">In the style of the main here are the algorithms with explicit notation.</p>
</div>
<section id="A5.SS0.SSS0.Px1" class="ltx_paragraph">
<h5 class="ltx_title ltx_title_paragraph">Notations</h5>

<div id="A5.SS0.SSS0.Px1.p1" class="ltx_para">
<p id="A5.SS0.SSS0.Px1.p1.1" class="ltx_p">we use the following notations:</p>
<ul id="A5.I1" class="ltx_itemize">
<li id="A5.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A5.I1.i1.p1" class="ltx_para">
<p id="A5.I1.i1.p1.4" class="ltx_p"><math id="A5.I1.i1.p1.1.m1.3" class="ltx_Math" alttext="f(\theta)\in\mathbb{R},\theta\in\mathbb{R}^{d}" display="inline"><semantics id="A5.I1.i1.p1.1.m1.3a"><mrow id="A5.I1.i1.p1.1.m1.3.3.2" xref="A5.I1.i1.p1.1.m1.3.3.3.cmml"><mrow id="A5.I1.i1.p1.1.m1.2.2.1.1" xref="A5.I1.i1.p1.1.m1.2.2.1.1.cmml"><mrow id="A5.I1.i1.p1.1.m1.2.2.1.1.2" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.cmml"><mi id="A5.I1.i1.p1.1.m1.2.2.1.1.2.2" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.2.cmml">f</mi><mo lspace="0em" rspace="0em" id="A5.I1.i1.p1.1.m1.2.2.1.1.2.1" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.1.cmml">​</mo><mrow id="A5.I1.i1.p1.1.m1.2.2.1.1.2.3.2" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.cmml"><mo stretchy="false" id="A5.I1.i1.p1.1.m1.2.2.1.1.2.3.2.1" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.cmml">(</mo><mi id="A5.I1.i1.p1.1.m1.1.1" xref="A5.I1.i1.p1.1.m1.1.1.cmml">θ</mi><mo stretchy="false" id="A5.I1.i1.p1.1.m1.2.2.1.1.2.3.2.2" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.cmml">)</mo></mrow></mrow><mo id="A5.I1.i1.p1.1.m1.2.2.1.1.1" xref="A5.I1.i1.p1.1.m1.2.2.1.1.1.cmml">∈</mo><mi id="A5.I1.i1.p1.1.m1.2.2.1.1.3" xref="A5.I1.i1.p1.1.m1.2.2.1.1.3.cmml">ℝ</mi></mrow><mo id="A5.I1.i1.p1.1.m1.3.3.2.3" xref="A5.I1.i1.p1.1.m1.3.3.3a.cmml">,</mo><mrow id="A5.I1.i1.p1.1.m1.3.3.2.2" xref="A5.I1.i1.p1.1.m1.3.3.2.2.cmml"><mi id="A5.I1.i1.p1.1.m1.3.3.2.2.2" xref="A5.I1.i1.p1.1.m1.3.3.2.2.2.cmml">θ</mi><mo id="A5.I1.i1.p1.1.m1.3.3.2.2.1" xref="A5.I1.i1.p1.1.m1.3.3.2.2.1.cmml">∈</mo><msup id="A5.I1.i1.p1.1.m1.3.3.2.2.3" xref="A5.I1.i1.p1.1.m1.3.3.2.2.3.cmml"><mi id="A5.I1.i1.p1.1.m1.3.3.2.2.3.2" xref="A5.I1.i1.p1.1.m1.3.3.2.2.3.2.cmml">ℝ</mi><mi id="A5.I1.i1.p1.1.m1.3.3.2.2.3.3" xref="A5.I1.i1.p1.1.m1.3.3.2.2.3.3.cmml">d</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i1.p1.1.m1.3b"><apply id="A5.I1.i1.p1.1.m1.3.3.3.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2"><csymbol cd="ambiguous" id="A5.I1.i1.p1.1.m1.3.3.3a.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.3">formulae-sequence</csymbol><apply id="A5.I1.i1.p1.1.m1.2.2.1.1.cmml" xref="A5.I1.i1.p1.1.m1.2.2.1.1"><in id="A5.I1.i1.p1.1.m1.2.2.1.1.1.cmml" xref="A5.I1.i1.p1.1.m1.2.2.1.1.1"></in><apply id="A5.I1.i1.p1.1.m1.2.2.1.1.2.cmml" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2"><times id="A5.I1.i1.p1.1.m1.2.2.1.1.2.1.cmml" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.1"></times><ci id="A5.I1.i1.p1.1.m1.2.2.1.1.2.2.cmml" xref="A5.I1.i1.p1.1.m1.2.2.1.1.2.2">𝑓</ci><ci id="A5.I1.i1.p1.1.m1.1.1.cmml" xref="A5.I1.i1.p1.1.m1.1.1">𝜃</ci></apply><ci id="A5.I1.i1.p1.1.m1.2.2.1.1.3.cmml" xref="A5.I1.i1.p1.1.m1.2.2.1.1.3">ℝ</ci></apply><apply id="A5.I1.i1.p1.1.m1.3.3.2.2.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.2"><in id="A5.I1.i1.p1.1.m1.3.3.2.2.1.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.2.1"></in><ci id="A5.I1.i1.p1.1.m1.3.3.2.2.2.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.2.2">𝜃</ci><apply id="A5.I1.i1.p1.1.m1.3.3.2.2.3.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.2.3"><csymbol cd="ambiguous" id="A5.I1.i1.p1.1.m1.3.3.2.2.3.1.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.2.3">superscript</csymbol><ci id="A5.I1.i1.p1.1.m1.3.3.2.2.3.2.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.2.3.2">ℝ</ci><ci id="A5.I1.i1.p1.1.m1.3.3.2.2.3.3.cmml" xref="A5.I1.i1.p1.1.m1.3.3.2.2.3.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i1.p1.1.m1.3c">f(\theta)\in\mathbb{R},\theta\in\mathbb{R}^{d}</annotation></semantics></math>: <math id="A5.I1.i1.p1.2.m2.1" class="ltx_Math" alttext="f" display="inline"><semantics id="A5.I1.i1.p1.2.m2.1a"><mi id="A5.I1.i1.p1.2.m2.1.1" xref="A5.I1.i1.p1.2.m2.1.1.cmml">f</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i1.p1.2.m2.1b"><ci id="A5.I1.i1.p1.2.m2.1.1.cmml" xref="A5.I1.i1.p1.2.m2.1.1">𝑓</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i1.p1.2.m2.1c">f</annotation></semantics></math> is the loss function to minimize, <math id="A5.I1.i1.p1.3.m3.1" class="ltx_Math" alttext="\theta" display="inline"><semantics id="A5.I1.i1.p1.3.m3.1a"><mi id="A5.I1.i1.p1.3.m3.1.1" xref="A5.I1.i1.p1.3.m3.1.1.cmml">θ</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i1.p1.3.m3.1b"><ci id="A5.I1.i1.p1.3.m3.1.1.cmml" xref="A5.I1.i1.p1.3.m3.1.1">𝜃</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i1.p1.3.m3.1c">\theta</annotation></semantics></math> is the parameter in <math id="A5.I1.i1.p1.4.m4.1" class="ltx_Math" alttext="\mathbb{R}^{d}" display="inline"><semantics id="A5.I1.i1.p1.4.m4.1a"><msup id="A5.I1.i1.p1.4.m4.1.1" xref="A5.I1.i1.p1.4.m4.1.1.cmml"><mi id="A5.I1.i1.p1.4.m4.1.1.2" xref="A5.I1.i1.p1.4.m4.1.1.2.cmml">ℝ</mi><mi id="A5.I1.i1.p1.4.m4.1.1.3" xref="A5.I1.i1.p1.4.m4.1.1.3.cmml">d</mi></msup><annotation-xml encoding="MathML-Content" id="A5.I1.i1.p1.4.m4.1b"><apply id="A5.I1.i1.p1.4.m4.1.1.cmml" xref="A5.I1.i1.p1.4.m4.1.1"><csymbol cd="ambiguous" id="A5.I1.i1.p1.4.m4.1.1.1.cmml" xref="A5.I1.i1.p1.4.m4.1.1">superscript</csymbol><ci id="A5.I1.i1.p1.4.m4.1.1.2.cmml" xref="A5.I1.i1.p1.4.m4.1.1.2">ℝ</ci><ci id="A5.I1.i1.p1.4.m4.1.1.3.cmml" xref="A5.I1.i1.p1.4.m4.1.1.3">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i1.p1.4.m4.1c">\mathbb{R}^{d}</annotation></semantics></math></p>
</div>
</li>
<li id="A5.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A5.I1.i2.p1" class="ltx_para">
<p id="A5.I1.i2.p1.2" class="ltx_p"><math id="A5.I1.i2.p1.1.m1.1" class="ltx_Math" alttext="g_{t}" display="inline"><semantics id="A5.I1.i2.p1.1.m1.1a"><msub id="A5.I1.i2.p1.1.m1.1.1" xref="A5.I1.i2.p1.1.m1.1.1.cmml"><mi id="A5.I1.i2.p1.1.m1.1.1.2" xref="A5.I1.i2.p1.1.m1.1.1.2.cmml">g</mi><mi id="A5.I1.i2.p1.1.m1.1.1.3" xref="A5.I1.i2.p1.1.m1.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="A5.I1.i2.p1.1.m1.1b"><apply id="A5.I1.i2.p1.1.m1.1.1.cmml" xref="A5.I1.i2.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A5.I1.i2.p1.1.m1.1.1.1.cmml" xref="A5.I1.i2.p1.1.m1.1.1">subscript</csymbol><ci id="A5.I1.i2.p1.1.m1.1.1.2.cmml" xref="A5.I1.i2.p1.1.m1.1.1.2">𝑔</ci><ci id="A5.I1.i2.p1.1.m1.1.1.3.cmml" xref="A5.I1.i2.p1.1.m1.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i2.p1.1.m1.1c">g_{t}</annotation></semantics></math>: the gradient at step <math id="A5.I1.i2.p1.2.m2.1" class="ltx_Math" alttext="t" display="inline"><semantics id="A5.I1.i2.p1.2.m2.1a"><mi id="A5.I1.i2.p1.2.m2.1.1" xref="A5.I1.i2.p1.2.m2.1.1.cmml">t</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i2.p1.2.m2.1b"><ci id="A5.I1.i2.p1.2.m2.1.1.cmml" xref="A5.I1.i2.p1.2.m2.1.1">𝑡</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i2.p1.2.m2.1c">t</annotation></semantics></math></p>
</div>
</li>
<li id="A5.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A5.I1.i3.p1" class="ltx_para">
<p id="A5.I1.i3.p1.1" class="ltx_p"><math id="A5.I1.i3.p1.1.m1.1" class="ltx_Math" alttext="p" display="inline"><semantics id="A5.I1.i3.p1.1.m1.1a"><mi id="A5.I1.i3.p1.1.m1.1.1" xref="A5.I1.i3.p1.1.m1.1.1.cmml">p</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i3.p1.1.m1.1b"><ci id="A5.I1.i3.p1.1.m1.1.1.cmml" xref="A5.I1.i3.p1.1.m1.1.1">𝑝</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i3.p1.1.m1.1c">p</annotation></semantics></math>: preconditioner update probability default is 0.1</p>
</div>
</li>
<li id="A5.I1.i4" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A5.I1.i4.p1" class="ltx_para">
<p id="A5.I1.i4.p1.4" class="ltx_p"><math id="A5.I1.i4.p1.1.m1.2" class="ltx_Math" alttext="h_{t},v_{t}" display="inline"><semantics id="A5.I1.i4.p1.1.m1.2a"><mrow id="A5.I1.i4.p1.1.m1.2.2.2" xref="A5.I1.i4.p1.1.m1.2.2.3.cmml"><msub id="A5.I1.i4.p1.1.m1.1.1.1.1" xref="A5.I1.i4.p1.1.m1.1.1.1.1.cmml"><mi id="A5.I1.i4.p1.1.m1.1.1.1.1.2" xref="A5.I1.i4.p1.1.m1.1.1.1.1.2.cmml">h</mi><mi id="A5.I1.i4.p1.1.m1.1.1.1.1.3" xref="A5.I1.i4.p1.1.m1.1.1.1.1.3.cmml">t</mi></msub><mo id="A5.I1.i4.p1.1.m1.2.2.2.3" xref="A5.I1.i4.p1.1.m1.2.2.3.cmml">,</mo><msub id="A5.I1.i4.p1.1.m1.2.2.2.2" xref="A5.I1.i4.p1.1.m1.2.2.2.2.cmml"><mi id="A5.I1.i4.p1.1.m1.2.2.2.2.2" xref="A5.I1.i4.p1.1.m1.2.2.2.2.2.cmml">v</mi><mi id="A5.I1.i4.p1.1.m1.2.2.2.2.3" xref="A5.I1.i4.p1.1.m1.2.2.2.2.3.cmml">t</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i4.p1.1.m1.2b"><list id="A5.I1.i4.p1.1.m1.2.2.3.cmml" xref="A5.I1.i4.p1.1.m1.2.2.2"><apply id="A5.I1.i4.p1.1.m1.1.1.1.1.cmml" xref="A5.I1.i4.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A5.I1.i4.p1.1.m1.1.1.1.1.1.cmml" xref="A5.I1.i4.p1.1.m1.1.1.1.1">subscript</csymbol><ci id="A5.I1.i4.p1.1.m1.1.1.1.1.2.cmml" xref="A5.I1.i4.p1.1.m1.1.1.1.1.2">ℎ</ci><ci id="A5.I1.i4.p1.1.m1.1.1.1.1.3.cmml" xref="A5.I1.i4.p1.1.m1.1.1.1.1.3">𝑡</ci></apply><apply id="A5.I1.i4.p1.1.m1.2.2.2.2.cmml" xref="A5.I1.i4.p1.1.m1.2.2.2.2"><csymbol cd="ambiguous" id="A5.I1.i4.p1.1.m1.2.2.2.2.1.cmml" xref="A5.I1.i4.p1.1.m1.2.2.2.2">subscript</csymbol><ci id="A5.I1.i4.p1.1.m1.2.2.2.2.2.cmml" xref="A5.I1.i4.p1.1.m1.2.2.2.2.2">𝑣</ci><ci id="A5.I1.i4.p1.1.m1.2.2.2.2.3.cmml" xref="A5.I1.i4.p1.1.m1.2.2.2.2.3">𝑡</ci></apply></list></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i4.p1.1.m1.2c">h_{t},v_{t}</annotation></semantics></math>: <math id="A5.I1.i4.p1.2.m2.1" class="ltx_Math" alttext="h_{t}" display="inline"><semantics id="A5.I1.i4.p1.2.m2.1a"><msub id="A5.I1.i4.p1.2.m2.1.1" xref="A5.I1.i4.p1.2.m2.1.1.cmml"><mi id="A5.I1.i4.p1.2.m2.1.1.2" xref="A5.I1.i4.p1.2.m2.1.1.2.cmml">h</mi><mi id="A5.I1.i4.p1.2.m2.1.1.3" xref="A5.I1.i4.p1.2.m2.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="A5.I1.i4.p1.2.m2.1b"><apply id="A5.I1.i4.p1.2.m2.1.1.cmml" xref="A5.I1.i4.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A5.I1.i4.p1.2.m2.1.1.1.cmml" xref="A5.I1.i4.p1.2.m2.1.1">subscript</csymbol><ci id="A5.I1.i4.p1.2.m2.1.1.2.cmml" xref="A5.I1.i4.p1.2.m2.1.1.2">ℎ</ci><ci id="A5.I1.i4.p1.2.m2.1.1.3.cmml" xref="A5.I1.i4.p1.2.m2.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i4.p1.2.m2.1c">h_{t}</annotation></semantics></math> the Hessian vector product; <math id="A5.I1.i4.p1.3.m3.1" class="ltx_Math" alttext="v_{t}" display="inline"><semantics id="A5.I1.i4.p1.3.m3.1a"><msub id="A5.I1.i4.p1.3.m3.1.1" xref="A5.I1.i4.p1.3.m3.1.1.cmml"><mi id="A5.I1.i4.p1.3.m3.1.1.2" xref="A5.I1.i4.p1.3.m3.1.1.2.cmml">v</mi><mi id="A5.I1.i4.p1.3.m3.1.1.3" xref="A5.I1.i4.p1.3.m3.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="A5.I1.i4.p1.3.m3.1b"><apply id="A5.I1.i4.p1.3.m3.1.1.cmml" xref="A5.I1.i4.p1.3.m3.1.1"><csymbol cd="ambiguous" id="A5.I1.i4.p1.3.m3.1.1.1.cmml" xref="A5.I1.i4.p1.3.m3.1.1">subscript</csymbol><ci id="A5.I1.i4.p1.3.m3.1.1.2.cmml" xref="A5.I1.i4.p1.3.m3.1.1.2">𝑣</ci><ci id="A5.I1.i4.p1.3.m3.1.1.3.cmml" xref="A5.I1.i4.p1.3.m3.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i4.p1.3.m3.1c">v_{t}</annotation></semantics></math> drawn from <math id="A5.I1.i4.p1.4.m4.2" class="ltx_Math" alttext="\sim\mathcal{N}(0,I)" display="inline"><semantics id="A5.I1.i4.p1.4.m4.2a"><mrow id="A5.I1.i4.p1.4.m4.2.3" xref="A5.I1.i4.p1.4.m4.2.3.cmml"><mi id="A5.I1.i4.p1.4.m4.2.3.2" xref="A5.I1.i4.p1.4.m4.2.3.2.cmml"></mi><mo id="A5.I1.i4.p1.4.m4.2.3.1" xref="A5.I1.i4.p1.4.m4.2.3.1.cmml">∼</mo><mrow id="A5.I1.i4.p1.4.m4.2.3.3" xref="A5.I1.i4.p1.4.m4.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A5.I1.i4.p1.4.m4.2.3.3.2" xref="A5.I1.i4.p1.4.m4.2.3.3.2.cmml">𝒩</mi><mo lspace="0em" rspace="0em" id="A5.I1.i4.p1.4.m4.2.3.3.1" xref="A5.I1.i4.p1.4.m4.2.3.3.1.cmml">​</mo><mrow id="A5.I1.i4.p1.4.m4.2.3.3.3.2" xref="A5.I1.i4.p1.4.m4.2.3.3.3.1.cmml"><mo stretchy="false" id="A5.I1.i4.p1.4.m4.2.3.3.3.2.1" xref="A5.I1.i4.p1.4.m4.2.3.3.3.1.cmml">(</mo><mn id="A5.I1.i4.p1.4.m4.1.1" xref="A5.I1.i4.p1.4.m4.1.1.cmml">0</mn><mo id="A5.I1.i4.p1.4.m4.2.3.3.3.2.2" xref="A5.I1.i4.p1.4.m4.2.3.3.3.1.cmml">,</mo><mi id="A5.I1.i4.p1.4.m4.2.2" xref="A5.I1.i4.p1.4.m4.2.2.cmml">I</mi><mo stretchy="false" id="A5.I1.i4.p1.4.m4.2.3.3.3.2.3" xref="A5.I1.i4.p1.4.m4.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i4.p1.4.m4.2b"><apply id="A5.I1.i4.p1.4.m4.2.3.cmml" xref="A5.I1.i4.p1.4.m4.2.3"><csymbol cd="latexml" id="A5.I1.i4.p1.4.m4.2.3.1.cmml" xref="A5.I1.i4.p1.4.m4.2.3.1">similar-to</csymbol><csymbol cd="latexml" id="A5.I1.i4.p1.4.m4.2.3.2.cmml" xref="A5.I1.i4.p1.4.m4.2.3.2">absent</csymbol><apply id="A5.I1.i4.p1.4.m4.2.3.3.cmml" xref="A5.I1.i4.p1.4.m4.2.3.3"><times id="A5.I1.i4.p1.4.m4.2.3.3.1.cmml" xref="A5.I1.i4.p1.4.m4.2.3.3.1"></times><ci id="A5.I1.i4.p1.4.m4.2.3.3.2.cmml" xref="A5.I1.i4.p1.4.m4.2.3.3.2">𝒩</ci><interval closure="open" id="A5.I1.i4.p1.4.m4.2.3.3.3.1.cmml" xref="A5.I1.i4.p1.4.m4.2.3.3.3.2"><cn type="integer" id="A5.I1.i4.p1.4.m4.1.1.cmml" xref="A5.I1.i4.p1.4.m4.1.1">0</cn><ci id="A5.I1.i4.p1.4.m4.2.2.cmml" xref="A5.I1.i4.p1.4.m4.2.2">𝐼</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i4.p1.4.m4.2c">\sim\mathcal{N}(0,I)</annotation></semantics></math></p>
</div>
</li>
<li id="A5.I1.i5" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A5.I1.i5.p1" class="ltx_para">
<p id="A5.I1.i5.p1.3" class="ltx_p"><math id="A5.I1.i5.p1.1.m1.2" class="ltx_Math" alttext="P,Q" display="inline"><semantics id="A5.I1.i5.p1.1.m1.2a"><mrow id="A5.I1.i5.p1.1.m1.2.3.2" xref="A5.I1.i5.p1.1.m1.2.3.1.cmml"><mi id="A5.I1.i5.p1.1.m1.1.1" xref="A5.I1.i5.p1.1.m1.1.1.cmml">P</mi><mo id="A5.I1.i5.p1.1.m1.2.3.2.1" xref="A5.I1.i5.p1.1.m1.2.3.1.cmml">,</mo><mi id="A5.I1.i5.p1.1.m1.2.2" xref="A5.I1.i5.p1.1.m1.2.2.cmml">Q</mi></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i5.p1.1.m1.2b"><list id="A5.I1.i5.p1.1.m1.2.3.1.cmml" xref="A5.I1.i5.p1.1.m1.2.3.2"><ci id="A5.I1.i5.p1.1.m1.1.1.cmml" xref="A5.I1.i5.p1.1.m1.1.1">𝑃</ci><ci id="A5.I1.i5.p1.1.m1.2.2.cmml" xref="A5.I1.i5.p1.1.m1.2.2">𝑄</ci></list></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.p1.1.m1.2c">P,Q</annotation></semantics></math>: <math id="A5.I1.i5.p1.2.m2.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A5.I1.i5.p1.2.m2.1a"><mi id="A5.I1.i5.p1.2.m2.1.1" xref="A5.I1.i5.p1.2.m2.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i5.p1.2.m2.1b"><ci id="A5.I1.i5.p1.2.m2.1.1.cmml" xref="A5.I1.i5.p1.2.m2.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.p1.2.m2.1c">P</annotation></semantics></math> is the gradient preconditioner (never explicitly formed) defined as <math id="A5.I1.i5.p1.3.m3.1" class="ltx_Math" alttext="P=Q^{T}Q" display="inline"><semantics id="A5.I1.i5.p1.3.m3.1a"><mrow id="A5.I1.i5.p1.3.m3.1.1" xref="A5.I1.i5.p1.3.m3.1.1.cmml"><mi id="A5.I1.i5.p1.3.m3.1.1.2" xref="A5.I1.i5.p1.3.m3.1.1.2.cmml">P</mi><mo id="A5.I1.i5.p1.3.m3.1.1.1" xref="A5.I1.i5.p1.3.m3.1.1.1.cmml">=</mo><mrow id="A5.I1.i5.p1.3.m3.1.1.3" xref="A5.I1.i5.p1.3.m3.1.1.3.cmml"><msup id="A5.I1.i5.p1.3.m3.1.1.3.2" xref="A5.I1.i5.p1.3.m3.1.1.3.2.cmml"><mi id="A5.I1.i5.p1.3.m3.1.1.3.2.2" xref="A5.I1.i5.p1.3.m3.1.1.3.2.2.cmml">Q</mi><mi id="A5.I1.i5.p1.3.m3.1.1.3.2.3" xref="A5.I1.i5.p1.3.m3.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A5.I1.i5.p1.3.m3.1.1.3.1" xref="A5.I1.i5.p1.3.m3.1.1.3.1.cmml">​</mo><mi id="A5.I1.i5.p1.3.m3.1.1.3.3" xref="A5.I1.i5.p1.3.m3.1.1.3.3.cmml">Q</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i5.p1.3.m3.1b"><apply id="A5.I1.i5.p1.3.m3.1.1.cmml" xref="A5.I1.i5.p1.3.m3.1.1"><eq id="A5.I1.i5.p1.3.m3.1.1.1.cmml" xref="A5.I1.i5.p1.3.m3.1.1.1"></eq><ci id="A5.I1.i5.p1.3.m3.1.1.2.cmml" xref="A5.I1.i5.p1.3.m3.1.1.2">𝑃</ci><apply id="A5.I1.i5.p1.3.m3.1.1.3.cmml" xref="A5.I1.i5.p1.3.m3.1.1.3"><times id="A5.I1.i5.p1.3.m3.1.1.3.1.cmml" xref="A5.I1.i5.p1.3.m3.1.1.3.1"></times><apply id="A5.I1.i5.p1.3.m3.1.1.3.2.cmml" xref="A5.I1.i5.p1.3.m3.1.1.3.2"><csymbol cd="ambiguous" id="A5.I1.i5.p1.3.m3.1.1.3.2.1.cmml" xref="A5.I1.i5.p1.3.m3.1.1.3.2">superscript</csymbol><ci id="A5.I1.i5.p1.3.m3.1.1.3.2.2.cmml" xref="A5.I1.i5.p1.3.m3.1.1.3.2.2">𝑄</ci><ci id="A5.I1.i5.p1.3.m3.1.1.3.2.3.cmml" xref="A5.I1.i5.p1.3.m3.1.1.3.2.3">𝑇</ci></apply><ci id="A5.I1.i5.p1.3.m3.1.1.3.3.cmml" xref="A5.I1.i5.p1.3.m3.1.1.3.3">𝑄</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.p1.3.m3.1c">P=Q^{T}Q</annotation></semantics></math></p>
<ul id="A5.I1.i5.I1" class="ltx_itemize">
<li id="A5.I1.i5.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item"><span id="A5.I1.i5.I1.i1.1.1.1" class="ltx_text ltx_font_bold">–</span></span> 
<div id="A5.I1.i5.I1.i1.p1" class="ltx_para">
<p id="A5.I1.i5.I1.i1.p1.4" class="ltx_p"><math id="A5.I1.i5.I1.i1.p1.1.m1.1" class="ltx_Math" alttext="UVd" display="inline"><semantics id="A5.I1.i5.I1.i1.p1.1.m1.1a"><mrow id="A5.I1.i5.I1.i1.p1.1.m1.1.1" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.cmml"><mi id="A5.I1.i5.I1.i1.p1.1.m1.1.1.2" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i1.p1.1.m1.1.1.1" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.1.cmml">​</mo><mi id="A5.I1.i5.I1.i1.p1.1.m1.1.1.3" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i1.p1.1.m1.1.1.1a" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.1.cmml">​</mo><mi id="A5.I1.i5.I1.i1.p1.1.m1.1.1.4" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.4.cmml">d</mi></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i1.p1.1.m1.1b"><apply id="A5.I1.i5.I1.i1.p1.1.m1.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1"><times id="A5.I1.i5.I1.i1.p1.1.m1.1.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.1"></times><ci id="A5.I1.i5.I1.i1.p1.1.m1.1.1.2.cmml" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.2">𝑈</ci><ci id="A5.I1.i5.I1.i1.p1.1.m1.1.1.3.cmml" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.3">𝑉</ci><ci id="A5.I1.i5.I1.i1.p1.1.m1.1.1.4.cmml" xref="A5.I1.i5.I1.i1.p1.1.m1.1.1.4">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i1.p1.1.m1.1c">UVd</annotation></semantics></math>: For <math id="A5.I1.i5.I1.i1.p1.2.m2.1" class="ltx_Math" alttext="UVd" display="inline"><semantics id="A5.I1.i5.I1.i1.p1.2.m2.1a"><mrow id="A5.I1.i5.I1.i1.p1.2.m2.1.1" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.cmml"><mi id="A5.I1.i5.I1.i1.p1.2.m2.1.1.2" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i1.p1.2.m2.1.1.1" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.1.cmml">​</mo><mi id="A5.I1.i5.I1.i1.p1.2.m2.1.1.3" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.3.cmml">V</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i1.p1.2.m2.1.1.1a" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.1.cmml">​</mo><mi id="A5.I1.i5.I1.i1.p1.2.m2.1.1.4" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.4.cmml">d</mi></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i1.p1.2.m2.1b"><apply id="A5.I1.i5.I1.i1.p1.2.m2.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1"><times id="A5.I1.i5.I1.i1.p1.2.m2.1.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.1"></times><ci id="A5.I1.i5.I1.i1.p1.2.m2.1.1.2.cmml" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.2">𝑈</ci><ci id="A5.I1.i5.I1.i1.p1.2.m2.1.1.3.cmml" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.3">𝑉</ci><ci id="A5.I1.i5.I1.i1.p1.2.m2.1.1.4.cmml" xref="A5.I1.i5.I1.i1.p1.2.m2.1.1.4">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i1.p1.2.m2.1c">UVd</annotation></semantics></math>, <math id="A5.I1.i5.I1.i1.p1.3.m3.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A5.I1.i5.I1.i1.p1.3.m3.1a"><mi id="A5.I1.i5.I1.i1.p1.3.m3.1.1" xref="A5.I1.i5.I1.i1.p1.3.m3.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i1.p1.3.m3.1b"><ci id="A5.I1.i5.I1.i1.p1.3.m3.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.3.m3.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i1.p1.3.m3.1c">Q</annotation></semantics></math> takes form of <math id="A5.I1.i5.I1.i1.p1.4.m4.2" class="ltx_Math" alttext="Q=(I+UV^{T}){\rm diag}(d)" display="inline"><semantics id="A5.I1.i5.I1.i1.p1.4.m4.2a"><mrow id="A5.I1.i5.I1.i1.p1.4.m4.2.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.cmml"><mi id="A5.I1.i5.I1.i1.p1.4.m4.2.2.3" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.3.cmml">Q</mi><mo id="A5.I1.i5.I1.i1.p1.4.m4.2.2.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.2.cmml">=</mo><mrow id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.cmml"><mrow id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.cmml">(</mo><mrow id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.cmml"><mi id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.2.cmml">I</mi><mo id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.1" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.1.cmml">+</mo><mrow id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.cmml"><mi id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.1" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.1.cmml">​</mo><msup id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.cmml"><mi id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.2.cmml">V</mi><mi id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.3" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.3" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.2.cmml">​</mo><mi id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.3" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.2a" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.2.cmml">​</mo><mrow id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.4.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.cmml"><mo stretchy="false" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.4.2.1" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.cmml">(</mo><mi id="A5.I1.i5.I1.i1.p1.4.m4.1.1" xref="A5.I1.i5.I1.i1.p1.4.m4.1.1.cmml">d</mi><mo stretchy="false" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.4.2.2" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i1.p1.4.m4.2b"><apply id="A5.I1.i5.I1.i1.p1.4.m4.2.2.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2"><eq id="A5.I1.i5.I1.i1.p1.4.m4.2.2.2.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.2"></eq><ci id="A5.I1.i5.I1.i1.p1.4.m4.2.2.3.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.3">𝑄</ci><apply id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1"><times id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.2.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.2"></times><apply id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1"><plus id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.1"></plus><ci id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.2.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.2">𝐼</ci><apply id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3"><times id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.1.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.1"></times><ci id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.2.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.2">𝑈</ci><apply id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.1.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3">superscript</csymbol><ci id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.2.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.2">𝑉</ci><ci id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.3.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.3.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.2.2.1.3">diag</ci><ci id="A5.I1.i5.I1.i1.p1.4.m4.1.1.cmml" xref="A5.I1.i5.I1.i1.p1.4.m4.1.1">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i1.p1.4.m4.2c">Q=(I+UV^{T}){\rm diag}(d)</annotation></semantics></math></p>
</div>
</li>
<li id="A5.I1.i5.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item"><span id="A5.I1.i5.I1.i2.1.1.1" class="ltx_text ltx_font_bold">–</span></span> 
<div id="A5.I1.i5.I1.i2.p1" class="ltx_para">
<p id="A5.I1.i5.I1.i2.p1.4" class="ltx_p"><math id="A5.I1.i5.I1.i2.p1.1.m1.1" class="ltx_Math" alttext="X" display="inline"><semantics id="A5.I1.i5.I1.i2.p1.1.m1.1a"><mi id="A5.I1.i5.I1.i2.p1.1.m1.1.1" xref="A5.I1.i5.I1.i2.p1.1.m1.1.1.cmml">X</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.p1.1.m1.1b"><ci id="A5.I1.i5.I1.i2.p1.1.m1.1.1.cmml" xref="A5.I1.i5.I1.i2.p1.1.m1.1.1">𝑋</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.p1.1.m1.1c">X</annotation></semantics></math>Mat: For <math id="A5.I1.i5.I1.i2.p1.2.m2.1" class="ltx_Math" alttext="X" display="inline"><semantics id="A5.I1.i5.I1.i2.p1.2.m2.1a"><mi id="A5.I1.i5.I1.i2.p1.2.m2.1.1" xref="A5.I1.i5.I1.i2.p1.2.m2.1.1.cmml">X</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.p1.2.m2.1b"><ci id="A5.I1.i5.I1.i2.p1.2.m2.1.1.cmml" xref="A5.I1.i5.I1.i2.p1.2.m2.1.1">𝑋</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.p1.2.m2.1c">X</annotation></semantics></math>Mat, <math id="A5.I1.i5.I1.i2.p1.3.m3.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A5.I1.i5.I1.i2.p1.3.m3.1a"><mi id="A5.I1.i5.I1.i2.p1.3.m3.1.1" xref="A5.I1.i5.I1.i2.p1.3.m3.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.p1.3.m3.1b"><ci id="A5.I1.i5.I1.i2.p1.3.m3.1.1.cmml" xref="A5.I1.i5.I1.i2.p1.3.m3.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.p1.3.m3.1c">Q</annotation></semantics></math> takes form of <math id="A5.I1.i5.I1.i2.p1.4.m4.2" class="ltx_Math" alttext="Q={\rm diag}(a)+{\rm adiag}(b)" display="inline"><semantics id="A5.I1.i5.I1.i2.p1.4.m4.2a"><mrow id="A5.I1.i5.I1.i2.p1.4.m4.2.3" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.cmml"><mi id="A5.I1.i5.I1.i2.p1.4.m4.2.3.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.2.cmml">Q</mi><mo id="A5.I1.i5.I1.i2.p1.4.m4.2.3.1" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.1.cmml">=</mo><mrow id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.cmml"><mrow id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.cmml"><mi id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.1" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.1.cmml">​</mo><mrow id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.3.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.cmml"><mo stretchy="false" id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.3.2.1" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.cmml">(</mo><mi id="A5.I1.i5.I1.i2.p1.4.m4.1.1" xref="A5.I1.i5.I1.i2.p1.4.m4.1.1.cmml">a</mi><mo stretchy="false" id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.3.2.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.1" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.1.cmml">+</mo><mrow id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.cmml"><mi id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.1" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.1.cmml">​</mo><mrow id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.3.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.cmml"><mo stretchy="false" id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.3.2.1" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.cmml">(</mo><mi id="A5.I1.i5.I1.i2.p1.4.m4.2.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.2.cmml">b</mi><mo stretchy="false" id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.3.2.2" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.p1.4.m4.2b"><apply id="A5.I1.i5.I1.i2.p1.4.m4.2.3.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3"><eq id="A5.I1.i5.I1.i2.p1.4.m4.2.3.1.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.1"></eq><ci id="A5.I1.i5.I1.i2.p1.4.m4.2.3.2.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.2">𝑄</ci><apply id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3"><plus id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.1.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.1"></plus><apply id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2"><times id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.1.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.1"></times><ci id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.2.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.2.2">diag</ci><ci id="A5.I1.i5.I1.i2.p1.4.m4.1.1.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.1.1">𝑎</ci></apply><apply id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3"><times id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.1.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.1"></times><ci id="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.2.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.3.3.3.2">adiag</ci><ci id="A5.I1.i5.I1.i2.p1.4.m4.2.2.cmml" xref="A5.I1.i5.I1.i2.p1.4.m4.2.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.p1.4.m4.2c">Q={\rm diag}(a)+{\rm adiag}(b)</annotation></semantics></math></p>
<ul id="A5.I1.i5.I1.i2.I1" class="ltx_itemize">
<li id="A5.I1.i5.I1.i2.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">*</span> 
<div id="A5.I1.i5.I1.i2.I1.i1.p1" class="ltx_para">
<p id="A5.I1.i5.I1.i2.I1.i1.p1.2" class="ltx_p"><math id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1" class="ltx_Math" alttext="{\rm adiag}(b)" display="inline"><semantics id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1a"><mrow id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.cmml"><mi id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.2" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.1" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.1.cmml">​</mo><mrow id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.3.2" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.cmml"><mo stretchy="false" id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.3.2.1" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.cmml">(</mo><mi id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.1" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.1.cmml">b</mi><mo stretchy="false" id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.3.2.2" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1b"><apply id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.cmml" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2"><times id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.1.cmml" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.1"></times><ci id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.2.cmml" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.2.2">adiag</ci><ci id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.1.cmml" xref="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1.1">𝑏</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.I1.i1.p1.1.m1.1c">{\rm adiag}(b)</annotation></semantics></math>: the anti-diagonal matrix with elements in vector <math id="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1" class="ltx_Math" alttext="b" display="inline"><semantics id="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1a"><mi id="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1.1" xref="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1b"><ci id="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1.1.cmml" xref="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.I1.i1.p1.2.m2.1c">b</annotation></semantics></math> as its entries.</p>
</div>
</li>
<li id="A5.I1.i5.I1.i2.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">*</span> 
<div id="A5.I1.i5.I1.i2.I1.i2.p1" class="ltx_para">
<p id="A5.I1.i5.I1.i2.I1.i2.p1.2" class="ltx_p"><math id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1" class="ltx_Math" alttext="\overline{a}" display="inline"><semantics id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1a"><mover accent="true" id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1" xref="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.cmml"><mi id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.2" xref="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.2.cmml">a</mi><mo id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.1" xref="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.1.cmml">¯</mo></mover><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1b"><apply id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.cmml" xref="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1"><ci id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.1.cmml" xref="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.1">¯</ci><ci id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.2.cmml" xref="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1.1.2">𝑎</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.I1.i2.p1.1.m1.1c">\overline{a}</annotation></semantics></math>: the operation of flipping the order of elements in vector <math id="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1" class="ltx_Math" alttext="a" display="inline"><semantics id="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1a"><mi id="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1.1" xref="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1b"><ci id="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1.1.cmml" xref="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i5.I1.i2.I1.i2.p1.2.m2.1c">a</annotation></semantics></math>.</p>
</div>
</li>
</ul>
</div>
</li>
</ul>
</div>
</li>
<li id="A5.I1.i6" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A5.I1.i6.p1" class="ltx_para">
<p id="A5.I1.i6.p1.4" class="ltx_p"><math id="A5.I1.i6.p1.1.m1.2" class="ltx_Math" alttext="\mu_{1},\mu_{2}" display="inline"><semantics id="A5.I1.i6.p1.1.m1.2a"><mrow id="A5.I1.i6.p1.1.m1.2.2.2" xref="A5.I1.i6.p1.1.m1.2.2.3.cmml"><msub id="A5.I1.i6.p1.1.m1.1.1.1.1" xref="A5.I1.i6.p1.1.m1.1.1.1.1.cmml"><mi id="A5.I1.i6.p1.1.m1.1.1.1.1.2" xref="A5.I1.i6.p1.1.m1.1.1.1.1.2.cmml">μ</mi><mn id="A5.I1.i6.p1.1.m1.1.1.1.1.3" xref="A5.I1.i6.p1.1.m1.1.1.1.1.3.cmml">1</mn></msub><mo id="A5.I1.i6.p1.1.m1.2.2.2.3" xref="A5.I1.i6.p1.1.m1.2.2.3.cmml">,</mo><msub id="A5.I1.i6.p1.1.m1.2.2.2.2" xref="A5.I1.i6.p1.1.m1.2.2.2.2.cmml"><mi id="A5.I1.i6.p1.1.m1.2.2.2.2.2" xref="A5.I1.i6.p1.1.m1.2.2.2.2.2.cmml">μ</mi><mn id="A5.I1.i6.p1.1.m1.2.2.2.2.3" xref="A5.I1.i6.p1.1.m1.2.2.2.2.3.cmml">2</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="A5.I1.i6.p1.1.m1.2b"><list id="A5.I1.i6.p1.1.m1.2.2.3.cmml" xref="A5.I1.i6.p1.1.m1.2.2.2"><apply id="A5.I1.i6.p1.1.m1.1.1.1.1.cmml" xref="A5.I1.i6.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A5.I1.i6.p1.1.m1.1.1.1.1.1.cmml" xref="A5.I1.i6.p1.1.m1.1.1.1.1">subscript</csymbol><ci id="A5.I1.i6.p1.1.m1.1.1.1.1.2.cmml" xref="A5.I1.i6.p1.1.m1.1.1.1.1.2">𝜇</ci><cn type="integer" id="A5.I1.i6.p1.1.m1.1.1.1.1.3.cmml" xref="A5.I1.i6.p1.1.m1.1.1.1.1.3">1</cn></apply><apply id="A5.I1.i6.p1.1.m1.2.2.2.2.cmml" xref="A5.I1.i6.p1.1.m1.2.2.2.2"><csymbol cd="ambiguous" id="A5.I1.i6.p1.1.m1.2.2.2.2.1.cmml" xref="A5.I1.i6.p1.1.m1.2.2.2.2">subscript</csymbol><ci id="A5.I1.i6.p1.1.m1.2.2.2.2.2.cmml" xref="A5.I1.i6.p1.1.m1.2.2.2.2.2">𝜇</ci><cn type="integer" id="A5.I1.i6.p1.1.m1.2.2.2.2.3.cmml" xref="A5.I1.i6.p1.1.m1.2.2.2.2.3">2</cn></apply></list></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i6.p1.1.m1.2c">\mu_{1},\mu_{2}</annotation></semantics></math>: <math id="A5.I1.i6.p1.2.m2.1" class="ltx_Math" alttext="\mu_{1}" display="inline"><semantics id="A5.I1.i6.p1.2.m2.1a"><msub id="A5.I1.i6.p1.2.m2.1.1" xref="A5.I1.i6.p1.2.m2.1.1.cmml"><mi id="A5.I1.i6.p1.2.m2.1.1.2" xref="A5.I1.i6.p1.2.m2.1.1.2.cmml">μ</mi><mn id="A5.I1.i6.p1.2.m2.1.1.3" xref="A5.I1.i6.p1.2.m2.1.1.3.cmml">1</mn></msub><annotation-xml encoding="MathML-Content" id="A5.I1.i6.p1.2.m2.1b"><apply id="A5.I1.i6.p1.2.m2.1.1.cmml" xref="A5.I1.i6.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A5.I1.i6.p1.2.m2.1.1.1.cmml" xref="A5.I1.i6.p1.2.m2.1.1">subscript</csymbol><ci id="A5.I1.i6.p1.2.m2.1.1.2.cmml" xref="A5.I1.i6.p1.2.m2.1.1.2">𝜇</ci><cn type="integer" id="A5.I1.i6.p1.2.m2.1.1.3.cmml" xref="A5.I1.i6.p1.2.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i6.p1.2.m2.1c">\mu_{1}</annotation></semantics></math> is the optimizer step size; <math id="A5.I1.i6.p1.3.m3.1" class="ltx_Math" alttext="\mu_{2}" display="inline"><semantics id="A5.I1.i6.p1.3.m3.1a"><msub id="A5.I1.i6.p1.3.m3.1.1" xref="A5.I1.i6.p1.3.m3.1.1.cmml"><mi id="A5.I1.i6.p1.3.m3.1.1.2" xref="A5.I1.i6.p1.3.m3.1.1.2.cmml">μ</mi><mn id="A5.I1.i6.p1.3.m3.1.1.3" xref="A5.I1.i6.p1.3.m3.1.1.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="A5.I1.i6.p1.3.m3.1b"><apply id="A5.I1.i6.p1.3.m3.1.1.cmml" xref="A5.I1.i6.p1.3.m3.1.1"><csymbol cd="ambiguous" id="A5.I1.i6.p1.3.m3.1.1.1.cmml" xref="A5.I1.i6.p1.3.m3.1.1">subscript</csymbol><ci id="A5.I1.i6.p1.3.m3.1.1.2.cmml" xref="A5.I1.i6.p1.3.m3.1.1.2">𝜇</ci><cn type="integer" id="A5.I1.i6.p1.3.m3.1.1.3.cmml" xref="A5.I1.i6.p1.3.m3.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i6.p1.3.m3.1c">\mu_{2}</annotation></semantics></math> is the preconditioner step size, both default to <math id="A5.I1.i6.p1.4.m4.1" class="ltx_Math" alttext="10^{-2}" display="inline"><semantics id="A5.I1.i6.p1.4.m4.1a"><msup id="A5.I1.i6.p1.4.m4.1.1" xref="A5.I1.i6.p1.4.m4.1.1.cmml"><mn id="A5.I1.i6.p1.4.m4.1.1.2" xref="A5.I1.i6.p1.4.m4.1.1.2.cmml">10</mn><mrow id="A5.I1.i6.p1.4.m4.1.1.3" xref="A5.I1.i6.p1.4.m4.1.1.3.cmml"><mo id="A5.I1.i6.p1.4.m4.1.1.3a" xref="A5.I1.i6.p1.4.m4.1.1.3.cmml">−</mo><mn id="A5.I1.i6.p1.4.m4.1.1.3.2" xref="A5.I1.i6.p1.4.m4.1.1.3.2.cmml">2</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A5.I1.i6.p1.4.m4.1b"><apply id="A5.I1.i6.p1.4.m4.1.1.cmml" xref="A5.I1.i6.p1.4.m4.1.1"><csymbol cd="ambiguous" id="A5.I1.i6.p1.4.m4.1.1.1.cmml" xref="A5.I1.i6.p1.4.m4.1.1">superscript</csymbol><cn type="integer" id="A5.I1.i6.p1.4.m4.1.1.2.cmml" xref="A5.I1.i6.p1.4.m4.1.1.2">10</cn><apply id="A5.I1.i6.p1.4.m4.1.1.3.cmml" xref="A5.I1.i6.p1.4.m4.1.1.3"><minus id="A5.I1.i6.p1.4.m4.1.1.3.1.cmml" xref="A5.I1.i6.p1.4.m4.1.1.3"></minus><cn type="integer" id="A5.I1.i6.p1.4.m4.1.1.3.2.cmml" xref="A5.I1.i6.p1.4.m4.1.1.3.2">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.I1.i6.p1.4.m4.1c">10^{-2}</annotation></semantics></math></p>
</div>
</li>
</ul>
<div id="A5.SS0.SSS0.Px1.p1.2" class="ltx_logical-block ltx_minipage ltx_align_middle" style="width:212.5pt;">
<figure id="alg6" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<p id="alg6.15" class="ltx_p"><span id="alg6.15.3" class="ltx_text ltx_font_bold">Initialize</span> <math id="alg6.1.m1.1" class="ltx_Math" alttext="\theta_{0}" display="inline"><semantics id="alg6.1.m1.1a"><msub id="alg6.1.m1.1.1" xref="alg6.1.m1.1.1.cmml"><mi id="alg6.1.m1.1.1.2" xref="alg6.1.m1.1.1.2.cmml">θ</mi><mn id="alg6.1.m1.1.1.3" xref="alg6.1.m1.1.1.3.cmml">0</mn></msub><annotation-xml encoding="MathML-Content" id="alg6.1.m1.1b"><apply id="alg6.1.m1.1.1.cmml" xref="alg6.1.m1.1.1"><csymbol cd="ambiguous" id="alg6.1.m1.1.1.1.cmml" xref="alg6.1.m1.1.1">subscript</csymbol><ci id="alg6.1.m1.1.1.2.cmml" xref="alg6.1.m1.1.1.2">𝜃</ci><cn type="integer" id="alg6.1.m1.1.1.3.cmml" xref="alg6.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.1.m1.1c">\theta_{0}</annotation></semantics></math>, <math id="alg6.2.m2.1" class="ltx_Math" alttext="t\leftarrow 0" display="inline"><semantics id="alg6.2.m2.1a"><mrow id="alg6.2.m2.1.1" xref="alg6.2.m2.1.1.cmml"><mi id="alg6.2.m2.1.1.2" xref="alg6.2.m2.1.1.2.cmml">t</mi><mo stretchy="false" id="alg6.2.m2.1.1.1" xref="alg6.2.m2.1.1.1.cmml">←</mo><mn id="alg6.2.m2.1.1.3" xref="alg6.2.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="alg6.2.m2.1b"><apply id="alg6.2.m2.1.1.cmml" xref="alg6.2.m2.1.1"><ci id="alg6.2.m2.1.1.1.cmml" xref="alg6.2.m2.1.1.1">←</ci><ci id="alg6.2.m2.1.1.2.cmml" xref="alg6.2.m2.1.1.2">𝑡</ci><cn type="integer" id="alg6.2.m2.1.1.3.cmml" xref="alg6.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.2.m2.1c">t\leftarrow 0</annotation></semantics></math>, <math id="alg6.3.m3.1" class="ltx_Math" alttext="Q_{0}\propto I" display="inline"><semantics id="alg6.3.m3.1a"><mrow id="alg6.3.m3.1.1" xref="alg6.3.m3.1.1.cmml"><msub id="alg6.3.m3.1.1.2" xref="alg6.3.m3.1.1.2.cmml"><mi id="alg6.3.m3.1.1.2.2" xref="alg6.3.m3.1.1.2.2.cmml">Q</mi><mn id="alg6.3.m3.1.1.2.3" xref="alg6.3.m3.1.1.2.3.cmml">0</mn></msub><mo id="alg6.3.m3.1.1.1" xref="alg6.3.m3.1.1.1.cmml">∝</mo><mi id="alg6.3.m3.1.1.3" xref="alg6.3.m3.1.1.3.cmml">I</mi></mrow><annotation-xml encoding="MathML-Content" id="alg6.3.m3.1b"><apply id="alg6.3.m3.1.1.cmml" xref="alg6.3.m3.1.1"><csymbol cd="latexml" id="alg6.3.m3.1.1.1.cmml" xref="alg6.3.m3.1.1.1">proportional-to</csymbol><apply id="alg6.3.m3.1.1.2.cmml" xref="alg6.3.m3.1.1.2"><csymbol cd="ambiguous" id="alg6.3.m3.1.1.2.1.cmml" xref="alg6.3.m3.1.1.2">subscript</csymbol><ci id="alg6.3.m3.1.1.2.2.cmml" xref="alg6.3.m3.1.1.2.2">𝑄</ci><cn type="integer" id="alg6.3.m3.1.1.2.3.cmml" xref="alg6.3.m3.1.1.2.3">0</cn></apply><ci id="alg6.3.m3.1.1.3.cmml" xref="alg6.3.m3.1.1.3">𝐼</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.3.m3.1c">Q_{0}\propto I</annotation></semantics></math> 
<br class="ltx_break"><span id="alg6.15.4" class="ltx_text ltx_font_bold">While</span> <math id="alg6.4.m4.1" class="ltx_Math" alttext="\theta_{t}" display="inline"><semantics id="alg6.4.m4.1a"><msub id="alg6.4.m4.1.1" xref="alg6.4.m4.1.1.cmml"><mi id="alg6.4.m4.1.1.2" xref="alg6.4.m4.1.1.2.cmml">θ</mi><mi id="alg6.4.m4.1.1.3" xref="alg6.4.m4.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="alg6.4.m4.1b"><apply id="alg6.4.m4.1.1.cmml" xref="alg6.4.m4.1.1"><csymbol cd="ambiguous" id="alg6.4.m4.1.1.1.cmml" xref="alg6.4.m4.1.1">subscript</csymbol><ci id="alg6.4.m4.1.1.2.cmml" xref="alg6.4.m4.1.1.2">𝜃</ci><ci id="alg6.4.m4.1.1.3.cmml" xref="alg6.4.m4.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.4.m4.1c">\theta_{t}</annotation></semantics></math> not converged 
<br class="ltx_break">     <math id="alg6.5.m5.1" class="ltx_Math" alttext="t\leftarrow t+1" display="inline"><semantics id="alg6.5.m5.1a"><mrow id="alg6.5.m5.1.1" xref="alg6.5.m5.1.1.cmml"><mi id="alg6.5.m5.1.1.2" xref="alg6.5.m5.1.1.2.cmml">t</mi><mo stretchy="false" id="alg6.5.m5.1.1.1" xref="alg6.5.m5.1.1.1.cmml">←</mo><mrow id="alg6.5.m5.1.1.3" xref="alg6.5.m5.1.1.3.cmml"><mi id="alg6.5.m5.1.1.3.2" xref="alg6.5.m5.1.1.3.2.cmml">t</mi><mo id="alg6.5.m5.1.1.3.1" xref="alg6.5.m5.1.1.3.1.cmml">+</mo><mn id="alg6.5.m5.1.1.3.3" xref="alg6.5.m5.1.1.3.3.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg6.5.m5.1b"><apply id="alg6.5.m5.1.1.cmml" xref="alg6.5.m5.1.1"><ci id="alg6.5.m5.1.1.1.cmml" xref="alg6.5.m5.1.1.1">←</ci><ci id="alg6.5.m5.1.1.2.cmml" xref="alg6.5.m5.1.1.2">𝑡</ci><apply id="alg6.5.m5.1.1.3.cmml" xref="alg6.5.m5.1.1.3"><plus id="alg6.5.m5.1.1.3.1.cmml" xref="alg6.5.m5.1.1.3.1"></plus><ci id="alg6.5.m5.1.1.3.2.cmml" xref="alg6.5.m5.1.1.3.2">𝑡</ci><cn type="integer" id="alg6.5.m5.1.1.3.3.cmml" xref="alg6.5.m5.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.5.m5.1c">t\leftarrow t+1</annotation></semantics></math> 
<br class="ltx_break">     <math id="alg6.6.m6.1" class="ltx_Math" alttext="g_{t}\leftarrow\nabla_{\theta}f_{t}(\theta_{t-1})" display="inline"><semantics id="alg6.6.m6.1a"><mrow id="alg6.6.m6.1.1" xref="alg6.6.m6.1.1.cmml"><msub id="alg6.6.m6.1.1.3" xref="alg6.6.m6.1.1.3.cmml"><mi id="alg6.6.m6.1.1.3.2" xref="alg6.6.m6.1.1.3.2.cmml">g</mi><mi id="alg6.6.m6.1.1.3.3" xref="alg6.6.m6.1.1.3.3.cmml">t</mi></msub><mo stretchy="false" id="alg6.6.m6.1.1.2" xref="alg6.6.m6.1.1.2.cmml">←</mo><mrow id="alg6.6.m6.1.1.1" xref="alg6.6.m6.1.1.1.cmml"><mrow id="alg6.6.m6.1.1.1.3" xref="alg6.6.m6.1.1.1.3.cmml"><msub id="alg6.6.m6.1.1.1.3.1" xref="alg6.6.m6.1.1.1.3.1.cmml"><mo rspace="0.167em" id="alg6.6.m6.1.1.1.3.1.2" xref="alg6.6.m6.1.1.1.3.1.2.cmml">∇</mo><mi id="alg6.6.m6.1.1.1.3.1.3" xref="alg6.6.m6.1.1.1.3.1.3.cmml">θ</mi></msub><msub id="alg6.6.m6.1.1.1.3.2" xref="alg6.6.m6.1.1.1.3.2.cmml"><mi id="alg6.6.m6.1.1.1.3.2.2" xref="alg6.6.m6.1.1.1.3.2.2.cmml">f</mi><mi id="alg6.6.m6.1.1.1.3.2.3" xref="alg6.6.m6.1.1.1.3.2.3.cmml">t</mi></msub></mrow><mo lspace="0em" rspace="0em" id="alg6.6.m6.1.1.1.2" xref="alg6.6.m6.1.1.1.2.cmml">​</mo><mrow id="alg6.6.m6.1.1.1.1.1" xref="alg6.6.m6.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg6.6.m6.1.1.1.1.1.2" xref="alg6.6.m6.1.1.1.1.1.1.cmml">(</mo><msub id="alg6.6.m6.1.1.1.1.1.1" xref="alg6.6.m6.1.1.1.1.1.1.cmml"><mi id="alg6.6.m6.1.1.1.1.1.1.2" xref="alg6.6.m6.1.1.1.1.1.1.2.cmml">θ</mi><mrow id="alg6.6.m6.1.1.1.1.1.1.3" xref="alg6.6.m6.1.1.1.1.1.1.3.cmml"><mi id="alg6.6.m6.1.1.1.1.1.1.3.2" xref="alg6.6.m6.1.1.1.1.1.1.3.2.cmml">t</mi><mo id="alg6.6.m6.1.1.1.1.1.1.3.1" xref="alg6.6.m6.1.1.1.1.1.1.3.1.cmml">−</mo><mn id="alg6.6.m6.1.1.1.1.1.1.3.3" xref="alg6.6.m6.1.1.1.1.1.1.3.3.cmml">1</mn></mrow></msub><mo stretchy="false" id="alg6.6.m6.1.1.1.1.1.3" xref="alg6.6.m6.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg6.6.m6.1b"><apply id="alg6.6.m6.1.1.cmml" xref="alg6.6.m6.1.1"><ci id="alg6.6.m6.1.1.2.cmml" xref="alg6.6.m6.1.1.2">←</ci><apply id="alg6.6.m6.1.1.3.cmml" xref="alg6.6.m6.1.1.3"><csymbol cd="ambiguous" id="alg6.6.m6.1.1.3.1.cmml" xref="alg6.6.m6.1.1.3">subscript</csymbol><ci id="alg6.6.m6.1.1.3.2.cmml" xref="alg6.6.m6.1.1.3.2">𝑔</ci><ci id="alg6.6.m6.1.1.3.3.cmml" xref="alg6.6.m6.1.1.3.3">𝑡</ci></apply><apply id="alg6.6.m6.1.1.1.cmml" xref="alg6.6.m6.1.1.1"><times id="alg6.6.m6.1.1.1.2.cmml" xref="alg6.6.m6.1.1.1.2"></times><apply id="alg6.6.m6.1.1.1.3.cmml" xref="alg6.6.m6.1.1.1.3"><apply id="alg6.6.m6.1.1.1.3.1.cmml" xref="alg6.6.m6.1.1.1.3.1"><csymbol cd="ambiguous" id="alg6.6.m6.1.1.1.3.1.1.cmml" xref="alg6.6.m6.1.1.1.3.1">subscript</csymbol><ci id="alg6.6.m6.1.1.1.3.1.2.cmml" xref="alg6.6.m6.1.1.1.3.1.2">∇</ci><ci id="alg6.6.m6.1.1.1.3.1.3.cmml" xref="alg6.6.m6.1.1.1.3.1.3">𝜃</ci></apply><apply id="alg6.6.m6.1.1.1.3.2.cmml" xref="alg6.6.m6.1.1.1.3.2"><csymbol cd="ambiguous" id="alg6.6.m6.1.1.1.3.2.1.cmml" xref="alg6.6.m6.1.1.1.3.2">subscript</csymbol><ci id="alg6.6.m6.1.1.1.3.2.2.cmml" xref="alg6.6.m6.1.1.1.3.2.2">𝑓</ci><ci id="alg6.6.m6.1.1.1.3.2.3.cmml" xref="alg6.6.m6.1.1.1.3.2.3">𝑡</ci></apply></apply><apply id="alg6.6.m6.1.1.1.1.1.1.cmml" xref="alg6.6.m6.1.1.1.1.1"><csymbol cd="ambiguous" id="alg6.6.m6.1.1.1.1.1.1.1.cmml" xref="alg6.6.m6.1.1.1.1.1">subscript</csymbol><ci id="alg6.6.m6.1.1.1.1.1.1.2.cmml" xref="alg6.6.m6.1.1.1.1.1.1.2">𝜃</ci><apply id="alg6.6.m6.1.1.1.1.1.1.3.cmml" xref="alg6.6.m6.1.1.1.1.1.1.3"><minus id="alg6.6.m6.1.1.1.1.1.1.3.1.cmml" xref="alg6.6.m6.1.1.1.1.1.1.3.1"></minus><ci id="alg6.6.m6.1.1.1.1.1.1.3.2.cmml" xref="alg6.6.m6.1.1.1.1.1.1.3.2">𝑡</ci><cn type="integer" id="alg6.6.m6.1.1.1.1.1.1.3.3.cmml" xref="alg6.6.m6.1.1.1.1.1.1.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.6.m6.1c">g_{t}\leftarrow\nabla_{\theta}f_{t}(\theta_{t-1})</annotation></semantics></math> 
<br class="ltx_break">     <span id="alg6.15.5" class="ltx_text ltx_font_bold">If</span> <math id="alg6.7.m7.1" class="ltx_Math" alttext="u&lt;p" display="inline"><semantics id="alg6.7.m7.1a"><mrow id="alg6.7.m7.1.1" xref="alg6.7.m7.1.1.cmml"><mi id="alg6.7.m7.1.1.2" xref="alg6.7.m7.1.1.2.cmml">u</mi><mo id="alg6.7.m7.1.1.1" xref="alg6.7.m7.1.1.1.cmml">&lt;</mo><mi id="alg6.7.m7.1.1.3" xref="alg6.7.m7.1.1.3.cmml">p</mi></mrow><annotation-xml encoding="MathML-Content" id="alg6.7.m7.1b"><apply id="alg6.7.m7.1.1.cmml" xref="alg6.7.m7.1.1"><lt id="alg6.7.m7.1.1.1.cmml" xref="alg6.7.m7.1.1.1"></lt><ci id="alg6.7.m7.1.1.2.cmml" xref="alg6.7.m7.1.1.2">𝑢</ci><ci id="alg6.7.m7.1.1.3.cmml" xref="alg6.7.m7.1.1.3">𝑝</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.7.m7.1c">u&lt;p</annotation></semantics></math> with <math id="alg6.8.m8.2" class="ltx_Math" alttext="u\sim\mathcal{U}(0,1)" display="inline"><semantics id="alg6.8.m8.2a"><mrow id="alg6.8.m8.2.3" xref="alg6.8.m8.2.3.cmml"><mi id="alg6.8.m8.2.3.2" xref="alg6.8.m8.2.3.2.cmml">u</mi><mo id="alg6.8.m8.2.3.1" xref="alg6.8.m8.2.3.1.cmml">∼</mo><mrow id="alg6.8.m8.2.3.3" xref="alg6.8.m8.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg6.8.m8.2.3.3.2" xref="alg6.8.m8.2.3.3.2.cmml">𝒰</mi><mo lspace="0em" rspace="0em" id="alg6.8.m8.2.3.3.1" xref="alg6.8.m8.2.3.3.1.cmml">​</mo><mrow id="alg6.8.m8.2.3.3.3.2" xref="alg6.8.m8.2.3.3.3.1.cmml"><mo stretchy="false" id="alg6.8.m8.2.3.3.3.2.1" xref="alg6.8.m8.2.3.3.3.1.cmml">(</mo><mn id="alg6.8.m8.1.1" xref="alg6.8.m8.1.1.cmml">0</mn><mo id="alg6.8.m8.2.3.3.3.2.2" xref="alg6.8.m8.2.3.3.3.1.cmml">,</mo><mn id="alg6.8.m8.2.2" xref="alg6.8.m8.2.2.cmml">1</mn><mo stretchy="false" id="alg6.8.m8.2.3.3.3.2.3" xref="alg6.8.m8.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg6.8.m8.2b"><apply id="alg6.8.m8.2.3.cmml" xref="alg6.8.m8.2.3"><csymbol cd="latexml" id="alg6.8.m8.2.3.1.cmml" xref="alg6.8.m8.2.3.1">similar-to</csymbol><ci id="alg6.8.m8.2.3.2.cmml" xref="alg6.8.m8.2.3.2">𝑢</ci><apply id="alg6.8.m8.2.3.3.cmml" xref="alg6.8.m8.2.3.3"><times id="alg6.8.m8.2.3.3.1.cmml" xref="alg6.8.m8.2.3.3.1"></times><ci id="alg6.8.m8.2.3.3.2.cmml" xref="alg6.8.m8.2.3.3.2">𝒰</ci><interval closure="open" id="alg6.8.m8.2.3.3.3.1.cmml" xref="alg6.8.m8.2.3.3.3.2"><cn type="integer" id="alg6.8.m8.1.1.cmml" xref="alg6.8.m8.1.1">0</cn><cn type="integer" id="alg6.8.m8.2.2.cmml" xref="alg6.8.m8.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.8.m8.2c">u\sim\mathcal{U}(0,1)</annotation></semantics></math>
<br class="ltx_break">        <math id="alg6.9.m9.2" class="ltx_Math" alttext="h_{t}\leftarrow\nabla_{\theta}(v_{t}^{T}g_{t})" display="inline"><semantics id="alg6.9.m9.2a"><mrow id="alg6.9.m9.2.2" xref="alg6.9.m9.2.2.cmml"><msub id="alg6.9.m9.2.2.4" xref="alg6.9.m9.2.2.4.cmml"><mi id="alg6.9.m9.2.2.4.2" xref="alg6.9.m9.2.2.4.2.cmml">h</mi><mi id="alg6.9.m9.2.2.4.3" xref="alg6.9.m9.2.2.4.3.cmml">t</mi></msub><mo stretchy="false" id="alg6.9.m9.2.2.3" xref="alg6.9.m9.2.2.3.cmml">←</mo><mrow id="alg6.9.m9.2.2.2.2" xref="alg6.9.m9.2.2.2.3.cmml"><msub id="alg6.9.m9.1.1.1.1.1" xref="alg6.9.m9.1.1.1.1.1.cmml"><mo id="alg6.9.m9.1.1.1.1.1.2" xref="alg6.9.m9.1.1.1.1.1.2.cmml">∇</mo><mi id="alg6.9.m9.1.1.1.1.1.3" xref="alg6.9.m9.1.1.1.1.1.3.cmml">θ</mi></msub><mrow id="alg6.9.m9.2.2.2.2.2" xref="alg6.9.m9.2.2.2.3.cmml"><mo stretchy="false" id="alg6.9.m9.2.2.2.2.2.2" xref="alg6.9.m9.2.2.2.3.cmml">(</mo><mrow id="alg6.9.m9.2.2.2.2.2.1" xref="alg6.9.m9.2.2.2.2.2.1.cmml"><msubsup id="alg6.9.m9.2.2.2.2.2.1.2" xref="alg6.9.m9.2.2.2.2.2.1.2.cmml"><mi id="alg6.9.m9.2.2.2.2.2.1.2.2.2" xref="alg6.9.m9.2.2.2.2.2.1.2.2.2.cmml">v</mi><mi id="alg6.9.m9.2.2.2.2.2.1.2.2.3" xref="alg6.9.m9.2.2.2.2.2.1.2.2.3.cmml">t</mi><mi id="alg6.9.m9.2.2.2.2.2.1.2.3" xref="alg6.9.m9.2.2.2.2.2.1.2.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="alg6.9.m9.2.2.2.2.2.1.1" xref="alg6.9.m9.2.2.2.2.2.1.1.cmml">​</mo><msub id="alg6.9.m9.2.2.2.2.2.1.3" xref="alg6.9.m9.2.2.2.2.2.1.3.cmml"><mi id="alg6.9.m9.2.2.2.2.2.1.3.2" xref="alg6.9.m9.2.2.2.2.2.1.3.2.cmml">g</mi><mi id="alg6.9.m9.2.2.2.2.2.1.3.3" xref="alg6.9.m9.2.2.2.2.2.1.3.3.cmml">t</mi></msub></mrow><mo stretchy="false" id="alg6.9.m9.2.2.2.2.2.3" xref="alg6.9.m9.2.2.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg6.9.m9.2b"><apply id="alg6.9.m9.2.2.cmml" xref="alg6.9.m9.2.2"><ci id="alg6.9.m9.2.2.3.cmml" xref="alg6.9.m9.2.2.3">←</ci><apply id="alg6.9.m9.2.2.4.cmml" xref="alg6.9.m9.2.2.4"><csymbol cd="ambiguous" id="alg6.9.m9.2.2.4.1.cmml" xref="alg6.9.m9.2.2.4">subscript</csymbol><ci id="alg6.9.m9.2.2.4.2.cmml" xref="alg6.9.m9.2.2.4.2">ℎ</ci><ci id="alg6.9.m9.2.2.4.3.cmml" xref="alg6.9.m9.2.2.4.3">𝑡</ci></apply><apply id="alg6.9.m9.2.2.2.3.cmml" xref="alg6.9.m9.2.2.2.2"><apply id="alg6.9.m9.1.1.1.1.1.cmml" xref="alg6.9.m9.1.1.1.1.1"><csymbol cd="ambiguous" id="alg6.9.m9.1.1.1.1.1.1.cmml" xref="alg6.9.m9.1.1.1.1.1">subscript</csymbol><ci id="alg6.9.m9.1.1.1.1.1.2.cmml" xref="alg6.9.m9.1.1.1.1.1.2">∇</ci><ci id="alg6.9.m9.1.1.1.1.1.3.cmml" xref="alg6.9.m9.1.1.1.1.1.3">𝜃</ci></apply><apply id="alg6.9.m9.2.2.2.2.2.1.cmml" xref="alg6.9.m9.2.2.2.2.2.1"><times id="alg6.9.m9.2.2.2.2.2.1.1.cmml" xref="alg6.9.m9.2.2.2.2.2.1.1"></times><apply id="alg6.9.m9.2.2.2.2.2.1.2.cmml" xref="alg6.9.m9.2.2.2.2.2.1.2"><csymbol cd="ambiguous" id="alg6.9.m9.2.2.2.2.2.1.2.1.cmml" xref="alg6.9.m9.2.2.2.2.2.1.2">superscript</csymbol><apply id="alg6.9.m9.2.2.2.2.2.1.2.2.cmml" xref="alg6.9.m9.2.2.2.2.2.1.2"><csymbol cd="ambiguous" id="alg6.9.m9.2.2.2.2.2.1.2.2.1.cmml" xref="alg6.9.m9.2.2.2.2.2.1.2">subscript</csymbol><ci id="alg6.9.m9.2.2.2.2.2.1.2.2.2.cmml" xref="alg6.9.m9.2.2.2.2.2.1.2.2.2">𝑣</ci><ci id="alg6.9.m9.2.2.2.2.2.1.2.2.3.cmml" xref="alg6.9.m9.2.2.2.2.2.1.2.2.3">𝑡</ci></apply><ci id="alg6.9.m9.2.2.2.2.2.1.2.3.cmml" xref="alg6.9.m9.2.2.2.2.2.1.2.3">𝑇</ci></apply><apply id="alg6.9.m9.2.2.2.2.2.1.3.cmml" xref="alg6.9.m9.2.2.2.2.2.1.3"><csymbol cd="ambiguous" id="alg6.9.m9.2.2.2.2.2.1.3.1.cmml" xref="alg6.9.m9.2.2.2.2.2.1.3">subscript</csymbol><ci id="alg6.9.m9.2.2.2.2.2.1.3.2.cmml" xref="alg6.9.m9.2.2.2.2.2.1.3.2">𝑔</ci><ci id="alg6.9.m9.2.2.2.2.2.1.3.3.cmml" xref="alg6.9.m9.2.2.2.2.2.1.3.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.9.m9.2c">h_{t}\leftarrow\nabla_{\theta}(v_{t}^{T}g_{t})</annotation></semantics></math>, s.t. <math id="alg6.10.m10.2" class="ltx_Math" alttext="v_{t}\sim\mathcal{N}(0,I)" display="inline"><semantics id="alg6.10.m10.2a"><mrow id="alg6.10.m10.2.3" xref="alg6.10.m10.2.3.cmml"><msub id="alg6.10.m10.2.3.2" xref="alg6.10.m10.2.3.2.cmml"><mi id="alg6.10.m10.2.3.2.2" xref="alg6.10.m10.2.3.2.2.cmml">v</mi><mi id="alg6.10.m10.2.3.2.3" xref="alg6.10.m10.2.3.2.3.cmml">t</mi></msub><mo id="alg6.10.m10.2.3.1" xref="alg6.10.m10.2.3.1.cmml">∼</mo><mrow id="alg6.10.m10.2.3.3" xref="alg6.10.m10.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg6.10.m10.2.3.3.2" xref="alg6.10.m10.2.3.3.2.cmml">𝒩</mi><mo lspace="0em" rspace="0em" id="alg6.10.m10.2.3.3.1" xref="alg6.10.m10.2.3.3.1.cmml">​</mo><mrow id="alg6.10.m10.2.3.3.3.2" xref="alg6.10.m10.2.3.3.3.1.cmml"><mo stretchy="false" id="alg6.10.m10.2.3.3.3.2.1" xref="alg6.10.m10.2.3.3.3.1.cmml">(</mo><mn id="alg6.10.m10.1.1" xref="alg6.10.m10.1.1.cmml">0</mn><mo id="alg6.10.m10.2.3.3.3.2.2" xref="alg6.10.m10.2.3.3.3.1.cmml">,</mo><mi id="alg6.10.m10.2.2" xref="alg6.10.m10.2.2.cmml">I</mi><mo stretchy="false" id="alg6.10.m10.2.3.3.3.2.3" xref="alg6.10.m10.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg6.10.m10.2b"><apply id="alg6.10.m10.2.3.cmml" xref="alg6.10.m10.2.3"><csymbol cd="latexml" id="alg6.10.m10.2.3.1.cmml" xref="alg6.10.m10.2.3.1">similar-to</csymbol><apply id="alg6.10.m10.2.3.2.cmml" xref="alg6.10.m10.2.3.2"><csymbol cd="ambiguous" id="alg6.10.m10.2.3.2.1.cmml" xref="alg6.10.m10.2.3.2">subscript</csymbol><ci id="alg6.10.m10.2.3.2.2.cmml" xref="alg6.10.m10.2.3.2.2">𝑣</ci><ci id="alg6.10.m10.2.3.2.3.cmml" xref="alg6.10.m10.2.3.2.3">𝑡</ci></apply><apply id="alg6.10.m10.2.3.3.cmml" xref="alg6.10.m10.2.3.3"><times id="alg6.10.m10.2.3.3.1.cmml" xref="alg6.10.m10.2.3.3.1"></times><ci id="alg6.10.m10.2.3.3.2.cmml" xref="alg6.10.m10.2.3.3.2">𝒩</ci><interval closure="open" id="alg6.10.m10.2.3.3.3.1.cmml" xref="alg6.10.m10.2.3.3.3.2"><cn type="integer" id="alg6.10.m10.1.1.cmml" xref="alg6.10.m10.1.1">0</cn><ci id="alg6.10.m10.2.2.cmml" xref="alg6.10.m10.2.2">𝐼</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.10.m10.2c">v_{t}\sim\mathcal{N}(0,I)</annotation></semantics></math> 
<br class="ltx_break">        <span id="alg6.12.2" class="ltx_text ltx_font_bold">Update <math id="alg6.11.1.m1.1" class="ltx_Math" alttext="Q_{t}" display="inline"><semantics id="alg6.11.1.m1.1a"><msub id="alg6.11.1.m1.1.1" xref="alg6.11.1.m1.1.1.cmml"><mi id="alg6.11.1.m1.1.1.2" xref="alg6.11.1.m1.1.1.2.cmml">Q</mi><mi id="alg6.11.1.m1.1.1.3" xref="alg6.11.1.m1.1.1.3.cmml">t</mi></msub><annotation-xml encoding="MathML-Content" id="alg6.11.1.m1.1b"><apply id="alg6.11.1.m1.1.1.cmml" xref="alg6.11.1.m1.1.1"><csymbol cd="ambiguous" id="alg6.11.1.m1.1.1.1.cmml" xref="alg6.11.1.m1.1.1">subscript</csymbol><ci id="alg6.11.1.m1.1.1.2.cmml" xref="alg6.11.1.m1.1.1.2">𝑄</ci><ci id="alg6.11.1.m1.1.1.3.cmml" xref="alg6.11.1.m1.1.1.3">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.11.1.m1.1c">Q_{t}</annotation></semantics></math> via <math id="alg6.12.2.m2.2" class="ltx_Math" alttext="(v_{t},h_{t})" display="inline"><semantics id="alg6.12.2.m2.2a"><mrow id="alg6.12.2.m2.2.2.2" xref="alg6.12.2.m2.2.2.3.cmml"><mo stretchy="false" id="alg6.12.2.m2.2.2.2.3" xref="alg6.12.2.m2.2.2.3.cmml">(</mo><msub id="alg6.12.2.m2.1.1.1.1" xref="alg6.12.2.m2.1.1.1.1.cmml"><mi id="alg6.12.2.m2.1.1.1.1.2" xref="alg6.12.2.m2.1.1.1.1.2.cmml">v</mi><mi id="alg6.12.2.m2.1.1.1.1.3" xref="alg6.12.2.m2.1.1.1.1.3.cmml">t</mi></msub><mo id="alg6.12.2.m2.2.2.2.4" xref="alg6.12.2.m2.2.2.3.cmml">,</mo><msub id="alg6.12.2.m2.2.2.2.2" xref="alg6.12.2.m2.2.2.2.2.cmml"><mi id="alg6.12.2.m2.2.2.2.2.2" xref="alg6.12.2.m2.2.2.2.2.2.cmml">h</mi><mi id="alg6.12.2.m2.2.2.2.2.3" xref="alg6.12.2.m2.2.2.2.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg6.12.2.m2.2.2.2.5" xref="alg6.12.2.m2.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="alg6.12.2.m2.2b"><interval closure="open" id="alg6.12.2.m2.2.2.3.cmml" xref="alg6.12.2.m2.2.2.2"><apply id="alg6.12.2.m2.1.1.1.1.cmml" xref="alg6.12.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="alg6.12.2.m2.1.1.1.1.1.cmml" xref="alg6.12.2.m2.1.1.1.1">subscript</csymbol><ci id="alg6.12.2.m2.1.1.1.1.2.cmml" xref="alg6.12.2.m2.1.1.1.1.2">𝑣</ci><ci id="alg6.12.2.m2.1.1.1.1.3.cmml" xref="alg6.12.2.m2.1.1.1.1.3">𝑡</ci></apply><apply id="alg6.12.2.m2.2.2.2.2.cmml" xref="alg6.12.2.m2.2.2.2.2"><csymbol cd="ambiguous" id="alg6.12.2.m2.2.2.2.2.1.cmml" xref="alg6.12.2.m2.2.2.2.2">subscript</csymbol><ci id="alg6.12.2.m2.2.2.2.2.2.cmml" xref="alg6.12.2.m2.2.2.2.2.2">ℎ</ci><ci id="alg6.12.2.m2.2.2.2.2.3.cmml" xref="alg6.12.2.m2.2.2.2.2.3">𝑡</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="alg6.12.2.m2.2c">(v_{t},h_{t})</annotation></semantics></math>
<br class="ltx_break"></span>               <span id="alg6.15.6" class="ltx_text">Q Update Step</span>
<br class="ltx_break">     <span id="alg6.15.7" class="ltx_text ltx_font_bold">Else</span> 
<br class="ltx_break">        <math id="alg6.13.m11.1" class="ltx_Math" alttext="Q_{t}\leftarrow Q_{t-1}" display="inline"><semantics id="alg6.13.m11.1a"><mrow id="alg6.13.m11.1.1" xref="alg6.13.m11.1.1.cmml"><msub id="alg6.13.m11.1.1.2" xref="alg6.13.m11.1.1.2.cmml"><mi id="alg6.13.m11.1.1.2.2" xref="alg6.13.m11.1.1.2.2.cmml">Q</mi><mi id="alg6.13.m11.1.1.2.3" xref="alg6.13.m11.1.1.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg6.13.m11.1.1.1" xref="alg6.13.m11.1.1.1.cmml">←</mo><msub id="alg6.13.m11.1.1.3" xref="alg6.13.m11.1.1.3.cmml"><mi id="alg6.13.m11.1.1.3.2" xref="alg6.13.m11.1.1.3.2.cmml">Q</mi><mrow id="alg6.13.m11.1.1.3.3" xref="alg6.13.m11.1.1.3.3.cmml"><mi id="alg6.13.m11.1.1.3.3.2" xref="alg6.13.m11.1.1.3.3.2.cmml">t</mi><mo id="alg6.13.m11.1.1.3.3.1" xref="alg6.13.m11.1.1.3.3.1.cmml">−</mo><mn id="alg6.13.m11.1.1.3.3.3" xref="alg6.13.m11.1.1.3.3.3.cmml">1</mn></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="alg6.13.m11.1b"><apply id="alg6.13.m11.1.1.cmml" xref="alg6.13.m11.1.1"><ci id="alg6.13.m11.1.1.1.cmml" xref="alg6.13.m11.1.1.1">←</ci><apply id="alg6.13.m11.1.1.2.cmml" xref="alg6.13.m11.1.1.2"><csymbol cd="ambiguous" id="alg6.13.m11.1.1.2.1.cmml" xref="alg6.13.m11.1.1.2">subscript</csymbol><ci id="alg6.13.m11.1.1.2.2.cmml" xref="alg6.13.m11.1.1.2.2">𝑄</ci><ci id="alg6.13.m11.1.1.2.3.cmml" xref="alg6.13.m11.1.1.2.3">𝑡</ci></apply><apply id="alg6.13.m11.1.1.3.cmml" xref="alg6.13.m11.1.1.3"><csymbol cd="ambiguous" id="alg6.13.m11.1.1.3.1.cmml" xref="alg6.13.m11.1.1.3">subscript</csymbol><ci id="alg6.13.m11.1.1.3.2.cmml" xref="alg6.13.m11.1.1.3.2">𝑄</ci><apply id="alg6.13.m11.1.1.3.3.cmml" xref="alg6.13.m11.1.1.3.3"><minus id="alg6.13.m11.1.1.3.3.1.cmml" xref="alg6.13.m11.1.1.3.3.1"></minus><ci id="alg6.13.m11.1.1.3.3.2.cmml" xref="alg6.13.m11.1.1.3.3.2">𝑡</ci><cn type="integer" id="alg6.13.m11.1.1.3.3.3.cmml" xref="alg6.13.m11.1.1.3.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.13.m11.1c">Q_{t}\leftarrow Q_{t-1}</annotation></semantics></math> 
<br class="ltx_break">     <math id="alg6.14.m12.1" class="ltx_Math" alttext="\mathfrak{g}_{t}\leftarrow Q_{t}^{T}Q_{t}g_{t}" display="inline"><semantics id="alg6.14.m12.1a"><mrow id="alg6.14.m12.1.1" xref="alg6.14.m12.1.1.cmml"><msub id="alg6.14.m12.1.1.2" xref="alg6.14.m12.1.1.2.cmml"><mi id="alg6.14.m12.1.1.2.2" xref="alg6.14.m12.1.1.2.2.cmml">𝔤</mi><mi id="alg6.14.m12.1.1.2.3" xref="alg6.14.m12.1.1.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg6.14.m12.1.1.1" xref="alg6.14.m12.1.1.1.cmml">←</mo><mrow id="alg6.14.m12.1.1.3" xref="alg6.14.m12.1.1.3.cmml"><msubsup id="alg6.14.m12.1.1.3.2" xref="alg6.14.m12.1.1.3.2.cmml"><mi id="alg6.14.m12.1.1.3.2.2.2" xref="alg6.14.m12.1.1.3.2.2.2.cmml">Q</mi><mi id="alg6.14.m12.1.1.3.2.2.3" xref="alg6.14.m12.1.1.3.2.2.3.cmml">t</mi><mi id="alg6.14.m12.1.1.3.2.3" xref="alg6.14.m12.1.1.3.2.3.cmml">T</mi></msubsup><mo lspace="0em" rspace="0em" id="alg6.14.m12.1.1.3.1" xref="alg6.14.m12.1.1.3.1.cmml">​</mo><msub id="alg6.14.m12.1.1.3.3" xref="alg6.14.m12.1.1.3.3.cmml"><mi id="alg6.14.m12.1.1.3.3.2" xref="alg6.14.m12.1.1.3.3.2.cmml">Q</mi><mi id="alg6.14.m12.1.1.3.3.3" xref="alg6.14.m12.1.1.3.3.3.cmml">t</mi></msub><mo lspace="0em" rspace="0em" id="alg6.14.m12.1.1.3.1a" xref="alg6.14.m12.1.1.3.1.cmml">​</mo><msub id="alg6.14.m12.1.1.3.4" xref="alg6.14.m12.1.1.3.4.cmml"><mi id="alg6.14.m12.1.1.3.4.2" xref="alg6.14.m12.1.1.3.4.2.cmml">g</mi><mi id="alg6.14.m12.1.1.3.4.3" xref="alg6.14.m12.1.1.3.4.3.cmml">t</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg6.14.m12.1b"><apply id="alg6.14.m12.1.1.cmml" xref="alg6.14.m12.1.1"><ci id="alg6.14.m12.1.1.1.cmml" xref="alg6.14.m12.1.1.1">←</ci><apply id="alg6.14.m12.1.1.2.cmml" xref="alg6.14.m12.1.1.2"><csymbol cd="ambiguous" id="alg6.14.m12.1.1.2.1.cmml" xref="alg6.14.m12.1.1.2">subscript</csymbol><ci id="alg6.14.m12.1.1.2.2.cmml" xref="alg6.14.m12.1.1.2.2">𝔤</ci><ci id="alg6.14.m12.1.1.2.3.cmml" xref="alg6.14.m12.1.1.2.3">𝑡</ci></apply><apply id="alg6.14.m12.1.1.3.cmml" xref="alg6.14.m12.1.1.3"><times id="alg6.14.m12.1.1.3.1.cmml" xref="alg6.14.m12.1.1.3.1"></times><apply id="alg6.14.m12.1.1.3.2.cmml" xref="alg6.14.m12.1.1.3.2"><csymbol cd="ambiguous" id="alg6.14.m12.1.1.3.2.1.cmml" xref="alg6.14.m12.1.1.3.2">superscript</csymbol><apply id="alg6.14.m12.1.1.3.2.2.cmml" xref="alg6.14.m12.1.1.3.2"><csymbol cd="ambiguous" id="alg6.14.m12.1.1.3.2.2.1.cmml" xref="alg6.14.m12.1.1.3.2">subscript</csymbol><ci id="alg6.14.m12.1.1.3.2.2.2.cmml" xref="alg6.14.m12.1.1.3.2.2.2">𝑄</ci><ci id="alg6.14.m12.1.1.3.2.2.3.cmml" xref="alg6.14.m12.1.1.3.2.2.3">𝑡</ci></apply><ci id="alg6.14.m12.1.1.3.2.3.cmml" xref="alg6.14.m12.1.1.3.2.3">𝑇</ci></apply><apply id="alg6.14.m12.1.1.3.3.cmml" xref="alg6.14.m12.1.1.3.3"><csymbol cd="ambiguous" id="alg6.14.m12.1.1.3.3.1.cmml" xref="alg6.14.m12.1.1.3.3">subscript</csymbol><ci id="alg6.14.m12.1.1.3.3.2.cmml" xref="alg6.14.m12.1.1.3.3.2">𝑄</ci><ci id="alg6.14.m12.1.1.3.3.3.cmml" xref="alg6.14.m12.1.1.3.3.3">𝑡</ci></apply><apply id="alg6.14.m12.1.1.3.4.cmml" xref="alg6.14.m12.1.1.3.4"><csymbol cd="ambiguous" id="alg6.14.m12.1.1.3.4.1.cmml" xref="alg6.14.m12.1.1.3.4">subscript</csymbol><ci id="alg6.14.m12.1.1.3.4.2.cmml" xref="alg6.14.m12.1.1.3.4.2">𝑔</ci><ci id="alg6.14.m12.1.1.3.4.3.cmml" xref="alg6.14.m12.1.1.3.4.3">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.14.m12.1c">\mathfrak{g}_{t}\leftarrow Q_{t}^{T}Q_{t}g_{t}</annotation></semantics></math>
<br class="ltx_break">     <math id="alg6.15.m13.1" class="ltx_Math" alttext="\theta_{t}\leftarrow\theta_{t-1}-\mu_{1}\mathfrak{g}_{t}" display="inline"><semantics id="alg6.15.m13.1a"><mrow id="alg6.15.m13.1.1" xref="alg6.15.m13.1.1.cmml"><msub id="alg6.15.m13.1.1.2" xref="alg6.15.m13.1.1.2.cmml"><mi id="alg6.15.m13.1.1.2.2" xref="alg6.15.m13.1.1.2.2.cmml">θ</mi><mi id="alg6.15.m13.1.1.2.3" xref="alg6.15.m13.1.1.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg6.15.m13.1.1.1" xref="alg6.15.m13.1.1.1.cmml">←</mo><mrow id="alg6.15.m13.1.1.3" xref="alg6.15.m13.1.1.3.cmml"><msub id="alg6.15.m13.1.1.3.2" xref="alg6.15.m13.1.1.3.2.cmml"><mi id="alg6.15.m13.1.1.3.2.2" xref="alg6.15.m13.1.1.3.2.2.cmml">θ</mi><mrow id="alg6.15.m13.1.1.3.2.3" xref="alg6.15.m13.1.1.3.2.3.cmml"><mi id="alg6.15.m13.1.1.3.2.3.2" xref="alg6.15.m13.1.1.3.2.3.2.cmml">t</mi><mo id="alg6.15.m13.1.1.3.2.3.1" xref="alg6.15.m13.1.1.3.2.3.1.cmml">−</mo><mn id="alg6.15.m13.1.1.3.2.3.3" xref="alg6.15.m13.1.1.3.2.3.3.cmml">1</mn></mrow></msub><mo id="alg6.15.m13.1.1.3.1" xref="alg6.15.m13.1.1.3.1.cmml">−</mo><mrow id="alg6.15.m13.1.1.3.3" xref="alg6.15.m13.1.1.3.3.cmml"><msub id="alg6.15.m13.1.1.3.3.2" xref="alg6.15.m13.1.1.3.3.2.cmml"><mi id="alg6.15.m13.1.1.3.3.2.2" xref="alg6.15.m13.1.1.3.3.2.2.cmml">μ</mi><mn id="alg6.15.m13.1.1.3.3.2.3" xref="alg6.15.m13.1.1.3.3.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="alg6.15.m13.1.1.3.3.1" xref="alg6.15.m13.1.1.3.3.1.cmml">​</mo><msub id="alg6.15.m13.1.1.3.3.3" xref="alg6.15.m13.1.1.3.3.3.cmml"><mi id="alg6.15.m13.1.1.3.3.3.2" xref="alg6.15.m13.1.1.3.3.3.2.cmml">𝔤</mi><mi id="alg6.15.m13.1.1.3.3.3.3" xref="alg6.15.m13.1.1.3.3.3.3.cmml">t</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg6.15.m13.1b"><apply id="alg6.15.m13.1.1.cmml" xref="alg6.15.m13.1.1"><ci id="alg6.15.m13.1.1.1.cmml" xref="alg6.15.m13.1.1.1">←</ci><apply id="alg6.15.m13.1.1.2.cmml" xref="alg6.15.m13.1.1.2"><csymbol cd="ambiguous" id="alg6.15.m13.1.1.2.1.cmml" xref="alg6.15.m13.1.1.2">subscript</csymbol><ci id="alg6.15.m13.1.1.2.2.cmml" xref="alg6.15.m13.1.1.2.2">𝜃</ci><ci id="alg6.15.m13.1.1.2.3.cmml" xref="alg6.15.m13.1.1.2.3">𝑡</ci></apply><apply id="alg6.15.m13.1.1.3.cmml" xref="alg6.15.m13.1.1.3"><minus id="alg6.15.m13.1.1.3.1.cmml" xref="alg6.15.m13.1.1.3.1"></minus><apply id="alg6.15.m13.1.1.3.2.cmml" xref="alg6.15.m13.1.1.3.2"><csymbol cd="ambiguous" id="alg6.15.m13.1.1.3.2.1.cmml" xref="alg6.15.m13.1.1.3.2">subscript</csymbol><ci id="alg6.15.m13.1.1.3.2.2.cmml" xref="alg6.15.m13.1.1.3.2.2">𝜃</ci><apply id="alg6.15.m13.1.1.3.2.3.cmml" xref="alg6.15.m13.1.1.3.2.3"><minus id="alg6.15.m13.1.1.3.2.3.1.cmml" xref="alg6.15.m13.1.1.3.2.3.1"></minus><ci id="alg6.15.m13.1.1.3.2.3.2.cmml" xref="alg6.15.m13.1.1.3.2.3.2">𝑡</ci><cn type="integer" id="alg6.15.m13.1.1.3.2.3.3.cmml" xref="alg6.15.m13.1.1.3.2.3.3">1</cn></apply></apply><apply id="alg6.15.m13.1.1.3.3.cmml" xref="alg6.15.m13.1.1.3.3"><times id="alg6.15.m13.1.1.3.3.1.cmml" xref="alg6.15.m13.1.1.3.3.1"></times><apply id="alg6.15.m13.1.1.3.3.2.cmml" xref="alg6.15.m13.1.1.3.3.2"><csymbol cd="ambiguous" id="alg6.15.m13.1.1.3.3.2.1.cmml" xref="alg6.15.m13.1.1.3.3.2">subscript</csymbol><ci id="alg6.15.m13.1.1.3.3.2.2.cmml" xref="alg6.15.m13.1.1.3.3.2.2">𝜇</ci><cn type="integer" id="alg6.15.m13.1.1.3.3.2.3.cmml" xref="alg6.15.m13.1.1.3.3.2.3">1</cn></apply><apply id="alg6.15.m13.1.1.3.3.3.cmml" xref="alg6.15.m13.1.1.3.3.3"><csymbol cd="ambiguous" id="alg6.15.m13.1.1.3.3.3.1.cmml" xref="alg6.15.m13.1.1.3.3.3">subscript</csymbol><ci id="alg6.15.m13.1.1.3.3.3.2.cmml" xref="alg6.15.m13.1.1.3.3.3.2">𝔤</ci><ci id="alg6.15.m13.1.1.3.3.3.3.cmml" xref="alg6.15.m13.1.1.3.3.3.3">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg6.15.m13.1c">\theta_{t}\leftarrow\theta_{t-1}-\mu_{1}\mathfrak{g}_{t}</annotation></semantics></math></p>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg6.17.1.1" class="ltx_text ltx_font_bold">Algorithm 6</span> </span> PSGD Optimizer</figcaption>
</figure>
</div>
<div id="A5.SS0.SSS0.Px1.p1.3" class="ltx_logical-block ltx_minipage ltx_align_middle" style="width:212.5pt;">
<figure id="alg7" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<p id="alg7.11" class="ltx_p"><math id="alg7.1.m1.1" class="ltx_Math" alttext="Ph=Q^{T}(Qh)" display="inline"><semantics id="alg7.1.m1.1a"><mrow id="alg7.1.m1.1.1" xref="alg7.1.m1.1.1.cmml"><mrow id="alg7.1.m1.1.1.3" xref="alg7.1.m1.1.1.3.cmml"><mi id="alg7.1.m1.1.1.3.2" xref="alg7.1.m1.1.1.3.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="alg7.1.m1.1.1.3.1" xref="alg7.1.m1.1.1.3.1.cmml">​</mo><mi id="alg7.1.m1.1.1.3.3" xref="alg7.1.m1.1.1.3.3.cmml">h</mi></mrow><mo id="alg7.1.m1.1.1.2" xref="alg7.1.m1.1.1.2.cmml">=</mo><mrow id="alg7.1.m1.1.1.1" xref="alg7.1.m1.1.1.1.cmml"><msup id="alg7.1.m1.1.1.1.3" xref="alg7.1.m1.1.1.1.3.cmml"><mi id="alg7.1.m1.1.1.1.3.2" xref="alg7.1.m1.1.1.1.3.2.cmml">Q</mi><mi id="alg7.1.m1.1.1.1.3.3" xref="alg7.1.m1.1.1.1.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg7.1.m1.1.1.1.2" xref="alg7.1.m1.1.1.1.2.cmml">​</mo><mrow id="alg7.1.m1.1.1.1.1.1" xref="alg7.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg7.1.m1.1.1.1.1.1.2" xref="alg7.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg7.1.m1.1.1.1.1.1.1" xref="alg7.1.m1.1.1.1.1.1.1.cmml"><mi id="alg7.1.m1.1.1.1.1.1.1.2" xref="alg7.1.m1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg7.1.m1.1.1.1.1.1.1.1" xref="alg7.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg7.1.m1.1.1.1.1.1.1.3" xref="alg7.1.m1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg7.1.m1.1.1.1.1.1.3" xref="alg7.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.1.m1.1b"><apply id="alg7.1.m1.1.1.cmml" xref="alg7.1.m1.1.1"><eq id="alg7.1.m1.1.1.2.cmml" xref="alg7.1.m1.1.1.2"></eq><apply id="alg7.1.m1.1.1.3.cmml" xref="alg7.1.m1.1.1.3"><times id="alg7.1.m1.1.1.3.1.cmml" xref="alg7.1.m1.1.1.3.1"></times><ci id="alg7.1.m1.1.1.3.2.cmml" xref="alg7.1.m1.1.1.3.2">𝑃</ci><ci id="alg7.1.m1.1.1.3.3.cmml" xref="alg7.1.m1.1.1.3.3">ℎ</ci></apply><apply id="alg7.1.m1.1.1.1.cmml" xref="alg7.1.m1.1.1.1"><times id="alg7.1.m1.1.1.1.2.cmml" xref="alg7.1.m1.1.1.1.2"></times><apply id="alg7.1.m1.1.1.1.3.cmml" xref="alg7.1.m1.1.1.1.3"><csymbol cd="ambiguous" id="alg7.1.m1.1.1.1.3.1.cmml" xref="alg7.1.m1.1.1.1.3">superscript</csymbol><ci id="alg7.1.m1.1.1.1.3.2.cmml" xref="alg7.1.m1.1.1.1.3.2">𝑄</ci><ci id="alg7.1.m1.1.1.1.3.3.cmml" xref="alg7.1.m1.1.1.1.3.3">𝑇</ci></apply><apply id="alg7.1.m1.1.1.1.1.1.1.cmml" xref="alg7.1.m1.1.1.1.1.1"><times id="alg7.1.m1.1.1.1.1.1.1.1.cmml" xref="alg7.1.m1.1.1.1.1.1.1.1"></times><ci id="alg7.1.m1.1.1.1.1.1.1.2.cmml" xref="alg7.1.m1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg7.1.m1.1.1.1.1.1.1.3.cmml" xref="alg7.1.m1.1.1.1.1.1.1.3">ℎ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.1.m1.1c">Ph=Q^{T}(Qh)</annotation></semantics></math>
<br class="ltx_break"><math id="alg7.2.m2.1" class="ltx_Math" alttext="P^{-1}v=Q^{-1}(Q^{-T}v)" display="inline"><semantics id="alg7.2.m2.1a"><mrow id="alg7.2.m2.1.1" xref="alg7.2.m2.1.1.cmml"><mrow id="alg7.2.m2.1.1.3" xref="alg7.2.m2.1.1.3.cmml"><msup id="alg7.2.m2.1.1.3.2" xref="alg7.2.m2.1.1.3.2.cmml"><mi id="alg7.2.m2.1.1.3.2.2" xref="alg7.2.m2.1.1.3.2.2.cmml">P</mi><mrow id="alg7.2.m2.1.1.3.2.3" xref="alg7.2.m2.1.1.3.2.3.cmml"><mo id="alg7.2.m2.1.1.3.2.3a" xref="alg7.2.m2.1.1.3.2.3.cmml">−</mo><mn id="alg7.2.m2.1.1.3.2.3.2" xref="alg7.2.m2.1.1.3.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.2.m2.1.1.3.1" xref="alg7.2.m2.1.1.3.1.cmml">​</mo><mi id="alg7.2.m2.1.1.3.3" xref="alg7.2.m2.1.1.3.3.cmml">v</mi></mrow><mo id="alg7.2.m2.1.1.2" xref="alg7.2.m2.1.1.2.cmml">=</mo><mrow id="alg7.2.m2.1.1.1" xref="alg7.2.m2.1.1.1.cmml"><msup id="alg7.2.m2.1.1.1.3" xref="alg7.2.m2.1.1.1.3.cmml"><mi id="alg7.2.m2.1.1.1.3.2" xref="alg7.2.m2.1.1.1.3.2.cmml">Q</mi><mrow id="alg7.2.m2.1.1.1.3.3" xref="alg7.2.m2.1.1.1.3.3.cmml"><mo id="alg7.2.m2.1.1.1.3.3a" xref="alg7.2.m2.1.1.1.3.3.cmml">−</mo><mn id="alg7.2.m2.1.1.1.3.3.2" xref="alg7.2.m2.1.1.1.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.2.m2.1.1.1.2" xref="alg7.2.m2.1.1.1.2.cmml">​</mo><mrow id="alg7.2.m2.1.1.1.1.1" xref="alg7.2.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg7.2.m2.1.1.1.1.1.2" xref="alg7.2.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="alg7.2.m2.1.1.1.1.1.1" xref="alg7.2.m2.1.1.1.1.1.1.cmml"><msup id="alg7.2.m2.1.1.1.1.1.1.2" xref="alg7.2.m2.1.1.1.1.1.1.2.cmml"><mi id="alg7.2.m2.1.1.1.1.1.1.2.2" xref="alg7.2.m2.1.1.1.1.1.1.2.2.cmml">Q</mi><mrow id="alg7.2.m2.1.1.1.1.1.1.2.3" xref="alg7.2.m2.1.1.1.1.1.1.2.3.cmml"><mo id="alg7.2.m2.1.1.1.1.1.1.2.3a" xref="alg7.2.m2.1.1.1.1.1.1.2.3.cmml">−</mo><mi id="alg7.2.m2.1.1.1.1.1.1.2.3.2" xref="alg7.2.m2.1.1.1.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.2.m2.1.1.1.1.1.1.1" xref="alg7.2.m2.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg7.2.m2.1.1.1.1.1.1.3" xref="alg7.2.m2.1.1.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg7.2.m2.1.1.1.1.1.3" xref="alg7.2.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.2.m2.1b"><apply id="alg7.2.m2.1.1.cmml" xref="alg7.2.m2.1.1"><eq id="alg7.2.m2.1.1.2.cmml" xref="alg7.2.m2.1.1.2"></eq><apply id="alg7.2.m2.1.1.3.cmml" xref="alg7.2.m2.1.1.3"><times id="alg7.2.m2.1.1.3.1.cmml" xref="alg7.2.m2.1.1.3.1"></times><apply id="alg7.2.m2.1.1.3.2.cmml" xref="alg7.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="alg7.2.m2.1.1.3.2.1.cmml" xref="alg7.2.m2.1.1.3.2">superscript</csymbol><ci id="alg7.2.m2.1.1.3.2.2.cmml" xref="alg7.2.m2.1.1.3.2.2">𝑃</ci><apply id="alg7.2.m2.1.1.3.2.3.cmml" xref="alg7.2.m2.1.1.3.2.3"><minus id="alg7.2.m2.1.1.3.2.3.1.cmml" xref="alg7.2.m2.1.1.3.2.3"></minus><cn type="integer" id="alg7.2.m2.1.1.3.2.3.2.cmml" xref="alg7.2.m2.1.1.3.2.3.2">1</cn></apply></apply><ci id="alg7.2.m2.1.1.3.3.cmml" xref="alg7.2.m2.1.1.3.3">𝑣</ci></apply><apply id="alg7.2.m2.1.1.1.cmml" xref="alg7.2.m2.1.1.1"><times id="alg7.2.m2.1.1.1.2.cmml" xref="alg7.2.m2.1.1.1.2"></times><apply id="alg7.2.m2.1.1.1.3.cmml" xref="alg7.2.m2.1.1.1.3"><csymbol cd="ambiguous" id="alg7.2.m2.1.1.1.3.1.cmml" xref="alg7.2.m2.1.1.1.3">superscript</csymbol><ci id="alg7.2.m2.1.1.1.3.2.cmml" xref="alg7.2.m2.1.1.1.3.2">𝑄</ci><apply id="alg7.2.m2.1.1.1.3.3.cmml" xref="alg7.2.m2.1.1.1.3.3"><minus id="alg7.2.m2.1.1.1.3.3.1.cmml" xref="alg7.2.m2.1.1.1.3.3"></minus><cn type="integer" id="alg7.2.m2.1.1.1.3.3.2.cmml" xref="alg7.2.m2.1.1.1.3.3.2">1</cn></apply></apply><apply id="alg7.2.m2.1.1.1.1.1.1.cmml" xref="alg7.2.m2.1.1.1.1.1"><times id="alg7.2.m2.1.1.1.1.1.1.1.cmml" xref="alg7.2.m2.1.1.1.1.1.1.1"></times><apply id="alg7.2.m2.1.1.1.1.1.1.2.cmml" xref="alg7.2.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="alg7.2.m2.1.1.1.1.1.1.2.1.cmml" xref="alg7.2.m2.1.1.1.1.1.1.2">superscript</csymbol><ci id="alg7.2.m2.1.1.1.1.1.1.2.2.cmml" xref="alg7.2.m2.1.1.1.1.1.1.2.2">𝑄</ci><apply id="alg7.2.m2.1.1.1.1.1.1.2.3.cmml" xref="alg7.2.m2.1.1.1.1.1.1.2.3"><minus id="alg7.2.m2.1.1.1.1.1.1.2.3.1.cmml" xref="alg7.2.m2.1.1.1.1.1.1.2.3"></minus><ci id="alg7.2.m2.1.1.1.1.1.1.2.3.2.cmml" xref="alg7.2.m2.1.1.1.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg7.2.m2.1.1.1.1.1.1.3.cmml" xref="alg7.2.m2.1.1.1.1.1.1.3">𝑣</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.2.m2.1c">P^{-1}v=Q^{-1}(Q^{-T}v)</annotation></semantics></math>     <span id="alg7.11.9" class="ltx_text" style="font-size:70%;">via Woodbury identity 2x
<br class="ltx_break"><math id="alg7.3.1.m1.2" class="ltx_Math" alttext="\nabla_{d}=(Ph)\odot h-v\odot(P^{-1}v)" display="inline"><semantics id="alg7.3.1.m1.2a"><mrow id="alg7.3.1.m1.2.2" xref="alg7.3.1.m1.2.2.cmml"><msub id="alg7.3.1.m1.2.2.4" xref="alg7.3.1.m1.2.2.4.cmml"><mo mathsize="129%" id="alg7.3.1.m1.2.2.4.2" xref="alg7.3.1.m1.2.2.4.2.cmml">∇</mo><mi mathsize="128%" id="alg7.3.1.m1.2.2.4.3" xref="alg7.3.1.m1.2.2.4.3.cmml">d</mi></msub><mo mathsize="129%" id="alg7.3.1.m1.2.2.3" xref="alg7.3.1.m1.2.2.3.cmml">=</mo><mrow id="alg7.3.1.m1.2.2.2" xref="alg7.3.1.m1.2.2.2.cmml"><mrow id="alg7.3.1.m1.1.1.1.1" xref="alg7.3.1.m1.1.1.1.1.cmml"><mrow id="alg7.3.1.m1.1.1.1.1.1.1" xref="alg7.3.1.m1.1.1.1.1.1.1.1.cmml"><mo maxsize="129%" minsize="129%" id="alg7.3.1.m1.1.1.1.1.1.1.2" xref="alg7.3.1.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg7.3.1.m1.1.1.1.1.1.1.1" xref="alg7.3.1.m1.1.1.1.1.1.1.1.cmml"><mi mathsize="129%" id="alg7.3.1.m1.1.1.1.1.1.1.1.2" xref="alg7.3.1.m1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="alg7.3.1.m1.1.1.1.1.1.1.1.1" xref="alg7.3.1.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi mathsize="129%" id="alg7.3.1.m1.1.1.1.1.1.1.1.3" xref="alg7.3.1.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo maxsize="129%" minsize="129%" rspace="0.055em" id="alg7.3.1.m1.1.1.1.1.1.1.3" xref="alg7.3.1.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo mathsize="129%" rspace="0.222em" id="alg7.3.1.m1.1.1.1.1.2" xref="alg7.3.1.m1.1.1.1.1.2.cmml">⊙</mo><mi mathsize="129%" id="alg7.3.1.m1.1.1.1.1.3" xref="alg7.3.1.m1.1.1.1.1.3.cmml">h</mi></mrow><mo mathsize="129%" id="alg7.3.1.m1.2.2.2.3" xref="alg7.3.1.m1.2.2.2.3.cmml">−</mo><mrow id="alg7.3.1.m1.2.2.2.2" xref="alg7.3.1.m1.2.2.2.2.cmml"><mi mathsize="129%" id="alg7.3.1.m1.2.2.2.2.3" xref="alg7.3.1.m1.2.2.2.2.3.cmml">v</mi><mo lspace="0.222em" mathsize="129%" rspace="0.222em" id="alg7.3.1.m1.2.2.2.2.2" xref="alg7.3.1.m1.2.2.2.2.2.cmml">⊙</mo><mrow id="alg7.3.1.m1.2.2.2.2.1.1" xref="alg7.3.1.m1.2.2.2.2.1.1.1.cmml"><mo maxsize="129%" minsize="129%" id="alg7.3.1.m1.2.2.2.2.1.1.2" xref="alg7.3.1.m1.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg7.3.1.m1.2.2.2.2.1.1.1" xref="alg7.3.1.m1.2.2.2.2.1.1.1.cmml"><msup id="alg7.3.1.m1.2.2.2.2.1.1.1.2" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.cmml"><mi mathsize="129%" id="alg7.3.1.m1.2.2.2.2.1.1.1.2.2" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.2.cmml">P</mi><mrow id="alg7.3.1.m1.2.2.2.2.1.1.1.2.3" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.cmml"><mo mathsize="128%" id="alg7.3.1.m1.2.2.2.2.1.1.1.2.3a" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.cmml">−</mo><mn mathsize="128%" id="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.2" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.3.1.m1.2.2.2.2.1.1.1.1" xref="alg7.3.1.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mi mathsize="129%" id="alg7.3.1.m1.2.2.2.2.1.1.1.3" xref="alg7.3.1.m1.2.2.2.2.1.1.1.3.cmml">v</mi></mrow><mo maxsize="129%" minsize="129%" id="alg7.3.1.m1.2.2.2.2.1.1.3" xref="alg7.3.1.m1.2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.3.1.m1.2b"><apply id="alg7.3.1.m1.2.2.cmml" xref="alg7.3.1.m1.2.2"><eq id="alg7.3.1.m1.2.2.3.cmml" xref="alg7.3.1.m1.2.2.3"></eq><apply id="alg7.3.1.m1.2.2.4.cmml" xref="alg7.3.1.m1.2.2.4"><csymbol cd="ambiguous" id="alg7.3.1.m1.2.2.4.1.cmml" xref="alg7.3.1.m1.2.2.4">subscript</csymbol><ci id="alg7.3.1.m1.2.2.4.2.cmml" xref="alg7.3.1.m1.2.2.4.2">∇</ci><ci id="alg7.3.1.m1.2.2.4.3.cmml" xref="alg7.3.1.m1.2.2.4.3">𝑑</ci></apply><apply id="alg7.3.1.m1.2.2.2.cmml" xref="alg7.3.1.m1.2.2.2"><minus id="alg7.3.1.m1.2.2.2.3.cmml" xref="alg7.3.1.m1.2.2.2.3"></minus><apply id="alg7.3.1.m1.1.1.1.1.cmml" xref="alg7.3.1.m1.1.1.1.1"><csymbol cd="latexml" id="alg7.3.1.m1.1.1.1.1.2.cmml" xref="alg7.3.1.m1.1.1.1.1.2">direct-product</csymbol><apply id="alg7.3.1.m1.1.1.1.1.1.1.1.cmml" xref="alg7.3.1.m1.1.1.1.1.1.1"><times id="alg7.3.1.m1.1.1.1.1.1.1.1.1.cmml" xref="alg7.3.1.m1.1.1.1.1.1.1.1.1"></times><ci id="alg7.3.1.m1.1.1.1.1.1.1.1.2.cmml" xref="alg7.3.1.m1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="alg7.3.1.m1.1.1.1.1.1.1.1.3.cmml" xref="alg7.3.1.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><ci id="alg7.3.1.m1.1.1.1.1.3.cmml" xref="alg7.3.1.m1.1.1.1.1.3">ℎ</ci></apply><apply id="alg7.3.1.m1.2.2.2.2.cmml" xref="alg7.3.1.m1.2.2.2.2"><csymbol cd="latexml" id="alg7.3.1.m1.2.2.2.2.2.cmml" xref="alg7.3.1.m1.2.2.2.2.2">direct-product</csymbol><ci id="alg7.3.1.m1.2.2.2.2.3.cmml" xref="alg7.3.1.m1.2.2.2.2.3">𝑣</ci><apply id="alg7.3.1.m1.2.2.2.2.1.1.1.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1"><times id="alg7.3.1.m1.2.2.2.2.1.1.1.1.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.1"></times><apply id="alg7.3.1.m1.2.2.2.2.1.1.1.2.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="alg7.3.1.m1.2.2.2.2.1.1.1.2.1.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2">superscript</csymbol><ci id="alg7.3.1.m1.2.2.2.2.1.1.1.2.2.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.2">𝑃</ci><apply id="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.3"><minus id="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.1.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.3"></minus><cn type="integer" id="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.2.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.2.3.2">1</cn></apply></apply><ci id="alg7.3.1.m1.2.2.2.2.1.1.1.3.cmml" xref="alg7.3.1.m1.2.2.2.2.1.1.1.3">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.3.1.m1.2c">\nabla_{d}=(Ph)\odot h-v\odot(P^{-1}v)</annotation></semantics></math>
<br class="ltx_break"><math id="alg7.4.2.m2.2" class="ltx_Math" alttext="d\leftarrow d-\mu_{2}d\odot\nabla_{d}/\max(|\nabla_{d}|)" display="inline"><semantics id="alg7.4.2.m2.2a"><mrow id="alg7.4.2.m2.2.2" xref="alg7.4.2.m2.2.2.cmml"><mi mathsize="129%" id="alg7.4.2.m2.2.2.3" xref="alg7.4.2.m2.2.2.3.cmml">d</mi><mo mathsize="129%" stretchy="false" id="alg7.4.2.m2.2.2.2" xref="alg7.4.2.m2.2.2.2.cmml">←</mo><mrow id="alg7.4.2.m2.2.2.1" xref="alg7.4.2.m2.2.2.1.cmml"><mi mathsize="129%" id="alg7.4.2.m2.2.2.1.3" xref="alg7.4.2.m2.2.2.1.3.cmml">d</mi><mo mathsize="129%" id="alg7.4.2.m2.2.2.1.2" xref="alg7.4.2.m2.2.2.1.2.cmml">−</mo><mrow id="alg7.4.2.m2.2.2.1.1" xref="alg7.4.2.m2.2.2.1.1.cmml"><mrow id="alg7.4.2.m2.2.2.1.1.3" xref="alg7.4.2.m2.2.2.1.1.3.cmml"><mrow id="alg7.4.2.m2.2.2.1.1.3.2" xref="alg7.4.2.m2.2.2.1.1.3.2.cmml"><msub id="alg7.4.2.m2.2.2.1.1.3.2.2" xref="alg7.4.2.m2.2.2.1.1.3.2.2.cmml"><mi mathsize="129%" id="alg7.4.2.m2.2.2.1.1.3.2.2.2" xref="alg7.4.2.m2.2.2.1.1.3.2.2.2.cmml">μ</mi><mn mathsize="128%" id="alg7.4.2.m2.2.2.1.1.3.2.2.3" xref="alg7.4.2.m2.2.2.1.1.3.2.2.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="alg7.4.2.m2.2.2.1.1.3.2.1" xref="alg7.4.2.m2.2.2.1.1.3.2.1.cmml">​</mo><mi mathsize="129%" id="alg7.4.2.m2.2.2.1.1.3.2.3" xref="alg7.4.2.m2.2.2.1.1.3.2.3.cmml">d</mi></mrow><mo lspace="0.222em" mathsize="129%" rspace="0.222em" id="alg7.4.2.m2.2.2.1.1.3.1" xref="alg7.4.2.m2.2.2.1.1.3.1.cmml">⊙</mo><msub id="alg7.4.2.m2.2.2.1.1.3.3" xref="alg7.4.2.m2.2.2.1.1.3.3.cmml"><mo mathsize="129%" id="alg7.4.2.m2.2.2.1.1.3.3.2" xref="alg7.4.2.m2.2.2.1.1.3.3.2.cmml">∇</mo><mi mathsize="128%" id="alg7.4.2.m2.2.2.1.1.3.3.3" xref="alg7.4.2.m2.2.2.1.1.3.3.3.cmml">d</mi></msub></mrow><mo lspace="0em" maxsize="129%" minsize="129%" stretchy="true" symmetric="true" id="alg7.4.2.m2.2.2.1.1.2" xref="alg7.4.2.m2.2.2.1.1.2.cmml">/</mo><mrow id="alg7.4.2.m2.2.2.1.1.1.1" xref="alg7.4.2.m2.2.2.1.1.1.2.cmml"><mi mathsize="129%" id="alg7.4.2.m2.1.1" xref="alg7.4.2.m2.1.1.cmml">max</mi><mo id="alg7.4.2.m2.2.2.1.1.1.1a" xref="alg7.4.2.m2.2.2.1.1.1.2.cmml">⁡</mo><mrow id="alg7.4.2.m2.2.2.1.1.1.1.1" xref="alg7.4.2.m2.2.2.1.1.1.2.cmml"><mo maxsize="129%" minsize="129%" id="alg7.4.2.m2.2.2.1.1.1.1.1.2" xref="alg7.4.2.m2.2.2.1.1.1.2.cmml">(</mo><mrow id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.2.cmml"><mo maxsize="129%" minsize="129%" id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.2" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.2.1.cmml">|</mo><msub id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.cmml"><mo mathsize="129%" id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.2" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.2.cmml">∇</mo><mi mathsize="128%" id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.3" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.3.cmml">d</mi></msub><mo maxsize="129%" minsize="129%" id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.3" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.2.1.cmml">|</mo></mrow><mo maxsize="129%" minsize="129%" id="alg7.4.2.m2.2.2.1.1.1.1.1.3" xref="alg7.4.2.m2.2.2.1.1.1.2.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.4.2.m2.2b"><apply id="alg7.4.2.m2.2.2.cmml" xref="alg7.4.2.m2.2.2"><ci id="alg7.4.2.m2.2.2.2.cmml" xref="alg7.4.2.m2.2.2.2">←</ci><ci id="alg7.4.2.m2.2.2.3.cmml" xref="alg7.4.2.m2.2.2.3">𝑑</ci><apply id="alg7.4.2.m2.2.2.1.cmml" xref="alg7.4.2.m2.2.2.1"><minus id="alg7.4.2.m2.2.2.1.2.cmml" xref="alg7.4.2.m2.2.2.1.2"></minus><ci id="alg7.4.2.m2.2.2.1.3.cmml" xref="alg7.4.2.m2.2.2.1.3">𝑑</ci><apply id="alg7.4.2.m2.2.2.1.1.cmml" xref="alg7.4.2.m2.2.2.1.1"><divide id="alg7.4.2.m2.2.2.1.1.2.cmml" xref="alg7.4.2.m2.2.2.1.1.2"></divide><apply id="alg7.4.2.m2.2.2.1.1.3.cmml" xref="alg7.4.2.m2.2.2.1.1.3"><csymbol cd="latexml" id="alg7.4.2.m2.2.2.1.1.3.1.cmml" xref="alg7.4.2.m2.2.2.1.1.3.1">direct-product</csymbol><apply id="alg7.4.2.m2.2.2.1.1.3.2.cmml" xref="alg7.4.2.m2.2.2.1.1.3.2"><times id="alg7.4.2.m2.2.2.1.1.3.2.1.cmml" xref="alg7.4.2.m2.2.2.1.1.3.2.1"></times><apply id="alg7.4.2.m2.2.2.1.1.3.2.2.cmml" xref="alg7.4.2.m2.2.2.1.1.3.2.2"><csymbol cd="ambiguous" id="alg7.4.2.m2.2.2.1.1.3.2.2.1.cmml" xref="alg7.4.2.m2.2.2.1.1.3.2.2">subscript</csymbol><ci id="alg7.4.2.m2.2.2.1.1.3.2.2.2.cmml" xref="alg7.4.2.m2.2.2.1.1.3.2.2.2">𝜇</ci><cn type="integer" id="alg7.4.2.m2.2.2.1.1.3.2.2.3.cmml" xref="alg7.4.2.m2.2.2.1.1.3.2.2.3">2</cn></apply><ci id="alg7.4.2.m2.2.2.1.1.3.2.3.cmml" xref="alg7.4.2.m2.2.2.1.1.3.2.3">𝑑</ci></apply><apply id="alg7.4.2.m2.2.2.1.1.3.3.cmml" xref="alg7.4.2.m2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="alg7.4.2.m2.2.2.1.1.3.3.1.cmml" xref="alg7.4.2.m2.2.2.1.1.3.3">subscript</csymbol><ci id="alg7.4.2.m2.2.2.1.1.3.3.2.cmml" xref="alg7.4.2.m2.2.2.1.1.3.3.2">∇</ci><ci id="alg7.4.2.m2.2.2.1.1.3.3.3.cmml" xref="alg7.4.2.m2.2.2.1.1.3.3.3">𝑑</ci></apply></apply><apply id="alg7.4.2.m2.2.2.1.1.1.2.cmml" xref="alg7.4.2.m2.2.2.1.1.1.1"><max id="alg7.4.2.m2.1.1.cmml" xref="alg7.4.2.m2.1.1"></max><apply id="alg7.4.2.m2.2.2.1.1.1.1.1.1.2.cmml" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1"><abs id="alg7.4.2.m2.2.2.1.1.1.1.1.1.2.1.cmml" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.2"></abs><apply id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.cmml" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.1.cmml" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.2.cmml" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.2">∇</ci><ci id="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.3.cmml" xref="alg7.4.2.m2.2.2.1.1.1.1.1.1.1.1.3">𝑑</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.4.2.m2.2c">d\leftarrow d-\mu_{2}d\odot\nabla_{d}/\max(|\nabla_{d}|)</annotation></semantics></math>
<br class="ltx_break"><span id="alg7.11.9.7" class="ltx_text ltx_font_bold" style="font-size:129%;">If<span id="alg7.8.6.4.4" class="ltx_text ltx_font_medium"> <math id="alg7.5.3.1.1.m1.1" class="ltx_Math" alttext="u&lt;0.5" display="inline"><semantics id="alg7.5.3.1.1.m1.1a"><mrow id="alg7.5.3.1.1.m1.1.1" xref="alg7.5.3.1.1.m1.1.1.cmml"><mi id="alg7.5.3.1.1.m1.1.1.2" xref="alg7.5.3.1.1.m1.1.1.2.cmml">u</mi><mo id="alg7.5.3.1.1.m1.1.1.1" xref="alg7.5.3.1.1.m1.1.1.1.cmml">&lt;</mo><mn id="alg7.5.3.1.1.m1.1.1.3" xref="alg7.5.3.1.1.m1.1.1.3.cmml">0.5</mn></mrow><annotation-xml encoding="MathML-Content" id="alg7.5.3.1.1.m1.1b"><apply id="alg7.5.3.1.1.m1.1.1.cmml" xref="alg7.5.3.1.1.m1.1.1"><lt id="alg7.5.3.1.1.m1.1.1.1.cmml" xref="alg7.5.3.1.1.m1.1.1.1"></lt><ci id="alg7.5.3.1.1.m1.1.1.2.cmml" xref="alg7.5.3.1.1.m1.1.1.2">𝑢</ci><cn type="float" id="alg7.5.3.1.1.m1.1.1.3.cmml" xref="alg7.5.3.1.1.m1.1.1.3">0.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.5.3.1.1.m1.1c">u&lt;0.5</annotation></semantics></math> with <math id="alg7.6.4.2.2.m2.2" class="ltx_Math" alttext="u\sim\mathcal{U}(0,1)" display="inline"><semantics id="alg7.6.4.2.2.m2.2a"><mrow id="alg7.6.4.2.2.m2.2.3" xref="alg7.6.4.2.2.m2.2.3.cmml"><mi id="alg7.6.4.2.2.m2.2.3.2" xref="alg7.6.4.2.2.m2.2.3.2.cmml">u</mi><mo id="alg7.6.4.2.2.m2.2.3.1" xref="alg7.6.4.2.2.m2.2.3.1.cmml">∼</mo><mrow id="alg7.6.4.2.2.m2.2.3.3" xref="alg7.6.4.2.2.m2.2.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="alg7.6.4.2.2.m2.2.3.3.2" xref="alg7.6.4.2.2.m2.2.3.3.2.cmml">𝒰</mi><mo lspace="0em" rspace="0em" id="alg7.6.4.2.2.m2.2.3.3.1" xref="alg7.6.4.2.2.m2.2.3.3.1.cmml">​</mo><mrow id="alg7.6.4.2.2.m2.2.3.3.3.2" xref="alg7.6.4.2.2.m2.2.3.3.3.1.cmml"><mo stretchy="false" id="alg7.6.4.2.2.m2.2.3.3.3.2.1" xref="alg7.6.4.2.2.m2.2.3.3.3.1.cmml">(</mo><mn id="alg7.6.4.2.2.m2.1.1" xref="alg7.6.4.2.2.m2.1.1.cmml">0</mn><mo id="alg7.6.4.2.2.m2.2.3.3.3.2.2" xref="alg7.6.4.2.2.m2.2.3.3.3.1.cmml">,</mo><mn id="alg7.6.4.2.2.m2.2.2" xref="alg7.6.4.2.2.m2.2.2.cmml">1</mn><mo stretchy="false" id="alg7.6.4.2.2.m2.2.3.3.3.2.3" xref="alg7.6.4.2.2.m2.2.3.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.6.4.2.2.m2.2b"><apply id="alg7.6.4.2.2.m2.2.3.cmml" xref="alg7.6.4.2.2.m2.2.3"><csymbol cd="latexml" id="alg7.6.4.2.2.m2.2.3.1.cmml" xref="alg7.6.4.2.2.m2.2.3.1">similar-to</csymbol><ci id="alg7.6.4.2.2.m2.2.3.2.cmml" xref="alg7.6.4.2.2.m2.2.3.2">𝑢</ci><apply id="alg7.6.4.2.2.m2.2.3.3.cmml" xref="alg7.6.4.2.2.m2.2.3.3"><times id="alg7.6.4.2.2.m2.2.3.3.1.cmml" xref="alg7.6.4.2.2.m2.2.3.3.1"></times><ci id="alg7.6.4.2.2.m2.2.3.3.2.cmml" xref="alg7.6.4.2.2.m2.2.3.3.2">𝒰</ci><interval closure="open" id="alg7.6.4.2.2.m2.2.3.3.3.1.cmml" xref="alg7.6.4.2.2.m2.2.3.3.3.2"><cn type="integer" id="alg7.6.4.2.2.m2.1.1.cmml" xref="alg7.6.4.2.2.m2.1.1">0</cn><cn type="integer" id="alg7.6.4.2.2.m2.2.2.cmml" xref="alg7.6.4.2.2.m2.2.2">1</cn></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.6.4.2.2.m2.2c">u\sim\mathcal{U}(0,1)</annotation></semantics></math>
<br class="ltx_break">
 <math id="alg7.7.5.3.3.m3.4" class="ltx_Math" alttext="\nabla_{U}=(Qh)(Qh)^{T}V-(Q^{-T}v)(Q^{-T}v)^{T}V" display="inline"><semantics id="alg7.7.5.3.3.m3.4a"><mrow id="alg7.7.5.3.3.m3.4.4" xref="alg7.7.5.3.3.m3.4.4.cmml"><msub id="alg7.7.5.3.3.m3.4.4.6" xref="alg7.7.5.3.3.m3.4.4.6.cmml"><mo id="alg7.7.5.3.3.m3.4.4.6.2" xref="alg7.7.5.3.3.m3.4.4.6.2.cmml">∇</mo><mi id="alg7.7.5.3.3.m3.4.4.6.3" xref="alg7.7.5.3.3.m3.4.4.6.3.cmml">U</mi></msub><mo id="alg7.7.5.3.3.m3.4.4.5" xref="alg7.7.5.3.3.m3.4.4.5.cmml">=</mo><mrow id="alg7.7.5.3.3.m3.4.4.4" xref="alg7.7.5.3.3.m3.4.4.4.cmml"><mrow id="alg7.7.5.3.3.m3.2.2.2.2" xref="alg7.7.5.3.3.m3.2.2.2.2.cmml"><mrow id="alg7.7.5.3.3.m3.1.1.1.1.1.1" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg7.7.5.3.3.m3.1.1.1.1.1.1.2" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.cmml"><mi id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.2" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.1" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.3" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg7.7.5.3.3.m3.1.1.1.1.1.1.3" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.2.2.2.2.3" xref="alg7.7.5.3.3.m3.2.2.2.2.3.cmml">​</mo><msup id="alg7.7.5.3.3.m3.2.2.2.2.2" xref="alg7.7.5.3.3.m3.2.2.2.2.2.cmml"><mrow id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.2" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml"><mi id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.2" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.1" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.3" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.3" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mi id="alg7.7.5.3.3.m3.2.2.2.2.2.3" xref="alg7.7.5.3.3.m3.2.2.2.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.2.2.2.2.3a" xref="alg7.7.5.3.3.m3.2.2.2.2.3.cmml">​</mo><mi id="alg7.7.5.3.3.m3.2.2.2.2.4" xref="alg7.7.5.3.3.m3.2.2.2.2.4.cmml">V</mi></mrow><mo id="alg7.7.5.3.3.m3.4.4.4.5" xref="alg7.7.5.3.3.m3.4.4.4.5.cmml">−</mo><mrow id="alg7.7.5.3.3.m3.4.4.4.4" xref="alg7.7.5.3.3.m3.4.4.4.4.cmml"><mrow id="alg7.7.5.3.3.m3.3.3.3.3.1.1" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg7.7.5.3.3.m3.3.3.3.3.1.1.2" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.cmml">(</mo><mrow id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.cmml"><msup id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.cmml"><mi id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.2" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.cmml"><mo id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3a" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.1" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.3" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg7.7.5.3.3.m3.3.3.3.3.1.1.3" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.4.4.4.4.3" xref="alg7.7.5.3.3.m3.4.4.4.4.3.cmml">​</mo><msup id="alg7.7.5.3.3.m3.4.4.4.4.2" xref="alg7.7.5.3.3.m3.4.4.4.4.2.cmml"><mrow id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml"><mo stretchy="false" id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.2" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml">(</mo><mrow id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml"><msup id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.cmml"><mi id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.cmml"><mo id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3a" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.cmml">−</mo><mi id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.1" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.1.cmml">​</mo><mi id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.3" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.3" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml">)</mo></mrow><mi id="alg7.7.5.3.3.m3.4.4.4.4.2.3" xref="alg7.7.5.3.3.m3.4.4.4.4.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg7.7.5.3.3.m3.4.4.4.4.3a" xref="alg7.7.5.3.3.m3.4.4.4.4.3.cmml">​</mo><mi id="alg7.7.5.3.3.m3.4.4.4.4.4" xref="alg7.7.5.3.3.m3.4.4.4.4.4.cmml">V</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.7.5.3.3.m3.4b"><apply id="alg7.7.5.3.3.m3.4.4.cmml" xref="alg7.7.5.3.3.m3.4.4"><eq id="alg7.7.5.3.3.m3.4.4.5.cmml" xref="alg7.7.5.3.3.m3.4.4.5"></eq><apply id="alg7.7.5.3.3.m3.4.4.6.cmml" xref="alg7.7.5.3.3.m3.4.4.6"><csymbol cd="ambiguous" id="alg7.7.5.3.3.m3.4.4.6.1.cmml" xref="alg7.7.5.3.3.m3.4.4.6">subscript</csymbol><ci id="alg7.7.5.3.3.m3.4.4.6.2.cmml" xref="alg7.7.5.3.3.m3.4.4.6.2">∇</ci><ci id="alg7.7.5.3.3.m3.4.4.6.3.cmml" xref="alg7.7.5.3.3.m3.4.4.6.3">𝑈</ci></apply><apply id="alg7.7.5.3.3.m3.4.4.4.cmml" xref="alg7.7.5.3.3.m3.4.4.4"><minus id="alg7.7.5.3.3.m3.4.4.4.5.cmml" xref="alg7.7.5.3.3.m3.4.4.4.5"></minus><apply id="alg7.7.5.3.3.m3.2.2.2.2.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2"><times id="alg7.7.5.3.3.m3.2.2.2.2.3.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.3"></times><apply id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.cmml" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1"><times id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.1.cmml" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.1"></times><ci id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.2.cmml" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.3.cmml" xref="alg7.7.5.3.3.m3.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg7.7.5.3.3.m3.2.2.2.2.2.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.2"><csymbol cd="ambiguous" id="alg7.7.5.3.3.m3.2.2.2.2.2.2.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.2">superscript</csymbol><apply id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1"><times id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.1.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.1"></times><ci id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.2.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.2">𝑄</ci><ci id="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.3.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.2.1.1.1.3">ℎ</ci></apply><ci id="alg7.7.5.3.3.m3.2.2.2.2.2.3.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.2.3">𝑇</ci></apply><ci id="alg7.7.5.3.3.m3.2.2.2.2.4.cmml" xref="alg7.7.5.3.3.m3.2.2.2.2.4">𝑉</ci></apply><apply id="alg7.7.5.3.3.m3.4.4.4.4.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4"><times id="alg7.7.5.3.3.m3.4.4.4.4.3.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.3"></times><apply id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1"><times id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.1.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.1"></times><apply id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.1.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.2.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3"><minus id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.1.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3"></minus><ci id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.3.cmml" xref="alg7.7.5.3.3.m3.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg7.7.5.3.3.m3.4.4.4.4.2.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2"><csymbol cd="ambiguous" id="alg7.7.5.3.3.m3.4.4.4.4.2.2.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2">superscript</csymbol><apply id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1"><times id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.1.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.1"></times><apply id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2"><csymbol cd="ambiguous" id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.1.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2">superscript</csymbol><ci id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.2">𝑄</ci><apply id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3"><minus id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.1.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3"></minus><ci id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.3.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.1.1.1.3">𝑣</ci></apply><ci id="alg7.7.5.3.3.m3.4.4.4.4.2.3.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.2.3">𝑇</ci></apply><ci id="alg7.7.5.3.3.m3.4.4.4.4.4.cmml" xref="alg7.7.5.3.3.m3.4.4.4.4.4">𝑉</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.7.5.3.3.m3.4c">\nabla_{U}=(Qh)(Qh)^{T}V-(Q^{-T}v)(Q^{-T}v)^{T}V</annotation></semantics></math>
<br class="ltx_break"> <math id="alg7.8.6.4.4.m4.3" class="ltx_Math" alttext="U\leftarrow U-\mu_{2}\|\nabla_{U}V^{T}\|^{-1}\nabla_{U}(I+V^{T}U)" display="inline"><semantics id="alg7.8.6.4.4.m4.3a"><mrow id="alg7.8.6.4.4.m4.3.3" xref="alg7.8.6.4.4.m4.3.3.cmml"><mi id="alg7.8.6.4.4.m4.3.3.5" xref="alg7.8.6.4.4.m4.3.3.5.cmml">U</mi><mo stretchy="false" id="alg7.8.6.4.4.m4.3.3.4" xref="alg7.8.6.4.4.m4.3.3.4.cmml">←</mo><mrow id="alg7.8.6.4.4.m4.3.3.3" xref="alg7.8.6.4.4.m4.3.3.3.cmml"><mi id="alg7.8.6.4.4.m4.3.3.3.5" xref="alg7.8.6.4.4.m4.3.3.3.5.cmml">U</mi><mo id="alg7.8.6.4.4.m4.3.3.3.4" xref="alg7.8.6.4.4.m4.3.3.3.4.cmml">−</mo><mrow id="alg7.8.6.4.4.m4.3.3.3.3" xref="alg7.8.6.4.4.m4.3.3.3.3.cmml"><msub id="alg7.8.6.4.4.m4.3.3.3.3.5" xref="alg7.8.6.4.4.m4.3.3.3.3.5.cmml"><mi id="alg7.8.6.4.4.m4.3.3.3.3.5.2" xref="alg7.8.6.4.4.m4.3.3.3.3.5.2.cmml">μ</mi><mn id="alg7.8.6.4.4.m4.3.3.3.3.5.3" xref="alg7.8.6.4.4.m4.3.3.3.3.5.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="alg7.8.6.4.4.m4.3.3.3.3.4" xref="alg7.8.6.4.4.m4.3.3.3.3.4.cmml">​</mo><msup id="alg7.8.6.4.4.m4.1.1.1.1.1" xref="alg7.8.6.4.4.m4.1.1.1.1.1.cmml"><mrow id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.2" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.cmml"><msub id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3.cmml">U</mi></msub><msup id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.cmml"><mi id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2.cmml">V</mi><mi id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.3" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mrow id="alg7.8.6.4.4.m4.1.1.1.1.1.3" xref="alg7.8.6.4.4.m4.1.1.1.1.1.3.cmml"><mo id="alg7.8.6.4.4.m4.1.1.1.1.1.3a" xref="alg7.8.6.4.4.m4.1.1.1.1.1.3.cmml">−</mo><mn id="alg7.8.6.4.4.m4.1.1.1.1.1.3.2" xref="alg7.8.6.4.4.m4.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0.167em" rspace="0em" id="alg7.8.6.4.4.m4.3.3.3.3.4a" xref="alg7.8.6.4.4.m4.3.3.3.3.4.cmml">​</mo><mrow id="alg7.8.6.4.4.m4.3.3.3.3.3.2" xref="alg7.8.6.4.4.m4.3.3.3.3.3.3.cmml"><msub id="alg7.8.6.4.4.m4.2.2.2.2.2.1.1" xref="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.cmml"><mo id="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.2" xref="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.2.cmml">∇</mo><mi id="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.3" xref="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.3.cmml">U</mi></msub><mrow id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2" xref="alg7.8.6.4.4.m4.3.3.3.3.3.3.cmml"><mo stretchy="false" id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.2" xref="alg7.8.6.4.4.m4.3.3.3.3.3.3.cmml">(</mo><mrow id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.cmml"><mi id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.2" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.2.cmml">I</mi><mo id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.1" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.1.cmml">+</mo><mrow id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.cmml"><msup id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.cmml"><mi id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2.cmml">V</mi><mi id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1.cmml">​</mo><mi id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3.cmml">U</mi></mrow></mrow><mo stretchy="false" id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.3" xref="alg7.8.6.4.4.m4.3.3.3.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.8.6.4.4.m4.3b"><apply id="alg7.8.6.4.4.m4.3.3.cmml" xref="alg7.8.6.4.4.m4.3.3"><ci id="alg7.8.6.4.4.m4.3.3.4.cmml" xref="alg7.8.6.4.4.m4.3.3.4">←</ci><ci id="alg7.8.6.4.4.m4.3.3.5.cmml" xref="alg7.8.6.4.4.m4.3.3.5">𝑈</ci><apply id="alg7.8.6.4.4.m4.3.3.3.cmml" xref="alg7.8.6.4.4.m4.3.3.3"><minus id="alg7.8.6.4.4.m4.3.3.3.4.cmml" xref="alg7.8.6.4.4.m4.3.3.3.4"></minus><ci id="alg7.8.6.4.4.m4.3.3.3.5.cmml" xref="alg7.8.6.4.4.m4.3.3.3.5">𝑈</ci><apply id="alg7.8.6.4.4.m4.3.3.3.3.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3"><times id="alg7.8.6.4.4.m4.3.3.3.3.4.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.4"></times><apply id="alg7.8.6.4.4.m4.3.3.3.3.5.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.5"><csymbol cd="ambiguous" id="alg7.8.6.4.4.m4.3.3.3.3.5.1.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.5">subscript</csymbol><ci id="alg7.8.6.4.4.m4.3.3.3.3.5.2.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.5.2">𝜇</ci><cn type="integer" id="alg7.8.6.4.4.m4.3.3.3.3.5.3.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.5.3">2</cn></apply><apply id="alg7.8.6.4.4.m4.1.1.1.1.1.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1"><csymbol cd="ambiguous" id="alg7.8.6.4.4.m4.1.1.1.1.1.2.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1">superscript</csymbol><apply id="alg7.8.6.4.4.m4.1.1.1.1.1.1.2.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1"><csymbol cd="latexml" id="alg7.8.6.4.4.m4.1.1.1.1.1.1.2.1.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.2">norm</csymbol><apply id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1"><apply id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.1.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.2">∇</ci><ci id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.1.3">𝑈</ci></apply><apply id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.1.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.2">𝑉</ci><ci id="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.1.1.1.2.3">𝑇</ci></apply></apply></apply><apply id="alg7.8.6.4.4.m4.1.1.1.1.1.3.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.3"><minus id="alg7.8.6.4.4.m4.1.1.1.1.1.3.1.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.3"></minus><cn type="integer" id="alg7.8.6.4.4.m4.1.1.1.1.1.3.2.cmml" xref="alg7.8.6.4.4.m4.1.1.1.1.1.3.2">1</cn></apply></apply><apply id="alg7.8.6.4.4.m4.3.3.3.3.3.3.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2"><apply id="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.cmml" xref="alg7.8.6.4.4.m4.2.2.2.2.2.1.1"><csymbol cd="ambiguous" id="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.1.cmml" xref="alg7.8.6.4.4.m4.2.2.2.2.2.1.1">subscript</csymbol><ci id="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.2.cmml" xref="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.2">∇</ci><ci id="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.3.cmml" xref="alg7.8.6.4.4.m4.2.2.2.2.2.1.1.3">𝑈</ci></apply><apply id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1"><plus id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.1.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.1"></plus><ci id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.2.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.2">𝐼</ci><apply id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3"><times id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.1"></times><apply id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2"><csymbol cd="ambiguous" id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.1.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2">superscript</csymbol><ci id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.2">𝑉</ci><ci id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.2.3">𝑇</ci></apply><ci id="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3.cmml" xref="alg7.8.6.4.4.m4.3.3.3.3.3.2.2.1.3.3">𝑈</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.8.6.4.4.m4.3c">U\leftarrow U-\mu_{2}\|\nabla_{U}V^{T}\|^{-1}\nabla_{U}(I+V^{T}U)</annotation></semantics></math>
<br class="ltx_break"></span>Else<span id="alg7.10.8.6.6" class="ltx_text ltx_font_medium"> 
<br class="ltx_break">
 <math id="alg7.9.7.5.5.m1.4" class="ltx_Math" alttext="\nabla_{V}=(Qh)(Qh)^{T}U-(Q^{-T}v)(Q^{-T}v)^{T}U" display="inline"><semantics id="alg7.9.7.5.5.m1.4a"><mrow id="alg7.9.7.5.5.m1.4.4" xref="alg7.9.7.5.5.m1.4.4.cmml"><msub id="alg7.9.7.5.5.m1.4.4.6" xref="alg7.9.7.5.5.m1.4.4.6.cmml"><mo id="alg7.9.7.5.5.m1.4.4.6.2" xref="alg7.9.7.5.5.m1.4.4.6.2.cmml">∇</mo><mi id="alg7.9.7.5.5.m1.4.4.6.3" xref="alg7.9.7.5.5.m1.4.4.6.3.cmml">V</mi></msub><mo id="alg7.9.7.5.5.m1.4.4.5" xref="alg7.9.7.5.5.m1.4.4.5.cmml">=</mo><mrow id="alg7.9.7.5.5.m1.4.4.4" xref="alg7.9.7.5.5.m1.4.4.4.cmml"><mrow id="alg7.9.7.5.5.m1.2.2.2.2" xref="alg7.9.7.5.5.m1.2.2.2.2.cmml"><mrow id="alg7.9.7.5.5.m1.1.1.1.1.1.1" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg7.9.7.5.5.m1.1.1.1.1.1.1.2" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.cmml"><mi id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.2" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.1" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.3" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg7.9.7.5.5.m1.1.1.1.1.1.1.3" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.2.2.2.2.3" xref="alg7.9.7.5.5.m1.2.2.2.2.3.cmml">​</mo><msup id="alg7.9.7.5.5.m1.2.2.2.2.2" xref="alg7.9.7.5.5.m1.2.2.2.2.2.cmml"><mrow id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.2" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml">(</mo><mrow id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml"><mi id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.2" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.1" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.3" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.3" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml">)</mo></mrow><mi id="alg7.9.7.5.5.m1.2.2.2.2.2.3" xref="alg7.9.7.5.5.m1.2.2.2.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.2.2.2.2.3a" xref="alg7.9.7.5.5.m1.2.2.2.2.3.cmml">​</mo><mi id="alg7.9.7.5.5.m1.2.2.2.2.4" xref="alg7.9.7.5.5.m1.2.2.2.2.4.cmml">U</mi></mrow><mo id="alg7.9.7.5.5.m1.4.4.4.5" xref="alg7.9.7.5.5.m1.4.4.4.5.cmml">−</mo><mrow id="alg7.9.7.5.5.m1.4.4.4.4" xref="alg7.9.7.5.5.m1.4.4.4.4.cmml"><mrow id="alg7.9.7.5.5.m1.3.3.3.3.1.1" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg7.9.7.5.5.m1.3.3.3.3.1.1.2" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.cmml">(</mo><mrow id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.cmml"><msup id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.cmml"><mi id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.2" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.cmml"><mo id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3a" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.1" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.1.cmml">​</mo><mi id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.3" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg7.9.7.5.5.m1.3.3.3.3.1.1.3" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.4.4.4.4.3" xref="alg7.9.7.5.5.m1.4.4.4.4.3.cmml">​</mo><msup id="alg7.9.7.5.5.m1.4.4.4.4.2" xref="alg7.9.7.5.5.m1.4.4.4.4.2.cmml"><mrow id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml"><mo stretchy="false" id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.2" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml">(</mo><mrow id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml"><msup id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.cmml"><mi id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.cmml"><mo id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3a" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.cmml">−</mo><mi id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.1" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.1.cmml">​</mo><mi id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.3" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.3" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml">)</mo></mrow><mi id="alg7.9.7.5.5.m1.4.4.4.4.2.3" xref="alg7.9.7.5.5.m1.4.4.4.4.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="alg7.9.7.5.5.m1.4.4.4.4.3a" xref="alg7.9.7.5.5.m1.4.4.4.4.3.cmml">​</mo><mi id="alg7.9.7.5.5.m1.4.4.4.4.4" xref="alg7.9.7.5.5.m1.4.4.4.4.4.cmml">U</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.9.7.5.5.m1.4b"><apply id="alg7.9.7.5.5.m1.4.4.cmml" xref="alg7.9.7.5.5.m1.4.4"><eq id="alg7.9.7.5.5.m1.4.4.5.cmml" xref="alg7.9.7.5.5.m1.4.4.5"></eq><apply id="alg7.9.7.5.5.m1.4.4.6.cmml" xref="alg7.9.7.5.5.m1.4.4.6"><csymbol cd="ambiguous" id="alg7.9.7.5.5.m1.4.4.6.1.cmml" xref="alg7.9.7.5.5.m1.4.4.6">subscript</csymbol><ci id="alg7.9.7.5.5.m1.4.4.6.2.cmml" xref="alg7.9.7.5.5.m1.4.4.6.2">∇</ci><ci id="alg7.9.7.5.5.m1.4.4.6.3.cmml" xref="alg7.9.7.5.5.m1.4.4.6.3">𝑉</ci></apply><apply id="alg7.9.7.5.5.m1.4.4.4.cmml" xref="alg7.9.7.5.5.m1.4.4.4"><minus id="alg7.9.7.5.5.m1.4.4.4.5.cmml" xref="alg7.9.7.5.5.m1.4.4.4.5"></minus><apply id="alg7.9.7.5.5.m1.2.2.2.2.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2"><times id="alg7.9.7.5.5.m1.2.2.2.2.3.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.3"></times><apply id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.cmml" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1"><times id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.1.cmml" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.1"></times><ci id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.2.cmml" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.3.cmml" xref="alg7.9.7.5.5.m1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg7.9.7.5.5.m1.2.2.2.2.2.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.2"><csymbol cd="ambiguous" id="alg7.9.7.5.5.m1.2.2.2.2.2.2.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.2">superscript</csymbol><apply id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1"><times id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.1.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.1"></times><ci id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.2.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.2">𝑄</ci><ci id="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.3.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.2.1.1.1.3">ℎ</ci></apply><ci id="alg7.9.7.5.5.m1.2.2.2.2.2.3.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.2.3">𝑇</ci></apply><ci id="alg7.9.7.5.5.m1.2.2.2.2.4.cmml" xref="alg7.9.7.5.5.m1.2.2.2.2.4">𝑈</ci></apply><apply id="alg7.9.7.5.5.m1.4.4.4.4.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4"><times id="alg7.9.7.5.5.m1.4.4.4.4.3.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.3"></times><apply id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1"><times id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.1.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.1"></times><apply id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.1.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2">superscript</csymbol><ci id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.2.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3"><minus id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.1.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3"></minus><ci id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.3.cmml" xref="alg7.9.7.5.5.m1.3.3.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg7.9.7.5.5.m1.4.4.4.4.2.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2"><csymbol cd="ambiguous" id="alg7.9.7.5.5.m1.4.4.4.4.2.2.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2">superscript</csymbol><apply id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1"><times id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.1.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.1"></times><apply id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2"><csymbol cd="ambiguous" id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.1.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2">superscript</csymbol><ci id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.2">𝑄</ci><apply id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3"><minus id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.1.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3"></minus><ci id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.3.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.1.1.1.3">𝑣</ci></apply><ci id="alg7.9.7.5.5.m1.4.4.4.4.2.3.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.2.3">𝑇</ci></apply><ci id="alg7.9.7.5.5.m1.4.4.4.4.4.cmml" xref="alg7.9.7.5.5.m1.4.4.4.4.4">𝑈</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.9.7.5.5.m1.4c">\nabla_{V}=(Qh)(Qh)^{T}U-(Q^{-T}v)(Q^{-T}v)^{T}U</annotation></semantics></math>
<br class="ltx_break"> <math id="alg7.10.8.6.6.m2.2" class="ltx_Math" alttext="V\leftarrow V-\mu_{2}\|U\nabla_{V}^{T}\|^{-1}(I+VU^{T})\nabla_{V}" display="inline"><semantics id="alg7.10.8.6.6.m2.2a"><mrow id="alg7.10.8.6.6.m2.2.2" xref="alg7.10.8.6.6.m2.2.2.cmml"><mi id="alg7.10.8.6.6.m2.2.2.4" xref="alg7.10.8.6.6.m2.2.2.4.cmml">V</mi><mo stretchy="false" id="alg7.10.8.6.6.m2.2.2.3" xref="alg7.10.8.6.6.m2.2.2.3.cmml">←</mo><mrow id="alg7.10.8.6.6.m2.2.2.2" xref="alg7.10.8.6.6.m2.2.2.2.cmml"><mi id="alg7.10.8.6.6.m2.2.2.2.4" xref="alg7.10.8.6.6.m2.2.2.2.4.cmml">V</mi><mo id="alg7.10.8.6.6.m2.2.2.2.3" xref="alg7.10.8.6.6.m2.2.2.2.3.cmml">−</mo><mrow id="alg7.10.8.6.6.m2.2.2.2.2" xref="alg7.10.8.6.6.m2.2.2.2.2.cmml"><msub id="alg7.10.8.6.6.m2.2.2.2.2.4" xref="alg7.10.8.6.6.m2.2.2.2.2.4.cmml"><mi id="alg7.10.8.6.6.m2.2.2.2.2.4.2" xref="alg7.10.8.6.6.m2.2.2.2.2.4.2.cmml">μ</mi><mn id="alg7.10.8.6.6.m2.2.2.2.2.4.3" xref="alg7.10.8.6.6.m2.2.2.2.2.4.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="alg7.10.8.6.6.m2.2.2.2.2.3" xref="alg7.10.8.6.6.m2.2.2.2.2.3.cmml">​</mo><msup id="alg7.10.8.6.6.m2.1.1.1.1.1" xref="alg7.10.8.6.6.m2.1.1.1.1.1.cmml"><mrow id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.2" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.cmml"><mi id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.2" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.2.cmml">U</mi><mo lspace="0.167em" rspace="0em" id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.1" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.1.cmml">​</mo><msubsup id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.cmml"><mo id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2.cmml">∇</mo><mi id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3.cmml">V</mi><mi id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3.cmml">T</mi></msubsup></mrow><mo stretchy="false" id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.3" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mrow id="alg7.10.8.6.6.m2.1.1.1.1.1.3" xref="alg7.10.8.6.6.m2.1.1.1.1.1.3.cmml"><mo id="alg7.10.8.6.6.m2.1.1.1.1.1.3a" xref="alg7.10.8.6.6.m2.1.1.1.1.1.3.cmml">−</mo><mn id="alg7.10.8.6.6.m2.1.1.1.1.1.3.2" xref="alg7.10.8.6.6.m2.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="alg7.10.8.6.6.m2.2.2.2.2.3a" xref="alg7.10.8.6.6.m2.2.2.2.2.3.cmml">​</mo><mrow id="alg7.10.8.6.6.m2.2.2.2.2.2.1" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="alg7.10.8.6.6.m2.2.2.2.2.2.1.2" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.cmml">(</mo><mrow id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.cmml"><mi id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.2" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.2.cmml">I</mi><mo id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.1" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.1.cmml">+</mo><mrow id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.cmml"><mi id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.2" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.2.cmml">V</mi><mo lspace="0em" rspace="0em" id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.1" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.1.cmml">​</mo><msup id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.cmml"><mi id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2.cmml">U</mi><mi id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="alg7.10.8.6.6.m2.2.2.2.2.2.1.3" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.cmml">)</mo></mrow><mo lspace="0.167em" rspace="0em" id="alg7.10.8.6.6.m2.2.2.2.2.3b" xref="alg7.10.8.6.6.m2.2.2.2.2.3.cmml">​</mo><msub id="alg7.10.8.6.6.m2.2.2.2.2.5" xref="alg7.10.8.6.6.m2.2.2.2.2.5.cmml"><mo id="alg7.10.8.6.6.m2.2.2.2.2.5.2" xref="alg7.10.8.6.6.m2.2.2.2.2.5.2.cmml">∇</mo><mi id="alg7.10.8.6.6.m2.2.2.2.2.5.3" xref="alg7.10.8.6.6.m2.2.2.2.2.5.3.cmml">V</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.10.8.6.6.m2.2b"><apply id="alg7.10.8.6.6.m2.2.2.cmml" xref="alg7.10.8.6.6.m2.2.2"><ci id="alg7.10.8.6.6.m2.2.2.3.cmml" xref="alg7.10.8.6.6.m2.2.2.3">←</ci><ci id="alg7.10.8.6.6.m2.2.2.4.cmml" xref="alg7.10.8.6.6.m2.2.2.4">𝑉</ci><apply id="alg7.10.8.6.6.m2.2.2.2.cmml" xref="alg7.10.8.6.6.m2.2.2.2"><minus id="alg7.10.8.6.6.m2.2.2.2.3.cmml" xref="alg7.10.8.6.6.m2.2.2.2.3"></minus><ci id="alg7.10.8.6.6.m2.2.2.2.4.cmml" xref="alg7.10.8.6.6.m2.2.2.2.4">𝑉</ci><apply id="alg7.10.8.6.6.m2.2.2.2.2.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2"><times id="alg7.10.8.6.6.m2.2.2.2.2.3.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.3"></times><apply id="alg7.10.8.6.6.m2.2.2.2.2.4.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.4"><csymbol cd="ambiguous" id="alg7.10.8.6.6.m2.2.2.2.2.4.1.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.4">subscript</csymbol><ci id="alg7.10.8.6.6.m2.2.2.2.2.4.2.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.4.2">𝜇</ci><cn type="integer" id="alg7.10.8.6.6.m2.2.2.2.2.4.3.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.4.3">2</cn></apply><apply id="alg7.10.8.6.6.m2.1.1.1.1.1.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1"><csymbol cd="ambiguous" id="alg7.10.8.6.6.m2.1.1.1.1.1.2.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1">superscript</csymbol><apply id="alg7.10.8.6.6.m2.1.1.1.1.1.1.2.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1"><csymbol cd="latexml" id="alg7.10.8.6.6.m2.1.1.1.1.1.1.2.1.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.2">norm</csymbol><apply id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1"><times id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.1.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.1"></times><ci id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.2.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.2">𝑈</ci><apply id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.1.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.2">∇</ci><ci id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.2.3">𝑉</ci></apply><ci id="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply><apply id="alg7.10.8.6.6.m2.1.1.1.1.1.3.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.3"><minus id="alg7.10.8.6.6.m2.1.1.1.1.1.3.1.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.3"></minus><cn type="integer" id="alg7.10.8.6.6.m2.1.1.1.1.1.3.2.cmml" xref="alg7.10.8.6.6.m2.1.1.1.1.1.3.2">1</cn></apply></apply><apply id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1"><plus id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.1.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.1"></plus><ci id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.2.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.2">𝐼</ci><apply id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3"><times id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.1.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.1"></times><ci id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.2.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.2">𝑉</ci><apply id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.1.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3">superscript</csymbol><ci id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.2">𝑈</ci><ci id="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.2.1.1.3.3.3">𝑇</ci></apply></apply></apply><apply id="alg7.10.8.6.6.m2.2.2.2.2.5.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.5"><csymbol cd="ambiguous" id="alg7.10.8.6.6.m2.2.2.2.2.5.1.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.5">subscript</csymbol><ci id="alg7.10.8.6.6.m2.2.2.2.2.5.2.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.5.2">∇</ci><ci id="alg7.10.8.6.6.m2.2.2.2.2.5.3.cmml" xref="alg7.10.8.6.6.m2.2.2.2.2.5.3">𝑉</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.10.8.6.6.m2.2c">V\leftarrow V-\mu_{2}\|U\nabla_{V}^{T}\|^{-1}(I+VU^{T})\nabla_{V}</annotation></semantics></math>
<br class="ltx_break"> </span>Return<span id="alg7.11.9.7.7" class="ltx_text ltx_font_medium"> <math id="alg7.11.9.7.7.m1.2" class="ltx_Math" alttext="Q=(I+UV^{T}){\rm diag}(d)" display="inline"><semantics id="alg7.11.9.7.7.m1.2a"><mrow id="alg7.11.9.7.7.m1.2.2" xref="alg7.11.9.7.7.m1.2.2.cmml"><mi id="alg7.11.9.7.7.m1.2.2.3" xref="alg7.11.9.7.7.m1.2.2.3.cmml">Q</mi><mo id="alg7.11.9.7.7.m1.2.2.2" xref="alg7.11.9.7.7.m1.2.2.2.cmml">=</mo><mrow id="alg7.11.9.7.7.m1.2.2.1" xref="alg7.11.9.7.7.m1.2.2.1.cmml"><mrow id="alg7.11.9.7.7.m1.2.2.1.1.1" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="alg7.11.9.7.7.m1.2.2.1.1.1.2" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="alg7.11.9.7.7.m1.2.2.1.1.1.1" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.cmml"><mi id="alg7.11.9.7.7.m1.2.2.1.1.1.1.2" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.2.cmml">I</mi><mo id="alg7.11.9.7.7.m1.2.2.1.1.1.1.1" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.1.cmml">+</mo><mrow id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.cmml"><mi id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.2" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.1" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.1.cmml">​</mo><msup id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.cmml"><mi id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.2" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.2.cmml">V</mi><mi id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.3" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="alg7.11.9.7.7.m1.2.2.1.1.1.3" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="alg7.11.9.7.7.m1.2.2.1.2" xref="alg7.11.9.7.7.m1.2.2.1.2.cmml">​</mo><mi id="alg7.11.9.7.7.m1.2.2.1.3" xref="alg7.11.9.7.7.m1.2.2.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="alg7.11.9.7.7.m1.2.2.1.2a" xref="alg7.11.9.7.7.m1.2.2.1.2.cmml">​</mo><mrow id="alg7.11.9.7.7.m1.2.2.1.4.2" xref="alg7.11.9.7.7.m1.2.2.1.cmml"><mo stretchy="false" id="alg7.11.9.7.7.m1.2.2.1.4.2.1" xref="alg7.11.9.7.7.m1.2.2.1.cmml">(</mo><mi id="alg7.11.9.7.7.m1.1.1" xref="alg7.11.9.7.7.m1.1.1.cmml">d</mi><mo stretchy="false" id="alg7.11.9.7.7.m1.2.2.1.4.2.2" xref="alg7.11.9.7.7.m1.2.2.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg7.11.9.7.7.m1.2b"><apply id="alg7.11.9.7.7.m1.2.2.cmml" xref="alg7.11.9.7.7.m1.2.2"><eq id="alg7.11.9.7.7.m1.2.2.2.cmml" xref="alg7.11.9.7.7.m1.2.2.2"></eq><ci id="alg7.11.9.7.7.m1.2.2.3.cmml" xref="alg7.11.9.7.7.m1.2.2.3">𝑄</ci><apply id="alg7.11.9.7.7.m1.2.2.1.cmml" xref="alg7.11.9.7.7.m1.2.2.1"><times id="alg7.11.9.7.7.m1.2.2.1.2.cmml" xref="alg7.11.9.7.7.m1.2.2.1.2"></times><apply id="alg7.11.9.7.7.m1.2.2.1.1.1.1.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1"><plus id="alg7.11.9.7.7.m1.2.2.1.1.1.1.1.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.1"></plus><ci id="alg7.11.9.7.7.m1.2.2.1.1.1.1.2.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.2">𝐼</ci><apply id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3"><times id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.1.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.1"></times><ci id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.2.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.2">𝑈</ci><apply id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.1.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3">superscript</csymbol><ci id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.2.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.2">𝑉</ci><ci id="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.3.cmml" xref="alg7.11.9.7.7.m1.2.2.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="alg7.11.9.7.7.m1.2.2.1.3.cmml" xref="alg7.11.9.7.7.m1.2.2.1.3">diag</ci><ci id="alg7.11.9.7.7.m1.1.1.cmml" xref="alg7.11.9.7.7.m1.1.1">𝑑</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg7.11.9.7.7.m1.2c">Q=(I+UV^{T}){\rm diag}(d)</annotation></semantics></math></span></span></span></p>
<figcaption class="ltx_caption" style="font-size:90%;"><span class="ltx_tag ltx_tag_float"><span id="alg7.15.1.1" class="ltx_text ltx_font_bold">Algorithm 7</span> </span> UVd Q Update Step</figcaption>
</figure>
</div>
<div id="A5.SS0.SSS0.Px1.p1.4" class="ltx_logical-block ltx_minipage ltx_align_middle" style="width:208.1pt;">
<figure id="alg8" class="ltx_float ltx_float_algorithm ltx_framed ltx_framed_top">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_1">
<p id="alg8.8" class="ltx_p ltx_figure_panel"><math id="alg8.1.m1.1" class="ltx_math_unparsed" alttext="Q^{-T}v=(\overline{a}\odot v-\overline{b}\odot\overline{v})\oslash(a\odot\overline{a}-b\odot\overline{b}))" display="inline"><semantics id="alg8.1.m1.1a"><mrow id="alg8.1.m1.1b"><msup id="alg8.1.m1.1.1"><mi id="alg8.1.m1.1.1.2">Q</mi><mrow id="alg8.1.m1.1.1.3"><mo id="alg8.1.m1.1.1.3a">−</mo><mi id="alg8.1.m1.1.1.3.2">T</mi></mrow></msup><mi id="alg8.1.m1.1.2">v</mi><mo id="alg8.1.m1.1.3">=</mo><mrow id="alg8.1.m1.1.4"><mo stretchy="false" id="alg8.1.m1.1.4.1">(</mo><mover accent="true" id="alg8.1.m1.1.4.2"><mi id="alg8.1.m1.1.4.2.2">a</mi><mo id="alg8.1.m1.1.4.2.1">¯</mo></mover><mo lspace="0.222em" rspace="0.222em" id="alg8.1.m1.1.4.3">⊙</mo><mi id="alg8.1.m1.1.4.4">v</mi><mo id="alg8.1.m1.1.4.5">−</mo><mover accent="true" id="alg8.1.m1.1.4.6"><mi id="alg8.1.m1.1.4.6.2">b</mi><mo id="alg8.1.m1.1.4.6.1">¯</mo></mover><mo lspace="0.222em" rspace="0.222em" id="alg8.1.m1.1.4.7">⊙</mo><mover accent="true" id="alg8.1.m1.1.4.8"><mi id="alg8.1.m1.1.4.8.2">v</mi><mo id="alg8.1.m1.1.4.8.1">¯</mo></mover><mo stretchy="false" id="alg8.1.m1.1.4.9">)</mo></mrow><mo id="alg8.1.m1.1.5">⊘</mo><mrow id="alg8.1.m1.1.6"><mo stretchy="false" id="alg8.1.m1.1.6.1">(</mo><mi id="alg8.1.m1.1.6.2">a</mi><mo lspace="0.222em" rspace="0.222em" id="alg8.1.m1.1.6.3">⊙</mo><mover accent="true" id="alg8.1.m1.1.6.4"><mi id="alg8.1.m1.1.6.4.2">a</mi><mo id="alg8.1.m1.1.6.4.1">¯</mo></mover><mo id="alg8.1.m1.1.6.5">−</mo><mi id="alg8.1.m1.1.6.6">b</mi><mo lspace="0.222em" rspace="0.222em" id="alg8.1.m1.1.6.7">⊙</mo><mover accent="true" id="alg8.1.m1.1.6.8"><mi id="alg8.1.m1.1.6.8.2">b</mi><mo id="alg8.1.m1.1.6.8.1">¯</mo></mover><mo stretchy="false" id="alg8.1.m1.1.6.9">)</mo></mrow><mo stretchy="false" id="alg8.1.m1.1.7">)</mo></mrow><annotation encoding="application/x-tex" id="alg8.1.m1.1c">Q^{-T}v=(\overline{a}\odot v-\overline{b}\odot\overline{v})\oslash(a\odot\overline{a}-b\odot\overline{b}))</annotation></semantics></math>
<br class="ltx_break"><math id="alg8.2.m2.5" class="ltx_Math" alttext="\nabla_{a}=(Qh)\odot(Qh)\scalebox{0.5}[1.0]{$-$}(Q^{-T}v)\odot(Q^{-T}v)" display="inline"><semantics id="alg8.2.m2.5a"><mrow id="alg8.2.m2.5.5" xref="alg8.2.m2.5.5.cmml"><msub id="alg8.2.m2.5.5.6" xref="alg8.2.m2.5.5.6.cmml"><mo id="alg8.2.m2.5.5.6.2" xref="alg8.2.m2.5.5.6.2.cmml">∇</mo><mi id="alg8.2.m2.5.5.6.3" xref="alg8.2.m2.5.5.6.3.cmml">a</mi></msub><mo id="alg8.2.m2.5.5.5" xref="alg8.2.m2.5.5.5.cmml">=</mo><mrow id="alg8.2.m2.5.5.4" xref="alg8.2.m2.5.5.4.cmml"><mrow id="alg8.2.m2.3.3.2.2" xref="alg8.2.m2.3.3.2.2.cmml"><mrow id="alg8.2.m2.2.2.1.1.1.1" xref="alg8.2.m2.2.2.1.1.1.1.1.cmml"><mo stretchy="false" id="alg8.2.m2.2.2.1.1.1.1.2" xref="alg8.2.m2.2.2.1.1.1.1.1.cmml">(</mo><mrow id="alg8.2.m2.2.2.1.1.1.1.1" xref="alg8.2.m2.2.2.1.1.1.1.1.cmml"><mi id="alg8.2.m2.2.2.1.1.1.1.1.2" xref="alg8.2.m2.2.2.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg8.2.m2.2.2.1.1.1.1.1.1" xref="alg8.2.m2.2.2.1.1.1.1.1.1.cmml">​</mo><mi id="alg8.2.m2.2.2.1.1.1.1.1.3" xref="alg8.2.m2.2.2.1.1.1.1.1.3.cmml">h</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg8.2.m2.2.2.1.1.1.1.3" xref="alg8.2.m2.2.2.1.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg8.2.m2.3.3.2.2.3" xref="alg8.2.m2.3.3.2.2.3.cmml">⊙</mo><mrow id="alg8.2.m2.3.3.2.2.2.1" xref="alg8.2.m2.3.3.2.2.2.1.1.cmml"><mo stretchy="false" id="alg8.2.m2.3.3.2.2.2.1.2" xref="alg8.2.m2.3.3.2.2.2.1.1.cmml">(</mo><mrow id="alg8.2.m2.3.3.2.2.2.1.1" xref="alg8.2.m2.3.3.2.2.2.1.1.cmml"><mi id="alg8.2.m2.3.3.2.2.2.1.1.2" xref="alg8.2.m2.3.3.2.2.2.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg8.2.m2.3.3.2.2.2.1.1.1" xref="alg8.2.m2.3.3.2.2.2.1.1.1.cmml">​</mo><mi id="alg8.2.m2.3.3.2.2.2.1.1.3" xref="alg8.2.m2.3.3.2.2.2.1.1.3.cmml">h</mi></mrow><mo rspace="0.222em" stretchy="false" id="alg8.2.m2.3.3.2.2.2.1.3" xref="alg8.2.m2.3.3.2.2.2.1.1.cmml">)</mo></mrow></mrow><mpadded depth="0.0pt" height="4.3pt" width="1.7pt" id="alg8.2.m2.5.5.4.5" xref="alg8.2.m2.5.5.4.5.cmml"><mo id="alg8.2.m2.5.5.4.5a" xref="alg8.2.m2.5.5.4.5.cmml">−</mo></mpadded><mrow id="alg8.2.m2.5.5.4.4" xref="alg8.2.m2.5.5.4.4.cmml"><mrow id="alg8.2.m2.4.4.3.3.1.1" xref="alg8.2.m2.4.4.3.3.1.1.1.cmml"><mo lspace="0.222em" stretchy="false" id="alg8.2.m2.4.4.3.3.1.1.2" xref="alg8.2.m2.4.4.3.3.1.1.1.cmml">(</mo><mrow id="alg8.2.m2.4.4.3.3.1.1.1" xref="alg8.2.m2.4.4.3.3.1.1.1.cmml"><msup id="alg8.2.m2.4.4.3.3.1.1.1.2" xref="alg8.2.m2.4.4.3.3.1.1.1.2.cmml"><mi id="alg8.2.m2.4.4.3.3.1.1.1.2.2" xref="alg8.2.m2.4.4.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg8.2.m2.4.4.3.3.1.1.1.2.3" xref="alg8.2.m2.4.4.3.3.1.1.1.2.3.cmml"><mo id="alg8.2.m2.4.4.3.3.1.1.1.2.3a" xref="alg8.2.m2.4.4.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg8.2.m2.4.4.3.3.1.1.1.2.3.2" xref="alg8.2.m2.4.4.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg8.2.m2.4.4.3.3.1.1.1.1" xref="alg8.2.m2.4.4.3.3.1.1.1.1.cmml">​</mo><mi id="alg8.2.m2.4.4.3.3.1.1.1.3" xref="alg8.2.m2.4.4.3.3.1.1.1.3.cmml">v</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg8.2.m2.4.4.3.3.1.1.3" xref="alg8.2.m2.4.4.3.3.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg8.2.m2.5.5.4.4.3" xref="alg8.2.m2.5.5.4.4.3.cmml">⊙</mo><mrow id="alg8.2.m2.5.5.4.4.2.1" xref="alg8.2.m2.5.5.4.4.2.1.1.cmml"><mo stretchy="false" id="alg8.2.m2.5.5.4.4.2.1.2" xref="alg8.2.m2.5.5.4.4.2.1.1.cmml">(</mo><mrow id="alg8.2.m2.5.5.4.4.2.1.1" xref="alg8.2.m2.5.5.4.4.2.1.1.cmml"><msup id="alg8.2.m2.5.5.4.4.2.1.1.2" xref="alg8.2.m2.5.5.4.4.2.1.1.2.cmml"><mi id="alg8.2.m2.5.5.4.4.2.1.1.2.2" xref="alg8.2.m2.5.5.4.4.2.1.1.2.2.cmml">Q</mi><mrow id="alg8.2.m2.5.5.4.4.2.1.1.2.3" xref="alg8.2.m2.5.5.4.4.2.1.1.2.3.cmml"><mo id="alg8.2.m2.5.5.4.4.2.1.1.2.3a" xref="alg8.2.m2.5.5.4.4.2.1.1.2.3.cmml">−</mo><mi id="alg8.2.m2.5.5.4.4.2.1.1.2.3.2" xref="alg8.2.m2.5.5.4.4.2.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg8.2.m2.5.5.4.4.2.1.1.1" xref="alg8.2.m2.5.5.4.4.2.1.1.1.cmml">​</mo><mi id="alg8.2.m2.5.5.4.4.2.1.1.3" xref="alg8.2.m2.5.5.4.4.2.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg8.2.m2.5.5.4.4.2.1.3" xref="alg8.2.m2.5.5.4.4.2.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg8.2.m2.5b"><apply id="alg8.2.m2.5.5.cmml" xref="alg8.2.m2.5.5"><eq id="alg8.2.m2.5.5.5.cmml" xref="alg8.2.m2.5.5.5"></eq><apply id="alg8.2.m2.5.5.6.cmml" xref="alg8.2.m2.5.5.6"><csymbol cd="ambiguous" id="alg8.2.m2.5.5.6.1.cmml" xref="alg8.2.m2.5.5.6">subscript</csymbol><ci id="alg8.2.m2.5.5.6.2.cmml" xref="alg8.2.m2.5.5.6.2">∇</ci><ci id="alg8.2.m2.5.5.6.3.cmml" xref="alg8.2.m2.5.5.6.3">𝑎</ci></apply><apply id="alg8.2.m2.5.5.4.cmml" xref="alg8.2.m2.5.5.4"><minus id="alg8.2.m2.5.5.4.5.cmml" xref="alg8.2.m2.5.5.4.5"></minus><apply id="alg8.2.m2.3.3.2.2.cmml" xref="alg8.2.m2.3.3.2.2"><csymbol cd="latexml" id="alg8.2.m2.3.3.2.2.3.cmml" xref="alg8.2.m2.3.3.2.2.3">direct-product</csymbol><apply id="alg8.2.m2.2.2.1.1.1.1.1.cmml" xref="alg8.2.m2.2.2.1.1.1.1"><times id="alg8.2.m2.2.2.1.1.1.1.1.1.cmml" xref="alg8.2.m2.2.2.1.1.1.1.1.1"></times><ci id="alg8.2.m2.2.2.1.1.1.1.1.2.cmml" xref="alg8.2.m2.2.2.1.1.1.1.1.2">𝑄</ci><ci id="alg8.2.m2.2.2.1.1.1.1.1.3.cmml" xref="alg8.2.m2.2.2.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg8.2.m2.3.3.2.2.2.1.1.cmml" xref="alg8.2.m2.3.3.2.2.2.1"><times id="alg8.2.m2.3.3.2.2.2.1.1.1.cmml" xref="alg8.2.m2.3.3.2.2.2.1.1.1"></times><ci id="alg8.2.m2.3.3.2.2.2.1.1.2.cmml" xref="alg8.2.m2.3.3.2.2.2.1.1.2">𝑄</ci><ci id="alg8.2.m2.3.3.2.2.2.1.1.3.cmml" xref="alg8.2.m2.3.3.2.2.2.1.1.3">ℎ</ci></apply></apply><apply id="alg8.2.m2.5.5.4.4.cmml" xref="alg8.2.m2.5.5.4.4"><csymbol cd="latexml" id="alg8.2.m2.5.5.4.4.3.cmml" xref="alg8.2.m2.5.5.4.4.3">direct-product</csymbol><apply id="alg8.2.m2.4.4.3.3.1.1.1.cmml" xref="alg8.2.m2.4.4.3.3.1.1"><times id="alg8.2.m2.4.4.3.3.1.1.1.1.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.1"></times><apply id="alg8.2.m2.4.4.3.3.1.1.1.2.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg8.2.m2.4.4.3.3.1.1.1.2.1.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.2">superscript</csymbol><ci id="alg8.2.m2.4.4.3.3.1.1.1.2.2.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.2.2">𝑄</ci><apply id="alg8.2.m2.4.4.3.3.1.1.1.2.3.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.2.3"><minus id="alg8.2.m2.4.4.3.3.1.1.1.2.3.1.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.2.3"></minus><ci id="alg8.2.m2.4.4.3.3.1.1.1.2.3.2.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg8.2.m2.4.4.3.3.1.1.1.3.cmml" xref="alg8.2.m2.4.4.3.3.1.1.1.3">𝑣</ci></apply><apply id="alg8.2.m2.5.5.4.4.2.1.1.cmml" xref="alg8.2.m2.5.5.4.4.2.1"><times id="alg8.2.m2.5.5.4.4.2.1.1.1.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.1"></times><apply id="alg8.2.m2.5.5.4.4.2.1.1.2.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.2"><csymbol cd="ambiguous" id="alg8.2.m2.5.5.4.4.2.1.1.2.1.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.2">superscript</csymbol><ci id="alg8.2.m2.5.5.4.4.2.1.1.2.2.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.2.2">𝑄</ci><apply id="alg8.2.m2.5.5.4.4.2.1.1.2.3.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.2.3"><minus id="alg8.2.m2.5.5.4.4.2.1.1.2.3.1.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.2.3"></minus><ci id="alg8.2.m2.5.5.4.4.2.1.1.2.3.2.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg8.2.m2.5.5.4.4.2.1.1.3.cmml" xref="alg8.2.m2.5.5.4.4.2.1.1.3">𝑣</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg8.2.m2.5c">\nabla_{a}=(Qh)\odot(Qh)\scalebox{0.5}[1.0]{$-$}(Q^{-T}v)\odot(Q^{-T}v)</annotation></semantics></math>
<br class="ltx_break"><math id="alg8.3.m3.5" class="ltx_Math" alttext="\nabla_{b}=(Qh)\odot\overline{(Qh)}-(Q^{\scalebox{0.5}[1.0]{$-$}T}v)\odot\overline{(Q^{-T}v)}" display="inline"><semantics id="alg8.3.m3.5a"><mrow id="alg8.3.m3.5.5" xref="alg8.3.m3.5.5.cmml"><msub id="alg8.3.m3.5.5.4" xref="alg8.3.m3.5.5.4.cmml"><mo id="alg8.3.m3.5.5.4.2" xref="alg8.3.m3.5.5.4.2.cmml">∇</mo><mi id="alg8.3.m3.5.5.4.3" xref="alg8.3.m3.5.5.4.3.cmml">b</mi></msub><mo id="alg8.3.m3.5.5.3" xref="alg8.3.m3.5.5.3.cmml">=</mo><mrow id="alg8.3.m3.5.5.2" xref="alg8.3.m3.5.5.2.cmml"><mrow id="alg8.3.m3.4.4.1.1" xref="alg8.3.m3.4.4.1.1.cmml"><mrow id="alg8.3.m3.4.4.1.1.1.1" xref="alg8.3.m3.4.4.1.1.1.1.1.cmml"><mo stretchy="false" id="alg8.3.m3.4.4.1.1.1.1.2" xref="alg8.3.m3.4.4.1.1.1.1.1.cmml">(</mo><mrow id="alg8.3.m3.4.4.1.1.1.1.1" xref="alg8.3.m3.4.4.1.1.1.1.1.cmml"><mi id="alg8.3.m3.4.4.1.1.1.1.1.2" xref="alg8.3.m3.4.4.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg8.3.m3.4.4.1.1.1.1.1.1" xref="alg8.3.m3.4.4.1.1.1.1.1.1.cmml">​</mo><mi id="alg8.3.m3.4.4.1.1.1.1.1.3" xref="alg8.3.m3.4.4.1.1.1.1.1.3.cmml">h</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg8.3.m3.4.4.1.1.1.1.3" xref="alg8.3.m3.4.4.1.1.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg8.3.m3.4.4.1.1.2" xref="alg8.3.m3.4.4.1.1.2.cmml">⊙</mo><mover accent="true" id="alg8.3.m3.2.2" xref="alg8.3.m3.2.2.cmml"><mrow id="alg8.3.m3.2.2.1.1" xref="alg8.3.m3.2.2.1.1.1.cmml"><mo stretchy="false" id="alg8.3.m3.2.2.1.1.2" xref="alg8.3.m3.2.2.1.1.1.cmml">(</mo><mrow id="alg8.3.m3.2.2.1.1.1" xref="alg8.3.m3.2.2.1.1.1.cmml"><mi id="alg8.3.m3.2.2.1.1.1.2" xref="alg8.3.m3.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="alg8.3.m3.2.2.1.1.1.1" xref="alg8.3.m3.2.2.1.1.1.1.cmml">​</mo><mi id="alg8.3.m3.2.2.1.1.1.3" xref="alg8.3.m3.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="alg8.3.m3.2.2.1.1.3" xref="alg8.3.m3.2.2.1.1.1.cmml">)</mo></mrow><mo id="alg8.3.m3.2.2.2" xref="alg8.3.m3.2.2.2.cmml">¯</mo></mover></mrow><mo id="alg8.3.m3.5.5.2.3" xref="alg8.3.m3.5.5.2.3.cmml">−</mo><mrow id="alg8.3.m3.5.5.2.2" xref="alg8.3.m3.5.5.2.2.cmml"><mrow id="alg8.3.m3.5.5.2.2.1.1" xref="alg8.3.m3.5.5.2.2.1.1.1.cmml"><mo stretchy="false" id="alg8.3.m3.5.5.2.2.1.1.2" xref="alg8.3.m3.5.5.2.2.1.1.1.cmml">(</mo><mrow id="alg8.3.m3.5.5.2.2.1.1.1" xref="alg8.3.m3.5.5.2.2.1.1.1.cmml"><msup id="alg8.3.m3.5.5.2.2.1.1.1.2" xref="alg8.3.m3.5.5.2.2.1.1.1.2.cmml"><mi id="alg8.3.m3.5.5.2.2.1.1.1.2.2" xref="alg8.3.m3.5.5.2.2.1.1.1.2.2.cmml">Q</mi><mrow id="alg8.3.m3.1.1.1" xref="alg8.3.m3.1.1.1.cmml"><mpadded depth="0.0pt" height="3.0pt" width="1.2pt" id="alg8.3.m3.1.1.1a" xref="alg8.3.m3.1.1.1.cmml"><mo id="alg8.3.m3.1.1.1b" xref="alg8.3.m3.1.1.1.cmml">−</mo></mpadded><mi id="alg8.3.m3.1.1.1.3" xref="alg8.3.m3.1.1.1.3.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg8.3.m3.5.5.2.2.1.1.1.1" xref="alg8.3.m3.5.5.2.2.1.1.1.1.cmml">​</mo><mi id="alg8.3.m3.5.5.2.2.1.1.1.3" xref="alg8.3.m3.5.5.2.2.1.1.1.3.cmml">v</mi></mrow><mo rspace="0.055em" stretchy="false" id="alg8.3.m3.5.5.2.2.1.1.3" xref="alg8.3.m3.5.5.2.2.1.1.1.cmml">)</mo></mrow><mo rspace="0.222em" id="alg8.3.m3.5.5.2.2.2" xref="alg8.3.m3.5.5.2.2.2.cmml">⊙</mo><mover accent="true" id="alg8.3.m3.3.3" xref="alg8.3.m3.3.3.cmml"><mrow id="alg8.3.m3.3.3.1.1" xref="alg8.3.m3.3.3.1.1.1.cmml"><mo stretchy="false" id="alg8.3.m3.3.3.1.1.2" xref="alg8.3.m3.3.3.1.1.1.cmml">(</mo><mrow id="alg8.3.m3.3.3.1.1.1" xref="alg8.3.m3.3.3.1.1.1.cmml"><msup id="alg8.3.m3.3.3.1.1.1.2" xref="alg8.3.m3.3.3.1.1.1.2.cmml"><mi id="alg8.3.m3.3.3.1.1.1.2.2" xref="alg8.3.m3.3.3.1.1.1.2.2.cmml">Q</mi><mrow id="alg8.3.m3.3.3.1.1.1.2.3" xref="alg8.3.m3.3.3.1.1.1.2.3.cmml"><mo id="alg8.3.m3.3.3.1.1.1.2.3a" xref="alg8.3.m3.3.3.1.1.1.2.3.cmml">−</mo><mi id="alg8.3.m3.3.3.1.1.1.2.3.2" xref="alg8.3.m3.3.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="alg8.3.m3.3.3.1.1.1.1" xref="alg8.3.m3.3.3.1.1.1.1.cmml">​</mo><mi id="alg8.3.m3.3.3.1.1.1.3" xref="alg8.3.m3.3.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="alg8.3.m3.3.3.1.1.3" xref="alg8.3.m3.3.3.1.1.1.cmml">)</mo></mrow><mo id="alg8.3.m3.3.3.2" xref="alg8.3.m3.3.3.2.cmml">¯</mo></mover></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg8.3.m3.5b"><apply id="alg8.3.m3.5.5.cmml" xref="alg8.3.m3.5.5"><eq id="alg8.3.m3.5.5.3.cmml" xref="alg8.3.m3.5.5.3"></eq><apply id="alg8.3.m3.5.5.4.cmml" xref="alg8.3.m3.5.5.4"><csymbol cd="ambiguous" id="alg8.3.m3.5.5.4.1.cmml" xref="alg8.3.m3.5.5.4">subscript</csymbol><ci id="alg8.3.m3.5.5.4.2.cmml" xref="alg8.3.m3.5.5.4.2">∇</ci><ci id="alg8.3.m3.5.5.4.3.cmml" xref="alg8.3.m3.5.5.4.3">𝑏</ci></apply><apply id="alg8.3.m3.5.5.2.cmml" xref="alg8.3.m3.5.5.2"><minus id="alg8.3.m3.5.5.2.3.cmml" xref="alg8.3.m3.5.5.2.3"></minus><apply id="alg8.3.m3.4.4.1.1.cmml" xref="alg8.3.m3.4.4.1.1"><csymbol cd="latexml" id="alg8.3.m3.4.4.1.1.2.cmml" xref="alg8.3.m3.4.4.1.1.2">direct-product</csymbol><apply id="alg8.3.m3.4.4.1.1.1.1.1.cmml" xref="alg8.3.m3.4.4.1.1.1.1"><times id="alg8.3.m3.4.4.1.1.1.1.1.1.cmml" xref="alg8.3.m3.4.4.1.1.1.1.1.1"></times><ci id="alg8.3.m3.4.4.1.1.1.1.1.2.cmml" xref="alg8.3.m3.4.4.1.1.1.1.1.2">𝑄</ci><ci id="alg8.3.m3.4.4.1.1.1.1.1.3.cmml" xref="alg8.3.m3.4.4.1.1.1.1.1.3">ℎ</ci></apply><apply id="alg8.3.m3.2.2.cmml" xref="alg8.3.m3.2.2"><ci id="alg8.3.m3.2.2.2.cmml" xref="alg8.3.m3.2.2.2">¯</ci><apply id="alg8.3.m3.2.2.1.1.1.cmml" xref="alg8.3.m3.2.2.1.1"><times id="alg8.3.m3.2.2.1.1.1.1.cmml" xref="alg8.3.m3.2.2.1.1.1.1"></times><ci id="alg8.3.m3.2.2.1.1.1.2.cmml" xref="alg8.3.m3.2.2.1.1.1.2">𝑄</ci><ci id="alg8.3.m3.2.2.1.1.1.3.cmml" xref="alg8.3.m3.2.2.1.1.1.3">ℎ</ci></apply></apply></apply><apply id="alg8.3.m3.5.5.2.2.cmml" xref="alg8.3.m3.5.5.2.2"><csymbol cd="latexml" id="alg8.3.m3.5.5.2.2.2.cmml" xref="alg8.3.m3.5.5.2.2.2">direct-product</csymbol><apply id="alg8.3.m3.5.5.2.2.1.1.1.cmml" xref="alg8.3.m3.5.5.2.2.1.1"><times id="alg8.3.m3.5.5.2.2.1.1.1.1.cmml" xref="alg8.3.m3.5.5.2.2.1.1.1.1"></times><apply id="alg8.3.m3.5.5.2.2.1.1.1.2.cmml" xref="alg8.3.m3.5.5.2.2.1.1.1.2"><csymbol cd="ambiguous" id="alg8.3.m3.5.5.2.2.1.1.1.2.1.cmml" xref="alg8.3.m3.5.5.2.2.1.1.1.2">superscript</csymbol><ci id="alg8.3.m3.5.5.2.2.1.1.1.2.2.cmml" xref="alg8.3.m3.5.5.2.2.1.1.1.2.2">𝑄</ci><apply id="alg8.3.m3.1.1.1.cmml" xref="alg8.3.m3.1.1.1"><minus id="alg8.3.m3.1.1.1.2.cmml" xref="alg8.3.m3.1.1.1"></minus><ci id="alg8.3.m3.1.1.1.3.cmml" xref="alg8.3.m3.1.1.1.3">𝑇</ci></apply></apply><ci id="alg8.3.m3.5.5.2.2.1.1.1.3.cmml" xref="alg8.3.m3.5.5.2.2.1.1.1.3">𝑣</ci></apply><apply id="alg8.3.m3.3.3.cmml" xref="alg8.3.m3.3.3"><ci id="alg8.3.m3.3.3.2.cmml" xref="alg8.3.m3.3.3.2">¯</ci><apply id="alg8.3.m3.3.3.1.1.1.cmml" xref="alg8.3.m3.3.3.1.1"><times id="alg8.3.m3.3.3.1.1.1.1.cmml" xref="alg8.3.m3.3.3.1.1.1.1"></times><apply id="alg8.3.m3.3.3.1.1.1.2.cmml" xref="alg8.3.m3.3.3.1.1.1.2"><csymbol cd="ambiguous" id="alg8.3.m3.3.3.1.1.1.2.1.cmml" xref="alg8.3.m3.3.3.1.1.1.2">superscript</csymbol><ci id="alg8.3.m3.3.3.1.1.1.2.2.cmml" xref="alg8.3.m3.3.3.1.1.1.2.2">𝑄</ci><apply id="alg8.3.m3.3.3.1.1.1.2.3.cmml" xref="alg8.3.m3.3.3.1.1.1.2.3"><minus id="alg8.3.m3.3.3.1.1.1.2.3.1.cmml" xref="alg8.3.m3.3.3.1.1.1.2.3"></minus><ci id="alg8.3.m3.3.3.1.1.1.2.3.2.cmml" xref="alg8.3.m3.3.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="alg8.3.m3.3.3.1.1.1.3.cmml" xref="alg8.3.m3.3.3.1.1.1.3">𝑣</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg8.3.m3.5c">\nabla_{b}=(Qh)\odot\overline{(Qh)}-(Q^{\scalebox{0.5}[1.0]{$-$}T}v)\odot\overline{(Q^{-T}v)}</annotation></semantics></math>
<br class="ltx_break"><span id="alg8.8.1" class="ltx_text ltx_font_bold">If</span> <math id="alg8.4.m4.1" class="ltx_Math" alttext="b" display="inline"><semantics id="alg8.4.m4.1a"><mi id="alg8.4.m4.1.1" xref="alg8.4.m4.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="alg8.4.m4.1b"><ci id="alg8.4.m4.1.1.cmml" xref="alg8.4.m4.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="alg8.4.m4.1c">b</annotation></semantics></math> has odd length
<br class="ltx_break">     Set central element of <math id="alg8.5.m5.1" class="ltx_Math" alttext="\nabla_{b}" display="inline"><semantics id="alg8.5.m5.1a"><msub id="alg8.5.m5.1.1" xref="alg8.5.m5.1.1.cmml"><mo id="alg8.5.m5.1.1.2" xref="alg8.5.m5.1.1.2.cmml">∇</mo><mi id="alg8.5.m5.1.1.3" xref="alg8.5.m5.1.1.3.cmml">b</mi></msub><annotation-xml encoding="MathML-Content" id="alg8.5.m5.1b"><apply id="alg8.5.m5.1.1.cmml" xref="alg8.5.m5.1.1"><csymbol cd="ambiguous" id="alg8.5.m5.1.1.1.cmml" xref="alg8.5.m5.1.1">subscript</csymbol><ci id="alg8.5.m5.1.1.2.cmml" xref="alg8.5.m5.1.1.2">∇</ci><ci id="alg8.5.m5.1.1.3.cmml" xref="alg8.5.m5.1.1.3">𝑏</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="alg8.5.m5.1c">\nabla_{b}</annotation></semantics></math> to zero
<math id="alg8.6.m6.5" class="ltx_Math" alttext="\mu=\frac{\mu_{2}}{\max[\max(|\nabla_{a}|),\max(|\nabla_{b}|)]}" display="inline"><semantics id="alg8.6.m6.5a"><mrow id="alg8.6.m6.5.6" xref="alg8.6.m6.5.6.cmml"><mi id="alg8.6.m6.5.6.2" xref="alg8.6.m6.5.6.2.cmml">μ</mi><mo id="alg8.6.m6.5.6.1" xref="alg8.6.m6.5.6.1.cmml">=</mo><mfrac id="alg8.6.m6.5.5" xref="alg8.6.m6.5.5.cmml"><msub id="alg8.6.m6.5.5.7" xref="alg8.6.m6.5.5.7.cmml"><mi id="alg8.6.m6.5.5.7.2" xref="alg8.6.m6.5.5.7.2.cmml">μ</mi><mn id="alg8.6.m6.5.5.7.3" xref="alg8.6.m6.5.5.7.3.cmml">2</mn></msub><mrow id="alg8.6.m6.5.5.5.5" xref="alg8.6.m6.5.5.5.6.cmml"><mi id="alg8.6.m6.3.3.3.3" xref="alg8.6.m6.3.3.3.3.cmml">max</mi><mo id="alg8.6.m6.5.5.5.5a" xref="alg8.6.m6.5.5.5.6.cmml">⁡</mo><mrow id="alg8.6.m6.5.5.5.5.2" xref="alg8.6.m6.5.5.5.6.cmml"><mo stretchy="false" id="alg8.6.m6.5.5.5.5.2.3" xref="alg8.6.m6.5.5.5.6.cmml">[</mo><mrow id="alg8.6.m6.4.4.4.4.1.1.1" xref="alg8.6.m6.4.4.4.4.1.1.2.cmml"><mi id="alg8.6.m6.1.1.1.1" xref="alg8.6.m6.1.1.1.1.cmml">max</mi><mo id="alg8.6.m6.4.4.4.4.1.1.1a" xref="alg8.6.m6.4.4.4.4.1.1.2.cmml">⁡</mo><mrow id="alg8.6.m6.4.4.4.4.1.1.1.1" xref="alg8.6.m6.4.4.4.4.1.1.2.cmml"><mo stretchy="false" id="alg8.6.m6.4.4.4.4.1.1.1.1.2" xref="alg8.6.m6.4.4.4.4.1.1.2.cmml">(</mo><mrow id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.2.cmml"><mo stretchy="false" id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.2" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.2.1.cmml">|</mo><msub id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.cmml"><mo id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.2" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.3" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.3.cmml">a</mi></msub><mo stretchy="false" id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.3" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.2.1.cmml">|</mo></mrow><mo stretchy="false" id="alg8.6.m6.4.4.4.4.1.1.1.1.3" xref="alg8.6.m6.4.4.4.4.1.1.2.cmml">)</mo></mrow></mrow><mo id="alg8.6.m6.5.5.5.5.2.4" xref="alg8.6.m6.5.5.5.6.cmml">,</mo><mrow id="alg8.6.m6.5.5.5.5.2.2.1" xref="alg8.6.m6.5.5.5.5.2.2.2.cmml"><mi id="alg8.6.m6.2.2.2.2" xref="alg8.6.m6.2.2.2.2.cmml">max</mi><mo id="alg8.6.m6.5.5.5.5.2.2.1a" xref="alg8.6.m6.5.5.5.5.2.2.2.cmml">⁡</mo><mrow id="alg8.6.m6.5.5.5.5.2.2.1.1" xref="alg8.6.m6.5.5.5.5.2.2.2.cmml"><mo stretchy="false" id="alg8.6.m6.5.5.5.5.2.2.1.1.2" xref="alg8.6.m6.5.5.5.5.2.2.2.cmml">(</mo><mrow id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.2.cmml"><mo stretchy="false" id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.2" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.2.1.cmml">|</mo><msub id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.cmml"><mo id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.2" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.2.cmml">∇</mo><mi id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.3" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.3.cmml">b</mi></msub><mo stretchy="false" id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.3" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.2.1.cmml">|</mo></mrow><mo stretchy="false" id="alg8.6.m6.5.5.5.5.2.2.1.1.3" xref="alg8.6.m6.5.5.5.5.2.2.2.cmml">)</mo></mrow></mrow><mo stretchy="false" id="alg8.6.m6.5.5.5.5.2.5" xref="alg8.6.m6.5.5.5.6.cmml">]</mo></mrow></mrow></mfrac></mrow><annotation-xml encoding="MathML-Content" id="alg8.6.m6.5b"><apply id="alg8.6.m6.5.6.cmml" xref="alg8.6.m6.5.6"><eq id="alg8.6.m6.5.6.1.cmml" xref="alg8.6.m6.5.6.1"></eq><ci id="alg8.6.m6.5.6.2.cmml" xref="alg8.6.m6.5.6.2">𝜇</ci><apply id="alg8.6.m6.5.5.cmml" xref="alg8.6.m6.5.5"><divide id="alg8.6.m6.5.5.6.cmml" xref="alg8.6.m6.5.5"></divide><apply id="alg8.6.m6.5.5.7.cmml" xref="alg8.6.m6.5.5.7"><csymbol cd="ambiguous" id="alg8.6.m6.5.5.7.1.cmml" xref="alg8.6.m6.5.5.7">subscript</csymbol><ci id="alg8.6.m6.5.5.7.2.cmml" xref="alg8.6.m6.5.5.7.2">𝜇</ci><cn type="integer" id="alg8.6.m6.5.5.7.3.cmml" xref="alg8.6.m6.5.5.7.3">2</cn></apply><apply id="alg8.6.m6.5.5.5.6.cmml" xref="alg8.6.m6.5.5.5.5"><max id="alg8.6.m6.3.3.3.3.cmml" xref="alg8.6.m6.3.3.3.3"></max><apply id="alg8.6.m6.4.4.4.4.1.1.2.cmml" xref="alg8.6.m6.4.4.4.4.1.1.1"><max id="alg8.6.m6.1.1.1.1.cmml" xref="alg8.6.m6.1.1.1.1"></max><apply id="alg8.6.m6.4.4.4.4.1.1.1.1.1.2.cmml" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1"><abs id="alg8.6.m6.4.4.4.4.1.1.1.1.1.2.1.cmml" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.2"></abs><apply id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.cmml" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.1.cmml" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1">subscript</csymbol><ci id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.2.cmml" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.2">∇</ci><ci id="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.3.cmml" xref="alg8.6.m6.4.4.4.4.1.1.1.1.1.1.1.3">𝑎</ci></apply></apply></apply><apply id="alg8.6.m6.5.5.5.5.2.2.2.cmml" xref="alg8.6.m6.5.5.5.5.2.2.1"><max id="alg8.6.m6.2.2.2.2.cmml" xref="alg8.6.m6.2.2.2.2"></max><apply id="alg8.6.m6.5.5.5.5.2.2.1.1.1.2.cmml" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1"><abs id="alg8.6.m6.5.5.5.5.2.2.1.1.1.2.1.cmml" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.2"></abs><apply id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.cmml" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1"><csymbol cd="ambiguous" id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.1.cmml" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1">subscript</csymbol><ci id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.2.cmml" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.2">∇</ci><ci id="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.3.cmml" xref="alg8.6.m6.5.5.5.5.2.2.1.1.1.1.1.3">𝑏</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg8.6.m6.5c">\mu=\frac{\mu_{2}}{\max[\max(|\nabla_{a}|),\max(|\nabla_{b}|)]}</annotation></semantics></math> 
<br class="ltx_break"><math id="alg8.7.m7.1" class="ltx_math_unparsed" alttext="a\leftarrow a-\mu(\nabla_{a}\odot a+\nabla_{b}\odot\overline{b}))" display="inline"><semantics id="alg8.7.m7.1a"><mrow id="alg8.7.m7.1b"><mi id="alg8.7.m7.1.1">a</mi><mo stretchy="false" id="alg8.7.m7.1.2">←</mo><mi id="alg8.7.m7.1.3">a</mi><mo id="alg8.7.m7.1.4">−</mo><mi id="alg8.7.m7.1.5">μ</mi><mrow id="alg8.7.m7.1.6"><mo stretchy="false" id="alg8.7.m7.1.6.1">(</mo><msub id="alg8.7.m7.1.6.2"><mo id="alg8.7.m7.1.6.2.2">∇</mo><mi id="alg8.7.m7.1.6.2.3">a</mi></msub><mo lspace="0em" rspace="0.222em" id="alg8.7.m7.1.6.3">⊙</mo><mi id="alg8.7.m7.1.6.4">a</mi><mo id="alg8.7.m7.1.6.5">+</mo><msub id="alg8.7.m7.1.6.6"><mo id="alg8.7.m7.1.6.6.2">∇</mo><mi id="alg8.7.m7.1.6.6.3">b</mi></msub><mo lspace="0em" rspace="0.222em" id="alg8.7.m7.1.6.7">⊙</mo><mover accent="true" id="alg8.7.m7.1.6.8"><mi id="alg8.7.m7.1.6.8.2">b</mi><mo id="alg8.7.m7.1.6.8.1">¯</mo></mover><mo stretchy="false" id="alg8.7.m7.1.6.9">)</mo></mrow><mo stretchy="false" id="alg8.7.m7.1.7">)</mo></mrow><annotation encoding="application/x-tex" id="alg8.7.m7.1c">a\leftarrow a-\mu(\nabla_{a}\odot a+\nabla_{b}\odot\overline{b}))</annotation></semantics></math>
<br class="ltx_break"><math id="alg8.8.m8.1" class="ltx_Math" alttext="b\leftarrow b-\mu(\nabla_{a}\odot b+\nabla_{b}\odot\overline{a})" display="inline"><semantics id="alg8.8.m8.1a"><mrow id="alg8.8.m8.1.1" xref="alg8.8.m8.1.1.cmml"><mi id="alg8.8.m8.1.1.3" xref="alg8.8.m8.1.1.3.cmml">b</mi><mo stretchy="false" id="alg8.8.m8.1.1.2" xref="alg8.8.m8.1.1.2.cmml">←</mo><mrow id="alg8.8.m8.1.1.1" xref="alg8.8.m8.1.1.1.cmml"><mi id="alg8.8.m8.1.1.1.3" xref="alg8.8.m8.1.1.1.3.cmml">b</mi><mo id="alg8.8.m8.1.1.1.2" xref="alg8.8.m8.1.1.1.2.cmml">−</mo><mrow id="alg8.8.m8.1.1.1.1" xref="alg8.8.m8.1.1.1.1.cmml"><mi id="alg8.8.m8.1.1.1.1.3" xref="alg8.8.m8.1.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="alg8.8.m8.1.1.1.1.2" xref="alg8.8.m8.1.1.1.1.2.cmml">​</mo><mrow id="alg8.8.m8.1.1.1.1.1.1" xref="alg8.8.m8.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="alg8.8.m8.1.1.1.1.1.1.2" xref="alg8.8.m8.1.1.1.1.1.1.1.cmml">(</mo><mrow id="alg8.8.m8.1.1.1.1.1.1.1" xref="alg8.8.m8.1.1.1.1.1.1.1.cmml"><mrow id="alg8.8.m8.1.1.1.1.1.1.1.2" xref="alg8.8.m8.1.1.1.1.1.1.1.2.cmml"><msub id="alg8.8.m8.1.1.1.1.1.1.1.2.2" xref="alg8.8.m8.1.1.1.1.1.1.1.2.2.cmml"><mo id="alg8.8.m8.1.1.1.1.1.1.1.2.2.2" xref="alg8.8.m8.1.1.1.1.1.1.1.2.2.2.cmml">∇</mo><mi id="alg8.8.m8.1.1.1.1.1.1.1.2.2.3" xref="alg8.8.m8.1.1.1.1.1.1.1.2.2.3.cmml">a</mi></msub><mo lspace="0em" rspace="0.222em" id="alg8.8.m8.1.1.1.1.1.1.1.2.1" xref="alg8.8.m8.1.1.1.1.1.1.1.2.1.cmml">⊙</mo><mi id="alg8.8.m8.1.1.1.1.1.1.1.2.3" xref="alg8.8.m8.1.1.1.1.1.1.1.2.3.cmml">b</mi></mrow><mo id="alg8.8.m8.1.1.1.1.1.1.1.1" xref="alg8.8.m8.1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="alg8.8.m8.1.1.1.1.1.1.1.3" xref="alg8.8.m8.1.1.1.1.1.1.1.3.cmml"><msub id="alg8.8.m8.1.1.1.1.1.1.1.3.2" xref="alg8.8.m8.1.1.1.1.1.1.1.3.2.cmml"><mo id="alg8.8.m8.1.1.1.1.1.1.1.3.2.2" xref="alg8.8.m8.1.1.1.1.1.1.1.3.2.2.cmml">∇</mo><mi id="alg8.8.m8.1.1.1.1.1.1.1.3.2.3" xref="alg8.8.m8.1.1.1.1.1.1.1.3.2.3.cmml">b</mi></msub><mo lspace="0em" rspace="0.222em" id="alg8.8.m8.1.1.1.1.1.1.1.3.1" xref="alg8.8.m8.1.1.1.1.1.1.1.3.1.cmml">⊙</mo><mover accent="true" id="alg8.8.m8.1.1.1.1.1.1.1.3.3" xref="alg8.8.m8.1.1.1.1.1.1.1.3.3.cmml"><mi id="alg8.8.m8.1.1.1.1.1.1.1.3.3.2" xref="alg8.8.m8.1.1.1.1.1.1.1.3.3.2.cmml">a</mi><mo id="alg8.8.m8.1.1.1.1.1.1.1.3.3.1" xref="alg8.8.m8.1.1.1.1.1.1.1.3.3.1.cmml">¯</mo></mover></mrow></mrow><mo stretchy="false" id="alg8.8.m8.1.1.1.1.1.1.3" xref="alg8.8.m8.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg8.8.m8.1b"><apply id="alg8.8.m8.1.1.cmml" xref="alg8.8.m8.1.1"><ci id="alg8.8.m8.1.1.2.cmml" xref="alg8.8.m8.1.1.2">←</ci><ci id="alg8.8.m8.1.1.3.cmml" xref="alg8.8.m8.1.1.3">𝑏</ci><apply id="alg8.8.m8.1.1.1.cmml" xref="alg8.8.m8.1.1.1"><minus id="alg8.8.m8.1.1.1.2.cmml" xref="alg8.8.m8.1.1.1.2"></minus><ci id="alg8.8.m8.1.1.1.3.cmml" xref="alg8.8.m8.1.1.1.3">𝑏</ci><apply id="alg8.8.m8.1.1.1.1.cmml" xref="alg8.8.m8.1.1.1.1"><times id="alg8.8.m8.1.1.1.1.2.cmml" xref="alg8.8.m8.1.1.1.1.2"></times><ci id="alg8.8.m8.1.1.1.1.3.cmml" xref="alg8.8.m8.1.1.1.1.3">𝜇</ci><apply id="alg8.8.m8.1.1.1.1.1.1.1.cmml" xref="alg8.8.m8.1.1.1.1.1.1"><plus id="alg8.8.m8.1.1.1.1.1.1.1.1.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.1"></plus><apply id="alg8.8.m8.1.1.1.1.1.1.1.2.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.2"><csymbol cd="latexml" id="alg8.8.m8.1.1.1.1.1.1.1.2.1.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.2.1">direct-product</csymbol><apply id="alg8.8.m8.1.1.1.1.1.1.1.2.2.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="alg8.8.m8.1.1.1.1.1.1.1.2.2.1.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.2.2">subscript</csymbol><ci id="alg8.8.m8.1.1.1.1.1.1.1.2.2.2.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.2.2.2">∇</ci><ci id="alg8.8.m8.1.1.1.1.1.1.1.2.2.3.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.2.2.3">𝑎</ci></apply><ci id="alg8.8.m8.1.1.1.1.1.1.1.2.3.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.2.3">𝑏</ci></apply><apply id="alg8.8.m8.1.1.1.1.1.1.1.3.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3"><csymbol cd="latexml" id="alg8.8.m8.1.1.1.1.1.1.1.3.1.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.1">direct-product</csymbol><apply id="alg8.8.m8.1.1.1.1.1.1.1.3.2.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="alg8.8.m8.1.1.1.1.1.1.1.3.2.1.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.2">subscript</csymbol><ci id="alg8.8.m8.1.1.1.1.1.1.1.3.2.2.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.2.2">∇</ci><ci id="alg8.8.m8.1.1.1.1.1.1.1.3.2.3.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.2.3">𝑏</ci></apply><apply id="alg8.8.m8.1.1.1.1.1.1.1.3.3.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.3"><ci id="alg8.8.m8.1.1.1.1.1.1.1.3.3.1.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.3.1">¯</ci><ci id="alg8.8.m8.1.1.1.1.1.1.1.3.3.2.cmml" xref="alg8.8.m8.1.1.1.1.1.1.1.3.3.2">𝑎</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg8.8.m8.1c">b\leftarrow b-\mu(\nabla_{a}\odot b+\nabla_{b}\odot\overline{a})</annotation></semantics></math>
<br class="ltx_break"></p>
</div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<p id="alg8.9" class="ltx_p ltx_figure_panel"><span id="alg8.9.1" class="ltx_text ltx_font_bold">Return</span> <math id="alg8.9.m1.2" class="ltx_Math" alttext="Q_{t}\leftarrow{\rm diag}(a)+{\rm adiag}(b)" display="inline"><semantics id="alg8.9.m1.2a"><mrow id="alg8.9.m1.2.3" xref="alg8.9.m1.2.3.cmml"><msub id="alg8.9.m1.2.3.2" xref="alg8.9.m1.2.3.2.cmml"><mi id="alg8.9.m1.2.3.2.2" xref="alg8.9.m1.2.3.2.2.cmml">Q</mi><mi id="alg8.9.m1.2.3.2.3" xref="alg8.9.m1.2.3.2.3.cmml">t</mi></msub><mo stretchy="false" id="alg8.9.m1.2.3.1" xref="alg8.9.m1.2.3.1.cmml">←</mo><mrow id="alg8.9.m1.2.3.3" xref="alg8.9.m1.2.3.3.cmml"><mrow id="alg8.9.m1.2.3.3.2" xref="alg8.9.m1.2.3.3.2.cmml"><mi id="alg8.9.m1.2.3.3.2.2" xref="alg8.9.m1.2.3.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="alg8.9.m1.2.3.3.2.1" xref="alg8.9.m1.2.3.3.2.1.cmml">​</mo><mrow id="alg8.9.m1.2.3.3.2.3.2" xref="alg8.9.m1.2.3.3.2.cmml"><mo stretchy="false" id="alg8.9.m1.2.3.3.2.3.2.1" xref="alg8.9.m1.2.3.3.2.cmml">(</mo><mi id="alg8.9.m1.1.1" xref="alg8.9.m1.1.1.cmml">a</mi><mo stretchy="false" id="alg8.9.m1.2.3.3.2.3.2.2" xref="alg8.9.m1.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="alg8.9.m1.2.3.3.1" xref="alg8.9.m1.2.3.3.1.cmml">+</mo><mrow id="alg8.9.m1.2.3.3.3" xref="alg8.9.m1.2.3.3.3.cmml"><mi id="alg8.9.m1.2.3.3.3.2" xref="alg8.9.m1.2.3.3.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="alg8.9.m1.2.3.3.3.1" xref="alg8.9.m1.2.3.3.3.1.cmml">​</mo><mrow id="alg8.9.m1.2.3.3.3.3.2" xref="alg8.9.m1.2.3.3.3.cmml"><mo stretchy="false" id="alg8.9.m1.2.3.3.3.3.2.1" xref="alg8.9.m1.2.3.3.3.cmml">(</mo><mi id="alg8.9.m1.2.2" xref="alg8.9.m1.2.2.cmml">b</mi><mo stretchy="false" id="alg8.9.m1.2.3.3.3.3.2.2" xref="alg8.9.m1.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="alg8.9.m1.2b"><apply id="alg8.9.m1.2.3.cmml" xref="alg8.9.m1.2.3"><ci id="alg8.9.m1.2.3.1.cmml" xref="alg8.9.m1.2.3.1">←</ci><apply id="alg8.9.m1.2.3.2.cmml" xref="alg8.9.m1.2.3.2"><csymbol cd="ambiguous" id="alg8.9.m1.2.3.2.1.cmml" xref="alg8.9.m1.2.3.2">subscript</csymbol><ci id="alg8.9.m1.2.3.2.2.cmml" xref="alg8.9.m1.2.3.2.2">𝑄</ci><ci id="alg8.9.m1.2.3.2.3.cmml" xref="alg8.9.m1.2.3.2.3">𝑡</ci></apply><apply id="alg8.9.m1.2.3.3.cmml" xref="alg8.9.m1.2.3.3"><plus id="alg8.9.m1.2.3.3.1.cmml" xref="alg8.9.m1.2.3.3.1"></plus><apply id="alg8.9.m1.2.3.3.2.cmml" xref="alg8.9.m1.2.3.3.2"><times id="alg8.9.m1.2.3.3.2.1.cmml" xref="alg8.9.m1.2.3.3.2.1"></times><ci id="alg8.9.m1.2.3.3.2.2.cmml" xref="alg8.9.m1.2.3.3.2.2">diag</ci><ci id="alg8.9.m1.1.1.cmml" xref="alg8.9.m1.1.1">𝑎</ci></apply><apply id="alg8.9.m1.2.3.3.3.cmml" xref="alg8.9.m1.2.3.3.3"><times id="alg8.9.m1.2.3.3.3.1.cmml" xref="alg8.9.m1.2.3.3.3.1"></times><ci id="alg8.9.m1.2.3.3.3.2.cmml" xref="alg8.9.m1.2.3.3.3.2">adiag</ci><ci id="alg8.9.m1.2.2.cmml" xref="alg8.9.m1.2.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="alg8.9.m1.2c">Q_{t}\leftarrow{\rm diag}(a)+{\rm adiag}(b)</annotation></semantics></math>
<br class="ltx_break"></p>
</div>
</div>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_float"><span id="alg8.11.1.1" class="ltx_text ltx_font_bold">Algorithm 8</span> </span> XMat Q Update Step</figcaption>
</figure>
</div>
</div>
</section>
</section>
<section id="A6" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix F </span>Space and Time Complexity</h2>

<div id="A6.p1" class="ltx_para">
<p id="A6.p1.5" class="ltx_p">PSGD has the benefit of the equivariance of the Lie group and as such does not require dampening parameters such as <math id="A6.p1.1.m1.1" class="ltx_Math" alttext="K" display="inline"><semantics id="A6.p1.1.m1.1a"><mi id="A6.p1.1.m1.1.1" xref="A6.p1.1.m1.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="A6.p1.1.m1.1b"><ci id="A6.p1.1.m1.1.1.cmml" xref="A6.p1.1.m1.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.p1.1.m1.1c">K</annotation></semantics></math> or <math id="A6.p1.2.m2.1" class="ltx_Math" alttext="C." display="inline"><semantics id="A6.p1.2.m2.1a"><mrow id="A6.p1.2.m2.1.2.2"><mi id="A6.p1.2.m2.1.1" xref="A6.p1.2.m2.1.1.cmml">C</mi><mo lspace="0em" id="A6.p1.2.m2.1.2.2.1">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A6.p1.2.m2.1b"><ci id="A6.p1.2.m2.1.1.cmml" xref="A6.p1.2.m2.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.p1.2.m2.1c">C.</annotation></semantics></math> This clearly reduces both space and time complexity. We see that calculation of the descent direction for PSGD is significantly cheaper than other second order methods. In terms of memory usage PSGD<math id="A6.p1.3.m3.1" class="ltx_Math" alttext="{}_{{\textsc{XMat}}}" display="inline"><semantics id="A6.p1.3.m3.1a"><msub id="A6.p1.3.m3.1.1" xref="A6.p1.3.m3.1.1.cmml"><mi id="A6.p1.3.m3.1.1a" xref="A6.p1.3.m3.1.1.cmml"></mi><mtext class="ltx_font_smallcaps" id="A6.p1.3.m3.1.1.1" xref="A6.p1.3.m3.1.1.1a.cmml">XMat</mtext></msub><annotation-xml encoding="MathML-Content" id="A6.p1.3.m3.1b"><apply id="A6.p1.3.m3.1.1.cmml" xref="A6.p1.3.m3.1.1"><ci id="A6.p1.3.m3.1.1.1a.cmml" xref="A6.p1.3.m3.1.1.1"><mtext class="ltx_font_smallcaps" mathsize="70%" id="A6.p1.3.m3.1.1.1.cmml" xref="A6.p1.3.m3.1.1.1">XMat</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.p1.3.m3.1c">{}_{{\textsc{XMat}}}</annotation></semantics></math> has the same memory usage as Adam while PSGD<sub id="A6.p1.5.1" class="ltx_sub"><span id="A6.p1.5.1.1" class="ltx_text ltx_font_italic">LRA</span></sub> has rank multiplier on complexity. On modern GPUs <math id="A6.p1.5.m5.1" class="ltx_Math" alttext="r&lt;100" display="inline"><semantics id="A6.p1.5.m5.1a"><mrow id="A6.p1.5.m5.1.1" xref="A6.p1.5.m5.1.1.cmml"><mi id="A6.p1.5.m5.1.1.2" xref="A6.p1.5.m5.1.1.2.cmml">r</mi><mo id="A6.p1.5.m5.1.1.1" xref="A6.p1.5.m5.1.1.1.cmml">&lt;</mo><mn id="A6.p1.5.m5.1.1.3" xref="A6.p1.5.m5.1.1.3.cmml">100</mn></mrow><annotation-xml encoding="MathML-Content" id="A6.p1.5.m5.1b"><apply id="A6.p1.5.m5.1.1.cmml" xref="A6.p1.5.m5.1.1"><lt id="A6.p1.5.m5.1.1.1.cmml" xref="A6.p1.5.m5.1.1.1"></lt><ci id="A6.p1.5.m5.1.1.2.cmml" xref="A6.p1.5.m5.1.1.2">𝑟</ci><cn type="integer" id="A6.p1.5.m5.1.1.3.cmml" xref="A6.p1.5.m5.1.1.3">100</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.p1.5.m5.1c">r&lt;100</annotation></semantics></math> makes negligible difference.</p>
</div>
<figure id="A6.T5" class="ltx_table">
<figure id="A6.T5.26" class="ltx_figure ltx_minipage ltx_align_top" style="width:433.6pt;">
<div id="A6.T5.22.22" class="ltx_inline-block ltx_transformed_outer" style="width:433.6pt;height:76.5pt;vertical-align:-0.7pt;"><span class="ltx_transformed_inner" style="transform:translate(-107.3pt,18.8pt) scale(0.668861407928771,0.668861407928771) ;">
<table id="A6.T5.22.22.22" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A6.T5.6.6.6.6" class="ltx_tr">
<th id="A6.T5.6.6.6.6.7" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<span id="A6.T5.6.6.6.6.7.1" class="ltx_text ltx_font_bold">Iteration Cost</span>
</th>
<th id="A6.T5.6.6.6.6.8" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Method</th>
<th id="A6.T5.1.1.1.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A6.T5.1.1.1.1.1.1" class="ltx_tabular ltx_align_middle">
<tr id="A6.T5.1.1.1.1.1.1.1" class="ltx_tr">
<td id="A6.T5.1.1.1.1.1.1.1.1" class="ltx_td ltx_align_center">
<math id="A6.T5.1.1.1.1.1.1.1.1.m1.1" class="ltx_Math" alttext="\triangle{\bm{\mu}}" display="inline"><semantics id="A6.T5.1.1.1.1.1.1.1.1.m1.1a"><mrow id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.cmml"><mi mathvariant="normal" id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.2" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.2.cmml">△</mi><mo lspace="0em" rspace="0em" id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.1" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.1.cmml">​</mo><mi id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.3" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.3.cmml">𝝁</mi></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.1.1.1.1.1.1.1.1.m1.1b"><apply id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.cmml" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1"><times id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.1.cmml" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.1"></times><ci id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.2.cmml" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.2">△</ci><ci id="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.3.cmml" xref="A6.T5.1.1.1.1.1.1.1.1.m1.1.1.3">𝝁</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.1.1.1.1.1.1.1.1.m1.1c">\triangle{\bm{\mu}}</annotation></semantics></math> (descent direction)</td>
</tr>
</table>
</th>
<th id="A6.T5.3.3.3.3.3" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A6.T5.3.3.3.3.3.2" class="ltx_tabular ltx_align_middle">
<tr id="A6.T5.3.3.3.3.3.2.2" class="ltx_tr">
<td id="A6.T5.3.3.3.3.3.2.2.2" class="ltx_td ltx_align_center">Update <math id="A6.T5.2.2.2.2.2.1.1.1.m1.1" class="ltx_Math" alttext="S_{K}" display="inline"><semantics id="A6.T5.2.2.2.2.2.1.1.1.m1.1a"><msub id="A6.T5.2.2.2.2.2.1.1.1.m1.1.1" xref="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.cmml"><mi id="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.2" xref="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.2.cmml">S</mi><mi id="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.3" xref="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.3.cmml">K</mi></msub><annotation-xml encoding="MathML-Content" id="A6.T5.2.2.2.2.2.1.1.1.m1.1b"><apply id="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.cmml" xref="A6.T5.2.2.2.2.2.1.1.1.m1.1.1"><csymbol cd="ambiguous" id="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.1.cmml" xref="A6.T5.2.2.2.2.2.1.1.1.m1.1.1">subscript</csymbol><ci id="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.2.cmml" xref="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.2">𝑆</ci><ci id="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.3.cmml" xref="A6.T5.2.2.2.2.2.1.1.1.m1.1.1.3">𝐾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.2.2.2.2.2.1.1.1.m1.1c">S_{K}</annotation></semantics></math> or <math id="A6.T5.3.3.3.3.3.2.2.2.m2.1" class="ltx_Math" alttext="K" display="inline"><semantics id="A6.T5.3.3.3.3.3.2.2.2.m2.1a"><mi id="A6.T5.3.3.3.3.3.2.2.2.m2.1.1" xref="A6.T5.3.3.3.3.3.2.2.2.m2.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="A6.T5.3.3.3.3.3.2.2.2.m2.1b"><ci id="A6.T5.3.3.3.3.3.2.2.2.m2.1.1.cmml" xref="A6.T5.3.3.3.3.3.2.2.2.m2.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.3.3.3.3.3.2.2.2.m2.1c">K</annotation></semantics></math>
</td>
</tr>
</table>
</th>
<th id="A6.T5.5.5.5.5.5" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A6.T5.5.5.5.5.5.2" class="ltx_tabular ltx_align_middle">
<tr id="A6.T5.5.5.5.5.5.2.2" class="ltx_tr">
<td id="A6.T5.5.5.5.5.5.2.2.2" class="ltx_td ltx_align_center">Update <math id="A6.T5.4.4.4.4.4.1.1.1.m1.1" class="ltx_Math" alttext="S_{C}" display="inline"><semantics id="A6.T5.4.4.4.4.4.1.1.1.m1.1a"><msub id="A6.T5.4.4.4.4.4.1.1.1.m1.1.1" xref="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.cmml"><mi id="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.2" xref="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.2.cmml">S</mi><mi id="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.3" xref="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.3.cmml">C</mi></msub><annotation-xml encoding="MathML-Content" id="A6.T5.4.4.4.4.4.1.1.1.m1.1b"><apply id="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.cmml" xref="A6.T5.4.4.4.4.4.1.1.1.m1.1.1"><csymbol cd="ambiguous" id="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.1.cmml" xref="A6.T5.4.4.4.4.4.1.1.1.m1.1.1">subscript</csymbol><ci id="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.2.cmml" xref="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.2">𝑆</ci><ci id="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.3.cmml" xref="A6.T5.4.4.4.4.4.1.1.1.m1.1.1.3">𝐶</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.4.4.4.4.4.1.1.1.m1.1c">S_{C}</annotation></semantics></math> or <math id="A6.T5.5.5.5.5.5.2.2.2.m2.1" class="ltx_Math" alttext="C" display="inline"><semantics id="A6.T5.5.5.5.5.5.2.2.2.m2.1a"><mi id="A6.T5.5.5.5.5.5.2.2.2.m2.1.1" xref="A6.T5.5.5.5.5.5.2.2.2.m2.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="A6.T5.5.5.5.5.5.2.2.2.m2.1b"><ci id="A6.T5.5.5.5.5.5.2.2.2.m2.1.1.cmml" xref="A6.T5.5.5.5.5.5.2.2.2.m2.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.5.5.5.5.5.2.2.2.m2.1c">C</annotation></semantics></math>
</td>
</tr>
</table>
</th>
<th id="A6.T5.6.6.6.6.6" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A6.T5.6.6.6.6.6.1" class="ltx_tabular ltx_align_middle">
<tr id="A6.T5.6.6.6.6.6.1.1" class="ltx_tr">
<td id="A6.T5.6.6.6.6.6.1.1.1" class="ltx_td ltx_align_center">
<math id="A6.T5.6.6.6.6.6.1.1.1.m1.1" class="ltx_Math" alttext="\nabla_{\mu}\ell" display="inline"><semantics id="A6.T5.6.6.6.6.6.1.1.1.m1.1a"><mrow id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.cmml"><msub id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.cmml"><mo id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.2" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.2.cmml">∇</mo><mi id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.3" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.3.cmml">μ</mi></msub><mi mathvariant="normal" id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.2" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.2.cmml">ℓ</mi></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.6.6.6.6.6.1.1.1.m1.1b"><apply id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.cmml" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1"><apply id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.cmml" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1"><csymbol cd="ambiguous" id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.1.cmml" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1">subscript</csymbol><ci id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.2.cmml" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.2">∇</ci><ci id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.3.cmml" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.1.3">𝜇</ci></apply><ci id="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.2.cmml" xref="A6.T5.6.6.6.6.6.1.1.1.m1.1.1.2">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.6.6.6.6.6.1.1.1.m1.1c">\nabla_{\mu}\ell</annotation></semantics></math> (BackProp)</td>
</tr>
</table>
</th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A6.T5.10.10.10.10" class="ltx_tr">
<td id="A6.T5.10.10.10.10.5" class="ltx_td ltx_border_t"></td>
<td id="A6.T5.10.10.10.10.6" class="ltx_td ltx_align_center ltx_border_t">KFAC</td>
<td id="A6.T5.7.7.7.7.1" class="ltx_td ltx_align_center ltx_border_t"><math id="A6.T5.7.7.7.7.1.m1.1" class="ltx_Math" alttext="O(d_{i}^{2}d_{o}+d_{o}^{2}d_{i})" display="inline"><semantics id="A6.T5.7.7.7.7.1.m1.1a"><mrow id="A6.T5.7.7.7.7.1.m1.1.1" xref="A6.T5.7.7.7.7.1.m1.1.1.cmml"><mi id="A6.T5.7.7.7.7.1.m1.1.1.3" xref="A6.T5.7.7.7.7.1.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.7.7.7.7.1.m1.1.1.2" xref="A6.T5.7.7.7.7.1.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.7.7.7.7.1.m1.1.1.1.1" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.cmml"><mrow id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.cmml"><msubsup id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.cmml"><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.2.cmml">d</mi><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.3.cmml">i</mi><mn id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.3.cmml">2</mn></msubsup><mo lspace="0em" rspace="0em" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.1" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.1.cmml">​</mo><msub id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.cmml"><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.2.cmml">d</mi><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.3.cmml">o</mi></msub></mrow><mo id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.1" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.cmml"><msubsup id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.cmml"><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.2.cmml">d</mi><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.3.cmml">o</mi><mn id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.3.cmml">2</mn></msubsup><mo lspace="0em" rspace="0em" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.1" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.1.cmml">​</mo><msub id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.cmml"><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.2" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.2.cmml">d</mi><mi id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.3.cmml">i</mi></msub></mrow></mrow><mo stretchy="false" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.3" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.7.7.7.7.1.m1.1b"><apply id="A6.T5.7.7.7.7.1.m1.1.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1"><times id="A6.T5.7.7.7.7.1.m1.1.1.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.2"></times><ci id="A6.T5.7.7.7.7.1.m1.1.1.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.3">𝑂</ci><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1"><plus id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.1"></plus><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2"><times id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.1"></times><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2">superscript</csymbol><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2">subscript</csymbol><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.2">𝑑</ci><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply><cn type="integer" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.2.3">2</cn></apply><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3">subscript</csymbol><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.2">𝑑</ci><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.2.3.3">𝑜</ci></apply></apply><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3"><times id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.1"></times><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2">superscript</csymbol><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.2">𝑑</ci><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.2.3">𝑜</ci></apply><cn type="integer" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.2.3">2</cn></apply><apply id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.1.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.2.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.2">𝑑</ci><ci id="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.3.cmml" xref="A6.T5.7.7.7.7.1.m1.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.7.7.7.7.1.m1.1c">O(d_{i}^{2}d_{o}+d_{o}^{2}d_{i})</annotation></semantics></math></td>
<td id="A6.T5.8.8.8.8.2" class="ltx_td ltx_align_center ltx_border_t"><math id="A6.T5.8.8.8.8.2.m1.1" class="ltx_Math" alttext="O(\frac{1}{T}(md_{i}^{2}+d_{i}^{3}))" display="inline"><semantics id="A6.T5.8.8.8.8.2.m1.1a"><mrow id="A6.T5.8.8.8.8.2.m1.1.1" xref="A6.T5.8.8.8.8.2.m1.1.1.cmml"><mi id="A6.T5.8.8.8.8.2.m1.1.1.3" xref="A6.T5.8.8.8.8.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.8.8.8.8.2.m1.1.1.2" xref="A6.T5.8.8.8.8.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.8.8.8.8.2.m1.1.1.1.1" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.cmml"><mfrac id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.cmml"><mn id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.2.cmml">1</mn><mi id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.3.cmml">T</mi></mfrac><mo lspace="0em" rspace="0em" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.1" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.1.cmml">​</mo><msubsup id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.cmml"><mi id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml">d</mi><mi id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml">i</mi><mn id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.3.cmml">2</mn></msubsup></mrow><mo id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.1" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.1.cmml">+</mo><msubsup id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.2" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.2.cmml">d</mi><mi id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.3.cmml">i</mi><mn id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.3.cmml">3</mn></msubsup></mrow><mo stretchy="false" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.3" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.8.8.8.8.2.m1.1b"><apply id="A6.T5.8.8.8.8.2.m1.1.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1"><times id="A6.T5.8.8.8.8.2.m1.1.1.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.2"></times><ci id="A6.T5.8.8.8.8.2.m1.1.1.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.3">𝑂</ci><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1"><times id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.2"></times><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3"><divide id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3"></divide><cn type="integer" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.2">1</cn><ci id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.3.3">𝑇</ci></apply><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1"><plus id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.1"></plus><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2"><times id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.1"></times><ci id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.2">𝑚</ci><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3">superscript</csymbol><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3">subscript</csymbol><ci id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.2">𝑑</ci><ci id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.2.3">𝑖</ci></apply><cn type="integer" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.2.3.3">2</cn></apply></apply><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.2">𝑑</ci><ci id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.2.3">𝑖</ci></apply><cn type="integer" id="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A6.T5.8.8.8.8.2.m1.1.1.1.1.1.1.1.1.3.3">3</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.8.8.8.8.2.m1.1c">O(\frac{1}{T}(md_{i}^{2}+d_{i}^{3}))</annotation></semantics></math></td>
<td id="A6.T5.9.9.9.9.3" class="ltx_td ltx_align_center ltx_border_t"><math id="A6.T5.9.9.9.9.3.m1.1" class="ltx_Math" alttext="O(\frac{1}{T}(md_{o}^{2}+d_{o}^{3}))" display="inline"><semantics id="A6.T5.9.9.9.9.3.m1.1a"><mrow id="A6.T5.9.9.9.9.3.m1.1.1" xref="A6.T5.9.9.9.9.3.m1.1.1.cmml"><mi id="A6.T5.9.9.9.9.3.m1.1.1.3" xref="A6.T5.9.9.9.9.3.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.9.9.9.9.3.m1.1.1.2" xref="A6.T5.9.9.9.9.3.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.9.9.9.9.3.m1.1.1.1.1" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.cmml"><mfrac id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.cmml"><mn id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.2.cmml">1</mn><mi id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.3.cmml">T</mi></mfrac><mo lspace="0em" rspace="0em" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.1" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.1.cmml">​</mo><msubsup id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.cmml"><mi id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml">d</mi><mi id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml">o</mi><mn id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.3.cmml">2</mn></msubsup></mrow><mo id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.1" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.1.cmml">+</mo><msubsup id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.2" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.2.cmml">d</mi><mi id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.3.cmml">o</mi><mn id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.3.cmml">3</mn></msubsup></mrow><mo stretchy="false" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.3" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.9.9.9.9.3.m1.1b"><apply id="A6.T5.9.9.9.9.3.m1.1.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1"><times id="A6.T5.9.9.9.9.3.m1.1.1.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.2"></times><ci id="A6.T5.9.9.9.9.3.m1.1.1.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.3">𝑂</ci><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1"><times id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.2"></times><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3"><divide id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3"></divide><cn type="integer" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.2">1</cn><ci id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.3.3">𝑇</ci></apply><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1"><plus id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.1"></plus><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2"><times id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.1"></times><ci id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.2">𝑚</ci><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3">superscript</csymbol><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3">subscript</csymbol><ci id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.2">𝑑</ci><ci id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.2.3">𝑜</ci></apply><cn type="integer" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.2.3.3">2</cn></apply></apply><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.2">𝑑</ci><ci id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.2.3">𝑜</ci></apply><cn type="integer" id="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A6.T5.9.9.9.9.3.m1.1.1.1.1.1.1.1.1.3.3">3</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.9.9.9.9.3.m1.1c">O(\frac{1}{T}(md_{o}^{2}+d_{o}^{3}))</annotation></semantics></math></td>
<td id="A6.T5.10.10.10.10.4" class="ltx_td ltx_align_center ltx_border_t"><math id="A6.T5.10.10.10.10.4.m1.1" class="ltx_Math" alttext="O(md_{i}d_{o})" display="inline"><semantics id="A6.T5.10.10.10.10.4.m1.1a"><mrow id="A6.T5.10.10.10.10.4.m1.1.1" xref="A6.T5.10.10.10.10.4.m1.1.1.cmml"><mi id="A6.T5.10.10.10.10.4.m1.1.1.3" xref="A6.T5.10.10.10.10.4.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.10.10.10.10.4.m1.1.1.2" xref="A6.T5.10.10.10.10.4.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.10.10.10.10.4.m1.1.1.1.1" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.10.10.10.10.4.m1.1.1.1.1.2" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.cmml"><mi id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.2" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.1" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.2" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.3" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.1a" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.cmml"><mi id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.2" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.2.cmml">d</mi><mi id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.3" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.10.10.10.10.4.m1.1.1.1.1.3" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.10.10.10.10.4.m1.1b"><apply id="A6.T5.10.10.10.10.4.m1.1.1.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1"><times id="A6.T5.10.10.10.10.4.m1.1.1.2.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.2"></times><ci id="A6.T5.10.10.10.10.4.m1.1.1.3.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.3">𝑂</ci><apply id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1"><times id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.1.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.1"></times><ci id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.2.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.2">𝑚</ci><apply id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.3.3">𝑖</ci></apply><apply id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.1.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4">subscript</csymbol><ci id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.2.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.2">𝑑</ci><ci id="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.3.cmml" xref="A6.T5.10.10.10.10.4.m1.1.1.1.1.1.4.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.10.10.10.10.4.m1.1c">O(md_{i}d_{o})</annotation></semantics></math></td>
</tr>
<tr id="A6.T5.14.14.14.14" class="ltx_tr">
<td id="A6.T5.14.14.14.14.5" class="ltx_td"></td>
<td id="A6.T5.14.14.14.14.6" class="ltx_td ltx_align_center">Shampoo</td>
<td id="A6.T5.11.11.11.11.1" class="ltx_td ltx_align_center"><math id="A6.T5.11.11.11.11.1.m1.1" class="ltx_Math" alttext="O(d_{i}^{2}d_{o}+d_{o}^{2}d_{i})" display="inline"><semantics id="A6.T5.11.11.11.11.1.m1.1a"><mrow id="A6.T5.11.11.11.11.1.m1.1.1" xref="A6.T5.11.11.11.11.1.m1.1.1.cmml"><mi id="A6.T5.11.11.11.11.1.m1.1.1.3" xref="A6.T5.11.11.11.11.1.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.11.11.11.11.1.m1.1.1.2" xref="A6.T5.11.11.11.11.1.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.11.11.11.11.1.m1.1.1.1.1" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.cmml"><mrow id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.cmml"><msubsup id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.cmml"><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.2.cmml">d</mi><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.3.cmml">i</mi><mn id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.3.cmml">2</mn></msubsup><mo lspace="0em" rspace="0em" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.1" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.1.cmml">​</mo><msub id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.cmml"><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.2.cmml">d</mi><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.3.cmml">o</mi></msub></mrow><mo id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.1" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.cmml"><msubsup id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.cmml"><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.2.cmml">d</mi><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.3.cmml">o</mi><mn id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.3.cmml">2</mn></msubsup><mo lspace="0em" rspace="0em" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.1" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.1.cmml">​</mo><msub id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.cmml"><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.2" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.2.cmml">d</mi><mi id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.3.cmml">i</mi></msub></mrow></mrow><mo stretchy="false" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.3" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.11.11.11.11.1.m1.1b"><apply id="A6.T5.11.11.11.11.1.m1.1.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1"><times id="A6.T5.11.11.11.11.1.m1.1.1.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.2"></times><ci id="A6.T5.11.11.11.11.1.m1.1.1.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.3">𝑂</ci><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1"><plus id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.1"></plus><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2"><times id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.1"></times><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2">superscript</csymbol><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2">subscript</csymbol><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.2">𝑑</ci><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.2.3">𝑖</ci></apply><cn type="integer" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.2.3">2</cn></apply><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3">subscript</csymbol><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.2">𝑑</ci><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.2.3.3">𝑜</ci></apply></apply><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3"><times id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.1"></times><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2">superscript</csymbol><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2">subscript</csymbol><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.2">𝑑</ci><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.2.3">𝑜</ci></apply><cn type="integer" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.2.3">2</cn></apply><apply id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.1.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.2.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.2">𝑑</ci><ci id="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.3.cmml" xref="A6.T5.11.11.11.11.1.m1.1.1.1.1.1.3.3.3">𝑖</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.11.11.11.11.1.m1.1c">O(d_{i}^{2}d_{o}+d_{o}^{2}d_{i})</annotation></semantics></math></td>
<td id="A6.T5.12.12.12.12.2" class="ltx_td ltx_align_center"><math id="A6.T5.12.12.12.12.2.m1.1" class="ltx_Math" alttext="O(\frac{1}{T}(md_{i}^{2}+d_{i}^{3}))" display="inline"><semantics id="A6.T5.12.12.12.12.2.m1.1a"><mrow id="A6.T5.12.12.12.12.2.m1.1.1" xref="A6.T5.12.12.12.12.2.m1.1.1.cmml"><mi id="A6.T5.12.12.12.12.2.m1.1.1.3" xref="A6.T5.12.12.12.12.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.12.12.12.12.2.m1.1.1.2" xref="A6.T5.12.12.12.12.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.12.12.12.12.2.m1.1.1.1.1" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.cmml"><mfrac id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.cmml"><mn id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.2.cmml">1</mn><mi id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.3.cmml">T</mi></mfrac><mo lspace="0em" rspace="0em" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.1" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.1.cmml">​</mo><msubsup id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.cmml"><mi id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml">d</mi><mi id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml">i</mi><mn id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.3.cmml">2</mn></msubsup></mrow><mo id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.1" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.1.cmml">+</mo><msubsup id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.2" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.2.cmml">d</mi><mi id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.3.cmml">i</mi><mn id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.3.cmml">3</mn></msubsup></mrow><mo stretchy="false" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.3" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.12.12.12.12.2.m1.1b"><apply id="A6.T5.12.12.12.12.2.m1.1.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1"><times id="A6.T5.12.12.12.12.2.m1.1.1.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.2"></times><ci id="A6.T5.12.12.12.12.2.m1.1.1.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.3">𝑂</ci><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1"><times id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.2"></times><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3"><divide id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3"></divide><cn type="integer" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.2">1</cn><ci id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.3.3">𝑇</ci></apply><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1"><plus id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.1"></plus><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2"><times id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.1"></times><ci id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.2">𝑚</ci><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3">superscript</csymbol><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3">subscript</csymbol><ci id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.2">𝑑</ci><ci id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.2.3">𝑖</ci></apply><cn type="integer" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.2.3.3">2</cn></apply></apply><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.2">𝑑</ci><ci id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.2.3">𝑖</ci></apply><cn type="integer" id="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A6.T5.12.12.12.12.2.m1.1.1.1.1.1.1.1.1.3.3">3</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.12.12.12.12.2.m1.1c">O(\frac{1}{T}(md_{i}^{2}+d_{i}^{3}))</annotation></semantics></math></td>
<td id="A6.T5.13.13.13.13.3" class="ltx_td ltx_align_center"><math id="A6.T5.13.13.13.13.3.m1.1" class="ltx_Math" alttext="O(\frac{1}{T}(md_{o}^{2}+d_{o}^{3}))" display="inline"><semantics id="A6.T5.13.13.13.13.3.m1.1a"><mrow id="A6.T5.13.13.13.13.3.m1.1.1" xref="A6.T5.13.13.13.13.3.m1.1.1.cmml"><mi id="A6.T5.13.13.13.13.3.m1.1.1.3" xref="A6.T5.13.13.13.13.3.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.13.13.13.13.3.m1.1.1.2" xref="A6.T5.13.13.13.13.3.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.13.13.13.13.3.m1.1.1.1.1" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.cmml"><mfrac id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.cmml"><mn id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.2.cmml">1</mn><mi id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.3.cmml">T</mi></mfrac><mo lspace="0em" rspace="0em" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.1" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.1.cmml">​</mo><msubsup id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.cmml"><mi id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml">d</mi><mi id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml">o</mi><mn id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.3.cmml">2</mn></msubsup></mrow><mo id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.1" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.1.cmml">+</mo><msubsup id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.cmml"><mi id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.2" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.2.cmml">d</mi><mi id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.3.cmml">o</mi><mn id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.3.cmml">3</mn></msubsup></mrow><mo stretchy="false" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.3" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.13.13.13.13.3.m1.1b"><apply id="A6.T5.13.13.13.13.3.m1.1.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1"><times id="A6.T5.13.13.13.13.3.m1.1.1.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.2"></times><ci id="A6.T5.13.13.13.13.3.m1.1.1.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.3">𝑂</ci><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1"><times id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.2"></times><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3"><divide id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3"></divide><cn type="integer" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.2">1</cn><ci id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.3.3">𝑇</ci></apply><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1"><plus id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.1"></plus><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2"><times id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.1"></times><ci id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.2">𝑚</ci><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3">superscript</csymbol><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3">subscript</csymbol><ci id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.2">𝑑</ci><ci id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.2.3">𝑜</ci></apply><cn type="integer" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.2.3.3">2</cn></apply></apply><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3">superscript</csymbol><apply id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.2">𝑑</ci><ci id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.2.3">𝑜</ci></apply><cn type="integer" id="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A6.T5.13.13.13.13.3.m1.1.1.1.1.1.1.1.1.3.3">3</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.13.13.13.13.3.m1.1c">O(\frac{1}{T}(md_{o}^{2}+d_{o}^{3}))</annotation></semantics></math></td>
<td id="A6.T5.14.14.14.14.4" class="ltx_td ltx_align_center"><math id="A6.T5.14.14.14.14.4.m1.1" class="ltx_Math" alttext="O(md_{i}d_{o})" display="inline"><semantics id="A6.T5.14.14.14.14.4.m1.1a"><mrow id="A6.T5.14.14.14.14.4.m1.1.1" xref="A6.T5.14.14.14.14.4.m1.1.1.cmml"><mi id="A6.T5.14.14.14.14.4.m1.1.1.3" xref="A6.T5.14.14.14.14.4.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.14.14.14.14.4.m1.1.1.2" xref="A6.T5.14.14.14.14.4.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.14.14.14.14.4.m1.1.1.1.1" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.14.14.14.14.4.m1.1.1.1.1.2" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.cmml"><mi id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.2" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.1" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.2" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.3" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.1a" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.cmml"><mi id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.2" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.2.cmml">d</mi><mi id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.3" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.14.14.14.14.4.m1.1.1.1.1.3" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.14.14.14.14.4.m1.1b"><apply id="A6.T5.14.14.14.14.4.m1.1.1.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1"><times id="A6.T5.14.14.14.14.4.m1.1.1.2.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.2"></times><ci id="A6.T5.14.14.14.14.4.m1.1.1.3.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.3">𝑂</ci><apply id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1"><times id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.1.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.1"></times><ci id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.2.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.2">𝑚</ci><apply id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.3.3">𝑖</ci></apply><apply id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.1.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4">subscript</csymbol><ci id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.2.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.2">𝑑</ci><ci id="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.3.cmml" xref="A6.T5.14.14.14.14.4.m1.1.1.1.1.1.4.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.14.14.14.14.4.m1.1c">O(md_{i}d_{o})</annotation></semantics></math></td>
</tr>
<tr id="A6.T5.16.16.16.16" class="ltx_tr">
<td id="A6.T5.16.16.16.16.3" class="ltx_td"></td>
<td id="A6.T5.16.16.16.16.4" class="ltx_td ltx_align_center">AdamW</td>
<td id="A6.T5.15.15.15.15.1" class="ltx_td ltx_align_center"><math id="A6.T5.15.15.15.15.1.m1.1" class="ltx_Math" alttext="O(d_{i}d_{o})" display="inline"><semantics id="A6.T5.15.15.15.15.1.m1.1a"><mrow id="A6.T5.15.15.15.15.1.m1.1.1" xref="A6.T5.15.15.15.15.1.m1.1.1.cmml"><mi id="A6.T5.15.15.15.15.1.m1.1.1.3" xref="A6.T5.15.15.15.15.1.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.15.15.15.15.1.m1.1.1.2" xref="A6.T5.15.15.15.15.1.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.15.15.15.15.1.m1.1.1.1.1" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.15.15.15.15.1.m1.1.1.1.1.2" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.cmml"><msub id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.cmml"><mi id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.2" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.3" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.1" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.2" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.3" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.15.15.15.15.1.m1.1.1.1.1.3" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.15.15.15.15.1.m1.1b"><apply id="A6.T5.15.15.15.15.1.m1.1.1.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1"><times id="A6.T5.15.15.15.15.1.m1.1.1.2.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.2"></times><ci id="A6.T5.15.15.15.15.1.m1.1.1.3.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.3">𝑂</ci><apply id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1"><times id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.1.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.1"></times><apply id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.1.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2">subscript</csymbol><ci id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.2.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.3.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.15.15.15.15.1.m1.1.1.1.1.1.3.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.15.15.15.15.1.m1.1c">O(d_{i}d_{o})</annotation></semantics></math></td>
<td id="A6.T5.16.16.16.16.5" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T5.16.16.16.16.6" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T5.16.16.16.16.2" class="ltx_td ltx_align_center"><math id="A6.T5.16.16.16.16.2.m1.1" class="ltx_Math" alttext="O(md_{i}d_{o})" display="inline"><semantics id="A6.T5.16.16.16.16.2.m1.1a"><mrow id="A6.T5.16.16.16.16.2.m1.1.1" xref="A6.T5.16.16.16.16.2.m1.1.1.cmml"><mi id="A6.T5.16.16.16.16.2.m1.1.1.3" xref="A6.T5.16.16.16.16.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.16.16.16.16.2.m1.1.1.2" xref="A6.T5.16.16.16.16.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.16.16.16.16.2.m1.1.1.1.1" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.16.16.16.16.2.m1.1.1.1.1.2" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.cmml"><mi id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.2" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.1" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.2" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.3" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.1a" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.cmml"><mi id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.2" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.2.cmml">d</mi><mi id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.3" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.16.16.16.16.2.m1.1.1.1.1.3" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.16.16.16.16.2.m1.1b"><apply id="A6.T5.16.16.16.16.2.m1.1.1.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1"><times id="A6.T5.16.16.16.16.2.m1.1.1.2.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.2"></times><ci id="A6.T5.16.16.16.16.2.m1.1.1.3.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.3">𝑂</ci><apply id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1"><times id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.1.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.1"></times><ci id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.2.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.2">𝑚</ci><apply id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.3.3">𝑖</ci></apply><apply id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.1.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4">subscript</csymbol><ci id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.2.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.2">𝑑</ci><ci id="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.3.cmml" xref="A6.T5.16.16.16.16.2.m1.1.1.1.1.1.4.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.16.16.16.16.2.m1.1c">O(md_{i}d_{o})</annotation></semantics></math></td>
</tr>
<tr id="A6.T5.19.19.19.19" class="ltx_tr">
<td id="A6.T5.19.19.19.19.4" class="ltx_td"></td>
<td id="A6.T5.17.17.17.17.1" class="ltx_td ltx_align_center">
<math id="A6.T5.17.17.17.17.1.m1.1" class="ltx_Math" alttext="\textbf{PSGD}_{LRA}" display="inline"><semantics id="A6.T5.17.17.17.17.1.m1.1a"><msub id="A6.T5.17.17.17.17.1.m1.1.1" xref="A6.T5.17.17.17.17.1.m1.1.1.cmml"><mtext class="ltx_mathvariant_bold" id="A6.T5.17.17.17.17.1.m1.1.1.2" xref="A6.T5.17.17.17.17.1.m1.1.1.2a.cmml">PSGD</mtext><mrow id="A6.T5.17.17.17.17.1.m1.1.1.3" xref="A6.T5.17.17.17.17.1.m1.1.1.3.cmml"><mi id="A6.T5.17.17.17.17.1.m1.1.1.3.2" xref="A6.T5.17.17.17.17.1.m1.1.1.3.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="A6.T5.17.17.17.17.1.m1.1.1.3.1" xref="A6.T5.17.17.17.17.1.m1.1.1.3.1.cmml">​</mo><mi id="A6.T5.17.17.17.17.1.m1.1.1.3.3" xref="A6.T5.17.17.17.17.1.m1.1.1.3.3.cmml">R</mi><mo lspace="0em" rspace="0em" id="A6.T5.17.17.17.17.1.m1.1.1.3.1a" xref="A6.T5.17.17.17.17.1.m1.1.1.3.1.cmml">​</mo><mi id="A6.T5.17.17.17.17.1.m1.1.1.3.4" xref="A6.T5.17.17.17.17.1.m1.1.1.3.4.cmml">A</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="A6.T5.17.17.17.17.1.m1.1b"><apply id="A6.T5.17.17.17.17.1.m1.1.1.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1"><csymbol cd="ambiguous" id="A6.T5.17.17.17.17.1.m1.1.1.1.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1">subscript</csymbol><ci id="A6.T5.17.17.17.17.1.m1.1.1.2a.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1.2"><mtext class="ltx_mathvariant_bold" id="A6.T5.17.17.17.17.1.m1.1.1.2.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1.2">PSGD</mtext></ci><apply id="A6.T5.17.17.17.17.1.m1.1.1.3.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1.3"><times id="A6.T5.17.17.17.17.1.m1.1.1.3.1.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1.3.1"></times><ci id="A6.T5.17.17.17.17.1.m1.1.1.3.2.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1.3.2">𝐿</ci><ci id="A6.T5.17.17.17.17.1.m1.1.1.3.3.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1.3.3">𝑅</ci><ci id="A6.T5.17.17.17.17.1.m1.1.1.3.4.cmml" xref="A6.T5.17.17.17.17.1.m1.1.1.3.4">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.17.17.17.17.1.m1.1c">\textbf{PSGD}_{LRA}</annotation></semantics></math> <span id="A6.T5.17.17.17.17.1.1" class="ltx_text">(with rank parameter r)</span>
</td>
<td id="A6.T5.18.18.18.18.2" class="ltx_td ltx_align_center"><math id="A6.T5.18.18.18.18.2.m1.1" class="ltx_Math" alttext="O(rd_{i}d_{o})" display="inline"><semantics id="A6.T5.18.18.18.18.2.m1.1a"><mrow id="A6.T5.18.18.18.18.2.m1.1.1" xref="A6.T5.18.18.18.18.2.m1.1.1.cmml"><mi id="A6.T5.18.18.18.18.2.m1.1.1.3" xref="A6.T5.18.18.18.18.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.18.18.18.18.2.m1.1.1.2" xref="A6.T5.18.18.18.18.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.18.18.18.18.2.m1.1.1.1.1" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.18.18.18.18.2.m1.1.1.1.1.2" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.cmml"><mi id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.2" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.1" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.2" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.3" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.1a" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.cmml"><mi id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.2" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.2.cmml">d</mi><mi id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.3" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.18.18.18.18.2.m1.1.1.1.1.3" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.18.18.18.18.2.m1.1b"><apply id="A6.T5.18.18.18.18.2.m1.1.1.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1"><times id="A6.T5.18.18.18.18.2.m1.1.1.2.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.2"></times><ci id="A6.T5.18.18.18.18.2.m1.1.1.3.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.3">𝑂</ci><apply id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1"><times id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.1.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.1"></times><ci id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.2.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.2">𝑟</ci><apply id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.3.3">𝑖</ci></apply><apply id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.1.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4">subscript</csymbol><ci id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.2.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.2">𝑑</ci><ci id="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.3.cmml" xref="A6.T5.18.18.18.18.2.m1.1.1.1.1.1.4.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.18.18.18.18.2.m1.1c">O(rd_{i}d_{o})</annotation></semantics></math></td>
<td id="A6.T5.19.19.19.19.5" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T5.19.19.19.19.6" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T5.19.19.19.19.3" class="ltx_td ltx_align_center"><math id="A6.T5.19.19.19.19.3.m1.1" class="ltx_Math" alttext="O(md_{i}d_{o})" display="inline"><semantics id="A6.T5.19.19.19.19.3.m1.1a"><mrow id="A6.T5.19.19.19.19.3.m1.1.1" xref="A6.T5.19.19.19.19.3.m1.1.1.cmml"><mi id="A6.T5.19.19.19.19.3.m1.1.1.3" xref="A6.T5.19.19.19.19.3.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.19.19.19.19.3.m1.1.1.2" xref="A6.T5.19.19.19.19.3.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.19.19.19.19.3.m1.1.1.1.1" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.19.19.19.19.3.m1.1.1.1.1.2" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.cmml"><mi id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.2" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.1" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.2" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.3" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.1a" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.cmml"><mi id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.2" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.2.cmml">d</mi><mi id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.3" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.19.19.19.19.3.m1.1.1.1.1.3" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.19.19.19.19.3.m1.1b"><apply id="A6.T5.19.19.19.19.3.m1.1.1.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1"><times id="A6.T5.19.19.19.19.3.m1.1.1.2.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.2"></times><ci id="A6.T5.19.19.19.19.3.m1.1.1.3.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.3">𝑂</ci><apply id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1"><times id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.1.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.1"></times><ci id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.2.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.2">𝑚</ci><apply id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.3.3">𝑖</ci></apply><apply id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.1.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4">subscript</csymbol><ci id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.2.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.2">𝑑</ci><ci id="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.3.cmml" xref="A6.T5.19.19.19.19.3.m1.1.1.1.1.1.4.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.19.19.19.19.3.m1.1c">O(md_{i}d_{o})</annotation></semantics></math></td>
</tr>
<tr id="A6.T5.22.22.22.22" class="ltx_tr">
<td id="A6.T5.22.22.22.22.4" class="ltx_td ltx_border_bb"></td>
<td id="A6.T5.20.20.20.20.1" class="ltx_td ltx_align_center ltx_border_bb"><math id="A6.T5.20.20.20.20.1.m1.1" class="ltx_Math" alttext="\textbf{PSGD}_{{\textsc{XMat}}}" display="inline"><semantics id="A6.T5.20.20.20.20.1.m1.1a"><msub id="A6.T5.20.20.20.20.1.m1.1.1" xref="A6.T5.20.20.20.20.1.m1.1.1.cmml"><mtext class="ltx_mathvariant_bold" id="A6.T5.20.20.20.20.1.m1.1.1.2" xref="A6.T5.20.20.20.20.1.m1.1.1.2a.cmml">PSGD</mtext><mtext class="ltx_font_smallcaps" id="A6.T5.20.20.20.20.1.m1.1.1.3" xref="A6.T5.20.20.20.20.1.m1.1.1.3a.cmml">XMat</mtext></msub><annotation-xml encoding="MathML-Content" id="A6.T5.20.20.20.20.1.m1.1b"><apply id="A6.T5.20.20.20.20.1.m1.1.1.cmml" xref="A6.T5.20.20.20.20.1.m1.1.1"><csymbol cd="ambiguous" id="A6.T5.20.20.20.20.1.m1.1.1.1.cmml" xref="A6.T5.20.20.20.20.1.m1.1.1">subscript</csymbol><ci id="A6.T5.20.20.20.20.1.m1.1.1.2a.cmml" xref="A6.T5.20.20.20.20.1.m1.1.1.2"><mtext class="ltx_mathvariant_bold" id="A6.T5.20.20.20.20.1.m1.1.1.2.cmml" xref="A6.T5.20.20.20.20.1.m1.1.1.2">PSGD</mtext></ci><ci id="A6.T5.20.20.20.20.1.m1.1.1.3a.cmml" xref="A6.T5.20.20.20.20.1.m1.1.1.3"><mtext class="ltx_font_smallcaps" mathsize="70%" id="A6.T5.20.20.20.20.1.m1.1.1.3.cmml" xref="A6.T5.20.20.20.20.1.m1.1.1.3">XMat</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.20.20.20.20.1.m1.1c">\textbf{PSGD}_{{\textsc{XMat}}}</annotation></semantics></math></td>
<td id="A6.T5.21.21.21.21.2" class="ltx_td ltx_align_center ltx_border_bb"><math id="A6.T5.21.21.21.21.2.m1.1" class="ltx_Math" alttext="O(d_{i}d_{o})" display="inline"><semantics id="A6.T5.21.21.21.21.2.m1.1a"><mrow id="A6.T5.21.21.21.21.2.m1.1.1" xref="A6.T5.21.21.21.21.2.m1.1.1.cmml"><mi id="A6.T5.21.21.21.21.2.m1.1.1.3" xref="A6.T5.21.21.21.21.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.21.21.21.21.2.m1.1.1.2" xref="A6.T5.21.21.21.21.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.21.21.21.21.2.m1.1.1.1.1" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.21.21.21.21.2.m1.1.1.1.1.2" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.cmml"><msub id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.cmml"><mi id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.2" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.3" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.1" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.2" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.3" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.21.21.21.21.2.m1.1.1.1.1.3" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.21.21.21.21.2.m1.1b"><apply id="A6.T5.21.21.21.21.2.m1.1.1.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1"><times id="A6.T5.21.21.21.21.2.m1.1.1.2.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.2"></times><ci id="A6.T5.21.21.21.21.2.m1.1.1.3.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.3">𝑂</ci><apply id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1"><times id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.1.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.1"></times><apply id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.1.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2">subscript</csymbol><ci id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.2.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.3.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.21.21.21.21.2.m1.1.1.1.1.1.3.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.21.21.21.21.2.m1.1c">O(d_{i}d_{o})</annotation></semantics></math></td>
<td id="A6.T5.22.22.22.22.5" class="ltx_td ltx_align_center ltx_border_bb">NA</td>
<td id="A6.T5.22.22.22.22.6" class="ltx_td ltx_align_center ltx_border_bb">NA</td>
<td id="A6.T5.22.22.22.22.3" class="ltx_td ltx_align_center ltx_border_bb"><math id="A6.T5.22.22.22.22.3.m1.1" class="ltx_Math" alttext="O(md_{i}d_{o})" display="inline"><semantics id="A6.T5.22.22.22.22.3.m1.1a"><mrow id="A6.T5.22.22.22.22.3.m1.1.1" xref="A6.T5.22.22.22.22.3.m1.1.1.cmml"><mi id="A6.T5.22.22.22.22.3.m1.1.1.3" xref="A6.T5.22.22.22.22.3.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T5.22.22.22.22.3.m1.1.1.2" xref="A6.T5.22.22.22.22.3.m1.1.1.2.cmml">​</mo><mrow id="A6.T5.22.22.22.22.3.m1.1.1.1.1" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T5.22.22.22.22.3.m1.1.1.1.1.2" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.cmml"><mi id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.2" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.2.cmml">m</mi><mo lspace="0em" rspace="0em" id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.1" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.cmml"><mi id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.2" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.3" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.1a" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.cmml"><mi id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.2" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.2.cmml">d</mi><mi id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.3" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T5.22.22.22.22.3.m1.1.1.1.1.3" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.22.22.22.22.3.m1.1b"><apply id="A6.T5.22.22.22.22.3.m1.1.1.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1"><times id="A6.T5.22.22.22.22.3.m1.1.1.2.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.2"></times><ci id="A6.T5.22.22.22.22.3.m1.1.1.3.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.3">𝑂</ci><apply id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1"><times id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.1.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.1"></times><ci id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.2.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.2">𝑚</ci><apply id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.1.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.2.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.3.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.3.3">𝑖</ci></apply><apply id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.1.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4">subscript</csymbol><ci id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.2.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.2">𝑑</ci><ci id="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.3.cmml" xref="A6.T5.22.22.22.22.3.m1.1.1.1.1.1.4.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.22.22.22.22.3.m1.1c">O(md_{i}d_{o})</annotation></semantics></math></td>
</tr>
</tbody>
</table>
</span></div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A6.T5.26.27.3.1" class="ltx_text" style="font-size:90%;">Table 5</span>: </span><span id="A6.T5.26.26.2" class="ltx_text" style="font-size:90%;">
Iteration cost for a non-weight-sharing layer, where <math id="A6.T5.25.25.1.m1.1" class="ltx_Math" alttext="m" display="inline"><semantics id="A6.T5.25.25.1.m1.1b"><mi id="A6.T5.25.25.1.m1.1.1" xref="A6.T5.25.25.1.m1.1.1.cmml">m</mi><annotation-xml encoding="MathML-Content" id="A6.T5.25.25.1.m1.1c"><ci id="A6.T5.25.25.1.m1.1.1.cmml" xref="A6.T5.25.25.1.m1.1.1">𝑚</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.25.25.1.m1.1d">m</annotation></semantics></math> is the size of a mini-batch and <math id="A6.T5.26.26.2.m2.1" class="ltx_Math" alttext="{\bm{\mu}}\in^{d_{i}\times d_{o}}" display="inline"><semantics id="A6.T5.26.26.2.m2.1b"><mrow id="A6.T5.26.26.2.m2.1.1" xref="A6.T5.26.26.2.m2.1.1.cmml"><mi id="A6.T5.26.26.2.m2.1.1.2" xref="A6.T5.26.26.2.m2.1.1.2.cmml">𝝁</mi><msup id="A6.T5.26.26.2.m2.1.1.1" xref="A6.T5.26.26.2.m2.1.1.1.cmml"><mo id="A6.T5.26.26.2.m2.1.1.1.2" xref="A6.T5.26.26.2.m2.1.1.1.2.cmml">∈</mo><mrow id="A6.T5.26.26.2.m2.1.1.1.3" xref="A6.T5.26.26.2.m2.1.1.1.3.cmml"><msub id="A6.T5.26.26.2.m2.1.1.1.3.2" xref="A6.T5.26.26.2.m2.1.1.1.3.2.cmml"><mi id="A6.T5.26.26.2.m2.1.1.1.3.2.2" xref="A6.T5.26.26.2.m2.1.1.1.3.2.2.cmml">d</mi><mi id="A6.T5.26.26.2.m2.1.1.1.3.2.3" xref="A6.T5.26.26.2.m2.1.1.1.3.2.3.cmml">i</mi></msub><mo lspace="0.222em" rspace="0.222em" id="A6.T5.26.26.2.m2.1.1.1.3.1" xref="A6.T5.26.26.2.m2.1.1.1.3.1.cmml">×</mo><msub id="A6.T5.26.26.2.m2.1.1.1.3.3" xref="A6.T5.26.26.2.m2.1.1.1.3.3.cmml"><mi id="A6.T5.26.26.2.m2.1.1.1.3.3.2" xref="A6.T5.26.26.2.m2.1.1.1.3.3.2.cmml">d</mi><mi id="A6.T5.26.26.2.m2.1.1.1.3.3.3" xref="A6.T5.26.26.2.m2.1.1.1.3.3.3.cmml">o</mi></msub></mrow></msup><mi id="A6.T5.26.26.2.m2.1.1.3" xref="A6.T5.26.26.2.m2.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A6.T5.26.26.2.m2.1c"><apply id="A6.T5.26.26.2.m2.1.1.cmml" xref="A6.T5.26.26.2.m2.1.1"><apply id="A6.T5.26.26.2.m2.1.1.1.cmml" xref="A6.T5.26.26.2.m2.1.1.1"><csymbol cd="ambiguous" id="A6.T5.26.26.2.m2.1.1.1.1.cmml" xref="A6.T5.26.26.2.m2.1.1.1">superscript</csymbol><in id="A6.T5.26.26.2.m2.1.1.1.2.cmml" xref="A6.T5.26.26.2.m2.1.1.1.2"></in><apply id="A6.T5.26.26.2.m2.1.1.1.3.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3"><times id="A6.T5.26.26.2.m2.1.1.1.3.1.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.1"></times><apply id="A6.T5.26.26.2.m2.1.1.1.3.2.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.2"><csymbol cd="ambiguous" id="A6.T5.26.26.2.m2.1.1.1.3.2.1.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.2">subscript</csymbol><ci id="A6.T5.26.26.2.m2.1.1.1.3.2.2.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.2.2">𝑑</ci><ci id="A6.T5.26.26.2.m2.1.1.1.3.2.3.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.2.3">𝑖</ci></apply><apply id="A6.T5.26.26.2.m2.1.1.1.3.3.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.3"><csymbol cd="ambiguous" id="A6.T5.26.26.2.m2.1.1.1.3.3.1.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.3">subscript</csymbol><ci id="A6.T5.26.26.2.m2.1.1.1.3.3.2.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.3.2">𝑑</ci><ci id="A6.T5.26.26.2.m2.1.1.1.3.3.3.cmml" xref="A6.T5.26.26.2.m2.1.1.1.3.3.3">𝑜</ci></apply></apply></apply><ci id="A6.T5.26.26.2.m2.1.1.2.cmml" xref="A6.T5.26.26.2.m2.1.1.2">𝝁</ci><csymbol cd="latexml" id="A6.T5.26.26.2.m2.1.1.3.cmml" xref="A6.T5.26.26.2.m2.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T5.26.26.2.m2.1d">{\bm{\mu}}\in^{d_{i}\times d_{o}}</annotation></semantics></math> is a learnable weight matrix.
</span></figcaption>
</figure>
</figure>
<figure id="A6.T6" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A6.T6.17.1.1" class="ltx_text" style="font-size:90%;">Table 6</span>: </span><span id="A6.T6.18.2" class="ltx_text" style="font-size:90%;">Additional Storage</span></figcaption>
<div id="A6.T6.15" class="ltx_inline-block ltx_align_center ltx_transformed_outer" style="width:216.8pt;height:74pt;vertical-align:-0.0pt;"><span class="ltx_transformed_inner" style="transform:translate(-49.9pt,17.0pt) scale(0.684747672406045,0.684747672406045) ;">
<table id="A6.T6.15.15" class="ltx_tabular ltx_align_middle">
<tbody class="ltx_tbody">
<tr id="A6.T6.6.6.6" class="ltx_tr">
<td id="A6.T6.6.6.6.7" class="ltx_td ltx_align_center ltx_border_tt"><span id="A6.T6.6.6.6.7.1" class="ltx_text ltx_font_bold">Memory Usage Method</span></td>
<td id="A6.T6.1.1.1.1" class="ltx_td ltx_align_center ltx_border_tt"><math id="A6.T6.1.1.1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A6.T6.1.1.1.1.m1.1a"><mi id="A6.T6.1.1.1.1.m1.1.1" xref="A6.T6.1.1.1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A6.T6.1.1.1.1.m1.1b"><ci id="A6.T6.1.1.1.1.m1.1.1.cmml" xref="A6.T6.1.1.1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.1.1.1.1.m1.1c">P</annotation></semantics></math></td>
<td id="A6.T6.2.2.2.2" class="ltx_td ltx_align_center ltx_border_tt"><math id="A6.T6.2.2.2.2.m1.1" class="ltx_Math" alttext="\nabla_{\mu}\ell\odot\nabla_{\mu}\ell" display="inline"><semantics id="A6.T6.2.2.2.2.m1.1a"><mrow id="A6.T6.2.2.2.2.m1.1.1" xref="A6.T6.2.2.2.2.m1.1.1.cmml"><mrow id="A6.T6.2.2.2.2.m1.1.1.2" xref="A6.T6.2.2.2.2.m1.1.1.2.cmml"><msub id="A6.T6.2.2.2.2.m1.1.1.2.1" xref="A6.T6.2.2.2.2.m1.1.1.2.1.cmml"><mo id="A6.T6.2.2.2.2.m1.1.1.2.1.2" xref="A6.T6.2.2.2.2.m1.1.1.2.1.2.cmml">∇</mo><mi id="A6.T6.2.2.2.2.m1.1.1.2.1.3" xref="A6.T6.2.2.2.2.m1.1.1.2.1.3.cmml">μ</mi></msub><mi mathvariant="normal" id="A6.T6.2.2.2.2.m1.1.1.2.2" xref="A6.T6.2.2.2.2.m1.1.1.2.2.cmml">ℓ</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A6.T6.2.2.2.2.m1.1.1.1" xref="A6.T6.2.2.2.2.m1.1.1.1.cmml">⊙</mo><mrow id="A6.T6.2.2.2.2.m1.1.1.3" xref="A6.T6.2.2.2.2.m1.1.1.3.cmml"><msub id="A6.T6.2.2.2.2.m1.1.1.3.1" xref="A6.T6.2.2.2.2.m1.1.1.3.1.cmml"><mo rspace="0.167em" id="A6.T6.2.2.2.2.m1.1.1.3.1.2" xref="A6.T6.2.2.2.2.m1.1.1.3.1.2.cmml">∇</mo><mi id="A6.T6.2.2.2.2.m1.1.1.3.1.3" xref="A6.T6.2.2.2.2.m1.1.1.3.1.3.cmml">μ</mi></msub><mi mathvariant="normal" id="A6.T6.2.2.2.2.m1.1.1.3.2" xref="A6.T6.2.2.2.2.m1.1.1.3.2.cmml">ℓ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.2.2.2.2.m1.1b"><apply id="A6.T6.2.2.2.2.m1.1.1.cmml" xref="A6.T6.2.2.2.2.m1.1.1"><csymbol cd="latexml" id="A6.T6.2.2.2.2.m1.1.1.1.cmml" xref="A6.T6.2.2.2.2.m1.1.1.1">direct-product</csymbol><apply id="A6.T6.2.2.2.2.m1.1.1.2.cmml" xref="A6.T6.2.2.2.2.m1.1.1.2"><apply id="A6.T6.2.2.2.2.m1.1.1.2.1.cmml" xref="A6.T6.2.2.2.2.m1.1.1.2.1"><csymbol cd="ambiguous" id="A6.T6.2.2.2.2.m1.1.1.2.1.1.cmml" xref="A6.T6.2.2.2.2.m1.1.1.2.1">subscript</csymbol><ci id="A6.T6.2.2.2.2.m1.1.1.2.1.2.cmml" xref="A6.T6.2.2.2.2.m1.1.1.2.1.2">∇</ci><ci id="A6.T6.2.2.2.2.m1.1.1.2.1.3.cmml" xref="A6.T6.2.2.2.2.m1.1.1.2.1.3">𝜇</ci></apply><ci id="A6.T6.2.2.2.2.m1.1.1.2.2.cmml" xref="A6.T6.2.2.2.2.m1.1.1.2.2">ℓ</ci></apply><apply id="A6.T6.2.2.2.2.m1.1.1.3.cmml" xref="A6.T6.2.2.2.2.m1.1.1.3"><apply id="A6.T6.2.2.2.2.m1.1.1.3.1.cmml" xref="A6.T6.2.2.2.2.m1.1.1.3.1"><csymbol cd="ambiguous" id="A6.T6.2.2.2.2.m1.1.1.3.1.1.cmml" xref="A6.T6.2.2.2.2.m1.1.1.3.1">subscript</csymbol><ci id="A6.T6.2.2.2.2.m1.1.1.3.1.2.cmml" xref="A6.T6.2.2.2.2.m1.1.1.3.1.2">∇</ci><ci id="A6.T6.2.2.2.2.m1.1.1.3.1.3.cmml" xref="A6.T6.2.2.2.2.m1.1.1.3.1.3">𝜇</ci></apply><ci id="A6.T6.2.2.2.2.m1.1.1.3.2.cmml" xref="A6.T6.2.2.2.2.m1.1.1.3.2">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.2.2.2.2.m1.1c">\nabla_{\mu}\ell\odot\nabla_{\mu}\ell</annotation></semantics></math></td>
<td id="A6.T6.4.4.4.4" class="ltx_td ltx_align_center ltx_border_tt">
<math id="A6.T6.3.3.3.3.m1.1" class="ltx_Math" alttext="S_{K}" display="inline"><semantics id="A6.T6.3.3.3.3.m1.1a"><msub id="A6.T6.3.3.3.3.m1.1.1" xref="A6.T6.3.3.3.3.m1.1.1.cmml"><mi id="A6.T6.3.3.3.3.m1.1.1.2" xref="A6.T6.3.3.3.3.m1.1.1.2.cmml">S</mi><mi id="A6.T6.3.3.3.3.m1.1.1.3" xref="A6.T6.3.3.3.3.m1.1.1.3.cmml">K</mi></msub><annotation-xml encoding="MathML-Content" id="A6.T6.3.3.3.3.m1.1b"><apply id="A6.T6.3.3.3.3.m1.1.1.cmml" xref="A6.T6.3.3.3.3.m1.1.1"><csymbol cd="ambiguous" id="A6.T6.3.3.3.3.m1.1.1.1.cmml" xref="A6.T6.3.3.3.3.m1.1.1">subscript</csymbol><ci id="A6.T6.3.3.3.3.m1.1.1.2.cmml" xref="A6.T6.3.3.3.3.m1.1.1.2">𝑆</ci><ci id="A6.T6.3.3.3.3.m1.1.1.3.cmml" xref="A6.T6.3.3.3.3.m1.1.1.3">𝐾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.3.3.3.3.m1.1c">S_{K}</annotation></semantics></math> or <math id="A6.T6.4.4.4.4.m2.1" class="ltx_Math" alttext="K" display="inline"><semantics id="A6.T6.4.4.4.4.m2.1a"><mi id="A6.T6.4.4.4.4.m2.1.1" xref="A6.T6.4.4.4.4.m2.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="A6.T6.4.4.4.4.m2.1b"><ci id="A6.T6.4.4.4.4.m2.1.1.cmml" xref="A6.T6.4.4.4.4.m2.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.4.4.4.4.m2.1c">K</annotation></semantics></math>
</td>
<td id="A6.T6.6.6.6.6" class="ltx_td ltx_align_center ltx_border_tt">
<math id="A6.T6.5.5.5.5.m1.1" class="ltx_Math" alttext="S_{C}" display="inline"><semantics id="A6.T6.5.5.5.5.m1.1a"><msub id="A6.T6.5.5.5.5.m1.1.1" xref="A6.T6.5.5.5.5.m1.1.1.cmml"><mi id="A6.T6.5.5.5.5.m1.1.1.2" xref="A6.T6.5.5.5.5.m1.1.1.2.cmml">S</mi><mi id="A6.T6.5.5.5.5.m1.1.1.3" xref="A6.T6.5.5.5.5.m1.1.1.3.cmml">C</mi></msub><annotation-xml encoding="MathML-Content" id="A6.T6.5.5.5.5.m1.1b"><apply id="A6.T6.5.5.5.5.m1.1.1.cmml" xref="A6.T6.5.5.5.5.m1.1.1"><csymbol cd="ambiguous" id="A6.T6.5.5.5.5.m1.1.1.1.cmml" xref="A6.T6.5.5.5.5.m1.1.1">subscript</csymbol><ci id="A6.T6.5.5.5.5.m1.1.1.2.cmml" xref="A6.T6.5.5.5.5.m1.1.1.2">𝑆</ci><ci id="A6.T6.5.5.5.5.m1.1.1.3.cmml" xref="A6.T6.5.5.5.5.m1.1.1.3">𝐶</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.5.5.5.5.m1.1c">S_{C}</annotation></semantics></math> or <math id="A6.T6.6.6.6.6.m2.1" class="ltx_Math" alttext="C" display="inline"><semantics id="A6.T6.6.6.6.6.m2.1a"><mi id="A6.T6.6.6.6.6.m2.1.1" xref="A6.T6.6.6.6.6.m2.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="A6.T6.6.6.6.6.m2.1b"><ci id="A6.T6.6.6.6.6.m2.1.1.cmml" xref="A6.T6.6.6.6.6.m2.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.6.6.6.6.m2.1c">C</annotation></semantics></math>
</td>
</tr>
<tr id="A6.T6.8.8.8" class="ltx_tr">
<td id="A6.T6.8.8.8.3" class="ltx_td ltx_align_center ltx_border_t">KFAC</td>
<td id="A6.T6.8.8.8.4" class="ltx_td ltx_align_center ltx_border_t">NA</td>
<td id="A6.T6.8.8.8.5" class="ltx_td ltx_align_center ltx_border_t">NA</td>
<td id="A6.T6.7.7.7.1" class="ltx_td ltx_align_center ltx_border_t"><math id="A6.T6.7.7.7.1.m1.1" class="ltx_Math" alttext="O(d_{i}^{2})" display="inline"><semantics id="A6.T6.7.7.7.1.m1.1a"><mrow id="A6.T6.7.7.7.1.m1.1.1" xref="A6.T6.7.7.7.1.m1.1.1.cmml"><mi id="A6.T6.7.7.7.1.m1.1.1.3" xref="A6.T6.7.7.7.1.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T6.7.7.7.1.m1.1.1.2" xref="A6.T6.7.7.7.1.m1.1.1.2.cmml">​</mo><mrow id="A6.T6.7.7.7.1.m1.1.1.1.1" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T6.7.7.7.1.m1.1.1.1.1.2" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.cmml">(</mo><msubsup id="A6.T6.7.7.7.1.m1.1.1.1.1.1" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.cmml"><mi id="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.2" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.3" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.3.cmml">i</mi><mn id="A6.T6.7.7.7.1.m1.1.1.1.1.1.3" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.3.cmml">2</mn></msubsup><mo stretchy="false" id="A6.T6.7.7.7.1.m1.1.1.1.1.3" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.7.7.7.1.m1.1b"><apply id="A6.T6.7.7.7.1.m1.1.1.cmml" xref="A6.T6.7.7.7.1.m1.1.1"><times id="A6.T6.7.7.7.1.m1.1.1.2.cmml" xref="A6.T6.7.7.7.1.m1.1.1.2"></times><ci id="A6.T6.7.7.7.1.m1.1.1.3.cmml" xref="A6.T6.7.7.7.1.m1.1.1.3">𝑂</ci><apply id="A6.T6.7.7.7.1.m1.1.1.1.1.1.cmml" xref="A6.T6.7.7.7.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.7.7.7.1.m1.1.1.1.1.1.1.cmml" xref="A6.T6.7.7.7.1.m1.1.1.1.1">superscript</csymbol><apply id="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.cmml" xref="A6.T6.7.7.7.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.1.cmml" xref="A6.T6.7.7.7.1.m1.1.1.1.1">subscript</csymbol><ci id="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.2.cmml" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.3.cmml" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.2.3">𝑖</ci></apply><cn type="integer" id="A6.T6.7.7.7.1.m1.1.1.1.1.1.3.cmml" xref="A6.T6.7.7.7.1.m1.1.1.1.1.1.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.7.7.7.1.m1.1c">O(d_{i}^{2})</annotation></semantics></math></td>
<td id="A6.T6.8.8.8.2" class="ltx_td ltx_align_center ltx_border_t"><math id="A6.T6.8.8.8.2.m1.1" class="ltx_Math" alttext="O(d_{o}^{2})" display="inline"><semantics id="A6.T6.8.8.8.2.m1.1a"><mrow id="A6.T6.8.8.8.2.m1.1.1" xref="A6.T6.8.8.8.2.m1.1.1.cmml"><mi id="A6.T6.8.8.8.2.m1.1.1.3" xref="A6.T6.8.8.8.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T6.8.8.8.2.m1.1.1.2" xref="A6.T6.8.8.8.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T6.8.8.8.2.m1.1.1.1.1" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T6.8.8.8.2.m1.1.1.1.1.2" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.cmml">(</mo><msubsup id="A6.T6.8.8.8.2.m1.1.1.1.1.1" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.cmml"><mi id="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.2" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.3" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.3.cmml">o</mi><mn id="A6.T6.8.8.8.2.m1.1.1.1.1.1.3" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.3.cmml">2</mn></msubsup><mo stretchy="false" id="A6.T6.8.8.8.2.m1.1.1.1.1.3" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.8.8.8.2.m1.1b"><apply id="A6.T6.8.8.8.2.m1.1.1.cmml" xref="A6.T6.8.8.8.2.m1.1.1"><times id="A6.T6.8.8.8.2.m1.1.1.2.cmml" xref="A6.T6.8.8.8.2.m1.1.1.2"></times><ci id="A6.T6.8.8.8.2.m1.1.1.3.cmml" xref="A6.T6.8.8.8.2.m1.1.1.3">𝑂</ci><apply id="A6.T6.8.8.8.2.m1.1.1.1.1.1.cmml" xref="A6.T6.8.8.8.2.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.8.8.8.2.m1.1.1.1.1.1.1.cmml" xref="A6.T6.8.8.8.2.m1.1.1.1.1">superscript</csymbol><apply id="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.cmml" xref="A6.T6.8.8.8.2.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.1.cmml" xref="A6.T6.8.8.8.2.m1.1.1.1.1">subscript</csymbol><ci id="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.2.cmml" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.3.cmml" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.2.3">𝑜</ci></apply><cn type="integer" id="A6.T6.8.8.8.2.m1.1.1.1.1.1.3.cmml" xref="A6.T6.8.8.8.2.m1.1.1.1.1.1.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.8.8.8.2.m1.1c">O(d_{o}^{2})</annotation></semantics></math></td>
</tr>
<tr id="A6.T6.10.10.10" class="ltx_tr">
<td id="A6.T6.10.10.10.3" class="ltx_td ltx_align_center">Shampoo</td>
<td id="A6.T6.10.10.10.4" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T6.10.10.10.5" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T6.9.9.9.1" class="ltx_td ltx_align_center"><math id="A6.T6.9.9.9.1.m1.1" class="ltx_Math" alttext="O(d_{i}^{2})" display="inline"><semantics id="A6.T6.9.9.9.1.m1.1a"><mrow id="A6.T6.9.9.9.1.m1.1.1" xref="A6.T6.9.9.9.1.m1.1.1.cmml"><mi id="A6.T6.9.9.9.1.m1.1.1.3" xref="A6.T6.9.9.9.1.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T6.9.9.9.1.m1.1.1.2" xref="A6.T6.9.9.9.1.m1.1.1.2.cmml">​</mo><mrow id="A6.T6.9.9.9.1.m1.1.1.1.1" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T6.9.9.9.1.m1.1.1.1.1.2" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.cmml">(</mo><msubsup id="A6.T6.9.9.9.1.m1.1.1.1.1.1" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.cmml"><mi id="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.2" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.3" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.3.cmml">i</mi><mn id="A6.T6.9.9.9.1.m1.1.1.1.1.1.3" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.3.cmml">2</mn></msubsup><mo stretchy="false" id="A6.T6.9.9.9.1.m1.1.1.1.1.3" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.9.9.9.1.m1.1b"><apply id="A6.T6.9.9.9.1.m1.1.1.cmml" xref="A6.T6.9.9.9.1.m1.1.1"><times id="A6.T6.9.9.9.1.m1.1.1.2.cmml" xref="A6.T6.9.9.9.1.m1.1.1.2"></times><ci id="A6.T6.9.9.9.1.m1.1.1.3.cmml" xref="A6.T6.9.9.9.1.m1.1.1.3">𝑂</ci><apply id="A6.T6.9.9.9.1.m1.1.1.1.1.1.cmml" xref="A6.T6.9.9.9.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.9.9.9.1.m1.1.1.1.1.1.1.cmml" xref="A6.T6.9.9.9.1.m1.1.1.1.1">superscript</csymbol><apply id="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.cmml" xref="A6.T6.9.9.9.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.1.cmml" xref="A6.T6.9.9.9.1.m1.1.1.1.1">subscript</csymbol><ci id="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.2.cmml" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.3.cmml" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.2.3">𝑖</ci></apply><cn type="integer" id="A6.T6.9.9.9.1.m1.1.1.1.1.1.3.cmml" xref="A6.T6.9.9.9.1.m1.1.1.1.1.1.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.9.9.9.1.m1.1c">O(d_{i}^{2})</annotation></semantics></math></td>
<td id="A6.T6.10.10.10.2" class="ltx_td ltx_align_center"><math id="A6.T6.10.10.10.2.m1.1" class="ltx_Math" alttext="O(d_{o}^{2})" display="inline"><semantics id="A6.T6.10.10.10.2.m1.1a"><mrow id="A6.T6.10.10.10.2.m1.1.1" xref="A6.T6.10.10.10.2.m1.1.1.cmml"><mi id="A6.T6.10.10.10.2.m1.1.1.3" xref="A6.T6.10.10.10.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T6.10.10.10.2.m1.1.1.2" xref="A6.T6.10.10.10.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T6.10.10.10.2.m1.1.1.1.1" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T6.10.10.10.2.m1.1.1.1.1.2" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.cmml">(</mo><msubsup id="A6.T6.10.10.10.2.m1.1.1.1.1.1" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.cmml"><mi id="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.2" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.3" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.3.cmml">o</mi><mn id="A6.T6.10.10.10.2.m1.1.1.1.1.1.3" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.3.cmml">2</mn></msubsup><mo stretchy="false" id="A6.T6.10.10.10.2.m1.1.1.1.1.3" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.10.10.10.2.m1.1b"><apply id="A6.T6.10.10.10.2.m1.1.1.cmml" xref="A6.T6.10.10.10.2.m1.1.1"><times id="A6.T6.10.10.10.2.m1.1.1.2.cmml" xref="A6.T6.10.10.10.2.m1.1.1.2"></times><ci id="A6.T6.10.10.10.2.m1.1.1.3.cmml" xref="A6.T6.10.10.10.2.m1.1.1.3">𝑂</ci><apply id="A6.T6.10.10.10.2.m1.1.1.1.1.1.cmml" xref="A6.T6.10.10.10.2.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.10.10.10.2.m1.1.1.1.1.1.1.cmml" xref="A6.T6.10.10.10.2.m1.1.1.1.1">superscript</csymbol><apply id="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.cmml" xref="A6.T6.10.10.10.2.m1.1.1.1.1"><csymbol cd="ambiguous" id="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.1.cmml" xref="A6.T6.10.10.10.2.m1.1.1.1.1">subscript</csymbol><ci id="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.2.cmml" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.3.cmml" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.2.3">𝑜</ci></apply><cn type="integer" id="A6.T6.10.10.10.2.m1.1.1.1.1.1.3.cmml" xref="A6.T6.10.10.10.2.m1.1.1.1.1.1.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.10.10.10.2.m1.1c">O(d_{o}^{2})</annotation></semantics></math></td>
</tr>
<tr id="A6.T6.11.11.11" class="ltx_tr">
<td id="A6.T6.11.11.11.2" class="ltx_td ltx_align_center">AdamW</td>
<td id="A6.T6.11.11.11.3" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T6.11.11.11.1" class="ltx_td ltx_align_center"><math id="A6.T6.11.11.11.1.m1.1" class="ltx_Math" alttext="O(d_{i}d_{o})" display="inline"><semantics id="A6.T6.11.11.11.1.m1.1a"><mrow id="A6.T6.11.11.11.1.m1.1.1" xref="A6.T6.11.11.11.1.m1.1.1.cmml"><mi id="A6.T6.11.11.11.1.m1.1.1.3" xref="A6.T6.11.11.11.1.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T6.11.11.11.1.m1.1.1.2" xref="A6.T6.11.11.11.1.m1.1.1.2.cmml">​</mo><mrow id="A6.T6.11.11.11.1.m1.1.1.1.1" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T6.11.11.11.1.m1.1.1.1.1.2" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T6.11.11.11.1.m1.1.1.1.1.1" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.cmml"><msub id="A6.T6.11.11.11.1.m1.1.1.1.1.1.2" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.cmml"><mi id="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.2" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.3" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T6.11.11.11.1.m1.1.1.1.1.1.1" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T6.11.11.11.1.m1.1.1.1.1.1.3" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.cmml"><mi id="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.2" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.3" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T6.11.11.11.1.m1.1.1.1.1.3" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.11.11.11.1.m1.1b"><apply id="A6.T6.11.11.11.1.m1.1.1.cmml" xref="A6.T6.11.11.11.1.m1.1.1"><times id="A6.T6.11.11.11.1.m1.1.1.2.cmml" xref="A6.T6.11.11.11.1.m1.1.1.2"></times><ci id="A6.T6.11.11.11.1.m1.1.1.3.cmml" xref="A6.T6.11.11.11.1.m1.1.1.3">𝑂</ci><apply id="A6.T6.11.11.11.1.m1.1.1.1.1.1.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1"><times id="A6.T6.11.11.11.1.m1.1.1.1.1.1.1.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.1"></times><apply id="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.1.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.2">subscript</csymbol><ci id="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.2.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.3.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.1.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.2.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.3.cmml" xref="A6.T6.11.11.11.1.m1.1.1.1.1.1.3.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.11.11.11.1.m1.1c">O(d_{i}d_{o})</annotation></semantics></math></td>
<td id="A6.T6.11.11.11.4" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T6.11.11.11.5" class="ltx_td ltx_align_center">NA</td>
</tr>
<tr id="A6.T6.13.13.13" class="ltx_tr">
<td id="A6.T6.12.12.12.1" class="ltx_td ltx_align_center"><math id="A6.T6.12.12.12.1.m1.1" class="ltx_Math" alttext="\textbf{PSGD}_{LRA}" display="inline"><semantics id="A6.T6.12.12.12.1.m1.1a"><msub id="A6.T6.12.12.12.1.m1.1.1" xref="A6.T6.12.12.12.1.m1.1.1.cmml"><mtext class="ltx_mathvariant_bold" id="A6.T6.12.12.12.1.m1.1.1.2" xref="A6.T6.12.12.12.1.m1.1.1.2a.cmml">PSGD</mtext><mrow id="A6.T6.12.12.12.1.m1.1.1.3" xref="A6.T6.12.12.12.1.m1.1.1.3.cmml"><mi id="A6.T6.12.12.12.1.m1.1.1.3.2" xref="A6.T6.12.12.12.1.m1.1.1.3.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="A6.T6.12.12.12.1.m1.1.1.3.1" xref="A6.T6.12.12.12.1.m1.1.1.3.1.cmml">​</mo><mi id="A6.T6.12.12.12.1.m1.1.1.3.3" xref="A6.T6.12.12.12.1.m1.1.1.3.3.cmml">R</mi><mo lspace="0em" rspace="0em" id="A6.T6.12.12.12.1.m1.1.1.3.1a" xref="A6.T6.12.12.12.1.m1.1.1.3.1.cmml">​</mo><mi id="A6.T6.12.12.12.1.m1.1.1.3.4" xref="A6.T6.12.12.12.1.m1.1.1.3.4.cmml">A</mi></mrow></msub><annotation-xml encoding="MathML-Content" id="A6.T6.12.12.12.1.m1.1b"><apply id="A6.T6.12.12.12.1.m1.1.1.cmml" xref="A6.T6.12.12.12.1.m1.1.1"><csymbol cd="ambiguous" id="A6.T6.12.12.12.1.m1.1.1.1.cmml" xref="A6.T6.12.12.12.1.m1.1.1">subscript</csymbol><ci id="A6.T6.12.12.12.1.m1.1.1.2a.cmml" xref="A6.T6.12.12.12.1.m1.1.1.2"><mtext class="ltx_mathvariant_bold" id="A6.T6.12.12.12.1.m1.1.1.2.cmml" xref="A6.T6.12.12.12.1.m1.1.1.2">PSGD</mtext></ci><apply id="A6.T6.12.12.12.1.m1.1.1.3.cmml" xref="A6.T6.12.12.12.1.m1.1.1.3"><times id="A6.T6.12.12.12.1.m1.1.1.3.1.cmml" xref="A6.T6.12.12.12.1.m1.1.1.3.1"></times><ci id="A6.T6.12.12.12.1.m1.1.1.3.2.cmml" xref="A6.T6.12.12.12.1.m1.1.1.3.2">𝐿</ci><ci id="A6.T6.12.12.12.1.m1.1.1.3.3.cmml" xref="A6.T6.12.12.12.1.m1.1.1.3.3">𝑅</ci><ci id="A6.T6.12.12.12.1.m1.1.1.3.4.cmml" xref="A6.T6.12.12.12.1.m1.1.1.3.4">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.12.12.12.1.m1.1c">\textbf{PSGD}_{LRA}</annotation></semantics></math></td>
<td id="A6.T6.13.13.13.2" class="ltx_td ltx_align_center"><math id="A6.T6.13.13.13.2.m1.1" class="ltx_Math" alttext="O(rd_{i}d_{o})" display="inline"><semantics id="A6.T6.13.13.13.2.m1.1a"><mrow id="A6.T6.13.13.13.2.m1.1.1" xref="A6.T6.13.13.13.2.m1.1.1.cmml"><mi id="A6.T6.13.13.13.2.m1.1.1.3" xref="A6.T6.13.13.13.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T6.13.13.13.2.m1.1.1.2" xref="A6.T6.13.13.13.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T6.13.13.13.2.m1.1.1.1.1" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T6.13.13.13.2.m1.1.1.1.1.2" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T6.13.13.13.2.m1.1.1.1.1.1" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.cmml"><mi id="A6.T6.13.13.13.2.m1.1.1.1.1.1.2" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.2.cmml">r</mi><mo lspace="0em" rspace="0em" id="A6.T6.13.13.13.2.m1.1.1.1.1.1.1" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T6.13.13.13.2.m1.1.1.1.1.1.3" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.cmml"><mi id="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.2" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.3" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T6.13.13.13.2.m1.1.1.1.1.1.1a" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T6.13.13.13.2.m1.1.1.1.1.1.4" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.cmml"><mi id="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.2" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.2.cmml">d</mi><mi id="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.3" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T6.13.13.13.2.m1.1.1.1.1.3" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.13.13.13.2.m1.1b"><apply id="A6.T6.13.13.13.2.m1.1.1.cmml" xref="A6.T6.13.13.13.2.m1.1.1"><times id="A6.T6.13.13.13.2.m1.1.1.2.cmml" xref="A6.T6.13.13.13.2.m1.1.1.2"></times><ci id="A6.T6.13.13.13.2.m1.1.1.3.cmml" xref="A6.T6.13.13.13.2.m1.1.1.3">𝑂</ci><apply id="A6.T6.13.13.13.2.m1.1.1.1.1.1.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1"><times id="A6.T6.13.13.13.2.m1.1.1.1.1.1.1.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.1"></times><ci id="A6.T6.13.13.13.2.m1.1.1.1.1.1.2.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.2">𝑟</ci><apply id="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.1.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.2.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.3.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.3.3">𝑖</ci></apply><apply id="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.1.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.4">subscript</csymbol><ci id="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.2.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.2">𝑑</ci><ci id="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.3.cmml" xref="A6.T6.13.13.13.2.m1.1.1.1.1.1.4.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.13.13.13.2.m1.1c">O(rd_{i}d_{o})</annotation></semantics></math></td>
<td id="A6.T6.13.13.13.3" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T6.13.13.13.4" class="ltx_td ltx_align_center">NA</td>
<td id="A6.T6.13.13.13.5" class="ltx_td ltx_align_center">NA</td>
</tr>
<tr id="A6.T6.15.15.15" class="ltx_tr">
<td id="A6.T6.14.14.14.1" class="ltx_td ltx_align_center ltx_border_bb"><math id="A6.T6.14.14.14.1.m1.1" class="ltx_Math" alttext="\textbf{PSGD}_{{\textsc{XMat}}}" display="inline"><semantics id="A6.T6.14.14.14.1.m1.1a"><msub id="A6.T6.14.14.14.1.m1.1.1" xref="A6.T6.14.14.14.1.m1.1.1.cmml"><mtext class="ltx_mathvariant_bold" id="A6.T6.14.14.14.1.m1.1.1.2" xref="A6.T6.14.14.14.1.m1.1.1.2a.cmml">PSGD</mtext><mtext class="ltx_font_smallcaps" id="A6.T6.14.14.14.1.m1.1.1.3" xref="A6.T6.14.14.14.1.m1.1.1.3a.cmml">XMat</mtext></msub><annotation-xml encoding="MathML-Content" id="A6.T6.14.14.14.1.m1.1b"><apply id="A6.T6.14.14.14.1.m1.1.1.cmml" xref="A6.T6.14.14.14.1.m1.1.1"><csymbol cd="ambiguous" id="A6.T6.14.14.14.1.m1.1.1.1.cmml" xref="A6.T6.14.14.14.1.m1.1.1">subscript</csymbol><ci id="A6.T6.14.14.14.1.m1.1.1.2a.cmml" xref="A6.T6.14.14.14.1.m1.1.1.2"><mtext class="ltx_mathvariant_bold" id="A6.T6.14.14.14.1.m1.1.1.2.cmml" xref="A6.T6.14.14.14.1.m1.1.1.2">PSGD</mtext></ci><ci id="A6.T6.14.14.14.1.m1.1.1.3a.cmml" xref="A6.T6.14.14.14.1.m1.1.1.3"><mtext class="ltx_font_smallcaps" mathsize="70%" id="A6.T6.14.14.14.1.m1.1.1.3.cmml" xref="A6.T6.14.14.14.1.m1.1.1.3">XMat</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.14.14.14.1.m1.1c">\textbf{PSGD}_{{\textsc{XMat}}}</annotation></semantics></math></td>
<td id="A6.T6.15.15.15.2" class="ltx_td ltx_align_center ltx_border_bb"><math id="A6.T6.15.15.15.2.m1.1" class="ltx_Math" alttext="O(d_{i}d_{o})" display="inline"><semantics id="A6.T6.15.15.15.2.m1.1a"><mrow id="A6.T6.15.15.15.2.m1.1.1" xref="A6.T6.15.15.15.2.m1.1.1.cmml"><mi id="A6.T6.15.15.15.2.m1.1.1.3" xref="A6.T6.15.15.15.2.m1.1.1.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="A6.T6.15.15.15.2.m1.1.1.2" xref="A6.T6.15.15.15.2.m1.1.1.2.cmml">​</mo><mrow id="A6.T6.15.15.15.2.m1.1.1.1.1" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="A6.T6.15.15.15.2.m1.1.1.1.1.2" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.cmml">(</mo><mrow id="A6.T6.15.15.15.2.m1.1.1.1.1.1" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.cmml"><msub id="A6.T6.15.15.15.2.m1.1.1.1.1.1.2" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.cmml"><mi id="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.2" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.2.cmml">d</mi><mi id="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.3" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A6.T6.15.15.15.2.m1.1.1.1.1.1.1" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.1.cmml">​</mo><msub id="A6.T6.15.15.15.2.m1.1.1.1.1.1.3" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.cmml"><mi id="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.2" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.2.cmml">d</mi><mi id="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.3" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.3.cmml">o</mi></msub></mrow><mo stretchy="false" id="A6.T6.15.15.15.2.m1.1.1.1.1.3" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A6.T6.15.15.15.2.m1.1b"><apply id="A6.T6.15.15.15.2.m1.1.1.cmml" xref="A6.T6.15.15.15.2.m1.1.1"><times id="A6.T6.15.15.15.2.m1.1.1.2.cmml" xref="A6.T6.15.15.15.2.m1.1.1.2"></times><ci id="A6.T6.15.15.15.2.m1.1.1.3.cmml" xref="A6.T6.15.15.15.2.m1.1.1.3">𝑂</ci><apply id="A6.T6.15.15.15.2.m1.1.1.1.1.1.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1"><times id="A6.T6.15.15.15.2.m1.1.1.1.1.1.1.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.1"></times><apply id="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.1.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.2">subscript</csymbol><ci id="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.2.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.2">𝑑</ci><ci id="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.3.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.2.3">𝑖</ci></apply><apply id="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.1.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.3">subscript</csymbol><ci id="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.2.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.2">𝑑</ci><ci id="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.3.cmml" xref="A6.T6.15.15.15.2.m1.1.1.1.1.1.3.3">𝑜</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A6.T6.15.15.15.2.m1.1c">O(d_{i}d_{o})</annotation></semantics></math></td>
<td id="A6.T6.15.15.15.3" class="ltx_td ltx_align_center ltx_border_bb">NA</td>
<td id="A6.T6.15.15.15.4" class="ltx_td ltx_align_center ltx_border_bb">NA</td>
<td id="A6.T6.15.15.15.5" class="ltx_td ltx_align_center ltx_border_bb">NA</td>
</tr>
</tbody>
</table>
</span></div>
</figure>
</section>
<section id="A7" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix G </span>More on: Lie Groups, Preconditioners and Practical Considerations</h2>

<div id="A7.p1" class="ltx_para">
<p id="A7.p1.1" class="ltx_p">As Lie Groups are not a ubiquitous framework for optimization and even less for machine learning, we provide an overview of why we need a general-purpose preconditioner, and practical considerations/timings under different frameworks. Furthermore, we consider different Hessian structures not included in the main paper. We consider fine and coarse grids for future ways to update preconditioners, theoretical connections to PCA, FFT, and DCT preconditioners, and more.</p>
</div>
<div id="A7.p2" class="ltx_para">
<p id="A7.p2.1" class="ltx_p">Note we have fundamentals on Lie Groups for low-rank approximations and XMat preconditioners in Appx <a href="#A2" title="Appendix B Construction of matrix-free preconditioner ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">B</span></a> &amp; <a href="#A4" title="Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">D</span></a></p>
</div>
<section id="A7.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">G.1 </span>The Need for a General Purpose Preconditioner</h3>

<div id="A7.SS1.p1" class="ltx_para">
<p id="A7.SS1.p1.1" class="ltx_p">Among the Lie groups listed in Table <a href="#A7.T7" title="Table 7 ‣ G.1 The Need for a General Purpose Preconditioner ‣ Appendix G More on: Lie Groups, Preconditioners and Practical Considerations ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">7</span></a>, the Kronecker-product one has been proven successful for many tasks <cite class="ltx_cite ltx_citemacro_citep">[Martens and Grosse, <a href="#bib.bib29" title="" class="ltx_ref">2015</a>, Li, <a href="#bib.bib25" title="" class="ltx_ref">2019</a>, Goldfarb et al., <a href="#bib.bib12" title="" class="ltx_ref">2020</a>]</cite>.
However, it is inconvenient to use as we need to sort out the parameters to be optimized as a list of tensors in a certain way such that those preconditioners are doing meaningful operations.
Here, we are looking for some general-purpose black box preconditioners to avoid the need to rearrange the tensors to be optimized in certain specific ways.</p>
</div>
<figure id="A7.T7" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A7.T7.34.1.1" class="ltx_text" style="font-size:90%;">Table 7</span>: </span><span id="A7.T7.35.2" class="ltx_text" style="font-size:90%;">Useful Lie groups (one form may have several disconnected groups)</span></figcaption>
<div id="A7.T7.32.32" class="ltx_inline-block ltx_align_center ltx_transformed_outer" style="width:459.9pt;height:256.7pt;vertical-align:-0.8pt;"><span class="ltx_transformed_inner" style="transform:translate(-76.6pt,42.6pt) scale(0.75,0.75) ;">
<table id="A7.T7.32.32.32" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A7.T7.32.32.32.33.1" class="ltx_tr">
<th id="A7.T7.32.32.32.33.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_th_row ltx_border_r"><span id="A7.T7.32.32.32.33.1.1.1" class="ltx_text ltx_font_bold">example forms</span></th>
<th id="A7.T7.32.32.32.33.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_r"><span id="A7.T7.32.32.32.33.1.2.1" class="ltx_text ltx_font_bold">parameters</span></th>
<th id="A7.T7.32.32.32.33.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_column"><span id="A7.T7.32.32.32.33.1.3.1" class="ltx_text ltx_font_bold">notes</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A7.T7.1.1.1.1" class="ltx_tr">
<th id="A7.T7.1.1.1.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r ltx_border_t"><math id="A7.T7.1.1.1.1.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}\cdot&amp;&amp;\\
&amp;\cdot&amp;\\
&amp;&amp;\cdot\end{matrix}\right]" display="inline"><semantics id="A7.T7.1.1.1.1.1.m1.1a"><mrow id="A7.T7.1.1.1.1.1.m1.1.2.2" xref="A7.T7.1.1.1.1.1.m1.1.2.1.cmml"><mo id="A7.T7.1.1.1.1.1.m1.1.2.2.1" xref="A7.T7.1.1.1.1.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.1.1.1.1.1.m1.1.1.1.1" xref="A7.T7.1.1.1.1.1.m1.1.1.2.cmml"><mtr id="A7.T7.1.1.1.1.1.m1.1.1.1.1a" xref="A7.T7.1.1.1.1.1.m1.1.1.2.cmml"><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1b" xref="A7.T7.1.1.1.1.1.m1.1.1.2.cmml"><mo id="A7.T7.1.1.1.1.1.m1.1.1.1.1.1.1.1" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1c" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1d" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A7.T7.1.1.1.1.1.m1.1.1.1.1e" xref="A7.T7.1.1.1.1.1.m1.1.1.2.cmml"><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1f" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1g" xref="A7.T7.1.1.1.1.1.m1.1.1.2.cmml"><mo id="A7.T7.1.1.1.1.1.m1.1.1.1.1.2.2.1" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1h" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A7.T7.1.1.1.1.1.m1.1.1.1.1i" xref="A7.T7.1.1.1.1.1.m1.1.1.2.cmml"><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1j" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1k" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.1.1.1.1.1.m1.1.1.1.1l" xref="A7.T7.1.1.1.1.1.m1.1.1.2.cmml"><mo id="A7.T7.1.1.1.1.1.m1.1.1.1.1.3.3.1" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A7.T7.1.1.1.1.1.m1.1.2.2.2" xref="A7.T7.1.1.1.1.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.1.1.1.1.1.m1.1b"><apply id="A7.T7.1.1.1.1.1.m1.1.2.1.cmml" xref="A7.T7.1.1.1.1.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.1.1.1.1.1.m1.1.2.1.1.cmml" xref="A7.T7.1.1.1.1.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.1.1.1.1.1.m1.1.1.2.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.1.1.1.1.1.m1.1.1.2.1.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.1.1.1.1.1.m1.1.1.1.1.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><matrixrow id="A7.T7.1.1.1.1.1.m1.1.1.1.1a.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><ci id="A7.T7.1.1.1.1.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1.1.1.1">⋅</ci><cerror id="A7.T7.1.1.1.1.1.m1.1.1.1.1b.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.1.1.1.1.1.m1.1.1.1.1c.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.1.1.1.1.1.m1.1.1.1.1d.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.1.1.1.1.1.m1.1.1.1.1e.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.1.1.1.1.1.m1.1.1.1.1f.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><cerror id="A7.T7.1.1.1.1.1.m1.1.1.1.1g.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.1.1.1.1.1.m1.1.1.1.1h.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.1.1.1.1.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1.2.2.1">⋅</ci><cerror id="A7.T7.1.1.1.1.1.m1.1.1.1.1i.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.1.1.1.1.1.m1.1.1.1.1j.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.1.1.1.1.1.m1.1.1.1.1k.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><cerror id="A7.T7.1.1.1.1.1.m1.1.1.1.1l.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.1.1.1.1.1.m1.1.1.1.1m.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.1.1.1.1.1.m1.1.1.1.1n.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.1.1.1.1.1.m1.1.1.1.1o.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.1.1.1.1.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.1.1.1.1.1.m1.1.1.1.1.3.3.1">⋅</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.1.1.1.1.1.m1.1c">\left[\begin{matrix}\cdot&amp;&amp;\\
&amp;\cdot&amp;\\
&amp;&amp;\cdot\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.1.1.1.1.2" class="ltx_td ltx_align_center ltx_border_r ltx_border_t">non-zero diagonals</td>
<td id="A7.T7.1.1.1.1.3" class="ltx_td ltx_align_center ltx_border_t">diagonal matrices, scaling</td>
</tr>
<tr id="A7.T7.2.2.2.2" class="ltx_tr">
<th id="A7.T7.2.2.2.2.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.2.2.2.2.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}\cdot&amp;\cdot&amp;\cdot\\
&amp;\cdot&amp;\cdot\\
&amp;&amp;\cdot\end{matrix}\right]" display="inline"><semantics id="A7.T7.2.2.2.2.1.m1.1a"><mrow id="A7.T7.2.2.2.2.1.m1.1.2.2" xref="A7.T7.2.2.2.2.1.m1.1.2.1.cmml"><mo id="A7.T7.2.2.2.2.1.m1.1.2.2.1" xref="A7.T7.2.2.2.2.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.2.2.2.2.1.m1.1.1.1.1" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mtr id="A7.T7.2.2.2.2.1.m1.1.1.1.1a" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1b" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mo id="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.1.1" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1c" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mo id="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.2.1" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1d" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mo id="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.3.1" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.3.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.2.2.2.2.1.m1.1.1.1.1e" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1f" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1g" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mo id="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.2.1" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1h" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mo id="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.3.1" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.3.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.2.2.2.2.1.m1.1.1.1.1i" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1j" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1k" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.2.2.2.2.1.m1.1.1.1.1l" xref="A7.T7.2.2.2.2.1.m1.1.1.2.cmml"><mo id="A7.T7.2.2.2.2.1.m1.1.1.1.1.3.3.1" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A7.T7.2.2.2.2.1.m1.1.2.2.2" xref="A7.T7.2.2.2.2.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.2.2.2.2.1.m1.1b"><apply id="A7.T7.2.2.2.2.1.m1.1.2.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.2.2.2.2.1.m1.1.2.1.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.2.2.2.2.1.m1.1.1.2.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.2.2.2.2.1.m1.1.1.2.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.2.2.2.2.1.m1.1.1.1.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><matrixrow id="A7.T7.2.2.2.2.1.m1.1.1.1.1a.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><ci id="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.1.1">⋅</ci><ci id="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.2.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.2.1">⋅</ci><ci id="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.3.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.1.3.1">⋅</ci></matrixrow><matrixrow id="A7.T7.2.2.2.2.1.m1.1.1.1.1b.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><cerror id="A7.T7.2.2.2.2.1.m1.1.1.1.1c.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.2.2.2.2.1.m1.1.1.1.1d.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1f">missing-subexpression</csymbol></cerror><ci id="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.2.1">⋅</ci><ci id="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.3.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.2.3.1">⋅</ci></matrixrow><matrixrow id="A7.T7.2.2.2.2.1.m1.1.1.1.1e.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><cerror id="A7.T7.2.2.2.2.1.m1.1.1.1.1f.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.2.2.2.2.1.m1.1.1.1.1g.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1f">missing-subexpression</csymbol></cerror><cerror id="A7.T7.2.2.2.2.1.m1.1.1.1.1h.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.2.2.2.2.1.m1.1.1.1.1i.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1f">missing-subexpression</csymbol></cerror><ci id="A7.T7.2.2.2.2.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.2.2.2.2.1.m1.1.1.1.1.3.3.1">⋅</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.2.2.2.2.1.m1.1c">\left[\begin{matrix}\cdot&amp;\cdot&amp;\cdot\\
&amp;\cdot&amp;\cdot\\
&amp;&amp;\cdot\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.2.2.2.2.2" class="ltx_td ltx_align_center ltx_border_r">non-zero diagonals</td>
<td id="A7.T7.2.2.2.2.3" class="ltx_td ltx_align_center">Triangular matrices (lower or upper), feature whitening</td>
</tr>
<tr id="A7.T7.3.3.3.3" class="ltx_tr">
<th id="A7.T7.3.3.3.3.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.3.3.3.3.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;\cdot\\
&amp;&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;\cdot\\
\end{matrix}\right]" display="inline"><semantics id="A7.T7.3.3.3.3.1.m1.1a"><mrow id="A7.T7.3.3.3.3.1.m1.1.2.2" xref="A7.T7.3.3.3.3.1.m1.1.2.1.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.2.2.1" xref="A7.T7.3.3.3.3.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.3.3.3.3.1.m1.1.1.1.1" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mtr id="A7.T7.3.3.3.3.1.m1.1.1.1.1a" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1b" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.1.1" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1c" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1d" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1e" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.4.1" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.4.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.3.3.3.3.1.m1.1.1.1.1f" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1g" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1h" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.2.1" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1i" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1j" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.4.1" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.4.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.3.3.3.3.1.m1.1.1.1.1k" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1l" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1m" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1n" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.3.1" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1o" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.4.1" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.4.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.3.3.3.3.1.m1.1.1.1.1p" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1q" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1r" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1s" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.3.3.3.3.1.m1.1.1.1.1t" xref="A7.T7.3.3.3.3.1.m1.1.1.2.cmml"><mo id="A7.T7.3.3.3.3.1.m1.1.1.1.1.4.4.1" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.4.4.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A7.T7.3.3.3.3.1.m1.1.2.2.2" xref="A7.T7.3.3.3.3.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.3.3.3.3.1.m1.1b"><apply id="A7.T7.3.3.3.3.1.m1.1.2.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.3.3.3.3.1.m1.1.2.1.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.3.3.3.3.1.m1.1.1.2.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.3.3.3.3.1.m1.1.1.2.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.3.3.3.3.1.m1.1.1.1.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><matrixrow id="A7.T7.3.3.3.3.1.m1.1.1.1.1a.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><ci id="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.1.1">⋅</ci><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1b.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1c.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1d.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1e.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.4.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.1.4.1">⋅</ci></matrixrow><matrixrow id="A7.T7.3.3.3.3.1.m1.1.1.1.1f.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1g.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1h.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.2.1">⋅</ci><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1i.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1j.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.4.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.2.4.1">⋅</ci></matrixrow><matrixrow id="A7.T7.3.3.3.3.1.m1.1.1.1.1k.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1l.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1m.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1n.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1o.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.3.1">⋅</ci><ci id="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.4.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.3.4.1">⋅</ci></matrixrow><matrixrow id="A7.T7.3.3.3.3.1.m1.1.1.1.1p.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1q.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1r.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1s.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1t.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.3.3.3.3.1.m1.1.1.1.1u.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.3.3.3.3.1.m1.1.1.1.1v.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.3.3.3.3.1.m1.1.1.1.1.4.4.1.cmml" xref="A7.T7.3.3.3.3.1.m1.1.1.1.1.4.4.1">⋅</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.3.3.3.3.1.m1.1c">\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;\cdot\\
&amp;&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;\cdot\\
\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.3.3.3.3.2" class="ltx_td ltx_align_center ltx_border_r">non-zero diagonals</td>
<td id="A7.T7.3.3.3.3.3" class="ltx_td ltx_align_center">feature normalization as in batch normalization</td>
</tr>
<tr id="A7.T7.4.4.4.4" class="ltx_tr">
<th id="A7.T7.4.4.4.4.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.4.4.4.4.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}\cdot&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;\cdot&amp;\\
&amp;&amp;&amp;\cdot\\
\end{matrix}\right]" display="inline"><semantics id="A7.T7.4.4.4.4.1.m1.1a"><mrow id="A7.T7.4.4.4.4.1.m1.1.2.2" xref="A7.T7.4.4.4.4.1.m1.1.2.1.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.2.2.1" xref="A7.T7.4.4.4.4.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.4.4.4.4.1.m1.1.1.1.1" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mtr id="A7.T7.4.4.4.4.1.m1.1.1.1.1a" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1b" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.1.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1c" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.2.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1d" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.3.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1e" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.4.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.4.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.4.4.4.4.1.m1.1.1.1.1f" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1g" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1h" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.2.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1i" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.3.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1j" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.4.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.4.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.4.4.4.4.1.m1.1.1.1.1k" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1l" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1m" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1n" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.3.3.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1o" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml"></mtd></mtr><mtr id="A7.T7.4.4.4.4.1.m1.1.1.1.1p" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1q" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1r" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1s" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.4.4.4.4.1.m1.1.1.1.1t" xref="A7.T7.4.4.4.4.1.m1.1.1.2.cmml"><mo id="A7.T7.4.4.4.4.1.m1.1.1.1.1.4.4.1" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.4.4.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A7.T7.4.4.4.4.1.m1.1.2.2.2" xref="A7.T7.4.4.4.4.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.4.4.4.4.1.m1.1b"><apply id="A7.T7.4.4.4.4.1.m1.1.2.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.4.4.4.4.1.m1.1.2.1.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.4.4.4.4.1.m1.1.1.2.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.4.4.4.4.1.m1.1.1.2.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.4.4.4.4.1.m1.1.1.1.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><matrixrow id="A7.T7.4.4.4.4.1.m1.1.1.1.1a.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.1.1">⋅</ci><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.2.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.2.1">⋅</ci><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.3.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.3.1">⋅</ci><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.4.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.1.4.1">⋅</ci></matrixrow><matrixrow id="A7.T7.4.4.4.4.1.m1.1.1.1.1b.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><cerror id="A7.T7.4.4.4.4.1.m1.1.1.1.1c.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.4.4.4.4.1.m1.1.1.1.1d.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1g">missing-subexpression</csymbol></cerror><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.2.1">⋅</ci><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.3.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.3.1">⋅</ci><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.4.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.2.4.1">⋅</ci></matrixrow><matrixrow id="A7.T7.4.4.4.4.1.m1.1.1.1.1e.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><cerror id="A7.T7.4.4.4.4.1.m1.1.1.1.1f.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.4.4.4.4.1.m1.1.1.1.1g.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1g">missing-subexpression</csymbol></cerror><cerror id="A7.T7.4.4.4.4.1.m1.1.1.1.1h.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.4.4.4.4.1.m1.1.1.1.1i.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1g">missing-subexpression</csymbol></cerror><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.3.3.1">⋅</ci><cerror id="A7.T7.4.4.4.4.1.m1.1.1.1.1j.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.4.4.4.4.1.m1.1.1.1.1k.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1g">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.4.4.4.4.1.m1.1.1.1.1l.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><cerror id="A7.T7.4.4.4.4.1.m1.1.1.1.1m.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.4.4.4.4.1.m1.1.1.1.1n.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1g">missing-subexpression</csymbol></cerror><cerror id="A7.T7.4.4.4.4.1.m1.1.1.1.1o.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.4.4.4.4.1.m1.1.1.1.1p.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1g">missing-subexpression</csymbol></cerror><cerror id="A7.T7.4.4.4.4.1.m1.1.1.1.1q.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.4.4.4.4.1.m1.1.1.1.1r.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1g">missing-subexpression</csymbol></cerror><ci id="A7.T7.4.4.4.4.1.m1.1.1.1.1.4.4.1.cmml" xref="A7.T7.4.4.4.4.1.m1.1.1.1.1.4.4.1">⋅</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.4.4.4.4.1.m1.1c">\left[\begin{matrix}\cdot&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;\cdot&amp;\\
&amp;&amp;&amp;\cdot\\
\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.4.4.4.4.2" class="ltx_td ltx_align_center ltx_border_r">non-zero diagonals</td>
<td id="A7.T7.4.4.4.4.3" class="ltx_td ltx_align_center">incomplete triangular matrices</td>
</tr>
<tr id="A7.T7.5.5.5.5" class="ltx_tr">
<th id="A7.T7.5.5.5.5.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.5.5.5.5.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}\cdot&amp;&amp;\cdot&amp;\\
&amp;\cdot&amp;&amp;\cdot\\
\cdot&amp;&amp;\cdot&amp;\\
&amp;\cdot&amp;&amp;\cdot\\
\end{matrix}\right]" display="inline"><semantics id="A7.T7.5.5.5.5.1.m1.1a"><mrow id="A7.T7.5.5.5.5.1.m1.1.2.2" xref="A7.T7.5.5.5.5.1.m1.1.2.1.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.2.2.1" xref="A7.T7.5.5.5.5.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.5.5.5.5.1.m1.1.1.1.1" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mtr id="A7.T7.5.5.5.5.1.m1.1.1.1.1a" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1b" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.1.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1c" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1d" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.3.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1e" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A7.T7.5.5.5.5.1.m1.1.1.1.1f" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1g" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1h" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.2.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1i" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1j" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.4.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.4.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.5.5.5.5.1.m1.1.1.1.1k" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1l" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.1.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1m" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1n" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.3.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1o" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A7.T7.5.5.5.5.1.m1.1.1.1.1p" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1q" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1r" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.2.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1s" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.5.5.5.5.1.m1.1.1.1.1t" xref="A7.T7.5.5.5.5.1.m1.1.1.2.cmml"><mo id="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.4.1" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.4.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A7.T7.5.5.5.5.1.m1.1.2.2.2" xref="A7.T7.5.5.5.5.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.5.5.5.5.1.m1.1b"><apply id="A7.T7.5.5.5.5.1.m1.1.2.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.5.5.5.5.1.m1.1.2.1.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.5.5.5.5.1.m1.1.1.2.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.5.5.5.5.1.m1.1.1.2.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.5.5.5.5.1.m1.1.1.1.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><matrixrow id="A7.T7.5.5.5.5.1.m1.1.1.1.1a.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.1.1">⋅</ci><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1b.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1c.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.3.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.1.3.1">⋅</ci><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1d.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1e.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.5.5.5.5.1.m1.1.1.1.1f.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1g.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1h.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.2.1">⋅</ci><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1i.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1j.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.4.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.2.4.1">⋅</ci></matrixrow><matrixrow id="A7.T7.5.5.5.5.1.m1.1.1.1.1k.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.1.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.1.1">⋅</ci><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1l.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1m.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.3.3.1">⋅</ci><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1n.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1o.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.5.5.5.5.1.m1.1.1.1.1p.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1q.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1r.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.2.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.2.1">⋅</ci><cerror id="A7.T7.5.5.5.5.1.m1.1.1.1.1s.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.5.5.5.5.1.m1.1.1.1.1t.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.4.1.cmml" xref="A7.T7.5.5.5.5.1.m1.1.1.1.1.4.4.1">⋅</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.5.5.5.5.1.m1.1c">\left[\begin{matrix}\cdot&amp;&amp;\cdot&amp;\\
&amp;\cdot&amp;&amp;\cdot\\
\cdot&amp;&amp;\cdot&amp;\\
&amp;\cdot&amp;&amp;\cdot\\
\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.5.5.5.5.2" class="ltx_td ltx_align_center ltx_border_r">invertible</td>
<td id="A7.T7.5.5.5.5.3" class="ltx_td ltx_align_center">butterfly matrices, building blocks of Kaleidoscope/FFT/DCT matrices</td>
</tr>
<tr id="A7.T7.6.6.6.6" class="ltx_tr">
<th id="A7.T7.6.6.6.6.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.6.6.6.6.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot\\
\end{matrix}\right]" display="inline"><semantics id="A7.T7.6.6.6.6.1.m1.1a"><mrow id="A7.T7.6.6.6.6.1.m1.1.2.2" xref="A7.T7.6.6.6.6.1.m1.1.2.1.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.2.2.1" xref="A7.T7.6.6.6.6.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.6.6.6.6.1.m1.1.1.1.1" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mtr id="A7.T7.6.6.6.6.1.m1.1.1.1.1a" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1b" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.1.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1c" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1d" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1e" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.4.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.4.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.6.6.6.6.1.m1.1.1.1.1f" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1g" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1h" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.2.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1i" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.3.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1j" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A7.T7.6.6.6.6.1.m1.1.1.1.1k" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1l" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1m" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.2.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1n" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.3.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1o" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A7.T7.6.6.6.6.1.m1.1.1.1.1p" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1q" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.1.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1r" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1s" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml"></mtd><mtd id="A7.T7.6.6.6.6.1.m1.1.1.1.1t" xref="A7.T7.6.6.6.6.1.m1.1.1.2.cmml"><mo id="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.4.1" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.4.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A7.T7.6.6.6.6.1.m1.1.2.2.2" xref="A7.T7.6.6.6.6.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.6.6.6.6.1.m1.1b"><apply id="A7.T7.6.6.6.6.1.m1.1.2.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.6.6.6.6.1.m1.1.2.1.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.6.6.6.6.1.m1.1.1.2.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.6.6.6.6.1.m1.1.1.2.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.6.6.6.6.1.m1.1.1.1.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><matrixrow id="A7.T7.6.6.6.6.1.m1.1.1.1.1a.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.1.1">⋅</ci><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1b.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1c.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1d.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1e.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.4.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.1.4.1">⋅</ci></matrixrow><matrixrow id="A7.T7.6.6.6.6.1.m1.1.1.1.1f.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1g.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1h.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.2.1">⋅</ci><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.3.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.2.3.1">⋅</ci><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1i.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1j.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.6.6.6.6.1.m1.1.1.1.1k.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1l.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1m.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.2.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.2.1">⋅</ci><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.3.3.1">⋅</ci><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1n.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1o.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.6.6.6.6.1.m1.1.1.1.1p.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.1.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.1.1">⋅</ci><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1q.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1r.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A7.T7.6.6.6.6.1.m1.1.1.1.1s.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.6.6.6.6.1.m1.1.1.1.1t.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.4.1.cmml" xref="A7.T7.6.6.6.6.1.m1.1.1.1.1.4.4.1">⋅</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.6.6.6.6.1.m1.1c">\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot\\
\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.6.6.6.6.2" class="ltx_td ltx_align_center ltx_border_r">invertible</td>
<td id="A7.T7.6.6.6.6.3" class="ltx_td ltx_align_center">similar to the butterfly matrices, but defined for both odd and even dims</td>
</tr>
<tr id="A7.T7.7.7.7.7" class="ltx_tr">
<th id="A7.T7.7.7.7.7.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.7.7.7.7.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}\cdot&amp;\cdot&amp;\cdot\\
\cdot&amp;\cdot&amp;\cdot\\
\cdot&amp;\cdot&amp;\cdot\end{matrix}\right]" display="inline"><semantics id="A7.T7.7.7.7.7.1.m1.1a"><mrow id="A7.T7.7.7.7.7.1.m1.1.2.2" xref="A7.T7.7.7.7.7.1.m1.1.2.1.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.2.2.1" xref="A7.T7.7.7.7.7.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.7.7.7.7.1.m1.1.1.1.1" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mtr id="A7.T7.7.7.7.7.1.m1.1.1.1.1a" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1b" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.1.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1c" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.2.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1d" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.3.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.3.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.7.7.7.7.1.m1.1.1.1.1e" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1f" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.1.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1g" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.2.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1h" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.3.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.3.1.cmml">⋅</mo></mtd></mtr><mtr id="A7.T7.7.7.7.7.1.m1.1.1.1.1i" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1j" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.1.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.1.1.cmml">⋅</mo></mtd><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1k" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.2.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.2.1.cmml">⋅</mo></mtd><mtd id="A7.T7.7.7.7.7.1.m1.1.1.1.1l" xref="A7.T7.7.7.7.7.1.m1.1.1.2.cmml"><mo id="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.3.1" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A7.T7.7.7.7.7.1.m1.1.2.2.2" xref="A7.T7.7.7.7.7.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.7.7.7.7.1.m1.1b"><apply id="A7.T7.7.7.7.7.1.m1.1.2.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.7.7.7.7.1.m1.1.2.1.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.7.7.7.7.1.m1.1.1.2.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.7.7.7.7.1.m1.1.1.2.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.7.7.7.7.1.m1.1.1.1.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1"><matrixrow id="A7.T7.7.7.7.7.1.m1.1.1.1.1a.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1"><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.1.1">⋅</ci><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.2.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.2.1">⋅</ci><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.3.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.1.3.1">⋅</ci></matrixrow><matrixrow id="A7.T7.7.7.7.7.1.m1.1.1.1.1b.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1"><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.1.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.1.1">⋅</ci><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.2.1">⋅</ci><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.3.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.2.3.1">⋅</ci></matrixrow><matrixrow id="A7.T7.7.7.7.7.1.m1.1.1.1.1c.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1"><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.1.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.1.1">⋅</ci><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.2.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.2.1">⋅</ci><ci id="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.7.7.7.7.1.m1.1.1.1.1.3.3.1">⋅</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.7.7.7.7.1.m1.1c">\left[\begin{matrix}\cdot&amp;\cdot&amp;\cdot\\
\cdot&amp;\cdot&amp;\cdot\\
\cdot&amp;\cdot&amp;\cdot\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.7.7.7.7.2" class="ltx_td ltx_align_center ltx_border_r">invertible</td>
<td id="A7.T7.7.7.7.7.3" class="ltx_td ltx_align_center">plain dense invertible matrices, i.e., the general linear (GL) group</td>
</tr>
<tr id="A7.T7.9.9.9.9" class="ltx_tr">
<th id="A7.T7.8.8.8.8.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.8.8.8.8.1.m1.1" class="ltx_Math" alttext="C" display="inline"><semantics id="A7.T7.8.8.8.8.1.m1.1a"><mi id="A7.T7.8.8.8.8.1.m1.1.1" xref="A7.T7.8.8.8.8.1.m1.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="A7.T7.8.8.8.8.1.m1.1b"><ci id="A7.T7.8.8.8.8.1.m1.1.1.cmml" xref="A7.T7.8.8.8.8.1.m1.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.8.8.8.8.1.m1.1c">C</annotation></semantics></math></th>
<td id="A7.T7.9.9.9.9.2" class="ltx_td ltx_align_center ltx_border_r">
<math id="A7.T7.9.9.9.9.2.m1.1" class="ltx_Math" alttext="C" display="inline"><semantics id="A7.T7.9.9.9.9.2.m1.1a"><mi id="A7.T7.9.9.9.9.2.m1.1.1" xref="A7.T7.9.9.9.9.2.m1.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="A7.T7.9.9.9.9.2.m1.1b"><ci id="A7.T7.9.9.9.9.2.m1.1.1.cmml" xref="A7.T7.9.9.9.9.2.m1.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.9.9.9.9.2.m1.1c">C</annotation></semantics></math> is invertible and circulant</td>
<td id="A7.T7.9.9.9.9.3" class="ltx_td ltx_align_center">cyclic or anti-cyclic group, fast matrix-vector product via FFT</td>
</tr>
<tr id="A7.T7.11.11.11.11" class="ltx_tr">
<th id="A7.T7.10.10.10.10.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.10.10.10.10.1.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.T7.10.10.10.10.1.m1.1a"><mi id="A7.T7.10.10.10.10.1.m1.1.1" xref="A7.T7.10.10.10.10.1.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.T7.10.10.10.10.1.m1.1b"><ci id="A7.T7.10.10.10.10.1.m1.1.1.cmml" xref="A7.T7.10.10.10.10.1.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.10.10.10.10.1.m1.1c">U</annotation></semantics></math></th>
<td id="A7.T7.11.11.11.11.2" class="ltx_td ltx_align_center ltx_border_r">
<math id="A7.T7.11.11.11.11.2.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.T7.11.11.11.11.2.m1.1a"><mi id="A7.T7.11.11.11.11.2.m1.1.1" xref="A7.T7.11.11.11.11.2.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.T7.11.11.11.11.2.m1.1b"><ci id="A7.T7.11.11.11.11.2.m1.1.1.cmml" xref="A7.T7.11.11.11.11.2.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.11.11.11.11.2.m1.1c">U</annotation></semantics></math> is orthogonal/unitary</td>
<td id="A7.T7.11.11.11.11.3" class="ltx_td ltx_align_center">the groups of rotations (reflections are not continuous)</td>
</tr>
<tr id="A7.T7.14.14.14.14" class="ltx_tr">
<th id="A7.T7.12.12.12.12.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.12.12.12.12.1.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A7.T7.12.12.12.12.1.m1.1a"><mi id="A7.T7.12.12.12.12.1.m1.1.1" xref="A7.T7.12.12.12.12.1.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A7.T7.12.12.12.12.1.m1.1b"><ci id="A7.T7.12.12.12.12.1.m1.1.1.cmml" xref="A7.T7.12.12.12.12.1.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.12.12.12.12.1.m1.1c">A</annotation></semantics></math></th>
<td id="A7.T7.13.13.13.13.2" class="ltx_td ltx_align_center ltx_border_r"><math id="A7.T7.13.13.13.13.2.m1.2" class="ltx_Math" alttext="|\det(A)|=1" display="inline"><semantics id="A7.T7.13.13.13.13.2.m1.2a"><mrow id="A7.T7.13.13.13.13.2.m1.2.2" xref="A7.T7.13.13.13.13.2.m1.2.2.cmml"><mrow id="A7.T7.13.13.13.13.2.m1.2.2.1.1" xref="A7.T7.13.13.13.13.2.m1.2.2.1.2.cmml"><mo stretchy="false" id="A7.T7.13.13.13.13.2.m1.2.2.1.1.2" xref="A7.T7.13.13.13.13.2.m1.2.2.1.2.1.cmml">|</mo><mrow id="A7.T7.13.13.13.13.2.m1.2.2.1.1.1" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.cmml"><mo lspace="0em" rspace="0em" id="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.1" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.1.cmml">det</mo><mrow id="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.2.2" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.cmml"><mo stretchy="false" id="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.2.2.1" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.cmml">(</mo><mi id="A7.T7.13.13.13.13.2.m1.1.1" xref="A7.T7.13.13.13.13.2.m1.1.1.cmml">A</mi><mo stretchy="false" id="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.2.2.2" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A7.T7.13.13.13.13.2.m1.2.2.1.1.3" xref="A7.T7.13.13.13.13.2.m1.2.2.1.2.1.cmml">|</mo></mrow><mo id="A7.T7.13.13.13.13.2.m1.2.2.2" xref="A7.T7.13.13.13.13.2.m1.2.2.2.cmml">=</mo><mn id="A7.T7.13.13.13.13.2.m1.2.2.3" xref="A7.T7.13.13.13.13.2.m1.2.2.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.13.13.13.13.2.m1.2b"><apply id="A7.T7.13.13.13.13.2.m1.2.2.cmml" xref="A7.T7.13.13.13.13.2.m1.2.2"><eq id="A7.T7.13.13.13.13.2.m1.2.2.2.cmml" xref="A7.T7.13.13.13.13.2.m1.2.2.2"></eq><apply id="A7.T7.13.13.13.13.2.m1.2.2.1.2.cmml" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1"><abs id="A7.T7.13.13.13.13.2.m1.2.2.1.2.1.cmml" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.2"></abs><apply id="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.cmml" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.1"><determinant id="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.1.cmml" xref="A7.T7.13.13.13.13.2.m1.2.2.1.1.1.1"></determinant><ci id="A7.T7.13.13.13.13.2.m1.1.1.cmml" xref="A7.T7.13.13.13.13.2.m1.1.1">𝐴</ci></apply></apply><cn type="integer" id="A7.T7.13.13.13.13.2.m1.2.2.3.cmml" xref="A7.T7.13.13.13.13.2.m1.2.2.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.13.13.13.13.2.m1.2c">|\det(A)|=1</annotation></semantics></math></td>
<td id="A7.T7.14.14.14.14.3" class="ltx_td ltx_align_center">traceless, <math id="A7.T7.14.14.14.14.3.m1.2" class="ltx_Math" alttext="{\rm tr}\log(A)=0" display="inline"><semantics id="A7.T7.14.14.14.14.3.m1.2a"><mrow id="A7.T7.14.14.14.14.3.m1.2.3" xref="A7.T7.14.14.14.14.3.m1.2.3.cmml"><mrow id="A7.T7.14.14.14.14.3.m1.2.3.2" xref="A7.T7.14.14.14.14.3.m1.2.3.2.cmml"><mi id="A7.T7.14.14.14.14.3.m1.2.3.2.2" xref="A7.T7.14.14.14.14.3.m1.2.3.2.2.cmml">tr</mi><mo lspace="0.167em" rspace="0em" id="A7.T7.14.14.14.14.3.m1.2.3.2.1" xref="A7.T7.14.14.14.14.3.m1.2.3.2.1.cmml">​</mo><mrow id="A7.T7.14.14.14.14.3.m1.2.3.2.3.2" xref="A7.T7.14.14.14.14.3.m1.2.3.2.3.1.cmml"><mi id="A7.T7.14.14.14.14.3.m1.1.1" xref="A7.T7.14.14.14.14.3.m1.1.1.cmml">log</mi><mo id="A7.T7.14.14.14.14.3.m1.2.3.2.3.2a" xref="A7.T7.14.14.14.14.3.m1.2.3.2.3.1.cmml">⁡</mo><mrow id="A7.T7.14.14.14.14.3.m1.2.3.2.3.2.1" xref="A7.T7.14.14.14.14.3.m1.2.3.2.3.1.cmml"><mo stretchy="false" id="A7.T7.14.14.14.14.3.m1.2.3.2.3.2.1.1" xref="A7.T7.14.14.14.14.3.m1.2.3.2.3.1.cmml">(</mo><mi id="A7.T7.14.14.14.14.3.m1.2.2" xref="A7.T7.14.14.14.14.3.m1.2.2.cmml">A</mi><mo stretchy="false" id="A7.T7.14.14.14.14.3.m1.2.3.2.3.2.1.2" xref="A7.T7.14.14.14.14.3.m1.2.3.2.3.1.cmml">)</mo></mrow></mrow></mrow><mo id="A7.T7.14.14.14.14.3.m1.2.3.1" xref="A7.T7.14.14.14.14.3.m1.2.3.1.cmml">=</mo><mn id="A7.T7.14.14.14.14.3.m1.2.3.3" xref="A7.T7.14.14.14.14.3.m1.2.3.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.14.14.14.14.3.m1.2b"><apply id="A7.T7.14.14.14.14.3.m1.2.3.cmml" xref="A7.T7.14.14.14.14.3.m1.2.3"><eq id="A7.T7.14.14.14.14.3.m1.2.3.1.cmml" xref="A7.T7.14.14.14.14.3.m1.2.3.1"></eq><apply id="A7.T7.14.14.14.14.3.m1.2.3.2.cmml" xref="A7.T7.14.14.14.14.3.m1.2.3.2"><times id="A7.T7.14.14.14.14.3.m1.2.3.2.1.cmml" xref="A7.T7.14.14.14.14.3.m1.2.3.2.1"></times><ci id="A7.T7.14.14.14.14.3.m1.2.3.2.2.cmml" xref="A7.T7.14.14.14.14.3.m1.2.3.2.2">tr</ci><apply id="A7.T7.14.14.14.14.3.m1.2.3.2.3.1.cmml" xref="A7.T7.14.14.14.14.3.m1.2.3.2.3.2"><log id="A7.T7.14.14.14.14.3.m1.1.1.cmml" xref="A7.T7.14.14.14.14.3.m1.1.1"></log><ci id="A7.T7.14.14.14.14.3.m1.2.2.cmml" xref="A7.T7.14.14.14.14.3.m1.2.2">𝐴</ci></apply></apply><cn type="integer" id="A7.T7.14.14.14.14.3.m1.2.3.3.cmml" xref="A7.T7.14.14.14.14.3.m1.2.3.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.14.14.14.14.3.m1.2c">{\rm tr}\log(A)=0</annotation></semantics></math>
</td>
</tr>
<tr id="A7.T7.18.18.18.18" class="ltx_tr">
<th id="A7.T7.15.15.15.15.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.15.15.15.15.1.m1.1" class="ltx_Math" alttext="C^{-1}AC" display="inline"><semantics id="A7.T7.15.15.15.15.1.m1.1a"><mrow id="A7.T7.15.15.15.15.1.m1.1.1" xref="A7.T7.15.15.15.15.1.m1.1.1.cmml"><msup id="A7.T7.15.15.15.15.1.m1.1.1.2" xref="A7.T7.15.15.15.15.1.m1.1.1.2.cmml"><mi id="A7.T7.15.15.15.15.1.m1.1.1.2.2" xref="A7.T7.15.15.15.15.1.m1.1.1.2.2.cmml">C</mi><mrow id="A7.T7.15.15.15.15.1.m1.1.1.2.3" xref="A7.T7.15.15.15.15.1.m1.1.1.2.3.cmml"><mo id="A7.T7.15.15.15.15.1.m1.1.1.2.3a" xref="A7.T7.15.15.15.15.1.m1.1.1.2.3.cmml">−</mo><mn id="A7.T7.15.15.15.15.1.m1.1.1.2.3.2" xref="A7.T7.15.15.15.15.1.m1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A7.T7.15.15.15.15.1.m1.1.1.1" xref="A7.T7.15.15.15.15.1.m1.1.1.1.cmml">​</mo><mi id="A7.T7.15.15.15.15.1.m1.1.1.3" xref="A7.T7.15.15.15.15.1.m1.1.1.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A7.T7.15.15.15.15.1.m1.1.1.1a" xref="A7.T7.15.15.15.15.1.m1.1.1.1.cmml">​</mo><mi id="A7.T7.15.15.15.15.1.m1.1.1.4" xref="A7.T7.15.15.15.15.1.m1.1.1.4.cmml">C</mi></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.15.15.15.15.1.m1.1b"><apply id="A7.T7.15.15.15.15.1.m1.1.1.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1"><times id="A7.T7.15.15.15.15.1.m1.1.1.1.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.1"></times><apply id="A7.T7.15.15.15.15.1.m1.1.1.2.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.2"><csymbol cd="ambiguous" id="A7.T7.15.15.15.15.1.m1.1.1.2.1.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.2">superscript</csymbol><ci id="A7.T7.15.15.15.15.1.m1.1.1.2.2.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.2.2">𝐶</ci><apply id="A7.T7.15.15.15.15.1.m1.1.1.2.3.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.2.3"><minus id="A7.T7.15.15.15.15.1.m1.1.1.2.3.1.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.2.3"></minus><cn type="integer" id="A7.T7.15.15.15.15.1.m1.1.1.2.3.2.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.2.3.2">1</cn></apply></apply><ci id="A7.T7.15.15.15.15.1.m1.1.1.3.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.3">𝐴</ci><ci id="A7.T7.15.15.15.15.1.m1.1.1.4.cmml" xref="A7.T7.15.15.15.15.1.m1.1.1.4">𝐶</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.15.15.15.15.1.m1.1c">C^{-1}AC</annotation></semantics></math></th>
<td id="A7.T7.17.17.17.17.3" class="ltx_td ltx_align_center ltx_border_r">
<math id="A7.T7.16.16.16.16.2.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A7.T7.16.16.16.16.2.m1.1a"><mi id="A7.T7.16.16.16.16.2.m1.1.1" xref="A7.T7.16.16.16.16.2.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A7.T7.16.16.16.16.2.m1.1b"><ci id="A7.T7.16.16.16.16.2.m1.1.1.cmml" xref="A7.T7.16.16.16.16.2.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.16.16.16.16.2.m1.1c">A</annotation></semantics></math> is on a Lie group, and <math id="A7.T7.17.17.17.17.3.m2.1" class="ltx_Math" alttext="C" display="inline"><semantics id="A7.T7.17.17.17.17.3.m2.1a"><mi id="A7.T7.17.17.17.17.3.m2.1.1" xref="A7.T7.17.17.17.17.3.m2.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="A7.T7.17.17.17.17.3.m2.1b"><ci id="A7.T7.17.17.17.17.3.m2.1.1.cmml" xref="A7.T7.17.17.17.17.3.m2.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.17.17.17.17.3.m2.1c">C</annotation></semantics></math> is invertible</td>
<td id="A7.T7.18.18.18.18.4" class="ltx_td ltx_align_center">useful for blending when <math id="A7.T7.18.18.18.18.4.m1.1" class="ltx_Math" alttext="C^{-1}" display="inline"><semantics id="A7.T7.18.18.18.18.4.m1.1a"><msup id="A7.T7.18.18.18.18.4.m1.1.1" xref="A7.T7.18.18.18.18.4.m1.1.1.cmml"><mi id="A7.T7.18.18.18.18.4.m1.1.1.2" xref="A7.T7.18.18.18.18.4.m1.1.1.2.cmml">C</mi><mrow id="A7.T7.18.18.18.18.4.m1.1.1.3" xref="A7.T7.18.18.18.18.4.m1.1.1.3.cmml"><mo id="A7.T7.18.18.18.18.4.m1.1.1.3a" xref="A7.T7.18.18.18.18.4.m1.1.1.3.cmml">−</mo><mn id="A7.T7.18.18.18.18.4.m1.1.1.3.2" xref="A7.T7.18.18.18.18.4.m1.1.1.3.2.cmml">1</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A7.T7.18.18.18.18.4.m1.1b"><apply id="A7.T7.18.18.18.18.4.m1.1.1.cmml" xref="A7.T7.18.18.18.18.4.m1.1.1"><csymbol cd="ambiguous" id="A7.T7.18.18.18.18.4.m1.1.1.1.cmml" xref="A7.T7.18.18.18.18.4.m1.1.1">superscript</csymbol><ci id="A7.T7.18.18.18.18.4.m1.1.1.2.cmml" xref="A7.T7.18.18.18.18.4.m1.1.1.2">𝐶</ci><apply id="A7.T7.18.18.18.18.4.m1.1.1.3.cmml" xref="A7.T7.18.18.18.18.4.m1.1.1.3"><minus id="A7.T7.18.18.18.18.4.m1.1.1.3.1.cmml" xref="A7.T7.18.18.18.18.4.m1.1.1.3"></minus><cn type="integer" id="A7.T7.18.18.18.18.4.m1.1.1.3.2.cmml" xref="A7.T7.18.18.18.18.4.m1.1.1.3.2">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.18.18.18.18.4.m1.1c">C^{-1}</annotation></semantics></math> is cheap to calculate</td>
</tr>
<tr id="A7.T7.22.22.22.22" class="ltx_tr">
<th id="A7.T7.19.19.19.19.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.19.19.19.19.1.m1.1" class="ltx_Math" alttext="U^{T}AU" display="inline"><semantics id="A7.T7.19.19.19.19.1.m1.1a"><mrow id="A7.T7.19.19.19.19.1.m1.1.1" xref="A7.T7.19.19.19.19.1.m1.1.1.cmml"><msup id="A7.T7.19.19.19.19.1.m1.1.1.2" xref="A7.T7.19.19.19.19.1.m1.1.1.2.cmml"><mi id="A7.T7.19.19.19.19.1.m1.1.1.2.2" xref="A7.T7.19.19.19.19.1.m1.1.1.2.2.cmml">U</mi><mi id="A7.T7.19.19.19.19.1.m1.1.1.2.3" xref="A7.T7.19.19.19.19.1.m1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A7.T7.19.19.19.19.1.m1.1.1.1" xref="A7.T7.19.19.19.19.1.m1.1.1.1.cmml">​</mo><mi id="A7.T7.19.19.19.19.1.m1.1.1.3" xref="A7.T7.19.19.19.19.1.m1.1.1.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A7.T7.19.19.19.19.1.m1.1.1.1a" xref="A7.T7.19.19.19.19.1.m1.1.1.1.cmml">​</mo><mi id="A7.T7.19.19.19.19.1.m1.1.1.4" xref="A7.T7.19.19.19.19.1.m1.1.1.4.cmml">U</mi></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.19.19.19.19.1.m1.1b"><apply id="A7.T7.19.19.19.19.1.m1.1.1.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1"><times id="A7.T7.19.19.19.19.1.m1.1.1.1.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1.1"></times><apply id="A7.T7.19.19.19.19.1.m1.1.1.2.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1.2"><csymbol cd="ambiguous" id="A7.T7.19.19.19.19.1.m1.1.1.2.1.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1.2">superscript</csymbol><ci id="A7.T7.19.19.19.19.1.m1.1.1.2.2.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1.2.2">𝑈</ci><ci id="A7.T7.19.19.19.19.1.m1.1.1.2.3.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1.2.3">𝑇</ci></apply><ci id="A7.T7.19.19.19.19.1.m1.1.1.3.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1.3">𝐴</ci><ci id="A7.T7.19.19.19.19.1.m1.1.1.4.cmml" xref="A7.T7.19.19.19.19.1.m1.1.1.4">𝑈</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.19.19.19.19.1.m1.1c">U^{T}AU</annotation></semantics></math></th>
<td id="A7.T7.21.21.21.21.3" class="ltx_td ltx_align_center ltx_border_r">
<math id="A7.T7.20.20.20.20.2.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A7.T7.20.20.20.20.2.m1.1a"><mi id="A7.T7.20.20.20.20.2.m1.1.1" xref="A7.T7.20.20.20.20.2.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A7.T7.20.20.20.20.2.m1.1b"><ci id="A7.T7.20.20.20.20.2.m1.1.1.cmml" xref="A7.T7.20.20.20.20.2.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.20.20.20.20.2.m1.1c">A</annotation></semantics></math> is on a Lie group, and <math id="A7.T7.21.21.21.21.3.m2.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.T7.21.21.21.21.3.m2.1a"><mi id="A7.T7.21.21.21.21.3.m2.1.1" xref="A7.T7.21.21.21.21.3.m2.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.T7.21.21.21.21.3.m2.1b"><ci id="A7.T7.21.21.21.21.3.m2.1.1.cmml" xref="A7.T7.21.21.21.21.3.m2.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.21.21.21.21.3.m2.1c">U</annotation></semantics></math> is orthogonal</td>
<td id="A7.T7.22.22.22.22.4" class="ltx_td ltx_align_center">useful when <math id="A7.T7.22.22.22.22.4.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.T7.22.22.22.22.4.m1.1a"><mi id="A7.T7.22.22.22.22.4.m1.1.1" xref="A7.T7.22.22.22.22.4.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.T7.22.22.22.22.4.m1.1b"><ci id="A7.T7.22.22.22.22.4.m1.1.1.cmml" xref="A7.T7.22.22.22.22.4.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.22.22.22.22.4.m1.1c">U</annotation></semantics></math> is DFT/DCT/Hadamard like transformations</td>
</tr>
<tr id="A7.T7.25.25.25.25" class="ltx_tr">
<th id="A7.T7.23.23.23.23.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.23.23.23.23.1.m1.1" class="ltx_Math" alttext="A\oplus B\oplus\ldots" display="inline"><semantics id="A7.T7.23.23.23.23.1.m1.1a"><mrow id="A7.T7.23.23.23.23.1.m1.1.1" xref="A7.T7.23.23.23.23.1.m1.1.1.cmml"><mi id="A7.T7.23.23.23.23.1.m1.1.1.2" xref="A7.T7.23.23.23.23.1.m1.1.1.2.cmml">A</mi><mo id="A7.T7.23.23.23.23.1.m1.1.1.1" xref="A7.T7.23.23.23.23.1.m1.1.1.1.cmml">⊕</mo><mi id="A7.T7.23.23.23.23.1.m1.1.1.3" xref="A7.T7.23.23.23.23.1.m1.1.1.3.cmml">B</mi><mo id="A7.T7.23.23.23.23.1.m1.1.1.1a" xref="A7.T7.23.23.23.23.1.m1.1.1.1.cmml">⊕</mo><mi mathvariant="normal" id="A7.T7.23.23.23.23.1.m1.1.1.4" xref="A7.T7.23.23.23.23.1.m1.1.1.4.cmml">…</mi></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.23.23.23.23.1.m1.1b"><apply id="A7.T7.23.23.23.23.1.m1.1.1.cmml" xref="A7.T7.23.23.23.23.1.m1.1.1"><csymbol cd="latexml" id="A7.T7.23.23.23.23.1.m1.1.1.1.cmml" xref="A7.T7.23.23.23.23.1.m1.1.1.1">direct-sum</csymbol><ci id="A7.T7.23.23.23.23.1.m1.1.1.2.cmml" xref="A7.T7.23.23.23.23.1.m1.1.1.2">𝐴</ci><ci id="A7.T7.23.23.23.23.1.m1.1.1.3.cmml" xref="A7.T7.23.23.23.23.1.m1.1.1.3">𝐵</ci><ci id="A7.T7.23.23.23.23.1.m1.1.1.4.cmml" xref="A7.T7.23.23.23.23.1.m1.1.1.4">…</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.23.23.23.23.1.m1.1c">A\oplus B\oplus\ldots</annotation></semantics></math></th>
<td id="A7.T7.25.25.25.25.3" class="ltx_td ltx_align_center ltx_border_r">
<math id="A7.T7.24.24.24.24.2.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A7.T7.24.24.24.24.2.m1.1a"><mi id="A7.T7.24.24.24.24.2.m1.1.1" xref="A7.T7.24.24.24.24.2.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A7.T7.24.24.24.24.2.m1.1b"><ci id="A7.T7.24.24.24.24.2.m1.1.1.cmml" xref="A7.T7.24.24.24.24.2.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.24.24.24.24.2.m1.1c">A</annotation></semantics></math> and <math id="A7.T7.25.25.25.25.3.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A7.T7.25.25.25.25.3.m2.1a"><mi id="A7.T7.25.25.25.25.3.m2.1.1" xref="A7.T7.25.25.25.25.3.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A7.T7.25.25.25.25.3.m2.1b"><ci id="A7.T7.25.25.25.25.3.m2.1.1.cmml" xref="A7.T7.25.25.25.25.3.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.25.25.25.25.3.m2.1c">B</annotation></semantics></math> are on the same or diff groups</td>
<td id="A7.T7.25.25.25.25.4" class="ltx_td ltx_align_center">direct sum as in block diagonal matrices</td>
</tr>
<tr id="A7.T7.28.28.28.28" class="ltx_tr">
<th id="A7.T7.26.26.26.26.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.26.26.26.26.1.m1.1" class="ltx_Math" alttext="A\otimes B\otimes\ldots" display="inline"><semantics id="A7.T7.26.26.26.26.1.m1.1a"><mrow id="A7.T7.26.26.26.26.1.m1.1.1" xref="A7.T7.26.26.26.26.1.m1.1.1.cmml"><mi id="A7.T7.26.26.26.26.1.m1.1.1.2" xref="A7.T7.26.26.26.26.1.m1.1.1.2.cmml">A</mi><mo lspace="0.222em" rspace="0.222em" id="A7.T7.26.26.26.26.1.m1.1.1.1" xref="A7.T7.26.26.26.26.1.m1.1.1.1.cmml">⊗</mo><mi id="A7.T7.26.26.26.26.1.m1.1.1.3" xref="A7.T7.26.26.26.26.1.m1.1.1.3.cmml">B</mi><mo lspace="0.222em" rspace="0.222em" id="A7.T7.26.26.26.26.1.m1.1.1.1a" xref="A7.T7.26.26.26.26.1.m1.1.1.1.cmml">⊗</mo><mi mathvariant="normal" id="A7.T7.26.26.26.26.1.m1.1.1.4" xref="A7.T7.26.26.26.26.1.m1.1.1.4.cmml">…</mi></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.26.26.26.26.1.m1.1b"><apply id="A7.T7.26.26.26.26.1.m1.1.1.cmml" xref="A7.T7.26.26.26.26.1.m1.1.1"><csymbol cd="latexml" id="A7.T7.26.26.26.26.1.m1.1.1.1.cmml" xref="A7.T7.26.26.26.26.1.m1.1.1.1">tensor-product</csymbol><ci id="A7.T7.26.26.26.26.1.m1.1.1.2.cmml" xref="A7.T7.26.26.26.26.1.m1.1.1.2">𝐴</ci><ci id="A7.T7.26.26.26.26.1.m1.1.1.3.cmml" xref="A7.T7.26.26.26.26.1.m1.1.1.3">𝐵</ci><ci id="A7.T7.26.26.26.26.1.m1.1.1.4.cmml" xref="A7.T7.26.26.26.26.1.m1.1.1.4">…</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.26.26.26.26.1.m1.1c">A\otimes B\otimes\ldots</annotation></semantics></math></th>
<td id="A7.T7.28.28.28.28.3" class="ltx_td ltx_align_center ltx_border_r">
<math id="A7.T7.27.27.27.27.2.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A7.T7.27.27.27.27.2.m1.1a"><mi id="A7.T7.27.27.27.27.2.m1.1.1" xref="A7.T7.27.27.27.27.2.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A7.T7.27.27.27.27.2.m1.1b"><ci id="A7.T7.27.27.27.27.2.m1.1.1.cmml" xref="A7.T7.27.27.27.27.2.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.27.27.27.27.2.m1.1c">A</annotation></semantics></math> and <math id="A7.T7.28.28.28.28.3.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A7.T7.28.28.28.28.3.m2.1a"><mi id="A7.T7.28.28.28.28.3.m2.1.1" xref="A7.T7.28.28.28.28.3.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A7.T7.28.28.28.28.3.m2.1b"><ci id="A7.T7.28.28.28.28.3.m2.1.1.cmml" xref="A7.T7.28.28.28.28.3.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.28.28.28.28.3.m2.1c">B</annotation></semantics></math> are on the same or diff groups</td>
<td id="A7.T7.28.28.28.28.4" class="ltx_td ltx_align_center">good for matrix/tensor gradient preconditioning</td>
</tr>
<tr id="A7.T7.31.31.31.31" class="ltx_tr">
<th id="A7.T7.29.29.29.29.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.29.29.29.29.1.m1.1" class="ltx_Math" alttext="I+UV^{T}" display="inline"><semantics id="A7.T7.29.29.29.29.1.m1.1a"><mrow id="A7.T7.29.29.29.29.1.m1.1.1" xref="A7.T7.29.29.29.29.1.m1.1.1.cmml"><mi id="A7.T7.29.29.29.29.1.m1.1.1.2" xref="A7.T7.29.29.29.29.1.m1.1.1.2.cmml">I</mi><mo id="A7.T7.29.29.29.29.1.m1.1.1.1" xref="A7.T7.29.29.29.29.1.m1.1.1.1.cmml">+</mo><mrow id="A7.T7.29.29.29.29.1.m1.1.1.3" xref="A7.T7.29.29.29.29.1.m1.1.1.3.cmml"><mi id="A7.T7.29.29.29.29.1.m1.1.1.3.2" xref="A7.T7.29.29.29.29.1.m1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A7.T7.29.29.29.29.1.m1.1.1.3.1" xref="A7.T7.29.29.29.29.1.m1.1.1.3.1.cmml">​</mo><msup id="A7.T7.29.29.29.29.1.m1.1.1.3.3" xref="A7.T7.29.29.29.29.1.m1.1.1.3.3.cmml"><mi id="A7.T7.29.29.29.29.1.m1.1.1.3.3.2" xref="A7.T7.29.29.29.29.1.m1.1.1.3.3.2.cmml">V</mi><mi id="A7.T7.29.29.29.29.1.m1.1.1.3.3.3" xref="A7.T7.29.29.29.29.1.m1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.29.29.29.29.1.m1.1b"><apply id="A7.T7.29.29.29.29.1.m1.1.1.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1"><plus id="A7.T7.29.29.29.29.1.m1.1.1.1.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.1"></plus><ci id="A7.T7.29.29.29.29.1.m1.1.1.2.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.2">𝐼</ci><apply id="A7.T7.29.29.29.29.1.m1.1.1.3.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.3"><times id="A7.T7.29.29.29.29.1.m1.1.1.3.1.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.3.1"></times><ci id="A7.T7.29.29.29.29.1.m1.1.1.3.2.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.3.2">𝑈</ci><apply id="A7.T7.29.29.29.29.1.m1.1.1.3.3.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="A7.T7.29.29.29.29.1.m1.1.1.3.3.1.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.3.3">superscript</csymbol><ci id="A7.T7.29.29.29.29.1.m1.1.1.3.3.2.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.3.3.2">𝑉</ci><ci id="A7.T7.29.29.29.29.1.m1.1.1.3.3.3.cmml" xref="A7.T7.29.29.29.29.1.m1.1.1.3.3.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.29.29.29.29.1.m1.1c">I+UV^{T}</annotation></semantics></math></th>
<td id="A7.T7.31.31.31.31.3" class="ltx_td ltx_align_center ltx_border_r">invertible, either fixed <math id="A7.T7.30.30.30.30.2.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.T7.30.30.30.30.2.m1.1a"><mi id="A7.T7.30.30.30.30.2.m1.1.1" xref="A7.T7.30.30.30.30.2.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.T7.30.30.30.30.2.m1.1b"><ci id="A7.T7.30.30.30.30.2.m1.1.1.cmml" xref="A7.T7.30.30.30.30.2.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.30.30.30.30.2.m1.1c">U</annotation></semantics></math> or <math id="A7.T7.31.31.31.31.3.m2.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A7.T7.31.31.31.31.3.m2.1a"><mi id="A7.T7.31.31.31.31.3.m2.1.1" xref="A7.T7.31.31.31.31.3.m2.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A7.T7.31.31.31.31.3.m2.1b"><ci id="A7.T7.31.31.31.31.3.m2.1.1.cmml" xref="A7.T7.31.31.31.31.3.m2.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.31.31.31.31.3.m2.1c">V</annotation></semantics></math>
</td>
<td id="A7.T7.31.31.31.31.4" class="ltx_td ltx_align_center">useful for preconditioning via low-rank approximation</td>
</tr>
<tr id="A7.T7.32.32.32.32" class="ltx_tr">
<th id="A7.T7.32.32.32.32.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r"><math id="A7.T7.32.32.32.32.1.m1.1" class="ltx_Math" alttext="\left[\begin{matrix}A&amp;B&amp;\ldots\\
C&amp;D&amp;\\
\vdots&amp;&amp;\ddots\end{matrix}\right]" display="inline"><semantics id="A7.T7.32.32.32.32.1.m1.1a"><mrow id="A7.T7.32.32.32.32.1.m1.1.2.2" xref="A7.T7.32.32.32.32.1.m1.1.2.1.cmml"><mo id="A7.T7.32.32.32.32.1.m1.1.2.2.1" xref="A7.T7.32.32.32.32.1.m1.1.2.1.1.cmml">[</mo><mtable columnspacing="5pt" rowspacing="0pt" id="A7.T7.32.32.32.32.1.m1.1.1.1.1" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mtr id="A7.T7.32.32.32.32.1.m1.1.1.1.1a" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1b" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mi id="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.1.1" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.1.1.cmml">A</mi></mtd><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1c" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mi id="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.2.1" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.2.1.cmml">B</mi></mtd><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1d" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mi mathvariant="normal" id="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.3.1" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.3.1.cmml">…</mi></mtd></mtr><mtr id="A7.T7.32.32.32.32.1.m1.1.1.1.1e" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1f" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mi id="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.1.1" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.1.1.cmml">C</mi></mtd><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1g" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mi id="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.2.1" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.2.1.cmml">D</mi></mtd><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1h" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1d.cmml"></mtd></mtr><mtr id="A7.T7.32.32.32.32.1.m1.1.1.1.1i" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1j" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mi mathvariant="normal" id="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.1.1" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.1.1.cmml">⋮</mi></mtd><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1k" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1d.cmml"></mtd><mtd id="A7.T7.32.32.32.32.1.m1.1.1.1.1l" xref="A7.T7.32.32.32.32.1.m1.1.1.2.cmml"><mi mathvariant="normal" id="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.3.1" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.3.1.cmml">⋱</mi></mtd></mtr></mtable><mo id="A7.T7.32.32.32.32.1.m1.1.2.2.2" xref="A7.T7.32.32.32.32.1.m1.1.2.1.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A7.T7.32.32.32.32.1.m1.1b"><apply id="A7.T7.32.32.32.32.1.m1.1.2.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.2.2"><csymbol cd="latexml" id="A7.T7.32.32.32.32.1.m1.1.2.1.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.2.2.1">delimited-[]</csymbol><apply id="A7.T7.32.32.32.32.1.m1.1.1.2.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1"><csymbol cd="latexml" id="A7.T7.32.32.32.32.1.m1.1.1.2.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1">matrix</csymbol><matrix id="A7.T7.32.32.32.32.1.m1.1.1.1.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1"><matrixrow id="A7.T7.32.32.32.32.1.m1.1.1.1.1a.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1"><ci id="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.1.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.1.1">𝐴</ci><ci id="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.2.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.2.1">𝐵</ci><ci id="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.3.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.1.3.1">…</ci></matrixrow><matrixrow id="A7.T7.32.32.32.32.1.m1.1.1.1.1b.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1"><ci id="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.1.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.1.1">𝐶</ci><ci id="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.2.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.2.2.1">𝐷</ci><cerror id="A7.T7.32.32.32.32.1.m1.1.1.1.1c.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.32.32.32.32.1.m1.1.1.1.1d.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1h">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A7.T7.32.32.32.32.1.m1.1.1.1.1e.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1"><ci id="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.1.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.1.1">⋮</ci><cerror id="A7.T7.32.32.32.32.1.m1.1.1.1.1f.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A7.T7.32.32.32.32.1.m1.1.1.1.1g.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1h">missing-subexpression</csymbol></cerror><ci id="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.3.1.cmml" xref="A7.T7.32.32.32.32.1.m1.1.1.1.1.3.3.1">⋱</ci></matrixrow></matrix></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T7.32.32.32.32.1.m1.1c">\left[\begin{matrix}A&amp;B&amp;\ldots\\
C&amp;D&amp;\\
\vdots&amp;&amp;\ddots\end{matrix}\right]</annotation></semantics></math></th>
<td id="A7.T7.32.32.32.32.2" class="ltx_td ltx_align_center ltx_border_r">invertible and all blocks on the same group</td>
<td id="A7.T7.32.32.32.32.3" class="ltx_td ltx_align_center">large sparse preconditioner construction; special case: butterfly matrix</td>
</tr>
</tbody>
</table>
</span></div>
</figure>
</section>
<section id="A7.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">G.2 </span>Practical considerations</h3>

<div id="A7.SS2.p1" class="ltx_para">
<p id="A7.SS2.p1.7" class="ltx_p">Clearly, we cannot initialize either <math id="A7.SS2.p1.1.m1.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.SS2.p1.1.m1.1a"><mi id="A7.SS2.p1.1.m1.1.1" xref="A7.SS2.p1.1.m1.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p1.1.m1.1b"><ci id="A7.SS2.p1.1.m1.1.1.cmml" xref="A7.SS2.p1.1.m1.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p1.1.m1.1c">U</annotation></semantics></math> or <math id="A7.SS2.p1.2.m2.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A7.SS2.p1.2.m2.1a"><mi id="A7.SS2.p1.2.m2.1.1" xref="A7.SS2.p1.2.m2.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p1.2.m2.1b"><ci id="A7.SS2.p1.2.m2.1.1.cmml" xref="A7.SS2.p1.2.m2.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p1.2.m2.1c">V</annotation></semantics></math> or any diagonal element of <math id="A7.SS2.p1.3.m3.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A7.SS2.p1.3.m3.1a"><mi id="A7.SS2.p1.3.m3.1.1" xref="A7.SS2.p1.3.m3.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p1.3.m3.1b"><ci id="A7.SS2.p1.3.m3.1.1.cmml" xref="A7.SS2.p1.3.m3.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p1.3.m3.1c">B</annotation></semantics></math> to zero. We can only update <math id="A7.SS2.p1.4.m4.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.SS2.p1.4.m4.1a"><mi id="A7.SS2.p1.4.m4.1.1" xref="A7.SS2.p1.4.m4.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p1.4.m4.1b"><ci id="A7.SS2.p1.4.m4.1.1.cmml" xref="A7.SS2.p1.4.m4.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p1.4.m4.1c">U</annotation></semantics></math> and <math id="A7.SS2.p1.5.m5.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A7.SS2.p1.5.m5.1a"><mi id="A7.SS2.p1.5.m5.1.1" xref="A7.SS2.p1.5.m5.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p1.5.m5.1b"><ci id="A7.SS2.p1.5.m5.1.1.cmml" xref="A7.SS2.p1.5.m5.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p1.5.m5.1c">V</annotation></semantics></math> sequentially. In my implementations, I update either <math id="A7.SS2.p1.6.m6.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.SS2.p1.6.m6.1a"><mi id="A7.SS2.p1.6.m6.1.1" xref="A7.SS2.p1.6.m6.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p1.6.m6.1b"><ci id="A7.SS2.p1.6.m6.1.1.cmml" xref="A7.SS2.p1.6.m6.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p1.6.m6.1c">U</annotation></semantics></math> or <math id="A7.SS2.p1.7.m7.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A7.SS2.p1.7.m7.1a"><mi id="A7.SS2.p1.7.m7.1.1" xref="A7.SS2.p1.7.m7.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p1.7.m7.1b"><ci id="A7.SS2.p1.7.m7.1.1.cmml" xref="A7.SS2.p1.7.m7.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p1.7.m7.1c">V</annotation></semantics></math> in a single step, determined in a random way, to save computations. I call it the UVd preconditioner.
Another form, dUV has the same capacity as shown by</p>
<table id="A7.Ex77" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A7.Ex77.m1.8" class="ltx_Math" alttext="(I+UV^{T}){\rm diag}(d)={\rm diag}(d)+U[{\rm diag}(d)V]^{T}={\rm diag}(d)\left\{I+[{\rm diag}(d^{-1})U][{\rm diag}(d)V]^{T}\right\}" display="block"><semantics id="A7.Ex77.m1.8a"><mrow id="A7.Ex77.m1.8.8" xref="A7.Ex77.m1.8.8.cmml"><mrow id="A7.Ex77.m1.6.6.1" xref="A7.Ex77.m1.6.6.1.cmml"><mrow id="A7.Ex77.m1.6.6.1.1.1" xref="A7.Ex77.m1.6.6.1.1.1.1.cmml"><mo stretchy="false" id="A7.Ex77.m1.6.6.1.1.1.2" xref="A7.Ex77.m1.6.6.1.1.1.1.cmml">(</mo><mrow id="A7.Ex77.m1.6.6.1.1.1.1" xref="A7.Ex77.m1.6.6.1.1.1.1.cmml"><mi id="A7.Ex77.m1.6.6.1.1.1.1.2" xref="A7.Ex77.m1.6.6.1.1.1.1.2.cmml">I</mi><mo id="A7.Ex77.m1.6.6.1.1.1.1.1" xref="A7.Ex77.m1.6.6.1.1.1.1.1.cmml">+</mo><mrow id="A7.Ex77.m1.6.6.1.1.1.1.3" xref="A7.Ex77.m1.6.6.1.1.1.1.3.cmml"><mi id="A7.Ex77.m1.6.6.1.1.1.1.3.2" xref="A7.Ex77.m1.6.6.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.6.6.1.1.1.1.3.1" xref="A7.Ex77.m1.6.6.1.1.1.1.3.1.cmml">​</mo><msup id="A7.Ex77.m1.6.6.1.1.1.1.3.3" xref="A7.Ex77.m1.6.6.1.1.1.1.3.3.cmml"><mi id="A7.Ex77.m1.6.6.1.1.1.1.3.3.2" xref="A7.Ex77.m1.6.6.1.1.1.1.3.3.2.cmml">V</mi><mi id="A7.Ex77.m1.6.6.1.1.1.1.3.3.3" xref="A7.Ex77.m1.6.6.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A7.Ex77.m1.6.6.1.1.1.3" xref="A7.Ex77.m1.6.6.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.6.6.1.2" xref="A7.Ex77.m1.6.6.1.2.cmml">​</mo><mi id="A7.Ex77.m1.6.6.1.3" xref="A7.Ex77.m1.6.6.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.6.6.1.2a" xref="A7.Ex77.m1.6.6.1.2.cmml">​</mo><mrow id="A7.Ex77.m1.6.6.1.4.2" xref="A7.Ex77.m1.6.6.1.cmml"><mo stretchy="false" id="A7.Ex77.m1.6.6.1.4.2.1" xref="A7.Ex77.m1.6.6.1.cmml">(</mo><mi id="A7.Ex77.m1.1.1" xref="A7.Ex77.m1.1.1.cmml">d</mi><mo stretchy="false" id="A7.Ex77.m1.6.6.1.4.2.2" xref="A7.Ex77.m1.6.6.1.cmml">)</mo></mrow></mrow><mo id="A7.Ex77.m1.8.8.5" xref="A7.Ex77.m1.8.8.5.cmml">=</mo><mrow id="A7.Ex77.m1.7.7.2" xref="A7.Ex77.m1.7.7.2.cmml"><mrow id="A7.Ex77.m1.7.7.2.3" xref="A7.Ex77.m1.7.7.2.3.cmml"><mi id="A7.Ex77.m1.7.7.2.3.2" xref="A7.Ex77.m1.7.7.2.3.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.7.7.2.3.1" xref="A7.Ex77.m1.7.7.2.3.1.cmml">​</mo><mrow id="A7.Ex77.m1.7.7.2.3.3.2" xref="A7.Ex77.m1.7.7.2.3.cmml"><mo stretchy="false" id="A7.Ex77.m1.7.7.2.3.3.2.1" xref="A7.Ex77.m1.7.7.2.3.cmml">(</mo><mi id="A7.Ex77.m1.2.2" xref="A7.Ex77.m1.2.2.cmml">d</mi><mo stretchy="false" id="A7.Ex77.m1.7.7.2.3.3.2.2" xref="A7.Ex77.m1.7.7.2.3.cmml">)</mo></mrow></mrow><mo id="A7.Ex77.m1.7.7.2.2" xref="A7.Ex77.m1.7.7.2.2.cmml">+</mo><mrow id="A7.Ex77.m1.7.7.2.1" xref="A7.Ex77.m1.7.7.2.1.cmml"><mi id="A7.Ex77.m1.7.7.2.1.3" xref="A7.Ex77.m1.7.7.2.1.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.7.7.2.1.2" xref="A7.Ex77.m1.7.7.2.1.2.cmml">​</mo><msup id="A7.Ex77.m1.7.7.2.1.1" xref="A7.Ex77.m1.7.7.2.1.1.cmml"><mrow id="A7.Ex77.m1.7.7.2.1.1.1.1" xref="A7.Ex77.m1.7.7.2.1.1.1.2.cmml"><mo stretchy="false" id="A7.Ex77.m1.7.7.2.1.1.1.1.2" xref="A7.Ex77.m1.7.7.2.1.1.1.2.1.cmml">[</mo><mrow id="A7.Ex77.m1.7.7.2.1.1.1.1.1" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.cmml"><mi id="A7.Ex77.m1.7.7.2.1.1.1.1.1.2" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.7.7.2.1.1.1.1.1.1" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.1.cmml">​</mo><mrow id="A7.Ex77.m1.7.7.2.1.1.1.1.1.3.2" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.cmml"><mo stretchy="false" id="A7.Ex77.m1.7.7.2.1.1.1.1.1.3.2.1" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.cmml">(</mo><mi id="A7.Ex77.m1.3.3" xref="A7.Ex77.m1.3.3.cmml">d</mi><mo stretchy="false" id="A7.Ex77.m1.7.7.2.1.1.1.1.1.3.2.2" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.7.7.2.1.1.1.1.1.1a" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.1.cmml">​</mo><mi id="A7.Ex77.m1.7.7.2.1.1.1.1.1.4" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.4.cmml">V</mi></mrow><mo stretchy="false" id="A7.Ex77.m1.7.7.2.1.1.1.1.3" xref="A7.Ex77.m1.7.7.2.1.1.1.2.1.cmml">]</mo></mrow><mi id="A7.Ex77.m1.7.7.2.1.1.3" xref="A7.Ex77.m1.7.7.2.1.1.3.cmml">T</mi></msup></mrow></mrow><mo id="A7.Ex77.m1.8.8.6" xref="A7.Ex77.m1.8.8.6.cmml">=</mo><mrow id="A7.Ex77.m1.8.8.3" xref="A7.Ex77.m1.8.8.3.cmml"><mi id="A7.Ex77.m1.8.8.3.3" xref="A7.Ex77.m1.8.8.3.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.8.8.3.2" xref="A7.Ex77.m1.8.8.3.2.cmml">​</mo><mrow id="A7.Ex77.m1.8.8.3.4.2" xref="A7.Ex77.m1.8.8.3.cmml"><mo stretchy="false" id="A7.Ex77.m1.8.8.3.4.2.1" xref="A7.Ex77.m1.8.8.3.cmml">(</mo><mi id="A7.Ex77.m1.4.4" xref="A7.Ex77.m1.4.4.cmml">d</mi><mo stretchy="false" id="A7.Ex77.m1.8.8.3.4.2.2" xref="A7.Ex77.m1.8.8.3.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.8.8.3.2a" xref="A7.Ex77.m1.8.8.3.2.cmml">​</mo><mrow id="A7.Ex77.m1.8.8.3.1.1" xref="A7.Ex77.m1.8.8.3.1.2.cmml"><mo id="A7.Ex77.m1.8.8.3.1.1.2" xref="A7.Ex77.m1.8.8.3.1.2.cmml">{</mo><mrow id="A7.Ex77.m1.8.8.3.1.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.cmml"><mi id="A7.Ex77.m1.8.8.3.1.1.1.4" xref="A7.Ex77.m1.8.8.3.1.1.1.4.cmml">I</mi><mo id="A7.Ex77.m1.8.8.3.1.1.1.3" xref="A7.Ex77.m1.8.8.3.1.1.1.3.cmml">+</mo><mrow id="A7.Ex77.m1.8.8.3.1.1.1.2" xref="A7.Ex77.m1.8.8.3.1.1.1.2.cmml"><mrow id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.2" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.cmml"><mi id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.3" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.2" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.2" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msup id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.2" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.2.cmml">d</mi><mrow id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.cmml"><mo id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3a" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.cmml">−</mo><mn id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.2" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.3" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.2a" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.2.cmml">​</mo><mi id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.4" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.4.cmml">U</mi></mrow><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.3" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.8.8.3.1.1.1.2.3" xref="A7.Ex77.m1.8.8.3.1.1.1.2.3.cmml">​</mo><msup id="A7.Ex77.m1.8.8.3.1.1.1.2.2" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.cmml"><mrow id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.2.cmml"><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.2" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.2.1.cmml">[</mo><mrow id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.cmml"><mi id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.2" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.1" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.1.cmml">​</mo><mrow id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.3.2" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.3.2.1" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.cmml">(</mo><mi id="A7.Ex77.m1.5.5" xref="A7.Ex77.m1.5.5.cmml">d</mi><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.3.2.2" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.1a" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.1.cmml">​</mo><mi id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.4" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.4.cmml">V</mi></mrow><mo stretchy="false" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.3" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.2.1.cmml">]</mo></mrow><mi id="A7.Ex77.m1.8.8.3.1.1.1.2.2.3" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.3.cmml">T</mi></msup></mrow></mrow><mo id="A7.Ex77.m1.8.8.3.1.1.3" xref="A7.Ex77.m1.8.8.3.1.2.cmml">}</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A7.Ex77.m1.8b"><apply id="A7.Ex77.m1.8.8.cmml" xref="A7.Ex77.m1.8.8"><and id="A7.Ex77.m1.8.8a.cmml" xref="A7.Ex77.m1.8.8"></and><apply id="A7.Ex77.m1.8.8b.cmml" xref="A7.Ex77.m1.8.8"><eq id="A7.Ex77.m1.8.8.5.cmml" xref="A7.Ex77.m1.8.8.5"></eq><apply id="A7.Ex77.m1.6.6.1.cmml" xref="A7.Ex77.m1.6.6.1"><times id="A7.Ex77.m1.6.6.1.2.cmml" xref="A7.Ex77.m1.6.6.1.2"></times><apply id="A7.Ex77.m1.6.6.1.1.1.1.cmml" xref="A7.Ex77.m1.6.6.1.1.1"><plus id="A7.Ex77.m1.6.6.1.1.1.1.1.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.1"></plus><ci id="A7.Ex77.m1.6.6.1.1.1.1.2.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.2">𝐼</ci><apply id="A7.Ex77.m1.6.6.1.1.1.1.3.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.3"><times id="A7.Ex77.m1.6.6.1.1.1.1.3.1.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.3.1"></times><ci id="A7.Ex77.m1.6.6.1.1.1.1.3.2.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.3.2">𝑈</ci><apply id="A7.Ex77.m1.6.6.1.1.1.1.3.3.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A7.Ex77.m1.6.6.1.1.1.1.3.3.1.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.3.3">superscript</csymbol><ci id="A7.Ex77.m1.6.6.1.1.1.1.3.3.2.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.3.3.2">𝑉</ci><ci id="A7.Ex77.m1.6.6.1.1.1.1.3.3.3.cmml" xref="A7.Ex77.m1.6.6.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply><ci id="A7.Ex77.m1.6.6.1.3.cmml" xref="A7.Ex77.m1.6.6.1.3">diag</ci><ci id="A7.Ex77.m1.1.1.cmml" xref="A7.Ex77.m1.1.1">𝑑</ci></apply><apply id="A7.Ex77.m1.7.7.2.cmml" xref="A7.Ex77.m1.7.7.2"><plus id="A7.Ex77.m1.7.7.2.2.cmml" xref="A7.Ex77.m1.7.7.2.2"></plus><apply id="A7.Ex77.m1.7.7.2.3.cmml" xref="A7.Ex77.m1.7.7.2.3"><times id="A7.Ex77.m1.7.7.2.3.1.cmml" xref="A7.Ex77.m1.7.7.2.3.1"></times><ci id="A7.Ex77.m1.7.7.2.3.2.cmml" xref="A7.Ex77.m1.7.7.2.3.2">diag</ci><ci id="A7.Ex77.m1.2.2.cmml" xref="A7.Ex77.m1.2.2">𝑑</ci></apply><apply id="A7.Ex77.m1.7.7.2.1.cmml" xref="A7.Ex77.m1.7.7.2.1"><times id="A7.Ex77.m1.7.7.2.1.2.cmml" xref="A7.Ex77.m1.7.7.2.1.2"></times><ci id="A7.Ex77.m1.7.7.2.1.3.cmml" xref="A7.Ex77.m1.7.7.2.1.3">𝑈</ci><apply id="A7.Ex77.m1.7.7.2.1.1.cmml" xref="A7.Ex77.m1.7.7.2.1.1"><csymbol cd="ambiguous" id="A7.Ex77.m1.7.7.2.1.1.2.cmml" xref="A7.Ex77.m1.7.7.2.1.1">superscript</csymbol><apply id="A7.Ex77.m1.7.7.2.1.1.1.2.cmml" xref="A7.Ex77.m1.7.7.2.1.1.1.1"><csymbol cd="latexml" id="A7.Ex77.m1.7.7.2.1.1.1.2.1.cmml" xref="A7.Ex77.m1.7.7.2.1.1.1.1.2">delimited-[]</csymbol><apply id="A7.Ex77.m1.7.7.2.1.1.1.1.1.cmml" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1"><times id="A7.Ex77.m1.7.7.2.1.1.1.1.1.1.cmml" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.1"></times><ci id="A7.Ex77.m1.7.7.2.1.1.1.1.1.2.cmml" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.2">diag</ci><ci id="A7.Ex77.m1.3.3.cmml" xref="A7.Ex77.m1.3.3">𝑑</ci><ci id="A7.Ex77.m1.7.7.2.1.1.1.1.1.4.cmml" xref="A7.Ex77.m1.7.7.2.1.1.1.1.1.4">𝑉</ci></apply></apply><ci id="A7.Ex77.m1.7.7.2.1.1.3.cmml" xref="A7.Ex77.m1.7.7.2.1.1.3">𝑇</ci></apply></apply></apply></apply><apply id="A7.Ex77.m1.8.8c.cmml" xref="A7.Ex77.m1.8.8"><eq id="A7.Ex77.m1.8.8.6.cmml" xref="A7.Ex77.m1.8.8.6"></eq><share href="#A7.Ex77.m1.7.7.2.cmml" id="A7.Ex77.m1.8.8d.cmml" xref="A7.Ex77.m1.8.8"></share><apply id="A7.Ex77.m1.8.8.3.cmml" xref="A7.Ex77.m1.8.8.3"><times id="A7.Ex77.m1.8.8.3.2.cmml" xref="A7.Ex77.m1.8.8.3.2"></times><ci id="A7.Ex77.m1.8.8.3.3.cmml" xref="A7.Ex77.m1.8.8.3.3">diag</ci><ci id="A7.Ex77.m1.4.4.cmml" xref="A7.Ex77.m1.4.4">𝑑</ci><set id="A7.Ex77.m1.8.8.3.1.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1"><apply id="A7.Ex77.m1.8.8.3.1.1.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1"><plus id="A7.Ex77.m1.8.8.3.1.1.1.3.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.3"></plus><ci id="A7.Ex77.m1.8.8.3.1.1.1.4.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.4">𝐼</ci><apply id="A7.Ex77.m1.8.8.3.1.1.1.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2"><times id="A7.Ex77.m1.8.8.3.1.1.1.2.3.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.3"></times><apply id="A7.Ex77.m1.8.8.3.1.1.1.1.1.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1"><csymbol cd="latexml" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.2.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1"><times id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.2"></times><ci id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.3.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.3">diag</ci><apply id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1">superscript</csymbol><ci id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.2">𝑑</ci><apply id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3"><minus id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3"></minus><cn type="integer" id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.1.1.1.3.2">1</cn></apply></apply><ci id="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.4.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.1.1.1.1.4">𝑈</ci></apply></apply><apply id="A7.Ex77.m1.8.8.3.1.1.1.2.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2"><csymbol cd="ambiguous" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2">superscript</csymbol><apply id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1"><csymbol cd="latexml" id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.2.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.2">delimited-[]</csymbol><apply id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1"><times id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.1.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.1"></times><ci id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.2.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.2">diag</ci><ci id="A7.Ex77.m1.5.5.cmml" xref="A7.Ex77.m1.5.5">𝑑</ci><ci id="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.4.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.1.1.1.4">𝑉</ci></apply></apply><ci id="A7.Ex77.m1.8.8.3.1.1.1.2.2.3.cmml" xref="A7.Ex77.m1.8.8.3.1.1.1.2.2.3">𝑇</ci></apply></apply></apply></set></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.Ex77.m1.8c">(I+UV^{T}){\rm diag}(d)={\rm diag}(d)+U[{\rm diag}(d)V]^{T}={\rm diag}(d)\left\{I+[{\rm diag}(d^{-1})U][{\rm diag}(d)V]^{T}\right\}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A7.SS2.p2" class="ltx_para">
<p id="A7.SS2.p2.6" class="ltx_p">The Woodbury matrix identity turns <math id="A7.SS2.p2.1.m1.1" class="ltx_Math" alttext="Q^{-T}v" display="inline"><semantics id="A7.SS2.p2.1.m1.1a"><mrow id="A7.SS2.p2.1.m1.1.1" xref="A7.SS2.p2.1.m1.1.1.cmml"><msup id="A7.SS2.p2.1.m1.1.1.2" xref="A7.SS2.p2.1.m1.1.1.2.cmml"><mi id="A7.SS2.p2.1.m1.1.1.2.2" xref="A7.SS2.p2.1.m1.1.1.2.2.cmml">Q</mi><mrow id="A7.SS2.p2.1.m1.1.1.2.3" xref="A7.SS2.p2.1.m1.1.1.2.3.cmml"><mo id="A7.SS2.p2.1.m1.1.1.2.3a" xref="A7.SS2.p2.1.m1.1.1.2.3.cmml">−</mo><mi id="A7.SS2.p2.1.m1.1.1.2.3.2" xref="A7.SS2.p2.1.m1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A7.SS2.p2.1.m1.1.1.1" xref="A7.SS2.p2.1.m1.1.1.1.cmml">​</mo><mi id="A7.SS2.p2.1.m1.1.1.3" xref="A7.SS2.p2.1.m1.1.1.3.cmml">v</mi></mrow><annotation-xml encoding="MathML-Content" id="A7.SS2.p2.1.m1.1b"><apply id="A7.SS2.p2.1.m1.1.1.cmml" xref="A7.SS2.p2.1.m1.1.1"><times id="A7.SS2.p2.1.m1.1.1.1.cmml" xref="A7.SS2.p2.1.m1.1.1.1"></times><apply id="A7.SS2.p2.1.m1.1.1.2.cmml" xref="A7.SS2.p2.1.m1.1.1.2"><csymbol cd="ambiguous" id="A7.SS2.p2.1.m1.1.1.2.1.cmml" xref="A7.SS2.p2.1.m1.1.1.2">superscript</csymbol><ci id="A7.SS2.p2.1.m1.1.1.2.2.cmml" xref="A7.SS2.p2.1.m1.1.1.2.2">𝑄</ci><apply id="A7.SS2.p2.1.m1.1.1.2.3.cmml" xref="A7.SS2.p2.1.m1.1.1.2.3"><minus id="A7.SS2.p2.1.m1.1.1.2.3.1.cmml" xref="A7.SS2.p2.1.m1.1.1.2.3"></minus><ci id="A7.SS2.p2.1.m1.1.1.2.3.2.cmml" xref="A7.SS2.p2.1.m1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A7.SS2.p2.1.m1.1.1.3.cmml" xref="A7.SS2.p2.1.m1.1.1.3">𝑣</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p2.1.m1.1c">Q^{-T}v</annotation></semantics></math> into solving for a system of <math id="A7.SS2.p2.2.m2.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A7.SS2.p2.2.m2.1a"><mi id="A7.SS2.p2.2.m2.1.1" xref="A7.SS2.p2.2.m2.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p2.2.m2.1b"><ci id="A7.SS2.p2.2.m2.1.1.cmml" xref="A7.SS2.p2.2.m2.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p2.2.m2.1c">r</annotation></semantics></math> linear equations, where <math id="A7.SS2.p2.3.m3.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A7.SS2.p2.3.m3.1a"><mi id="A7.SS2.p2.3.m3.1.1" xref="A7.SS2.p2.3.m3.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p2.3.m3.1b"><ci id="A7.SS2.p2.3.m3.1.1.cmml" xref="A7.SS2.p2.3.m3.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p2.3.m3.1c">r</annotation></semantics></math> is the rank of <math id="A7.SS2.p2.4.m4.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A7.SS2.p2.4.m4.1a"><mi id="A7.SS2.p2.4.m4.1.1" xref="A7.SS2.p2.4.m4.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p2.4.m4.1b"><ci id="A7.SS2.p2.4.m4.1.1.cmml" xref="A7.SS2.p2.4.m4.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p2.4.m4.1c">U</annotation></semantics></math> and <math id="A7.SS2.p2.5.m5.1" class="ltx_Math" alttext="V" display="inline"><semantics id="A7.SS2.p2.5.m5.1a"><mi id="A7.SS2.p2.5.m5.1.1" xref="A7.SS2.p2.5.m5.1.1.cmml">V</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p2.5.m5.1b"><ci id="A7.SS2.p2.5.m5.1.1.cmml" xref="A7.SS2.p2.5.m5.1.1">𝑉</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p2.5.m5.1c">V</annotation></semantics></math>.
Table <a href="#A7.T8" title="Table 8 ‣ G.2 Practical considerations ‣ Appendix G More on: Lie Groups, Preconditioners and Practical Considerations ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">8</span></a> summarizes the wall time comparison results on a few typical solvers.
We see that their efficiency varies a lot.
The fastest one is about two orders of magnitude faster than the slowest one for <math id="A7.SS2.p2.6.m6.1" class="ltx_Math" alttext="r=10" display="inline"><semantics id="A7.SS2.p2.6.m6.1a"><mrow id="A7.SS2.p2.6.m6.1.1" xref="A7.SS2.p2.6.m6.1.1.cmml"><mi id="A7.SS2.p2.6.m6.1.1.2" xref="A7.SS2.p2.6.m6.1.1.2.cmml">r</mi><mo id="A7.SS2.p2.6.m6.1.1.1" xref="A7.SS2.p2.6.m6.1.1.1.cmml">=</mo><mn id="A7.SS2.p2.6.m6.1.1.3" xref="A7.SS2.p2.6.m6.1.1.3.cmml">10</mn></mrow><annotation-xml encoding="MathML-Content" id="A7.SS2.p2.6.m6.1b"><apply id="A7.SS2.p2.6.m6.1.1.cmml" xref="A7.SS2.p2.6.m6.1.1"><eq id="A7.SS2.p2.6.m6.1.1.1.cmml" xref="A7.SS2.p2.6.m6.1.1.1"></eq><ci id="A7.SS2.p2.6.m6.1.1.2.cmml" xref="A7.SS2.p2.6.m6.1.1.2">𝑟</ci><cn type="integer" id="A7.SS2.p2.6.m6.1.1.3.cmml" xref="A7.SS2.p2.6.m6.1.1.3">10</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p2.6.m6.1c">r=10</annotation></semantics></math>.
A poor combination of hardware and solver could slow down the updating of this preconditioner.</p>
</div>
<figure id="A7.T8" class="ltx_table">
<figcaption class="ltx_caption ltx_centering" style="font-size:90%;"><span class="ltx_tag ltx_tag_table">Table 8: </span>Mean wall time (ms) over 3000 runs on solving the system of <math id="A7.T8.3.3.m1.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A7.T8.3.3.m1.1b"><mi id="A7.T8.3.3.m1.1.1" xref="A7.T8.3.3.m1.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A7.T8.3.3.m1.1c"><ci id="A7.T8.3.3.m1.1.1.cmml" xref="A7.T8.3.3.m1.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T8.3.3.m1.1d">r</annotation></semantics></math> linear equations, <math id="A7.T8.4.4.m2.1" class="ltx_Math" alttext="Ax=b" display="inline"><semantics id="A7.T8.4.4.m2.1b"><mrow id="A7.T8.4.4.m2.1.1" xref="A7.T8.4.4.m2.1.1.cmml"><mrow id="A7.T8.4.4.m2.1.1.2" xref="A7.T8.4.4.m2.1.1.2.cmml"><mi id="A7.T8.4.4.m2.1.1.2.2" xref="A7.T8.4.4.m2.1.1.2.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A7.T8.4.4.m2.1.1.2.1" xref="A7.T8.4.4.m2.1.1.2.1.cmml">​</mo><mi id="A7.T8.4.4.m2.1.1.2.3" xref="A7.T8.4.4.m2.1.1.2.3.cmml">x</mi></mrow><mo id="A7.T8.4.4.m2.1.1.1" xref="A7.T8.4.4.m2.1.1.1.cmml">=</mo><mi id="A7.T8.4.4.m2.1.1.3" xref="A7.T8.4.4.m2.1.1.3.cmml">b</mi></mrow><annotation-xml encoding="MathML-Content" id="A7.T8.4.4.m2.1c"><apply id="A7.T8.4.4.m2.1.1.cmml" xref="A7.T8.4.4.m2.1.1"><eq id="A7.T8.4.4.m2.1.1.1.cmml" xref="A7.T8.4.4.m2.1.1.1"></eq><apply id="A7.T8.4.4.m2.1.1.2.cmml" xref="A7.T8.4.4.m2.1.1.2"><times id="A7.T8.4.4.m2.1.1.2.1.cmml" xref="A7.T8.4.4.m2.1.1.2.1"></times><ci id="A7.T8.4.4.m2.1.1.2.2.cmml" xref="A7.T8.4.4.m2.1.1.2.2">𝐴</ci><ci id="A7.T8.4.4.m2.1.1.2.3.cmml" xref="A7.T8.4.4.m2.1.1.2.3">𝑥</ci></apply><ci id="A7.T8.4.4.m2.1.1.3.cmml" xref="A7.T8.4.4.m2.1.1.3">𝑏</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T8.4.4.m2.1d">Ax=b</annotation></semantics></math>. Hardware: Xeon (R) W-2135 CPU, and GeForce RTX 2080 GPU. </figcaption>
<table id="A7.T8.8.8" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A7.T8.7.7.3" class="ltx_tr">
<th id="A7.T8.7.7.3.4" class="ltx_td ltx_th ltx_th_column ltx_border_r"></th>
<th id="A7.T8.5.5.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_r"><math id="A7.T8.5.5.1.1.m1.1" class="ltx_Math" alttext="r=10" display="inline"><semantics id="A7.T8.5.5.1.1.m1.1a"><mrow id="A7.T8.5.5.1.1.m1.1.1" xref="A7.T8.5.5.1.1.m1.1.1.cmml"><mi mathsize="90%" id="A7.T8.5.5.1.1.m1.1.1.2" xref="A7.T8.5.5.1.1.m1.1.1.2.cmml">r</mi><mo mathsize="90%" id="A7.T8.5.5.1.1.m1.1.1.1" xref="A7.T8.5.5.1.1.m1.1.1.1.cmml">=</mo><mn mathsize="90%" id="A7.T8.5.5.1.1.m1.1.1.3" xref="A7.T8.5.5.1.1.m1.1.1.3.cmml">10</mn></mrow><annotation-xml encoding="MathML-Content" id="A7.T8.5.5.1.1.m1.1b"><apply id="A7.T8.5.5.1.1.m1.1.1.cmml" xref="A7.T8.5.5.1.1.m1.1.1"><eq id="A7.T8.5.5.1.1.m1.1.1.1.cmml" xref="A7.T8.5.5.1.1.m1.1.1.1"></eq><ci id="A7.T8.5.5.1.1.m1.1.1.2.cmml" xref="A7.T8.5.5.1.1.m1.1.1.2">𝑟</ci><cn type="integer" id="A7.T8.5.5.1.1.m1.1.1.3.cmml" xref="A7.T8.5.5.1.1.m1.1.1.3">10</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T8.5.5.1.1.m1.1c">r=10</annotation></semantics></math></th>
<th id="A7.T8.6.6.2.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_r"><math id="A7.T8.6.6.2.2.m1.1" class="ltx_Math" alttext="r=100" display="inline"><semantics id="A7.T8.6.6.2.2.m1.1a"><mrow id="A7.T8.6.6.2.2.m1.1.1" xref="A7.T8.6.6.2.2.m1.1.1.cmml"><mi mathsize="90%" id="A7.T8.6.6.2.2.m1.1.1.2" xref="A7.T8.6.6.2.2.m1.1.1.2.cmml">r</mi><mo mathsize="90%" id="A7.T8.6.6.2.2.m1.1.1.1" xref="A7.T8.6.6.2.2.m1.1.1.1.cmml">=</mo><mn mathsize="90%" id="A7.T8.6.6.2.2.m1.1.1.3" xref="A7.T8.6.6.2.2.m1.1.1.3.cmml">100</mn></mrow><annotation-xml encoding="MathML-Content" id="A7.T8.6.6.2.2.m1.1b"><apply id="A7.T8.6.6.2.2.m1.1.1.cmml" xref="A7.T8.6.6.2.2.m1.1.1"><eq id="A7.T8.6.6.2.2.m1.1.1.1.cmml" xref="A7.T8.6.6.2.2.m1.1.1.1"></eq><ci id="A7.T8.6.6.2.2.m1.1.1.2.cmml" xref="A7.T8.6.6.2.2.m1.1.1.2">𝑟</ci><cn type="integer" id="A7.T8.6.6.2.2.m1.1.1.3.cmml" xref="A7.T8.6.6.2.2.m1.1.1.3">100</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T8.6.6.2.2.m1.1c">r=100</annotation></semantics></math></th>
<th id="A7.T8.7.7.3.3" class="ltx_td ltx_align_center ltx_th ltx_th_column"><math id="A7.T8.7.7.3.3.m1.1" class="ltx_Math" alttext="r=1000" display="inline"><semantics id="A7.T8.7.7.3.3.m1.1a"><mrow id="A7.T8.7.7.3.3.m1.1.1" xref="A7.T8.7.7.3.3.m1.1.1.cmml"><mi mathsize="90%" id="A7.T8.7.7.3.3.m1.1.1.2" xref="A7.T8.7.7.3.3.m1.1.1.2.cmml">r</mi><mo mathsize="90%" id="A7.T8.7.7.3.3.m1.1.1.1" xref="A7.T8.7.7.3.3.m1.1.1.1.cmml">=</mo><mn mathsize="90%" id="A7.T8.7.7.3.3.m1.1.1.3" xref="A7.T8.7.7.3.3.m1.1.1.3.cmml">1000</mn></mrow><annotation-xml encoding="MathML-Content" id="A7.T8.7.7.3.3.m1.1b"><apply id="A7.T8.7.7.3.3.m1.1.1.cmml" xref="A7.T8.7.7.3.3.m1.1.1"><eq id="A7.T8.7.7.3.3.m1.1.1.1.cmml" xref="A7.T8.7.7.3.3.m1.1.1.1"></eq><ci id="A7.T8.7.7.3.3.m1.1.1.2.cmml" xref="A7.T8.7.7.3.3.m1.1.1.2">𝑟</ci><cn type="integer" id="A7.T8.7.7.3.3.m1.1.1.3.cmml" xref="A7.T8.7.7.3.3.m1.1.1.3">1000</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.T8.7.7.3.3.m1.1c">r=1000</annotation></semantics></math></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A7.T8.8.8.4" class="ltx_tr">
<td id="A7.T8.8.8.4.1" class="ltx_td ltx_align_center ltx_border_r">
<span id="A7.T8.8.8.4.1.1" class="ltx_text" style="font-size:90%;">Matlab (CPU, double, x=A</span><math id="A7.T8.8.8.4.1.m1.1" class="ltx_Math" alttext="\backslash" display="inline"><semantics id="A7.T8.8.8.4.1.m1.1a"><mo mathsize="90%" id="A7.T8.8.8.4.1.m1.1.1" xref="A7.T8.8.8.4.1.m1.1.1.cmml">\</mo><annotation-xml encoding="MathML-Content" id="A7.T8.8.8.4.1.m1.1b"><ci id="A7.T8.8.8.4.1.m1.1.1.cmml" xref="A7.T8.8.8.4.1.m1.1.1">\</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.T8.8.8.4.1.m1.1c">\backslash</annotation></semantics></math><span id="A7.T8.8.8.4.1.2" class="ltx_text" style="font-size:90%;">b)</span>
</td>
<td id="A7.T8.8.8.4.2" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.4.2.1" class="ltx_text" style="font-size:90%;">0.0078</span></td>
<td id="A7.T8.8.8.4.3" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.4.3.1" class="ltx_text" style="font-size:90%;">0.10</span></td>
<td id="A7.T8.8.8.4.4" class="ltx_td ltx_align_center"><span id="A7.T8.8.8.4.4.1" class="ltx_text" style="font-size:90%;">14.2</span></td>
</tr>
<tr id="A7.T8.8.8.5.1" class="ltx_tr">
<td id="A7.T8.8.8.5.1.1" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.5.1.1.1" class="ltx_text" style="font-size:90%;">Numpy (CPU, double, x=np.linalg.solve(A,b)</span></td>
<td id="A7.T8.8.8.5.1.2" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.5.1.2.1" class="ltx_text" style="font-size:90%;">0.17</span></td>
<td id="A7.T8.8.8.5.1.3" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.5.1.3.1" class="ltx_text" style="font-size:90%;">6.7</span></td>
<td id="A7.T8.8.8.5.1.4" class="ltx_td ltx_align_center"><span id="A7.T8.8.8.5.1.4.1" class="ltx_text" style="font-size:90%;">57.2</span></td>
</tr>
<tr id="A7.T8.8.8.6.2" class="ltx_tr">
<td id="A7.T8.8.8.6.2.1" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.6.2.1.1" class="ltx_text" style="font-size:90%;">Scipy (CPU, double, x=scipy.linalg.solve(A,b)</span></td>
<td id="A7.T8.8.8.6.2.2" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.6.2.2.1" class="ltx_text" style="font-size:90%;">0.016</span></td>
<td id="A7.T8.8.8.6.2.3" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.6.2.3.1" class="ltx_text" style="font-size:90%;">0.14</span></td>
<td id="A7.T8.8.8.6.2.4" class="ltx_td ltx_align_center"><span id="A7.T8.8.8.6.2.4.1" class="ltx_text" style="font-size:90%;">20.5</span></td>
</tr>
<tr id="A7.T8.8.8.7.3" class="ltx_tr">
<td id="A7.T8.8.8.7.3.1" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.7.3.1.1" class="ltx_text" style="font-size:90%;">Pytorch (GPU, single, x=torch.linalg.solve(A,b)</span></td>
<td id="A7.T8.8.8.7.3.2" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.7.3.2.1" class="ltx_text" style="font-size:90%;">0.17</span></td>
<td id="A7.T8.8.8.7.3.3" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.7.3.3.1" class="ltx_text" style="font-size:90%;">0.53</span></td>
<td id="A7.T8.8.8.7.3.4" class="ltx_td ltx_align_center"><span id="A7.T8.8.8.7.3.4.1" class="ltx_text" style="font-size:90%;">6.2</span></td>
</tr>
<tr id="A7.T8.8.8.8.4" class="ltx_tr">
<td id="A7.T8.8.8.8.4.1" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.8.4.1.1" class="ltx_text" style="font-size:90%;">Tensorflow (GPU, single, x=tf.linalg.solve(A,b)</span></td>
<td id="A7.T8.8.8.8.4.2" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.8.4.2.1" class="ltx_text" style="font-size:90%;">0.67</span></td>
<td id="A7.T8.8.8.8.4.3" class="ltx_td ltx_align_center ltx_border_r"><span id="A7.T8.8.8.8.4.3.1" class="ltx_text" style="font-size:90%;">0.92</span></td>
<td id="A7.T8.8.8.8.4.4" class="ltx_td ltx_align_center"><span id="A7.T8.8.8.8.4.4.1" class="ltx_text" style="font-size:90%;">6.6</span></td>
</tr>
</tbody>
</table>
</figure>
<div id="A7.SS2.p3" class="ltx_para">
<p id="A7.SS2.p3.4" class="ltx_p">Note that theoretically, we could use the Woodbury matrix identity to update the inverse of <math id="A7.SS2.p3.1.m1.1" class="ltx_Math" alttext="I+V^{T}U" display="inline"><semantics id="A7.SS2.p3.1.m1.1a"><mrow id="A7.SS2.p3.1.m1.1.1" xref="A7.SS2.p3.1.m1.1.1.cmml"><mi id="A7.SS2.p3.1.m1.1.1.2" xref="A7.SS2.p3.1.m1.1.1.2.cmml">I</mi><mo id="A7.SS2.p3.1.m1.1.1.1" xref="A7.SS2.p3.1.m1.1.1.1.cmml">+</mo><mrow id="A7.SS2.p3.1.m1.1.1.3" xref="A7.SS2.p3.1.m1.1.1.3.cmml"><msup id="A7.SS2.p3.1.m1.1.1.3.2" xref="A7.SS2.p3.1.m1.1.1.3.2.cmml"><mi id="A7.SS2.p3.1.m1.1.1.3.2.2" xref="A7.SS2.p3.1.m1.1.1.3.2.2.cmml">V</mi><mi id="A7.SS2.p3.1.m1.1.1.3.2.3" xref="A7.SS2.p3.1.m1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A7.SS2.p3.1.m1.1.1.3.1" xref="A7.SS2.p3.1.m1.1.1.3.1.cmml">​</mo><mi id="A7.SS2.p3.1.m1.1.1.3.3" xref="A7.SS2.p3.1.m1.1.1.3.3.cmml">U</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A7.SS2.p3.1.m1.1b"><apply id="A7.SS2.p3.1.m1.1.1.cmml" xref="A7.SS2.p3.1.m1.1.1"><plus id="A7.SS2.p3.1.m1.1.1.1.cmml" xref="A7.SS2.p3.1.m1.1.1.1"></plus><ci id="A7.SS2.p3.1.m1.1.1.2.cmml" xref="A7.SS2.p3.1.m1.1.1.2">𝐼</ci><apply id="A7.SS2.p3.1.m1.1.1.3.cmml" xref="A7.SS2.p3.1.m1.1.1.3"><times id="A7.SS2.p3.1.m1.1.1.3.1.cmml" xref="A7.SS2.p3.1.m1.1.1.3.1"></times><apply id="A7.SS2.p3.1.m1.1.1.3.2.cmml" xref="A7.SS2.p3.1.m1.1.1.3.2"><csymbol cd="ambiguous" id="A7.SS2.p3.1.m1.1.1.3.2.1.cmml" xref="A7.SS2.p3.1.m1.1.1.3.2">superscript</csymbol><ci id="A7.SS2.p3.1.m1.1.1.3.2.2.cmml" xref="A7.SS2.p3.1.m1.1.1.3.2.2">𝑉</ci><ci id="A7.SS2.p3.1.m1.1.1.3.2.3.cmml" xref="A7.SS2.p3.1.m1.1.1.3.2.3">𝑇</ci></apply><ci id="A7.SS2.p3.1.m1.1.1.3.3.cmml" xref="A7.SS2.p3.1.m1.1.1.3.3">𝑈</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p3.1.m1.1c">I+V^{T}U</annotation></semantics></math> recursively as well.
However, similar to a Kalman filter, this process could be numerically unstable.
Directly solving the system of linear equations should be cheap enough for a typical <math id="A7.SS2.p3.2.m2.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A7.SS2.p3.2.m2.1a"><mi id="A7.SS2.p3.2.m2.1.1" xref="A7.SS2.p3.2.m2.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p3.2.m2.1b"><ci id="A7.SS2.p3.2.m2.1.1.cmml" xref="A7.SS2.p3.2.m2.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p3.2.m2.1c">r</annotation></semantics></math>, say <math id="A7.SS2.p3.3.m3.1" class="ltx_Math" alttext="1\leq r\leq 20" display="inline"><semantics id="A7.SS2.p3.3.m3.1a"><mrow id="A7.SS2.p3.3.m3.1.1" xref="A7.SS2.p3.3.m3.1.1.cmml"><mn id="A7.SS2.p3.3.m3.1.1.2" xref="A7.SS2.p3.3.m3.1.1.2.cmml">1</mn><mo id="A7.SS2.p3.3.m3.1.1.3" xref="A7.SS2.p3.3.m3.1.1.3.cmml">≤</mo><mi id="A7.SS2.p3.3.m3.1.1.4" xref="A7.SS2.p3.3.m3.1.1.4.cmml">r</mi><mo id="A7.SS2.p3.3.m3.1.1.5" xref="A7.SS2.p3.3.m3.1.1.5.cmml">≤</mo><mn id="A7.SS2.p3.3.m3.1.1.6" xref="A7.SS2.p3.3.m3.1.1.6.cmml">20</mn></mrow><annotation-xml encoding="MathML-Content" id="A7.SS2.p3.3.m3.1b"><apply id="A7.SS2.p3.3.m3.1.1.cmml" xref="A7.SS2.p3.3.m3.1.1"><and id="A7.SS2.p3.3.m3.1.1a.cmml" xref="A7.SS2.p3.3.m3.1.1"></and><apply id="A7.SS2.p3.3.m3.1.1b.cmml" xref="A7.SS2.p3.3.m3.1.1"><leq id="A7.SS2.p3.3.m3.1.1.3.cmml" xref="A7.SS2.p3.3.m3.1.1.3"></leq><cn type="integer" id="A7.SS2.p3.3.m3.1.1.2.cmml" xref="A7.SS2.p3.3.m3.1.1.2">1</cn><ci id="A7.SS2.p3.3.m3.1.1.4.cmml" xref="A7.SS2.p3.3.m3.1.1.4">𝑟</ci></apply><apply id="A7.SS2.p3.3.m3.1.1c.cmml" xref="A7.SS2.p3.3.m3.1.1"><leq id="A7.SS2.p3.3.m3.1.1.5.cmml" xref="A7.SS2.p3.3.m3.1.1.5"></leq><share href="#A7.SS2.p3.3.m3.1.1.4.cmml" id="A7.SS2.p3.3.m3.1.1d.cmml" xref="A7.SS2.p3.3.m3.1.1"></share><cn type="integer" id="A7.SS2.p3.3.m3.1.1.6.cmml" xref="A7.SS2.p3.3.m3.1.1.6">20</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p3.3.m3.1c">1\leq r\leq 20</annotation></semantics></math>.
Again, the low efficiency of certain linear solvers for a small <math id="A7.SS2.p3.4.m4.1" class="ltx_Math" alttext="r" display="inline"><semantics id="A7.SS2.p3.4.m4.1a"><mi id="A7.SS2.p3.4.m4.1.1" xref="A7.SS2.p3.4.m4.1.1.cmml">r</mi><annotation-xml encoding="MathML-Content" id="A7.SS2.p3.4.m4.1b"><ci id="A7.SS2.p3.4.m4.1.1.cmml" xref="A7.SS2.p3.4.m4.1.1">𝑟</ci></annotation-xml><annotation encoding="application/x-tex" id="A7.SS2.p3.4.m4.1c">r</annotation></semantics></math> is another issue, but solvable.</p>
</div>
</section>
</section>
<section id="A8" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix H </span>Hessians with certain structures </h2>

<div id="A8.p1" class="ltx_para">
<p id="A8.p1.1" class="ltx_p">One import family is the preconditioners for a list of affine transform matrices studied in <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib25" title="" class="ltx_ref">2019</a>]</cite>.
Here we discuss some other ideas.</p>
</div>
<section id="A8.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">H.1 </span>Band Hessian</h3>

<div id="A8.SS1.p1" class="ltx_para">
<p id="A8.SS1.p1.1" class="ltx_p">The most common assumption is that the Hessian is roughly a band matrix if parameters far away are not strongly coupled. Still, band matrices generally do not form groups, and their inverses are not necessarily band-limited. To obtain a tractable solution, we can approximate <math id="A8.SS1.p1.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A8.SS1.p1.1.m1.1a"><mi id="A8.SS1.p1.1.m1.1.1" xref="A8.SS1.p1.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.1.m1.1b"><ci id="A8.SS1.p1.1.m1.1.1.cmml" xref="A8.SS1.p1.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.1.m1.1c">Q</annotation></semantics></math> with</p>
<table id="A8.Ex78" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex78.m1.1" class="ltx_Math" alttext="Q=(C^{-1}AC)B" display="block"><semantics id="A8.Ex78.m1.1a"><mrow id="A8.Ex78.m1.1.1" xref="A8.Ex78.m1.1.1.cmml"><mi id="A8.Ex78.m1.1.1.3" xref="A8.Ex78.m1.1.1.3.cmml">Q</mi><mo id="A8.Ex78.m1.1.1.2" xref="A8.Ex78.m1.1.1.2.cmml">=</mo><mrow id="A8.Ex78.m1.1.1.1" xref="A8.Ex78.m1.1.1.1.cmml"><mrow id="A8.Ex78.m1.1.1.1.1.1" xref="A8.Ex78.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A8.Ex78.m1.1.1.1.1.1.2" xref="A8.Ex78.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A8.Ex78.m1.1.1.1.1.1.1" xref="A8.Ex78.m1.1.1.1.1.1.1.cmml"><msup id="A8.Ex78.m1.1.1.1.1.1.1.2" xref="A8.Ex78.m1.1.1.1.1.1.1.2.cmml"><mi id="A8.Ex78.m1.1.1.1.1.1.1.2.2" xref="A8.Ex78.m1.1.1.1.1.1.1.2.2.cmml">C</mi><mrow id="A8.Ex78.m1.1.1.1.1.1.1.2.3" xref="A8.Ex78.m1.1.1.1.1.1.1.2.3.cmml"><mo id="A8.Ex78.m1.1.1.1.1.1.1.2.3a" xref="A8.Ex78.m1.1.1.1.1.1.1.2.3.cmml">−</mo><mn id="A8.Ex78.m1.1.1.1.1.1.1.2.3.2" xref="A8.Ex78.m1.1.1.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A8.Ex78.m1.1.1.1.1.1.1.1" xref="A8.Ex78.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex78.m1.1.1.1.1.1.1.3" xref="A8.Ex78.m1.1.1.1.1.1.1.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex78.m1.1.1.1.1.1.1.1a" xref="A8.Ex78.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex78.m1.1.1.1.1.1.1.4" xref="A8.Ex78.m1.1.1.1.1.1.1.4.cmml">C</mi></mrow><mo stretchy="false" id="A8.Ex78.m1.1.1.1.1.1.3" xref="A8.Ex78.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A8.Ex78.m1.1.1.1.2" xref="A8.Ex78.m1.1.1.1.2.cmml">​</mo><mi id="A8.Ex78.m1.1.1.1.3" xref="A8.Ex78.m1.1.1.1.3.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex78.m1.1b"><apply id="A8.Ex78.m1.1.1.cmml" xref="A8.Ex78.m1.1.1"><eq id="A8.Ex78.m1.1.1.2.cmml" xref="A8.Ex78.m1.1.1.2"></eq><ci id="A8.Ex78.m1.1.1.3.cmml" xref="A8.Ex78.m1.1.1.3">𝑄</ci><apply id="A8.Ex78.m1.1.1.1.cmml" xref="A8.Ex78.m1.1.1.1"><times id="A8.Ex78.m1.1.1.1.2.cmml" xref="A8.Ex78.m1.1.1.1.2"></times><apply id="A8.Ex78.m1.1.1.1.1.1.1.cmml" xref="A8.Ex78.m1.1.1.1.1.1"><times id="A8.Ex78.m1.1.1.1.1.1.1.1.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.1"></times><apply id="A8.Ex78.m1.1.1.1.1.1.1.2.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A8.Ex78.m1.1.1.1.1.1.1.2.1.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.2">superscript</csymbol><ci id="A8.Ex78.m1.1.1.1.1.1.1.2.2.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.2.2">𝐶</ci><apply id="A8.Ex78.m1.1.1.1.1.1.1.2.3.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.2.3"><minus id="A8.Ex78.m1.1.1.1.1.1.1.2.3.1.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.2.3"></minus><cn type="integer" id="A8.Ex78.m1.1.1.1.1.1.1.2.3.2.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.2.3.2">1</cn></apply></apply><ci id="A8.Ex78.m1.1.1.1.1.1.1.3.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.3">𝐴</ci><ci id="A8.Ex78.m1.1.1.1.1.1.1.4.cmml" xref="A8.Ex78.m1.1.1.1.1.1.1.4">𝐶</ci></apply><ci id="A8.Ex78.m1.1.1.1.3.cmml" xref="A8.Ex78.m1.1.1.1.3">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex78.m1.1c">Q=(C^{-1}AC)B</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS1.p1.8" class="ltx_p">where both <math id="A8.SS1.p1.2.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS1.p1.2.m1.1a"><mi id="A8.SS1.p1.2.m1.1.1" xref="A8.SS1.p1.2.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.2.m1.1b"><ci id="A8.SS1.p1.2.m1.1.1.cmml" xref="A8.SS1.p1.2.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.2.m1.1c">A</annotation></semantics></math> and <math id="A8.SS1.p1.3.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A8.SS1.p1.3.m2.1a"><mi id="A8.SS1.p1.3.m2.1.1" xref="A8.SS1.p1.3.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.3.m2.1b"><ci id="A8.SS1.p1.3.m2.1.1.cmml" xref="A8.SS1.p1.3.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.3.m2.1c">B</annotation></semantics></math> are block-diagonal matrices with block size <math id="A8.SS1.p1.4.m3.1" class="ltx_Math" alttext="K\times K" display="inline"><semantics id="A8.SS1.p1.4.m3.1a"><mrow id="A8.SS1.p1.4.m3.1.1" xref="A8.SS1.p1.4.m3.1.1.cmml"><mi id="A8.SS1.p1.4.m3.1.1.2" xref="A8.SS1.p1.4.m3.1.1.2.cmml">K</mi><mo lspace="0.222em" rspace="0.222em" id="A8.SS1.p1.4.m3.1.1.1" xref="A8.SS1.p1.4.m3.1.1.1.cmml">×</mo><mi id="A8.SS1.p1.4.m3.1.1.3" xref="A8.SS1.p1.4.m3.1.1.3.cmml">K</mi></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.4.m3.1b"><apply id="A8.SS1.p1.4.m3.1.1.cmml" xref="A8.SS1.p1.4.m3.1.1"><times id="A8.SS1.p1.4.m3.1.1.1.cmml" xref="A8.SS1.p1.4.m3.1.1.1"></times><ci id="A8.SS1.p1.4.m3.1.1.2.cmml" xref="A8.SS1.p1.4.m3.1.1.2">𝐾</ci><ci id="A8.SS1.p1.4.m3.1.1.3.cmml" xref="A8.SS1.p1.4.m3.1.1.3">𝐾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.4.m3.1c">K\times K</annotation></semantics></math>, and <math id="A8.SS1.p1.5.m4.1" class="ltx_Math" alttext="C" display="inline"><semantics id="A8.SS1.p1.5.m4.1a"><mi id="A8.SS1.p1.5.m4.1.1" xref="A8.SS1.p1.5.m4.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.5.m4.1b"><ci id="A8.SS1.p1.5.m4.1.1.cmml" xref="A8.SS1.p1.5.m4.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.5.m4.1c">C</annotation></semantics></math> is a left or right circular shifting matrix that shifts <math id="A8.SS1.p1.6.m5.1" class="ltx_Math" alttext="K/2" display="inline"><semantics id="A8.SS1.p1.6.m5.1a"><mrow id="A8.SS1.p1.6.m5.1.1" xref="A8.SS1.p1.6.m5.1.1.cmml"><mi id="A8.SS1.p1.6.m5.1.1.2" xref="A8.SS1.p1.6.m5.1.1.2.cmml">K</mi><mo id="A8.SS1.p1.6.m5.1.1.1" xref="A8.SS1.p1.6.m5.1.1.1.cmml">/</mo><mn id="A8.SS1.p1.6.m5.1.1.3" xref="A8.SS1.p1.6.m5.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.6.m5.1b"><apply id="A8.SS1.p1.6.m5.1.1.cmml" xref="A8.SS1.p1.6.m5.1.1"><divide id="A8.SS1.p1.6.m5.1.1.1.cmml" xref="A8.SS1.p1.6.m5.1.1.1"></divide><ci id="A8.SS1.p1.6.m5.1.1.2.cmml" xref="A8.SS1.p1.6.m5.1.1.2">𝐾</ci><cn type="integer" id="A8.SS1.p1.6.m5.1.1.3.cmml" xref="A8.SS1.p1.6.m5.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.6.m5.1c">K/2</annotation></semantics></math> positions.
The following equation shows this clearly when <math id="A8.SS1.p1.7.m6.1" class="ltx_Math" alttext="K=2" display="inline"><semantics id="A8.SS1.p1.7.m6.1a"><mrow id="A8.SS1.p1.7.m6.1.1" xref="A8.SS1.p1.7.m6.1.1.cmml"><mi id="A8.SS1.p1.7.m6.1.1.2" xref="A8.SS1.p1.7.m6.1.1.2.cmml">K</mi><mo id="A8.SS1.p1.7.m6.1.1.1" xref="A8.SS1.p1.7.m6.1.1.1.cmml">=</mo><mn id="A8.SS1.p1.7.m6.1.1.3" xref="A8.SS1.p1.7.m6.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.7.m6.1b"><apply id="A8.SS1.p1.7.m6.1.1.cmml" xref="A8.SS1.p1.7.m6.1.1"><eq id="A8.SS1.p1.7.m6.1.1.1.cmml" xref="A8.SS1.p1.7.m6.1.1.1"></eq><ci id="A8.SS1.p1.7.m6.1.1.2.cmml" xref="A8.SS1.p1.7.m6.1.1.2">𝐾</ci><cn type="integer" id="A8.SS1.p1.7.m6.1.1.3.cmml" xref="A8.SS1.p1.7.m6.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.7.m6.1c">K=2</annotation></semantics></math> and the first block of <math id="A8.SS1.p1.8.m7.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS1.p1.8.m7.1a"><mi id="A8.SS1.p1.8.m7.1.1" xref="A8.SS1.p1.8.m7.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.8.m7.1b"><ci id="A8.SS1.p1.8.m7.1.1.cmml" xref="A8.SS1.p1.8.m7.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.8.m7.1c">A</annotation></semantics></math> is diagonal.</p>
<table id="A8.Ex79" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex79.m1.3" class="ltx_math_unparsed" alttext="\left(C^{-1}AC:\left[\begin{matrix}\cdot&amp;&amp;&amp;&amp;&amp;&amp;&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;&amp;&amp;&amp;&amp;\cdot\\
\end{matrix}\right]\right)\times\left(B:\left[\begin{matrix}\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot\\
\end{matrix}\right]\right)\Rightarrow\left[\begin{matrix}\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot\\
\end{matrix}\right]" display="block"><semantics id="A8.Ex79.m1.3a"><mrow id="A8.Ex79.m1.3b"><mrow id="A8.Ex79.m1.3.4"><mo id="A8.Ex79.m1.3.4.1">(</mo><msup id="A8.Ex79.m1.3.4.2"><mi mathsize="50%" id="A8.Ex79.m1.3.4.2.2">C</mi><mrow id="A8.Ex79.m1.3.4.2.3"><mo mathsize="50%" id="A8.Ex79.m1.3.4.2.3a">−</mo><mn mathsize="50%" id="A8.Ex79.m1.3.4.2.3.2">1</mn></mrow></msup><mi mathsize="50%" id="A8.Ex79.m1.3.4.3">A</mi><mi mathsize="50%" id="A8.Ex79.m1.3.4.4">C</mi><mo lspace="0.278em" mathsize="50%" rspace="0.278em" id="A8.Ex79.m1.3.4.5">:</mo><mrow id="A8.Ex79.m1.3.4.6"><mo id="A8.Ex79.m1.3.4.6.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A8.Ex79.m1.1.1.1.1"><mtr id="A8.Ex79.m1.1.1.1.1a"><mtd id="A8.Ex79.m1.1.1.1.1b"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.1.1.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1c"></mtd><mtd id="A8.Ex79.m1.1.1.1.1d"></mtd><mtd id="A8.Ex79.m1.1.1.1.1e"></mtd><mtd id="A8.Ex79.m1.1.1.1.1f"></mtd><mtd id="A8.Ex79.m1.1.1.1.1g"></mtd><mtd id="A8.Ex79.m1.1.1.1.1h"></mtd><mtd id="A8.Ex79.m1.1.1.1.1i"></mtd></mtr><mtr id="A8.Ex79.m1.1.1.1.1j"><mtd id="A8.Ex79.m1.1.1.1.1k"></mtd><mtd id="A8.Ex79.m1.1.1.1.1l"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.2.2.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1m"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.2.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1n"></mtd><mtd id="A8.Ex79.m1.1.1.1.1o"></mtd><mtd id="A8.Ex79.m1.1.1.1.1p"></mtd><mtd id="A8.Ex79.m1.1.1.1.1q"></mtd><mtd id="A8.Ex79.m1.1.1.1.1r"></mtd></mtr><mtr id="A8.Ex79.m1.1.1.1.1s"><mtd id="A8.Ex79.m1.1.1.1.1t"></mtd><mtd id="A8.Ex79.m1.1.1.1.1u"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.3.2.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1v"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.3.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1w"></mtd><mtd id="A8.Ex79.m1.1.1.1.1x"></mtd><mtd id="A8.Ex79.m1.1.1.1.1y"></mtd><mtd id="A8.Ex79.m1.1.1.1.1z"></mtd><mtd id="A8.Ex79.m1.1.1.1.1aa"></mtd></mtr><mtr id="A8.Ex79.m1.1.1.1.1ab"><mtd id="A8.Ex79.m1.1.1.1.1ac"></mtd><mtd id="A8.Ex79.m1.1.1.1.1ad"></mtd><mtd id="A8.Ex79.m1.1.1.1.1ae"></mtd><mtd id="A8.Ex79.m1.1.1.1.1af"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.4.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1ag"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.4.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1ah"></mtd><mtd id="A8.Ex79.m1.1.1.1.1ai"></mtd><mtd id="A8.Ex79.m1.1.1.1.1aj"></mtd></mtr><mtr id="A8.Ex79.m1.1.1.1.1ak"><mtd id="A8.Ex79.m1.1.1.1.1al"></mtd><mtd id="A8.Ex79.m1.1.1.1.1am"></mtd><mtd id="A8.Ex79.m1.1.1.1.1an"></mtd><mtd id="A8.Ex79.m1.1.1.1.1ao"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.5.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1ap"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.5.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1aq"></mtd><mtd id="A8.Ex79.m1.1.1.1.1ar"></mtd><mtd id="A8.Ex79.m1.1.1.1.1as"></mtd></mtr><mtr id="A8.Ex79.m1.1.1.1.1at"><mtd id="A8.Ex79.m1.1.1.1.1au"></mtd><mtd id="A8.Ex79.m1.1.1.1.1av"></mtd><mtd id="A8.Ex79.m1.1.1.1.1aw"></mtd><mtd id="A8.Ex79.m1.1.1.1.1ax"></mtd><mtd id="A8.Ex79.m1.1.1.1.1ay"></mtd><mtd id="A8.Ex79.m1.1.1.1.1az"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.6.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1ba"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.6.7.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1bb"></mtd></mtr><mtr id="A8.Ex79.m1.1.1.1.1bc"><mtd id="A8.Ex79.m1.1.1.1.1bd"></mtd><mtd id="A8.Ex79.m1.1.1.1.1be"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bf"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bg"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bh"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bi"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.7.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1bj"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.7.7.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.1.1.1.1bk"></mtd></mtr><mtr id="A8.Ex79.m1.1.1.1.1bl"><mtd id="A8.Ex79.m1.1.1.1.1bm"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bn"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bo"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bp"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bq"></mtd><mtd id="A8.Ex79.m1.1.1.1.1br"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bs"></mtd><mtd id="A8.Ex79.m1.1.1.1.1bt"><mo mathsize="50%" id="A8.Ex79.m1.1.1.1.1.8.8.1">⋅</mo></mtd></mtr></mtable><mo id="A8.Ex79.m1.3.4.6.2">]</mo></mrow><mo rspace="0.055em" id="A8.Ex79.m1.3.4.7">)</mo></mrow><mo mathsize="50%" rspace="0.222em" id="A8.Ex79.m1.3.5">×</mo><mrow id="A8.Ex79.m1.3.6"><mo id="A8.Ex79.m1.3.6.1">(</mo><mi mathsize="50%" id="A8.Ex79.m1.3.6.2">B</mi><mo lspace="0.278em" mathsize="50%" rspace="0.278em" id="A8.Ex79.m1.3.6.3">:</mo><mrow id="A8.Ex79.m1.3.6.4"><mo id="A8.Ex79.m1.3.6.4.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A8.Ex79.m1.2.2.1.1"><mtr id="A8.Ex79.m1.2.2.1.1a"><mtd id="A8.Ex79.m1.2.2.1.1b"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.1.1.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1c"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.1.2.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1d"></mtd><mtd id="A8.Ex79.m1.2.2.1.1e"></mtd><mtd id="A8.Ex79.m1.2.2.1.1f"></mtd><mtd id="A8.Ex79.m1.2.2.1.1g"></mtd><mtd id="A8.Ex79.m1.2.2.1.1h"></mtd><mtd id="A8.Ex79.m1.2.2.1.1i"></mtd></mtr><mtr id="A8.Ex79.m1.2.2.1.1j"><mtd id="A8.Ex79.m1.2.2.1.1k"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.2.1.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1l"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.2.2.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1m"></mtd><mtd id="A8.Ex79.m1.2.2.1.1n"></mtd><mtd id="A8.Ex79.m1.2.2.1.1o"></mtd><mtd id="A8.Ex79.m1.2.2.1.1p"></mtd><mtd id="A8.Ex79.m1.2.2.1.1q"></mtd><mtd id="A8.Ex79.m1.2.2.1.1r"></mtd></mtr><mtr id="A8.Ex79.m1.2.2.1.1s"><mtd id="A8.Ex79.m1.2.2.1.1t"></mtd><mtd id="A8.Ex79.m1.2.2.1.1u"></mtd><mtd id="A8.Ex79.m1.2.2.1.1v"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.3.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1w"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.3.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1x"></mtd><mtd id="A8.Ex79.m1.2.2.1.1y"></mtd><mtd id="A8.Ex79.m1.2.2.1.1z"></mtd><mtd id="A8.Ex79.m1.2.2.1.1aa"></mtd></mtr><mtr id="A8.Ex79.m1.2.2.1.1ab"><mtd id="A8.Ex79.m1.2.2.1.1ac"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ad"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ae"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.4.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1af"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.4.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1ag"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ah"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ai"></mtd><mtd id="A8.Ex79.m1.2.2.1.1aj"></mtd></mtr><mtr id="A8.Ex79.m1.2.2.1.1ak"><mtd id="A8.Ex79.m1.2.2.1.1al"></mtd><mtd id="A8.Ex79.m1.2.2.1.1am"></mtd><mtd id="A8.Ex79.m1.2.2.1.1an"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ao"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ap"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.5.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1aq"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.5.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1ar"></mtd><mtd id="A8.Ex79.m1.2.2.1.1as"></mtd></mtr><mtr id="A8.Ex79.m1.2.2.1.1at"><mtd id="A8.Ex79.m1.2.2.1.1au"></mtd><mtd id="A8.Ex79.m1.2.2.1.1av"></mtd><mtd id="A8.Ex79.m1.2.2.1.1aw"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ax"></mtd><mtd id="A8.Ex79.m1.2.2.1.1ay"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.6.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1az"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.6.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1ba"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bb"></mtd></mtr><mtr id="A8.Ex79.m1.2.2.1.1bc"><mtd id="A8.Ex79.m1.2.2.1.1bd"></mtd><mtd id="A8.Ex79.m1.2.2.1.1be"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bf"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bg"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bh"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bi"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bj"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.7.7.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1bk"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.7.8.1">⋅</mo></mtd></mtr><mtr id="A8.Ex79.m1.2.2.1.1bl"><mtd id="A8.Ex79.m1.2.2.1.1bm"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bn"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bo"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bp"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bq"></mtd><mtd id="A8.Ex79.m1.2.2.1.1br"></mtd><mtd id="A8.Ex79.m1.2.2.1.1bs"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.8.7.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.2.2.1.1bt"><mo mathsize="50%" id="A8.Ex79.m1.2.2.1.1.8.8.1">⋅</mo></mtd></mtr></mtable><mo id="A8.Ex79.m1.3.6.4.2">]</mo></mrow><mo id="A8.Ex79.m1.3.6.5">)</mo></mrow><mo mathsize="50%" stretchy="false" id="A8.Ex79.m1.3.7">⇒</mo><mrow id="A8.Ex79.m1.3.8"><mo id="A8.Ex79.m1.3.8.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A8.Ex79.m1.3.3.1.1"><mtr id="A8.Ex79.m1.3.3.1.1a"><mtd id="A8.Ex79.m1.3.3.1.1b"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.1.1.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1c"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.1.2.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1d"></mtd><mtd id="A8.Ex79.m1.3.3.1.1e"></mtd><mtd id="A8.Ex79.m1.3.3.1.1f"></mtd><mtd id="A8.Ex79.m1.3.3.1.1g"></mtd><mtd id="A8.Ex79.m1.3.3.1.1h"></mtd><mtd id="A8.Ex79.m1.3.3.1.1i"></mtd></mtr><mtr id="A8.Ex79.m1.3.3.1.1j"><mtd id="A8.Ex79.m1.3.3.1.1k"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.2.1.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1l"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.2.2.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1m"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.2.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1n"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.2.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1o"></mtd><mtd id="A8.Ex79.m1.3.3.1.1p"></mtd><mtd id="A8.Ex79.m1.3.3.1.1q"></mtd><mtd id="A8.Ex79.m1.3.3.1.1r"></mtd></mtr><mtr id="A8.Ex79.m1.3.3.1.1s"><mtd id="A8.Ex79.m1.3.3.1.1t"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.3.1.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1u"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.3.2.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1v"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.3.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1w"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.3.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1x"></mtd><mtd id="A8.Ex79.m1.3.3.1.1y"></mtd><mtd id="A8.Ex79.m1.3.3.1.1z"></mtd><mtd id="A8.Ex79.m1.3.3.1.1aa"></mtd></mtr><mtr id="A8.Ex79.m1.3.3.1.1ab"><mtd id="A8.Ex79.m1.3.3.1.1ac"></mtd><mtd id="A8.Ex79.m1.3.3.1.1ad"></mtd><mtd id="A8.Ex79.m1.3.3.1.1ae"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.4.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1af"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.4.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1ag"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.4.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1ah"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.4.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1ai"></mtd><mtd id="A8.Ex79.m1.3.3.1.1aj"></mtd></mtr><mtr id="A8.Ex79.m1.3.3.1.1ak"><mtd id="A8.Ex79.m1.3.3.1.1al"></mtd><mtd id="A8.Ex79.m1.3.3.1.1am"></mtd><mtd id="A8.Ex79.m1.3.3.1.1an"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.5.3.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1ao"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.5.4.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1ap"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.5.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1aq"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.5.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1ar"></mtd><mtd id="A8.Ex79.m1.3.3.1.1as"></mtd></mtr><mtr id="A8.Ex79.m1.3.3.1.1at"><mtd id="A8.Ex79.m1.3.3.1.1au"></mtd><mtd id="A8.Ex79.m1.3.3.1.1av"></mtd><mtd id="A8.Ex79.m1.3.3.1.1aw"></mtd><mtd id="A8.Ex79.m1.3.3.1.1ax"></mtd><mtd id="A8.Ex79.m1.3.3.1.1ay"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.6.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1az"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.6.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1ba"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.6.7.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1bb"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.6.8.1">⋅</mo></mtd></mtr><mtr id="A8.Ex79.m1.3.3.1.1bc"><mtd id="A8.Ex79.m1.3.3.1.1bd"></mtd><mtd id="A8.Ex79.m1.3.3.1.1be"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bf"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bg"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bh"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.7.5.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1bi"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.7.6.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1bj"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.7.7.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1bk"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.7.8.1">⋅</mo></mtd></mtr><mtr id="A8.Ex79.m1.3.3.1.1bl"><mtd id="A8.Ex79.m1.3.3.1.1bm"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bn"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bo"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bp"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bq"></mtd><mtd id="A8.Ex79.m1.3.3.1.1br"></mtd><mtd id="A8.Ex79.m1.3.3.1.1bs"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.8.7.1">⋅</mo></mtd><mtd id="A8.Ex79.m1.3.3.1.1bt"><mo mathsize="50%" id="A8.Ex79.m1.3.3.1.1.8.8.1">⋅</mo></mtd></mtr></mtable><mo id="A8.Ex79.m1.3.8.2">]</mo></mrow></mrow><annotation encoding="application/x-tex" id="A8.Ex79.m1.3c">\left(C^{-1}AC:\left[\begin{matrix}\cdot&amp;&amp;&amp;&amp;&amp;&amp;&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;&amp;&amp;&amp;&amp;\cdot\\
\end{matrix}\right]\right)\times\left(B:\left[\begin{matrix}\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot\\
\end{matrix}\right]\right)\Rightarrow\left[\begin{matrix}\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;&amp;&amp;\cdot&amp;\cdot\\
\end{matrix}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS1.p1.15" class="ltx_p">For preconditioner estimation, we do not need to constrain the two <math id="A8.SS1.p1.9.m1.1" class="ltx_Math" alttext="0.5K\times 0.5K" display="inline"><semantics id="A8.SS1.p1.9.m1.1a"><mrow id="A8.SS1.p1.9.m1.1.1" xref="A8.SS1.p1.9.m1.1.1.cmml"><mrow id="A8.SS1.p1.9.m1.1.1.2" xref="A8.SS1.p1.9.m1.1.1.2.cmml"><mrow id="A8.SS1.p1.9.m1.1.1.2.2" xref="A8.SS1.p1.9.m1.1.1.2.2.cmml"><mn id="A8.SS1.p1.9.m1.1.1.2.2.2" xref="A8.SS1.p1.9.m1.1.1.2.2.2.cmml">0.5</mn><mo lspace="0em" rspace="0em" id="A8.SS1.p1.9.m1.1.1.2.2.1" xref="A8.SS1.p1.9.m1.1.1.2.2.1.cmml">​</mo><mi id="A8.SS1.p1.9.m1.1.1.2.2.3" xref="A8.SS1.p1.9.m1.1.1.2.2.3.cmml">K</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A8.SS1.p1.9.m1.1.1.2.1" xref="A8.SS1.p1.9.m1.1.1.2.1.cmml">×</mo><mn id="A8.SS1.p1.9.m1.1.1.2.3" xref="A8.SS1.p1.9.m1.1.1.2.3.cmml">0.5</mn></mrow><mo lspace="0em" rspace="0em" id="A8.SS1.p1.9.m1.1.1.1" xref="A8.SS1.p1.9.m1.1.1.1.cmml">​</mo><mi id="A8.SS1.p1.9.m1.1.1.3" xref="A8.SS1.p1.9.m1.1.1.3.cmml">K</mi></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.9.m1.1b"><apply id="A8.SS1.p1.9.m1.1.1.cmml" xref="A8.SS1.p1.9.m1.1.1"><times id="A8.SS1.p1.9.m1.1.1.1.cmml" xref="A8.SS1.p1.9.m1.1.1.1"></times><apply id="A8.SS1.p1.9.m1.1.1.2.cmml" xref="A8.SS1.p1.9.m1.1.1.2"><times id="A8.SS1.p1.9.m1.1.1.2.1.cmml" xref="A8.SS1.p1.9.m1.1.1.2.1"></times><apply id="A8.SS1.p1.9.m1.1.1.2.2.cmml" xref="A8.SS1.p1.9.m1.1.1.2.2"><times id="A8.SS1.p1.9.m1.1.1.2.2.1.cmml" xref="A8.SS1.p1.9.m1.1.1.2.2.1"></times><cn type="float" id="A8.SS1.p1.9.m1.1.1.2.2.2.cmml" xref="A8.SS1.p1.9.m1.1.1.2.2.2">0.5</cn><ci id="A8.SS1.p1.9.m1.1.1.2.2.3.cmml" xref="A8.SS1.p1.9.m1.1.1.2.2.3">𝐾</ci></apply><cn type="float" id="A8.SS1.p1.9.m1.1.1.2.3.cmml" xref="A8.SS1.p1.9.m1.1.1.2.3">0.5</cn></apply><ci id="A8.SS1.p1.9.m1.1.1.3.cmml" xref="A8.SS1.p1.9.m1.1.1.3">𝐾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.9.m1.1c">0.5K\times 0.5K</annotation></semantics></math> anti-diagonal blocks of <math id="A8.SS1.p1.10.m2.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS1.p1.10.m2.1a"><mi id="A8.SS1.p1.10.m2.1.1" xref="A8.SS1.p1.10.m2.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.10.m2.1b"><ci id="A8.SS1.p1.10.m2.1.1.cmml" xref="A8.SS1.p1.10.m2.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.10.m2.1c">A</annotation></semantics></math>’s first <math id="A8.SS1.p1.11.m3.1" class="ltx_Math" alttext="K\times K" display="inline"><semantics id="A8.SS1.p1.11.m3.1a"><mrow id="A8.SS1.p1.11.m3.1.1" xref="A8.SS1.p1.11.m3.1.1.cmml"><mi id="A8.SS1.p1.11.m3.1.1.2" xref="A8.SS1.p1.11.m3.1.1.2.cmml">K</mi><mo lspace="0.222em" rspace="0.222em" id="A8.SS1.p1.11.m3.1.1.1" xref="A8.SS1.p1.11.m3.1.1.1.cmml">×</mo><mi id="A8.SS1.p1.11.m3.1.1.3" xref="A8.SS1.p1.11.m3.1.1.3.cmml">K</mi></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.11.m3.1b"><apply id="A8.SS1.p1.11.m3.1.1.cmml" xref="A8.SS1.p1.11.m3.1.1"><times id="A8.SS1.p1.11.m3.1.1.1.cmml" xref="A8.SS1.p1.11.m3.1.1.1"></times><ci id="A8.SS1.p1.11.m3.1.1.2.cmml" xref="A8.SS1.p1.11.m3.1.1.2">𝐾</ci><ci id="A8.SS1.p1.11.m3.1.1.3.cmml" xref="A8.SS1.p1.11.m3.1.1.3">𝐾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.11.m3.1c">K\times K</annotation></semantics></math> block to be zeros (the resultant <math id="A8.SS1.p1.12.m4.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A8.SS1.p1.12.m4.1a"><mi id="A8.SS1.p1.12.m4.1.1" xref="A8.SS1.p1.12.m4.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.12.m4.1b"><ci id="A8.SS1.p1.12.m4.1.1.cmml" xref="A8.SS1.p1.12.m4.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.12.m4.1c">Q</annotation></semantics></math> is ‘circular’ band).
Note that the circular shifting matrix is unitary, i.e., <math id="A8.SS1.p1.13.m5.1" class="ltx_Math" alttext="C^{-1}=C^{T}" display="inline"><semantics id="A8.SS1.p1.13.m5.1a"><mrow id="A8.SS1.p1.13.m5.1.1" xref="A8.SS1.p1.13.m5.1.1.cmml"><msup id="A8.SS1.p1.13.m5.1.1.2" xref="A8.SS1.p1.13.m5.1.1.2.cmml"><mi id="A8.SS1.p1.13.m5.1.1.2.2" xref="A8.SS1.p1.13.m5.1.1.2.2.cmml">C</mi><mrow id="A8.SS1.p1.13.m5.1.1.2.3" xref="A8.SS1.p1.13.m5.1.1.2.3.cmml"><mo id="A8.SS1.p1.13.m5.1.1.2.3a" xref="A8.SS1.p1.13.m5.1.1.2.3.cmml">−</mo><mn id="A8.SS1.p1.13.m5.1.1.2.3.2" xref="A8.SS1.p1.13.m5.1.1.2.3.2.cmml">1</mn></mrow></msup><mo id="A8.SS1.p1.13.m5.1.1.1" xref="A8.SS1.p1.13.m5.1.1.1.cmml">=</mo><msup id="A8.SS1.p1.13.m5.1.1.3" xref="A8.SS1.p1.13.m5.1.1.3.cmml"><mi id="A8.SS1.p1.13.m5.1.1.3.2" xref="A8.SS1.p1.13.m5.1.1.3.2.cmml">C</mi><mi id="A8.SS1.p1.13.m5.1.1.3.3" xref="A8.SS1.p1.13.m5.1.1.3.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.13.m5.1b"><apply id="A8.SS1.p1.13.m5.1.1.cmml" xref="A8.SS1.p1.13.m5.1.1"><eq id="A8.SS1.p1.13.m5.1.1.1.cmml" xref="A8.SS1.p1.13.m5.1.1.1"></eq><apply id="A8.SS1.p1.13.m5.1.1.2.cmml" xref="A8.SS1.p1.13.m5.1.1.2"><csymbol cd="ambiguous" id="A8.SS1.p1.13.m5.1.1.2.1.cmml" xref="A8.SS1.p1.13.m5.1.1.2">superscript</csymbol><ci id="A8.SS1.p1.13.m5.1.1.2.2.cmml" xref="A8.SS1.p1.13.m5.1.1.2.2">𝐶</ci><apply id="A8.SS1.p1.13.m5.1.1.2.3.cmml" xref="A8.SS1.p1.13.m5.1.1.2.3"><minus id="A8.SS1.p1.13.m5.1.1.2.3.1.cmml" xref="A8.SS1.p1.13.m5.1.1.2.3"></minus><cn type="integer" id="A8.SS1.p1.13.m5.1.1.2.3.2.cmml" xref="A8.SS1.p1.13.m5.1.1.2.3.2">1</cn></apply></apply><apply id="A8.SS1.p1.13.m5.1.1.3.cmml" xref="A8.SS1.p1.13.m5.1.1.3"><csymbol cd="ambiguous" id="A8.SS1.p1.13.m5.1.1.3.1.cmml" xref="A8.SS1.p1.13.m5.1.1.3">superscript</csymbol><ci id="A8.SS1.p1.13.m5.1.1.3.2.cmml" xref="A8.SS1.p1.13.m5.1.1.3.2">𝐶</ci><ci id="A8.SS1.p1.13.m5.1.1.3.3.cmml" xref="A8.SS1.p1.13.m5.1.1.3.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.13.m5.1c">C^{-1}=C^{T}</annotation></semantics></math>. Thus, <math id="A8.SS1.p1.14.m6.2" class="ltx_Math" alttext="P=Q^{T}Q=(ACB)^{T}(ACB)" display="inline"><semantics id="A8.SS1.p1.14.m6.2a"><mrow id="A8.SS1.p1.14.m6.2.2" xref="A8.SS1.p1.14.m6.2.2.cmml"><mi id="A8.SS1.p1.14.m6.2.2.4" xref="A8.SS1.p1.14.m6.2.2.4.cmml">P</mi><mo id="A8.SS1.p1.14.m6.2.2.5" xref="A8.SS1.p1.14.m6.2.2.5.cmml">=</mo><mrow id="A8.SS1.p1.14.m6.2.2.6" xref="A8.SS1.p1.14.m6.2.2.6.cmml"><msup id="A8.SS1.p1.14.m6.2.2.6.2" xref="A8.SS1.p1.14.m6.2.2.6.2.cmml"><mi id="A8.SS1.p1.14.m6.2.2.6.2.2" xref="A8.SS1.p1.14.m6.2.2.6.2.2.cmml">Q</mi><mi id="A8.SS1.p1.14.m6.2.2.6.2.3" xref="A8.SS1.p1.14.m6.2.2.6.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.SS1.p1.14.m6.2.2.6.1" xref="A8.SS1.p1.14.m6.2.2.6.1.cmml">​</mo><mi id="A8.SS1.p1.14.m6.2.2.6.3" xref="A8.SS1.p1.14.m6.2.2.6.3.cmml">Q</mi></mrow><mo id="A8.SS1.p1.14.m6.2.2.7" xref="A8.SS1.p1.14.m6.2.2.7.cmml">=</mo><mrow id="A8.SS1.p1.14.m6.2.2.2" xref="A8.SS1.p1.14.m6.2.2.2.cmml"><msup id="A8.SS1.p1.14.m6.1.1.1.1" xref="A8.SS1.p1.14.m6.1.1.1.1.cmml"><mrow id="A8.SS1.p1.14.m6.1.1.1.1.1.1" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A8.SS1.p1.14.m6.1.1.1.1.1.1.2" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.cmml"><mi id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.2" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.1" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.3" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.3.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.1a" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.4" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.4.cmml">B</mi></mrow><mo stretchy="false" id="A8.SS1.p1.14.m6.1.1.1.1.1.1.3" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.cmml">)</mo></mrow><mi id="A8.SS1.p1.14.m6.1.1.1.1.3" xref="A8.SS1.p1.14.m6.1.1.1.1.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.SS1.p1.14.m6.2.2.2.3" xref="A8.SS1.p1.14.m6.2.2.2.3.cmml">​</mo><mrow id="A8.SS1.p1.14.m6.2.2.2.2.1" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A8.SS1.p1.14.m6.2.2.2.2.1.2" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.cmml">(</mo><mrow id="A8.SS1.p1.14.m6.2.2.2.2.1.1" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.cmml"><mi id="A8.SS1.p1.14.m6.2.2.2.2.1.1.2" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.SS1.p1.14.m6.2.2.2.2.1.1.1" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.1.cmml">​</mo><mi id="A8.SS1.p1.14.m6.2.2.2.2.1.1.3" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.3.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.SS1.p1.14.m6.2.2.2.2.1.1.1a" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.1.cmml">​</mo><mi id="A8.SS1.p1.14.m6.2.2.2.2.1.1.4" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.4.cmml">B</mi></mrow><mo stretchy="false" id="A8.SS1.p1.14.m6.2.2.2.2.1.3" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.14.m6.2b"><apply id="A8.SS1.p1.14.m6.2.2.cmml" xref="A8.SS1.p1.14.m6.2.2"><and id="A8.SS1.p1.14.m6.2.2a.cmml" xref="A8.SS1.p1.14.m6.2.2"></and><apply id="A8.SS1.p1.14.m6.2.2b.cmml" xref="A8.SS1.p1.14.m6.2.2"><eq id="A8.SS1.p1.14.m6.2.2.5.cmml" xref="A8.SS1.p1.14.m6.2.2.5"></eq><ci id="A8.SS1.p1.14.m6.2.2.4.cmml" xref="A8.SS1.p1.14.m6.2.2.4">𝑃</ci><apply id="A8.SS1.p1.14.m6.2.2.6.cmml" xref="A8.SS1.p1.14.m6.2.2.6"><times id="A8.SS1.p1.14.m6.2.2.6.1.cmml" xref="A8.SS1.p1.14.m6.2.2.6.1"></times><apply id="A8.SS1.p1.14.m6.2.2.6.2.cmml" xref="A8.SS1.p1.14.m6.2.2.6.2"><csymbol cd="ambiguous" id="A8.SS1.p1.14.m6.2.2.6.2.1.cmml" xref="A8.SS1.p1.14.m6.2.2.6.2">superscript</csymbol><ci id="A8.SS1.p1.14.m6.2.2.6.2.2.cmml" xref="A8.SS1.p1.14.m6.2.2.6.2.2">𝑄</ci><ci id="A8.SS1.p1.14.m6.2.2.6.2.3.cmml" xref="A8.SS1.p1.14.m6.2.2.6.2.3">𝑇</ci></apply><ci id="A8.SS1.p1.14.m6.2.2.6.3.cmml" xref="A8.SS1.p1.14.m6.2.2.6.3">𝑄</ci></apply></apply><apply id="A8.SS1.p1.14.m6.2.2c.cmml" xref="A8.SS1.p1.14.m6.2.2"><eq id="A8.SS1.p1.14.m6.2.2.7.cmml" xref="A8.SS1.p1.14.m6.2.2.7"></eq><share href="#A8.SS1.p1.14.m6.2.2.6.cmml" id="A8.SS1.p1.14.m6.2.2d.cmml" xref="A8.SS1.p1.14.m6.2.2"></share><apply id="A8.SS1.p1.14.m6.2.2.2.cmml" xref="A8.SS1.p1.14.m6.2.2.2"><times id="A8.SS1.p1.14.m6.2.2.2.3.cmml" xref="A8.SS1.p1.14.m6.2.2.2.3"></times><apply id="A8.SS1.p1.14.m6.1.1.1.1.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.p1.14.m6.1.1.1.1.2.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1">superscript</csymbol><apply id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1"><times id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.1.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.1"></times><ci id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.2.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.2">𝐴</ci><ci id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.3.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.3">𝐶</ci><ci id="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.4.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1.1.1.1.4">𝐵</ci></apply><ci id="A8.SS1.p1.14.m6.1.1.1.1.3.cmml" xref="A8.SS1.p1.14.m6.1.1.1.1.3">𝑇</ci></apply><apply id="A8.SS1.p1.14.m6.2.2.2.2.1.1.cmml" xref="A8.SS1.p1.14.m6.2.2.2.2.1"><times id="A8.SS1.p1.14.m6.2.2.2.2.1.1.1.cmml" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.1"></times><ci id="A8.SS1.p1.14.m6.2.2.2.2.1.1.2.cmml" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.2">𝐴</ci><ci id="A8.SS1.p1.14.m6.2.2.2.2.1.1.3.cmml" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.3">𝐶</ci><ci id="A8.SS1.p1.14.m6.2.2.2.2.1.1.4.cmml" xref="A8.SS1.p1.14.m6.2.2.2.2.1.1.4">𝐵</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.14.m6.2c">P=Q^{T}Q=(ACB)^{T}(ACB)</annotation></semantics></math>. Hence, we can simply redefine <math id="A8.SS1.p1.15.m7.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A8.SS1.p1.15.m7.1a"><mi id="A8.SS1.p1.15.m7.1.1" xref="A8.SS1.p1.15.m7.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.p1.15.m7.1b"><ci id="A8.SS1.p1.15.m7.1.1.cmml" xref="A8.SS1.p1.15.m7.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.p1.15.m7.1c">Q</annotation></semantics></math> as</p>
<table id="A8.Ex80" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex80.m1.1" class="ltx_Math" alttext="Q=ACB" display="block"><semantics id="A8.Ex80.m1.1a"><mrow id="A8.Ex80.m1.1.1" xref="A8.Ex80.m1.1.1.cmml"><mi id="A8.Ex80.m1.1.1.2" xref="A8.Ex80.m1.1.1.2.cmml">Q</mi><mo id="A8.Ex80.m1.1.1.1" xref="A8.Ex80.m1.1.1.1.cmml">=</mo><mrow id="A8.Ex80.m1.1.1.3" xref="A8.Ex80.m1.1.1.3.cmml"><mi id="A8.Ex80.m1.1.1.3.2" xref="A8.Ex80.m1.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex80.m1.1.1.3.1" xref="A8.Ex80.m1.1.1.3.1.cmml">​</mo><mi id="A8.Ex80.m1.1.1.3.3" xref="A8.Ex80.m1.1.1.3.3.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.Ex80.m1.1.1.3.1a" xref="A8.Ex80.m1.1.1.3.1.cmml">​</mo><mi id="A8.Ex80.m1.1.1.3.4" xref="A8.Ex80.m1.1.1.3.4.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex80.m1.1b"><apply id="A8.Ex80.m1.1.1.cmml" xref="A8.Ex80.m1.1.1"><eq id="A8.Ex80.m1.1.1.1.cmml" xref="A8.Ex80.m1.1.1.1"></eq><ci id="A8.Ex80.m1.1.1.2.cmml" xref="A8.Ex80.m1.1.1.2">𝑄</ci><apply id="A8.Ex80.m1.1.1.3.cmml" xref="A8.Ex80.m1.1.1.3"><times id="A8.Ex80.m1.1.1.3.1.cmml" xref="A8.Ex80.m1.1.1.3.1"></times><ci id="A8.Ex80.m1.1.1.3.2.cmml" xref="A8.Ex80.m1.1.1.3.2">𝐴</ci><ci id="A8.Ex80.m1.1.1.3.3.cmml" xref="A8.Ex80.m1.1.1.3.3">𝐶</ci><ci id="A8.Ex80.m1.1.1.3.4.cmml" xref="A8.Ex80.m1.1.1.3.4">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex80.m1.1c">Q=ACB</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<section id="A8.SS1.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">H.1.1 </span>Gradients</h4>

<div id="A8.SS1.SSS1.p1" class="ltx_para">
<p id="A8.SS1.SSS1.p1.3" class="ltx_p">Let us have</p>
<table id="A12.EGx37" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A8.Ex81"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A8.Ex81.m1.1" class="ltx_Math" alttext="\displaystyle dQ=" display="inline"><semantics id="A8.Ex81.m1.1a"><mrow id="A8.Ex81.m1.1.1" xref="A8.Ex81.m1.1.1.cmml"><mrow id="A8.Ex81.m1.1.1.2" xref="A8.Ex81.m1.1.1.2.cmml"><mi id="A8.Ex81.m1.1.1.2.2" xref="A8.Ex81.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.Ex81.m1.1.1.2.1" xref="A8.Ex81.m1.1.1.2.1.cmml">​</mo><mi id="A8.Ex81.m1.1.1.2.3" xref="A8.Ex81.m1.1.1.2.3.cmml">Q</mi></mrow><mo id="A8.Ex81.m1.1.1.1" xref="A8.Ex81.m1.1.1.1.cmml">=</mo><mi id="A8.Ex81.m1.1.1.3" xref="A8.Ex81.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex81.m1.1b"><apply id="A8.Ex81.m1.1.1.cmml" xref="A8.Ex81.m1.1.1"><eq id="A8.Ex81.m1.1.1.1.cmml" xref="A8.Ex81.m1.1.1.1"></eq><apply id="A8.Ex81.m1.1.1.2.cmml" xref="A8.Ex81.m1.1.1.2"><times id="A8.Ex81.m1.1.1.2.1.cmml" xref="A8.Ex81.m1.1.1.2.1"></times><ci id="A8.Ex81.m1.1.1.2.2.cmml" xref="A8.Ex81.m1.1.1.2.2">𝑑</ci><ci id="A8.Ex81.m1.1.1.2.3.cmml" xref="A8.Ex81.m1.1.1.2.3">𝑄</ci></apply><csymbol cd="latexml" id="A8.Ex81.m1.1.1.3.cmml" xref="A8.Ex81.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex81.m1.1c">\displaystyle dQ=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A8.Ex81.m2.1" class="ltx_Math" alttext="\displaystyle dACB+ACdB" display="inline"><semantics id="A8.Ex81.m2.1a"><mrow id="A8.Ex81.m2.1.1" xref="A8.Ex81.m2.1.1.cmml"><mrow id="A8.Ex81.m2.1.1.2" xref="A8.Ex81.m2.1.1.2.cmml"><mi id="A8.Ex81.m2.1.1.2.2" xref="A8.Ex81.m2.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.Ex81.m2.1.1.2.1" xref="A8.Ex81.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex81.m2.1.1.2.3" xref="A8.Ex81.m2.1.1.2.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex81.m2.1.1.2.1a" xref="A8.Ex81.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex81.m2.1.1.2.4" xref="A8.Ex81.m2.1.1.2.4.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.Ex81.m2.1.1.2.1b" xref="A8.Ex81.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex81.m2.1.1.2.5" xref="A8.Ex81.m2.1.1.2.5.cmml">B</mi></mrow><mo id="A8.Ex81.m2.1.1.1" xref="A8.Ex81.m2.1.1.1.cmml">+</mo><mrow id="A8.Ex81.m2.1.1.3" xref="A8.Ex81.m2.1.1.3.cmml"><mi id="A8.Ex81.m2.1.1.3.2" xref="A8.Ex81.m2.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex81.m2.1.1.3.1" xref="A8.Ex81.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex81.m2.1.1.3.3" xref="A8.Ex81.m2.1.1.3.3.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.Ex81.m2.1.1.3.1a" xref="A8.Ex81.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex81.m2.1.1.3.4" xref="A8.Ex81.m2.1.1.3.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.Ex81.m2.1.1.3.1b" xref="A8.Ex81.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex81.m2.1.1.3.5" xref="A8.Ex81.m2.1.1.3.5.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex81.m2.1b"><apply id="A8.Ex81.m2.1.1.cmml" xref="A8.Ex81.m2.1.1"><plus id="A8.Ex81.m2.1.1.1.cmml" xref="A8.Ex81.m2.1.1.1"></plus><apply id="A8.Ex81.m2.1.1.2.cmml" xref="A8.Ex81.m2.1.1.2"><times id="A8.Ex81.m2.1.1.2.1.cmml" xref="A8.Ex81.m2.1.1.2.1"></times><ci id="A8.Ex81.m2.1.1.2.2.cmml" xref="A8.Ex81.m2.1.1.2.2">𝑑</ci><ci id="A8.Ex81.m2.1.1.2.3.cmml" xref="A8.Ex81.m2.1.1.2.3">𝐴</ci><ci id="A8.Ex81.m2.1.1.2.4.cmml" xref="A8.Ex81.m2.1.1.2.4">𝐶</ci><ci id="A8.Ex81.m2.1.1.2.5.cmml" xref="A8.Ex81.m2.1.1.2.5">𝐵</ci></apply><apply id="A8.Ex81.m2.1.1.3.cmml" xref="A8.Ex81.m2.1.1.3"><times id="A8.Ex81.m2.1.1.3.1.cmml" xref="A8.Ex81.m2.1.1.3.1"></times><ci id="A8.Ex81.m2.1.1.3.2.cmml" xref="A8.Ex81.m2.1.1.3.2">𝐴</ci><ci id="A8.Ex81.m2.1.1.3.3.cmml" xref="A8.Ex81.m2.1.1.3.3">𝐶</ci><ci id="A8.Ex81.m2.1.1.3.4.cmml" xref="A8.Ex81.m2.1.1.3.4">𝑑</ci><ci id="A8.Ex81.m2.1.1.3.5.cmml" xref="A8.Ex81.m2.1.1.3.5">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex81.m2.1c">\displaystyle dACB+ACdB</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A8.Ex82"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A8.Ex82.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A8.Ex82.m1.1a"><mo id="A8.Ex82.m1.1.1" xref="A8.Ex82.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A8.Ex82.m1.1b"><eq id="A8.Ex82.m1.1.1.cmml" xref="A8.Ex82.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex82.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A8.Ex82.m2.1" class="ltx_Math" alttext="\displaystyle\mathcal{E}_{1}ACB+ACB\mathcal{E}_{2}" display="inline"><semantics id="A8.Ex82.m2.1a"><mrow id="A8.Ex82.m2.1.1" xref="A8.Ex82.m2.1.1.cmml"><mrow id="A8.Ex82.m2.1.1.2" xref="A8.Ex82.m2.1.1.2.cmml"><msub id="A8.Ex82.m2.1.1.2.2" xref="A8.Ex82.m2.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex82.m2.1.1.2.2.2" xref="A8.Ex82.m2.1.1.2.2.2.cmml">ℰ</mi><mn id="A8.Ex82.m2.1.1.2.2.3" xref="A8.Ex82.m2.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A8.Ex82.m2.1.1.2.1" xref="A8.Ex82.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex82.m2.1.1.2.3" xref="A8.Ex82.m2.1.1.2.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex82.m2.1.1.2.1a" xref="A8.Ex82.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex82.m2.1.1.2.4" xref="A8.Ex82.m2.1.1.2.4.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.Ex82.m2.1.1.2.1b" xref="A8.Ex82.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex82.m2.1.1.2.5" xref="A8.Ex82.m2.1.1.2.5.cmml">B</mi></mrow><mo id="A8.Ex82.m2.1.1.1" xref="A8.Ex82.m2.1.1.1.cmml">+</mo><mrow id="A8.Ex82.m2.1.1.3" xref="A8.Ex82.m2.1.1.3.cmml"><mi id="A8.Ex82.m2.1.1.3.2" xref="A8.Ex82.m2.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex82.m2.1.1.3.1" xref="A8.Ex82.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex82.m2.1.1.3.3" xref="A8.Ex82.m2.1.1.3.3.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.Ex82.m2.1.1.3.1a" xref="A8.Ex82.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex82.m2.1.1.3.4" xref="A8.Ex82.m2.1.1.3.4.cmml">B</mi><mo lspace="0em" rspace="0em" id="A8.Ex82.m2.1.1.3.1b" xref="A8.Ex82.m2.1.1.3.1.cmml">​</mo><msub id="A8.Ex82.m2.1.1.3.5" xref="A8.Ex82.m2.1.1.3.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex82.m2.1.1.3.5.2" xref="A8.Ex82.m2.1.1.3.5.2.cmml">ℰ</mi><mn id="A8.Ex82.m2.1.1.3.5.3" xref="A8.Ex82.m2.1.1.3.5.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex82.m2.1b"><apply id="A8.Ex82.m2.1.1.cmml" xref="A8.Ex82.m2.1.1"><plus id="A8.Ex82.m2.1.1.1.cmml" xref="A8.Ex82.m2.1.1.1"></plus><apply id="A8.Ex82.m2.1.1.2.cmml" xref="A8.Ex82.m2.1.1.2"><times id="A8.Ex82.m2.1.1.2.1.cmml" xref="A8.Ex82.m2.1.1.2.1"></times><apply id="A8.Ex82.m2.1.1.2.2.cmml" xref="A8.Ex82.m2.1.1.2.2"><csymbol cd="ambiguous" id="A8.Ex82.m2.1.1.2.2.1.cmml" xref="A8.Ex82.m2.1.1.2.2">subscript</csymbol><ci id="A8.Ex82.m2.1.1.2.2.2.cmml" xref="A8.Ex82.m2.1.1.2.2.2">ℰ</ci><cn type="integer" id="A8.Ex82.m2.1.1.2.2.3.cmml" xref="A8.Ex82.m2.1.1.2.2.3">1</cn></apply><ci id="A8.Ex82.m2.1.1.2.3.cmml" xref="A8.Ex82.m2.1.1.2.3">𝐴</ci><ci id="A8.Ex82.m2.1.1.2.4.cmml" xref="A8.Ex82.m2.1.1.2.4">𝐶</ci><ci id="A8.Ex82.m2.1.1.2.5.cmml" xref="A8.Ex82.m2.1.1.2.5">𝐵</ci></apply><apply id="A8.Ex82.m2.1.1.3.cmml" xref="A8.Ex82.m2.1.1.3"><times id="A8.Ex82.m2.1.1.3.1.cmml" xref="A8.Ex82.m2.1.1.3.1"></times><ci id="A8.Ex82.m2.1.1.3.2.cmml" xref="A8.Ex82.m2.1.1.3.2">𝐴</ci><ci id="A8.Ex82.m2.1.1.3.3.cmml" xref="A8.Ex82.m2.1.1.3.3">𝐶</ci><ci id="A8.Ex82.m2.1.1.3.4.cmml" xref="A8.Ex82.m2.1.1.3.4">𝐵</ci><apply id="A8.Ex82.m2.1.1.3.5.cmml" xref="A8.Ex82.m2.1.1.3.5"><csymbol cd="ambiguous" id="A8.Ex82.m2.1.1.3.5.1.cmml" xref="A8.Ex82.m2.1.1.3.5">subscript</csymbol><ci id="A8.Ex82.m2.1.1.3.5.2.cmml" xref="A8.Ex82.m2.1.1.3.5.2">ℰ</ci><cn type="integer" id="A8.Ex82.m2.1.1.3.5.3.cmml" xref="A8.Ex82.m2.1.1.3.5.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex82.m2.1c">\displaystyle\mathcal{E}_{1}ACB+ACB\mathcal{E}_{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A8.Ex83"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A8.Ex83.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A8.Ex83.m1.1a"><mo id="A8.Ex83.m1.1.1" xref="A8.Ex83.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A8.Ex83.m1.1b"><eq id="A8.Ex83.m1.1.1.cmml" xref="A8.Ex83.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex83.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A8.Ex83.m2.1" class="ltx_Math" alttext="\displaystyle\mathcal{E}_{1}Q+Q\mathcal{E}_{2}" display="inline"><semantics id="A8.Ex83.m2.1a"><mrow id="A8.Ex83.m2.1.1" xref="A8.Ex83.m2.1.1.cmml"><mrow id="A8.Ex83.m2.1.1.2" xref="A8.Ex83.m2.1.1.2.cmml"><msub id="A8.Ex83.m2.1.1.2.2" xref="A8.Ex83.m2.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex83.m2.1.1.2.2.2" xref="A8.Ex83.m2.1.1.2.2.2.cmml">ℰ</mi><mn id="A8.Ex83.m2.1.1.2.2.3" xref="A8.Ex83.m2.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A8.Ex83.m2.1.1.2.1" xref="A8.Ex83.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex83.m2.1.1.2.3" xref="A8.Ex83.m2.1.1.2.3.cmml">Q</mi></mrow><mo id="A8.Ex83.m2.1.1.1" xref="A8.Ex83.m2.1.1.1.cmml">+</mo><mrow id="A8.Ex83.m2.1.1.3" xref="A8.Ex83.m2.1.1.3.cmml"><mi id="A8.Ex83.m2.1.1.3.2" xref="A8.Ex83.m2.1.1.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A8.Ex83.m2.1.1.3.1" xref="A8.Ex83.m2.1.1.3.1.cmml">​</mo><msub id="A8.Ex83.m2.1.1.3.3" xref="A8.Ex83.m2.1.1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex83.m2.1.1.3.3.2" xref="A8.Ex83.m2.1.1.3.3.2.cmml">ℰ</mi><mn id="A8.Ex83.m2.1.1.3.3.3" xref="A8.Ex83.m2.1.1.3.3.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex83.m2.1b"><apply id="A8.Ex83.m2.1.1.cmml" xref="A8.Ex83.m2.1.1"><plus id="A8.Ex83.m2.1.1.1.cmml" xref="A8.Ex83.m2.1.1.1"></plus><apply id="A8.Ex83.m2.1.1.2.cmml" xref="A8.Ex83.m2.1.1.2"><times id="A8.Ex83.m2.1.1.2.1.cmml" xref="A8.Ex83.m2.1.1.2.1"></times><apply id="A8.Ex83.m2.1.1.2.2.cmml" xref="A8.Ex83.m2.1.1.2.2"><csymbol cd="ambiguous" id="A8.Ex83.m2.1.1.2.2.1.cmml" xref="A8.Ex83.m2.1.1.2.2">subscript</csymbol><ci id="A8.Ex83.m2.1.1.2.2.2.cmml" xref="A8.Ex83.m2.1.1.2.2.2">ℰ</ci><cn type="integer" id="A8.Ex83.m2.1.1.2.2.3.cmml" xref="A8.Ex83.m2.1.1.2.2.3">1</cn></apply><ci id="A8.Ex83.m2.1.1.2.3.cmml" xref="A8.Ex83.m2.1.1.2.3">𝑄</ci></apply><apply id="A8.Ex83.m2.1.1.3.cmml" xref="A8.Ex83.m2.1.1.3"><times id="A8.Ex83.m2.1.1.3.1.cmml" xref="A8.Ex83.m2.1.1.3.1"></times><ci id="A8.Ex83.m2.1.1.3.2.cmml" xref="A8.Ex83.m2.1.1.3.2">𝑄</ci><apply id="A8.Ex83.m2.1.1.3.3.cmml" xref="A8.Ex83.m2.1.1.3.3"><csymbol cd="ambiguous" id="A8.Ex83.m2.1.1.3.3.1.cmml" xref="A8.Ex83.m2.1.1.3.3">subscript</csymbol><ci id="A8.Ex83.m2.1.1.3.3.2.cmml" xref="A8.Ex83.m2.1.1.3.3.2">ℰ</ci><cn type="integer" id="A8.Ex83.m2.1.1.3.3.3.cmml" xref="A8.Ex83.m2.1.1.3.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex83.m2.1c">\displaystyle\mathcal{E}_{1}Q+Q\mathcal{E}_{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS1.SSS1.p1.2" class="ltx_p">Now, it is clear that Eq. equation <a href="#A4.E19" title="Equation 19 ‣ D.1.2 The gradients for preconditioner updating ‣ D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a> still can be used to calculate the gradients w.r.t. <math id="A8.SS1.SSS1.p1.1.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS1.SSS1.p1.1.m1.1a"><mi id="A8.SS1.SSS1.p1.1.m1.1.1" xref="A8.SS1.SSS1.p1.1.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p1.1.m1.1b"><ci id="A8.SS1.SSS1.p1.1.m1.1.1.cmml" xref="A8.SS1.SSS1.p1.1.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p1.1.m1.1c">A</annotation></semantics></math> and <math id="A8.SS1.SSS1.p1.2.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A8.SS1.SSS1.p1.2.m2.1a"><mi id="A8.SS1.SSS1.p1.2.m2.1.1" xref="A8.SS1.SSS1.p1.2.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p1.2.m2.1b"><ci id="A8.SS1.SSS1.p1.2.m2.1.1.cmml" xref="A8.SS1.SSS1.p1.2.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p1.2.m2.1c">B</annotation></semantics></math>.</p>
</div>
<div id="A8.SS1.SSS1.p2" class="ltx_para">
<p id="A8.SS1.SSS1.p2.2" class="ltx_p">Let <math id="A8.SS1.SSS1.p2.1.m1.1" class="ltx_Math" alttext="dB=B\mathcal{E}" display="inline"><semantics id="A8.SS1.SSS1.p2.1.m1.1a"><mrow id="A8.SS1.SSS1.p2.1.m1.1.1" xref="A8.SS1.SSS1.p2.1.m1.1.1.cmml"><mrow id="A8.SS1.SSS1.p2.1.m1.1.1.2" xref="A8.SS1.SSS1.p2.1.m1.1.1.2.cmml"><mi id="A8.SS1.SSS1.p2.1.m1.1.1.2.2" xref="A8.SS1.SSS1.p2.1.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS1.p2.1.m1.1.1.2.1" xref="A8.SS1.SSS1.p2.1.m1.1.1.2.1.cmml">​</mo><mi id="A8.SS1.SSS1.p2.1.m1.1.1.2.3" xref="A8.SS1.SSS1.p2.1.m1.1.1.2.3.cmml">B</mi></mrow><mo id="A8.SS1.SSS1.p2.1.m1.1.1.1" xref="A8.SS1.SSS1.p2.1.m1.1.1.1.cmml">=</mo><mrow id="A8.SS1.SSS1.p2.1.m1.1.1.3" xref="A8.SS1.SSS1.p2.1.m1.1.1.3.cmml"><mi id="A8.SS1.SSS1.p2.1.m1.1.1.3.2" xref="A8.SS1.SSS1.p2.1.m1.1.1.3.2.cmml">B</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS1.p2.1.m1.1.1.3.1" xref="A8.SS1.SSS1.p2.1.m1.1.1.3.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="A8.SS1.SSS1.p2.1.m1.1.1.3.3" xref="A8.SS1.SSS1.p2.1.m1.1.1.3.3.cmml">ℰ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p2.1.m1.1b"><apply id="A8.SS1.SSS1.p2.1.m1.1.1.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1"><eq id="A8.SS1.SSS1.p2.1.m1.1.1.1.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.1"></eq><apply id="A8.SS1.SSS1.p2.1.m1.1.1.2.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.2"><times id="A8.SS1.SSS1.p2.1.m1.1.1.2.1.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.2.1"></times><ci id="A8.SS1.SSS1.p2.1.m1.1.1.2.2.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.2.2">𝑑</ci><ci id="A8.SS1.SSS1.p2.1.m1.1.1.2.3.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.2.3">𝐵</ci></apply><apply id="A8.SS1.SSS1.p2.1.m1.1.1.3.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.3"><times id="A8.SS1.SSS1.p2.1.m1.1.1.3.1.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.3.1"></times><ci id="A8.SS1.SSS1.p2.1.m1.1.1.3.2.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.3.2">𝐵</ci><ci id="A8.SS1.SSS1.p2.1.m1.1.1.3.3.cmml" xref="A8.SS1.SSS1.p2.1.m1.1.1.3.3">ℰ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p2.1.m1.1c">dB=B\mathcal{E}</annotation></semantics></math>. Then from Eq. equation <a href="#A4.E19" title="Equation 19 ‣ D.1.2 The gradients for preconditioner updating ‣ D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a>, the gradient w.r.t. <math id="A8.SS1.SSS1.p2.2.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A8.SS1.SSS1.p2.2.m2.1a"><mi id="A8.SS1.SSS1.p2.2.m2.1.1" xref="A8.SS1.SSS1.p2.2.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p2.2.m2.1b"><ci id="A8.SS1.SSS1.p2.2.m2.1.1.cmml" xref="A8.SS1.SSS1.p2.2.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p2.2.m2.1c">B</annotation></semantics></math> is</p>
<table id="A8.Ex84" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex84.m1.1" class="ltx_Math" alttext="0.5\nabla_{B}={\rm blkdiag}[(Ph)h^{T}-v(P^{-1}v)^{T}]" display="block"><semantics id="A8.Ex84.m1.1a"><mrow id="A8.Ex84.m1.1.1" xref="A8.Ex84.m1.1.1.cmml"><mrow id="A8.Ex84.m1.1.1.3" xref="A8.Ex84.m1.1.1.3.cmml"><mn id="A8.Ex84.m1.1.1.3.2" xref="A8.Ex84.m1.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="A8.Ex84.m1.1.1.3.1" xref="A8.Ex84.m1.1.1.3.1.cmml">​</mo><msub id="A8.Ex84.m1.1.1.3.3" xref="A8.Ex84.m1.1.1.3.3.cmml"><mo id="A8.Ex84.m1.1.1.3.3.2" xref="A8.Ex84.m1.1.1.3.3.2.cmml">∇</mo><mi id="A8.Ex84.m1.1.1.3.3.3" xref="A8.Ex84.m1.1.1.3.3.3.cmml">B</mi></msub></mrow><mo id="A8.Ex84.m1.1.1.2" xref="A8.Ex84.m1.1.1.2.cmml">=</mo><mrow id="A8.Ex84.m1.1.1.1" xref="A8.Ex84.m1.1.1.1.cmml"><mi id="A8.Ex84.m1.1.1.1.3" xref="A8.Ex84.m1.1.1.1.3.cmml">blkdiag</mi><mo lspace="0em" rspace="0em" id="A8.Ex84.m1.1.1.1.2" xref="A8.Ex84.m1.1.1.1.2.cmml">​</mo><mrow id="A8.Ex84.m1.1.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.Ex84.m1.1.1.1.1.1.2" xref="A8.Ex84.m1.1.1.1.1.2.1.cmml">[</mo><mrow id="A8.Ex84.m1.1.1.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.cmml"><mrow id="A8.Ex84.m1.1.1.1.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.1.cmml"><mrow id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.2" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.2" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.3" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.3" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A8.Ex84.m1.1.1.1.1.1.1.1.2" xref="A8.Ex84.m1.1.1.1.1.1.1.1.2.cmml">​</mo><msup id="A8.Ex84.m1.1.1.1.1.1.1.1.3" xref="A8.Ex84.m1.1.1.1.1.1.1.1.3.cmml"><mi id="A8.Ex84.m1.1.1.1.1.1.1.1.3.2" xref="A8.Ex84.m1.1.1.1.1.1.1.1.3.2.cmml">h</mi><mi id="A8.Ex84.m1.1.1.1.1.1.1.1.3.3" xref="A8.Ex84.m1.1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo id="A8.Ex84.m1.1.1.1.1.1.1.3" xref="A8.Ex84.m1.1.1.1.1.1.1.3.cmml">−</mo><mrow id="A8.Ex84.m1.1.1.1.1.1.1.2" xref="A8.Ex84.m1.1.1.1.1.1.1.2.cmml"><mi id="A8.Ex84.m1.1.1.1.1.1.1.2.3" xref="A8.Ex84.m1.1.1.1.1.1.1.2.3.cmml">v</mi><mo lspace="0em" rspace="0em" id="A8.Ex84.m1.1.1.1.1.1.1.2.2" xref="A8.Ex84.m1.1.1.1.1.1.1.2.2.cmml">​</mo><msup id="A8.Ex84.m1.1.1.1.1.1.1.2.1" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.cmml"><mrow id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.cmml"><mo stretchy="false" id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.2" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">(</mo><mrow id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.cmml"><msup id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.cmml"><mi id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.2" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml">P</mi><mrow id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml"><mo id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3a" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml">−</mo><mn id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.1" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.3" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.3" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.cmml">)</mo></mrow><mi id="A8.Ex84.m1.1.1.1.1.1.1.2.1.3" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A8.Ex84.m1.1.1.1.1.1.3" xref="A8.Ex84.m1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex84.m1.1b"><apply id="A8.Ex84.m1.1.1.cmml" xref="A8.Ex84.m1.1.1"><eq id="A8.Ex84.m1.1.1.2.cmml" xref="A8.Ex84.m1.1.1.2"></eq><apply id="A8.Ex84.m1.1.1.3.cmml" xref="A8.Ex84.m1.1.1.3"><times id="A8.Ex84.m1.1.1.3.1.cmml" xref="A8.Ex84.m1.1.1.3.1"></times><cn type="float" id="A8.Ex84.m1.1.1.3.2.cmml" xref="A8.Ex84.m1.1.1.3.2">0.5</cn><apply id="A8.Ex84.m1.1.1.3.3.cmml" xref="A8.Ex84.m1.1.1.3.3"><csymbol cd="ambiguous" id="A8.Ex84.m1.1.1.3.3.1.cmml" xref="A8.Ex84.m1.1.1.3.3">subscript</csymbol><ci id="A8.Ex84.m1.1.1.3.3.2.cmml" xref="A8.Ex84.m1.1.1.3.3.2">∇</ci><ci id="A8.Ex84.m1.1.1.3.3.3.cmml" xref="A8.Ex84.m1.1.1.3.3.3">𝐵</ci></apply></apply><apply id="A8.Ex84.m1.1.1.1.cmml" xref="A8.Ex84.m1.1.1.1"><times id="A8.Ex84.m1.1.1.1.2.cmml" xref="A8.Ex84.m1.1.1.1.2"></times><ci id="A8.Ex84.m1.1.1.1.3.cmml" xref="A8.Ex84.m1.1.1.1.3">blkdiag</ci><apply id="A8.Ex84.m1.1.1.1.1.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1"><csymbol cd="latexml" id="A8.Ex84.m1.1.1.1.1.2.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A8.Ex84.m1.1.1.1.1.1.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1"><minus id="A8.Ex84.m1.1.1.1.1.1.1.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.3"></minus><apply id="A8.Ex84.m1.1.1.1.1.1.1.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1"><times id="A8.Ex84.m1.1.1.1.1.1.1.1.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.2"></times><apply id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1"><times id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A8.Ex84.m1.1.1.1.1.1.1.1.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A8.Ex84.m1.1.1.1.1.1.1.1.3.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A8.Ex84.m1.1.1.1.1.1.1.1.3.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.3.2">ℎ</ci><ci id="A8.Ex84.m1.1.1.1.1.1.1.1.3.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply><apply id="A8.Ex84.m1.1.1.1.1.1.1.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2"><times id="A8.Ex84.m1.1.1.1.1.1.1.2.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.2"></times><ci id="A8.Ex84.m1.1.1.1.1.1.1.2.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.3">𝑣</ci><apply id="A8.Ex84.m1.1.1.1.1.1.1.2.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A8.Ex84.m1.1.1.1.1.1.1.2.1.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1">superscript</csymbol><apply id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1"><times id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.1"></times><apply id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2"><csymbol cd="ambiguous" id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2">superscript</csymbol><ci id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.2">𝑃</ci><apply id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3"><minus id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.1.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3"></minus><cn type="integer" id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.2.3.2">1</cn></apply></apply><ci id="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.1.1.1.3">𝑣</ci></apply><ci id="A8.Ex84.m1.1.1.1.1.1.1.2.1.3.cmml" xref="A8.Ex84.m1.1.1.1.1.1.1.2.1.3">𝑇</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex84.m1.1c">0.5\nabla_{B}={\rm blkdiag}[(Ph)h^{T}-v(P^{-1}v)^{T}]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS1.SSS1.p2.3" class="ltx_p">and thus we update <math id="A8.SS1.SSS1.p2.3.m1.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A8.SS1.SSS1.p2.3.m1.1a"><mi id="A8.SS1.SSS1.p2.3.m1.1.1" xref="A8.SS1.SSS1.p2.3.m1.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p2.3.m1.1b"><ci id="A8.SS1.SSS1.p2.3.m1.1.1.cmml" xref="A8.SS1.SSS1.p2.3.m1.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p2.3.m1.1c">B</annotation></semantics></math> as</p>
<table id="A8.Ex85" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex85.m1.1" class="ltx_Math" alttext="B\leftarrow B-\mu B\nabla_{B}" display="block"><semantics id="A8.Ex85.m1.1a"><mrow id="A8.Ex85.m1.1.1" xref="A8.Ex85.m1.1.1.cmml"><mi id="A8.Ex85.m1.1.1.2" xref="A8.Ex85.m1.1.1.2.cmml">B</mi><mo stretchy="false" id="A8.Ex85.m1.1.1.1" xref="A8.Ex85.m1.1.1.1.cmml">←</mo><mrow id="A8.Ex85.m1.1.1.3" xref="A8.Ex85.m1.1.1.3.cmml"><mi id="A8.Ex85.m1.1.1.3.2" xref="A8.Ex85.m1.1.1.3.2.cmml">B</mi><mo id="A8.Ex85.m1.1.1.3.1" xref="A8.Ex85.m1.1.1.3.1.cmml">−</mo><mrow id="A8.Ex85.m1.1.1.3.3" xref="A8.Ex85.m1.1.1.3.3.cmml"><mi id="A8.Ex85.m1.1.1.3.3.2" xref="A8.Ex85.m1.1.1.3.3.2.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A8.Ex85.m1.1.1.3.3.1" xref="A8.Ex85.m1.1.1.3.3.1.cmml">​</mo><mi id="A8.Ex85.m1.1.1.3.3.3" xref="A8.Ex85.m1.1.1.3.3.3.cmml">B</mi><mo lspace="0.167em" rspace="0em" id="A8.Ex85.m1.1.1.3.3.1a" xref="A8.Ex85.m1.1.1.3.3.1.cmml">​</mo><msub id="A8.Ex85.m1.1.1.3.3.4" xref="A8.Ex85.m1.1.1.3.3.4.cmml"><mo id="A8.Ex85.m1.1.1.3.3.4.2" xref="A8.Ex85.m1.1.1.3.3.4.2.cmml">∇</mo><mi id="A8.Ex85.m1.1.1.3.3.4.3" xref="A8.Ex85.m1.1.1.3.3.4.3.cmml">B</mi></msub></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex85.m1.1b"><apply id="A8.Ex85.m1.1.1.cmml" xref="A8.Ex85.m1.1.1"><ci id="A8.Ex85.m1.1.1.1.cmml" xref="A8.Ex85.m1.1.1.1">←</ci><ci id="A8.Ex85.m1.1.1.2.cmml" xref="A8.Ex85.m1.1.1.2">𝐵</ci><apply id="A8.Ex85.m1.1.1.3.cmml" xref="A8.Ex85.m1.1.1.3"><minus id="A8.Ex85.m1.1.1.3.1.cmml" xref="A8.Ex85.m1.1.1.3.1"></minus><ci id="A8.Ex85.m1.1.1.3.2.cmml" xref="A8.Ex85.m1.1.1.3.2">𝐵</ci><apply id="A8.Ex85.m1.1.1.3.3.cmml" xref="A8.Ex85.m1.1.1.3.3"><times id="A8.Ex85.m1.1.1.3.3.1.cmml" xref="A8.Ex85.m1.1.1.3.3.1"></times><ci id="A8.Ex85.m1.1.1.3.3.2.cmml" xref="A8.Ex85.m1.1.1.3.3.2">𝜇</ci><ci id="A8.Ex85.m1.1.1.3.3.3.cmml" xref="A8.Ex85.m1.1.1.3.3.3">𝐵</ci><apply id="A8.Ex85.m1.1.1.3.3.4.cmml" xref="A8.Ex85.m1.1.1.3.3.4"><csymbol cd="ambiguous" id="A8.Ex85.m1.1.1.3.3.4.1.cmml" xref="A8.Ex85.m1.1.1.3.3.4">subscript</csymbol><ci id="A8.Ex85.m1.1.1.3.3.4.2.cmml" xref="A8.Ex85.m1.1.1.3.3.4.2">∇</ci><ci id="A8.Ex85.m1.1.1.3.3.4.3.cmml" xref="A8.Ex85.m1.1.1.3.3.4.3">𝐵</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex85.m1.1c">B\leftarrow B-\mu B\nabla_{B}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A8.SS1.SSS1.p3" class="ltx_para">
<p id="A8.SS1.SSS1.p3.2" class="ltx_p">Similarly, let <math id="A8.SS1.SSS1.p3.1.m1.1" class="ltx_Math" alttext="dA=\mathcal{E}A" display="inline"><semantics id="A8.SS1.SSS1.p3.1.m1.1a"><mrow id="A8.SS1.SSS1.p3.1.m1.1.1" xref="A8.SS1.SSS1.p3.1.m1.1.1.cmml"><mrow id="A8.SS1.SSS1.p3.1.m1.1.1.2" xref="A8.SS1.SSS1.p3.1.m1.1.1.2.cmml"><mi id="A8.SS1.SSS1.p3.1.m1.1.1.2.2" xref="A8.SS1.SSS1.p3.1.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS1.p3.1.m1.1.1.2.1" xref="A8.SS1.SSS1.p3.1.m1.1.1.2.1.cmml">​</mo><mi id="A8.SS1.SSS1.p3.1.m1.1.1.2.3" xref="A8.SS1.SSS1.p3.1.m1.1.1.2.3.cmml">A</mi></mrow><mo id="A8.SS1.SSS1.p3.1.m1.1.1.1" xref="A8.SS1.SSS1.p3.1.m1.1.1.1.cmml">=</mo><mrow id="A8.SS1.SSS1.p3.1.m1.1.1.3" xref="A8.SS1.SSS1.p3.1.m1.1.1.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.SS1.SSS1.p3.1.m1.1.1.3.2" xref="A8.SS1.SSS1.p3.1.m1.1.1.3.2.cmml">ℰ</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS1.p3.1.m1.1.1.3.1" xref="A8.SS1.SSS1.p3.1.m1.1.1.3.1.cmml">​</mo><mi id="A8.SS1.SSS1.p3.1.m1.1.1.3.3" xref="A8.SS1.SSS1.p3.1.m1.1.1.3.3.cmml">A</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p3.1.m1.1b"><apply id="A8.SS1.SSS1.p3.1.m1.1.1.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1"><eq id="A8.SS1.SSS1.p3.1.m1.1.1.1.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.1"></eq><apply id="A8.SS1.SSS1.p3.1.m1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.2"><times id="A8.SS1.SSS1.p3.1.m1.1.1.2.1.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.2.1"></times><ci id="A8.SS1.SSS1.p3.1.m1.1.1.2.2.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.2.2">𝑑</ci><ci id="A8.SS1.SSS1.p3.1.m1.1.1.2.3.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.2.3">𝐴</ci></apply><apply id="A8.SS1.SSS1.p3.1.m1.1.1.3.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.3"><times id="A8.SS1.SSS1.p3.1.m1.1.1.3.1.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.3.1"></times><ci id="A8.SS1.SSS1.p3.1.m1.1.1.3.2.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.3.2">ℰ</ci><ci id="A8.SS1.SSS1.p3.1.m1.1.1.3.3.cmml" xref="A8.SS1.SSS1.p3.1.m1.1.1.3.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p3.1.m1.1c">dA=\mathcal{E}A</annotation></semantics></math>, we can show the gradient w.r.t. <math id="A8.SS1.SSS1.p3.2.m2.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS1.SSS1.p3.2.m2.1a"><mi id="A8.SS1.SSS1.p3.2.m2.1.1" xref="A8.SS1.SSS1.p3.2.m2.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p3.2.m2.1b"><ci id="A8.SS1.SSS1.p3.2.m2.1.1.cmml" xref="A8.SS1.SSS1.p3.2.m2.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p3.2.m2.1c">A</annotation></semantics></math> to be</p>
<table id="A8.Ex86" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex86.m1.1" class="ltx_Math" alttext="0.5\nabla_{A}={\rm blkdiag}\{[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]\}" display="block"><semantics id="A8.Ex86.m1.1a"><mrow id="A8.Ex86.m1.1.1" xref="A8.Ex86.m1.1.1.cmml"><mrow id="A8.Ex86.m1.1.1.3" xref="A8.Ex86.m1.1.1.3.cmml"><mn id="A8.Ex86.m1.1.1.3.2" xref="A8.Ex86.m1.1.1.3.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="A8.Ex86.m1.1.1.3.1" xref="A8.Ex86.m1.1.1.3.1.cmml">​</mo><msub id="A8.Ex86.m1.1.1.3.3" xref="A8.Ex86.m1.1.1.3.3.cmml"><mo id="A8.Ex86.m1.1.1.3.3.2" xref="A8.Ex86.m1.1.1.3.3.2.cmml">∇</mo><mi id="A8.Ex86.m1.1.1.3.3.3" xref="A8.Ex86.m1.1.1.3.3.3.cmml">A</mi></msub></mrow><mo id="A8.Ex86.m1.1.1.2" xref="A8.Ex86.m1.1.1.2.cmml">=</mo><mrow id="A8.Ex86.m1.1.1.1" xref="A8.Ex86.m1.1.1.1.cmml"><mi id="A8.Ex86.m1.1.1.1.3" xref="A8.Ex86.m1.1.1.1.3.cmml">blkdiag</mi><mo lspace="0em" rspace="0em" id="A8.Ex86.m1.1.1.1.2" xref="A8.Ex86.m1.1.1.1.2.cmml">​</mo><mrow id="A8.Ex86.m1.1.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.2.cmml">{</mo><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.cmml"><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.3.cmml">​</mo><msup id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.cmml"><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml">(</mo><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml"><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.1.cmml">​</mo><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml">)</mo></mrow><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.3.cmml">T</mi></msup></mrow><mo id="A8.Ex86.m1.1.1.1.1.1.1.1.1.5" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.5.cmml">−</mo><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.cmml"><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.cmml"><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.cmml"><msup id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.cmml"><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.2.cmml">Q</mi><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.cmml"><mo id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3a" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.cmml">−</mo><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.1.cmml">​</mo><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.3.cmml">​</mo><msup id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.cmml"><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml"><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml">(</mo><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml"><msup id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.cmml"><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml">Q</mi><mrow id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml"><mo id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3a" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml">−</mo><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml">T</mi></mrow></msup><mo lspace="0em" rspace="0em" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.1" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.1.cmml">​</mo><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml">)</mo></mrow><mi id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.3" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.1.1.3" xref="A8.Ex86.m1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow><mo stretchy="false" id="A8.Ex86.m1.1.1.1.1.1.3" xref="A8.Ex86.m1.1.1.1.1.2.cmml">}</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex86.m1.1b"><apply id="A8.Ex86.m1.1.1.cmml" xref="A8.Ex86.m1.1.1"><eq id="A8.Ex86.m1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.2"></eq><apply id="A8.Ex86.m1.1.1.3.cmml" xref="A8.Ex86.m1.1.1.3"><times id="A8.Ex86.m1.1.1.3.1.cmml" xref="A8.Ex86.m1.1.1.3.1"></times><cn type="float" id="A8.Ex86.m1.1.1.3.2.cmml" xref="A8.Ex86.m1.1.1.3.2">0.5</cn><apply id="A8.Ex86.m1.1.1.3.3.cmml" xref="A8.Ex86.m1.1.1.3.3"><csymbol cd="ambiguous" id="A8.Ex86.m1.1.1.3.3.1.cmml" xref="A8.Ex86.m1.1.1.3.3">subscript</csymbol><ci id="A8.Ex86.m1.1.1.3.3.2.cmml" xref="A8.Ex86.m1.1.1.3.3.2">∇</ci><ci id="A8.Ex86.m1.1.1.3.3.3.cmml" xref="A8.Ex86.m1.1.1.3.3.3">𝐴</ci></apply></apply><apply id="A8.Ex86.m1.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1"><times id="A8.Ex86.m1.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.2"></times><ci id="A8.Ex86.m1.1.1.1.3.cmml" xref="A8.Ex86.m1.1.1.1.3">blkdiag</ci><set id="A8.Ex86.m1.1.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1"><apply id="A8.Ex86.m1.1.1.1.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A8.Ex86.m1.1.1.1.1.1.1.2.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1"><minus id="A8.Ex86.m1.1.1.1.1.1.1.1.1.5.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.5"></minus><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2"><times id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.3"></times><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1"><times id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.2">𝑄</ci><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2">superscript</csymbol><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1"><times id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.1"></times><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.2">𝑄</ci><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.1.1.1.3">ℎ</ci></apply><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.2.2.3">𝑇</ci></apply></apply><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4"><times id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.3"></times><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1"><times id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.1"></times><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2">superscript</csymbol><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.2">𝑄</ci><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3"><minus id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3"></minus><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.3.1.1.1.3">𝑣</ci></apply><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2"><csymbol cd="ambiguous" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2">superscript</csymbol><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1"><times id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.1"></times><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2"><csymbol cd="ambiguous" id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2">superscript</csymbol><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.2">𝑄</ci><apply id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3"><minus id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.1.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3"></minus><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.2.3.2">𝑇</ci></apply></apply><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.1.1.1.3">𝑣</ci></apply><ci id="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.3.cmml" xref="A8.Ex86.m1.1.1.1.1.1.1.1.1.4.2.3">𝑇</ci></apply></apply></apply></apply></set></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex86.m1.1c">0.5\nabla_{A}={\rm blkdiag}\{[(Qh)(Qh)^{T}-(Q^{-T}v)(Q^{-T}v)^{T}]\}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS1.SSS1.p3.3" class="ltx_p">Then, we update <math id="A8.SS1.SSS1.p3.3.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS1.SSS1.p3.3.m1.1a"><mi id="A8.SS1.SSS1.p3.3.m1.1.1" xref="A8.SS1.SSS1.p3.3.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p3.3.m1.1b"><ci id="A8.SS1.SSS1.p3.3.m1.1.1.cmml" xref="A8.SS1.SSS1.p3.3.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p3.3.m1.1c">A</annotation></semantics></math> by</p>
<table id="A8.Ex87" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex87.m1.1" class="ltx_Math" alttext="A\leftarrow A-\mu\nabla_{A}A" display="block"><semantics id="A8.Ex87.m1.1a"><mrow id="A8.Ex87.m1.1.1" xref="A8.Ex87.m1.1.1.cmml"><mi id="A8.Ex87.m1.1.1.2" xref="A8.Ex87.m1.1.1.2.cmml">A</mi><mo stretchy="false" id="A8.Ex87.m1.1.1.1" xref="A8.Ex87.m1.1.1.1.cmml">←</mo><mrow id="A8.Ex87.m1.1.1.3" xref="A8.Ex87.m1.1.1.3.cmml"><mi id="A8.Ex87.m1.1.1.3.2" xref="A8.Ex87.m1.1.1.3.2.cmml">A</mi><mo id="A8.Ex87.m1.1.1.3.1" xref="A8.Ex87.m1.1.1.3.1.cmml">−</mo><mrow id="A8.Ex87.m1.1.1.3.3" xref="A8.Ex87.m1.1.1.3.3.cmml"><mi id="A8.Ex87.m1.1.1.3.3.2" xref="A8.Ex87.m1.1.1.3.3.2.cmml">μ</mi><mo lspace="0.167em" rspace="0em" id="A8.Ex87.m1.1.1.3.3.1" xref="A8.Ex87.m1.1.1.3.3.1.cmml">​</mo><mrow id="A8.Ex87.m1.1.1.3.3.3" xref="A8.Ex87.m1.1.1.3.3.3.cmml"><msub id="A8.Ex87.m1.1.1.3.3.3.1" xref="A8.Ex87.m1.1.1.3.3.3.1.cmml"><mo rspace="0.167em" id="A8.Ex87.m1.1.1.3.3.3.1.2" xref="A8.Ex87.m1.1.1.3.3.3.1.2.cmml">∇</mo><mi id="A8.Ex87.m1.1.1.3.3.3.1.3" xref="A8.Ex87.m1.1.1.3.3.3.1.3.cmml">A</mi></msub><mi id="A8.Ex87.m1.1.1.3.3.3.2" xref="A8.Ex87.m1.1.1.3.3.3.2.cmml">A</mi></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex87.m1.1b"><apply id="A8.Ex87.m1.1.1.cmml" xref="A8.Ex87.m1.1.1"><ci id="A8.Ex87.m1.1.1.1.cmml" xref="A8.Ex87.m1.1.1.1">←</ci><ci id="A8.Ex87.m1.1.1.2.cmml" xref="A8.Ex87.m1.1.1.2">𝐴</ci><apply id="A8.Ex87.m1.1.1.3.cmml" xref="A8.Ex87.m1.1.1.3"><minus id="A8.Ex87.m1.1.1.3.1.cmml" xref="A8.Ex87.m1.1.1.3.1"></minus><ci id="A8.Ex87.m1.1.1.3.2.cmml" xref="A8.Ex87.m1.1.1.3.2">𝐴</ci><apply id="A8.Ex87.m1.1.1.3.3.cmml" xref="A8.Ex87.m1.1.1.3.3"><times id="A8.Ex87.m1.1.1.3.3.1.cmml" xref="A8.Ex87.m1.1.1.3.3.1"></times><ci id="A8.Ex87.m1.1.1.3.3.2.cmml" xref="A8.Ex87.m1.1.1.3.3.2">𝜇</ci><apply id="A8.Ex87.m1.1.1.3.3.3.cmml" xref="A8.Ex87.m1.1.1.3.3.3"><apply id="A8.Ex87.m1.1.1.3.3.3.1.cmml" xref="A8.Ex87.m1.1.1.3.3.3.1"><csymbol cd="ambiguous" id="A8.Ex87.m1.1.1.3.3.3.1.1.cmml" xref="A8.Ex87.m1.1.1.3.3.3.1">subscript</csymbol><ci id="A8.Ex87.m1.1.1.3.3.3.1.2.cmml" xref="A8.Ex87.m1.1.1.3.3.3.1.2">∇</ci><ci id="A8.Ex87.m1.1.1.3.3.3.1.3.cmml" xref="A8.Ex87.m1.1.1.3.3.3.1.3">𝐴</ci></apply><ci id="A8.Ex87.m1.1.1.3.3.3.2.cmml" xref="A8.Ex87.m1.1.1.3.3.3.2">𝐴</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex87.m1.1c">A\leftarrow A-\mu\nabla_{A}A</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS1.SSS1.p3.5" class="ltx_p">As usual, the step size should be small enough such that <math id="A8.SS1.SSS1.p3.4.m1.1" class="ltx_Math" alttext="\mu\|\nabla_{B}\|&lt;1" display="inline"><semantics id="A8.SS1.SSS1.p3.4.m1.1a"><mrow id="A8.SS1.SSS1.p3.4.m1.1.1" xref="A8.SS1.SSS1.p3.4.m1.1.1.cmml"><mrow id="A8.SS1.SSS1.p3.4.m1.1.1.1" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.cmml"><mi id="A8.SS1.SSS1.p3.4.m1.1.1.1.3" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS1.p3.4.m1.1.1.1.2" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.2.cmml">​</mo><mrow id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.2" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.2.1.cmml">‖</mo><msub id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.cmml"><mo id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.2" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.2.cmml">∇</mo><mi id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.3" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.3.cmml">B</mi></msub><mo stretchy="false" id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.3" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.2.1.cmml">‖</mo></mrow></mrow><mo id="A8.SS1.SSS1.p3.4.m1.1.1.2" xref="A8.SS1.SSS1.p3.4.m1.1.1.2.cmml">&lt;</mo><mn id="A8.SS1.SSS1.p3.4.m1.1.1.3" xref="A8.SS1.SSS1.p3.4.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p3.4.m1.1b"><apply id="A8.SS1.SSS1.p3.4.m1.1.1.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1"><lt id="A8.SS1.SSS1.p3.4.m1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.2"></lt><apply id="A8.SS1.SSS1.p3.4.m1.1.1.1.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1"><times id="A8.SS1.SSS1.p3.4.m1.1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.2"></times><ci id="A8.SS1.SSS1.p3.4.m1.1.1.1.3.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.3">𝜇</ci><apply id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1"><csymbol cd="latexml" id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.2.1.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.2">norm</csymbol><apply id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.1.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1">subscript</csymbol><ci id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.2">∇</ci><ci id="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.3.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.1.1.1.1.3">𝐵</ci></apply></apply></apply><cn type="integer" id="A8.SS1.SSS1.p3.4.m1.1.1.3.cmml" xref="A8.SS1.SSS1.p3.4.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p3.4.m1.1c">\mu\|\nabla_{B}\|&lt;1</annotation></semantics></math> and <math id="A8.SS1.SSS1.p3.5.m2.1" class="ltx_Math" alttext="\mu\|\nabla_{A}\|&lt;1" display="inline"><semantics id="A8.SS1.SSS1.p3.5.m2.1a"><mrow id="A8.SS1.SSS1.p3.5.m2.1.1" xref="A8.SS1.SSS1.p3.5.m2.1.1.cmml"><mrow id="A8.SS1.SSS1.p3.5.m2.1.1.1" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.cmml"><mi id="A8.SS1.SSS1.p3.5.m2.1.1.1.3" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS1.p3.5.m2.1.1.1.2" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.2.cmml">​</mo><mrow id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.2" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.2.1.cmml">‖</mo><msub id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.cmml"><mo id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.2" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.2.cmml">∇</mo><mi id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.3" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.3.cmml">A</mi></msub><mo stretchy="false" id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.3" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.2.1.cmml">‖</mo></mrow></mrow><mo id="A8.SS1.SSS1.p3.5.m2.1.1.2" xref="A8.SS1.SSS1.p3.5.m2.1.1.2.cmml">&lt;</mo><mn id="A8.SS1.SSS1.p3.5.m2.1.1.3" xref="A8.SS1.SSS1.p3.5.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS1.p3.5.m2.1b"><apply id="A8.SS1.SSS1.p3.5.m2.1.1.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1"><lt id="A8.SS1.SSS1.p3.5.m2.1.1.2.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.2"></lt><apply id="A8.SS1.SSS1.p3.5.m2.1.1.1.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1"><times id="A8.SS1.SSS1.p3.5.m2.1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.2"></times><ci id="A8.SS1.SSS1.p3.5.m2.1.1.1.3.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.3">𝜇</ci><apply id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1"><csymbol cd="latexml" id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.2.1.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.2">norm</csymbol><apply id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.1.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1">subscript</csymbol><ci id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.2.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.2">∇</ci><ci id="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.3.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.1.1.1.1.3">𝐴</ci></apply></apply></apply><cn type="integer" id="A8.SS1.SSS1.p3.5.m2.1.1.3.cmml" xref="A8.SS1.SSS1.p3.5.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS1.p3.5.m2.1c">\mu\|\nabla_{A}\|&lt;1</annotation></semantics></math>. It is also possible to use block-wise step sizes.</p>
</div>
</section>
<section id="A8.SS1.SSS2" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">H.1.2 </span>On the estimation of <math id="A8.SS1.SSS2.1.m1.1" class="ltx_Math" alttext="\|\nabla_{B}\|" display="inline"><semantics id="A8.SS1.SSS2.1.m1.1b"><mrow id="A8.SS1.SSS2.1.m1.1.1.1" xref="A8.SS1.SSS2.1.m1.1.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS2.1.m1.1.1.1.2" xref="A8.SS1.SSS2.1.m1.1.1.2.1.cmml">‖</mo><msub id="A8.SS1.SSS2.1.m1.1.1.1.1" xref="A8.SS1.SSS2.1.m1.1.1.1.1.cmml"><mo id="A8.SS1.SSS2.1.m1.1.1.1.1.2" xref="A8.SS1.SSS2.1.m1.1.1.1.1.2.cmml">∇</mo><mi id="A8.SS1.SSS2.1.m1.1.1.1.1.3" xref="A8.SS1.SSS2.1.m1.1.1.1.1.3.cmml">B</mi></msub><mo stretchy="false" id="A8.SS1.SSS2.1.m1.1.1.1.3" xref="A8.SS1.SSS2.1.m1.1.1.2.1.cmml">‖</mo></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS2.1.m1.1c"><apply id="A8.SS1.SSS2.1.m1.1.1.2.cmml" xref="A8.SS1.SSS2.1.m1.1.1.1"><csymbol cd="latexml" id="A8.SS1.SSS2.1.m1.1.1.2.1.cmml" xref="A8.SS1.SSS2.1.m1.1.1.1.2">norm</csymbol><apply id="A8.SS1.SSS2.1.m1.1.1.1.1.cmml" xref="A8.SS1.SSS2.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.SSS2.1.m1.1.1.1.1.1.cmml" xref="A8.SS1.SSS2.1.m1.1.1.1.1">subscript</csymbol><ci id="A8.SS1.SSS2.1.m1.1.1.1.1.2.cmml" xref="A8.SS1.SSS2.1.m1.1.1.1.1.2">∇</ci><ci id="A8.SS1.SSS2.1.m1.1.1.1.1.3.cmml" xref="A8.SS1.SSS2.1.m1.1.1.1.1.3">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS2.1.m1.1d">\|\nabla_{B}\|</annotation></semantics></math> and <math id="A8.SS1.SSS2.2.m2.1" class="ltx_Math" alttext="\|\nabla_{A}\|" display="inline"><semantics id="A8.SS1.SSS2.2.m2.1b"><mrow id="A8.SS1.SSS2.2.m2.1.1.1" xref="A8.SS1.SSS2.2.m2.1.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS2.2.m2.1.1.1.2" xref="A8.SS1.SSS2.2.m2.1.1.2.1.cmml">‖</mo><msub id="A8.SS1.SSS2.2.m2.1.1.1.1" xref="A8.SS1.SSS2.2.m2.1.1.1.1.cmml"><mo id="A8.SS1.SSS2.2.m2.1.1.1.1.2" xref="A8.SS1.SSS2.2.m2.1.1.1.1.2.cmml">∇</mo><mi id="A8.SS1.SSS2.2.m2.1.1.1.1.3" xref="A8.SS1.SSS2.2.m2.1.1.1.1.3.cmml">A</mi></msub><mo stretchy="false" id="A8.SS1.SSS2.2.m2.1.1.1.3" xref="A8.SS1.SSS2.2.m2.1.1.2.1.cmml">‖</mo></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS2.2.m2.1c"><apply id="A8.SS1.SSS2.2.m2.1.1.2.cmml" xref="A8.SS1.SSS2.2.m2.1.1.1"><csymbol cd="latexml" id="A8.SS1.SSS2.2.m2.1.1.2.1.cmml" xref="A8.SS1.SSS2.2.m2.1.1.1.2">norm</csymbol><apply id="A8.SS1.SSS2.2.m2.1.1.1.1.cmml" xref="A8.SS1.SSS2.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.SSS2.2.m2.1.1.1.1.1.cmml" xref="A8.SS1.SSS2.2.m2.1.1.1.1">subscript</csymbol><ci id="A8.SS1.SSS2.2.m2.1.1.1.1.2.cmml" xref="A8.SS1.SSS2.2.m2.1.1.1.1.2">∇</ci><ci id="A8.SS1.SSS2.2.m2.1.1.1.1.3.cmml" xref="A8.SS1.SSS2.2.m2.1.1.1.1.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS2.2.m2.1d">\|\nabla_{A}\|</annotation></semantics></math>
</h4>

<div id="A8.SS1.SSS2.p1" class="ltx_para">
<p id="A8.SS1.SSS2.p1.4" class="ltx_p">First, the norm of a block diagonal matrix is the maximum norm of its blocks.
Second, note that each block has form <math id="A8.SS1.SSS2.p1.1.m1.1" class="ltx_Math" alttext="ab^{T}-uv^{T}" display="inline"><semantics id="A8.SS1.SSS2.p1.1.m1.1a"><mrow id="A8.SS1.SSS2.p1.1.m1.1.1" xref="A8.SS1.SSS2.p1.1.m1.1.1.cmml"><mrow id="A8.SS1.SSS2.p1.1.m1.1.1.2" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.cmml"><mi id="A8.SS1.SSS2.p1.1.m1.1.1.2.2" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.1.m1.1.1.2.1" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.1.m1.1.1.2.3" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.3.cmml"><mi id="A8.SS1.SSS2.p1.1.m1.1.1.2.3.2" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.3.2.cmml">b</mi><mi id="A8.SS1.SSS2.p1.1.m1.1.1.2.3.3" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.3.3.cmml">T</mi></msup></mrow><mo id="A8.SS1.SSS2.p1.1.m1.1.1.1" xref="A8.SS1.SSS2.p1.1.m1.1.1.1.cmml">−</mo><mrow id="A8.SS1.SSS2.p1.1.m1.1.1.3" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.cmml"><mi id="A8.SS1.SSS2.p1.1.m1.1.1.3.2" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.2.cmml">u</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.1.m1.1.1.3.1" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.1.m1.1.1.3.3" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.3.cmml"><mi id="A8.SS1.SSS2.p1.1.m1.1.1.3.3.2" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.3.2.cmml">v</mi><mi id="A8.SS1.SSS2.p1.1.m1.1.1.3.3.3" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS2.p1.1.m1.1b"><apply id="A8.SS1.SSS2.p1.1.m1.1.1.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1"><minus id="A8.SS1.SSS2.p1.1.m1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.1"></minus><apply id="A8.SS1.SSS2.p1.1.m1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.2"><times id="A8.SS1.SSS2.p1.1.m1.1.1.2.1.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.1"></times><ci id="A8.SS1.SSS2.p1.1.m1.1.1.2.2.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.2">𝑎</ci><apply id="A8.SS1.SSS2.p1.1.m1.1.1.2.3.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.1.m1.1.1.2.3.1.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.1.m1.1.1.2.3.2.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.3.2">𝑏</ci><ci id="A8.SS1.SSS2.p1.1.m1.1.1.2.3.3.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.2.3.3">𝑇</ci></apply></apply><apply id="A8.SS1.SSS2.p1.1.m1.1.1.3.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.3"><times id="A8.SS1.SSS2.p1.1.m1.1.1.3.1.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.1"></times><ci id="A8.SS1.SSS2.p1.1.m1.1.1.3.2.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.2">𝑢</ci><apply id="A8.SS1.SSS2.p1.1.m1.1.1.3.3.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.1.m1.1.1.3.3.1.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.1.m1.1.1.3.3.2.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.3.2">𝑣</ci><ci id="A8.SS1.SSS2.p1.1.m1.1.1.3.3.3.cmml" xref="A8.SS1.SSS2.p1.1.m1.1.1.3.3.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS2.p1.1.m1.1c">ab^{T}-uv^{T}</annotation></semantics></math>, which has at most rank 2. Thus, <math id="A8.SS1.SSS2.p1.2.m2.3" class="ltx_Math" alttext="\|ab^{T}-uv^{T}\|_{F}/\sqrt{2}\leq\|ab^{T}-uv^{T}\|\leq\|ab^{T}-uv^{T}\|_{F}" display="inline"><semantics id="A8.SS1.SSS2.p1.2.m2.3a"><mrow id="A8.SS1.SSS2.p1.2.m2.3.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.cmml"><mrow id="A8.SS1.SSS2.p1.2.m2.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.cmml"><msub id="A8.SS1.SSS2.p1.2.m2.1.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.cmml"><mrow id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.cmml"><mrow id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.1" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.2.cmml">b</mi><mi id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.3.cmml">T</mi></msup></mrow><mo id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.2.cmml">u</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.1" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.2.cmml">v</mi><mi id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.3.cmml">F</mi></msub><mo id="A8.SS1.SSS2.p1.2.m2.1.1.1.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.2.cmml">/</mo><msqrt id="A8.SS1.SSS2.p1.2.m2.1.1.1.3" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.3.cmml"><mn id="A8.SS1.SSS2.p1.2.m2.1.1.1.3.2" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.3.2.cmml">2</mn></msqrt></mrow><mo id="A8.SS1.SSS2.p1.2.m2.3.3.5" xref="A8.SS1.SSS2.p1.2.m2.3.3.5.cmml">≤</mo><mrow id="A8.SS1.SSS2.p1.2.m2.2.2.2.1" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.2.cmml"><mo stretchy="false" id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.2" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.2.1.cmml">‖</mo><mrow id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.cmml"><mrow id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.2" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.1" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.2" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.2.cmml">b</mi><mi id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.3" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.3.cmml">T</mi></msup></mrow><mo id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.1.cmml">−</mo><mrow id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.2" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.2.cmml">u</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.1" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.2" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.2.cmml">v</mi><mi id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.3" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.3" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.2.1.cmml">‖</mo></mrow><mo id="A8.SS1.SSS2.p1.2.m2.3.3.6" xref="A8.SS1.SSS2.p1.2.m2.3.3.6.cmml">≤</mo><msub id="A8.SS1.SSS2.p1.2.m2.3.3.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.cmml"><mrow id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.2" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.2.1.cmml">‖</mo><mrow id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.cmml"><mrow id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.2" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.1" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.2" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.2.cmml">b</mi><mi id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.3.cmml">T</mi></msup></mrow><mo id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.1" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.1.cmml">−</mo><mrow id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.2" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.2.cmml">u</mi><mo lspace="0em" rspace="0em" id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.1" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.1.cmml">​</mo><msup id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.cmml"><mi id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.2" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.2.cmml">v</mi><mi id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.2.1.cmml">‖</mo></mrow><mi id="A8.SS1.SSS2.p1.2.m2.3.3.3.3" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS2.p1.2.m2.3b"><apply id="A8.SS1.SSS2.p1.2.m2.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3"><and id="A8.SS1.SSS2.p1.2.m2.3.3a.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3"></and><apply id="A8.SS1.SSS2.p1.2.m2.3.3b.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3"><leq id="A8.SS1.SSS2.p1.2.m2.3.3.5.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.5"></leq><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1"><divide id="A8.SS1.SSS2.p1.2.m2.1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.2"></divide><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1">subscript</csymbol><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1"><csymbol cd="latexml" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.2.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.2">norm</csymbol><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1"><minus id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.1"></minus><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2"><times id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.1"></times><ci id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.2">𝑎</ci><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.2">𝑏</ci><ci id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.2.3.3">𝑇</ci></apply></apply><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3"><times id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.1"></times><ci id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.2">𝑢</ci><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.2">𝑣</ci><ci id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply><ci id="A8.SS1.SSS2.p1.2.m2.1.1.1.1.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.1.3">𝐹</ci></apply><apply id="A8.SS1.SSS2.p1.2.m2.1.1.1.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.3"><root id="A8.SS1.SSS2.p1.2.m2.1.1.1.3a.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.3"></root><cn type="integer" id="A8.SS1.SSS2.p1.2.m2.1.1.1.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.1.1.1.3.2">2</cn></apply></apply><apply id="A8.SS1.SSS2.p1.2.m2.2.2.2.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1"><csymbol cd="latexml" id="A8.SS1.SSS2.p1.2.m2.2.2.2.2.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.2">norm</csymbol><apply id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1"><minus id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.1"></minus><apply id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2"><times id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.1"></times><ci id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.2">𝑎</ci><apply id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.2">𝑏</ci><ci id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.2.3.3">𝑇</ci></apply></apply><apply id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3"><times id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.1"></times><ci id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.2">𝑢</ci><apply id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.2">𝑣</ci><ci id="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.2.2.2.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply><apply id="A8.SS1.SSS2.p1.2.m2.3.3c.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3"><leq id="A8.SS1.SSS2.p1.2.m2.3.3.6.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.6"></leq><share href="#A8.SS1.SSS2.p1.2.m2.2.2.2.cmml" id="A8.SS1.SSS2.p1.2.m2.3.3d.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3"></share><apply id="A8.SS1.SSS2.p1.2.m2.3.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.3.3.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3">subscript</csymbol><apply id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1"><csymbol cd="latexml" id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.2.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.2">norm</csymbol><apply id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1"><minus id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.1"></minus><apply id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2"><times id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.1"></times><ci id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.2">𝑎</ci><apply id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.2">𝑏</ci><ci id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.2.3.3">𝑇</ci></apply></apply><apply id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3"><times id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.1"></times><ci id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.2">𝑢</ci><apply id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.1.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3">superscript</csymbol><ci id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.2.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.2">𝑣</ci><ci id="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply><ci id="A8.SS1.SSS2.p1.2.m2.3.3.3.3.cmml" xref="A8.SS1.SSS2.p1.2.m2.3.3.3.3">𝐹</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS2.p1.2.m2.3c">\|ab^{T}-uv^{T}\|_{F}/\sqrt{2}\leq\|ab^{T}-uv^{T}\|\leq\|ab^{T}-uv^{T}\|_{F}</annotation></semantics></math>.
Hence, the maximum Frobenius norm of blocks gives a tight enough spectral norm estimation for the two block diagonal matrices <math id="A8.SS1.SSS2.p1.3.m3.1" class="ltx_Math" alttext="\|\nabla_{B}\|" display="inline"><semantics id="A8.SS1.SSS2.p1.3.m3.1a"><mrow id="A8.SS1.SSS2.p1.3.m3.1.1.1" xref="A8.SS1.SSS2.p1.3.m3.1.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS2.p1.3.m3.1.1.1.2" xref="A8.SS1.SSS2.p1.3.m3.1.1.2.1.cmml">‖</mo><msub id="A8.SS1.SSS2.p1.3.m3.1.1.1.1" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.1.cmml"><mo id="A8.SS1.SSS2.p1.3.m3.1.1.1.1.2" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.1.2.cmml">∇</mo><mi id="A8.SS1.SSS2.p1.3.m3.1.1.1.1.3" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.1.3.cmml">B</mi></msub><mo stretchy="false" id="A8.SS1.SSS2.p1.3.m3.1.1.1.3" xref="A8.SS1.SSS2.p1.3.m3.1.1.2.1.cmml">‖</mo></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS2.p1.3.m3.1b"><apply id="A8.SS1.SSS2.p1.3.m3.1.1.2.cmml" xref="A8.SS1.SSS2.p1.3.m3.1.1.1"><csymbol cd="latexml" id="A8.SS1.SSS2.p1.3.m3.1.1.2.1.cmml" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.2">norm</csymbol><apply id="A8.SS1.SSS2.p1.3.m3.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.3.m3.1.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.1">subscript</csymbol><ci id="A8.SS1.SSS2.p1.3.m3.1.1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.1.2">∇</ci><ci id="A8.SS1.SSS2.p1.3.m3.1.1.1.1.3.cmml" xref="A8.SS1.SSS2.p1.3.m3.1.1.1.1.3">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS2.p1.3.m3.1c">\|\nabla_{B}\|</annotation></semantics></math> and <math id="A8.SS1.SSS2.p1.4.m4.1" class="ltx_Math" alttext="\|\nabla_{A}\|" display="inline"><semantics id="A8.SS1.SSS2.p1.4.m4.1a"><mrow id="A8.SS1.SSS2.p1.4.m4.1.1.1" xref="A8.SS1.SSS2.p1.4.m4.1.1.2.cmml"><mo stretchy="false" id="A8.SS1.SSS2.p1.4.m4.1.1.1.2" xref="A8.SS1.SSS2.p1.4.m4.1.1.2.1.cmml">‖</mo><msub id="A8.SS1.SSS2.p1.4.m4.1.1.1.1" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.1.cmml"><mo id="A8.SS1.SSS2.p1.4.m4.1.1.1.1.2" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.1.2.cmml">∇</mo><mi id="A8.SS1.SSS2.p1.4.m4.1.1.1.1.3" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.1.3.cmml">A</mi></msub><mo stretchy="false" id="A8.SS1.SSS2.p1.4.m4.1.1.1.3" xref="A8.SS1.SSS2.p1.4.m4.1.1.2.1.cmml">‖</mo></mrow><annotation-xml encoding="MathML-Content" id="A8.SS1.SSS2.p1.4.m4.1b"><apply id="A8.SS1.SSS2.p1.4.m4.1.1.2.cmml" xref="A8.SS1.SSS2.p1.4.m4.1.1.1"><csymbol cd="latexml" id="A8.SS1.SSS2.p1.4.m4.1.1.2.1.cmml" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.2">norm</csymbol><apply id="A8.SS1.SSS2.p1.4.m4.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.1"><csymbol cd="ambiguous" id="A8.SS1.SSS2.p1.4.m4.1.1.1.1.1.cmml" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.1">subscript</csymbol><ci id="A8.SS1.SSS2.p1.4.m4.1.1.1.1.2.cmml" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.1.2">∇</ci><ci id="A8.SS1.SSS2.p1.4.m4.1.1.1.1.3.cmml" xref="A8.SS1.SSS2.p1.4.m4.1.1.1.1.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS1.SSS2.p1.4.m4.1c">\|\nabla_{A}\|</annotation></semantics></math>.</p>
</div>
</section>
</section>
<section id="A8.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">H.2 </span>The two-grid preconditioner</h3>

<div id="A8.SS2.p1" class="ltx_para">
<p id="A8.SS2.p1.7" class="ltx_p">Inspired by the algebraic multigrid method (AMG), we may precondition on two half-overlapped coarse grids, i.e.,</p>
<table id="A8.Ex88" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex88.m1.2" class="ltx_Math" alttext="Q=C^{-1}(A\otimes I)C(B\otimes I)" display="block"><semantics id="A8.Ex88.m1.2a"><mrow id="A8.Ex88.m1.2.2" xref="A8.Ex88.m1.2.2.cmml"><mi id="A8.Ex88.m1.2.2.4" xref="A8.Ex88.m1.2.2.4.cmml">Q</mi><mo id="A8.Ex88.m1.2.2.3" xref="A8.Ex88.m1.2.2.3.cmml">=</mo><mrow id="A8.Ex88.m1.2.2.2" xref="A8.Ex88.m1.2.2.2.cmml"><msup id="A8.Ex88.m1.2.2.2.4" xref="A8.Ex88.m1.2.2.2.4.cmml"><mi id="A8.Ex88.m1.2.2.2.4.2" xref="A8.Ex88.m1.2.2.2.4.2.cmml">C</mi><mrow id="A8.Ex88.m1.2.2.2.4.3" xref="A8.Ex88.m1.2.2.2.4.3.cmml"><mo id="A8.Ex88.m1.2.2.2.4.3a" xref="A8.Ex88.m1.2.2.2.4.3.cmml">−</mo><mn id="A8.Ex88.m1.2.2.2.4.3.2" xref="A8.Ex88.m1.2.2.2.4.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A8.Ex88.m1.2.2.2.3" xref="A8.Ex88.m1.2.2.2.3.cmml">​</mo><mrow id="A8.Ex88.m1.1.1.1.1.1" xref="A8.Ex88.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A8.Ex88.m1.1.1.1.1.1.2" xref="A8.Ex88.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A8.Ex88.m1.1.1.1.1.1.1" xref="A8.Ex88.m1.1.1.1.1.1.1.cmml"><mi id="A8.Ex88.m1.1.1.1.1.1.1.2" xref="A8.Ex88.m1.1.1.1.1.1.1.2.cmml">A</mi><mo lspace="0.222em" rspace="0.222em" id="A8.Ex88.m1.1.1.1.1.1.1.1" xref="A8.Ex88.m1.1.1.1.1.1.1.1.cmml">⊗</mo><mi id="A8.Ex88.m1.1.1.1.1.1.1.3" xref="A8.Ex88.m1.1.1.1.1.1.1.3.cmml">I</mi></mrow><mo stretchy="false" id="A8.Ex88.m1.1.1.1.1.1.3" xref="A8.Ex88.m1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A8.Ex88.m1.2.2.2.3a" xref="A8.Ex88.m1.2.2.2.3.cmml">​</mo><mi id="A8.Ex88.m1.2.2.2.5" xref="A8.Ex88.m1.2.2.2.5.cmml">C</mi><mo lspace="0em" rspace="0em" id="A8.Ex88.m1.2.2.2.3b" xref="A8.Ex88.m1.2.2.2.3.cmml">​</mo><mrow id="A8.Ex88.m1.2.2.2.2.1" xref="A8.Ex88.m1.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A8.Ex88.m1.2.2.2.2.1.2" xref="A8.Ex88.m1.2.2.2.2.1.1.cmml">(</mo><mrow id="A8.Ex88.m1.2.2.2.2.1.1" xref="A8.Ex88.m1.2.2.2.2.1.1.cmml"><mi id="A8.Ex88.m1.2.2.2.2.1.1.2" xref="A8.Ex88.m1.2.2.2.2.1.1.2.cmml">B</mi><mo lspace="0.222em" rspace="0.222em" id="A8.Ex88.m1.2.2.2.2.1.1.1" xref="A8.Ex88.m1.2.2.2.2.1.1.1.cmml">⊗</mo><mi id="A8.Ex88.m1.2.2.2.2.1.1.3" xref="A8.Ex88.m1.2.2.2.2.1.1.3.cmml">I</mi></mrow><mo stretchy="false" id="A8.Ex88.m1.2.2.2.2.1.3" xref="A8.Ex88.m1.2.2.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex88.m1.2b"><apply id="A8.Ex88.m1.2.2.cmml" xref="A8.Ex88.m1.2.2"><eq id="A8.Ex88.m1.2.2.3.cmml" xref="A8.Ex88.m1.2.2.3"></eq><ci id="A8.Ex88.m1.2.2.4.cmml" xref="A8.Ex88.m1.2.2.4">𝑄</ci><apply id="A8.Ex88.m1.2.2.2.cmml" xref="A8.Ex88.m1.2.2.2"><times id="A8.Ex88.m1.2.2.2.3.cmml" xref="A8.Ex88.m1.2.2.2.3"></times><apply id="A8.Ex88.m1.2.2.2.4.cmml" xref="A8.Ex88.m1.2.2.2.4"><csymbol cd="ambiguous" id="A8.Ex88.m1.2.2.2.4.1.cmml" xref="A8.Ex88.m1.2.2.2.4">superscript</csymbol><ci id="A8.Ex88.m1.2.2.2.4.2.cmml" xref="A8.Ex88.m1.2.2.2.4.2">𝐶</ci><apply id="A8.Ex88.m1.2.2.2.4.3.cmml" xref="A8.Ex88.m1.2.2.2.4.3"><minus id="A8.Ex88.m1.2.2.2.4.3.1.cmml" xref="A8.Ex88.m1.2.2.2.4.3"></minus><cn type="integer" id="A8.Ex88.m1.2.2.2.4.3.2.cmml" xref="A8.Ex88.m1.2.2.2.4.3.2">1</cn></apply></apply><apply id="A8.Ex88.m1.1.1.1.1.1.1.cmml" xref="A8.Ex88.m1.1.1.1.1.1"><csymbol cd="latexml" id="A8.Ex88.m1.1.1.1.1.1.1.1.cmml" xref="A8.Ex88.m1.1.1.1.1.1.1.1">tensor-product</csymbol><ci id="A8.Ex88.m1.1.1.1.1.1.1.2.cmml" xref="A8.Ex88.m1.1.1.1.1.1.1.2">𝐴</ci><ci id="A8.Ex88.m1.1.1.1.1.1.1.3.cmml" xref="A8.Ex88.m1.1.1.1.1.1.1.3">𝐼</ci></apply><ci id="A8.Ex88.m1.2.2.2.5.cmml" xref="A8.Ex88.m1.2.2.2.5">𝐶</ci><apply id="A8.Ex88.m1.2.2.2.2.1.1.cmml" xref="A8.Ex88.m1.2.2.2.2.1"><csymbol cd="latexml" id="A8.Ex88.m1.2.2.2.2.1.1.1.cmml" xref="A8.Ex88.m1.2.2.2.2.1.1.1">tensor-product</csymbol><ci id="A8.Ex88.m1.2.2.2.2.1.1.2.cmml" xref="A8.Ex88.m1.2.2.2.2.1.1.2">𝐵</ci><ci id="A8.Ex88.m1.2.2.2.2.1.1.3.cmml" xref="A8.Ex88.m1.2.2.2.2.1.1.3">𝐼</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex88.m1.2c">Q=C^{-1}(A\otimes I)C(B\otimes I)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS2.p1.6" class="ltx_p">where <math id="A8.SS2.p1.1.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS2.p1.1.m1.1a"><mi id="A8.SS2.p1.1.m1.1.1" xref="A8.SS2.p1.1.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS2.p1.1.m1.1b"><ci id="A8.SS2.p1.1.m1.1.1.cmml" xref="A8.SS2.p1.1.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS2.p1.1.m1.1c">A</annotation></semantics></math> and <math id="A8.SS2.p1.2.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A8.SS2.p1.2.m2.1a"><mi id="A8.SS2.p1.2.m2.1.1" xref="A8.SS2.p1.2.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A8.SS2.p1.2.m2.1b"><ci id="A8.SS2.p1.2.m2.1.1.cmml" xref="A8.SS2.p1.2.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS2.p1.2.m2.1c">B</annotation></semantics></math> are two small matrices, and <math id="A8.SS2.p1.3.m3.1" class="ltx_Math" alttext="C" display="inline"><semantics id="A8.SS2.p1.3.m3.1a"><mi id="A8.SS2.p1.3.m3.1.1" xref="A8.SS2.p1.3.m3.1.1.cmml">C</mi><annotation-xml encoding="MathML-Content" id="A8.SS2.p1.3.m3.1b"><ci id="A8.SS2.p1.3.m3.1.1.cmml" xref="A8.SS2.p1.3.m3.1.1">𝐶</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS2.p1.3.m3.1c">C</annotation></semantics></math> is a circular-shifting matrix. The ‘coarseness’ is determined by the size of <math id="A8.SS2.p1.4.m4.1" class="ltx_Math" alttext="I" display="inline"><semantics id="A8.SS2.p1.4.m4.1a"><mi id="A8.SS2.p1.4.m4.1.1" xref="A8.SS2.p1.4.m4.1.1.cmml">I</mi><annotation-xml encoding="MathML-Content" id="A8.SS2.p1.4.m4.1b"><ci id="A8.SS2.p1.4.m4.1.1.cmml" xref="A8.SS2.p1.4.m4.1.1">𝐼</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS2.p1.4.m4.1c">I</annotation></semantics></math>.
Clearly, it reduces to a dense preconditioner for <math id="A8.SS2.p1.5.m5.1" class="ltx_Math" alttext="I=1" display="inline"><semantics id="A8.SS2.p1.5.m5.1a"><mrow id="A8.SS2.p1.5.m5.1.1" xref="A8.SS2.p1.5.m5.1.1.cmml"><mi id="A8.SS2.p1.5.m5.1.1.2" xref="A8.SS2.p1.5.m5.1.1.2.cmml">I</mi><mo id="A8.SS2.p1.5.m5.1.1.1" xref="A8.SS2.p1.5.m5.1.1.1.cmml">=</mo><mn id="A8.SS2.p1.5.m5.1.1.3" xref="A8.SS2.p1.5.m5.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A8.SS2.p1.5.m5.1b"><apply id="A8.SS2.p1.5.m5.1.1.cmml" xref="A8.SS2.p1.5.m5.1.1"><eq id="A8.SS2.p1.5.m5.1.1.1.cmml" xref="A8.SS2.p1.5.m5.1.1.1"></eq><ci id="A8.SS2.p1.5.m5.1.1.2.cmml" xref="A8.SS2.p1.5.m5.1.1.2">𝐼</ci><cn type="integer" id="A8.SS2.p1.5.m5.1.1.3.cmml" xref="A8.SS2.p1.5.m5.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS2.p1.5.m5.1c">I=1</annotation></semantics></math>. When the size of <math id="A8.SS2.p1.6.m6.1" class="ltx_Math" alttext="I" display="inline"><semantics id="A8.SS2.p1.6.m6.1a"><mi id="A8.SS2.p1.6.m6.1.1" xref="A8.SS2.p1.6.m6.1.1.cmml">I</mi><annotation-xml encoding="MathML-Content" id="A8.SS2.p1.6.m6.1b"><ci id="A8.SS2.p1.6.m6.1.1.cmml" xref="A8.SS2.p1.6.m6.1.1">𝐼</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS2.p1.6.m6.1c">I</annotation></semantics></math> is large, we only precondition the ‘low-frequency components’ of the Hessian.</p>
</div>
<div id="A8.SS2.p2" class="ltx_para">
<p id="A8.SS2.p2.1" class="ltx_p">The popular Kronecker product preconditioner also can be viewed as preconditioning on a coarse grid.
Unlike AMG, we do not have a prolongation/interpolation step to refine the coarse error since the target is the unknown Hessian.</p>
</div>
</section>
<section id="A8.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">H.3 </span>Preconditioning as PCA or Karhunen–Loeve transform</h3>

<section id="A8.SS3.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">H.3.1 </span>The connection to PCA</h4>

<div id="A8.SS3.SSS1.p1" class="ltx_para">
<p id="A8.SS3.SSS1.p1.2" class="ltx_p">If <math id="A8.SS3.SSS1.p1.1.m1.1" class="ltx_Math" alttext="v" display="inline"><semantics id="A8.SS3.SSS1.p1.1.m1.1a"><mi id="A8.SS3.SSS1.p1.1.m1.1.1" xref="A8.SS3.SSS1.p1.1.m1.1.1.cmml">v</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS1.p1.1.m1.1b"><ci id="A8.SS3.SSS1.p1.1.m1.1.1.cmml" xref="A8.SS3.SSS1.p1.1.m1.1.1">𝑣</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS1.p1.1.m1.1c">v</annotation></semantics></math> is drawn from <math id="A8.SS3.SSS1.p1.2.m2.2" class="ltx_Math" alttext="\mathcal{N}(0,I)" display="inline"><semantics id="A8.SS3.SSS1.p1.2.m2.2a"><mrow id="A8.SS3.SSS1.p1.2.m2.2.3" xref="A8.SS3.SSS1.p1.2.m2.2.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.SS3.SSS1.p1.2.m2.2.3.2" xref="A8.SS3.SSS1.p1.2.m2.2.3.2.cmml">𝒩</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS1.p1.2.m2.2.3.1" xref="A8.SS3.SSS1.p1.2.m2.2.3.1.cmml">​</mo><mrow id="A8.SS3.SSS1.p1.2.m2.2.3.3.2" xref="A8.SS3.SSS1.p1.2.m2.2.3.3.1.cmml"><mo stretchy="false" id="A8.SS3.SSS1.p1.2.m2.2.3.3.2.1" xref="A8.SS3.SSS1.p1.2.m2.2.3.3.1.cmml">(</mo><mn id="A8.SS3.SSS1.p1.2.m2.1.1" xref="A8.SS3.SSS1.p1.2.m2.1.1.cmml">0</mn><mo id="A8.SS3.SSS1.p1.2.m2.2.3.3.2.2" xref="A8.SS3.SSS1.p1.2.m2.2.3.3.1.cmml">,</mo><mi id="A8.SS3.SSS1.p1.2.m2.2.2" xref="A8.SS3.SSS1.p1.2.m2.2.2.cmml">I</mi><mo stretchy="false" id="A8.SS3.SSS1.p1.2.m2.2.3.3.2.3" xref="A8.SS3.SSS1.p1.2.m2.2.3.3.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS1.p1.2.m2.2b"><apply id="A8.SS3.SSS1.p1.2.m2.2.3.cmml" xref="A8.SS3.SSS1.p1.2.m2.2.3"><times id="A8.SS3.SSS1.p1.2.m2.2.3.1.cmml" xref="A8.SS3.SSS1.p1.2.m2.2.3.1"></times><ci id="A8.SS3.SSS1.p1.2.m2.2.3.2.cmml" xref="A8.SS3.SSS1.p1.2.m2.2.3.2">𝒩</ci><interval closure="open" id="A8.SS3.SSS1.p1.2.m2.2.3.3.1.cmml" xref="A8.SS3.SSS1.p1.2.m2.2.3.3.2"><cn type="integer" id="A8.SS3.SSS1.p1.2.m2.1.1.cmml" xref="A8.SS3.SSS1.p1.2.m2.1.1">0</cn><ci id="A8.SS3.SSS1.p1.2.m2.2.2.cmml" xref="A8.SS3.SSS1.p1.2.m2.2.2">𝐼</ci></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS1.p1.2.m2.2c">\mathcal{N}(0,I)</annotation></semantics></math>, then we can simplify Eq. equation <a href="#S2.E3" title="Equation 3 ‣ 2.2 The Preconditioner Fitting Criterion ‣ 2 Related work &amp; background on PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> as below</p>
<table id="A8.Ex89" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex89.m1.5" class="ltx_Math" alttext="E[h^{T}Ph+v^{T}P^{-1}v]=E[h^{T}Ph]+E\{{\rm trace}[P^{-1}vv^{T}]\}=E[h^{T}Ph]+{\rm trace}(P^{-1})" display="block"><semantics id="A8.Ex89.m1.5a"><mrow id="A8.Ex89.m1.5.5" xref="A8.Ex89.m1.5.5.cmml"><mrow id="A8.Ex89.m1.1.1.1" xref="A8.Ex89.m1.1.1.1.cmml"><mi id="A8.Ex89.m1.1.1.1.3" xref="A8.Ex89.m1.1.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.1.1.1.2" xref="A8.Ex89.m1.1.1.1.2.cmml">​</mo><mrow id="A8.Ex89.m1.1.1.1.1.1" xref="A8.Ex89.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.Ex89.m1.1.1.1.1.1.2" xref="A8.Ex89.m1.1.1.1.1.2.1.cmml">[</mo><mrow id="A8.Ex89.m1.1.1.1.1.1.1" xref="A8.Ex89.m1.1.1.1.1.1.1.cmml"><mrow id="A8.Ex89.m1.1.1.1.1.1.1.2" xref="A8.Ex89.m1.1.1.1.1.1.1.2.cmml"><msup id="A8.Ex89.m1.1.1.1.1.1.1.2.2" xref="A8.Ex89.m1.1.1.1.1.1.1.2.2.cmml"><mi id="A8.Ex89.m1.1.1.1.1.1.1.2.2.2" xref="A8.Ex89.m1.1.1.1.1.1.1.2.2.2.cmml">h</mi><mi id="A8.Ex89.m1.1.1.1.1.1.1.2.2.3" xref="A8.Ex89.m1.1.1.1.1.1.1.2.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.1.1.1.1.1.1.2.1" xref="A8.Ex89.m1.1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A8.Ex89.m1.1.1.1.1.1.1.2.3" xref="A8.Ex89.m1.1.1.1.1.1.1.2.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.1.1.1.1.1.1.2.1a" xref="A8.Ex89.m1.1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A8.Ex89.m1.1.1.1.1.1.1.2.4" xref="A8.Ex89.m1.1.1.1.1.1.1.2.4.cmml">h</mi></mrow><mo id="A8.Ex89.m1.1.1.1.1.1.1.1" xref="A8.Ex89.m1.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A8.Ex89.m1.1.1.1.1.1.1.3" xref="A8.Ex89.m1.1.1.1.1.1.1.3.cmml"><msup id="A8.Ex89.m1.1.1.1.1.1.1.3.2" xref="A8.Ex89.m1.1.1.1.1.1.1.3.2.cmml"><mi id="A8.Ex89.m1.1.1.1.1.1.1.3.2.2" xref="A8.Ex89.m1.1.1.1.1.1.1.3.2.2.cmml">v</mi><mi id="A8.Ex89.m1.1.1.1.1.1.1.3.2.3" xref="A8.Ex89.m1.1.1.1.1.1.1.3.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.1.1.1.1.1.1.3.1" xref="A8.Ex89.m1.1.1.1.1.1.1.3.1.cmml">​</mo><msup id="A8.Ex89.m1.1.1.1.1.1.1.3.3" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.cmml"><mi id="A8.Ex89.m1.1.1.1.1.1.1.3.3.2" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.2.cmml">P</mi><mrow id="A8.Ex89.m1.1.1.1.1.1.1.3.3.3" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.cmml"><mo id="A8.Ex89.m1.1.1.1.1.1.1.3.3.3a" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.cmml">−</mo><mn id="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.2" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.1.1.1.1.1.1.3.1a" xref="A8.Ex89.m1.1.1.1.1.1.1.3.1.cmml">​</mo><mi id="A8.Ex89.m1.1.1.1.1.1.1.3.4" xref="A8.Ex89.m1.1.1.1.1.1.1.3.4.cmml">v</mi></mrow></mrow><mo stretchy="false" id="A8.Ex89.m1.1.1.1.1.1.3" xref="A8.Ex89.m1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A8.Ex89.m1.5.5.7" xref="A8.Ex89.m1.5.5.7.cmml">=</mo><mrow id="A8.Ex89.m1.3.3.3" xref="A8.Ex89.m1.3.3.3.cmml"><mrow id="A8.Ex89.m1.2.2.2.1" xref="A8.Ex89.m1.2.2.2.1.cmml"><mi id="A8.Ex89.m1.2.2.2.1.3" xref="A8.Ex89.m1.2.2.2.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.2.2.2.1.2" xref="A8.Ex89.m1.2.2.2.1.2.cmml">​</mo><mrow id="A8.Ex89.m1.2.2.2.1.1.1" xref="A8.Ex89.m1.2.2.2.1.1.2.cmml"><mo stretchy="false" id="A8.Ex89.m1.2.2.2.1.1.1.2" xref="A8.Ex89.m1.2.2.2.1.1.2.1.cmml">[</mo><mrow id="A8.Ex89.m1.2.2.2.1.1.1.1" xref="A8.Ex89.m1.2.2.2.1.1.1.1.cmml"><msup id="A8.Ex89.m1.2.2.2.1.1.1.1.2" xref="A8.Ex89.m1.2.2.2.1.1.1.1.2.cmml"><mi id="A8.Ex89.m1.2.2.2.1.1.1.1.2.2" xref="A8.Ex89.m1.2.2.2.1.1.1.1.2.2.cmml">h</mi><mi id="A8.Ex89.m1.2.2.2.1.1.1.1.2.3" xref="A8.Ex89.m1.2.2.2.1.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.2.2.2.1.1.1.1.1" xref="A8.Ex89.m1.2.2.2.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex89.m1.2.2.2.1.1.1.1.3" xref="A8.Ex89.m1.2.2.2.1.1.1.1.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.2.2.2.1.1.1.1.1a" xref="A8.Ex89.m1.2.2.2.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex89.m1.2.2.2.1.1.1.1.4" xref="A8.Ex89.m1.2.2.2.1.1.1.1.4.cmml">h</mi></mrow><mo stretchy="false" id="A8.Ex89.m1.2.2.2.1.1.1.3" xref="A8.Ex89.m1.2.2.2.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A8.Ex89.m1.3.3.3.3" xref="A8.Ex89.m1.3.3.3.3.cmml">+</mo><mrow id="A8.Ex89.m1.3.3.3.2" xref="A8.Ex89.m1.3.3.3.2.cmml"><mi id="A8.Ex89.m1.3.3.3.2.3" xref="A8.Ex89.m1.3.3.3.2.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.3.3.3.2.2" xref="A8.Ex89.m1.3.3.3.2.2.cmml">​</mo><mrow id="A8.Ex89.m1.3.3.3.2.1.1" xref="A8.Ex89.m1.3.3.3.2.1.2.cmml"><mo stretchy="false" id="A8.Ex89.m1.3.3.3.2.1.1.2" xref="A8.Ex89.m1.3.3.3.2.1.2.cmml">{</mo><mrow id="A8.Ex89.m1.3.3.3.2.1.1.1" xref="A8.Ex89.m1.3.3.3.2.1.1.1.cmml"><mi id="A8.Ex89.m1.3.3.3.2.1.1.1.3" xref="A8.Ex89.m1.3.3.3.2.1.1.1.3.cmml">trace</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.3.3.3.2.1.1.1.2" xref="A8.Ex89.m1.3.3.3.2.1.1.1.2.cmml">​</mo><mrow id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.2" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.2.1.cmml">[</mo><mrow id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.cmml"><msup id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.cmml"><mi id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.2" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.2.cmml">P</mi><mrow id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.cmml"><mo id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3a" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.cmml">−</mo><mn id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.2" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.2.cmml">1</mn></mrow></msup><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.1" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.3" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.3.cmml">v</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.1a" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.1.cmml">​</mo><msup id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.cmml"><mi id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.2" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.2.cmml">v</mi><mi id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.3" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.3" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo stretchy="false" id="A8.Ex89.m1.3.3.3.2.1.1.3" xref="A8.Ex89.m1.3.3.3.2.1.2.cmml">}</mo></mrow></mrow></mrow><mo id="A8.Ex89.m1.5.5.8" xref="A8.Ex89.m1.5.5.8.cmml">=</mo><mrow id="A8.Ex89.m1.5.5.5" xref="A8.Ex89.m1.5.5.5.cmml"><mrow id="A8.Ex89.m1.4.4.4.1" xref="A8.Ex89.m1.4.4.4.1.cmml"><mi id="A8.Ex89.m1.4.4.4.1.3" xref="A8.Ex89.m1.4.4.4.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.4.4.4.1.2" xref="A8.Ex89.m1.4.4.4.1.2.cmml">​</mo><mrow id="A8.Ex89.m1.4.4.4.1.1.1" xref="A8.Ex89.m1.4.4.4.1.1.2.cmml"><mo stretchy="false" id="A8.Ex89.m1.4.4.4.1.1.1.2" xref="A8.Ex89.m1.4.4.4.1.1.2.1.cmml">[</mo><mrow id="A8.Ex89.m1.4.4.4.1.1.1.1" xref="A8.Ex89.m1.4.4.4.1.1.1.1.cmml"><msup id="A8.Ex89.m1.4.4.4.1.1.1.1.2" xref="A8.Ex89.m1.4.4.4.1.1.1.1.2.cmml"><mi id="A8.Ex89.m1.4.4.4.1.1.1.1.2.2" xref="A8.Ex89.m1.4.4.4.1.1.1.1.2.2.cmml">h</mi><mi id="A8.Ex89.m1.4.4.4.1.1.1.1.2.3" xref="A8.Ex89.m1.4.4.4.1.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.4.4.4.1.1.1.1.1" xref="A8.Ex89.m1.4.4.4.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex89.m1.4.4.4.1.1.1.1.3" xref="A8.Ex89.m1.4.4.4.1.1.1.1.3.cmml">P</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.4.4.4.1.1.1.1.1a" xref="A8.Ex89.m1.4.4.4.1.1.1.1.1.cmml">​</mo><mi id="A8.Ex89.m1.4.4.4.1.1.1.1.4" xref="A8.Ex89.m1.4.4.4.1.1.1.1.4.cmml">h</mi></mrow><mo stretchy="false" id="A8.Ex89.m1.4.4.4.1.1.1.3" xref="A8.Ex89.m1.4.4.4.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A8.Ex89.m1.5.5.5.3" xref="A8.Ex89.m1.5.5.5.3.cmml">+</mo><mrow id="A8.Ex89.m1.5.5.5.2" xref="A8.Ex89.m1.5.5.5.2.cmml"><mi id="A8.Ex89.m1.5.5.5.2.3" xref="A8.Ex89.m1.5.5.5.2.3.cmml">trace</mi><mo lspace="0em" rspace="0em" id="A8.Ex89.m1.5.5.5.2.2" xref="A8.Ex89.m1.5.5.5.2.2.cmml">​</mo><mrow id="A8.Ex89.m1.5.5.5.2.1.1" xref="A8.Ex89.m1.5.5.5.2.1.1.1.cmml"><mo stretchy="false" id="A8.Ex89.m1.5.5.5.2.1.1.2" xref="A8.Ex89.m1.5.5.5.2.1.1.1.cmml">(</mo><msup id="A8.Ex89.m1.5.5.5.2.1.1.1" xref="A8.Ex89.m1.5.5.5.2.1.1.1.cmml"><mi id="A8.Ex89.m1.5.5.5.2.1.1.1.2" xref="A8.Ex89.m1.5.5.5.2.1.1.1.2.cmml">P</mi><mrow id="A8.Ex89.m1.5.5.5.2.1.1.1.3" xref="A8.Ex89.m1.5.5.5.2.1.1.1.3.cmml"><mo id="A8.Ex89.m1.5.5.5.2.1.1.1.3a" xref="A8.Ex89.m1.5.5.5.2.1.1.1.3.cmml">−</mo><mn id="A8.Ex89.m1.5.5.5.2.1.1.1.3.2" xref="A8.Ex89.m1.5.5.5.2.1.1.1.3.2.cmml">1</mn></mrow></msup><mo stretchy="false" id="A8.Ex89.m1.5.5.5.2.1.1.3" xref="A8.Ex89.m1.5.5.5.2.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex89.m1.5b"><apply id="A8.Ex89.m1.5.5.cmml" xref="A8.Ex89.m1.5.5"><and id="A8.Ex89.m1.5.5a.cmml" xref="A8.Ex89.m1.5.5"></and><apply id="A8.Ex89.m1.5.5b.cmml" xref="A8.Ex89.m1.5.5"><eq id="A8.Ex89.m1.5.5.7.cmml" xref="A8.Ex89.m1.5.5.7"></eq><apply id="A8.Ex89.m1.1.1.1.cmml" xref="A8.Ex89.m1.1.1.1"><times id="A8.Ex89.m1.1.1.1.2.cmml" xref="A8.Ex89.m1.1.1.1.2"></times><ci id="A8.Ex89.m1.1.1.1.3.cmml" xref="A8.Ex89.m1.1.1.1.3">𝐸</ci><apply id="A8.Ex89.m1.1.1.1.1.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1"><csymbol cd="latexml" id="A8.Ex89.m1.1.1.1.1.2.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A8.Ex89.m1.1.1.1.1.1.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1"><plus id="A8.Ex89.m1.1.1.1.1.1.1.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.1"></plus><apply id="A8.Ex89.m1.1.1.1.1.1.1.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2"><times id="A8.Ex89.m1.1.1.1.1.1.1.2.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2.1"></times><apply id="A8.Ex89.m1.1.1.1.1.1.1.2.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A8.Ex89.m1.1.1.1.1.1.1.2.2.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2.2">superscript</csymbol><ci id="A8.Ex89.m1.1.1.1.1.1.1.2.2.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2.2.2">ℎ</ci><ci id="A8.Ex89.m1.1.1.1.1.1.1.2.2.3.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2.2.3">𝑇</ci></apply><ci id="A8.Ex89.m1.1.1.1.1.1.1.2.3.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2.3">𝑃</ci><ci id="A8.Ex89.m1.1.1.1.1.1.1.2.4.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.2.4">ℎ</ci></apply><apply id="A8.Ex89.m1.1.1.1.1.1.1.3.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3"><times id="A8.Ex89.m1.1.1.1.1.1.1.3.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.1"></times><apply id="A8.Ex89.m1.1.1.1.1.1.1.3.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A8.Ex89.m1.1.1.1.1.1.1.3.2.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A8.Ex89.m1.1.1.1.1.1.1.3.2.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.2.2">𝑣</ci><ci id="A8.Ex89.m1.1.1.1.1.1.1.3.2.3.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.2.3">𝑇</ci></apply><apply id="A8.Ex89.m1.1.1.1.1.1.1.3.3.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A8.Ex89.m1.1.1.1.1.1.1.3.3.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3">superscript</csymbol><ci id="A8.Ex89.m1.1.1.1.1.1.1.3.3.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.2">𝑃</ci><apply id="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.3"><minus id="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.1.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.3"></minus><cn type="integer" id="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.2.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.3.3.2">1</cn></apply></apply><ci id="A8.Ex89.m1.1.1.1.1.1.1.3.4.cmml" xref="A8.Ex89.m1.1.1.1.1.1.1.3.4">𝑣</ci></apply></apply></apply></apply><apply id="A8.Ex89.m1.3.3.3.cmml" xref="A8.Ex89.m1.3.3.3"><plus id="A8.Ex89.m1.3.3.3.3.cmml" xref="A8.Ex89.m1.3.3.3.3"></plus><apply id="A8.Ex89.m1.2.2.2.1.cmml" xref="A8.Ex89.m1.2.2.2.1"><times id="A8.Ex89.m1.2.2.2.1.2.cmml" xref="A8.Ex89.m1.2.2.2.1.2"></times><ci id="A8.Ex89.m1.2.2.2.1.3.cmml" xref="A8.Ex89.m1.2.2.2.1.3">𝐸</ci><apply id="A8.Ex89.m1.2.2.2.1.1.2.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1"><csymbol cd="latexml" id="A8.Ex89.m1.2.2.2.1.1.2.1.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.2">delimited-[]</csymbol><apply id="A8.Ex89.m1.2.2.2.1.1.1.1.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1"><times id="A8.Ex89.m1.2.2.2.1.1.1.1.1.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1.1"></times><apply id="A8.Ex89.m1.2.2.2.1.1.1.1.2.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1.2"><csymbol cd="ambiguous" id="A8.Ex89.m1.2.2.2.1.1.1.1.2.1.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1.2">superscript</csymbol><ci id="A8.Ex89.m1.2.2.2.1.1.1.1.2.2.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1.2.2">ℎ</ci><ci id="A8.Ex89.m1.2.2.2.1.1.1.1.2.3.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1.2.3">𝑇</ci></apply><ci id="A8.Ex89.m1.2.2.2.1.1.1.1.3.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1.3">𝑃</ci><ci id="A8.Ex89.m1.2.2.2.1.1.1.1.4.cmml" xref="A8.Ex89.m1.2.2.2.1.1.1.1.4">ℎ</ci></apply></apply></apply><apply id="A8.Ex89.m1.3.3.3.2.cmml" xref="A8.Ex89.m1.3.3.3.2"><times id="A8.Ex89.m1.3.3.3.2.2.cmml" xref="A8.Ex89.m1.3.3.3.2.2"></times><ci id="A8.Ex89.m1.3.3.3.2.3.cmml" xref="A8.Ex89.m1.3.3.3.2.3">𝐸</ci><set id="A8.Ex89.m1.3.3.3.2.1.2.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1"><apply id="A8.Ex89.m1.3.3.3.2.1.1.1.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1"><times id="A8.Ex89.m1.3.3.3.2.1.1.1.2.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.2"></times><ci id="A8.Ex89.m1.3.3.3.2.1.1.1.3.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.3">trace</ci><apply id="A8.Ex89.m1.3.3.3.2.1.1.1.1.2.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1"><csymbol cd="latexml" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.2.1.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1"><times id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.1.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.1"></times><apply id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.1.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2">superscript</csymbol><ci id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.2.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.2">𝑃</ci><apply id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3"><minus id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.1.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3"></minus><cn type="integer" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.2.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.2.3.2">1</cn></apply></apply><ci id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.3.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.3">𝑣</ci><apply id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.1.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4">superscript</csymbol><ci id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.2.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.2">𝑣</ci><ci id="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.3.cmml" xref="A8.Ex89.m1.3.3.3.2.1.1.1.1.1.1.4.3">𝑇</ci></apply></apply></apply></apply></set></apply></apply></apply><apply id="A8.Ex89.m1.5.5c.cmml" xref="A8.Ex89.m1.5.5"><eq id="A8.Ex89.m1.5.5.8.cmml" xref="A8.Ex89.m1.5.5.8"></eq><share href="#A8.Ex89.m1.3.3.3.cmml" id="A8.Ex89.m1.5.5d.cmml" xref="A8.Ex89.m1.5.5"></share><apply id="A8.Ex89.m1.5.5.5.cmml" xref="A8.Ex89.m1.5.5.5"><plus id="A8.Ex89.m1.5.5.5.3.cmml" xref="A8.Ex89.m1.5.5.5.3"></plus><apply id="A8.Ex89.m1.4.4.4.1.cmml" xref="A8.Ex89.m1.4.4.4.1"><times id="A8.Ex89.m1.4.4.4.1.2.cmml" xref="A8.Ex89.m1.4.4.4.1.2"></times><ci id="A8.Ex89.m1.4.4.4.1.3.cmml" xref="A8.Ex89.m1.4.4.4.1.3">𝐸</ci><apply id="A8.Ex89.m1.4.4.4.1.1.2.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1"><csymbol cd="latexml" id="A8.Ex89.m1.4.4.4.1.1.2.1.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.2">delimited-[]</csymbol><apply id="A8.Ex89.m1.4.4.4.1.1.1.1.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1"><times id="A8.Ex89.m1.4.4.4.1.1.1.1.1.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1.1"></times><apply id="A8.Ex89.m1.4.4.4.1.1.1.1.2.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1.2"><csymbol cd="ambiguous" id="A8.Ex89.m1.4.4.4.1.1.1.1.2.1.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1.2">superscript</csymbol><ci id="A8.Ex89.m1.4.4.4.1.1.1.1.2.2.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1.2.2">ℎ</ci><ci id="A8.Ex89.m1.4.4.4.1.1.1.1.2.3.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1.2.3">𝑇</ci></apply><ci id="A8.Ex89.m1.4.4.4.1.1.1.1.3.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1.3">𝑃</ci><ci id="A8.Ex89.m1.4.4.4.1.1.1.1.4.cmml" xref="A8.Ex89.m1.4.4.4.1.1.1.1.4">ℎ</ci></apply></apply></apply><apply id="A8.Ex89.m1.5.5.5.2.cmml" xref="A8.Ex89.m1.5.5.5.2"><times id="A8.Ex89.m1.5.5.5.2.2.cmml" xref="A8.Ex89.m1.5.5.5.2.2"></times><ci id="A8.Ex89.m1.5.5.5.2.3.cmml" xref="A8.Ex89.m1.5.5.5.2.3">trace</ci><apply id="A8.Ex89.m1.5.5.5.2.1.1.1.cmml" xref="A8.Ex89.m1.5.5.5.2.1.1"><csymbol cd="ambiguous" id="A8.Ex89.m1.5.5.5.2.1.1.1.1.cmml" xref="A8.Ex89.m1.5.5.5.2.1.1">superscript</csymbol><ci id="A8.Ex89.m1.5.5.5.2.1.1.1.2.cmml" xref="A8.Ex89.m1.5.5.5.2.1.1.1.2">𝑃</ci><apply id="A8.Ex89.m1.5.5.5.2.1.1.1.3.cmml" xref="A8.Ex89.m1.5.5.5.2.1.1.1.3"><minus id="A8.Ex89.m1.5.5.5.2.1.1.1.3.1.cmml" xref="A8.Ex89.m1.5.5.5.2.1.1.1.3"></minus><cn type="integer" id="A8.Ex89.m1.5.5.5.2.1.1.1.3.2.cmml" xref="A8.Ex89.m1.5.5.5.2.1.1.1.3.2">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex89.m1.5c">E[h^{T}Ph+v^{T}P^{-1}v]=E[h^{T}Ph]+E\{{\rm trace}[P^{-1}vv^{T}]\}=E[h^{T}Ph]+{\rm trace}(P^{-1})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS3.SSS1.p1.5" class="ltx_p">Then, the optimal <math id="A8.SS3.SSS1.p1.3.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A8.SS3.SSS1.p1.3.m1.1a"><mi id="A8.SS3.SSS1.p1.3.m1.1.1" xref="A8.SS3.SSS1.p1.3.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS1.p1.3.m1.1b"><ci id="A8.SS3.SSS1.p1.3.m1.1.1.cmml" xref="A8.SS3.SSS1.p1.3.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS1.p1.3.m1.1c">P</annotation></semantics></math> simply whitens <math id="A8.SS3.SSS1.p1.4.m2.1" class="ltx_Math" alttext="h" display="inline"><semantics id="A8.SS3.SSS1.p1.4.m2.1a"><mi id="A8.SS3.SSS1.p1.4.m2.1.1" xref="A8.SS3.SSS1.p1.4.m2.1.1.cmml">h</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS1.p1.4.m2.1b"><ci id="A8.SS3.SSS1.p1.4.m2.1.1.cmml" xref="A8.SS3.SSS1.p1.4.m2.1.1">ℎ</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS1.p1.4.m2.1c">h</annotation></semantics></math> as shown by <math id="A8.SS3.SSS1.p1.5.m3.1" class="ltx_Math" alttext="E[(Ph)(Ph)^{T}]=I" display="inline"><semantics id="A8.SS3.SSS1.p1.5.m3.1a"><mrow id="A8.SS3.SSS1.p1.5.m3.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.cmml"><mrow id="A8.SS3.SSS1.p1.5.m3.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.cmml"><mi id="A8.SS3.SSS1.p1.5.m3.1.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS1.p1.5.m3.1.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.2.cmml">​</mo><mrow id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.2.1.cmml">[</mo><mrow id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.cmml"><mrow id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.cmml"><mi id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.3.cmml">​</mo><msup id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.cmml"><mrow id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><mrow id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.cmml"><mi id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.1" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><mi id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow><mi id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A8.SS3.SSS1.p1.5.m3.1.1.2" xref="A8.SS3.SSS1.p1.5.m3.1.1.2.cmml">=</mo><mi id="A8.SS3.SSS1.p1.5.m3.1.1.3" xref="A8.SS3.SSS1.p1.5.m3.1.1.3.cmml">I</mi></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS1.p1.5.m3.1b"><apply id="A8.SS3.SSS1.p1.5.m3.1.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1"><eq id="A8.SS3.SSS1.p1.5.m3.1.1.2.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.2"></eq><apply id="A8.SS3.SSS1.p1.5.m3.1.1.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1"><times id="A8.SS3.SSS1.p1.5.m3.1.1.1.2.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.2"></times><ci id="A8.SS3.SSS1.p1.5.m3.1.1.1.3.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.3">𝐸</ci><apply id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.2.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1"><csymbol cd="latexml" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.2.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1"><times id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.3.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.3"></times><apply id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1"><times id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.1"></times><ci id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.2.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.2">𝑃</ci><ci id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.3.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.1.1.1.3">ℎ</ci></apply><apply id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.2.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2">superscript</csymbol><apply id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1"><times id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.1"></times><ci id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.2">𝑃</ci><ci id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.1.1.1.3">ℎ</ci></apply><ci id="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.3.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.1.1.1.1.2.3">𝑇</ci></apply></apply></apply></apply><ci id="A8.SS3.SSS1.p1.5.m3.1.1.3.cmml" xref="A8.SS3.SSS1.p1.5.m3.1.1.3">𝐼</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS1.p1.5.m3.1c">E[(Ph)(Ph)^{T}]=I</annotation></semantics></math>. Thus, the optimal preconditioner is performing PCA (principal component analysis).
We can even reformulate the preconditioner estimation problem as an online PCA one with a cost</p>
<table id="A8.E21" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.E21.m1.2" class="ltx_Math" alttext="E[\|Q^{T}Qh\|^{2}]-4\log|\det Q|" display="block"><semantics id="A8.E21.m1.2a"><mrow id="A8.E21.m1.2.2" xref="A8.E21.m1.2.2.cmml"><mrow id="A8.E21.m1.1.1.1" xref="A8.E21.m1.1.1.1.cmml"><mi id="A8.E21.m1.1.1.1.3" xref="A8.E21.m1.1.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A8.E21.m1.1.1.1.2" xref="A8.E21.m1.1.1.1.2.cmml">​</mo><mrow id="A8.E21.m1.1.1.1.1.1" xref="A8.E21.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.E21.m1.1.1.1.1.1.2" xref="A8.E21.m1.1.1.1.1.2.1.cmml">[</mo><msup id="A8.E21.m1.1.1.1.1.1.1" xref="A8.E21.m1.1.1.1.1.1.1.cmml"><mrow id="A8.E21.m1.1.1.1.1.1.1.1.1" xref="A8.E21.m1.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A8.E21.m1.1.1.1.1.1.1.1.1.2" xref="A8.E21.m1.1.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A8.E21.m1.1.1.1.1.1.1.1.1.1" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.cmml"><msup id="A8.E21.m1.1.1.1.1.1.1.1.1.1.2" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.2" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.2.cmml">Q</mi><mi id="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.3" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.E21.m1.1.1.1.1.1.1.1.1.1.1" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.E21.m1.1.1.1.1.1.1.1.1.1.3" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.3.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A8.E21.m1.1.1.1.1.1.1.1.1.1.1a" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A8.E21.m1.1.1.1.1.1.1.1.1.1.4" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.4.cmml">h</mi></mrow><mo stretchy="false" id="A8.E21.m1.1.1.1.1.1.1.1.1.3" xref="A8.E21.m1.1.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A8.E21.m1.1.1.1.1.1.1.3" xref="A8.E21.m1.1.1.1.1.1.1.3.cmml">2</mn></msup><mo stretchy="false" id="A8.E21.m1.1.1.1.1.1.3" xref="A8.E21.m1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A8.E21.m1.2.2.3" xref="A8.E21.m1.2.2.3.cmml">−</mo><mrow id="A8.E21.m1.2.2.2" xref="A8.E21.m1.2.2.2.cmml"><mn id="A8.E21.m1.2.2.2.3" xref="A8.E21.m1.2.2.2.3.cmml">4</mn><mo lspace="0.167em" rspace="0em" id="A8.E21.m1.2.2.2.2" xref="A8.E21.m1.2.2.2.2.cmml">​</mo><mrow id="A8.E21.m1.2.2.2.1" xref="A8.E21.m1.2.2.2.1.cmml"><mi id="A8.E21.m1.2.2.2.1.2" xref="A8.E21.m1.2.2.2.1.2.cmml">log</mi><mo id="A8.E21.m1.2.2.2.1a" xref="A8.E21.m1.2.2.2.1.cmml">⁡</mo><mrow id="A8.E21.m1.2.2.2.1.1.1" xref="A8.E21.m1.2.2.2.1.1.2.cmml"><mo stretchy="false" id="A8.E21.m1.2.2.2.1.1.1.2" xref="A8.E21.m1.2.2.2.1.1.2.1.cmml">|</mo><mrow id="A8.E21.m1.2.2.2.1.1.1.1" xref="A8.E21.m1.2.2.2.1.1.1.1.cmml"><mo lspace="0em" movablelimits="false" rspace="0.167em" id="A8.E21.m1.2.2.2.1.1.1.1.1" xref="A8.E21.m1.2.2.2.1.1.1.1.1.cmml">det</mo><mi id="A8.E21.m1.2.2.2.1.1.1.1.2" xref="A8.E21.m1.2.2.2.1.1.1.1.2.cmml">Q</mi></mrow><mo stretchy="false" id="A8.E21.m1.2.2.2.1.1.1.3" xref="A8.E21.m1.2.2.2.1.1.2.1.cmml">|</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.E21.m1.2b"><apply id="A8.E21.m1.2.2.cmml" xref="A8.E21.m1.2.2"><minus id="A8.E21.m1.2.2.3.cmml" xref="A8.E21.m1.2.2.3"></minus><apply id="A8.E21.m1.1.1.1.cmml" xref="A8.E21.m1.1.1.1"><times id="A8.E21.m1.1.1.1.2.cmml" xref="A8.E21.m1.1.1.1.2"></times><ci id="A8.E21.m1.1.1.1.3.cmml" xref="A8.E21.m1.1.1.1.3">𝐸</ci><apply id="A8.E21.m1.1.1.1.1.2.cmml" xref="A8.E21.m1.1.1.1.1.1"><csymbol cd="latexml" id="A8.E21.m1.1.1.1.1.2.1.cmml" xref="A8.E21.m1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A8.E21.m1.1.1.1.1.1.1.cmml" xref="A8.E21.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A8.E21.m1.1.1.1.1.1.1.2.cmml" xref="A8.E21.m1.1.1.1.1.1.1">superscript</csymbol><apply id="A8.E21.m1.1.1.1.1.1.1.1.2.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A8.E21.m1.1.1.1.1.1.1.1.2.1.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.2">norm</csymbol><apply id="A8.E21.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1"><times id="A8.E21.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.1"></times><apply id="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.2">superscript</csymbol><ci id="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.2">𝑄</ci><ci id="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.2.3">𝑇</ci></apply><ci id="A8.E21.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.3">𝑄</ci><ci id="A8.E21.m1.1.1.1.1.1.1.1.1.1.4.cmml" xref="A8.E21.m1.1.1.1.1.1.1.1.1.1.4">ℎ</ci></apply></apply><cn type="integer" id="A8.E21.m1.1.1.1.1.1.1.3.cmml" xref="A8.E21.m1.1.1.1.1.1.1.3">2</cn></apply></apply></apply><apply id="A8.E21.m1.2.2.2.cmml" xref="A8.E21.m1.2.2.2"><times id="A8.E21.m1.2.2.2.2.cmml" xref="A8.E21.m1.2.2.2.2"></times><cn type="integer" id="A8.E21.m1.2.2.2.3.cmml" xref="A8.E21.m1.2.2.2.3">4</cn><apply id="A8.E21.m1.2.2.2.1.cmml" xref="A8.E21.m1.2.2.2.1"><log id="A8.E21.m1.2.2.2.1.2.cmml" xref="A8.E21.m1.2.2.2.1.2"></log><apply id="A8.E21.m1.2.2.2.1.1.2.cmml" xref="A8.E21.m1.2.2.2.1.1.1"><abs id="A8.E21.m1.2.2.2.1.1.2.1.cmml" xref="A8.E21.m1.2.2.2.1.1.1.2"></abs><apply id="A8.E21.m1.2.2.2.1.1.1.1.cmml" xref="A8.E21.m1.2.2.2.1.1.1.1"><determinant id="A8.E21.m1.2.2.2.1.1.1.1.1.cmml" xref="A8.E21.m1.2.2.2.1.1.1.1.1"></determinant><ci id="A8.E21.m1.2.2.2.1.1.1.1.2.cmml" xref="A8.E21.m1.2.2.2.1.1.1.1.2">𝑄</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.E21.m1.2c">E[\|Q^{T}Qh\|^{2}]-4\log|\det Q|</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(21)</span></td>
</tr></tbody>
</table>
<p id="A8.SS3.SSS1.p1.7" class="ltx_p">However, fitting <math id="A8.SS3.SSS1.p1.6.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A8.SS3.SSS1.p1.6.m1.1a"><mi id="A8.SS3.SSS1.p1.6.m1.1.1" xref="A8.SS3.SSS1.p1.6.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS1.p1.6.m1.1b"><ci id="A8.SS3.SSS1.p1.6.m1.1.1.cmml" xref="A8.SS3.SSS1.p1.6.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS1.p1.6.m1.1c">Q</annotation></semantics></math> in this way converges slowly as this criterion does not exploit all the information encoded in pair <math id="A8.SS3.SSS1.p1.7.m2.2" class="ltx_Math" alttext="(v,h)" display="inline"><semantics id="A8.SS3.SSS1.p1.7.m2.2a"><mrow id="A8.SS3.SSS1.p1.7.m2.2.3.2" xref="A8.SS3.SSS1.p1.7.m2.2.3.1.cmml"><mo stretchy="false" id="A8.SS3.SSS1.p1.7.m2.2.3.2.1" xref="A8.SS3.SSS1.p1.7.m2.2.3.1.cmml">(</mo><mi id="A8.SS3.SSS1.p1.7.m2.1.1" xref="A8.SS3.SSS1.p1.7.m2.1.1.cmml">v</mi><mo id="A8.SS3.SSS1.p1.7.m2.2.3.2.2" xref="A8.SS3.SSS1.p1.7.m2.2.3.1.cmml">,</mo><mi id="A8.SS3.SSS1.p1.7.m2.2.2" xref="A8.SS3.SSS1.p1.7.m2.2.2.cmml">h</mi><mo stretchy="false" id="A8.SS3.SSS1.p1.7.m2.2.3.2.3" xref="A8.SS3.SSS1.p1.7.m2.2.3.1.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS1.p1.7.m2.2b"><interval closure="open" id="A8.SS3.SSS1.p1.7.m2.2.3.1.cmml" xref="A8.SS3.SSS1.p1.7.m2.2.3.2"><ci id="A8.SS3.SSS1.p1.7.m2.1.1.cmml" xref="A8.SS3.SSS1.p1.7.m2.1.1">𝑣</ci><ci id="A8.SS3.SSS1.p1.7.m2.2.2.cmml" xref="A8.SS3.SSS1.p1.7.m2.2.2">ℎ</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS1.p1.7.m2.2c">(v,h)</annotation></semantics></math>. Still, this connection suggests that we could use certain PCA tools for preconditioning.</p>
</div>
</section>
<section id="A8.SS3.SSS2" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">H.3.2 </span>Kaleidoscope, FFT and DCT matrices</h4>

<div id="A8.SS3.SSS2.p1" class="ltx_para">
<p id="A8.SS3.SSS2.p1.1" class="ltx_p">If the Hessian has certain sparsities, a Kaleidoscope matrix like <math id="A8.SS3.SSS2.p1.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A8.SS3.SSS2.p1.1.m1.1a"><mi id="A8.SS3.SSS2.p1.1.m1.1.1" xref="A8.SS3.SSS2.p1.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS2.p1.1.m1.1b"><ci id="A8.SS3.SSS2.p1.1.m1.1.1.cmml" xref="A8.SS3.SSS2.p1.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS2.p1.1.m1.1c">Q</annotation></semantics></math> could do a good job, e.g.</p>
<table id="A8.Ex90" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex90.m1.3" class="ltx_Math" alttext="Q=\left[\begin{matrix}\cdot&amp;&amp;&amp;&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;&amp;&amp;\cdot&amp;\\
&amp;&amp;\cdot&amp;&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;&amp;\cdot&amp;&amp;\\
&amp;\cdot&amp;&amp;&amp;&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;&amp;&amp;&amp;\cdot\end{matrix}\right]\times\left[\begin{matrix}\cdot&amp;&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;&amp;&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;\cdot&amp;&amp;&amp;\cdot\end{matrix}\right]\times\left[\begin{matrix}\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot\end{matrix}\right]" display="block"><semantics id="A8.Ex90.m1.3a"><mrow id="A8.Ex90.m1.3.4" xref="A8.Ex90.m1.3.4.cmml"><mi mathsize="50%" id="A8.Ex90.m1.3.4.2" xref="A8.Ex90.m1.3.4.2.cmml">Q</mi><mo mathsize="50%" id="A8.Ex90.m1.3.4.1" xref="A8.Ex90.m1.3.4.1.cmml">=</mo><mrow id="A8.Ex90.m1.3.4.3" xref="A8.Ex90.m1.3.4.3.cmml"><mrow id="A8.Ex90.m1.3.4.3.2.2" xref="A8.Ex90.m1.3.4.3.2.1.cmml"><mo id="A8.Ex90.m1.3.4.3.2.2.1" xref="A8.Ex90.m1.3.4.3.2.1.1.cmml">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A8.Ex90.m1.1.1.1.1" xref="A8.Ex90.m1.1.1.2.cmml"><mtr id="A8.Ex90.m1.1.1.1.1a" xref="A8.Ex90.m1.1.1.2.cmml"><mtd id="A8.Ex90.m1.1.1.1.1b" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.1.1.1" xref="A8.Ex90.m1.1.1.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1c" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1d" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1e" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1f" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1g" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1h" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.1.7.1" xref="A8.Ex90.m1.1.1.1.1.1.7.1.cmml">⋅</mo></mtd></mtr><mtr id="A8.Ex90.m1.1.1.1.1i" xref="A8.Ex90.m1.1.1.2.cmml"><mtd id="A8.Ex90.m1.1.1.1.1j" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1k" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.2.2.1" xref="A8.Ex90.m1.1.1.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1l" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1m" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1n" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1o" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.2.6.1" xref="A8.Ex90.m1.1.1.1.1.2.6.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1p" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.1.1.1.1q" xref="A8.Ex90.m1.1.1.2.cmml"><mtd id="A8.Ex90.m1.1.1.1.1r" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1s" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1t" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.3.3.1" xref="A8.Ex90.m1.1.1.1.1.3.3.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1u" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1v" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.3.5.1" xref="A8.Ex90.m1.1.1.1.1.3.5.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1w" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1x" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.1.1.1.1y" xref="A8.Ex90.m1.1.1.2.cmml"><mtd id="A8.Ex90.m1.1.1.1.1z" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1aa" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1ab" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1ac" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.4.4.1" xref="A8.Ex90.m1.1.1.1.1.4.4.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1ad" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1ae" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1af" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.1.1.1.1ag" xref="A8.Ex90.m1.1.1.2.cmml"><mtd id="A8.Ex90.m1.1.1.1.1ah" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1ai" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1aj" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.5.3.1" xref="A8.Ex90.m1.1.1.1.1.5.3.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1ak" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1al" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.5.5.1" xref="A8.Ex90.m1.1.1.1.1.5.5.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1am" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1an" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.1.1.1.1ao" xref="A8.Ex90.m1.1.1.2.cmml"><mtd id="A8.Ex90.m1.1.1.1.1ap" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1aq" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.6.2.1" xref="A8.Ex90.m1.1.1.1.1.6.2.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1ar" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1as" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1at" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1au" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.6.6.1" xref="A8.Ex90.m1.1.1.1.1.6.6.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1av" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.1.1.1.1aw" xref="A8.Ex90.m1.1.1.2.cmml"><mtd id="A8.Ex90.m1.1.1.1.1ax" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.7.1.1" xref="A8.Ex90.m1.1.1.1.1.7.1.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.1.1.1.1ay" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1az" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1ba" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1bb" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1bc" xref="A8.Ex90.m1.1.1.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.1.1.1.1bd" xref="A8.Ex90.m1.1.1.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.1.1.1.1.7.7.1" xref="A8.Ex90.m1.1.1.1.1.7.7.1.cmml">⋅</mo></mtd></mtr></mtable><mo rspace="0.055em" id="A8.Ex90.m1.3.4.3.2.2.2" xref="A8.Ex90.m1.3.4.3.2.1.1.cmml">]</mo></mrow><mo mathsize="50%" rspace="0.222em" id="A8.Ex90.m1.3.4.3.1" xref="A8.Ex90.m1.3.4.3.1.cmml">×</mo><mrow id="A8.Ex90.m1.3.4.3.3.2" xref="A8.Ex90.m1.3.4.3.3.1.cmml"><mo id="A8.Ex90.m1.3.4.3.3.2.1" xref="A8.Ex90.m1.3.4.3.3.1.1.cmml">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A8.Ex90.m1.2.2.1.1" xref="A8.Ex90.m1.2.2.2.cmml"><mtr id="A8.Ex90.m1.2.2.1.1a" xref="A8.Ex90.m1.2.2.2.cmml"><mtd id="A8.Ex90.m1.2.2.1.1b" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.1.1.1" xref="A8.Ex90.m1.2.2.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1c" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1d" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.1.3.1" xref="A8.Ex90.m1.2.2.1.1.1.3.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1e" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1f" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1g" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1h" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.2.2.1.1i" xref="A8.Ex90.m1.2.2.2.cmml"><mtd id="A8.Ex90.m1.2.2.1.1j" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1k" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.2.2.1" xref="A8.Ex90.m1.2.2.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1l" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1m" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1n" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1o" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1p" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.2.2.1.1q" xref="A8.Ex90.m1.2.2.2.cmml"><mtd id="A8.Ex90.m1.2.2.1.1r" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.3.1.1" xref="A8.Ex90.m1.2.2.1.1.3.1.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1s" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1t" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.3.3.1" xref="A8.Ex90.m1.2.2.1.1.3.3.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1u" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1v" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1w" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1x" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.2.2.1.1y" xref="A8.Ex90.m1.2.2.2.cmml"><mtd id="A8.Ex90.m1.2.2.1.1z" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1aa" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ab" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ac" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.4.4.1" xref="A8.Ex90.m1.2.2.1.1.4.4.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1ad" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ae" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1af" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.4.7.1" xref="A8.Ex90.m1.2.2.1.1.4.7.1.cmml">⋅</mo></mtd></mtr><mtr id="A8.Ex90.m1.2.2.1.1ag" xref="A8.Ex90.m1.2.2.2.cmml"><mtd id="A8.Ex90.m1.2.2.1.1ah" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ai" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1aj" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ak" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1al" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.5.5.1" xref="A8.Ex90.m1.2.2.1.1.5.5.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1am" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.5.6.1" xref="A8.Ex90.m1.2.2.1.1.5.6.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1an" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.2.2.1.1ao" xref="A8.Ex90.m1.2.2.2.cmml"><mtd id="A8.Ex90.m1.2.2.1.1ap" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1aq" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ar" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1as" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1at" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.6.5.1" xref="A8.Ex90.m1.2.2.1.1.6.5.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1au" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.6.6.1" xref="A8.Ex90.m1.2.2.1.1.6.6.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1av" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.2.2.1.1aw" xref="A8.Ex90.m1.2.2.2.cmml"><mtd id="A8.Ex90.m1.2.2.1.1ax" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ay" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1az" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1ba" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.7.4.1" xref="A8.Ex90.m1.2.2.1.1.7.4.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.2.2.1.1bb" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1bc" xref="A8.Ex90.m1.2.2.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.2.2.1.1bd" xref="A8.Ex90.m1.2.2.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.2.2.1.1.7.7.1" xref="A8.Ex90.m1.2.2.1.1.7.7.1.cmml">⋅</mo></mtd></mtr></mtable><mo rspace="0.055em" id="A8.Ex90.m1.3.4.3.3.2.2" xref="A8.Ex90.m1.3.4.3.3.1.1.cmml">]</mo></mrow><mo mathsize="50%" rspace="0.222em" id="A8.Ex90.m1.3.4.3.1a" xref="A8.Ex90.m1.3.4.3.1.cmml">×</mo><mrow id="A8.Ex90.m1.3.4.3.4.2" xref="A8.Ex90.m1.3.4.3.4.1.cmml"><mo id="A8.Ex90.m1.3.4.3.4.2.1" xref="A8.Ex90.m1.3.4.3.4.1.1.cmml">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A8.Ex90.m1.3.3.1.1" xref="A8.Ex90.m1.3.3.2.cmml"><mtr id="A8.Ex90.m1.3.3.1.1a" xref="A8.Ex90.m1.3.3.2.cmml"><mtd id="A8.Ex90.m1.3.3.1.1b" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.1.1.1" xref="A8.Ex90.m1.3.3.1.1.1.1.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1c" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.1.2.1" xref="A8.Ex90.m1.3.3.1.1.1.2.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1d" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1e" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1f" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1g" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1h" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.3.3.1.1i" xref="A8.Ex90.m1.3.3.2.cmml"><mtd id="A8.Ex90.m1.3.3.1.1j" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.2.1.1" xref="A8.Ex90.m1.3.3.1.1.2.1.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1k" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.2.2.1" xref="A8.Ex90.m1.3.3.1.1.2.2.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1l" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1m" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1n" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1o" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1p" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.3.3.1.1q" xref="A8.Ex90.m1.3.3.2.cmml"><mtd id="A8.Ex90.m1.3.3.1.1r" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1s" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1t" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.3.3.1" xref="A8.Ex90.m1.3.3.1.1.3.3.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1u" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.3.4.1" xref="A8.Ex90.m1.3.3.1.1.3.4.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1v" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1w" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1x" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.3.3.1.1y" xref="A8.Ex90.m1.3.3.2.cmml"><mtd id="A8.Ex90.m1.3.3.1.1z" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1aa" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1ab" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.4.3.1" xref="A8.Ex90.m1.3.3.1.1.4.3.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1ac" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.4.4.1" xref="A8.Ex90.m1.3.3.1.1.4.4.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1ad" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1ae" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1af" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd></mtr><mtr id="A8.Ex90.m1.3.3.1.1ag" xref="A8.Ex90.m1.3.3.2.cmml"><mtd id="A8.Ex90.m1.3.3.1.1ah" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1ai" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1aj" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1ak" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1al" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.5.5.1" xref="A8.Ex90.m1.3.3.1.1.5.5.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1am" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.5.6.1" xref="A8.Ex90.m1.3.3.1.1.5.6.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1an" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.5.7.1" xref="A8.Ex90.m1.3.3.1.1.5.7.1.cmml">⋅</mo></mtd></mtr><mtr id="A8.Ex90.m1.3.3.1.1ao" xref="A8.Ex90.m1.3.3.2.cmml"><mtd id="A8.Ex90.m1.3.3.1.1ap" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1aq" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1ar" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1as" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1at" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.6.5.1" xref="A8.Ex90.m1.3.3.1.1.6.5.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1au" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.6.6.1" xref="A8.Ex90.m1.3.3.1.1.6.6.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1av" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.6.7.1" xref="A8.Ex90.m1.3.3.1.1.6.7.1.cmml">⋅</mo></mtd></mtr><mtr id="A8.Ex90.m1.3.3.1.1aw" xref="A8.Ex90.m1.3.3.2.cmml"><mtd id="A8.Ex90.m1.3.3.1.1ax" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1ay" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1az" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1ba" xref="A8.Ex90.m1.3.3.1.1c.cmml"></mtd><mtd id="A8.Ex90.m1.3.3.1.1bb" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.7.5.1" xref="A8.Ex90.m1.3.3.1.1.7.5.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1bc" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.7.6.1" xref="A8.Ex90.m1.3.3.1.1.7.6.1.cmml">⋅</mo></mtd><mtd id="A8.Ex90.m1.3.3.1.1bd" xref="A8.Ex90.m1.3.3.2.cmml"><mo mathsize="50%" id="A8.Ex90.m1.3.3.1.1.7.7.1" xref="A8.Ex90.m1.3.3.1.1.7.7.1.cmml">⋅</mo></mtd></mtr></mtable><mo id="A8.Ex90.m1.3.4.3.4.2.2" xref="A8.Ex90.m1.3.4.3.4.1.1.cmml">]</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex90.m1.3b"><apply id="A8.Ex90.m1.3.4.cmml" xref="A8.Ex90.m1.3.4"><eq id="A8.Ex90.m1.3.4.1.cmml" xref="A8.Ex90.m1.3.4.1"></eq><ci id="A8.Ex90.m1.3.4.2.cmml" xref="A8.Ex90.m1.3.4.2">𝑄</ci><apply id="A8.Ex90.m1.3.4.3.cmml" xref="A8.Ex90.m1.3.4.3"><times id="A8.Ex90.m1.3.4.3.1.cmml" xref="A8.Ex90.m1.3.4.3.1"></times><apply id="A8.Ex90.m1.3.4.3.2.1.cmml" xref="A8.Ex90.m1.3.4.3.2.2"><csymbol cd="latexml" id="A8.Ex90.m1.3.4.3.2.1.1.cmml" xref="A8.Ex90.m1.3.4.3.2.2.1">delimited-[]</csymbol><apply id="A8.Ex90.m1.1.1.2.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="latexml" id="A8.Ex90.m1.1.1.2.1.cmml" xref="A8.Ex90.m1.1.1.1.1">matrix</csymbol><matrix id="A8.Ex90.m1.1.1.1.1.cmml" xref="A8.Ex90.m1.1.1.1.1"><matrixrow id="A8.Ex90.m1.1.1.1.1a.cmml" xref="A8.Ex90.m1.1.1.1.1"><ci id="A8.Ex90.m1.1.1.1.1.1.1.1.cmml" xref="A8.Ex90.m1.1.1.1.1.1.1.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1b.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1c.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1d.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1e.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1f.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1g.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1h.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1i.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1j.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1k.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.1.7.1.cmml" xref="A8.Ex90.m1.1.1.1.1.1.7.1">⋅</ci></matrixrow><matrixrow id="A8.Ex90.m1.1.1.1.1l.cmml" xref="A8.Ex90.m1.1.1.1.1"><cerror id="A8.Ex90.m1.1.1.1.1m.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1n.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.2.2.1.cmml" xref="A8.Ex90.m1.1.1.1.1.2.2.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1o.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1p.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1q.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1r.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1s.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1t.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.2.6.1.cmml" xref="A8.Ex90.m1.1.1.1.1.2.6.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1u.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1v.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.1.1.1.1w.cmml" xref="A8.Ex90.m1.1.1.1.1"><cerror id="A8.Ex90.m1.1.1.1.1x.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1y.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1z.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1aa.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.3.3.1.cmml" xref="A8.Ex90.m1.1.1.1.1.3.3.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1ab.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ac.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.3.5.1.cmml" xref="A8.Ex90.m1.1.1.1.1.3.5.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1ad.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ae.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1af.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ag.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.1.1.1.1ah.cmml" xref="A8.Ex90.m1.1.1.1.1"><cerror id="A8.Ex90.m1.1.1.1.1ai.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1aj.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1ak.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1al.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1am.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1an.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.4.4.1.cmml" xref="A8.Ex90.m1.1.1.1.1.4.4.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1ao.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ap.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1aq.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ar.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1as.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1at.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.1.1.1.1au.cmml" xref="A8.Ex90.m1.1.1.1.1"><cerror id="A8.Ex90.m1.1.1.1.1av.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1aw.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1ax.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ay.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.5.3.1.cmml" xref="A8.Ex90.m1.1.1.1.1.5.3.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1az.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ba.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.5.5.1.cmml" xref="A8.Ex90.m1.1.1.1.1.5.5.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1bb.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bc.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1bd.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1be.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.1.1.1.1bf.cmml" xref="A8.Ex90.m1.1.1.1.1"><cerror id="A8.Ex90.m1.1.1.1.1bg.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bh.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.6.2.1.cmml" xref="A8.Ex90.m1.1.1.1.1.6.2.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1bi.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bj.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1bk.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bl.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1bm.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bn.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.6.6.1.cmml" xref="A8.Ex90.m1.1.1.1.1.6.6.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1bo.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bp.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.1.1.1.1bq.cmml" xref="A8.Ex90.m1.1.1.1.1"><ci id="A8.Ex90.m1.1.1.1.1.7.1.1.cmml" xref="A8.Ex90.m1.1.1.1.1.7.1.1">⋅</ci><cerror id="A8.Ex90.m1.1.1.1.1br.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bs.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1bt.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bu.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1bv.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1bw.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1bx.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1by.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.1.1.1.1bz.cmml" xref="A8.Ex90.m1.1.1.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.1.1.1.1ca.cmml" xref="A8.Ex90.m1.1.1.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.1.1.1.1.7.7.1.cmml" xref="A8.Ex90.m1.1.1.1.1.7.7.1">⋅</ci></matrixrow></matrix></apply></apply><apply id="A8.Ex90.m1.3.4.3.3.1.cmml" xref="A8.Ex90.m1.3.4.3.3.2"><csymbol cd="latexml" id="A8.Ex90.m1.3.4.3.3.1.1.cmml" xref="A8.Ex90.m1.3.4.3.3.2.1">delimited-[]</csymbol><apply id="A8.Ex90.m1.2.2.2.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="latexml" id="A8.Ex90.m1.2.2.2.1.cmml" xref="A8.Ex90.m1.2.2.1.1">matrix</csymbol><matrix id="A8.Ex90.m1.2.2.1.1.cmml" xref="A8.Ex90.m1.2.2.1.1"><matrixrow id="A8.Ex90.m1.2.2.1.1a.cmml" xref="A8.Ex90.m1.2.2.1.1"><ci id="A8.Ex90.m1.2.2.1.1.1.1.1.cmml" xref="A8.Ex90.m1.2.2.1.1.1.1.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1b.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1c.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.1.3.1.cmml" xref="A8.Ex90.m1.2.2.1.1.1.3.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1d.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1e.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1f.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1g.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1h.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1i.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1j.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1k.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.2.2.1.1l.cmml" xref="A8.Ex90.m1.2.2.1.1"><cerror id="A8.Ex90.m1.2.2.1.1m.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1n.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.2.2.1.cmml" xref="A8.Ex90.m1.2.2.1.1.2.2.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1o.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1p.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1q.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1r.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1s.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1t.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1u.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1v.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1w.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1x.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.2.2.1.1y.cmml" xref="A8.Ex90.m1.2.2.1.1"><ci id="A8.Ex90.m1.2.2.1.1.3.1.1.cmml" xref="A8.Ex90.m1.2.2.1.1.3.1.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1z.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1aa.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.3.3.1.cmml" xref="A8.Ex90.m1.2.2.1.1.3.3.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1ab.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ac.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1ad.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ae.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1af.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ag.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1ah.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ai.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.2.2.1.1aj.cmml" xref="A8.Ex90.m1.2.2.1.1"><cerror id="A8.Ex90.m1.2.2.1.1ak.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1al.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1am.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1an.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1ao.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ap.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.4.4.1.cmml" xref="A8.Ex90.m1.2.2.1.1.4.4.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1aq.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ar.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1as.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1at.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.4.7.1.cmml" xref="A8.Ex90.m1.2.2.1.1.4.7.1">⋅</ci></matrixrow><matrixrow id="A8.Ex90.m1.2.2.1.1au.cmml" xref="A8.Ex90.m1.2.2.1.1"><cerror id="A8.Ex90.m1.2.2.1.1av.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1aw.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1ax.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ay.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1az.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ba.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1bb.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bc.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.5.5.1.cmml" xref="A8.Ex90.m1.2.2.1.1.5.5.1">⋅</ci><ci id="A8.Ex90.m1.2.2.1.1.5.6.1.cmml" xref="A8.Ex90.m1.2.2.1.1.5.6.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1bd.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1be.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.2.2.1.1bf.cmml" xref="A8.Ex90.m1.2.2.1.1"><cerror id="A8.Ex90.m1.2.2.1.1bg.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bh.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1bi.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bj.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1bk.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bl.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1bm.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bn.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.6.5.1.cmml" xref="A8.Ex90.m1.2.2.1.1.6.5.1">⋅</ci><ci id="A8.Ex90.m1.2.2.1.1.6.6.1.cmml" xref="A8.Ex90.m1.2.2.1.1.6.6.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1bo.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bp.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.2.2.1.1bq.cmml" xref="A8.Ex90.m1.2.2.1.1"><cerror id="A8.Ex90.m1.2.2.1.1br.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bs.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1bt.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bu.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1bv.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1bw.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.7.4.1.cmml" xref="A8.Ex90.m1.2.2.1.1.7.4.1">⋅</ci><cerror id="A8.Ex90.m1.2.2.1.1bx.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1by.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.2.2.1.1bz.cmml" xref="A8.Ex90.m1.2.2.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.2.2.1.1ca.cmml" xref="A8.Ex90.m1.2.2.1.1c">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.2.2.1.1.7.7.1.cmml" xref="A8.Ex90.m1.2.2.1.1.7.7.1">⋅</ci></matrixrow></matrix></apply></apply><apply id="A8.Ex90.m1.3.4.3.4.1.cmml" xref="A8.Ex90.m1.3.4.3.4.2"><csymbol cd="latexml" id="A8.Ex90.m1.3.4.3.4.1.1.cmml" xref="A8.Ex90.m1.3.4.3.4.2.1">delimited-[]</csymbol><apply id="A8.Ex90.m1.3.3.2.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="latexml" id="A8.Ex90.m1.3.3.2.1.cmml" xref="A8.Ex90.m1.3.3.1.1">matrix</csymbol><matrix id="A8.Ex90.m1.3.3.1.1.cmml" xref="A8.Ex90.m1.3.3.1.1"><matrixrow id="A8.Ex90.m1.3.3.1.1a.cmml" xref="A8.Ex90.m1.3.3.1.1"><ci id="A8.Ex90.m1.3.3.1.1.1.1.1.cmml" xref="A8.Ex90.m1.3.3.1.1.1.1.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.1.2.1.cmml" xref="A8.Ex90.m1.3.3.1.1.1.2.1">⋅</ci><cerror id="A8.Ex90.m1.3.3.1.1b.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1c.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1d.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1e.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1f.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1g.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1h.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1i.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1j.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1k.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.3.3.1.1l.cmml" xref="A8.Ex90.m1.3.3.1.1"><ci id="A8.Ex90.m1.3.3.1.1.2.1.1.cmml" xref="A8.Ex90.m1.3.3.1.1.2.1.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.2.2.1.cmml" xref="A8.Ex90.m1.3.3.1.1.2.2.1">⋅</ci><cerror id="A8.Ex90.m1.3.3.1.1m.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1n.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1o.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1p.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1q.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1r.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1s.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1t.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1u.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1v.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.3.3.1.1w.cmml" xref="A8.Ex90.m1.3.3.1.1"><cerror id="A8.Ex90.m1.3.3.1.1x.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1y.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1z.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1aa.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.3.3.1.1.3.3.1.cmml" xref="A8.Ex90.m1.3.3.1.1.3.3.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.3.4.1.cmml" xref="A8.Ex90.m1.3.3.1.1.3.4.1">⋅</ci><cerror id="A8.Ex90.m1.3.3.1.1ab.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1ac.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1ad.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1ae.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1af.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1ag.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.3.3.1.1ah.cmml" xref="A8.Ex90.m1.3.3.1.1"><cerror id="A8.Ex90.m1.3.3.1.1ai.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1aj.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1ak.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1al.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.3.3.1.1.4.3.1.cmml" xref="A8.Ex90.m1.3.3.1.1.4.3.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.4.4.1.cmml" xref="A8.Ex90.m1.3.3.1.1.4.4.1">⋅</ci><cerror id="A8.Ex90.m1.3.3.1.1am.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1an.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1ao.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1ap.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1aq.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1ar.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror></matrixrow><matrixrow id="A8.Ex90.m1.3.3.1.1as.cmml" xref="A8.Ex90.m1.3.3.1.1"><cerror id="A8.Ex90.m1.3.3.1.1at.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1au.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1av.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1aw.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1ax.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1ay.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1az.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1ba.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.3.3.1.1.5.5.1.cmml" xref="A8.Ex90.m1.3.3.1.1.5.5.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.5.6.1.cmml" xref="A8.Ex90.m1.3.3.1.1.5.6.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.5.7.1.cmml" xref="A8.Ex90.m1.3.3.1.1.5.7.1">⋅</ci></matrixrow><matrixrow id="A8.Ex90.m1.3.3.1.1bb.cmml" xref="A8.Ex90.m1.3.3.1.1"><cerror id="A8.Ex90.m1.3.3.1.1bc.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bd.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1be.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bf.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1bg.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bh.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1bi.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bj.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.3.3.1.1.6.5.1.cmml" xref="A8.Ex90.m1.3.3.1.1.6.5.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.6.6.1.cmml" xref="A8.Ex90.m1.3.3.1.1.6.6.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.6.7.1.cmml" xref="A8.Ex90.m1.3.3.1.1.6.7.1">⋅</ci></matrixrow><matrixrow id="A8.Ex90.m1.3.3.1.1bk.cmml" xref="A8.Ex90.m1.3.3.1.1"><cerror id="A8.Ex90.m1.3.3.1.1bl.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bm.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1bn.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bo.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1bp.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bq.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><cerror id="A8.Ex90.m1.3.3.1.1br.cmml" xref="A8.Ex90.m1.3.3.1.1"><csymbol cd="ambiguous" id="A8.Ex90.m1.3.3.1.1bs.cmml" xref="A8.Ex90.m1.3.3.1.1d">missing-subexpression</csymbol></cerror><ci id="A8.Ex90.m1.3.3.1.1.7.5.1.cmml" xref="A8.Ex90.m1.3.3.1.1.7.5.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.7.6.1.cmml" xref="A8.Ex90.m1.3.3.1.1.7.6.1">⋅</ci><ci id="A8.Ex90.m1.3.3.1.1.7.7.1.cmml" xref="A8.Ex90.m1.3.3.1.1.7.7.1">⋅</ci></matrixrow></matrix></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex90.m1.3c">Q=\left[\begin{matrix}\cdot&amp;&amp;&amp;&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;&amp;&amp;\cdot&amp;\\
&amp;&amp;\cdot&amp;&amp;\cdot&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;&amp;\cdot&amp;&amp;\\
&amp;\cdot&amp;&amp;&amp;&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;&amp;&amp;&amp;\cdot\end{matrix}\right]\times\left[\begin{matrix}\cdot&amp;&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;&amp;\cdot&amp;&amp;&amp;&amp;\\
&amp;&amp;&amp;\cdot&amp;&amp;&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;&amp;&amp;\cdot&amp;&amp;&amp;\cdot\end{matrix}\right]\times\left[\begin{matrix}\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
\cdot&amp;\cdot&amp;&amp;&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot\\
&amp;&amp;&amp;&amp;\cdot&amp;\cdot&amp;\cdot\end{matrix}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS3.SSS2.p1.4" class="ltx_p">for a <math id="A8.SS3.SSS2.p1.2.m1.1" class="ltx_Math" alttext="7\times 7" display="inline"><semantics id="A8.SS3.SSS2.p1.2.m1.1a"><mrow id="A8.SS3.SSS2.p1.2.m1.1.1" xref="A8.SS3.SSS2.p1.2.m1.1.1.cmml"><mn id="A8.SS3.SSS2.p1.2.m1.1.1.2" xref="A8.SS3.SSS2.p1.2.m1.1.1.2.cmml">7</mn><mo lspace="0.222em" rspace="0.222em" id="A8.SS3.SSS2.p1.2.m1.1.1.1" xref="A8.SS3.SSS2.p1.2.m1.1.1.1.cmml">×</mo><mn id="A8.SS3.SSS2.p1.2.m1.1.1.3" xref="A8.SS3.SSS2.p1.2.m1.1.1.3.cmml">7</mn></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS2.p1.2.m1.1b"><apply id="A8.SS3.SSS2.p1.2.m1.1.1.cmml" xref="A8.SS3.SSS2.p1.2.m1.1.1"><times id="A8.SS3.SSS2.p1.2.m1.1.1.1.cmml" xref="A8.SS3.SSS2.p1.2.m1.1.1.1"></times><cn type="integer" id="A8.SS3.SSS2.p1.2.m1.1.1.2.cmml" xref="A8.SS3.SSS2.p1.2.m1.1.1.2">7</cn><cn type="integer" id="A8.SS3.SSS2.p1.2.m1.1.1.3.cmml" xref="A8.SS3.SSS2.p1.2.m1.1.1.3">7</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS2.p1.2.m1.1c">7\times 7</annotation></semantics></math> Hessian. Theoretically, such a preconditioner has complexity <math id="A8.SS3.SSS2.p1.3.m2.1" class="ltx_Math" alttext="\mathcal{O}(N\log_{2}N)" display="inline"><semantics id="A8.SS3.SSS2.p1.3.m2.1a"><mrow id="A8.SS3.SSS2.p1.3.m2.1.1" xref="A8.SS3.SSS2.p1.3.m2.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.SS3.SSS2.p1.3.m2.1.1.3" xref="A8.SS3.SSS2.p1.3.m2.1.1.3.cmml">𝒪</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS2.p1.3.m2.1.1.2" xref="A8.SS3.SSS2.p1.3.m2.1.1.2.cmml">​</mo><mrow id="A8.SS3.SSS2.p1.3.m2.1.1.1.1" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.2" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.cmml">(</mo><mrow id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.cmml"><mi id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.2" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.2.cmml">N</mi><mo lspace="0.167em" rspace="0em" id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.1" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.1.cmml">​</mo><mrow id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.cmml"><msub id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.cmml"><mi id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.2" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.2.cmml">log</mi><mn id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.3" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.3.cmml">2</mn></msub><mo lspace="0.167em" id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3a" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.cmml">⁡</mo><mi id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.2" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.2.cmml">N</mi></mrow></mrow><mo stretchy="false" id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.3" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS2.p1.3.m2.1b"><apply id="A8.SS3.SSS2.p1.3.m2.1.1.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1"><times id="A8.SS3.SSS2.p1.3.m2.1.1.2.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.2"></times><ci id="A8.SS3.SSS2.p1.3.m2.1.1.3.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.3">𝒪</ci><apply id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1"><times id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.1.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.1"></times><ci id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.2.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.2">𝑁</ci><apply id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3"><apply id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1"><csymbol cd="ambiguous" id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.1.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1">subscript</csymbol><log id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.2.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.2"></log><cn type="integer" id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.3.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.1.3">2</cn></apply><ci id="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.2.cmml" xref="A8.SS3.SSS2.p1.3.m2.1.1.1.1.1.3.2">𝑁</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS2.p1.3.m2.1c">\mathcal{O}(N\log_{2}N)</annotation></semantics></math> for an <math id="A8.SS3.SSS2.p1.4.m3.1" class="ltx_Math" alttext="N\times N" display="inline"><semantics id="A8.SS3.SSS2.p1.4.m3.1a"><mrow id="A8.SS3.SSS2.p1.4.m3.1.1" xref="A8.SS3.SSS2.p1.4.m3.1.1.cmml"><mi id="A8.SS3.SSS2.p1.4.m3.1.1.2" xref="A8.SS3.SSS2.p1.4.m3.1.1.2.cmml">N</mi><mo lspace="0.222em" rspace="0.222em" id="A8.SS3.SSS2.p1.4.m3.1.1.1" xref="A8.SS3.SSS2.p1.4.m3.1.1.1.cmml">×</mo><mi id="A8.SS3.SSS2.p1.4.m3.1.1.3" xref="A8.SS3.SSS2.p1.4.m3.1.1.3.cmml">N</mi></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS2.p1.4.m3.1b"><apply id="A8.SS3.SSS2.p1.4.m3.1.1.cmml" xref="A8.SS3.SSS2.p1.4.m3.1.1"><times id="A8.SS3.SSS2.p1.4.m3.1.1.1.cmml" xref="A8.SS3.SSS2.p1.4.m3.1.1.1"></times><ci id="A8.SS3.SSS2.p1.4.m3.1.1.2.cmml" xref="A8.SS3.SSS2.p1.4.m3.1.1.2">𝑁</ci><ci id="A8.SS3.SSS2.p1.4.m3.1.1.3.cmml" xref="A8.SS3.SSS2.p1.4.m3.1.1.3">𝑁</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS2.p1.4.m3.1c">N\times N</annotation></semantics></math> Hessian. But, practically, this will take a lot of effort to achieve such efficiency. For now, I rely on the FFT libs to approximate the KLT.</p>
</div>
</section>
<section id="A8.SS3.SSS3" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">H.3.3 </span>DCT preconditioner</h4>

<div id="A8.SS3.SSS3.p1" class="ltx_para">
<p id="A8.SS3.SSS3.p1.3" class="ltx_p">Practically, DCT is asymptotically equivalent to KLT for a first-order Markov process with strong adjacent sample correlation. If this is the case, a diagonal or very narrow band preconditioner is sufficient. If the Hessian, <math id="A8.SS3.SSS3.p1.1.m1.1" class="ltx_Math" alttext="H" display="inline"><semantics id="A8.SS3.SSS3.p1.1.m1.1a"><mi id="A8.SS3.SSS3.p1.1.m1.1.1" xref="A8.SS3.SSS3.p1.1.m1.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.1.m1.1b"><ci id="A8.SS3.SSS3.p1.1.m1.1.1.cmml" xref="A8.SS3.SSS3.p1.1.m1.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.1.m1.1c">H</annotation></semantics></math>, has certain sparsity or regularity like nature signals, e.g., images, then <math id="A8.SS3.SSS3.p1.2.m2.1" class="ltx_Math" alttext="UHU^{T}" display="inline"><semantics id="A8.SS3.SSS3.p1.2.m2.1a"><mrow id="A8.SS3.SSS3.p1.2.m2.1.1" xref="A8.SS3.SSS3.p1.2.m2.1.1.cmml"><mi id="A8.SS3.SSS3.p1.2.m2.1.1.2" xref="A8.SS3.SSS3.p1.2.m2.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS3.p1.2.m2.1.1.1" xref="A8.SS3.SSS3.p1.2.m2.1.1.1.cmml">​</mo><mi id="A8.SS3.SSS3.p1.2.m2.1.1.3" xref="A8.SS3.SSS3.p1.2.m2.1.1.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS3.p1.2.m2.1.1.1a" xref="A8.SS3.SSS3.p1.2.m2.1.1.1.cmml">​</mo><msup id="A8.SS3.SSS3.p1.2.m2.1.1.4" xref="A8.SS3.SSS3.p1.2.m2.1.1.4.cmml"><mi id="A8.SS3.SSS3.p1.2.m2.1.1.4.2" xref="A8.SS3.SSS3.p1.2.m2.1.1.4.2.cmml">U</mi><mi id="A8.SS3.SSS3.p1.2.m2.1.1.4.3" xref="A8.SS3.SSS3.p1.2.m2.1.1.4.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.2.m2.1b"><apply id="A8.SS3.SSS3.p1.2.m2.1.1.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1"><times id="A8.SS3.SSS3.p1.2.m2.1.1.1.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1.1"></times><ci id="A8.SS3.SSS3.p1.2.m2.1.1.2.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1.2">𝑈</ci><ci id="A8.SS3.SSS3.p1.2.m2.1.1.3.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1.3">𝐻</ci><apply id="A8.SS3.SSS3.p1.2.m2.1.1.4.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1.4"><csymbol cd="ambiguous" id="A8.SS3.SSS3.p1.2.m2.1.1.4.1.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1.4">superscript</csymbol><ci id="A8.SS3.SSS3.p1.2.m2.1.1.4.2.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1.4.2">𝑈</ci><ci id="A8.SS3.SSS3.p1.2.m2.1.1.4.3.cmml" xref="A8.SS3.SSS3.p1.2.m2.1.1.4.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.2.m2.1c">UHU^{T}</annotation></semantics></math> will be a highly sparse matrix with most energies concentrated on the upper left corner, where <math id="A8.SS3.SSS3.p1.3.m3.1" class="ltx_Math" alttext="U" display="inline"><semantics id="A8.SS3.SSS3.p1.3.m3.1a"><mi id="A8.SS3.SSS3.p1.3.m3.1.1" xref="A8.SS3.SSS3.p1.3.m3.1.1.cmml">U</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.3.m3.1b"><ci id="A8.SS3.SSS3.p1.3.m3.1.1.cmml" xref="A8.SS3.SSS3.p1.3.m3.1.1">𝑈</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.3.m3.1c">U</annotation></semantics></math> is the DCT matrix. Hence, we could try a preconditioner like</p>
<table id="A8.Ex91" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex91.m1.1" class="ltx_Math" alttext="Q=AUB" display="block"><semantics id="A8.Ex91.m1.1a"><mrow id="A8.Ex91.m1.1.1" xref="A8.Ex91.m1.1.1.cmml"><mi id="A8.Ex91.m1.1.1.2" xref="A8.Ex91.m1.1.1.2.cmml">Q</mi><mo id="A8.Ex91.m1.1.1.1" xref="A8.Ex91.m1.1.1.1.cmml">=</mo><mrow id="A8.Ex91.m1.1.1.3" xref="A8.Ex91.m1.1.1.3.cmml"><mi id="A8.Ex91.m1.1.1.3.2" xref="A8.Ex91.m1.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex91.m1.1.1.3.1" xref="A8.Ex91.m1.1.1.3.1.cmml">​</mo><mi id="A8.Ex91.m1.1.1.3.3" xref="A8.Ex91.m1.1.1.3.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A8.Ex91.m1.1.1.3.1a" xref="A8.Ex91.m1.1.1.3.1.cmml">​</mo><mi id="A8.Ex91.m1.1.1.3.4" xref="A8.Ex91.m1.1.1.3.4.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex91.m1.1b"><apply id="A8.Ex91.m1.1.1.cmml" xref="A8.Ex91.m1.1.1"><eq id="A8.Ex91.m1.1.1.1.cmml" xref="A8.Ex91.m1.1.1.1"></eq><ci id="A8.Ex91.m1.1.1.2.cmml" xref="A8.Ex91.m1.1.1.2">𝑄</ci><apply id="A8.Ex91.m1.1.1.3.cmml" xref="A8.Ex91.m1.1.1.3"><times id="A8.Ex91.m1.1.1.3.1.cmml" xref="A8.Ex91.m1.1.1.3.1"></times><ci id="A8.Ex91.m1.1.1.3.2.cmml" xref="A8.Ex91.m1.1.1.3.2">𝐴</ci><ci id="A8.Ex91.m1.1.1.3.3.cmml" xref="A8.Ex91.m1.1.1.3.3">𝑈</ci><ci id="A8.Ex91.m1.1.1.3.4.cmml" xref="A8.Ex91.m1.1.1.3.4">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex91.m1.1c">Q=AUB</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS3.SSS3.p1.9" class="ltx_p">where <math id="A8.SS3.SSS3.p1.4.m1.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS3.SSS3.p1.4.m1.1a"><mi id="A8.SS3.SSS3.p1.4.m1.1.1" xref="A8.SS3.SSS3.p1.4.m1.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.4.m1.1b"><ci id="A8.SS3.SSS3.p1.4.m1.1.1.cmml" xref="A8.SS3.SSS3.p1.4.m1.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.4.m1.1c">A</annotation></semantics></math> is a proper sparse matrix, and <math id="A8.SS3.SSS3.p1.5.m2.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A8.SS3.SSS3.p1.5.m2.1a"><mi id="A8.SS3.SSS3.p1.5.m2.1.1" xref="A8.SS3.SSS3.p1.5.m2.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.5.m2.1b"><ci id="A8.SS3.SSS3.p1.5.m2.1.1.cmml" xref="A8.SS3.SSS3.p1.5.m2.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.5.m2.1c">B</annotation></semantics></math> is a diagonal matrix for preconditioning the Hessian-vector products.
We call it a DCT preconditioner as <math id="A8.SS3.SSS3.p1.6.m3.1" class="ltx_Math" alttext="UHU^{T}" display="inline"><semantics id="A8.SS3.SSS3.p1.6.m3.1a"><mrow id="A8.SS3.SSS3.p1.6.m3.1.1" xref="A8.SS3.SSS3.p1.6.m3.1.1.cmml"><mi id="A8.SS3.SSS3.p1.6.m3.1.1.2" xref="A8.SS3.SSS3.p1.6.m3.1.1.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS3.p1.6.m3.1.1.1" xref="A8.SS3.SSS3.p1.6.m3.1.1.1.cmml">​</mo><mi id="A8.SS3.SSS3.p1.6.m3.1.1.3" xref="A8.SS3.SSS3.p1.6.m3.1.1.3.cmml">H</mi><mo lspace="0em" rspace="0em" id="A8.SS3.SSS3.p1.6.m3.1.1.1a" xref="A8.SS3.SSS3.p1.6.m3.1.1.1.cmml">​</mo><msup id="A8.SS3.SSS3.p1.6.m3.1.1.4" xref="A8.SS3.SSS3.p1.6.m3.1.1.4.cmml"><mi id="A8.SS3.SSS3.p1.6.m3.1.1.4.2" xref="A8.SS3.SSS3.p1.6.m3.1.1.4.2.cmml">U</mi><mi id="A8.SS3.SSS3.p1.6.m3.1.1.4.3" xref="A8.SS3.SSS3.p1.6.m3.1.1.4.3.cmml">T</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.6.m3.1b"><apply id="A8.SS3.SSS3.p1.6.m3.1.1.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1"><times id="A8.SS3.SSS3.p1.6.m3.1.1.1.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1.1"></times><ci id="A8.SS3.SSS3.p1.6.m3.1.1.2.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1.2">𝑈</ci><ci id="A8.SS3.SSS3.p1.6.m3.1.1.3.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1.3">𝐻</ci><apply id="A8.SS3.SSS3.p1.6.m3.1.1.4.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1.4"><csymbol cd="ambiguous" id="A8.SS3.SSS3.p1.6.m3.1.1.4.1.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1.4">superscript</csymbol><ci id="A8.SS3.SSS3.p1.6.m3.1.1.4.2.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1.4.2">𝑈</ci><ci id="A8.SS3.SSS3.p1.6.m3.1.1.4.3.cmml" xref="A8.SS3.SSS3.p1.6.m3.1.1.4.3">𝑇</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.6.m3.1c">UHU^{T}</annotation></semantics></math> performs a 2D discrete cosine transform of <math id="A8.SS3.SSS3.p1.7.m4.1" class="ltx_Math" alttext="H" display="inline"><semantics id="A8.SS3.SSS3.p1.7.m4.1a"><mi id="A8.SS3.SSS3.p1.7.m4.1.1" xref="A8.SS3.SSS3.p1.7.m4.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.7.m4.1b"><ci id="A8.SS3.SSS3.p1.7.m4.1.1.cmml" xref="A8.SS3.SSS3.p1.7.m4.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.7.m4.1c">H</annotation></semantics></math>.
Since we are to fit <math id="A8.SS3.SSS3.p1.8.m5.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A8.SS3.SSS3.p1.8.m5.1a"><mi id="A8.SS3.SSS3.p1.8.m5.1.1" xref="A8.SS3.SSS3.p1.8.m5.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.8.m5.1b"><ci id="A8.SS3.SSS3.p1.8.m5.1.1.cmml" xref="A8.SS3.SSS3.p1.8.m5.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.8.m5.1c">A</annotation></semantics></math> and <math id="A8.SS3.SSS3.p1.9.m6.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A8.SS3.SSS3.p1.9.m6.1a"><mi id="A8.SS3.SSS3.p1.9.m6.1.1" xref="A8.SS3.SSS3.p1.9.m6.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A8.SS3.SSS3.p1.9.m6.1b"><ci id="A8.SS3.SSS3.p1.9.m6.1.1.cmml" xref="A8.SS3.SSS3.p1.9.m6.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS3.SSS3.p1.9.m6.1c">B</annotation></semantics></math> on Lie groups, thus let</p>
<table id="A12.EGx38" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A8.Ex92"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A8.Ex92.m1.1" class="ltx_Math" alttext="\displaystyle dQ=" display="inline"><semantics id="A8.Ex92.m1.1a"><mrow id="A8.Ex92.m1.1.1" xref="A8.Ex92.m1.1.1.cmml"><mrow id="A8.Ex92.m1.1.1.2" xref="A8.Ex92.m1.1.1.2.cmml"><mi id="A8.Ex92.m1.1.1.2.2" xref="A8.Ex92.m1.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.Ex92.m1.1.1.2.1" xref="A8.Ex92.m1.1.1.2.1.cmml">​</mo><mi id="A8.Ex92.m1.1.1.2.3" xref="A8.Ex92.m1.1.1.2.3.cmml">Q</mi></mrow><mo id="A8.Ex92.m1.1.1.1" xref="A8.Ex92.m1.1.1.1.cmml">=</mo><mi id="A8.Ex92.m1.1.1.3" xref="A8.Ex92.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex92.m1.1b"><apply id="A8.Ex92.m1.1.1.cmml" xref="A8.Ex92.m1.1.1"><eq id="A8.Ex92.m1.1.1.1.cmml" xref="A8.Ex92.m1.1.1.1"></eq><apply id="A8.Ex92.m1.1.1.2.cmml" xref="A8.Ex92.m1.1.1.2"><times id="A8.Ex92.m1.1.1.2.1.cmml" xref="A8.Ex92.m1.1.1.2.1"></times><ci id="A8.Ex92.m1.1.1.2.2.cmml" xref="A8.Ex92.m1.1.1.2.2">𝑑</ci><ci id="A8.Ex92.m1.1.1.2.3.cmml" xref="A8.Ex92.m1.1.1.2.3">𝑄</ci></apply><csymbol cd="latexml" id="A8.Ex92.m1.1.1.3.cmml" xref="A8.Ex92.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex92.m1.1c">\displaystyle dQ=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A8.Ex92.m2.1" class="ltx_Math" alttext="\displaystyle dAUB+AUdB" display="inline"><semantics id="A8.Ex92.m2.1a"><mrow id="A8.Ex92.m2.1.1" xref="A8.Ex92.m2.1.1.cmml"><mrow id="A8.Ex92.m2.1.1.2" xref="A8.Ex92.m2.1.1.2.cmml"><mi id="A8.Ex92.m2.1.1.2.2" xref="A8.Ex92.m2.1.1.2.2.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.Ex92.m2.1.1.2.1" xref="A8.Ex92.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex92.m2.1.1.2.3" xref="A8.Ex92.m2.1.1.2.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex92.m2.1.1.2.1a" xref="A8.Ex92.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex92.m2.1.1.2.4" xref="A8.Ex92.m2.1.1.2.4.cmml">U</mi><mo lspace="0em" rspace="0em" id="A8.Ex92.m2.1.1.2.1b" xref="A8.Ex92.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex92.m2.1.1.2.5" xref="A8.Ex92.m2.1.1.2.5.cmml">B</mi></mrow><mo id="A8.Ex92.m2.1.1.1" xref="A8.Ex92.m2.1.1.1.cmml">+</mo><mrow id="A8.Ex92.m2.1.1.3" xref="A8.Ex92.m2.1.1.3.cmml"><mi id="A8.Ex92.m2.1.1.3.2" xref="A8.Ex92.m2.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex92.m2.1.1.3.1" xref="A8.Ex92.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex92.m2.1.1.3.3" xref="A8.Ex92.m2.1.1.3.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A8.Ex92.m2.1.1.3.1a" xref="A8.Ex92.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex92.m2.1.1.3.4" xref="A8.Ex92.m2.1.1.3.4.cmml">d</mi><mo lspace="0em" rspace="0em" id="A8.Ex92.m2.1.1.3.1b" xref="A8.Ex92.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex92.m2.1.1.3.5" xref="A8.Ex92.m2.1.1.3.5.cmml">B</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex92.m2.1b"><apply id="A8.Ex92.m2.1.1.cmml" xref="A8.Ex92.m2.1.1"><plus id="A8.Ex92.m2.1.1.1.cmml" xref="A8.Ex92.m2.1.1.1"></plus><apply id="A8.Ex92.m2.1.1.2.cmml" xref="A8.Ex92.m2.1.1.2"><times id="A8.Ex92.m2.1.1.2.1.cmml" xref="A8.Ex92.m2.1.1.2.1"></times><ci id="A8.Ex92.m2.1.1.2.2.cmml" xref="A8.Ex92.m2.1.1.2.2">𝑑</ci><ci id="A8.Ex92.m2.1.1.2.3.cmml" xref="A8.Ex92.m2.1.1.2.3">𝐴</ci><ci id="A8.Ex92.m2.1.1.2.4.cmml" xref="A8.Ex92.m2.1.1.2.4">𝑈</ci><ci id="A8.Ex92.m2.1.1.2.5.cmml" xref="A8.Ex92.m2.1.1.2.5">𝐵</ci></apply><apply id="A8.Ex92.m2.1.1.3.cmml" xref="A8.Ex92.m2.1.1.3"><times id="A8.Ex92.m2.1.1.3.1.cmml" xref="A8.Ex92.m2.1.1.3.1"></times><ci id="A8.Ex92.m2.1.1.3.2.cmml" xref="A8.Ex92.m2.1.1.3.2">𝐴</ci><ci id="A8.Ex92.m2.1.1.3.3.cmml" xref="A8.Ex92.m2.1.1.3.3">𝑈</ci><ci id="A8.Ex92.m2.1.1.3.4.cmml" xref="A8.Ex92.m2.1.1.3.4">𝑑</ci><ci id="A8.Ex92.m2.1.1.3.5.cmml" xref="A8.Ex92.m2.1.1.3.5">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex92.m2.1c">\displaystyle dAUB+AUdB</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A8.Ex93"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A8.Ex93.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A8.Ex93.m1.1a"><mo id="A8.Ex93.m1.1.1" xref="A8.Ex93.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A8.Ex93.m1.1b"><eq id="A8.Ex93.m1.1.1.cmml" xref="A8.Ex93.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex93.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A8.Ex93.m2.1" class="ltx_Math" alttext="\displaystyle\mathcal{E}_{1}AUB+AUB\mathcal{E}_{2}" display="inline"><semantics id="A8.Ex93.m2.1a"><mrow id="A8.Ex93.m2.1.1" xref="A8.Ex93.m2.1.1.cmml"><mrow id="A8.Ex93.m2.1.1.2" xref="A8.Ex93.m2.1.1.2.cmml"><msub id="A8.Ex93.m2.1.1.2.2" xref="A8.Ex93.m2.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex93.m2.1.1.2.2.2" xref="A8.Ex93.m2.1.1.2.2.2.cmml">ℰ</mi><mn id="A8.Ex93.m2.1.1.2.2.3" xref="A8.Ex93.m2.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A8.Ex93.m2.1.1.2.1" xref="A8.Ex93.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex93.m2.1.1.2.3" xref="A8.Ex93.m2.1.1.2.3.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex93.m2.1.1.2.1a" xref="A8.Ex93.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex93.m2.1.1.2.4" xref="A8.Ex93.m2.1.1.2.4.cmml">U</mi><mo lspace="0em" rspace="0em" id="A8.Ex93.m2.1.1.2.1b" xref="A8.Ex93.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex93.m2.1.1.2.5" xref="A8.Ex93.m2.1.1.2.5.cmml">B</mi></mrow><mo id="A8.Ex93.m2.1.1.1" xref="A8.Ex93.m2.1.1.1.cmml">+</mo><mrow id="A8.Ex93.m2.1.1.3" xref="A8.Ex93.m2.1.1.3.cmml"><mi id="A8.Ex93.m2.1.1.3.2" xref="A8.Ex93.m2.1.1.3.2.cmml">A</mi><mo lspace="0em" rspace="0em" id="A8.Ex93.m2.1.1.3.1" xref="A8.Ex93.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex93.m2.1.1.3.3" xref="A8.Ex93.m2.1.1.3.3.cmml">U</mi><mo lspace="0em" rspace="0em" id="A8.Ex93.m2.1.1.3.1a" xref="A8.Ex93.m2.1.1.3.1.cmml">​</mo><mi id="A8.Ex93.m2.1.1.3.4" xref="A8.Ex93.m2.1.1.3.4.cmml">B</mi><mo lspace="0em" rspace="0em" id="A8.Ex93.m2.1.1.3.1b" xref="A8.Ex93.m2.1.1.3.1.cmml">​</mo><msub id="A8.Ex93.m2.1.1.3.5" xref="A8.Ex93.m2.1.1.3.5.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex93.m2.1.1.3.5.2" xref="A8.Ex93.m2.1.1.3.5.2.cmml">ℰ</mi><mn id="A8.Ex93.m2.1.1.3.5.3" xref="A8.Ex93.m2.1.1.3.5.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex93.m2.1b"><apply id="A8.Ex93.m2.1.1.cmml" xref="A8.Ex93.m2.1.1"><plus id="A8.Ex93.m2.1.1.1.cmml" xref="A8.Ex93.m2.1.1.1"></plus><apply id="A8.Ex93.m2.1.1.2.cmml" xref="A8.Ex93.m2.1.1.2"><times id="A8.Ex93.m2.1.1.2.1.cmml" xref="A8.Ex93.m2.1.1.2.1"></times><apply id="A8.Ex93.m2.1.1.2.2.cmml" xref="A8.Ex93.m2.1.1.2.2"><csymbol cd="ambiguous" id="A8.Ex93.m2.1.1.2.2.1.cmml" xref="A8.Ex93.m2.1.1.2.2">subscript</csymbol><ci id="A8.Ex93.m2.1.1.2.2.2.cmml" xref="A8.Ex93.m2.1.1.2.2.2">ℰ</ci><cn type="integer" id="A8.Ex93.m2.1.1.2.2.3.cmml" xref="A8.Ex93.m2.1.1.2.2.3">1</cn></apply><ci id="A8.Ex93.m2.1.1.2.3.cmml" xref="A8.Ex93.m2.1.1.2.3">𝐴</ci><ci id="A8.Ex93.m2.1.1.2.4.cmml" xref="A8.Ex93.m2.1.1.2.4">𝑈</ci><ci id="A8.Ex93.m2.1.1.2.5.cmml" xref="A8.Ex93.m2.1.1.2.5">𝐵</ci></apply><apply id="A8.Ex93.m2.1.1.3.cmml" xref="A8.Ex93.m2.1.1.3"><times id="A8.Ex93.m2.1.1.3.1.cmml" xref="A8.Ex93.m2.1.1.3.1"></times><ci id="A8.Ex93.m2.1.1.3.2.cmml" xref="A8.Ex93.m2.1.1.3.2">𝐴</ci><ci id="A8.Ex93.m2.1.1.3.3.cmml" xref="A8.Ex93.m2.1.1.3.3">𝑈</ci><ci id="A8.Ex93.m2.1.1.3.4.cmml" xref="A8.Ex93.m2.1.1.3.4">𝐵</ci><apply id="A8.Ex93.m2.1.1.3.5.cmml" xref="A8.Ex93.m2.1.1.3.5"><csymbol cd="ambiguous" id="A8.Ex93.m2.1.1.3.5.1.cmml" xref="A8.Ex93.m2.1.1.3.5">subscript</csymbol><ci id="A8.Ex93.m2.1.1.3.5.2.cmml" xref="A8.Ex93.m2.1.1.3.5.2">ℰ</ci><cn type="integer" id="A8.Ex93.m2.1.1.3.5.3.cmml" xref="A8.Ex93.m2.1.1.3.5.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex93.m2.1c">\displaystyle\mathcal{E}_{1}AUB+AUB\mathcal{E}_{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A8.Ex94"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A8.Ex94.m1.1" class="ltx_Math" alttext="\displaystyle=" display="inline"><semantics id="A8.Ex94.m1.1a"><mo id="A8.Ex94.m1.1.1" xref="A8.Ex94.m1.1.1.cmml">=</mo><annotation-xml encoding="MathML-Content" id="A8.Ex94.m1.1b"><eq id="A8.Ex94.m1.1.1.cmml" xref="A8.Ex94.m1.1.1"></eq></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex94.m1.1c">\displaystyle=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A8.Ex94.m2.1" class="ltx_Math" alttext="\displaystyle\mathcal{E}_{1}Q+Q\mathcal{E}_{2}" display="inline"><semantics id="A8.Ex94.m2.1a"><mrow id="A8.Ex94.m2.1.1" xref="A8.Ex94.m2.1.1.cmml"><mrow id="A8.Ex94.m2.1.1.2" xref="A8.Ex94.m2.1.1.2.cmml"><msub id="A8.Ex94.m2.1.1.2.2" xref="A8.Ex94.m2.1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex94.m2.1.1.2.2.2" xref="A8.Ex94.m2.1.1.2.2.2.cmml">ℰ</mi><mn id="A8.Ex94.m2.1.1.2.2.3" xref="A8.Ex94.m2.1.1.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="A8.Ex94.m2.1.1.2.1" xref="A8.Ex94.m2.1.1.2.1.cmml">​</mo><mi id="A8.Ex94.m2.1.1.2.3" xref="A8.Ex94.m2.1.1.2.3.cmml">Q</mi></mrow><mo id="A8.Ex94.m2.1.1.1" xref="A8.Ex94.m2.1.1.1.cmml">+</mo><mrow id="A8.Ex94.m2.1.1.3" xref="A8.Ex94.m2.1.1.3.cmml"><mi id="A8.Ex94.m2.1.1.3.2" xref="A8.Ex94.m2.1.1.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A8.Ex94.m2.1.1.3.1" xref="A8.Ex94.m2.1.1.3.1.cmml">​</mo><msub id="A8.Ex94.m2.1.1.3.3" xref="A8.Ex94.m2.1.1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex94.m2.1.1.3.3.2" xref="A8.Ex94.m2.1.1.3.3.2.cmml">ℰ</mi><mn id="A8.Ex94.m2.1.1.3.3.3" xref="A8.Ex94.m2.1.1.3.3.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex94.m2.1b"><apply id="A8.Ex94.m2.1.1.cmml" xref="A8.Ex94.m2.1.1"><plus id="A8.Ex94.m2.1.1.1.cmml" xref="A8.Ex94.m2.1.1.1"></plus><apply id="A8.Ex94.m2.1.1.2.cmml" xref="A8.Ex94.m2.1.1.2"><times id="A8.Ex94.m2.1.1.2.1.cmml" xref="A8.Ex94.m2.1.1.2.1"></times><apply id="A8.Ex94.m2.1.1.2.2.cmml" xref="A8.Ex94.m2.1.1.2.2"><csymbol cd="ambiguous" id="A8.Ex94.m2.1.1.2.2.1.cmml" xref="A8.Ex94.m2.1.1.2.2">subscript</csymbol><ci id="A8.Ex94.m2.1.1.2.2.2.cmml" xref="A8.Ex94.m2.1.1.2.2.2">ℰ</ci><cn type="integer" id="A8.Ex94.m2.1.1.2.2.3.cmml" xref="A8.Ex94.m2.1.1.2.2.3">1</cn></apply><ci id="A8.Ex94.m2.1.1.2.3.cmml" xref="A8.Ex94.m2.1.1.2.3">𝑄</ci></apply><apply id="A8.Ex94.m2.1.1.3.cmml" xref="A8.Ex94.m2.1.1.3"><times id="A8.Ex94.m2.1.1.3.1.cmml" xref="A8.Ex94.m2.1.1.3.1"></times><ci id="A8.Ex94.m2.1.1.3.2.cmml" xref="A8.Ex94.m2.1.1.3.2">𝑄</ci><apply id="A8.Ex94.m2.1.1.3.3.cmml" xref="A8.Ex94.m2.1.1.3.3"><csymbol cd="ambiguous" id="A8.Ex94.m2.1.1.3.3.1.cmml" xref="A8.Ex94.m2.1.1.3.3">subscript</csymbol><ci id="A8.Ex94.m2.1.1.3.3.2.cmml" xref="A8.Ex94.m2.1.1.3.3.2">ℰ</ci><cn type="integer" id="A8.Ex94.m2.1.1.3.3.3.cmml" xref="A8.Ex94.m2.1.1.3.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex94.m2.1c">\displaystyle\mathcal{E}_{1}Q+Q\mathcal{E}_{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS3.SSS3.p1.10" class="ltx_p">Now, it is clear that we can use the same equation in equation <a href="#A4.E19" title="Equation 19 ‣ D.1.2 The gradients for preconditioner updating ‣ D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a> for gradient derivation.</p>
</div>
</section>
</section>
<section id="A8.SS4" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">H.4 </span>Practical considerations and limitations</h3>

<div id="A8.SS4.p1" class="ltx_para">
<p id="A8.SS4.p1.5" class="ltx_p">To facilitate the implementations, we may require <math id="A8.SS4.p1.1.m1.1" class="ltx_Math" alttext="N" display="inline"><semantics id="A8.SS4.p1.1.m1.1a"><mi id="A8.SS4.p1.1.m1.1.1" xref="A8.SS4.p1.1.m1.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="A8.SS4.p1.1.m1.1b"><ci id="A8.SS4.p1.1.m1.1.1.cmml" xref="A8.SS4.p1.1.m1.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS4.p1.1.m1.1c">N</annotation></semantics></math> to have special values, e.g., <math id="A8.SS4.p1.2.m2.2" class="ltx_Math" alttext="{\rm mod}(N,K)=0" display="inline"><semantics id="A8.SS4.p1.2.m2.2a"><mrow id="A8.SS4.p1.2.m2.2.3" xref="A8.SS4.p1.2.m2.2.3.cmml"><mrow id="A8.SS4.p1.2.m2.2.3.2" xref="A8.SS4.p1.2.m2.2.3.2.cmml"><mi id="A8.SS4.p1.2.m2.2.3.2.2" xref="A8.SS4.p1.2.m2.2.3.2.2.cmml">mod</mi><mo lspace="0em" rspace="0em" id="A8.SS4.p1.2.m2.2.3.2.1" xref="A8.SS4.p1.2.m2.2.3.2.1.cmml">​</mo><mrow id="A8.SS4.p1.2.m2.2.3.2.3.2" xref="A8.SS4.p1.2.m2.2.3.2.3.1.cmml"><mo stretchy="false" id="A8.SS4.p1.2.m2.2.3.2.3.2.1" xref="A8.SS4.p1.2.m2.2.3.2.3.1.cmml">(</mo><mi id="A8.SS4.p1.2.m2.1.1" xref="A8.SS4.p1.2.m2.1.1.cmml">N</mi><mo id="A8.SS4.p1.2.m2.2.3.2.3.2.2" xref="A8.SS4.p1.2.m2.2.3.2.3.1.cmml">,</mo><mi id="A8.SS4.p1.2.m2.2.2" xref="A8.SS4.p1.2.m2.2.2.cmml">K</mi><mo stretchy="false" id="A8.SS4.p1.2.m2.2.3.2.3.2.3" xref="A8.SS4.p1.2.m2.2.3.2.3.1.cmml">)</mo></mrow></mrow><mo id="A8.SS4.p1.2.m2.2.3.1" xref="A8.SS4.p1.2.m2.2.3.1.cmml">=</mo><mn id="A8.SS4.p1.2.m2.2.3.3" xref="A8.SS4.p1.2.m2.2.3.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A8.SS4.p1.2.m2.2b"><apply id="A8.SS4.p1.2.m2.2.3.cmml" xref="A8.SS4.p1.2.m2.2.3"><eq id="A8.SS4.p1.2.m2.2.3.1.cmml" xref="A8.SS4.p1.2.m2.2.3.1"></eq><apply id="A8.SS4.p1.2.m2.2.3.2.cmml" xref="A8.SS4.p1.2.m2.2.3.2"><times id="A8.SS4.p1.2.m2.2.3.2.1.cmml" xref="A8.SS4.p1.2.m2.2.3.2.1"></times><ci id="A8.SS4.p1.2.m2.2.3.2.2.cmml" xref="A8.SS4.p1.2.m2.2.3.2.2">mod</ci><interval closure="open" id="A8.SS4.p1.2.m2.2.3.2.3.1.cmml" xref="A8.SS4.p1.2.m2.2.3.2.3.2"><ci id="A8.SS4.p1.2.m2.1.1.cmml" xref="A8.SS4.p1.2.m2.1.1">𝑁</ci><ci id="A8.SS4.p1.2.m2.2.2.cmml" xref="A8.SS4.p1.2.m2.2.2">𝐾</ci></interval></apply><cn type="integer" id="A8.SS4.p1.2.m2.2.3.3.cmml" xref="A8.SS4.p1.2.m2.2.3.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS4.p1.2.m2.2c">{\rm mod}(N,K)=0</annotation></semantics></math> with block size <math id="A8.SS4.p1.3.m3.1" class="ltx_Math" alttext="K" display="inline"><semantics id="A8.SS4.p1.3.m3.1a"><mi id="A8.SS4.p1.3.m3.1.1" xref="A8.SS4.p1.3.m3.1.1.cmml">K</mi><annotation-xml encoding="MathML-Content" id="A8.SS4.p1.3.m3.1b"><ci id="A8.SS4.p1.3.m3.1.1.cmml" xref="A8.SS4.p1.3.m3.1.1">𝐾</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS4.p1.3.m3.1c">K</annotation></semantics></math>, or <math id="A8.SS4.p1.4.m4.1" class="ltx_Math" alttext="N=2^{a}3^{b}5^{c}7^{d}" display="inline"><semantics id="A8.SS4.p1.4.m4.1a"><mrow id="A8.SS4.p1.4.m4.1.1" xref="A8.SS4.p1.4.m4.1.1.cmml"><mi id="A8.SS4.p1.4.m4.1.1.2" xref="A8.SS4.p1.4.m4.1.1.2.cmml">N</mi><mo id="A8.SS4.p1.4.m4.1.1.1" xref="A8.SS4.p1.4.m4.1.1.1.cmml">=</mo><mrow id="A8.SS4.p1.4.m4.1.1.3" xref="A8.SS4.p1.4.m4.1.1.3.cmml"><msup id="A8.SS4.p1.4.m4.1.1.3.2" xref="A8.SS4.p1.4.m4.1.1.3.2.cmml"><mn id="A8.SS4.p1.4.m4.1.1.3.2.2" xref="A8.SS4.p1.4.m4.1.1.3.2.2.cmml">2</mn><mi id="A8.SS4.p1.4.m4.1.1.3.2.3" xref="A8.SS4.p1.4.m4.1.1.3.2.3.cmml">a</mi></msup><mo lspace="0em" rspace="0em" id="A8.SS4.p1.4.m4.1.1.3.1" xref="A8.SS4.p1.4.m4.1.1.3.1.cmml">​</mo><msup id="A8.SS4.p1.4.m4.1.1.3.3" xref="A8.SS4.p1.4.m4.1.1.3.3.cmml"><mn id="A8.SS4.p1.4.m4.1.1.3.3.2" xref="A8.SS4.p1.4.m4.1.1.3.3.2.cmml">3</mn><mi id="A8.SS4.p1.4.m4.1.1.3.3.3" xref="A8.SS4.p1.4.m4.1.1.3.3.3.cmml">b</mi></msup><mo lspace="0em" rspace="0em" id="A8.SS4.p1.4.m4.1.1.3.1a" xref="A8.SS4.p1.4.m4.1.1.3.1.cmml">​</mo><msup id="A8.SS4.p1.4.m4.1.1.3.4" xref="A8.SS4.p1.4.m4.1.1.3.4.cmml"><mn id="A8.SS4.p1.4.m4.1.1.3.4.2" xref="A8.SS4.p1.4.m4.1.1.3.4.2.cmml">5</mn><mi id="A8.SS4.p1.4.m4.1.1.3.4.3" xref="A8.SS4.p1.4.m4.1.1.3.4.3.cmml">c</mi></msup><mo lspace="0em" rspace="0em" id="A8.SS4.p1.4.m4.1.1.3.1b" xref="A8.SS4.p1.4.m4.1.1.3.1.cmml">​</mo><msup id="A8.SS4.p1.4.m4.1.1.3.5" xref="A8.SS4.p1.4.m4.1.1.3.5.cmml"><mn id="A8.SS4.p1.4.m4.1.1.3.5.2" xref="A8.SS4.p1.4.m4.1.1.3.5.2.cmml">7</mn><mi id="A8.SS4.p1.4.m4.1.1.3.5.3" xref="A8.SS4.p1.4.m4.1.1.3.5.3.cmml">d</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.SS4.p1.4.m4.1b"><apply id="A8.SS4.p1.4.m4.1.1.cmml" xref="A8.SS4.p1.4.m4.1.1"><eq id="A8.SS4.p1.4.m4.1.1.1.cmml" xref="A8.SS4.p1.4.m4.1.1.1"></eq><ci id="A8.SS4.p1.4.m4.1.1.2.cmml" xref="A8.SS4.p1.4.m4.1.1.2">𝑁</ci><apply id="A8.SS4.p1.4.m4.1.1.3.cmml" xref="A8.SS4.p1.4.m4.1.1.3"><times id="A8.SS4.p1.4.m4.1.1.3.1.cmml" xref="A8.SS4.p1.4.m4.1.1.3.1"></times><apply id="A8.SS4.p1.4.m4.1.1.3.2.cmml" xref="A8.SS4.p1.4.m4.1.1.3.2"><csymbol cd="ambiguous" id="A8.SS4.p1.4.m4.1.1.3.2.1.cmml" xref="A8.SS4.p1.4.m4.1.1.3.2">superscript</csymbol><cn type="integer" id="A8.SS4.p1.4.m4.1.1.3.2.2.cmml" xref="A8.SS4.p1.4.m4.1.1.3.2.2">2</cn><ci id="A8.SS4.p1.4.m4.1.1.3.2.3.cmml" xref="A8.SS4.p1.4.m4.1.1.3.2.3">𝑎</ci></apply><apply id="A8.SS4.p1.4.m4.1.1.3.3.cmml" xref="A8.SS4.p1.4.m4.1.1.3.3"><csymbol cd="ambiguous" id="A8.SS4.p1.4.m4.1.1.3.3.1.cmml" xref="A8.SS4.p1.4.m4.1.1.3.3">superscript</csymbol><cn type="integer" id="A8.SS4.p1.4.m4.1.1.3.3.2.cmml" xref="A8.SS4.p1.4.m4.1.1.3.3.2">3</cn><ci id="A8.SS4.p1.4.m4.1.1.3.3.3.cmml" xref="A8.SS4.p1.4.m4.1.1.3.3.3">𝑏</ci></apply><apply id="A8.SS4.p1.4.m4.1.1.3.4.cmml" xref="A8.SS4.p1.4.m4.1.1.3.4"><csymbol cd="ambiguous" id="A8.SS4.p1.4.m4.1.1.3.4.1.cmml" xref="A8.SS4.p1.4.m4.1.1.3.4">superscript</csymbol><cn type="integer" id="A8.SS4.p1.4.m4.1.1.3.4.2.cmml" xref="A8.SS4.p1.4.m4.1.1.3.4.2">5</cn><ci id="A8.SS4.p1.4.m4.1.1.3.4.3.cmml" xref="A8.SS4.p1.4.m4.1.1.3.4.3">𝑐</ci></apply><apply id="A8.SS4.p1.4.m4.1.1.3.5.cmml" xref="A8.SS4.p1.4.m4.1.1.3.5"><csymbol cd="ambiguous" id="A8.SS4.p1.4.m4.1.1.3.5.1.cmml" xref="A8.SS4.p1.4.m4.1.1.3.5">superscript</csymbol><cn type="integer" id="A8.SS4.p1.4.m4.1.1.3.5.2.cmml" xref="A8.SS4.p1.4.m4.1.1.3.5.2">7</cn><ci id="A8.SS4.p1.4.m4.1.1.3.5.3.cmml" xref="A8.SS4.p1.4.m4.1.1.3.5.3">𝑑</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.SS4.p1.4.m4.1c">N=2^{a}3^{b}5^{c}7^{d}</annotation></semantics></math> for most FFT libs. If <math id="A8.SS4.p1.5.m5.1" class="ltx_Math" alttext="N" display="inline"><semantics id="A8.SS4.p1.5.m5.1a"><mi id="A8.SS4.p1.5.m5.1.1" xref="A8.SS4.p1.5.m5.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="A8.SS4.p1.5.m5.1b"><ci id="A8.SS4.p1.5.m5.1.1.cmml" xref="A8.SS4.p1.5.m5.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="A8.SS4.p1.5.m5.1c">N</annotation></semantics></math> is not such a number, we could augment the cost as</p>
<table id="A8.Ex95" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A8.Ex95.m1.1" class="ltx_Math" alttext="{\cal{L}}(\theta)+0.5\vartheta^{T}\vartheta" display="block"><semantics id="A8.Ex95.m1.1a"><mrow id="A8.Ex95.m1.1.2" xref="A8.Ex95.m1.1.2.cmml"><mrow id="A8.Ex95.m1.1.2.2" xref="A8.Ex95.m1.1.2.2.cmml"><mi class="ltx_font_mathcaligraphic" id="A8.Ex95.m1.1.2.2.2" xref="A8.Ex95.m1.1.2.2.2.cmml">ℒ</mi><mo lspace="0em" rspace="0em" id="A8.Ex95.m1.1.2.2.1" xref="A8.Ex95.m1.1.2.2.1.cmml">​</mo><mrow id="A8.Ex95.m1.1.2.2.3.2" xref="A8.Ex95.m1.1.2.2.cmml"><mo stretchy="false" id="A8.Ex95.m1.1.2.2.3.2.1" xref="A8.Ex95.m1.1.2.2.cmml">(</mo><mi id="A8.Ex95.m1.1.1" xref="A8.Ex95.m1.1.1.cmml">θ</mi><mo stretchy="false" id="A8.Ex95.m1.1.2.2.3.2.2" xref="A8.Ex95.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="A8.Ex95.m1.1.2.1" xref="A8.Ex95.m1.1.2.1.cmml">+</mo><mrow id="A8.Ex95.m1.1.2.3" xref="A8.Ex95.m1.1.2.3.cmml"><mn id="A8.Ex95.m1.1.2.3.2" xref="A8.Ex95.m1.1.2.3.2.cmml">0.5</mn><mo lspace="0em" rspace="0em" id="A8.Ex95.m1.1.2.3.1" xref="A8.Ex95.m1.1.2.3.1.cmml">​</mo><msup id="A8.Ex95.m1.1.2.3.3" xref="A8.Ex95.m1.1.2.3.3.cmml"><mi id="A8.Ex95.m1.1.2.3.3.2" xref="A8.Ex95.m1.1.2.3.3.2.cmml">ϑ</mi><mi id="A8.Ex95.m1.1.2.3.3.3" xref="A8.Ex95.m1.1.2.3.3.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A8.Ex95.m1.1.2.3.1a" xref="A8.Ex95.m1.1.2.3.1.cmml">​</mo><mi id="A8.Ex95.m1.1.2.3.4" xref="A8.Ex95.m1.1.2.3.4.cmml">ϑ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A8.Ex95.m1.1b"><apply id="A8.Ex95.m1.1.2.cmml" xref="A8.Ex95.m1.1.2"><plus id="A8.Ex95.m1.1.2.1.cmml" xref="A8.Ex95.m1.1.2.1"></plus><apply id="A8.Ex95.m1.1.2.2.cmml" xref="A8.Ex95.m1.1.2.2"><times id="A8.Ex95.m1.1.2.2.1.cmml" xref="A8.Ex95.m1.1.2.2.1"></times><ci id="A8.Ex95.m1.1.2.2.2.cmml" xref="A8.Ex95.m1.1.2.2.2">ℒ</ci><ci id="A8.Ex95.m1.1.1.cmml" xref="A8.Ex95.m1.1.1">𝜃</ci></apply><apply id="A8.Ex95.m1.1.2.3.cmml" xref="A8.Ex95.m1.1.2.3"><times id="A8.Ex95.m1.1.2.3.1.cmml" xref="A8.Ex95.m1.1.2.3.1"></times><cn type="float" id="A8.Ex95.m1.1.2.3.2.cmml" xref="A8.Ex95.m1.1.2.3.2">0.5</cn><apply id="A8.Ex95.m1.1.2.3.3.cmml" xref="A8.Ex95.m1.1.2.3.3"><csymbol cd="ambiguous" id="A8.Ex95.m1.1.2.3.3.1.cmml" xref="A8.Ex95.m1.1.2.3.3">superscript</csymbol><ci id="A8.Ex95.m1.1.2.3.3.2.cmml" xref="A8.Ex95.m1.1.2.3.3.2">italic-ϑ</ci><ci id="A8.Ex95.m1.1.2.3.3.3.cmml" xref="A8.Ex95.m1.1.2.3.3.3">𝑇</ci></apply><ci id="A8.Ex95.m1.1.2.3.4.cmml" xref="A8.Ex95.m1.1.2.3.4">italic-ϑ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A8.Ex95.m1.1c">{\cal{L}}(\theta)+0.5\vartheta^{T}\vartheta</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A8.SS4.p1.6" class="ltx_p">and optimize vector <math id="A8.SS4.p1.6.m1.2" class="ltx_Math" alttext="[\theta,\vartheta]" display="inline"><semantics id="A8.SS4.p1.6.m1.2a"><mrow id="A8.SS4.p1.6.m1.2.3.2" xref="A8.SS4.p1.6.m1.2.3.1.cmml"><mo stretchy="false" id="A8.SS4.p1.6.m1.2.3.2.1" xref="A8.SS4.p1.6.m1.2.3.1.cmml">[</mo><mi id="A8.SS4.p1.6.m1.1.1" xref="A8.SS4.p1.6.m1.1.1.cmml">θ</mi><mo id="A8.SS4.p1.6.m1.2.3.2.2" xref="A8.SS4.p1.6.m1.2.3.1.cmml">,</mo><mi id="A8.SS4.p1.6.m1.2.2" xref="A8.SS4.p1.6.m1.2.2.cmml">ϑ</mi><mo stretchy="false" id="A8.SS4.p1.6.m1.2.3.2.3" xref="A8.SS4.p1.6.m1.2.3.1.cmml">]</mo></mrow><annotation-xml encoding="MathML-Content" id="A8.SS4.p1.6.m1.2b"><interval closure="closed" id="A8.SS4.p1.6.m1.2.3.1.cmml" xref="A8.SS4.p1.6.m1.2.3.2"><ci id="A8.SS4.p1.6.m1.1.1.cmml" xref="A8.SS4.p1.6.m1.1.1">𝜃</ci><ci id="A8.SS4.p1.6.m1.2.2.cmml" xref="A8.SS4.p1.6.m1.2.2">italic-ϑ</ci></interval></annotation-xml><annotation encoding="application/x-tex" id="A8.SS4.p1.6.m1.2c">[\theta,\vartheta]</annotation></semantics></math>, which has a conformable length. This trick works well in practice.</p>
</div>
<div id="A8.SS4.p2" class="ltx_para">
<p id="A8.SS4.p2.1" class="ltx_p">All the preconditioners here have certain limitations. Without knowing the block structure, a band preconditioner scales poorly.
The DCT preconditioner indeed can de-correlate the input features very well, and thus is good for layer-wise preconditioning, but not necessarily good for preconditioning the whole flattened gradient.
Similar to the AMG method, it is very difficult to define a reasonable coarse grid for preconditioning without knowing the connection of weights in the network.</p>
</div>
</section>
</section>
<section id="A9" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix I </span>Preconditioner on a single Lie group</h2>

<section id="A9.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">I.1 </span>Diagonal/Jacobi preconditioner</h3>

<div id="A9.SS1.p1" class="ltx_para">
<p id="A9.SS1.p1.3" class="ltx_p">Possibly the simplest preconditioner with closed-form solution <math id="A9.SS1.p1.1.m1.2" class="ltx_Math" alttext="p=\sqrt{E[v\odot v]/E[h\odot h]}" display="inline"><semantics id="A9.SS1.p1.1.m1.2a"><mrow id="A9.SS1.p1.1.m1.2.3" xref="A9.SS1.p1.1.m1.2.3.cmml"><mi id="A9.SS1.p1.1.m1.2.3.2" xref="A9.SS1.p1.1.m1.2.3.2.cmml">p</mi><mo id="A9.SS1.p1.1.m1.2.3.1" xref="A9.SS1.p1.1.m1.2.3.1.cmml">=</mo><msqrt id="A9.SS1.p1.1.m1.2.2" xref="A9.SS1.p1.1.m1.2.2.cmml"><mrow id="A9.SS1.p1.1.m1.2.2.2" xref="A9.SS1.p1.1.m1.2.2.2.cmml"><mrow id="A9.SS1.p1.1.m1.1.1.1.1" xref="A9.SS1.p1.1.m1.1.1.1.1.cmml"><mrow id="A9.SS1.p1.1.m1.1.1.1.1.1" xref="A9.SS1.p1.1.m1.1.1.1.1.1.cmml"><mi id="A9.SS1.p1.1.m1.1.1.1.1.1.3" xref="A9.SS1.p1.1.m1.1.1.1.1.1.3.cmml">E</mi><mo lspace="0em" rspace="0em" id="A9.SS1.p1.1.m1.1.1.1.1.1.2" xref="A9.SS1.p1.1.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.2" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.2.1.cmml">[</mo><mrow id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.cmml"><mi id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.2" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.2.cmml">v</mi><mo lspace="0.222em" rspace="0.222em" id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.1" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.1.cmml">⊙</mo><mi id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.3" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.3.cmml">v</mi></mrow><mo stretchy="false" id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.3" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.2.1.cmml">]</mo></mrow></mrow><mo id="A9.SS1.p1.1.m1.1.1.1.1.2" xref="A9.SS1.p1.1.m1.1.1.1.1.2.cmml">/</mo><mi id="A9.SS1.p1.1.m1.1.1.1.1.3" xref="A9.SS1.p1.1.m1.1.1.1.1.3.cmml">E</mi></mrow><mo lspace="0em" rspace="0em" id="A9.SS1.p1.1.m1.2.2.2.3" xref="A9.SS1.p1.1.m1.2.2.2.3.cmml">​</mo><mrow id="A9.SS1.p1.1.m1.2.2.2.2.1" xref="A9.SS1.p1.1.m1.2.2.2.2.2.cmml"><mo stretchy="false" id="A9.SS1.p1.1.m1.2.2.2.2.1.2" xref="A9.SS1.p1.1.m1.2.2.2.2.2.1.cmml">[</mo><mrow id="A9.SS1.p1.1.m1.2.2.2.2.1.1" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1.cmml"><mi id="A9.SS1.p1.1.m1.2.2.2.2.1.1.2" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1.2.cmml">h</mi><mo lspace="0.222em" rspace="0.222em" id="A9.SS1.p1.1.m1.2.2.2.2.1.1.1" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1.1.cmml">⊙</mo><mi id="A9.SS1.p1.1.m1.2.2.2.2.1.1.3" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1.3.cmml">h</mi></mrow><mo stretchy="false" id="A9.SS1.p1.1.m1.2.2.2.2.1.3" xref="A9.SS1.p1.1.m1.2.2.2.2.2.1.cmml">]</mo></mrow></mrow></msqrt></mrow><annotation-xml encoding="MathML-Content" id="A9.SS1.p1.1.m1.2b"><apply id="A9.SS1.p1.1.m1.2.3.cmml" xref="A9.SS1.p1.1.m1.2.3"><eq id="A9.SS1.p1.1.m1.2.3.1.cmml" xref="A9.SS1.p1.1.m1.2.3.1"></eq><ci id="A9.SS1.p1.1.m1.2.3.2.cmml" xref="A9.SS1.p1.1.m1.2.3.2">𝑝</ci><apply id="A9.SS1.p1.1.m1.2.2.cmml" xref="A9.SS1.p1.1.m1.2.2"><root id="A9.SS1.p1.1.m1.2.2a.cmml" xref="A9.SS1.p1.1.m1.2.2"></root><apply id="A9.SS1.p1.1.m1.2.2.2.cmml" xref="A9.SS1.p1.1.m1.2.2.2"><times id="A9.SS1.p1.1.m1.2.2.2.3.cmml" xref="A9.SS1.p1.1.m1.2.2.2.3"></times><apply id="A9.SS1.p1.1.m1.1.1.1.1.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1"><divide id="A9.SS1.p1.1.m1.1.1.1.1.2.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.2"></divide><apply id="A9.SS1.p1.1.m1.1.1.1.1.1.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1"><times id="A9.SS1.p1.1.m1.1.1.1.1.1.2.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.2"></times><ci id="A9.SS1.p1.1.m1.1.1.1.1.1.3.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.3">𝐸</ci><apply id="A9.SS1.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A9.SS1.p1.1.m1.1.1.1.1.1.1.2.1.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.2">delimited-[]</csymbol><apply id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.1">direct-product</csymbol><ci id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.2">𝑣</ci><ci id="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.1.1.1.1.3">𝑣</ci></apply></apply></apply><ci id="A9.SS1.p1.1.m1.1.1.1.1.3.cmml" xref="A9.SS1.p1.1.m1.1.1.1.1.3">𝐸</ci></apply><apply id="A9.SS1.p1.1.m1.2.2.2.2.2.cmml" xref="A9.SS1.p1.1.m1.2.2.2.2.1"><csymbol cd="latexml" id="A9.SS1.p1.1.m1.2.2.2.2.2.1.cmml" xref="A9.SS1.p1.1.m1.2.2.2.2.1.2">delimited-[]</csymbol><apply id="A9.SS1.p1.1.m1.2.2.2.2.1.1.cmml" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1"><csymbol cd="latexml" id="A9.SS1.p1.1.m1.2.2.2.2.1.1.1.cmml" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1.1">direct-product</csymbol><ci id="A9.SS1.p1.1.m1.2.2.2.2.1.1.2.cmml" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1.2">ℎ</ci><ci id="A9.SS1.p1.1.m1.2.2.2.2.1.1.3.cmml" xref="A9.SS1.p1.1.m1.2.2.2.2.1.1.3">ℎ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A9.SS1.p1.1.m1.2c">p=\sqrt{E[v\odot v]/E[h\odot h]}</annotation></semantics></math>, where <math id="A9.SS1.p1.2.m2.1" class="ltx_Math" alttext="P={\rm diag}(p)" display="inline"><semantics id="A9.SS1.p1.2.m2.1a"><mrow id="A9.SS1.p1.2.m2.1.2" xref="A9.SS1.p1.2.m2.1.2.cmml"><mi id="A9.SS1.p1.2.m2.1.2.2" xref="A9.SS1.p1.2.m2.1.2.2.cmml">P</mi><mo id="A9.SS1.p1.2.m2.1.2.1" xref="A9.SS1.p1.2.m2.1.2.1.cmml">=</mo><mrow id="A9.SS1.p1.2.m2.1.2.3" xref="A9.SS1.p1.2.m2.1.2.3.cmml"><mi id="A9.SS1.p1.2.m2.1.2.3.2" xref="A9.SS1.p1.2.m2.1.2.3.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A9.SS1.p1.2.m2.1.2.3.1" xref="A9.SS1.p1.2.m2.1.2.3.1.cmml">​</mo><mrow id="A9.SS1.p1.2.m2.1.2.3.3.2" xref="A9.SS1.p1.2.m2.1.2.3.cmml"><mo stretchy="false" id="A9.SS1.p1.2.m2.1.2.3.3.2.1" xref="A9.SS1.p1.2.m2.1.2.3.cmml">(</mo><mi id="A9.SS1.p1.2.m2.1.1" xref="A9.SS1.p1.2.m2.1.1.cmml">p</mi><mo stretchy="false" id="A9.SS1.p1.2.m2.1.2.3.3.2.2" xref="A9.SS1.p1.2.m2.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A9.SS1.p1.2.m2.1b"><apply id="A9.SS1.p1.2.m2.1.2.cmml" xref="A9.SS1.p1.2.m2.1.2"><eq id="A9.SS1.p1.2.m2.1.2.1.cmml" xref="A9.SS1.p1.2.m2.1.2.1"></eq><ci id="A9.SS1.p1.2.m2.1.2.2.cmml" xref="A9.SS1.p1.2.m2.1.2.2">𝑃</ci><apply id="A9.SS1.p1.2.m2.1.2.3.cmml" xref="A9.SS1.p1.2.m2.1.2.3"><times id="A9.SS1.p1.2.m2.1.2.3.1.cmml" xref="A9.SS1.p1.2.m2.1.2.3.1"></times><ci id="A9.SS1.p1.2.m2.1.2.3.2.cmml" xref="A9.SS1.p1.2.m2.1.2.3.2">diag</ci><ci id="A9.SS1.p1.2.m2.1.1.cmml" xref="A9.SS1.p1.2.m2.1.1">𝑝</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A9.SS1.p1.2.m2.1c">P={\rm diag}(p)</annotation></semantics></math>.
A Jacobi preconditioner is not very competitive.
Still, it is simple enough for performance study.
We have compared three ways for the estimation of <math id="A9.SS1.p1.3.m3.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A9.SS1.p1.3.m3.1a"><mi id="A9.SS1.p1.3.m3.1.1" xref="A9.SS1.p1.3.m3.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A9.SS1.p1.3.m3.1b"><ci id="A9.SS1.p1.3.m3.1.1.cmml" xref="A9.SS1.p1.3.m3.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A9.SS1.p1.3.m3.1c">P</annotation></semantics></math>: closed-form solution where expectations are replaced with sample averages;
updating with a single-step size as</p>
<table id="A9.Ex96" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A9.Ex96.m1.1" class="ltx_Math" alttext="p\leftarrow p-\mu(h^{2}\odot p-v^{2}\oslash p)\odot p" display="block"><semantics id="A9.Ex96.m1.1a"><mrow id="A9.Ex96.m1.1.1" xref="A9.Ex96.m1.1.1.cmml"><mi id="A9.Ex96.m1.1.1.3" xref="A9.Ex96.m1.1.1.3.cmml">p</mi><mo stretchy="false" id="A9.Ex96.m1.1.1.2" xref="A9.Ex96.m1.1.1.2.cmml">←</mo><mrow id="A9.Ex96.m1.1.1.1" xref="A9.Ex96.m1.1.1.1.cmml"><mi id="A9.Ex96.m1.1.1.1.3" xref="A9.Ex96.m1.1.1.1.3.cmml">p</mi><mo id="A9.Ex96.m1.1.1.1.2" xref="A9.Ex96.m1.1.1.1.2.cmml">−</mo><mrow id="A9.Ex96.m1.1.1.1.1" xref="A9.Ex96.m1.1.1.1.1.cmml"><mrow id="A9.Ex96.m1.1.1.1.1.1" xref="A9.Ex96.m1.1.1.1.1.1.cmml"><mi id="A9.Ex96.m1.1.1.1.1.1.3" xref="A9.Ex96.m1.1.1.1.1.1.3.cmml">μ</mi><mo lspace="0em" rspace="0em" id="A9.Ex96.m1.1.1.1.1.1.2" xref="A9.Ex96.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A9.Ex96.m1.1.1.1.1.1.1.1" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A9.Ex96.m1.1.1.1.1.1.1.1.2" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A9.Ex96.m1.1.1.1.1.1.1.1.1" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.cmml"><msup id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.cmml"><mi id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.2" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.2.cmml">h</mi><mn id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.3" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.3.cmml">2</mn></msup><mo lspace="0.222em" rspace="0.222em" id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.1" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.1.cmml">⊙</mo><mi id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.3" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.3.cmml">p</mi></mrow><mo id="A9.Ex96.m1.1.1.1.1.1.1.1.1.1" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.cmml"><msup id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.cmml"><mi id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.2" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.2.cmml">v</mi><mn id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.3" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.3.cmml">2</mn></msup><mo id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.1" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.1.cmml">⊘</mo><mi id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.3" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.3.cmml">p</mi></mrow></mrow><mo rspace="0.055em" stretchy="false" id="A9.Ex96.m1.1.1.1.1.1.1.1.3" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="A9.Ex96.m1.1.1.1.1.2" xref="A9.Ex96.m1.1.1.1.1.2.cmml">⊙</mo><mi id="A9.Ex96.m1.1.1.1.1.3" xref="A9.Ex96.m1.1.1.1.1.3.cmml">p</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A9.Ex96.m1.1b"><apply id="A9.Ex96.m1.1.1.cmml" xref="A9.Ex96.m1.1.1"><ci id="A9.Ex96.m1.1.1.2.cmml" xref="A9.Ex96.m1.1.1.2">←</ci><ci id="A9.Ex96.m1.1.1.3.cmml" xref="A9.Ex96.m1.1.1.3">𝑝</ci><apply id="A9.Ex96.m1.1.1.1.cmml" xref="A9.Ex96.m1.1.1.1"><minus id="A9.Ex96.m1.1.1.1.2.cmml" xref="A9.Ex96.m1.1.1.1.2"></minus><ci id="A9.Ex96.m1.1.1.1.3.cmml" xref="A9.Ex96.m1.1.1.1.3">𝑝</ci><apply id="A9.Ex96.m1.1.1.1.1.cmml" xref="A9.Ex96.m1.1.1.1.1"><csymbol cd="latexml" id="A9.Ex96.m1.1.1.1.1.2.cmml" xref="A9.Ex96.m1.1.1.1.1.2">direct-product</csymbol><apply id="A9.Ex96.m1.1.1.1.1.1.cmml" xref="A9.Ex96.m1.1.1.1.1.1"><times id="A9.Ex96.m1.1.1.1.1.1.2.cmml" xref="A9.Ex96.m1.1.1.1.1.1.2"></times><ci id="A9.Ex96.m1.1.1.1.1.1.3.cmml" xref="A9.Ex96.m1.1.1.1.1.1.3">𝜇</ci><apply id="A9.Ex96.m1.1.1.1.1.1.1.1.1.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1"><minus id="A9.Ex96.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.1"></minus><apply id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2"><csymbol cd="latexml" id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.1">direct-product</csymbol><apply id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2">superscript</csymbol><ci id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.2">ℎ</ci><cn type="integer" id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.2.3">2</cn></apply><ci id="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.2.3">𝑝</ci></apply><apply id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3"><ci id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.1">⊘</ci><apply id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.2">𝑣</ci><cn type="integer" id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.2.3">2</cn></apply><ci id="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A9.Ex96.m1.1.1.1.1.1.1.1.1.3.3">𝑝</ci></apply></apply></apply><ci id="A9.Ex96.m1.1.1.1.1.3.cmml" xref="A9.Ex96.m1.1.1.1.1.3">𝑝</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A9.Ex96.m1.1c">p\leftarrow p-\mu(h^{2}\odot p-v^{2}\oslash p)\odot p</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A9.SS1.p1.5" class="ltx_p">where <math id="A9.SS1.p1.4.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A9.SS1.p1.4.m1.1a"><mi id="A9.SS1.p1.4.m1.1.1" xref="A9.SS1.p1.4.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A9.SS1.p1.4.m1.1b"><ci id="A9.SS1.p1.4.m1.1.1.cmml" xref="A9.SS1.p1.4.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A9.SS1.p1.4.m1.1c">\mu</annotation></semantics></math> is small enough such that <math id="A9.SS1.p1.5.m2.1" class="ltx_Math" alttext="\mu\max|h^{2}\odot p-v^{2}\oslash p|&lt;1" display="inline"><semantics id="A9.SS1.p1.5.m2.1a"><mrow id="A9.SS1.p1.5.m2.1.1" xref="A9.SS1.p1.5.m2.1.1.cmml"><mrow id="A9.SS1.p1.5.m2.1.1.1" xref="A9.SS1.p1.5.m2.1.1.1.cmml"><mi id="A9.SS1.p1.5.m2.1.1.1.3" xref="A9.SS1.p1.5.m2.1.1.1.3.cmml">μ</mi><mo lspace="0.167em" rspace="0em" id="A9.SS1.p1.5.m2.1.1.1.2" xref="A9.SS1.p1.5.m2.1.1.1.2.cmml">​</mo><mrow id="A9.SS1.p1.5.m2.1.1.1.1" xref="A9.SS1.p1.5.m2.1.1.1.1.cmml"><mi id="A9.SS1.p1.5.m2.1.1.1.1.2" xref="A9.SS1.p1.5.m2.1.1.1.1.2.cmml">max</mi><mo id="A9.SS1.p1.5.m2.1.1.1.1a" xref="A9.SS1.p1.5.m2.1.1.1.1.cmml">⁡</mo><mrow id="A9.SS1.p1.5.m2.1.1.1.1.1.1" xref="A9.SS1.p1.5.m2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.2" xref="A9.SS1.p1.5.m2.1.1.1.1.1.2.1.cmml">|</mo><mrow id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.cmml"><mrow id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.cmml"><msup id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.cmml"><mi id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.2" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.2.cmml">h</mi><mn id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.3" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.3.cmml">2</mn></msup><mo lspace="0.222em" rspace="0.222em" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.1" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.1.cmml">⊙</mo><mi id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.3" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.3.cmml">p</mi></mrow><mo id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.1" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.cmml"><msup id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.cmml"><mi id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.2" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.2.cmml">v</mi><mn id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.3" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.3.cmml">2</mn></msup><mo id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.1" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.1.cmml">⊘</mo><mi id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.3" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.3.cmml">p</mi></mrow></mrow><mo stretchy="false" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.3" xref="A9.SS1.p1.5.m2.1.1.1.1.1.2.1.cmml">|</mo></mrow></mrow></mrow><mo id="A9.SS1.p1.5.m2.1.1.2" xref="A9.SS1.p1.5.m2.1.1.2.cmml">&lt;</mo><mn id="A9.SS1.p1.5.m2.1.1.3" xref="A9.SS1.p1.5.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A9.SS1.p1.5.m2.1b"><apply id="A9.SS1.p1.5.m2.1.1.cmml" xref="A9.SS1.p1.5.m2.1.1"><lt id="A9.SS1.p1.5.m2.1.1.2.cmml" xref="A9.SS1.p1.5.m2.1.1.2"></lt><apply id="A9.SS1.p1.5.m2.1.1.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1"><times id="A9.SS1.p1.5.m2.1.1.1.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.2"></times><ci id="A9.SS1.p1.5.m2.1.1.1.3.cmml" xref="A9.SS1.p1.5.m2.1.1.1.3">𝜇</ci><apply id="A9.SS1.p1.5.m2.1.1.1.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1"><max id="A9.SS1.p1.5.m2.1.1.1.1.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.2"></max><apply id="A9.SS1.p1.5.m2.1.1.1.1.1.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1"><abs id="A9.SS1.p1.5.m2.1.1.1.1.1.2.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.2"></abs><apply id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1"><minus id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.1"></minus><apply id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2"><csymbol cd="latexml" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.1">direct-product</csymbol><apply id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2">superscript</csymbol><ci id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.2">ℎ</ci><cn type="integer" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.3.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.2.3">2</cn></apply><ci id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.3.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.2.3">𝑝</ci></apply><apply id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3"><ci id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.1">⊘</ci><apply id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.1.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.2.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.2">𝑣</ci><cn type="integer" id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.3.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.2.3">2</cn></apply><ci id="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.3.cmml" xref="A9.SS1.p1.5.m2.1.1.1.1.1.1.1.3.3">𝑝</ci></apply></apply></apply></apply></apply><cn type="integer" id="A9.SS1.p1.5.m2.1.1.3.cmml" xref="A9.SS1.p1.5.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A9.SS1.p1.5.m2.1c">\mu\max|h^{2}\odot p-v^{2}\oslash p|&lt;1</annotation></semantics></math>; and
updating with element-wise step size as (reduce to sign SGD)</p>
<table id="A9.Ex97" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A9.Ex97.m1.1" class="ltx_Math" alttext="p\leftarrow p-\mu\odot{\rm sign}(h^{2}\odot p-v^{2}\oslash p)\odot p" display="block"><semantics id="A9.Ex97.m1.1a"><mrow id="A9.Ex97.m1.1.1" xref="A9.Ex97.m1.1.1.cmml"><mi id="A9.Ex97.m1.1.1.3" xref="A9.Ex97.m1.1.1.3.cmml">p</mi><mo stretchy="false" id="A9.Ex97.m1.1.1.2" xref="A9.Ex97.m1.1.1.2.cmml">←</mo><mrow id="A9.Ex97.m1.1.1.1" xref="A9.Ex97.m1.1.1.1.cmml"><mi id="A9.Ex97.m1.1.1.1.3" xref="A9.Ex97.m1.1.1.1.3.cmml">p</mi><mo id="A9.Ex97.m1.1.1.1.2" xref="A9.Ex97.m1.1.1.1.2.cmml">−</mo><mrow id="A9.Ex97.m1.1.1.1.1" xref="A9.Ex97.m1.1.1.1.1.cmml"><mrow id="A9.Ex97.m1.1.1.1.1.1" xref="A9.Ex97.m1.1.1.1.1.1.cmml"><mrow id="A9.Ex97.m1.1.1.1.1.1.3" xref="A9.Ex97.m1.1.1.1.1.1.3.cmml"><mi id="A9.Ex97.m1.1.1.1.1.1.3.2" xref="A9.Ex97.m1.1.1.1.1.1.3.2.cmml">μ</mi><mo lspace="0.222em" rspace="0.222em" id="A9.Ex97.m1.1.1.1.1.1.3.1" xref="A9.Ex97.m1.1.1.1.1.1.3.1.cmml">⊙</mo><mi id="A9.Ex97.m1.1.1.1.1.1.3.3" xref="A9.Ex97.m1.1.1.1.1.1.3.3.cmml">sign</mi></mrow><mo lspace="0em" rspace="0em" id="A9.Ex97.m1.1.1.1.1.1.2" xref="A9.Ex97.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="A9.Ex97.m1.1.1.1.1.1.1.1" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A9.Ex97.m1.1.1.1.1.1.1.1.2" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A9.Ex97.m1.1.1.1.1.1.1.1.1" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.cmml"><mrow id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.cmml"><msup id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.cmml"><mi id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.2" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.2.cmml">h</mi><mn id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.3" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.3.cmml">2</mn></msup><mo lspace="0.222em" rspace="0.222em" id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.1" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.1.cmml">⊙</mo><mi id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.3" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.3.cmml">p</mi></mrow><mo id="A9.Ex97.m1.1.1.1.1.1.1.1.1.1" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.1.cmml">−</mo><mrow id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.cmml"><msup id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.cmml"><mi id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.2" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.2.cmml">v</mi><mn id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.3" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.3.cmml">2</mn></msup><mo id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.1" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.1.cmml">⊘</mo><mi id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.3" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.3.cmml">p</mi></mrow></mrow><mo rspace="0.055em" stretchy="false" id="A9.Ex97.m1.1.1.1.1.1.1.1.3" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="A9.Ex97.m1.1.1.1.1.2" xref="A9.Ex97.m1.1.1.1.1.2.cmml">⊙</mo><mi id="A9.Ex97.m1.1.1.1.1.3" xref="A9.Ex97.m1.1.1.1.1.3.cmml">p</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A9.Ex97.m1.1b"><apply id="A9.Ex97.m1.1.1.cmml" xref="A9.Ex97.m1.1.1"><ci id="A9.Ex97.m1.1.1.2.cmml" xref="A9.Ex97.m1.1.1.2">←</ci><ci id="A9.Ex97.m1.1.1.3.cmml" xref="A9.Ex97.m1.1.1.3">𝑝</ci><apply id="A9.Ex97.m1.1.1.1.cmml" xref="A9.Ex97.m1.1.1.1"><minus id="A9.Ex97.m1.1.1.1.2.cmml" xref="A9.Ex97.m1.1.1.1.2"></minus><ci id="A9.Ex97.m1.1.1.1.3.cmml" xref="A9.Ex97.m1.1.1.1.3">𝑝</ci><apply id="A9.Ex97.m1.1.1.1.1.cmml" xref="A9.Ex97.m1.1.1.1.1"><csymbol cd="latexml" id="A9.Ex97.m1.1.1.1.1.2.cmml" xref="A9.Ex97.m1.1.1.1.1.2">direct-product</csymbol><apply id="A9.Ex97.m1.1.1.1.1.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1"><times id="A9.Ex97.m1.1.1.1.1.1.2.cmml" xref="A9.Ex97.m1.1.1.1.1.1.2"></times><apply id="A9.Ex97.m1.1.1.1.1.1.3.cmml" xref="A9.Ex97.m1.1.1.1.1.1.3"><csymbol cd="latexml" id="A9.Ex97.m1.1.1.1.1.1.3.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1.3.1">direct-product</csymbol><ci id="A9.Ex97.m1.1.1.1.1.1.3.2.cmml" xref="A9.Ex97.m1.1.1.1.1.1.3.2">𝜇</ci><ci id="A9.Ex97.m1.1.1.1.1.1.3.3.cmml" xref="A9.Ex97.m1.1.1.1.1.1.3.3">sign</ci></apply><apply id="A9.Ex97.m1.1.1.1.1.1.1.1.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1"><minus id="A9.Ex97.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.1"></minus><apply id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2"><csymbol cd="latexml" id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.1">direct-product</csymbol><apply id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2">superscript</csymbol><ci id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.2">ℎ</ci><cn type="integer" id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.2.3">2</cn></apply><ci id="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.2.3">𝑝</ci></apply><apply id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3"><ci id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.1">⊘</ci><apply id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2"><csymbol cd="ambiguous" id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2">superscript</csymbol><ci id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.2">𝑣</ci><cn type="integer" id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.2.3">2</cn></apply><ci id="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.3.cmml" xref="A9.Ex97.m1.1.1.1.1.1.1.1.1.3.3">𝑝</ci></apply></apply></apply><ci id="A9.Ex97.m1.1.1.1.1.3.cmml" xref="A9.Ex97.m1.1.1.1.1.3">𝑝</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A9.Ex97.m1.1c">p\leftarrow p-\mu\odot{\rm sign}(h^{2}\odot p-v^{2}\oslash p)\odot p</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A9.SS1.p1.6" class="ltx_p">where <math id="A9.SS1.p1.6.m1.1" class="ltx_Math" alttext="0&lt;\mu&lt;1" display="inline"><semantics id="A9.SS1.p1.6.m1.1a"><mrow id="A9.SS1.p1.6.m1.1.1" xref="A9.SS1.p1.6.m1.1.1.cmml"><mn id="A9.SS1.p1.6.m1.1.1.2" xref="A9.SS1.p1.6.m1.1.1.2.cmml">0</mn><mo id="A9.SS1.p1.6.m1.1.1.3" xref="A9.SS1.p1.6.m1.1.1.3.cmml">&lt;</mo><mi id="A9.SS1.p1.6.m1.1.1.4" xref="A9.SS1.p1.6.m1.1.1.4.cmml">μ</mi><mo id="A9.SS1.p1.6.m1.1.1.5" xref="A9.SS1.p1.6.m1.1.1.5.cmml">&lt;</mo><mn id="A9.SS1.p1.6.m1.1.1.6" xref="A9.SS1.p1.6.m1.1.1.6.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A9.SS1.p1.6.m1.1b"><apply id="A9.SS1.p1.6.m1.1.1.cmml" xref="A9.SS1.p1.6.m1.1.1"><and id="A9.SS1.p1.6.m1.1.1a.cmml" xref="A9.SS1.p1.6.m1.1.1"></and><apply id="A9.SS1.p1.6.m1.1.1b.cmml" xref="A9.SS1.p1.6.m1.1.1"><lt id="A9.SS1.p1.6.m1.1.1.3.cmml" xref="A9.SS1.p1.6.m1.1.1.3"></lt><cn type="integer" id="A9.SS1.p1.6.m1.1.1.2.cmml" xref="A9.SS1.p1.6.m1.1.1.2">0</cn><ci id="A9.SS1.p1.6.m1.1.1.4.cmml" xref="A9.SS1.p1.6.m1.1.1.4">𝜇</ci></apply><apply id="A9.SS1.p1.6.m1.1.1c.cmml" xref="A9.SS1.p1.6.m1.1.1"><lt id="A9.SS1.p1.6.m1.1.1.5.cmml" xref="A9.SS1.p1.6.m1.1.1.5"></lt><share href="#A9.SS1.p1.6.m1.1.1.4.cmml" id="A9.SS1.p1.6.m1.1.1d.cmml" xref="A9.SS1.p1.6.m1.1.1"></share><cn type="integer" id="A9.SS1.p1.6.m1.1.1.6.cmml" xref="A9.SS1.p1.6.m1.1.1.6">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A9.SS1.p1.6.m1.1c">0&lt;\mu&lt;1</annotation></semantics></math>. The closed-form solution performs the best, and the single-step size updating may perform slightly better than the element-wise one.</p>
</div>
<figure id="A9.F4" class="ltx_figure"><img src="/html/2402.04553/assets/x2.png" id="A9.F4.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="172" height="130" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A9.F4.4.2.1" class="ltx_text" style="font-size:90%;">Figure 4</span>: </span><span id="A9.F4.2.1" class="ltx_text" style="font-size:90%;">Comparison of three diagonal preconditioner fitting methods on a random dense <math id="A9.F4.2.1.m1.1" class="ltx_Math" alttext="100\times 100" display="inline"><semantics id="A9.F4.2.1.m1.1b"><mrow id="A9.F4.2.1.m1.1.1" xref="A9.F4.2.1.m1.1.1.cmml"><mn id="A9.F4.2.1.m1.1.1.2" xref="A9.F4.2.1.m1.1.1.2.cmml">100</mn><mo lspace="0.222em" rspace="0.222em" id="A9.F4.2.1.m1.1.1.1" xref="A9.F4.2.1.m1.1.1.1.cmml">×</mo><mn id="A9.F4.2.1.m1.1.1.3" xref="A9.F4.2.1.m1.1.1.3.cmml">100</mn></mrow><annotation-xml encoding="MathML-Content" id="A9.F4.2.1.m1.1c"><apply id="A9.F4.2.1.m1.1.1.cmml" xref="A9.F4.2.1.m1.1.1"><times id="A9.F4.2.1.m1.1.1.1.cmml" xref="A9.F4.2.1.m1.1.1.1"></times><cn type="integer" id="A9.F4.2.1.m1.1.1.2.cmml" xref="A9.F4.2.1.m1.1.1.2">100</cn><cn type="integer" id="A9.F4.2.1.m1.1.1.3.cmml" xref="A9.F4.2.1.m1.1.1.3">100</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A9.F4.2.1.m1.1d">100\times 100</annotation></semantics></math> Hessian with eigenvalues drawn from the standard uniform distribution.
</span></figcaption>
</figure>
</section>
<section id="A9.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">I.2 </span>X-matrix preconditioner</h3>

<div id="A9.SS2.p1" class="ltx_para">
<p id="A9.SS2.p1.1" class="ltx_p">This simple preconditioner brings a short-cut connection among gradients far away in positions and performs better than the diagonal one. The X-shape can be nested to knit a fishnet-like preconditioner.
The butterfly matrices also work well.
These simple preconditioners are very light and can be readily adopted to boost the performance of SGD with marginal overhead. Note that these preconditioners can be reduced to the direct sum of smaller groups, i.e., they are reducible.</p>
<table id="A9.Ex98" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A9.Ex98.m1.1" class="ltx_math_unparsed" alttext="{\rm Diagonal/Jacobi:}\qquad\left[\begin{matrix}\cdot&amp;&amp;\\
&amp;\cdot&amp;\\
&amp;&amp;\cdot\end{matrix}\right]" display="block"><semantics id="A9.Ex98.m1.1a"><mrow id="A9.Ex98.m1.1b"><mi mathsize="50%" id="A9.Ex98.m1.1.2">Diagonal</mi><mo maxsize="50%" minsize="50%" stretchy="true" symmetric="true" id="A9.Ex98.m1.1.3">/</mo><mi mathsize="50%" id="A9.Ex98.m1.1.4">Jacobi</mi><mo lspace="0.278em" mathsize="50%" id="A9.Ex98.m1.1.5">:</mo><mspace width="1.278em" id="A9.Ex98.m1.1.6"></mspace><mrow id="A9.Ex98.m1.1.7"><mo id="A9.Ex98.m1.1.7.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A9.Ex98.m1.1.1.1.1"><mtr id="A9.Ex98.m1.1.1.1.1a"><mtd id="A9.Ex98.m1.1.1.1.1b"><mo mathsize="50%" id="A9.Ex98.m1.1.1.1.1.1.1.1">⋅</mo></mtd><mtd id="A9.Ex98.m1.1.1.1.1c"></mtd><mtd id="A9.Ex98.m1.1.1.1.1d"></mtd></mtr><mtr id="A9.Ex98.m1.1.1.1.1e"><mtd id="A9.Ex98.m1.1.1.1.1f"></mtd><mtd id="A9.Ex98.m1.1.1.1.1g"><mo mathsize="50%" id="A9.Ex98.m1.1.1.1.1.2.2.1">⋅</mo></mtd><mtd id="A9.Ex98.m1.1.1.1.1h"></mtd></mtr><mtr id="A9.Ex98.m1.1.1.1.1i"><mtd id="A9.Ex98.m1.1.1.1.1j"></mtd><mtd id="A9.Ex98.m1.1.1.1.1k"></mtd><mtd id="A9.Ex98.m1.1.1.1.1l"><mo mathsize="50%" id="A9.Ex98.m1.1.1.1.1.3.3.1">⋅</mo></mtd></mtr></mtable><mo id="A9.Ex98.m1.1.7.2">]</mo></mrow></mrow><annotation encoding="application/x-tex" id="A9.Ex98.m1.1c">{\rm Diagonal/Jacobi:}\qquad\left[\begin{matrix}\cdot&amp;&amp;\\
&amp;\cdot&amp;\\
&amp;&amp;\cdot\end{matrix}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<table id="A9.Ex99" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A9.Ex99.m1.2" class="ltx_math_unparsed" alttext="{\rm X\,shape\,matrix:}\qquad\left[\begin{matrix}\cdot&amp;&amp;\cdot\\
&amp;\cdot&amp;\\
\cdot&amp;&amp;\cdot\end{matrix}\right],\quad\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot\end{matrix}\right]" display="block"><semantics id="A9.Ex99.m1.2a"><mrow id="A9.Ex99.m1.2b"><mi mathsize="50%" mathvariant="normal" id="A9.Ex99.m1.2.3">X</mi><mi mathsize="50%" id="A9.Ex99.m1.2.4">shape</mi><mi mathsize="50%" id="A9.Ex99.m1.2.5">matrix</mi><mo lspace="0.278em" mathsize="50%" id="A9.Ex99.m1.2.6">:</mo><mspace width="1.278em" id="A9.Ex99.m1.2.7"></mspace><mrow id="A9.Ex99.m1.2.8"><mo id="A9.Ex99.m1.2.8.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A9.Ex99.m1.1.1.1.1"><mtr id="A9.Ex99.m1.1.1.1.1a"><mtd id="A9.Ex99.m1.1.1.1.1b"><mo mathsize="50%" id="A9.Ex99.m1.1.1.1.1.1.1.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.1.1.1.1c"></mtd><mtd id="A9.Ex99.m1.1.1.1.1d"><mo mathsize="50%" id="A9.Ex99.m1.1.1.1.1.1.3.1">⋅</mo></mtd></mtr><mtr id="A9.Ex99.m1.1.1.1.1e"><mtd id="A9.Ex99.m1.1.1.1.1f"></mtd><mtd id="A9.Ex99.m1.1.1.1.1g"><mo mathsize="50%" id="A9.Ex99.m1.1.1.1.1.2.2.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.1.1.1.1h"></mtd></mtr><mtr id="A9.Ex99.m1.1.1.1.1i"><mtd id="A9.Ex99.m1.1.1.1.1j"><mo mathsize="50%" id="A9.Ex99.m1.1.1.1.1.3.1.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.1.1.1.1k"></mtd><mtd id="A9.Ex99.m1.1.1.1.1l"><mo mathsize="50%" id="A9.Ex99.m1.1.1.1.1.3.3.1">⋅</mo></mtd></mtr></mtable><mo id="A9.Ex99.m1.2.8.2">]</mo></mrow><mo mathsize="50%" rspace="0.667em" id="A9.Ex99.m1.2.9">,</mo><mrow id="A9.Ex99.m1.2.10"><mo id="A9.Ex99.m1.2.10.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A9.Ex99.m1.2.2.1.1"><mtr id="A9.Ex99.m1.2.2.1.1a"><mtd id="A9.Ex99.m1.2.2.1.1b"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.1.1.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.2.2.1.1c"></mtd><mtd id="A9.Ex99.m1.2.2.1.1d"></mtd><mtd id="A9.Ex99.m1.2.2.1.1e"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.1.4.1">⋅</mo></mtd></mtr><mtr id="A9.Ex99.m1.2.2.1.1f"><mtd id="A9.Ex99.m1.2.2.1.1g"></mtd><mtd id="A9.Ex99.m1.2.2.1.1h"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.2.2.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.2.2.1.1i"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.2.3.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.2.2.1.1j"></mtd></mtr><mtr id="A9.Ex99.m1.2.2.1.1k"><mtd id="A9.Ex99.m1.2.2.1.1l"></mtd><mtd id="A9.Ex99.m1.2.2.1.1m"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.3.2.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.2.2.1.1n"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.3.3.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.2.2.1.1o"></mtd></mtr><mtr id="A9.Ex99.m1.2.2.1.1p"><mtd id="A9.Ex99.m1.2.2.1.1q"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.4.1.1">⋅</mo></mtd><mtd id="A9.Ex99.m1.2.2.1.1r"></mtd><mtd id="A9.Ex99.m1.2.2.1.1s"></mtd><mtd id="A9.Ex99.m1.2.2.1.1t"><mo mathsize="50%" id="A9.Ex99.m1.2.2.1.1.4.4.1">⋅</mo></mtd></mtr></mtable><mo id="A9.Ex99.m1.2.10.2">]</mo></mrow></mrow><annotation encoding="application/x-tex" id="A9.Ex99.m1.2c">{\rm X\,shape\,matrix:}\qquad\left[\begin{matrix}\cdot&amp;&amp;\cdot\\
&amp;\cdot&amp;\\
\cdot&amp;&amp;\cdot\end{matrix}\right],\quad\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot\end{matrix}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<table id="A9.Ex100" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A9.Ex100.m1.2" class="ltx_math_unparsed" alttext="{\rm Fishnet\,like\,matrix:}\qquad\left[\begin{matrix}\cdot&amp;&amp;\cdot&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;\cdot&amp;\\
\cdot&amp;&amp;\cdot&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;\cdot&amp;\\
\cdot&amp;&amp;\cdot&amp;&amp;\cdot\end{matrix}\right],\quad\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
\end{matrix}\right]" display="block"><semantics id="A9.Ex100.m1.2a"><mrow id="A9.Ex100.m1.2b"><mi mathsize="50%" id="A9.Ex100.m1.2.3">Fishnet</mi><mi mathsize="50%" id="A9.Ex100.m1.2.4">like</mi><mi mathsize="50%" id="A9.Ex100.m1.2.5">matrix</mi><mo lspace="0.278em" mathsize="50%" id="A9.Ex100.m1.2.6">:</mo><mspace width="1.278em" id="A9.Ex100.m1.2.7"></mspace><mrow id="A9.Ex100.m1.2.8"><mo id="A9.Ex100.m1.2.8.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A9.Ex100.m1.1.1.1.1"><mtr id="A9.Ex100.m1.1.1.1.1a"><mtd id="A9.Ex100.m1.1.1.1.1b"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.1.1.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1c"></mtd><mtd id="A9.Ex100.m1.1.1.1.1d"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.1.3.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1e"></mtd><mtd id="A9.Ex100.m1.1.1.1.1f"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.1.5.1">⋅</mo></mtd></mtr><mtr id="A9.Ex100.m1.1.1.1.1g"><mtd id="A9.Ex100.m1.1.1.1.1h"></mtd><mtd id="A9.Ex100.m1.1.1.1.1i"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.2.2.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1j"></mtd><mtd id="A9.Ex100.m1.1.1.1.1k"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.2.4.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1l"></mtd></mtr><mtr id="A9.Ex100.m1.1.1.1.1m"><mtd id="A9.Ex100.m1.1.1.1.1n"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.3.1.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1o"></mtd><mtd id="A9.Ex100.m1.1.1.1.1p"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.3.3.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1q"></mtd><mtd id="A9.Ex100.m1.1.1.1.1r"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.3.5.1">⋅</mo></mtd></mtr><mtr id="A9.Ex100.m1.1.1.1.1s"><mtd id="A9.Ex100.m1.1.1.1.1t"></mtd><mtd id="A9.Ex100.m1.1.1.1.1u"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.4.2.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1v"></mtd><mtd id="A9.Ex100.m1.1.1.1.1w"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.4.4.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1x"></mtd></mtr><mtr id="A9.Ex100.m1.1.1.1.1y"><mtd id="A9.Ex100.m1.1.1.1.1z"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.5.1.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1aa"></mtd><mtd id="A9.Ex100.m1.1.1.1.1ab"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.5.3.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.1.1.1.1ac"></mtd><mtd id="A9.Ex100.m1.1.1.1.1ad"><mo mathsize="50%" id="A9.Ex100.m1.1.1.1.1.5.5.1">⋅</mo></mtd></mtr></mtable><mo id="A9.Ex100.m1.2.8.2">]</mo></mrow><mo mathsize="50%" rspace="0.667em" id="A9.Ex100.m1.2.9">,</mo><mrow id="A9.Ex100.m1.2.10"><mo id="A9.Ex100.m1.2.10.1">[</mo><mtable columnspacing="5pt" displaystyle="true" rowspacing="0pt" id="A9.Ex100.m1.2.2.1.1"><mtr id="A9.Ex100.m1.2.2.1.1a"><mtd id="A9.Ex100.m1.2.2.1.1b"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.1.1.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1c"></mtd><mtd id="A9.Ex100.m1.2.2.1.1d"></mtd><mtd id="A9.Ex100.m1.2.2.1.1e"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.1.4.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1f"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.1.5.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1g"></mtd><mtd id="A9.Ex100.m1.2.2.1.1h"></mtd><mtd id="A9.Ex100.m1.2.2.1.1i"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.1.8.1">⋅</mo></mtd></mtr><mtr id="A9.Ex100.m1.2.2.1.1j"><mtd id="A9.Ex100.m1.2.2.1.1k"></mtd><mtd id="A9.Ex100.m1.2.2.1.1l"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.2.2.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1m"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.2.3.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1n"></mtd><mtd id="A9.Ex100.m1.2.2.1.1o"></mtd><mtd id="A9.Ex100.m1.2.2.1.1p"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.2.6.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1q"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.2.7.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1r"></mtd></mtr><mtr id="A9.Ex100.m1.2.2.1.1s"><mtd id="A9.Ex100.m1.2.2.1.1t"></mtd><mtd id="A9.Ex100.m1.2.2.1.1u"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.3.2.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1v"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.3.3.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1w"></mtd><mtd id="A9.Ex100.m1.2.2.1.1x"></mtd><mtd id="A9.Ex100.m1.2.2.1.1y"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.3.6.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1z"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.3.7.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1aa"></mtd></mtr><mtr id="A9.Ex100.m1.2.2.1.1ab"><mtd id="A9.Ex100.m1.2.2.1.1ac"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.4.1.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1ad"></mtd><mtd id="A9.Ex100.m1.2.2.1.1ae"></mtd><mtd id="A9.Ex100.m1.2.2.1.1af"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.4.4.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1ag"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.4.5.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1ah"></mtd><mtd id="A9.Ex100.m1.2.2.1.1ai"></mtd><mtd id="A9.Ex100.m1.2.2.1.1aj"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.4.8.1">⋅</mo></mtd></mtr><mtr id="A9.Ex100.m1.2.2.1.1ak"><mtd id="A9.Ex100.m1.2.2.1.1al"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.5.1.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1am"></mtd><mtd id="A9.Ex100.m1.2.2.1.1an"></mtd><mtd id="A9.Ex100.m1.2.2.1.1ao"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.5.4.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1ap"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.5.5.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1aq"></mtd><mtd id="A9.Ex100.m1.2.2.1.1ar"></mtd><mtd id="A9.Ex100.m1.2.2.1.1as"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.5.8.1">⋅</mo></mtd></mtr><mtr id="A9.Ex100.m1.2.2.1.1at"><mtd id="A9.Ex100.m1.2.2.1.1au"></mtd><mtd id="A9.Ex100.m1.2.2.1.1av"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.6.2.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1aw"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.6.3.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1ax"></mtd><mtd id="A9.Ex100.m1.2.2.1.1ay"></mtd><mtd id="A9.Ex100.m1.2.2.1.1az"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.6.6.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1ba"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.6.7.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1bb"></mtd></mtr><mtr id="A9.Ex100.m1.2.2.1.1bc"><mtd id="A9.Ex100.m1.2.2.1.1bd"></mtd><mtd id="A9.Ex100.m1.2.2.1.1be"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.7.2.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1bf"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.7.3.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1bg"></mtd><mtd id="A9.Ex100.m1.2.2.1.1bh"></mtd><mtd id="A9.Ex100.m1.2.2.1.1bi"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.7.6.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1bj"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.7.7.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1bk"></mtd></mtr><mtr id="A9.Ex100.m1.2.2.1.1bl"><mtd id="A9.Ex100.m1.2.2.1.1bm"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.8.1.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1bn"></mtd><mtd id="A9.Ex100.m1.2.2.1.1bo"></mtd><mtd id="A9.Ex100.m1.2.2.1.1bp"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.8.4.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1bq"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.8.5.1">⋅</mo></mtd><mtd id="A9.Ex100.m1.2.2.1.1br"></mtd><mtd id="A9.Ex100.m1.2.2.1.1bs"></mtd><mtd id="A9.Ex100.m1.2.2.1.1bt"><mo mathsize="50%" id="A9.Ex100.m1.2.2.1.1.8.8.1">⋅</mo></mtd></mtr></mtable><mo id="A9.Ex100.m1.2.10.2">]</mo></mrow></mrow><annotation encoding="application/x-tex" id="A9.Ex100.m1.2c">{\rm Fishnet\,like\,matrix:}\qquad\left[\begin{matrix}\cdot&amp;&amp;\cdot&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;\cdot&amp;\\
\cdot&amp;&amp;\cdot&amp;&amp;\cdot\\
&amp;\cdot&amp;&amp;\cdot&amp;\\
\cdot&amp;&amp;\cdot&amp;&amp;\cdot\end{matrix}\right],\quad\left[\begin{matrix}\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;\\
\cdot&amp;&amp;&amp;\cdot&amp;\cdot&amp;&amp;&amp;\cdot\\
\end{matrix}\right]</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
</section>
<section id="A9.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">I.3 </span>Triangular matrix preconditioner</h3>

<div id="A9.SS3.p1" class="ltx_para">
<p id="A9.SS3.p1.1" class="ltx_p">Previously proposed in <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib26" title="" class="ltx_ref">2015</a>]</cite> called a dense preconditioner. This calculated the full rank preconditioner and is only applicable to small-scaled problems due to memory and complexity constraints.</p>
</div>
</section>
</section>
<section id="A10" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix J </span>The group of X-matrix</h2>

<div id="A10.p1" class="ltx_para">
<p id="A10.p1.6" class="ltx_p">All invertible matrices with form</p>
<table id="A10.Ex101" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A10.Ex101.m1.2" class="ltx_Math" alttext="A={\rm diag}(a)+{\rm adiag}(b)" display="block"><semantics id="A10.Ex101.m1.2a"><mrow id="A10.Ex101.m1.2.3" xref="A10.Ex101.m1.2.3.cmml"><mi id="A10.Ex101.m1.2.3.2" xref="A10.Ex101.m1.2.3.2.cmml">A</mi><mo id="A10.Ex101.m1.2.3.1" xref="A10.Ex101.m1.2.3.1.cmml">=</mo><mrow id="A10.Ex101.m1.2.3.3" xref="A10.Ex101.m1.2.3.3.cmml"><mrow id="A10.Ex101.m1.2.3.3.2" xref="A10.Ex101.m1.2.3.3.2.cmml"><mi id="A10.Ex101.m1.2.3.3.2.2" xref="A10.Ex101.m1.2.3.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex101.m1.2.3.3.2.1" xref="A10.Ex101.m1.2.3.3.2.1.cmml">​</mo><mrow id="A10.Ex101.m1.2.3.3.2.3.2" xref="A10.Ex101.m1.2.3.3.2.cmml"><mo stretchy="false" id="A10.Ex101.m1.2.3.3.2.3.2.1" xref="A10.Ex101.m1.2.3.3.2.cmml">(</mo><mi id="A10.Ex101.m1.1.1" xref="A10.Ex101.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex101.m1.2.3.3.2.3.2.2" xref="A10.Ex101.m1.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex101.m1.2.3.3.1" xref="A10.Ex101.m1.2.3.3.1.cmml">+</mo><mrow id="A10.Ex101.m1.2.3.3.3" xref="A10.Ex101.m1.2.3.3.3.cmml"><mi id="A10.Ex101.m1.2.3.3.3.2" xref="A10.Ex101.m1.2.3.3.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex101.m1.2.3.3.3.1" xref="A10.Ex101.m1.2.3.3.3.1.cmml">​</mo><mrow id="A10.Ex101.m1.2.3.3.3.3.2" xref="A10.Ex101.m1.2.3.3.3.cmml"><mo stretchy="false" id="A10.Ex101.m1.2.3.3.3.3.2.1" xref="A10.Ex101.m1.2.3.3.3.cmml">(</mo><mi id="A10.Ex101.m1.2.2" xref="A10.Ex101.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex101.m1.2.3.3.3.3.2.2" xref="A10.Ex101.m1.2.3.3.3.cmml">)</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex101.m1.2b"><apply id="A10.Ex101.m1.2.3.cmml" xref="A10.Ex101.m1.2.3"><eq id="A10.Ex101.m1.2.3.1.cmml" xref="A10.Ex101.m1.2.3.1"></eq><ci id="A10.Ex101.m1.2.3.2.cmml" xref="A10.Ex101.m1.2.3.2">𝐴</ci><apply id="A10.Ex101.m1.2.3.3.cmml" xref="A10.Ex101.m1.2.3.3"><plus id="A10.Ex101.m1.2.3.3.1.cmml" xref="A10.Ex101.m1.2.3.3.1"></plus><apply id="A10.Ex101.m1.2.3.3.2.cmml" xref="A10.Ex101.m1.2.3.3.2"><times id="A10.Ex101.m1.2.3.3.2.1.cmml" xref="A10.Ex101.m1.2.3.3.2.1"></times><ci id="A10.Ex101.m1.2.3.3.2.2.cmml" xref="A10.Ex101.m1.2.3.3.2.2">diag</ci><ci id="A10.Ex101.m1.1.1.cmml" xref="A10.Ex101.m1.1.1">𝑎</ci></apply><apply id="A10.Ex101.m1.2.3.3.3.cmml" xref="A10.Ex101.m1.2.3.3.3"><times id="A10.Ex101.m1.2.3.3.3.1.cmml" xref="A10.Ex101.m1.2.3.3.3.1"></times><ci id="A10.Ex101.m1.2.3.3.3.2.cmml" xref="A10.Ex101.m1.2.3.3.3.2">adiag</ci><ci id="A10.Ex101.m1.2.2.cmml" xref="A10.Ex101.m1.2.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex101.m1.2c">A={\rm diag}(a)+{\rm adiag}(b)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A10.p1.5" class="ltx_p">form a Lie group, where <math id="A10.p1.1.m1.1" class="ltx_Math" alttext="{\rm adiag}" display="inline"><semantics id="A10.p1.1.m1.1a"><mi id="A10.p1.1.m1.1.1" xref="A10.p1.1.m1.1.1.cmml">adiag</mi><annotation-xml encoding="MathML-Content" id="A10.p1.1.m1.1b"><ci id="A10.p1.1.m1.1.1.cmml" xref="A10.p1.1.m1.1.1">adiag</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p1.1.m1.1c">{\rm adiag}</annotation></semantics></math> means skew- or anti-diagonal.
Clearly, <math id="A10.p1.2.m2.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A10.p1.2.m2.1a"><mi id="A10.p1.2.m2.1.1" xref="A10.p1.2.m2.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A10.p1.2.m2.1b"><ci id="A10.p1.2.m2.1.1.cmml" xref="A10.p1.2.m2.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p1.2.m2.1c">A</annotation></semantics></math> can be reduced to the direct sum of <math id="A10.p1.3.m3.1" class="ltx_Math" alttext="\lceil N/2\rceil" display="inline"><semantics id="A10.p1.3.m3.1a"><mrow id="A10.p1.3.m3.1.1.1" xref="A10.p1.3.m3.1.1.2.cmml"><mo stretchy="false" id="A10.p1.3.m3.1.1.1.2" xref="A10.p1.3.m3.1.1.2.1.cmml">⌈</mo><mrow id="A10.p1.3.m3.1.1.1.1" xref="A10.p1.3.m3.1.1.1.1.cmml"><mi id="A10.p1.3.m3.1.1.1.1.2" xref="A10.p1.3.m3.1.1.1.1.2.cmml">N</mi><mo id="A10.p1.3.m3.1.1.1.1.1" xref="A10.p1.3.m3.1.1.1.1.1.cmml">/</mo><mn id="A10.p1.3.m3.1.1.1.1.3" xref="A10.p1.3.m3.1.1.1.1.3.cmml">2</mn></mrow><mo stretchy="false" id="A10.p1.3.m3.1.1.1.3" xref="A10.p1.3.m3.1.1.2.1.cmml">⌉</mo></mrow><annotation-xml encoding="MathML-Content" id="A10.p1.3.m3.1b"><apply id="A10.p1.3.m3.1.1.2.cmml" xref="A10.p1.3.m3.1.1.1"><ceiling id="A10.p1.3.m3.1.1.2.1.cmml" xref="A10.p1.3.m3.1.1.1.2"></ceiling><apply id="A10.p1.3.m3.1.1.1.1.cmml" xref="A10.p1.3.m3.1.1.1.1"><divide id="A10.p1.3.m3.1.1.1.1.1.cmml" xref="A10.p1.3.m3.1.1.1.1.1"></divide><ci id="A10.p1.3.m3.1.1.1.1.2.cmml" xref="A10.p1.3.m3.1.1.1.1.2">𝑁</ci><cn type="integer" id="A10.p1.3.m3.1.1.1.1.3.cmml" xref="A10.p1.3.m3.1.1.1.1.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.p1.3.m3.1c">\lceil N/2\rceil</annotation></semantics></math> smaller groups.
We assume that the central element of <math id="A10.p1.4.m4.1" class="ltx_Math" alttext="b" display="inline"><semantics id="A10.p1.4.m4.1a"><mi id="A10.p1.4.m4.1.1" xref="A10.p1.4.m4.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="A10.p1.4.m4.1b"><ci id="A10.p1.4.m4.1.1.cmml" xref="A10.p1.4.m4.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p1.4.m4.1c">b</annotation></semantics></math> is zero for <math id="A10.p1.5.m5.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A10.p1.5.m5.1a"><mi id="A10.p1.5.m5.1.1" xref="A10.p1.5.m5.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A10.p1.5.m5.1b"><ci id="A10.p1.5.m5.1.1.cmml" xref="A10.p1.5.m5.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p1.5.m5.1c">A</annotation></semantics></math> with odd dimensions.</p>
</div>
<div id="A10.p2" class="ltx_para">
<p id="A10.p2.1" class="ltx_p">Short-hands:</p>
</div>
<div id="A10.p3" class="ltx_para">
<p id="A10.p3.3" class="ltx_p"><math id="A10.p3.1.m1.1" class="ltx_Math" alttext="ab" display="inline"><semantics id="A10.p3.1.m1.1a"><mrow id="A10.p3.1.m1.1.1" xref="A10.p3.1.m1.1.1.cmml"><mi id="A10.p3.1.m1.1.1.2" xref="A10.p3.1.m1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.p3.1.m1.1.1.1" xref="A10.p3.1.m1.1.1.1.cmml">​</mo><mi id="A10.p3.1.m1.1.1.3" xref="A10.p3.1.m1.1.1.3.cmml">b</mi></mrow><annotation-xml encoding="MathML-Content" id="A10.p3.1.m1.1b"><apply id="A10.p3.1.m1.1.1.cmml" xref="A10.p3.1.m1.1.1"><times id="A10.p3.1.m1.1.1.1.cmml" xref="A10.p3.1.m1.1.1.1"></times><ci id="A10.p3.1.m1.1.1.2.cmml" xref="A10.p3.1.m1.1.1.2">𝑎</ci><ci id="A10.p3.1.m1.1.1.3.cmml" xref="A10.p3.1.m1.1.1.3">𝑏</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.p3.1.m1.1c">ab</annotation></semantics></math> denotes the element-wise product of two vectors <math id="A10.p3.2.m2.1" class="ltx_Math" alttext="a" display="inline"><semantics id="A10.p3.2.m2.1a"><mi id="A10.p3.2.m2.1.1" xref="A10.p3.2.m2.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="A10.p3.2.m2.1b"><ci id="A10.p3.2.m2.1.1.cmml" xref="A10.p3.2.m2.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p3.2.m2.1c">a</annotation></semantics></math> and <math id="A10.p3.3.m3.1" class="ltx_Math" alttext="b" display="inline"><semantics id="A10.p3.3.m3.1a"><mi id="A10.p3.3.m3.1.1" xref="A10.p3.3.m3.1.1.cmml">b</mi><annotation-xml encoding="MathML-Content" id="A10.p3.3.m3.1b"><ci id="A10.p3.3.m3.1.1.cmml" xref="A10.p3.3.m3.1.1">𝑏</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p3.3.m3.1c">b</annotation></semantics></math>.</p>
</div>
<div id="A10.p4" class="ltx_para">
<p id="A10.p4.2" class="ltx_p"><math id="A10.p4.1.m1.1" class="ltx_Math" alttext="\overleftarrow{a}" display="inline"><semantics id="A10.p4.1.m1.1a"><mover accent="true" id="A10.p4.1.m1.1.1" xref="A10.p4.1.m1.1.1.cmml"><mi id="A10.p4.1.m1.1.1.2" xref="A10.p4.1.m1.1.1.2.cmml">a</mi><mo stretchy="false" id="A10.p4.1.m1.1.1.1" xref="A10.p4.1.m1.1.1.1.cmml">←</mo></mover><annotation-xml encoding="MathML-Content" id="A10.p4.1.m1.1b"><apply id="A10.p4.1.m1.1.1.cmml" xref="A10.p4.1.m1.1.1"><ci id="A10.p4.1.m1.1.1.1.cmml" xref="A10.p4.1.m1.1.1.1">←</ci><ci id="A10.p4.1.m1.1.1.2.cmml" xref="A10.p4.1.m1.1.1.2">𝑎</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.p4.1.m1.1c">\overleftarrow{a}</annotation></semantics></math> denotes the flipped version of <math id="A10.p4.2.m2.1" class="ltx_Math" alttext="a" display="inline"><semantics id="A10.p4.2.m2.1a"><mi id="A10.p4.2.m2.1.1" xref="A10.p4.2.m2.1.1.cmml">a</mi><annotation-xml encoding="MathML-Content" id="A10.p4.2.m2.1b"><ci id="A10.p4.2.m2.1.1.cmml" xref="A10.p4.2.m2.1.1">𝑎</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p4.2.m2.1c">a</annotation></semantics></math>.</p>
</div>
<div id="A10.p5" class="ltx_para">
<p id="A10.p5.2" class="ltx_p"><math id="A10.p5.1.m1.1" class="ltx_Math" alttext="{\rm Proj}_{X}(A)" display="inline"><semantics id="A10.p5.1.m1.1a"><mrow id="A10.p5.1.m1.1.2" xref="A10.p5.1.m1.1.2.cmml"><msub id="A10.p5.1.m1.1.2.2" xref="A10.p5.1.m1.1.2.2.cmml"><mi id="A10.p5.1.m1.1.2.2.2" xref="A10.p5.1.m1.1.2.2.2.cmml">Proj</mi><mi id="A10.p5.1.m1.1.2.2.3" xref="A10.p5.1.m1.1.2.2.3.cmml">X</mi></msub><mo lspace="0em" rspace="0em" id="A10.p5.1.m1.1.2.1" xref="A10.p5.1.m1.1.2.1.cmml">​</mo><mrow id="A10.p5.1.m1.1.2.3.2" xref="A10.p5.1.m1.1.2.cmml"><mo stretchy="false" id="A10.p5.1.m1.1.2.3.2.1" xref="A10.p5.1.m1.1.2.cmml">(</mo><mi id="A10.p5.1.m1.1.1" xref="A10.p5.1.m1.1.1.cmml">A</mi><mo stretchy="false" id="A10.p5.1.m1.1.2.3.2.2" xref="A10.p5.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.p5.1.m1.1b"><apply id="A10.p5.1.m1.1.2.cmml" xref="A10.p5.1.m1.1.2"><times id="A10.p5.1.m1.1.2.1.cmml" xref="A10.p5.1.m1.1.2.1"></times><apply id="A10.p5.1.m1.1.2.2.cmml" xref="A10.p5.1.m1.1.2.2"><csymbol cd="ambiguous" id="A10.p5.1.m1.1.2.2.1.cmml" xref="A10.p5.1.m1.1.2.2">subscript</csymbol><ci id="A10.p5.1.m1.1.2.2.2.cmml" xref="A10.p5.1.m1.1.2.2.2">Proj</ci><ci id="A10.p5.1.m1.1.2.2.3.cmml" xref="A10.p5.1.m1.1.2.2.3">𝑋</ci></apply><ci id="A10.p5.1.m1.1.1.cmml" xref="A10.p5.1.m1.1.1">𝐴</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.p5.1.m1.1c">{\rm Proj}_{X}(A)</annotation></semantics></math> denotes projecting a dense matrix <math id="A10.p5.2.m2.1" class="ltx_Math" alttext="A" display="inline"><semantics id="A10.p5.2.m2.1a"><mi id="A10.p5.2.m2.1.1" xref="A10.p5.2.m2.1.1.cmml">A</mi><annotation-xml encoding="MathML-Content" id="A10.p5.2.m2.1b"><ci id="A10.p5.2.m2.1.1.cmml" xref="A10.p5.2.m2.1.1">𝐴</ci></annotation-xml><annotation encoding="application/x-tex" id="A10.p5.2.m2.1c">A</annotation></semantics></math> onto an X-matrix.</p>
</div>
<div id="A10.p6" class="ltx_para">
<p id="A10.p6.1" class="ltx_p">Then, we have properties:</p>
</div>
<div id="A10.p7" class="ltx_para">
<table id="A12.EGx39" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A10.Ex102"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex102.m1.3" class="ltx_Math" alttext="\displaystyle[{\rm diag}(a)+{\rm adiag}(b)]x=" display="inline"><semantics id="A10.Ex102.m1.3a"><mrow id="A10.Ex102.m1.3.3" xref="A10.Ex102.m1.3.3.cmml"><mrow id="A10.Ex102.m1.3.3.1" xref="A10.Ex102.m1.3.3.1.cmml"><mrow id="A10.Ex102.m1.3.3.1.1.1" xref="A10.Ex102.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="A10.Ex102.m1.3.3.1.1.1.2" xref="A10.Ex102.m1.3.3.1.1.2.1.cmml">[</mo><mrow id="A10.Ex102.m1.3.3.1.1.1.1" xref="A10.Ex102.m1.3.3.1.1.1.1.cmml"><mrow id="A10.Ex102.m1.3.3.1.1.1.1.2" xref="A10.Ex102.m1.3.3.1.1.1.1.2.cmml"><mi id="A10.Ex102.m1.3.3.1.1.1.1.2.2" xref="A10.Ex102.m1.3.3.1.1.1.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex102.m1.3.3.1.1.1.1.2.1" xref="A10.Ex102.m1.3.3.1.1.1.1.2.1.cmml">​</mo><mrow id="A10.Ex102.m1.3.3.1.1.1.1.2.3.2" xref="A10.Ex102.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="A10.Ex102.m1.3.3.1.1.1.1.2.3.2.1" xref="A10.Ex102.m1.3.3.1.1.1.1.2.cmml">(</mo><mi id="A10.Ex102.m1.1.1" xref="A10.Ex102.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex102.m1.3.3.1.1.1.1.2.3.2.2" xref="A10.Ex102.m1.3.3.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex102.m1.3.3.1.1.1.1.1" xref="A10.Ex102.m1.3.3.1.1.1.1.1.cmml">+</mo><mrow id="A10.Ex102.m1.3.3.1.1.1.1.3" xref="A10.Ex102.m1.3.3.1.1.1.1.3.cmml"><mi id="A10.Ex102.m1.3.3.1.1.1.1.3.2" xref="A10.Ex102.m1.3.3.1.1.1.1.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex102.m1.3.3.1.1.1.1.3.1" xref="A10.Ex102.m1.3.3.1.1.1.1.3.1.cmml">​</mo><mrow id="A10.Ex102.m1.3.3.1.1.1.1.3.3.2" xref="A10.Ex102.m1.3.3.1.1.1.1.3.cmml"><mo stretchy="false" id="A10.Ex102.m1.3.3.1.1.1.1.3.3.2.1" xref="A10.Ex102.m1.3.3.1.1.1.1.3.cmml">(</mo><mi id="A10.Ex102.m1.2.2" xref="A10.Ex102.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex102.m1.3.3.1.1.1.1.3.3.2.2" xref="A10.Ex102.m1.3.3.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="A10.Ex102.m1.3.3.1.1.1.3" xref="A10.Ex102.m1.3.3.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A10.Ex102.m1.3.3.1.2" xref="A10.Ex102.m1.3.3.1.2.cmml">​</mo><mi id="A10.Ex102.m1.3.3.1.3" xref="A10.Ex102.m1.3.3.1.3.cmml">x</mi></mrow><mo id="A10.Ex102.m1.3.3.2" xref="A10.Ex102.m1.3.3.2.cmml">=</mo><mi id="A10.Ex102.m1.3.3.3" xref="A10.Ex102.m1.3.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex102.m1.3b"><apply id="A10.Ex102.m1.3.3.cmml" xref="A10.Ex102.m1.3.3"><eq id="A10.Ex102.m1.3.3.2.cmml" xref="A10.Ex102.m1.3.3.2"></eq><apply id="A10.Ex102.m1.3.3.1.cmml" xref="A10.Ex102.m1.3.3.1"><times id="A10.Ex102.m1.3.3.1.2.cmml" xref="A10.Ex102.m1.3.3.1.2"></times><apply id="A10.Ex102.m1.3.3.1.1.2.cmml" xref="A10.Ex102.m1.3.3.1.1.1"><csymbol cd="latexml" id="A10.Ex102.m1.3.3.1.1.2.1.cmml" xref="A10.Ex102.m1.3.3.1.1.1.2">delimited-[]</csymbol><apply id="A10.Ex102.m1.3.3.1.1.1.1.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1"><plus id="A10.Ex102.m1.3.3.1.1.1.1.1.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1.1"></plus><apply id="A10.Ex102.m1.3.3.1.1.1.1.2.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1.2"><times id="A10.Ex102.m1.3.3.1.1.1.1.2.1.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1.2.1"></times><ci id="A10.Ex102.m1.3.3.1.1.1.1.2.2.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1.2.2">diag</ci><ci id="A10.Ex102.m1.1.1.cmml" xref="A10.Ex102.m1.1.1">𝑎</ci></apply><apply id="A10.Ex102.m1.3.3.1.1.1.1.3.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1.3"><times id="A10.Ex102.m1.3.3.1.1.1.1.3.1.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1.3.1"></times><ci id="A10.Ex102.m1.3.3.1.1.1.1.3.2.cmml" xref="A10.Ex102.m1.3.3.1.1.1.1.3.2">adiag</ci><ci id="A10.Ex102.m1.2.2.cmml" xref="A10.Ex102.m1.2.2">𝑏</ci></apply></apply></apply><ci id="A10.Ex102.m1.3.3.1.3.cmml" xref="A10.Ex102.m1.3.3.1.3">𝑥</ci></apply><csymbol cd="latexml" id="A10.Ex102.m1.3.3.3.cmml" xref="A10.Ex102.m1.3.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex102.m1.3c">\displaystyle[{\rm diag}(a)+{\rm adiag}(b)]x=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex102.m2.1" class="ltx_Math" alttext="\displaystyle ax+b\overleftarrow{x}" display="inline"><semantics id="A10.Ex102.m2.1a"><mrow id="A10.Ex102.m2.1.1" xref="A10.Ex102.m2.1.1.cmml"><mrow id="A10.Ex102.m2.1.1.2" xref="A10.Ex102.m2.1.1.2.cmml"><mi id="A10.Ex102.m2.1.1.2.2" xref="A10.Ex102.m2.1.1.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex102.m2.1.1.2.1" xref="A10.Ex102.m2.1.1.2.1.cmml">​</mo><mi id="A10.Ex102.m2.1.1.2.3" xref="A10.Ex102.m2.1.1.2.3.cmml">x</mi></mrow><mo id="A10.Ex102.m2.1.1.1" xref="A10.Ex102.m2.1.1.1.cmml">+</mo><mrow id="A10.Ex102.m2.1.1.3" xref="A10.Ex102.m2.1.1.3.cmml"><mi id="A10.Ex102.m2.1.1.3.2" xref="A10.Ex102.m2.1.1.3.2.cmml">b</mi><mo lspace="0em" rspace="0em" id="A10.Ex102.m2.1.1.3.1" xref="A10.Ex102.m2.1.1.3.1.cmml">​</mo><mover accent="true" id="A10.Ex102.m2.1.1.3.3" xref="A10.Ex102.m2.1.1.3.3.cmml"><mi id="A10.Ex102.m2.1.1.3.3.2" xref="A10.Ex102.m2.1.1.3.3.2.cmml">x</mi><mo stretchy="false" id="A10.Ex102.m2.1.1.3.3.1" xref="A10.Ex102.m2.1.1.3.3.1.cmml">←</mo></mover></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex102.m2.1b"><apply id="A10.Ex102.m2.1.1.cmml" xref="A10.Ex102.m2.1.1"><plus id="A10.Ex102.m2.1.1.1.cmml" xref="A10.Ex102.m2.1.1.1"></plus><apply id="A10.Ex102.m2.1.1.2.cmml" xref="A10.Ex102.m2.1.1.2"><times id="A10.Ex102.m2.1.1.2.1.cmml" xref="A10.Ex102.m2.1.1.2.1"></times><ci id="A10.Ex102.m2.1.1.2.2.cmml" xref="A10.Ex102.m2.1.1.2.2">𝑎</ci><ci id="A10.Ex102.m2.1.1.2.3.cmml" xref="A10.Ex102.m2.1.1.2.3">𝑥</ci></apply><apply id="A10.Ex102.m2.1.1.3.cmml" xref="A10.Ex102.m2.1.1.3"><times id="A10.Ex102.m2.1.1.3.1.cmml" xref="A10.Ex102.m2.1.1.3.1"></times><ci id="A10.Ex102.m2.1.1.3.2.cmml" xref="A10.Ex102.m2.1.1.3.2">𝑏</ci><apply id="A10.Ex102.m2.1.1.3.3.cmml" xref="A10.Ex102.m2.1.1.3.3"><ci id="A10.Ex102.m2.1.1.3.3.1.cmml" xref="A10.Ex102.m2.1.1.3.3.1">←</ci><ci id="A10.Ex102.m2.1.1.3.3.2.cmml" xref="A10.Ex102.m2.1.1.3.3.2">𝑥</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex102.m2.1c">\displaystyle ax+b\overleftarrow{x}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex103"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex103.m1.2" class="ltx_Math" alttext="\displaystyle{\rm diag}(a)\,{\rm diag}(b)=" display="inline"><semantics id="A10.Ex103.m1.2a"><mrow id="A10.Ex103.m1.2.3" xref="A10.Ex103.m1.2.3.cmml"><mrow id="A10.Ex103.m1.2.3.2" xref="A10.Ex103.m1.2.3.2.cmml"><mi id="A10.Ex103.m1.2.3.2.2" xref="A10.Ex103.m1.2.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex103.m1.2.3.2.1" xref="A10.Ex103.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex103.m1.2.3.2.3.2" xref="A10.Ex103.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex103.m1.2.3.2.3.2.1" xref="A10.Ex103.m1.2.3.2.cmml">(</mo><mi id="A10.Ex103.m1.1.1" xref="A10.Ex103.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex103.m1.2.3.2.3.2.2" xref="A10.Ex103.m1.2.3.2.cmml">)</mo></mrow><mo lspace="0.170em" rspace="0em" id="A10.Ex103.m1.2.3.2.1a" xref="A10.Ex103.m1.2.3.2.1.cmml">​</mo><mi id="A10.Ex103.m1.2.3.2.4" xref="A10.Ex103.m1.2.3.2.4.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex103.m1.2.3.2.1b" xref="A10.Ex103.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex103.m1.2.3.2.5.2" xref="A10.Ex103.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex103.m1.2.3.2.5.2.1" xref="A10.Ex103.m1.2.3.2.cmml">(</mo><mi id="A10.Ex103.m1.2.2" xref="A10.Ex103.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex103.m1.2.3.2.5.2.2" xref="A10.Ex103.m1.2.3.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex103.m1.2.3.1" xref="A10.Ex103.m1.2.3.1.cmml">=</mo><mi id="A10.Ex103.m1.2.3.3" xref="A10.Ex103.m1.2.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex103.m1.2b"><apply id="A10.Ex103.m1.2.3.cmml" xref="A10.Ex103.m1.2.3"><eq id="A10.Ex103.m1.2.3.1.cmml" xref="A10.Ex103.m1.2.3.1"></eq><apply id="A10.Ex103.m1.2.3.2.cmml" xref="A10.Ex103.m1.2.3.2"><times id="A10.Ex103.m1.2.3.2.1.cmml" xref="A10.Ex103.m1.2.3.2.1"></times><ci id="A10.Ex103.m1.2.3.2.2.cmml" xref="A10.Ex103.m1.2.3.2.2">diag</ci><ci id="A10.Ex103.m1.1.1.cmml" xref="A10.Ex103.m1.1.1">𝑎</ci><ci id="A10.Ex103.m1.2.3.2.4.cmml" xref="A10.Ex103.m1.2.3.2.4">diag</ci><ci id="A10.Ex103.m1.2.2.cmml" xref="A10.Ex103.m1.2.2">𝑏</ci></apply><csymbol cd="latexml" id="A10.Ex103.m1.2.3.3.cmml" xref="A10.Ex103.m1.2.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex103.m1.2c">\displaystyle{\rm diag}(a)\,{\rm diag}(b)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex103.m2.1" class="ltx_Math" alttext="\displaystyle{\rm diag}(ab)" display="inline"><semantics id="A10.Ex103.m2.1a"><mrow id="A10.Ex103.m2.1.1" xref="A10.Ex103.m2.1.1.cmml"><mi id="A10.Ex103.m2.1.1.3" xref="A10.Ex103.m2.1.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex103.m2.1.1.2" xref="A10.Ex103.m2.1.1.2.cmml">​</mo><mrow id="A10.Ex103.m2.1.1.1.1" xref="A10.Ex103.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex103.m2.1.1.1.1.2" xref="A10.Ex103.m2.1.1.1.1.1.cmml">(</mo><mrow id="A10.Ex103.m2.1.1.1.1.1" xref="A10.Ex103.m2.1.1.1.1.1.cmml"><mi id="A10.Ex103.m2.1.1.1.1.1.2" xref="A10.Ex103.m2.1.1.1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex103.m2.1.1.1.1.1.1" xref="A10.Ex103.m2.1.1.1.1.1.1.cmml">​</mo><mi id="A10.Ex103.m2.1.1.1.1.1.3" xref="A10.Ex103.m2.1.1.1.1.1.3.cmml">b</mi></mrow><mo stretchy="false" id="A10.Ex103.m2.1.1.1.1.3" xref="A10.Ex103.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex103.m2.1b"><apply id="A10.Ex103.m2.1.1.cmml" xref="A10.Ex103.m2.1.1"><times id="A10.Ex103.m2.1.1.2.cmml" xref="A10.Ex103.m2.1.1.2"></times><ci id="A10.Ex103.m2.1.1.3.cmml" xref="A10.Ex103.m2.1.1.3">diag</ci><apply id="A10.Ex103.m2.1.1.1.1.1.cmml" xref="A10.Ex103.m2.1.1.1.1"><times id="A10.Ex103.m2.1.1.1.1.1.1.cmml" xref="A10.Ex103.m2.1.1.1.1.1.1"></times><ci id="A10.Ex103.m2.1.1.1.1.1.2.cmml" xref="A10.Ex103.m2.1.1.1.1.1.2">𝑎</ci><ci id="A10.Ex103.m2.1.1.1.1.1.3.cmml" xref="A10.Ex103.m2.1.1.1.1.1.3">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex103.m2.1c">\displaystyle{\rm diag}(ab)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex104"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex104.m1.2" class="ltx_Math" alttext="\displaystyle{\rm diag}(a)\,{\rm adiag}(b)=" display="inline"><semantics id="A10.Ex104.m1.2a"><mrow id="A10.Ex104.m1.2.3" xref="A10.Ex104.m1.2.3.cmml"><mrow id="A10.Ex104.m1.2.3.2" xref="A10.Ex104.m1.2.3.2.cmml"><mi id="A10.Ex104.m1.2.3.2.2" xref="A10.Ex104.m1.2.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex104.m1.2.3.2.1" xref="A10.Ex104.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex104.m1.2.3.2.3.2" xref="A10.Ex104.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex104.m1.2.3.2.3.2.1" xref="A10.Ex104.m1.2.3.2.cmml">(</mo><mi id="A10.Ex104.m1.1.1" xref="A10.Ex104.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex104.m1.2.3.2.3.2.2" xref="A10.Ex104.m1.2.3.2.cmml">)</mo></mrow><mo lspace="0.170em" rspace="0em" id="A10.Ex104.m1.2.3.2.1a" xref="A10.Ex104.m1.2.3.2.1.cmml">​</mo><mi id="A10.Ex104.m1.2.3.2.4" xref="A10.Ex104.m1.2.3.2.4.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex104.m1.2.3.2.1b" xref="A10.Ex104.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex104.m1.2.3.2.5.2" xref="A10.Ex104.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex104.m1.2.3.2.5.2.1" xref="A10.Ex104.m1.2.3.2.cmml">(</mo><mi id="A10.Ex104.m1.2.2" xref="A10.Ex104.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex104.m1.2.3.2.5.2.2" xref="A10.Ex104.m1.2.3.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex104.m1.2.3.1" xref="A10.Ex104.m1.2.3.1.cmml">=</mo><mi id="A10.Ex104.m1.2.3.3" xref="A10.Ex104.m1.2.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex104.m1.2b"><apply id="A10.Ex104.m1.2.3.cmml" xref="A10.Ex104.m1.2.3"><eq id="A10.Ex104.m1.2.3.1.cmml" xref="A10.Ex104.m1.2.3.1"></eq><apply id="A10.Ex104.m1.2.3.2.cmml" xref="A10.Ex104.m1.2.3.2"><times id="A10.Ex104.m1.2.3.2.1.cmml" xref="A10.Ex104.m1.2.3.2.1"></times><ci id="A10.Ex104.m1.2.3.2.2.cmml" xref="A10.Ex104.m1.2.3.2.2">diag</ci><ci id="A10.Ex104.m1.1.1.cmml" xref="A10.Ex104.m1.1.1">𝑎</ci><ci id="A10.Ex104.m1.2.3.2.4.cmml" xref="A10.Ex104.m1.2.3.2.4">adiag</ci><ci id="A10.Ex104.m1.2.2.cmml" xref="A10.Ex104.m1.2.2">𝑏</ci></apply><csymbol cd="latexml" id="A10.Ex104.m1.2.3.3.cmml" xref="A10.Ex104.m1.2.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex104.m1.2c">\displaystyle{\rm diag}(a)\,{\rm adiag}(b)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex104.m2.1" class="ltx_Math" alttext="\displaystyle{\rm adiag}(ab)" display="inline"><semantics id="A10.Ex104.m2.1a"><mrow id="A10.Ex104.m2.1.1" xref="A10.Ex104.m2.1.1.cmml"><mi id="A10.Ex104.m2.1.1.3" xref="A10.Ex104.m2.1.1.3.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex104.m2.1.1.2" xref="A10.Ex104.m2.1.1.2.cmml">​</mo><mrow id="A10.Ex104.m2.1.1.1.1" xref="A10.Ex104.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex104.m2.1.1.1.1.2" xref="A10.Ex104.m2.1.1.1.1.1.cmml">(</mo><mrow id="A10.Ex104.m2.1.1.1.1.1" xref="A10.Ex104.m2.1.1.1.1.1.cmml"><mi id="A10.Ex104.m2.1.1.1.1.1.2" xref="A10.Ex104.m2.1.1.1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex104.m2.1.1.1.1.1.1" xref="A10.Ex104.m2.1.1.1.1.1.1.cmml">​</mo><mi id="A10.Ex104.m2.1.1.1.1.1.3" xref="A10.Ex104.m2.1.1.1.1.1.3.cmml">b</mi></mrow><mo stretchy="false" id="A10.Ex104.m2.1.1.1.1.3" xref="A10.Ex104.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex104.m2.1b"><apply id="A10.Ex104.m2.1.1.cmml" xref="A10.Ex104.m2.1.1"><times id="A10.Ex104.m2.1.1.2.cmml" xref="A10.Ex104.m2.1.1.2"></times><ci id="A10.Ex104.m2.1.1.3.cmml" xref="A10.Ex104.m2.1.1.3">adiag</ci><apply id="A10.Ex104.m2.1.1.1.1.1.cmml" xref="A10.Ex104.m2.1.1.1.1"><times id="A10.Ex104.m2.1.1.1.1.1.1.cmml" xref="A10.Ex104.m2.1.1.1.1.1.1"></times><ci id="A10.Ex104.m2.1.1.1.1.1.2.cmml" xref="A10.Ex104.m2.1.1.1.1.1.2">𝑎</ci><ci id="A10.Ex104.m2.1.1.1.1.1.3.cmml" xref="A10.Ex104.m2.1.1.1.1.1.3">𝑏</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex104.m2.1c">\displaystyle{\rm adiag}(ab)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex105"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex105.m1.2" class="ltx_Math" alttext="\displaystyle{\rm adiag}(a)\,{\rm diag}(b)=" display="inline"><semantics id="A10.Ex105.m1.2a"><mrow id="A10.Ex105.m1.2.3" xref="A10.Ex105.m1.2.3.cmml"><mrow id="A10.Ex105.m1.2.3.2" xref="A10.Ex105.m1.2.3.2.cmml"><mi id="A10.Ex105.m1.2.3.2.2" xref="A10.Ex105.m1.2.3.2.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex105.m1.2.3.2.1" xref="A10.Ex105.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex105.m1.2.3.2.3.2" xref="A10.Ex105.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex105.m1.2.3.2.3.2.1" xref="A10.Ex105.m1.2.3.2.cmml">(</mo><mi id="A10.Ex105.m1.1.1" xref="A10.Ex105.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex105.m1.2.3.2.3.2.2" xref="A10.Ex105.m1.2.3.2.cmml">)</mo></mrow><mo lspace="0.170em" rspace="0em" id="A10.Ex105.m1.2.3.2.1a" xref="A10.Ex105.m1.2.3.2.1.cmml">​</mo><mi id="A10.Ex105.m1.2.3.2.4" xref="A10.Ex105.m1.2.3.2.4.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex105.m1.2.3.2.1b" xref="A10.Ex105.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex105.m1.2.3.2.5.2" xref="A10.Ex105.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex105.m1.2.3.2.5.2.1" xref="A10.Ex105.m1.2.3.2.cmml">(</mo><mi id="A10.Ex105.m1.2.2" xref="A10.Ex105.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex105.m1.2.3.2.5.2.2" xref="A10.Ex105.m1.2.3.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex105.m1.2.3.1" xref="A10.Ex105.m1.2.3.1.cmml">=</mo><mi id="A10.Ex105.m1.2.3.3" xref="A10.Ex105.m1.2.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex105.m1.2b"><apply id="A10.Ex105.m1.2.3.cmml" xref="A10.Ex105.m1.2.3"><eq id="A10.Ex105.m1.2.3.1.cmml" xref="A10.Ex105.m1.2.3.1"></eq><apply id="A10.Ex105.m1.2.3.2.cmml" xref="A10.Ex105.m1.2.3.2"><times id="A10.Ex105.m1.2.3.2.1.cmml" xref="A10.Ex105.m1.2.3.2.1"></times><ci id="A10.Ex105.m1.2.3.2.2.cmml" xref="A10.Ex105.m1.2.3.2.2">adiag</ci><ci id="A10.Ex105.m1.1.1.cmml" xref="A10.Ex105.m1.1.1">𝑎</ci><ci id="A10.Ex105.m1.2.3.2.4.cmml" xref="A10.Ex105.m1.2.3.2.4">diag</ci><ci id="A10.Ex105.m1.2.2.cmml" xref="A10.Ex105.m1.2.2">𝑏</ci></apply><csymbol cd="latexml" id="A10.Ex105.m1.2.3.3.cmml" xref="A10.Ex105.m1.2.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex105.m1.2c">\displaystyle{\rm adiag}(a)\,{\rm diag}(b)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex105.m2.1" class="ltx_Math" alttext="\displaystyle{\rm adiag}(a\overleftarrow{b})" display="inline"><semantics id="A10.Ex105.m2.1a"><mrow id="A10.Ex105.m2.1.1" xref="A10.Ex105.m2.1.1.cmml"><mi id="A10.Ex105.m2.1.1.3" xref="A10.Ex105.m2.1.1.3.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex105.m2.1.1.2" xref="A10.Ex105.m2.1.1.2.cmml">​</mo><mrow id="A10.Ex105.m2.1.1.1.1" xref="A10.Ex105.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex105.m2.1.1.1.1.2" xref="A10.Ex105.m2.1.1.1.1.1.cmml">(</mo><mrow id="A10.Ex105.m2.1.1.1.1.1" xref="A10.Ex105.m2.1.1.1.1.1.cmml"><mi id="A10.Ex105.m2.1.1.1.1.1.2" xref="A10.Ex105.m2.1.1.1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex105.m2.1.1.1.1.1.1" xref="A10.Ex105.m2.1.1.1.1.1.1.cmml">​</mo><mover accent="true" id="A10.Ex105.m2.1.1.1.1.1.3" xref="A10.Ex105.m2.1.1.1.1.1.3.cmml"><mi id="A10.Ex105.m2.1.1.1.1.1.3.2" xref="A10.Ex105.m2.1.1.1.1.1.3.2.cmml">b</mi><mo stretchy="false" id="A10.Ex105.m2.1.1.1.1.1.3.1" xref="A10.Ex105.m2.1.1.1.1.1.3.1.cmml">←</mo></mover></mrow><mo stretchy="false" id="A10.Ex105.m2.1.1.1.1.3" xref="A10.Ex105.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex105.m2.1b"><apply id="A10.Ex105.m2.1.1.cmml" xref="A10.Ex105.m2.1.1"><times id="A10.Ex105.m2.1.1.2.cmml" xref="A10.Ex105.m2.1.1.2"></times><ci id="A10.Ex105.m2.1.1.3.cmml" xref="A10.Ex105.m2.1.1.3">adiag</ci><apply id="A10.Ex105.m2.1.1.1.1.1.cmml" xref="A10.Ex105.m2.1.1.1.1"><times id="A10.Ex105.m2.1.1.1.1.1.1.cmml" xref="A10.Ex105.m2.1.1.1.1.1.1"></times><ci id="A10.Ex105.m2.1.1.1.1.1.2.cmml" xref="A10.Ex105.m2.1.1.1.1.1.2">𝑎</ci><apply id="A10.Ex105.m2.1.1.1.1.1.3.cmml" xref="A10.Ex105.m2.1.1.1.1.1.3"><ci id="A10.Ex105.m2.1.1.1.1.1.3.1.cmml" xref="A10.Ex105.m2.1.1.1.1.1.3.1">←</ci><ci id="A10.Ex105.m2.1.1.1.1.1.3.2.cmml" xref="A10.Ex105.m2.1.1.1.1.1.3.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex105.m2.1c">\displaystyle{\rm adiag}(a\overleftarrow{b})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex106"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex106.m1.2" class="ltx_Math" alttext="\displaystyle{\rm adiag}(a)\,{\rm adiag}(b)=" display="inline"><semantics id="A10.Ex106.m1.2a"><mrow id="A10.Ex106.m1.2.3" xref="A10.Ex106.m1.2.3.cmml"><mrow id="A10.Ex106.m1.2.3.2" xref="A10.Ex106.m1.2.3.2.cmml"><mi id="A10.Ex106.m1.2.3.2.2" xref="A10.Ex106.m1.2.3.2.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex106.m1.2.3.2.1" xref="A10.Ex106.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex106.m1.2.3.2.3.2" xref="A10.Ex106.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex106.m1.2.3.2.3.2.1" xref="A10.Ex106.m1.2.3.2.cmml">(</mo><mi id="A10.Ex106.m1.1.1" xref="A10.Ex106.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex106.m1.2.3.2.3.2.2" xref="A10.Ex106.m1.2.3.2.cmml">)</mo></mrow><mo lspace="0.170em" rspace="0em" id="A10.Ex106.m1.2.3.2.1a" xref="A10.Ex106.m1.2.3.2.1.cmml">​</mo><mi id="A10.Ex106.m1.2.3.2.4" xref="A10.Ex106.m1.2.3.2.4.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex106.m1.2.3.2.1b" xref="A10.Ex106.m1.2.3.2.1.cmml">​</mo><mrow id="A10.Ex106.m1.2.3.2.5.2" xref="A10.Ex106.m1.2.3.2.cmml"><mo stretchy="false" id="A10.Ex106.m1.2.3.2.5.2.1" xref="A10.Ex106.m1.2.3.2.cmml">(</mo><mi id="A10.Ex106.m1.2.2" xref="A10.Ex106.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex106.m1.2.3.2.5.2.2" xref="A10.Ex106.m1.2.3.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex106.m1.2.3.1" xref="A10.Ex106.m1.2.3.1.cmml">=</mo><mi id="A10.Ex106.m1.2.3.3" xref="A10.Ex106.m1.2.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex106.m1.2b"><apply id="A10.Ex106.m1.2.3.cmml" xref="A10.Ex106.m1.2.3"><eq id="A10.Ex106.m1.2.3.1.cmml" xref="A10.Ex106.m1.2.3.1"></eq><apply id="A10.Ex106.m1.2.3.2.cmml" xref="A10.Ex106.m1.2.3.2"><times id="A10.Ex106.m1.2.3.2.1.cmml" xref="A10.Ex106.m1.2.3.2.1"></times><ci id="A10.Ex106.m1.2.3.2.2.cmml" xref="A10.Ex106.m1.2.3.2.2">adiag</ci><ci id="A10.Ex106.m1.1.1.cmml" xref="A10.Ex106.m1.1.1">𝑎</ci><ci id="A10.Ex106.m1.2.3.2.4.cmml" xref="A10.Ex106.m1.2.3.2.4">adiag</ci><ci id="A10.Ex106.m1.2.2.cmml" xref="A10.Ex106.m1.2.2">𝑏</ci></apply><csymbol cd="latexml" id="A10.Ex106.m1.2.3.3.cmml" xref="A10.Ex106.m1.2.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex106.m1.2c">\displaystyle{\rm adiag}(a)\,{\rm adiag}(b)=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex106.m2.1" class="ltx_Math" alttext="\displaystyle{\rm diag}(a\overleftarrow{b})" display="inline"><semantics id="A10.Ex106.m2.1a"><mrow id="A10.Ex106.m2.1.1" xref="A10.Ex106.m2.1.1.cmml"><mi id="A10.Ex106.m2.1.1.3" xref="A10.Ex106.m2.1.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex106.m2.1.1.2" xref="A10.Ex106.m2.1.1.2.cmml">​</mo><mrow id="A10.Ex106.m2.1.1.1.1" xref="A10.Ex106.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex106.m2.1.1.1.1.2" xref="A10.Ex106.m2.1.1.1.1.1.cmml">(</mo><mrow id="A10.Ex106.m2.1.1.1.1.1" xref="A10.Ex106.m2.1.1.1.1.1.cmml"><mi id="A10.Ex106.m2.1.1.1.1.1.2" xref="A10.Ex106.m2.1.1.1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex106.m2.1.1.1.1.1.1" xref="A10.Ex106.m2.1.1.1.1.1.1.cmml">​</mo><mover accent="true" id="A10.Ex106.m2.1.1.1.1.1.3" xref="A10.Ex106.m2.1.1.1.1.1.3.cmml"><mi id="A10.Ex106.m2.1.1.1.1.1.3.2" xref="A10.Ex106.m2.1.1.1.1.1.3.2.cmml">b</mi><mo stretchy="false" id="A10.Ex106.m2.1.1.1.1.1.3.1" xref="A10.Ex106.m2.1.1.1.1.1.3.1.cmml">←</mo></mover></mrow><mo stretchy="false" id="A10.Ex106.m2.1.1.1.1.3" xref="A10.Ex106.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex106.m2.1b"><apply id="A10.Ex106.m2.1.1.cmml" xref="A10.Ex106.m2.1.1"><times id="A10.Ex106.m2.1.1.2.cmml" xref="A10.Ex106.m2.1.1.2"></times><ci id="A10.Ex106.m2.1.1.3.cmml" xref="A10.Ex106.m2.1.1.3">diag</ci><apply id="A10.Ex106.m2.1.1.1.1.1.cmml" xref="A10.Ex106.m2.1.1.1.1"><times id="A10.Ex106.m2.1.1.1.1.1.1.cmml" xref="A10.Ex106.m2.1.1.1.1.1.1"></times><ci id="A10.Ex106.m2.1.1.1.1.1.2.cmml" xref="A10.Ex106.m2.1.1.1.1.1.2">𝑎</ci><apply id="A10.Ex106.m2.1.1.1.1.1.3.cmml" xref="A10.Ex106.m2.1.1.1.1.1.3"><ci id="A10.Ex106.m2.1.1.1.1.1.3.1.cmml" xref="A10.Ex106.m2.1.1.1.1.1.3.1">←</ci><ci id="A10.Ex106.m2.1.1.1.1.1.3.2.cmml" xref="A10.Ex106.m2.1.1.1.1.1.3.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex106.m2.1c">\displaystyle{\rm diag}(a\overleftarrow{b})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex107"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex107.m1.6" class="ltx_Math" alttext="\displaystyle\left[{\rm diag}(a)+{\rm adiag}(b)\right]\left[{\rm diag}(u)+{\rm adiag}(v)\right]=" display="inline"><semantics id="A10.Ex107.m1.6a"><mrow id="A10.Ex107.m1.6.6" xref="A10.Ex107.m1.6.6.cmml"><mrow id="A10.Ex107.m1.6.6.2" xref="A10.Ex107.m1.6.6.2.cmml"><mrow id="A10.Ex107.m1.5.5.1.1.1" xref="A10.Ex107.m1.5.5.1.1.2.cmml"><mo id="A10.Ex107.m1.5.5.1.1.1.2" xref="A10.Ex107.m1.5.5.1.1.2.1.cmml">[</mo><mrow id="A10.Ex107.m1.5.5.1.1.1.1" xref="A10.Ex107.m1.5.5.1.1.1.1.cmml"><mrow id="A10.Ex107.m1.5.5.1.1.1.1.2" xref="A10.Ex107.m1.5.5.1.1.1.1.2.cmml"><mi id="A10.Ex107.m1.5.5.1.1.1.1.2.2" xref="A10.Ex107.m1.5.5.1.1.1.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m1.5.5.1.1.1.1.2.1" xref="A10.Ex107.m1.5.5.1.1.1.1.2.1.cmml">​</mo><mrow id="A10.Ex107.m1.5.5.1.1.1.1.2.3.2" xref="A10.Ex107.m1.5.5.1.1.1.1.2.cmml"><mo stretchy="false" id="A10.Ex107.m1.5.5.1.1.1.1.2.3.2.1" xref="A10.Ex107.m1.5.5.1.1.1.1.2.cmml">(</mo><mi id="A10.Ex107.m1.1.1" xref="A10.Ex107.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex107.m1.5.5.1.1.1.1.2.3.2.2" xref="A10.Ex107.m1.5.5.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex107.m1.5.5.1.1.1.1.1" xref="A10.Ex107.m1.5.5.1.1.1.1.1.cmml">+</mo><mrow id="A10.Ex107.m1.5.5.1.1.1.1.3" xref="A10.Ex107.m1.5.5.1.1.1.1.3.cmml"><mi id="A10.Ex107.m1.5.5.1.1.1.1.3.2" xref="A10.Ex107.m1.5.5.1.1.1.1.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m1.5.5.1.1.1.1.3.1" xref="A10.Ex107.m1.5.5.1.1.1.1.3.1.cmml">​</mo><mrow id="A10.Ex107.m1.5.5.1.1.1.1.3.3.2" xref="A10.Ex107.m1.5.5.1.1.1.1.3.cmml"><mo stretchy="false" id="A10.Ex107.m1.5.5.1.1.1.1.3.3.2.1" xref="A10.Ex107.m1.5.5.1.1.1.1.3.cmml">(</mo><mi id="A10.Ex107.m1.2.2" xref="A10.Ex107.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex107.m1.5.5.1.1.1.1.3.3.2.2" xref="A10.Ex107.m1.5.5.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="A10.Ex107.m1.5.5.1.1.1.3" xref="A10.Ex107.m1.5.5.1.1.2.1.cmml">]</mo></mrow><mo lspace="0em" rspace="0em" id="A10.Ex107.m1.6.6.2.3" xref="A10.Ex107.m1.6.6.2.3.cmml">​</mo><mrow id="A10.Ex107.m1.6.6.2.2.1" xref="A10.Ex107.m1.6.6.2.2.2.cmml"><mo id="A10.Ex107.m1.6.6.2.2.1.2" xref="A10.Ex107.m1.6.6.2.2.2.1.cmml">[</mo><mrow id="A10.Ex107.m1.6.6.2.2.1.1" xref="A10.Ex107.m1.6.6.2.2.1.1.cmml"><mrow id="A10.Ex107.m1.6.6.2.2.1.1.2" xref="A10.Ex107.m1.6.6.2.2.1.1.2.cmml"><mi id="A10.Ex107.m1.6.6.2.2.1.1.2.2" xref="A10.Ex107.m1.6.6.2.2.1.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m1.6.6.2.2.1.1.2.1" xref="A10.Ex107.m1.6.6.2.2.1.1.2.1.cmml">​</mo><mrow id="A10.Ex107.m1.6.6.2.2.1.1.2.3.2" xref="A10.Ex107.m1.6.6.2.2.1.1.2.cmml"><mo stretchy="false" id="A10.Ex107.m1.6.6.2.2.1.1.2.3.2.1" xref="A10.Ex107.m1.6.6.2.2.1.1.2.cmml">(</mo><mi id="A10.Ex107.m1.3.3" xref="A10.Ex107.m1.3.3.cmml">u</mi><mo stretchy="false" id="A10.Ex107.m1.6.6.2.2.1.1.2.3.2.2" xref="A10.Ex107.m1.6.6.2.2.1.1.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex107.m1.6.6.2.2.1.1.1" xref="A10.Ex107.m1.6.6.2.2.1.1.1.cmml">+</mo><mrow id="A10.Ex107.m1.6.6.2.2.1.1.3" xref="A10.Ex107.m1.6.6.2.2.1.1.3.cmml"><mi id="A10.Ex107.m1.6.6.2.2.1.1.3.2" xref="A10.Ex107.m1.6.6.2.2.1.1.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m1.6.6.2.2.1.1.3.1" xref="A10.Ex107.m1.6.6.2.2.1.1.3.1.cmml">​</mo><mrow id="A10.Ex107.m1.6.6.2.2.1.1.3.3.2" xref="A10.Ex107.m1.6.6.2.2.1.1.3.cmml"><mo stretchy="false" id="A10.Ex107.m1.6.6.2.2.1.1.3.3.2.1" xref="A10.Ex107.m1.6.6.2.2.1.1.3.cmml">(</mo><mi id="A10.Ex107.m1.4.4" xref="A10.Ex107.m1.4.4.cmml">v</mi><mo stretchy="false" id="A10.Ex107.m1.6.6.2.2.1.1.3.3.2.2" xref="A10.Ex107.m1.6.6.2.2.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="A10.Ex107.m1.6.6.2.2.1.3" xref="A10.Ex107.m1.6.6.2.2.2.1.cmml">]</mo></mrow></mrow><mo id="A10.Ex107.m1.6.6.3" xref="A10.Ex107.m1.6.6.3.cmml">=</mo><mi id="A10.Ex107.m1.6.6.4" xref="A10.Ex107.m1.6.6.4.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex107.m1.6b"><apply id="A10.Ex107.m1.6.6.cmml" xref="A10.Ex107.m1.6.6"><eq id="A10.Ex107.m1.6.6.3.cmml" xref="A10.Ex107.m1.6.6.3"></eq><apply id="A10.Ex107.m1.6.6.2.cmml" xref="A10.Ex107.m1.6.6.2"><times id="A10.Ex107.m1.6.6.2.3.cmml" xref="A10.Ex107.m1.6.6.2.3"></times><apply id="A10.Ex107.m1.5.5.1.1.2.cmml" xref="A10.Ex107.m1.5.5.1.1.1"><csymbol cd="latexml" id="A10.Ex107.m1.5.5.1.1.2.1.cmml" xref="A10.Ex107.m1.5.5.1.1.1.2">delimited-[]</csymbol><apply id="A10.Ex107.m1.5.5.1.1.1.1.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1"><plus id="A10.Ex107.m1.5.5.1.1.1.1.1.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1.1"></plus><apply id="A10.Ex107.m1.5.5.1.1.1.1.2.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1.2"><times id="A10.Ex107.m1.5.5.1.1.1.1.2.1.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1.2.1"></times><ci id="A10.Ex107.m1.5.5.1.1.1.1.2.2.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1.2.2">diag</ci><ci id="A10.Ex107.m1.1.1.cmml" xref="A10.Ex107.m1.1.1">𝑎</ci></apply><apply id="A10.Ex107.m1.5.5.1.1.1.1.3.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1.3"><times id="A10.Ex107.m1.5.5.1.1.1.1.3.1.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1.3.1"></times><ci id="A10.Ex107.m1.5.5.1.1.1.1.3.2.cmml" xref="A10.Ex107.m1.5.5.1.1.1.1.3.2">adiag</ci><ci id="A10.Ex107.m1.2.2.cmml" xref="A10.Ex107.m1.2.2">𝑏</ci></apply></apply></apply><apply id="A10.Ex107.m1.6.6.2.2.2.cmml" xref="A10.Ex107.m1.6.6.2.2.1"><csymbol cd="latexml" id="A10.Ex107.m1.6.6.2.2.2.1.cmml" xref="A10.Ex107.m1.6.6.2.2.1.2">delimited-[]</csymbol><apply id="A10.Ex107.m1.6.6.2.2.1.1.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1"><plus id="A10.Ex107.m1.6.6.2.2.1.1.1.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1.1"></plus><apply id="A10.Ex107.m1.6.6.2.2.1.1.2.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1.2"><times id="A10.Ex107.m1.6.6.2.2.1.1.2.1.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1.2.1"></times><ci id="A10.Ex107.m1.6.6.2.2.1.1.2.2.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1.2.2">diag</ci><ci id="A10.Ex107.m1.3.3.cmml" xref="A10.Ex107.m1.3.3">𝑢</ci></apply><apply id="A10.Ex107.m1.6.6.2.2.1.1.3.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1.3"><times id="A10.Ex107.m1.6.6.2.2.1.1.3.1.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1.3.1"></times><ci id="A10.Ex107.m1.6.6.2.2.1.1.3.2.cmml" xref="A10.Ex107.m1.6.6.2.2.1.1.3.2">adiag</ci><ci id="A10.Ex107.m1.4.4.cmml" xref="A10.Ex107.m1.4.4">𝑣</ci></apply></apply></apply></apply><csymbol cd="latexml" id="A10.Ex107.m1.6.6.4.cmml" xref="A10.Ex107.m1.6.6.4">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex107.m1.6c">\displaystyle\left[{\rm diag}(a)+{\rm adiag}(b)\right]\left[{\rm diag}(u)+{\rm adiag}(v)\right]=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex107.m2.2" class="ltx_Math" alttext="\displaystyle{\rm diag}(au+b\overleftarrow{v})+{\rm adiag}(a{v}+b\overleftarrow{u})" display="inline"><semantics id="A10.Ex107.m2.2a"><mrow id="A10.Ex107.m2.2.2" xref="A10.Ex107.m2.2.2.cmml"><mrow id="A10.Ex107.m2.1.1.1" xref="A10.Ex107.m2.1.1.1.cmml"><mi id="A10.Ex107.m2.1.1.1.3" xref="A10.Ex107.m2.1.1.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m2.1.1.1.2" xref="A10.Ex107.m2.1.1.1.2.cmml">​</mo><mrow id="A10.Ex107.m2.1.1.1.1.1" xref="A10.Ex107.m2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex107.m2.1.1.1.1.1.2" xref="A10.Ex107.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A10.Ex107.m2.1.1.1.1.1.1" xref="A10.Ex107.m2.1.1.1.1.1.1.cmml"><mrow id="A10.Ex107.m2.1.1.1.1.1.1.2" xref="A10.Ex107.m2.1.1.1.1.1.1.2.cmml"><mi id="A10.Ex107.m2.1.1.1.1.1.1.2.2" xref="A10.Ex107.m2.1.1.1.1.1.1.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m2.1.1.1.1.1.1.2.1" xref="A10.Ex107.m2.1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A10.Ex107.m2.1.1.1.1.1.1.2.3" xref="A10.Ex107.m2.1.1.1.1.1.1.2.3.cmml">u</mi></mrow><mo id="A10.Ex107.m2.1.1.1.1.1.1.1" xref="A10.Ex107.m2.1.1.1.1.1.1.1.cmml">+</mo><mrow id="A10.Ex107.m2.1.1.1.1.1.1.3" xref="A10.Ex107.m2.1.1.1.1.1.1.3.cmml"><mi id="A10.Ex107.m2.1.1.1.1.1.1.3.2" xref="A10.Ex107.m2.1.1.1.1.1.1.3.2.cmml">b</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m2.1.1.1.1.1.1.3.1" xref="A10.Ex107.m2.1.1.1.1.1.1.3.1.cmml">​</mo><mover accent="true" id="A10.Ex107.m2.1.1.1.1.1.1.3.3" xref="A10.Ex107.m2.1.1.1.1.1.1.3.3.cmml"><mi id="A10.Ex107.m2.1.1.1.1.1.1.3.3.2" xref="A10.Ex107.m2.1.1.1.1.1.1.3.3.2.cmml">v</mi><mo stretchy="false" id="A10.Ex107.m2.1.1.1.1.1.1.3.3.1" xref="A10.Ex107.m2.1.1.1.1.1.1.3.3.1.cmml">←</mo></mover></mrow></mrow><mo stretchy="false" id="A10.Ex107.m2.1.1.1.1.1.3" xref="A10.Ex107.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A10.Ex107.m2.2.2.3" xref="A10.Ex107.m2.2.2.3.cmml">+</mo><mrow id="A10.Ex107.m2.2.2.2" xref="A10.Ex107.m2.2.2.2.cmml"><mi id="A10.Ex107.m2.2.2.2.3" xref="A10.Ex107.m2.2.2.2.3.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m2.2.2.2.2" xref="A10.Ex107.m2.2.2.2.2.cmml">​</mo><mrow id="A10.Ex107.m2.2.2.2.1.1" xref="A10.Ex107.m2.2.2.2.1.1.1.cmml"><mo stretchy="false" id="A10.Ex107.m2.2.2.2.1.1.2" xref="A10.Ex107.m2.2.2.2.1.1.1.cmml">(</mo><mrow id="A10.Ex107.m2.2.2.2.1.1.1" xref="A10.Ex107.m2.2.2.2.1.1.1.cmml"><mrow id="A10.Ex107.m2.2.2.2.1.1.1.2" xref="A10.Ex107.m2.2.2.2.1.1.1.2.cmml"><mi id="A10.Ex107.m2.2.2.2.1.1.1.2.2" xref="A10.Ex107.m2.2.2.2.1.1.1.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m2.2.2.2.1.1.1.2.1" xref="A10.Ex107.m2.2.2.2.1.1.1.2.1.cmml">​</mo><mi id="A10.Ex107.m2.2.2.2.1.1.1.2.3" xref="A10.Ex107.m2.2.2.2.1.1.1.2.3.cmml">v</mi></mrow><mo id="A10.Ex107.m2.2.2.2.1.1.1.1" xref="A10.Ex107.m2.2.2.2.1.1.1.1.cmml">+</mo><mrow id="A10.Ex107.m2.2.2.2.1.1.1.3" xref="A10.Ex107.m2.2.2.2.1.1.1.3.cmml"><mi id="A10.Ex107.m2.2.2.2.1.1.1.3.2" xref="A10.Ex107.m2.2.2.2.1.1.1.3.2.cmml">b</mi><mo lspace="0em" rspace="0em" id="A10.Ex107.m2.2.2.2.1.1.1.3.1" xref="A10.Ex107.m2.2.2.2.1.1.1.3.1.cmml">​</mo><mover accent="true" id="A10.Ex107.m2.2.2.2.1.1.1.3.3" xref="A10.Ex107.m2.2.2.2.1.1.1.3.3.cmml"><mi id="A10.Ex107.m2.2.2.2.1.1.1.3.3.2" xref="A10.Ex107.m2.2.2.2.1.1.1.3.3.2.cmml">u</mi><mo stretchy="false" id="A10.Ex107.m2.2.2.2.1.1.1.3.3.1" xref="A10.Ex107.m2.2.2.2.1.1.1.3.3.1.cmml">←</mo></mover></mrow></mrow><mo stretchy="false" id="A10.Ex107.m2.2.2.2.1.1.3" xref="A10.Ex107.m2.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex107.m2.2b"><apply id="A10.Ex107.m2.2.2.cmml" xref="A10.Ex107.m2.2.2"><plus id="A10.Ex107.m2.2.2.3.cmml" xref="A10.Ex107.m2.2.2.3"></plus><apply id="A10.Ex107.m2.1.1.1.cmml" xref="A10.Ex107.m2.1.1.1"><times id="A10.Ex107.m2.1.1.1.2.cmml" xref="A10.Ex107.m2.1.1.1.2"></times><ci id="A10.Ex107.m2.1.1.1.3.cmml" xref="A10.Ex107.m2.1.1.1.3">diag</ci><apply id="A10.Ex107.m2.1.1.1.1.1.1.cmml" xref="A10.Ex107.m2.1.1.1.1.1"><plus id="A10.Ex107.m2.1.1.1.1.1.1.1.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.1"></plus><apply id="A10.Ex107.m2.1.1.1.1.1.1.2.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.2"><times id="A10.Ex107.m2.1.1.1.1.1.1.2.1.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.2.1"></times><ci id="A10.Ex107.m2.1.1.1.1.1.1.2.2.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.2.2">𝑎</ci><ci id="A10.Ex107.m2.1.1.1.1.1.1.2.3.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.2.3">𝑢</ci></apply><apply id="A10.Ex107.m2.1.1.1.1.1.1.3.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.3"><times id="A10.Ex107.m2.1.1.1.1.1.1.3.1.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.3.1"></times><ci id="A10.Ex107.m2.1.1.1.1.1.1.3.2.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.3.2">𝑏</ci><apply id="A10.Ex107.m2.1.1.1.1.1.1.3.3.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.3.3"><ci id="A10.Ex107.m2.1.1.1.1.1.1.3.3.1.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.3.3.1">←</ci><ci id="A10.Ex107.m2.1.1.1.1.1.1.3.3.2.cmml" xref="A10.Ex107.m2.1.1.1.1.1.1.3.3.2">𝑣</ci></apply></apply></apply></apply><apply id="A10.Ex107.m2.2.2.2.cmml" xref="A10.Ex107.m2.2.2.2"><times id="A10.Ex107.m2.2.2.2.2.cmml" xref="A10.Ex107.m2.2.2.2.2"></times><ci id="A10.Ex107.m2.2.2.2.3.cmml" xref="A10.Ex107.m2.2.2.2.3">adiag</ci><apply id="A10.Ex107.m2.2.2.2.1.1.1.cmml" xref="A10.Ex107.m2.2.2.2.1.1"><plus id="A10.Ex107.m2.2.2.2.1.1.1.1.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.1"></plus><apply id="A10.Ex107.m2.2.2.2.1.1.1.2.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.2"><times id="A10.Ex107.m2.2.2.2.1.1.1.2.1.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.2.1"></times><ci id="A10.Ex107.m2.2.2.2.1.1.1.2.2.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.2.2">𝑎</ci><ci id="A10.Ex107.m2.2.2.2.1.1.1.2.3.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.2.3">𝑣</ci></apply><apply id="A10.Ex107.m2.2.2.2.1.1.1.3.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.3"><times id="A10.Ex107.m2.2.2.2.1.1.1.3.1.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.3.1"></times><ci id="A10.Ex107.m2.2.2.2.1.1.1.3.2.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.3.2">𝑏</ci><apply id="A10.Ex107.m2.2.2.2.1.1.1.3.3.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.3.3"><ci id="A10.Ex107.m2.2.2.2.1.1.1.3.3.1.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.3.3.1">←</ci><ci id="A10.Ex107.m2.2.2.2.1.1.1.3.3.2.cmml" xref="A10.Ex107.m2.2.2.2.1.1.1.3.3.2">𝑢</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex107.m2.2c">\displaystyle{\rm diag}(au+b\overleftarrow{v})+{\rm adiag}(a{v}+b\overleftarrow{u})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex108"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex108.m1.3" class="ltx_Math" alttext="\displaystyle\left[{\rm diag}(a)+{\rm adiag}(b)\right]^{-1}=" display="inline"><semantics id="A10.Ex108.m1.3a"><mrow id="A10.Ex108.m1.3.3" xref="A10.Ex108.m1.3.3.cmml"><msup id="A10.Ex108.m1.3.3.1" xref="A10.Ex108.m1.3.3.1.cmml"><mrow id="A10.Ex108.m1.3.3.1.1.1" xref="A10.Ex108.m1.3.3.1.1.2.cmml"><mo id="A10.Ex108.m1.3.3.1.1.1.2" xref="A10.Ex108.m1.3.3.1.1.2.1.cmml">[</mo><mrow id="A10.Ex108.m1.3.3.1.1.1.1" xref="A10.Ex108.m1.3.3.1.1.1.1.cmml"><mrow id="A10.Ex108.m1.3.3.1.1.1.1.2" xref="A10.Ex108.m1.3.3.1.1.1.1.2.cmml"><mi id="A10.Ex108.m1.3.3.1.1.1.1.2.2" xref="A10.Ex108.m1.3.3.1.1.1.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m1.3.3.1.1.1.1.2.1" xref="A10.Ex108.m1.3.3.1.1.1.1.2.1.cmml">​</mo><mrow id="A10.Ex108.m1.3.3.1.1.1.1.2.3.2" xref="A10.Ex108.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="A10.Ex108.m1.3.3.1.1.1.1.2.3.2.1" xref="A10.Ex108.m1.3.3.1.1.1.1.2.cmml">(</mo><mi id="A10.Ex108.m1.1.1" xref="A10.Ex108.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex108.m1.3.3.1.1.1.1.2.3.2.2" xref="A10.Ex108.m1.3.3.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex108.m1.3.3.1.1.1.1.1" xref="A10.Ex108.m1.3.3.1.1.1.1.1.cmml">+</mo><mrow id="A10.Ex108.m1.3.3.1.1.1.1.3" xref="A10.Ex108.m1.3.3.1.1.1.1.3.cmml"><mi id="A10.Ex108.m1.3.3.1.1.1.1.3.2" xref="A10.Ex108.m1.3.3.1.1.1.1.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m1.3.3.1.1.1.1.3.1" xref="A10.Ex108.m1.3.3.1.1.1.1.3.1.cmml">​</mo><mrow id="A10.Ex108.m1.3.3.1.1.1.1.3.3.2" xref="A10.Ex108.m1.3.3.1.1.1.1.3.cmml"><mo stretchy="false" id="A10.Ex108.m1.3.3.1.1.1.1.3.3.2.1" xref="A10.Ex108.m1.3.3.1.1.1.1.3.cmml">(</mo><mi id="A10.Ex108.m1.2.2" xref="A10.Ex108.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex108.m1.3.3.1.1.1.1.3.3.2.2" xref="A10.Ex108.m1.3.3.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo id="A10.Ex108.m1.3.3.1.1.1.3" xref="A10.Ex108.m1.3.3.1.1.2.1.cmml">]</mo></mrow><mrow id="A10.Ex108.m1.3.3.1.3" xref="A10.Ex108.m1.3.3.1.3.cmml"><mo id="A10.Ex108.m1.3.3.1.3a" xref="A10.Ex108.m1.3.3.1.3.cmml">−</mo><mn id="A10.Ex108.m1.3.3.1.3.2" xref="A10.Ex108.m1.3.3.1.3.2.cmml">1</mn></mrow></msup><mo id="A10.Ex108.m1.3.3.2" xref="A10.Ex108.m1.3.3.2.cmml">=</mo><mi id="A10.Ex108.m1.3.3.3" xref="A10.Ex108.m1.3.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex108.m1.3b"><apply id="A10.Ex108.m1.3.3.cmml" xref="A10.Ex108.m1.3.3"><eq id="A10.Ex108.m1.3.3.2.cmml" xref="A10.Ex108.m1.3.3.2"></eq><apply id="A10.Ex108.m1.3.3.1.cmml" xref="A10.Ex108.m1.3.3.1"><csymbol cd="ambiguous" id="A10.Ex108.m1.3.3.1.2.cmml" xref="A10.Ex108.m1.3.3.1">superscript</csymbol><apply id="A10.Ex108.m1.3.3.1.1.2.cmml" xref="A10.Ex108.m1.3.3.1.1.1"><csymbol cd="latexml" id="A10.Ex108.m1.3.3.1.1.2.1.cmml" xref="A10.Ex108.m1.3.3.1.1.1.2">delimited-[]</csymbol><apply id="A10.Ex108.m1.3.3.1.1.1.1.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1"><plus id="A10.Ex108.m1.3.3.1.1.1.1.1.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1.1"></plus><apply id="A10.Ex108.m1.3.3.1.1.1.1.2.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1.2"><times id="A10.Ex108.m1.3.3.1.1.1.1.2.1.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1.2.1"></times><ci id="A10.Ex108.m1.3.3.1.1.1.1.2.2.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1.2.2">diag</ci><ci id="A10.Ex108.m1.1.1.cmml" xref="A10.Ex108.m1.1.1">𝑎</ci></apply><apply id="A10.Ex108.m1.3.3.1.1.1.1.3.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1.3"><times id="A10.Ex108.m1.3.3.1.1.1.1.3.1.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1.3.1"></times><ci id="A10.Ex108.m1.3.3.1.1.1.1.3.2.cmml" xref="A10.Ex108.m1.3.3.1.1.1.1.3.2">adiag</ci><ci id="A10.Ex108.m1.2.2.cmml" xref="A10.Ex108.m1.2.2">𝑏</ci></apply></apply></apply><apply id="A10.Ex108.m1.3.3.1.3.cmml" xref="A10.Ex108.m1.3.3.1.3"><minus id="A10.Ex108.m1.3.3.1.3.1.cmml" xref="A10.Ex108.m1.3.3.1.3"></minus><cn type="integer" id="A10.Ex108.m1.3.3.1.3.2.cmml" xref="A10.Ex108.m1.3.3.1.3.2">1</cn></apply></apply><csymbol cd="latexml" id="A10.Ex108.m1.3.3.3.cmml" xref="A10.Ex108.m1.3.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex108.m1.3c">\displaystyle\left[{\rm diag}(a)+{\rm adiag}(b)\right]^{-1}=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex108.m2.2" class="ltx_Math" alttext="\displaystyle{\rm diag}\left(\frac{\overleftarrow{a}}{a\overleftarrow{a}-b\overleftarrow{b}}\right)-{\rm adiag}\left(\frac{{b}}{a\overleftarrow{a}-b\overleftarrow{b}}\right)" display="inline"><semantics id="A10.Ex108.m2.2a"><mrow id="A10.Ex108.m2.2.3" xref="A10.Ex108.m2.2.3.cmml"><mrow id="A10.Ex108.m2.2.3.2" xref="A10.Ex108.m2.2.3.2.cmml"><mi id="A10.Ex108.m2.2.3.2.2" xref="A10.Ex108.m2.2.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m2.2.3.2.1" xref="A10.Ex108.m2.2.3.2.1.cmml">​</mo><mrow id="A10.Ex108.m2.2.3.2.3.2" xref="A10.Ex108.m2.1.1.cmml"><mo id="A10.Ex108.m2.2.3.2.3.2.1" xref="A10.Ex108.m2.1.1.cmml">(</mo><mstyle displaystyle="true" id="A10.Ex108.m2.1.1" xref="A10.Ex108.m2.1.1.cmml"><mfrac id="A10.Ex108.m2.1.1a" xref="A10.Ex108.m2.1.1.cmml"><mover accent="true" id="A10.Ex108.m2.1.1.2" xref="A10.Ex108.m2.1.1.2.cmml"><mi id="A10.Ex108.m2.1.1.2.2" xref="A10.Ex108.m2.1.1.2.2.cmml">a</mi><mo stretchy="false" id="A10.Ex108.m2.1.1.2.1" xref="A10.Ex108.m2.1.1.2.1.cmml">←</mo></mover><mrow id="A10.Ex108.m2.1.1.3" xref="A10.Ex108.m2.1.1.3.cmml"><mrow id="A10.Ex108.m2.1.1.3.2" xref="A10.Ex108.m2.1.1.3.2.cmml"><mi id="A10.Ex108.m2.1.1.3.2.2" xref="A10.Ex108.m2.1.1.3.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m2.1.1.3.2.1" xref="A10.Ex108.m2.1.1.3.2.1.cmml">​</mo><mover accent="true" id="A10.Ex108.m2.1.1.3.2.3" xref="A10.Ex108.m2.1.1.3.2.3.cmml"><mi id="A10.Ex108.m2.1.1.3.2.3.2" xref="A10.Ex108.m2.1.1.3.2.3.2.cmml">a</mi><mo stretchy="false" id="A10.Ex108.m2.1.1.3.2.3.1" xref="A10.Ex108.m2.1.1.3.2.3.1.cmml">←</mo></mover></mrow><mo id="A10.Ex108.m2.1.1.3.1" xref="A10.Ex108.m2.1.1.3.1.cmml">−</mo><mrow id="A10.Ex108.m2.1.1.3.3" xref="A10.Ex108.m2.1.1.3.3.cmml"><mi id="A10.Ex108.m2.1.1.3.3.2" xref="A10.Ex108.m2.1.1.3.3.2.cmml">b</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m2.1.1.3.3.1" xref="A10.Ex108.m2.1.1.3.3.1.cmml">​</mo><mover accent="true" id="A10.Ex108.m2.1.1.3.3.3" xref="A10.Ex108.m2.1.1.3.3.3.cmml"><mi id="A10.Ex108.m2.1.1.3.3.3.2" xref="A10.Ex108.m2.1.1.3.3.3.2.cmml">b</mi><mo stretchy="false" id="A10.Ex108.m2.1.1.3.3.3.1" xref="A10.Ex108.m2.1.1.3.3.3.1.cmml">←</mo></mover></mrow></mrow></mfrac></mstyle><mo id="A10.Ex108.m2.2.3.2.3.2.2" xref="A10.Ex108.m2.1.1.cmml">)</mo></mrow></mrow><mo id="A10.Ex108.m2.2.3.1" xref="A10.Ex108.m2.2.3.1.cmml">−</mo><mrow id="A10.Ex108.m2.2.3.3" xref="A10.Ex108.m2.2.3.3.cmml"><mi id="A10.Ex108.m2.2.3.3.2" xref="A10.Ex108.m2.2.3.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m2.2.3.3.1" xref="A10.Ex108.m2.2.3.3.1.cmml">​</mo><mrow id="A10.Ex108.m2.2.3.3.3.2" xref="A10.Ex108.m2.2.2.cmml"><mo id="A10.Ex108.m2.2.3.3.3.2.1" xref="A10.Ex108.m2.2.2.cmml">(</mo><mstyle displaystyle="true" id="A10.Ex108.m2.2.2" xref="A10.Ex108.m2.2.2.cmml"><mfrac id="A10.Ex108.m2.2.2a" xref="A10.Ex108.m2.2.2.cmml"><mi id="A10.Ex108.m2.2.2.2" xref="A10.Ex108.m2.2.2.2.cmml">b</mi><mrow id="A10.Ex108.m2.2.2.3" xref="A10.Ex108.m2.2.2.3.cmml"><mrow id="A10.Ex108.m2.2.2.3.2" xref="A10.Ex108.m2.2.2.3.2.cmml"><mi id="A10.Ex108.m2.2.2.3.2.2" xref="A10.Ex108.m2.2.2.3.2.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m2.2.2.3.2.1" xref="A10.Ex108.m2.2.2.3.2.1.cmml">​</mo><mover accent="true" id="A10.Ex108.m2.2.2.3.2.3" xref="A10.Ex108.m2.2.2.3.2.3.cmml"><mi id="A10.Ex108.m2.2.2.3.2.3.2" xref="A10.Ex108.m2.2.2.3.2.3.2.cmml">a</mi><mo stretchy="false" id="A10.Ex108.m2.2.2.3.2.3.1" xref="A10.Ex108.m2.2.2.3.2.3.1.cmml">←</mo></mover></mrow><mo id="A10.Ex108.m2.2.2.3.1" xref="A10.Ex108.m2.2.2.3.1.cmml">−</mo><mrow id="A10.Ex108.m2.2.2.3.3" xref="A10.Ex108.m2.2.2.3.3.cmml"><mi id="A10.Ex108.m2.2.2.3.3.2" xref="A10.Ex108.m2.2.2.3.3.2.cmml">b</mi><mo lspace="0em" rspace="0em" id="A10.Ex108.m2.2.2.3.3.1" xref="A10.Ex108.m2.2.2.3.3.1.cmml">​</mo><mover accent="true" id="A10.Ex108.m2.2.2.3.3.3" xref="A10.Ex108.m2.2.2.3.3.3.cmml"><mi id="A10.Ex108.m2.2.2.3.3.3.2" xref="A10.Ex108.m2.2.2.3.3.3.2.cmml">b</mi><mo stretchy="false" id="A10.Ex108.m2.2.2.3.3.3.1" xref="A10.Ex108.m2.2.2.3.3.3.1.cmml">←</mo></mover></mrow></mrow></mfrac></mstyle><mo id="A10.Ex108.m2.2.3.3.3.2.2" xref="A10.Ex108.m2.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex108.m2.2b"><apply id="A10.Ex108.m2.2.3.cmml" xref="A10.Ex108.m2.2.3"><minus id="A10.Ex108.m2.2.3.1.cmml" xref="A10.Ex108.m2.2.3.1"></minus><apply id="A10.Ex108.m2.2.3.2.cmml" xref="A10.Ex108.m2.2.3.2"><times id="A10.Ex108.m2.2.3.2.1.cmml" xref="A10.Ex108.m2.2.3.2.1"></times><ci id="A10.Ex108.m2.2.3.2.2.cmml" xref="A10.Ex108.m2.2.3.2.2">diag</ci><apply id="A10.Ex108.m2.1.1.cmml" xref="A10.Ex108.m2.2.3.2.3.2"><divide id="A10.Ex108.m2.1.1.1.cmml" xref="A10.Ex108.m2.2.3.2.3.2"></divide><apply id="A10.Ex108.m2.1.1.2.cmml" xref="A10.Ex108.m2.1.1.2"><ci id="A10.Ex108.m2.1.1.2.1.cmml" xref="A10.Ex108.m2.1.1.2.1">←</ci><ci id="A10.Ex108.m2.1.1.2.2.cmml" xref="A10.Ex108.m2.1.1.2.2">𝑎</ci></apply><apply id="A10.Ex108.m2.1.1.3.cmml" xref="A10.Ex108.m2.1.1.3"><minus id="A10.Ex108.m2.1.1.3.1.cmml" xref="A10.Ex108.m2.1.1.3.1"></minus><apply id="A10.Ex108.m2.1.1.3.2.cmml" xref="A10.Ex108.m2.1.1.3.2"><times id="A10.Ex108.m2.1.1.3.2.1.cmml" xref="A10.Ex108.m2.1.1.3.2.1"></times><ci id="A10.Ex108.m2.1.1.3.2.2.cmml" xref="A10.Ex108.m2.1.1.3.2.2">𝑎</ci><apply id="A10.Ex108.m2.1.1.3.2.3.cmml" xref="A10.Ex108.m2.1.1.3.2.3"><ci id="A10.Ex108.m2.1.1.3.2.3.1.cmml" xref="A10.Ex108.m2.1.1.3.2.3.1">←</ci><ci id="A10.Ex108.m2.1.1.3.2.3.2.cmml" xref="A10.Ex108.m2.1.1.3.2.3.2">𝑎</ci></apply></apply><apply id="A10.Ex108.m2.1.1.3.3.cmml" xref="A10.Ex108.m2.1.1.3.3"><times id="A10.Ex108.m2.1.1.3.3.1.cmml" xref="A10.Ex108.m2.1.1.3.3.1"></times><ci id="A10.Ex108.m2.1.1.3.3.2.cmml" xref="A10.Ex108.m2.1.1.3.3.2">𝑏</ci><apply id="A10.Ex108.m2.1.1.3.3.3.cmml" xref="A10.Ex108.m2.1.1.3.3.3"><ci id="A10.Ex108.m2.1.1.3.3.3.1.cmml" xref="A10.Ex108.m2.1.1.3.3.3.1">←</ci><ci id="A10.Ex108.m2.1.1.3.3.3.2.cmml" xref="A10.Ex108.m2.1.1.3.3.3.2">𝑏</ci></apply></apply></apply></apply></apply><apply id="A10.Ex108.m2.2.3.3.cmml" xref="A10.Ex108.m2.2.3.3"><times id="A10.Ex108.m2.2.3.3.1.cmml" xref="A10.Ex108.m2.2.3.3.1"></times><ci id="A10.Ex108.m2.2.3.3.2.cmml" xref="A10.Ex108.m2.2.3.3.2">adiag</ci><apply id="A10.Ex108.m2.2.2.cmml" xref="A10.Ex108.m2.2.3.3.3.2"><divide id="A10.Ex108.m2.2.2.1.cmml" xref="A10.Ex108.m2.2.3.3.3.2"></divide><ci id="A10.Ex108.m2.2.2.2.cmml" xref="A10.Ex108.m2.2.2.2">𝑏</ci><apply id="A10.Ex108.m2.2.2.3.cmml" xref="A10.Ex108.m2.2.2.3"><minus id="A10.Ex108.m2.2.2.3.1.cmml" xref="A10.Ex108.m2.2.2.3.1"></minus><apply id="A10.Ex108.m2.2.2.3.2.cmml" xref="A10.Ex108.m2.2.2.3.2"><times id="A10.Ex108.m2.2.2.3.2.1.cmml" xref="A10.Ex108.m2.2.2.3.2.1"></times><ci id="A10.Ex108.m2.2.2.3.2.2.cmml" xref="A10.Ex108.m2.2.2.3.2.2">𝑎</ci><apply id="A10.Ex108.m2.2.2.3.2.3.cmml" xref="A10.Ex108.m2.2.2.3.2.3"><ci id="A10.Ex108.m2.2.2.3.2.3.1.cmml" xref="A10.Ex108.m2.2.2.3.2.3.1">←</ci><ci id="A10.Ex108.m2.2.2.3.2.3.2.cmml" xref="A10.Ex108.m2.2.2.3.2.3.2">𝑎</ci></apply></apply><apply id="A10.Ex108.m2.2.2.3.3.cmml" xref="A10.Ex108.m2.2.2.3.3"><times id="A10.Ex108.m2.2.2.3.3.1.cmml" xref="A10.Ex108.m2.2.2.3.3.1"></times><ci id="A10.Ex108.m2.2.2.3.3.2.cmml" xref="A10.Ex108.m2.2.2.3.3.2">𝑏</ci><apply id="A10.Ex108.m2.2.2.3.3.3.cmml" xref="A10.Ex108.m2.2.2.3.3.3"><ci id="A10.Ex108.m2.2.2.3.3.3.1.cmml" xref="A10.Ex108.m2.2.2.3.3.3.1">←</ci><ci id="A10.Ex108.m2.2.2.3.3.3.2.cmml" xref="A10.Ex108.m2.2.2.3.3.3.2">𝑏</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex108.m2.2c">\displaystyle{\rm diag}\left(\frac{\overleftarrow{a}}{a\overleftarrow{a}-b\overleftarrow{b}}\right)-{\rm adiag}\left(\frac{{b}}{a\overleftarrow{a}-b\overleftarrow{b}}\right)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex109"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex109.m1.3" class="ltx_Math" alttext="\displaystyle[{\rm diag}(a)+{\rm adiag}(b)]^{T}=" display="inline"><semantics id="A10.Ex109.m1.3a"><mrow id="A10.Ex109.m1.3.3" xref="A10.Ex109.m1.3.3.cmml"><msup id="A10.Ex109.m1.3.3.1" xref="A10.Ex109.m1.3.3.1.cmml"><mrow id="A10.Ex109.m1.3.3.1.1.1" xref="A10.Ex109.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="A10.Ex109.m1.3.3.1.1.1.2" xref="A10.Ex109.m1.3.3.1.1.2.1.cmml">[</mo><mrow id="A10.Ex109.m1.3.3.1.1.1.1" xref="A10.Ex109.m1.3.3.1.1.1.1.cmml"><mrow id="A10.Ex109.m1.3.3.1.1.1.1.2" xref="A10.Ex109.m1.3.3.1.1.1.1.2.cmml"><mi id="A10.Ex109.m1.3.3.1.1.1.1.2.2" xref="A10.Ex109.m1.3.3.1.1.1.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex109.m1.3.3.1.1.1.1.2.1" xref="A10.Ex109.m1.3.3.1.1.1.1.2.1.cmml">​</mo><mrow id="A10.Ex109.m1.3.3.1.1.1.1.2.3.2" xref="A10.Ex109.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="A10.Ex109.m1.3.3.1.1.1.1.2.3.2.1" xref="A10.Ex109.m1.3.3.1.1.1.1.2.cmml">(</mo><mi id="A10.Ex109.m1.1.1" xref="A10.Ex109.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex109.m1.3.3.1.1.1.1.2.3.2.2" xref="A10.Ex109.m1.3.3.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex109.m1.3.3.1.1.1.1.1" xref="A10.Ex109.m1.3.3.1.1.1.1.1.cmml">+</mo><mrow id="A10.Ex109.m1.3.3.1.1.1.1.3" xref="A10.Ex109.m1.3.3.1.1.1.1.3.cmml"><mi id="A10.Ex109.m1.3.3.1.1.1.1.3.2" xref="A10.Ex109.m1.3.3.1.1.1.1.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex109.m1.3.3.1.1.1.1.3.1" xref="A10.Ex109.m1.3.3.1.1.1.1.3.1.cmml">​</mo><mrow id="A10.Ex109.m1.3.3.1.1.1.1.3.3.2" xref="A10.Ex109.m1.3.3.1.1.1.1.3.cmml"><mo stretchy="false" id="A10.Ex109.m1.3.3.1.1.1.1.3.3.2.1" xref="A10.Ex109.m1.3.3.1.1.1.1.3.cmml">(</mo><mi id="A10.Ex109.m1.2.2" xref="A10.Ex109.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex109.m1.3.3.1.1.1.1.3.3.2.2" xref="A10.Ex109.m1.3.3.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="A10.Ex109.m1.3.3.1.1.1.3" xref="A10.Ex109.m1.3.3.1.1.2.1.cmml">]</mo></mrow><mi id="A10.Ex109.m1.3.3.1.3" xref="A10.Ex109.m1.3.3.1.3.cmml">T</mi></msup><mo id="A10.Ex109.m1.3.3.2" xref="A10.Ex109.m1.3.3.2.cmml">=</mo><mi id="A10.Ex109.m1.3.3.3" xref="A10.Ex109.m1.3.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex109.m1.3b"><apply id="A10.Ex109.m1.3.3.cmml" xref="A10.Ex109.m1.3.3"><eq id="A10.Ex109.m1.3.3.2.cmml" xref="A10.Ex109.m1.3.3.2"></eq><apply id="A10.Ex109.m1.3.3.1.cmml" xref="A10.Ex109.m1.3.3.1"><csymbol cd="ambiguous" id="A10.Ex109.m1.3.3.1.2.cmml" xref="A10.Ex109.m1.3.3.1">superscript</csymbol><apply id="A10.Ex109.m1.3.3.1.1.2.cmml" xref="A10.Ex109.m1.3.3.1.1.1"><csymbol cd="latexml" id="A10.Ex109.m1.3.3.1.1.2.1.cmml" xref="A10.Ex109.m1.3.3.1.1.1.2">delimited-[]</csymbol><apply id="A10.Ex109.m1.3.3.1.1.1.1.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1"><plus id="A10.Ex109.m1.3.3.1.1.1.1.1.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1.1"></plus><apply id="A10.Ex109.m1.3.3.1.1.1.1.2.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1.2"><times id="A10.Ex109.m1.3.3.1.1.1.1.2.1.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1.2.1"></times><ci id="A10.Ex109.m1.3.3.1.1.1.1.2.2.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1.2.2">diag</ci><ci id="A10.Ex109.m1.1.1.cmml" xref="A10.Ex109.m1.1.1">𝑎</ci></apply><apply id="A10.Ex109.m1.3.3.1.1.1.1.3.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1.3"><times id="A10.Ex109.m1.3.3.1.1.1.1.3.1.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1.3.1"></times><ci id="A10.Ex109.m1.3.3.1.1.1.1.3.2.cmml" xref="A10.Ex109.m1.3.3.1.1.1.1.3.2">adiag</ci><ci id="A10.Ex109.m1.2.2.cmml" xref="A10.Ex109.m1.2.2">𝑏</ci></apply></apply></apply><ci id="A10.Ex109.m1.3.3.1.3.cmml" xref="A10.Ex109.m1.3.3.1.3">𝑇</ci></apply><csymbol cd="latexml" id="A10.Ex109.m1.3.3.3.cmml" xref="A10.Ex109.m1.3.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex109.m1.3c">\displaystyle[{\rm diag}(a)+{\rm adiag}(b)]^{T}=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex109.m2.2" class="ltx_Math" alttext="\displaystyle{\rm diag}(a)+{\rm adiag}(\overleftarrow{b})" display="inline"><semantics id="A10.Ex109.m2.2a"><mrow id="A10.Ex109.m2.2.3" xref="A10.Ex109.m2.2.3.cmml"><mrow id="A10.Ex109.m2.2.3.2" xref="A10.Ex109.m2.2.3.2.cmml"><mi id="A10.Ex109.m2.2.3.2.2" xref="A10.Ex109.m2.2.3.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex109.m2.2.3.2.1" xref="A10.Ex109.m2.2.3.2.1.cmml">​</mo><mrow id="A10.Ex109.m2.2.3.2.3.2" xref="A10.Ex109.m2.2.3.2.cmml"><mo stretchy="false" id="A10.Ex109.m2.2.3.2.3.2.1" xref="A10.Ex109.m2.2.3.2.cmml">(</mo><mi id="A10.Ex109.m2.1.1" xref="A10.Ex109.m2.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex109.m2.2.3.2.3.2.2" xref="A10.Ex109.m2.2.3.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex109.m2.2.3.1" xref="A10.Ex109.m2.2.3.1.cmml">+</mo><mrow id="A10.Ex109.m2.2.3.3" xref="A10.Ex109.m2.2.3.3.cmml"><mi id="A10.Ex109.m2.2.3.3.2" xref="A10.Ex109.m2.2.3.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex109.m2.2.3.3.1" xref="A10.Ex109.m2.2.3.3.1.cmml">​</mo><mrow id="A10.Ex109.m2.2.3.3.3.2" xref="A10.Ex109.m2.2.2.cmml"><mo stretchy="false" id="A10.Ex109.m2.2.3.3.3.2.1" xref="A10.Ex109.m2.2.2.cmml">(</mo><mover accent="true" id="A10.Ex109.m2.2.2" xref="A10.Ex109.m2.2.2.cmml"><mi id="A10.Ex109.m2.2.2.2" xref="A10.Ex109.m2.2.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex109.m2.2.2.1" xref="A10.Ex109.m2.2.2.1.cmml">←</mo></mover><mo stretchy="false" id="A10.Ex109.m2.2.3.3.3.2.2" xref="A10.Ex109.m2.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex109.m2.2b"><apply id="A10.Ex109.m2.2.3.cmml" xref="A10.Ex109.m2.2.3"><plus id="A10.Ex109.m2.2.3.1.cmml" xref="A10.Ex109.m2.2.3.1"></plus><apply id="A10.Ex109.m2.2.3.2.cmml" xref="A10.Ex109.m2.2.3.2"><times id="A10.Ex109.m2.2.3.2.1.cmml" xref="A10.Ex109.m2.2.3.2.1"></times><ci id="A10.Ex109.m2.2.3.2.2.cmml" xref="A10.Ex109.m2.2.3.2.2">diag</ci><ci id="A10.Ex109.m2.1.1.cmml" xref="A10.Ex109.m2.1.1">𝑎</ci></apply><apply id="A10.Ex109.m2.2.3.3.cmml" xref="A10.Ex109.m2.2.3.3"><times id="A10.Ex109.m2.2.3.3.1.cmml" xref="A10.Ex109.m2.2.3.3.1"></times><ci id="A10.Ex109.m2.2.3.3.2.cmml" xref="A10.Ex109.m2.2.3.3.2">adiag</ci><apply id="A10.Ex109.m2.2.2.cmml" xref="A10.Ex109.m2.2.3.3.3.2"><ci id="A10.Ex109.m2.2.2.1.cmml" xref="A10.Ex109.m2.2.2.1">←</ci><ci id="A10.Ex109.m2.2.2.2.cmml" xref="A10.Ex109.m2.2.2.2">𝑏</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex109.m2.2c">\displaystyle{\rm diag}(a)+{\rm adiag}(\overleftarrow{b})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex110"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex110.m1.3" class="ltx_Math" alttext="\displaystyle\|{\rm diag}(a)+{\rm adiag}(b)\|\leq" display="inline"><semantics id="A10.Ex110.m1.3a"><mrow id="A10.Ex110.m1.3.3" xref="A10.Ex110.m1.3.3.cmml"><mrow id="A10.Ex110.m1.3.3.1.1" xref="A10.Ex110.m1.3.3.1.2.cmml"><mo stretchy="false" id="A10.Ex110.m1.3.3.1.1.2" xref="A10.Ex110.m1.3.3.1.2.1.cmml">‖</mo><mrow id="A10.Ex110.m1.3.3.1.1.1" xref="A10.Ex110.m1.3.3.1.1.1.cmml"><mrow id="A10.Ex110.m1.3.3.1.1.1.2" xref="A10.Ex110.m1.3.3.1.1.1.2.cmml"><mi id="A10.Ex110.m1.3.3.1.1.1.2.2" xref="A10.Ex110.m1.3.3.1.1.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex110.m1.3.3.1.1.1.2.1" xref="A10.Ex110.m1.3.3.1.1.1.2.1.cmml">​</mo><mrow id="A10.Ex110.m1.3.3.1.1.1.2.3.2" xref="A10.Ex110.m1.3.3.1.1.1.2.cmml"><mo stretchy="false" id="A10.Ex110.m1.3.3.1.1.1.2.3.2.1" xref="A10.Ex110.m1.3.3.1.1.1.2.cmml">(</mo><mi id="A10.Ex110.m1.1.1" xref="A10.Ex110.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex110.m1.3.3.1.1.1.2.3.2.2" xref="A10.Ex110.m1.3.3.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex110.m1.3.3.1.1.1.1" xref="A10.Ex110.m1.3.3.1.1.1.1.cmml">+</mo><mrow id="A10.Ex110.m1.3.3.1.1.1.3" xref="A10.Ex110.m1.3.3.1.1.1.3.cmml"><mi id="A10.Ex110.m1.3.3.1.1.1.3.2" xref="A10.Ex110.m1.3.3.1.1.1.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex110.m1.3.3.1.1.1.3.1" xref="A10.Ex110.m1.3.3.1.1.1.3.1.cmml">​</mo><mrow id="A10.Ex110.m1.3.3.1.1.1.3.3.2" xref="A10.Ex110.m1.3.3.1.1.1.3.cmml"><mo stretchy="false" id="A10.Ex110.m1.3.3.1.1.1.3.3.2.1" xref="A10.Ex110.m1.3.3.1.1.1.3.cmml">(</mo><mi id="A10.Ex110.m1.2.2" xref="A10.Ex110.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex110.m1.3.3.1.1.1.3.3.2.2" xref="A10.Ex110.m1.3.3.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="A10.Ex110.m1.3.3.1.1.3" xref="A10.Ex110.m1.3.3.1.2.1.cmml">‖</mo></mrow><mo id="A10.Ex110.m1.3.3.2" xref="A10.Ex110.m1.3.3.2.cmml">≤</mo><mi id="A10.Ex110.m1.3.3.3" xref="A10.Ex110.m1.3.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex110.m1.3b"><apply id="A10.Ex110.m1.3.3.cmml" xref="A10.Ex110.m1.3.3"><leq id="A10.Ex110.m1.3.3.2.cmml" xref="A10.Ex110.m1.3.3.2"></leq><apply id="A10.Ex110.m1.3.3.1.2.cmml" xref="A10.Ex110.m1.3.3.1.1"><csymbol cd="latexml" id="A10.Ex110.m1.3.3.1.2.1.cmml" xref="A10.Ex110.m1.3.3.1.1.2">norm</csymbol><apply id="A10.Ex110.m1.3.3.1.1.1.cmml" xref="A10.Ex110.m1.3.3.1.1.1"><plus id="A10.Ex110.m1.3.3.1.1.1.1.cmml" xref="A10.Ex110.m1.3.3.1.1.1.1"></plus><apply id="A10.Ex110.m1.3.3.1.1.1.2.cmml" xref="A10.Ex110.m1.3.3.1.1.1.2"><times id="A10.Ex110.m1.3.3.1.1.1.2.1.cmml" xref="A10.Ex110.m1.3.3.1.1.1.2.1"></times><ci id="A10.Ex110.m1.3.3.1.1.1.2.2.cmml" xref="A10.Ex110.m1.3.3.1.1.1.2.2">diag</ci><ci id="A10.Ex110.m1.1.1.cmml" xref="A10.Ex110.m1.1.1">𝑎</ci></apply><apply id="A10.Ex110.m1.3.3.1.1.1.3.cmml" xref="A10.Ex110.m1.3.3.1.1.1.3"><times id="A10.Ex110.m1.3.3.1.1.1.3.1.cmml" xref="A10.Ex110.m1.3.3.1.1.1.3.1"></times><ci id="A10.Ex110.m1.3.3.1.1.1.3.2.cmml" xref="A10.Ex110.m1.3.3.1.1.1.3.2">adiag</ci><ci id="A10.Ex110.m1.2.2.cmml" xref="A10.Ex110.m1.2.2">𝑏</ci></apply></apply></apply><csymbol cd="latexml" id="A10.Ex110.m1.3.3.3.cmml" xref="A10.Ex110.m1.3.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex110.m1.3c">\displaystyle\|{\rm diag}(a)+{\rm adiag}(b)\|\leq</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex110.m2.6" class="ltx_Math" alttext="\displaystyle\|{\rm diag}(a)\|+\|{\rm adiag}(b)\|=\max|a|+\max|b|" display="inline"><semantics id="A10.Ex110.m2.6a"><mrow id="A10.Ex110.m2.6.6" xref="A10.Ex110.m2.6.6.cmml"><mrow id="A10.Ex110.m2.6.6.2" xref="A10.Ex110.m2.6.6.2.cmml"><mrow id="A10.Ex110.m2.5.5.1.1.1" xref="A10.Ex110.m2.5.5.1.1.2.cmml"><mo stretchy="false" id="A10.Ex110.m2.5.5.1.1.1.2" xref="A10.Ex110.m2.5.5.1.1.2.1.cmml">‖</mo><mrow id="A10.Ex110.m2.5.5.1.1.1.1" xref="A10.Ex110.m2.5.5.1.1.1.1.cmml"><mi id="A10.Ex110.m2.5.5.1.1.1.1.2" xref="A10.Ex110.m2.5.5.1.1.1.1.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex110.m2.5.5.1.1.1.1.1" xref="A10.Ex110.m2.5.5.1.1.1.1.1.cmml">​</mo><mrow id="A10.Ex110.m2.5.5.1.1.1.1.3.2" xref="A10.Ex110.m2.5.5.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex110.m2.5.5.1.1.1.1.3.2.1" xref="A10.Ex110.m2.5.5.1.1.1.1.cmml">(</mo><mi id="A10.Ex110.m2.1.1" xref="A10.Ex110.m2.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex110.m2.5.5.1.1.1.1.3.2.2" xref="A10.Ex110.m2.5.5.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A10.Ex110.m2.5.5.1.1.1.3" xref="A10.Ex110.m2.5.5.1.1.2.1.cmml">‖</mo></mrow><mo id="A10.Ex110.m2.6.6.2.3" xref="A10.Ex110.m2.6.6.2.3.cmml">+</mo><mrow id="A10.Ex110.m2.6.6.2.2.1" xref="A10.Ex110.m2.6.6.2.2.2.cmml"><mo stretchy="false" id="A10.Ex110.m2.6.6.2.2.1.2" xref="A10.Ex110.m2.6.6.2.2.2.1.cmml">‖</mo><mrow id="A10.Ex110.m2.6.6.2.2.1.1" xref="A10.Ex110.m2.6.6.2.2.1.1.cmml"><mi id="A10.Ex110.m2.6.6.2.2.1.1.2" xref="A10.Ex110.m2.6.6.2.2.1.1.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex110.m2.6.6.2.2.1.1.1" xref="A10.Ex110.m2.6.6.2.2.1.1.1.cmml">​</mo><mrow id="A10.Ex110.m2.6.6.2.2.1.1.3.2" xref="A10.Ex110.m2.6.6.2.2.1.1.cmml"><mo stretchy="false" id="A10.Ex110.m2.6.6.2.2.1.1.3.2.1" xref="A10.Ex110.m2.6.6.2.2.1.1.cmml">(</mo><mi id="A10.Ex110.m2.2.2" xref="A10.Ex110.m2.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex110.m2.6.6.2.2.1.1.3.2.2" xref="A10.Ex110.m2.6.6.2.2.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A10.Ex110.m2.6.6.2.2.1.3" xref="A10.Ex110.m2.6.6.2.2.2.1.cmml">‖</mo></mrow></mrow><mo id="A10.Ex110.m2.6.6.3" xref="A10.Ex110.m2.6.6.3.cmml">=</mo><mrow id="A10.Ex110.m2.6.6.4" xref="A10.Ex110.m2.6.6.4.cmml"><mrow id="A10.Ex110.m2.6.6.4.2" xref="A10.Ex110.m2.6.6.4.2.cmml"><mi id="A10.Ex110.m2.6.6.4.2.1" xref="A10.Ex110.m2.6.6.4.2.1.cmml">max</mi><mo id="A10.Ex110.m2.6.6.4.2a" xref="A10.Ex110.m2.6.6.4.2.cmml">⁡</mo><mrow id="A10.Ex110.m2.6.6.4.2.2.2" xref="A10.Ex110.m2.6.6.4.2.2.1.cmml"><mo stretchy="false" id="A10.Ex110.m2.6.6.4.2.2.2.1" xref="A10.Ex110.m2.6.6.4.2.2.1.1.cmml">|</mo><mi id="A10.Ex110.m2.3.3" xref="A10.Ex110.m2.3.3.cmml">a</mi><mo stretchy="false" id="A10.Ex110.m2.6.6.4.2.2.2.2" xref="A10.Ex110.m2.6.6.4.2.2.1.1.cmml">|</mo></mrow></mrow><mo id="A10.Ex110.m2.6.6.4.1" xref="A10.Ex110.m2.6.6.4.1.cmml">+</mo><mrow id="A10.Ex110.m2.6.6.4.3" xref="A10.Ex110.m2.6.6.4.3.cmml"><mi id="A10.Ex110.m2.6.6.4.3.1" xref="A10.Ex110.m2.6.6.4.3.1.cmml">max</mi><mo id="A10.Ex110.m2.6.6.4.3a" xref="A10.Ex110.m2.6.6.4.3.cmml">⁡</mo><mrow id="A10.Ex110.m2.6.6.4.3.2.2" xref="A10.Ex110.m2.6.6.4.3.2.1.cmml"><mo stretchy="false" id="A10.Ex110.m2.6.6.4.3.2.2.1" xref="A10.Ex110.m2.6.6.4.3.2.1.1.cmml">|</mo><mi id="A10.Ex110.m2.4.4" xref="A10.Ex110.m2.4.4.cmml">b</mi><mo stretchy="false" id="A10.Ex110.m2.6.6.4.3.2.2.2" xref="A10.Ex110.m2.6.6.4.3.2.1.1.cmml">|</mo></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex110.m2.6b"><apply id="A10.Ex110.m2.6.6.cmml" xref="A10.Ex110.m2.6.6"><eq id="A10.Ex110.m2.6.6.3.cmml" xref="A10.Ex110.m2.6.6.3"></eq><apply id="A10.Ex110.m2.6.6.2.cmml" xref="A10.Ex110.m2.6.6.2"><plus id="A10.Ex110.m2.6.6.2.3.cmml" xref="A10.Ex110.m2.6.6.2.3"></plus><apply id="A10.Ex110.m2.5.5.1.1.2.cmml" xref="A10.Ex110.m2.5.5.1.1.1"><csymbol cd="latexml" id="A10.Ex110.m2.5.5.1.1.2.1.cmml" xref="A10.Ex110.m2.5.5.1.1.1.2">norm</csymbol><apply id="A10.Ex110.m2.5.5.1.1.1.1.cmml" xref="A10.Ex110.m2.5.5.1.1.1.1"><times id="A10.Ex110.m2.5.5.1.1.1.1.1.cmml" xref="A10.Ex110.m2.5.5.1.1.1.1.1"></times><ci id="A10.Ex110.m2.5.5.1.1.1.1.2.cmml" xref="A10.Ex110.m2.5.5.1.1.1.1.2">diag</ci><ci id="A10.Ex110.m2.1.1.cmml" xref="A10.Ex110.m2.1.1">𝑎</ci></apply></apply><apply id="A10.Ex110.m2.6.6.2.2.2.cmml" xref="A10.Ex110.m2.6.6.2.2.1"><csymbol cd="latexml" id="A10.Ex110.m2.6.6.2.2.2.1.cmml" xref="A10.Ex110.m2.6.6.2.2.1.2">norm</csymbol><apply id="A10.Ex110.m2.6.6.2.2.1.1.cmml" xref="A10.Ex110.m2.6.6.2.2.1.1"><times id="A10.Ex110.m2.6.6.2.2.1.1.1.cmml" xref="A10.Ex110.m2.6.6.2.2.1.1.1"></times><ci id="A10.Ex110.m2.6.6.2.2.1.1.2.cmml" xref="A10.Ex110.m2.6.6.2.2.1.1.2">adiag</ci><ci id="A10.Ex110.m2.2.2.cmml" xref="A10.Ex110.m2.2.2">𝑏</ci></apply></apply></apply><apply id="A10.Ex110.m2.6.6.4.cmml" xref="A10.Ex110.m2.6.6.4"><plus id="A10.Ex110.m2.6.6.4.1.cmml" xref="A10.Ex110.m2.6.6.4.1"></plus><apply id="A10.Ex110.m2.6.6.4.2.cmml" xref="A10.Ex110.m2.6.6.4.2"><max id="A10.Ex110.m2.6.6.4.2.1.cmml" xref="A10.Ex110.m2.6.6.4.2.1"></max><apply id="A10.Ex110.m2.6.6.4.2.2.1.cmml" xref="A10.Ex110.m2.6.6.4.2.2.2"><abs id="A10.Ex110.m2.6.6.4.2.2.1.1.cmml" xref="A10.Ex110.m2.6.6.4.2.2.2.1"></abs><ci id="A10.Ex110.m2.3.3.cmml" xref="A10.Ex110.m2.3.3">𝑎</ci></apply></apply><apply id="A10.Ex110.m2.6.6.4.3.cmml" xref="A10.Ex110.m2.6.6.4.3"><max id="A10.Ex110.m2.6.6.4.3.1.cmml" xref="A10.Ex110.m2.6.6.4.3.1"></max><apply id="A10.Ex110.m2.6.6.4.3.2.1.cmml" xref="A10.Ex110.m2.6.6.4.3.2.2"><abs id="A10.Ex110.m2.6.6.4.3.2.1.1.cmml" xref="A10.Ex110.m2.6.6.4.3.2.2.1"></abs><ci id="A10.Ex110.m2.4.4.cmml" xref="A10.Ex110.m2.4.4">𝑏</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex110.m2.6c">\displaystyle\|{\rm diag}(a)\|+\|{\rm adiag}(b)\|=\max|a|+\max|b|</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex111"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex111.m1.3" class="ltx_Math" alttext="\displaystyle\|{\rm diag}(a)+{\rm adiag}(b)\|\geq" display="inline"><semantics id="A10.Ex111.m1.3a"><mrow id="A10.Ex111.m1.3.3" xref="A10.Ex111.m1.3.3.cmml"><mrow id="A10.Ex111.m1.3.3.1.1" xref="A10.Ex111.m1.3.3.1.2.cmml"><mo stretchy="false" id="A10.Ex111.m1.3.3.1.1.2" xref="A10.Ex111.m1.3.3.1.2.1.cmml">‖</mo><mrow id="A10.Ex111.m1.3.3.1.1.1" xref="A10.Ex111.m1.3.3.1.1.1.cmml"><mrow id="A10.Ex111.m1.3.3.1.1.1.2" xref="A10.Ex111.m1.3.3.1.1.1.2.cmml"><mi id="A10.Ex111.m1.3.3.1.1.1.2.2" xref="A10.Ex111.m1.3.3.1.1.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex111.m1.3.3.1.1.1.2.1" xref="A10.Ex111.m1.3.3.1.1.1.2.1.cmml">​</mo><mrow id="A10.Ex111.m1.3.3.1.1.1.2.3.2" xref="A10.Ex111.m1.3.3.1.1.1.2.cmml"><mo stretchy="false" id="A10.Ex111.m1.3.3.1.1.1.2.3.2.1" xref="A10.Ex111.m1.3.3.1.1.1.2.cmml">(</mo><mi id="A10.Ex111.m1.1.1" xref="A10.Ex111.m1.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex111.m1.3.3.1.1.1.2.3.2.2" xref="A10.Ex111.m1.3.3.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A10.Ex111.m1.3.3.1.1.1.1" xref="A10.Ex111.m1.3.3.1.1.1.1.cmml">+</mo><mrow id="A10.Ex111.m1.3.3.1.1.1.3" xref="A10.Ex111.m1.3.3.1.1.1.3.cmml"><mi id="A10.Ex111.m1.3.3.1.1.1.3.2" xref="A10.Ex111.m1.3.3.1.1.1.3.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex111.m1.3.3.1.1.1.3.1" xref="A10.Ex111.m1.3.3.1.1.1.3.1.cmml">​</mo><mrow id="A10.Ex111.m1.3.3.1.1.1.3.3.2" xref="A10.Ex111.m1.3.3.1.1.1.3.cmml"><mo stretchy="false" id="A10.Ex111.m1.3.3.1.1.1.3.3.2.1" xref="A10.Ex111.m1.3.3.1.1.1.3.cmml">(</mo><mi id="A10.Ex111.m1.2.2" xref="A10.Ex111.m1.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex111.m1.3.3.1.1.1.3.3.2.2" xref="A10.Ex111.m1.3.3.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="A10.Ex111.m1.3.3.1.1.3" xref="A10.Ex111.m1.3.3.1.2.1.cmml">‖</mo></mrow><mo id="A10.Ex111.m1.3.3.2" xref="A10.Ex111.m1.3.3.2.cmml">≥</mo><mi id="A10.Ex111.m1.3.3.3" xref="A10.Ex111.m1.3.3.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex111.m1.3b"><apply id="A10.Ex111.m1.3.3.cmml" xref="A10.Ex111.m1.3.3"><geq id="A10.Ex111.m1.3.3.2.cmml" xref="A10.Ex111.m1.3.3.2"></geq><apply id="A10.Ex111.m1.3.3.1.2.cmml" xref="A10.Ex111.m1.3.3.1.1"><csymbol cd="latexml" id="A10.Ex111.m1.3.3.1.2.1.cmml" xref="A10.Ex111.m1.3.3.1.1.2">norm</csymbol><apply id="A10.Ex111.m1.3.3.1.1.1.cmml" xref="A10.Ex111.m1.3.3.1.1.1"><plus id="A10.Ex111.m1.3.3.1.1.1.1.cmml" xref="A10.Ex111.m1.3.3.1.1.1.1"></plus><apply id="A10.Ex111.m1.3.3.1.1.1.2.cmml" xref="A10.Ex111.m1.3.3.1.1.1.2"><times id="A10.Ex111.m1.3.3.1.1.1.2.1.cmml" xref="A10.Ex111.m1.3.3.1.1.1.2.1"></times><ci id="A10.Ex111.m1.3.3.1.1.1.2.2.cmml" xref="A10.Ex111.m1.3.3.1.1.1.2.2">diag</ci><ci id="A10.Ex111.m1.1.1.cmml" xref="A10.Ex111.m1.1.1">𝑎</ci></apply><apply id="A10.Ex111.m1.3.3.1.1.1.3.cmml" xref="A10.Ex111.m1.3.3.1.1.1.3"><times id="A10.Ex111.m1.3.3.1.1.1.3.1.cmml" xref="A10.Ex111.m1.3.3.1.1.1.3.1"></times><ci id="A10.Ex111.m1.3.3.1.1.1.3.2.cmml" xref="A10.Ex111.m1.3.3.1.1.1.3.2">adiag</ci><ci id="A10.Ex111.m1.2.2.cmml" xref="A10.Ex111.m1.2.2">𝑏</ci></apply></apply></apply><csymbol cd="latexml" id="A10.Ex111.m1.3.3.3.cmml" xref="A10.Ex111.m1.3.3.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex111.m1.3c">\displaystyle\|{\rm diag}(a)+{\rm adiag}(b)\|\geq</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex111.m2.5" class="ltx_Math" alttext="\displaystyle\max(\max|a|,\max|b|)\qquad({\rm for\,even\,dim})" display="inline"><semantics id="A10.Ex111.m2.5a"><mrow id="A10.Ex111.m2.5.5.2" xref="A10.Ex111.m2.5.5.3.cmml"><mrow id="A10.Ex111.m2.4.4.1.1.2" xref="A10.Ex111.m2.4.4.1.1.3.cmml"><mi id="A10.Ex111.m2.3.3" xref="A10.Ex111.m2.3.3.cmml">max</mi><mo id="A10.Ex111.m2.4.4.1.1.2a" xref="A10.Ex111.m2.4.4.1.1.3.cmml">⁡</mo><mrow id="A10.Ex111.m2.4.4.1.1.2.2" xref="A10.Ex111.m2.4.4.1.1.3.cmml"><mo stretchy="false" id="A10.Ex111.m2.4.4.1.1.2.2.3" xref="A10.Ex111.m2.4.4.1.1.3.cmml">(</mo><mrow id="A10.Ex111.m2.4.4.1.1.1.1.1" xref="A10.Ex111.m2.4.4.1.1.1.1.1.cmml"><mi id="A10.Ex111.m2.4.4.1.1.1.1.1.1" xref="A10.Ex111.m2.4.4.1.1.1.1.1.1.cmml">max</mi><mo id="A10.Ex111.m2.4.4.1.1.1.1.1a" xref="A10.Ex111.m2.4.4.1.1.1.1.1.cmml">⁡</mo><mrow id="A10.Ex111.m2.4.4.1.1.1.1.1.2.2" xref="A10.Ex111.m2.4.4.1.1.1.1.1.2.1.cmml"><mo stretchy="false" id="A10.Ex111.m2.4.4.1.1.1.1.1.2.2.1" xref="A10.Ex111.m2.4.4.1.1.1.1.1.2.1.1.cmml">|</mo><mi id="A10.Ex111.m2.1.1" xref="A10.Ex111.m2.1.1.cmml">a</mi><mo stretchy="false" id="A10.Ex111.m2.4.4.1.1.1.1.1.2.2.2" xref="A10.Ex111.m2.4.4.1.1.1.1.1.2.1.1.cmml">|</mo></mrow></mrow><mo id="A10.Ex111.m2.4.4.1.1.2.2.4" xref="A10.Ex111.m2.4.4.1.1.3.cmml">,</mo><mrow id="A10.Ex111.m2.4.4.1.1.2.2.2" xref="A10.Ex111.m2.4.4.1.1.2.2.2.cmml"><mi id="A10.Ex111.m2.4.4.1.1.2.2.2.1" xref="A10.Ex111.m2.4.4.1.1.2.2.2.1.cmml">max</mi><mo id="A10.Ex111.m2.4.4.1.1.2.2.2a" xref="A10.Ex111.m2.4.4.1.1.2.2.2.cmml">⁡</mo><mrow id="A10.Ex111.m2.4.4.1.1.2.2.2.2.2" xref="A10.Ex111.m2.4.4.1.1.2.2.2.2.1.cmml"><mo stretchy="false" id="A10.Ex111.m2.4.4.1.1.2.2.2.2.2.1" xref="A10.Ex111.m2.4.4.1.1.2.2.2.2.1.1.cmml">|</mo><mi id="A10.Ex111.m2.2.2" xref="A10.Ex111.m2.2.2.cmml">b</mi><mo stretchy="false" id="A10.Ex111.m2.4.4.1.1.2.2.2.2.2.2" xref="A10.Ex111.m2.4.4.1.1.2.2.2.2.1.1.cmml">|</mo></mrow></mrow><mo stretchy="false" id="A10.Ex111.m2.4.4.1.1.2.2.5" xref="A10.Ex111.m2.4.4.1.1.3.cmml">)</mo></mrow></mrow><mspace width="2em" id="A10.Ex111.m2.5.5.2.3" xref="A10.Ex111.m2.5.5.3.cmml"></mspace><mrow id="A10.Ex111.m2.5.5.2.2.1" xref="A10.Ex111.m2.5.5.2.2.1.1.cmml"><mo stretchy="false" id="A10.Ex111.m2.5.5.2.2.1.2" xref="A10.Ex111.m2.5.5.2.2.1.1.cmml">(</mo><mrow id="A10.Ex111.m2.5.5.2.2.1.1" xref="A10.Ex111.m2.5.5.2.2.1.1.cmml"><mi id="A10.Ex111.m2.5.5.2.2.1.1.2" xref="A10.Ex111.m2.5.5.2.2.1.1.2.cmml">for</mi><mo lspace="0.170em" rspace="0em" id="A10.Ex111.m2.5.5.2.2.1.1.1" xref="A10.Ex111.m2.5.5.2.2.1.1.1.cmml">​</mo><mi id="A10.Ex111.m2.5.5.2.2.1.1.3" xref="A10.Ex111.m2.5.5.2.2.1.1.3.cmml">even</mi><mo lspace="0.170em" rspace="0em" id="A10.Ex111.m2.5.5.2.2.1.1.1a" xref="A10.Ex111.m2.5.5.2.2.1.1.1.cmml">​</mo><mi id="A10.Ex111.m2.5.5.2.2.1.1.4" xref="A10.Ex111.m2.5.5.2.2.1.1.4.cmml">dim</mi></mrow><mo stretchy="false" id="A10.Ex111.m2.5.5.2.2.1.3" xref="A10.Ex111.m2.5.5.2.2.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex111.m2.5b"><list id="A10.Ex111.m2.5.5.3.cmml" xref="A10.Ex111.m2.5.5.2"><apply id="A10.Ex111.m2.4.4.1.1.3.cmml" xref="A10.Ex111.m2.4.4.1.1.2"><max id="A10.Ex111.m2.3.3.cmml" xref="A10.Ex111.m2.3.3"></max><apply id="A10.Ex111.m2.4.4.1.1.1.1.1.cmml" xref="A10.Ex111.m2.4.4.1.1.1.1.1"><max id="A10.Ex111.m2.4.4.1.1.1.1.1.1.cmml" xref="A10.Ex111.m2.4.4.1.1.1.1.1.1"></max><apply id="A10.Ex111.m2.4.4.1.1.1.1.1.2.1.cmml" xref="A10.Ex111.m2.4.4.1.1.1.1.1.2.2"><abs id="A10.Ex111.m2.4.4.1.1.1.1.1.2.1.1.cmml" xref="A10.Ex111.m2.4.4.1.1.1.1.1.2.2.1"></abs><ci id="A10.Ex111.m2.1.1.cmml" xref="A10.Ex111.m2.1.1">𝑎</ci></apply></apply><apply id="A10.Ex111.m2.4.4.1.1.2.2.2.cmml" xref="A10.Ex111.m2.4.4.1.1.2.2.2"><max id="A10.Ex111.m2.4.4.1.1.2.2.2.1.cmml" xref="A10.Ex111.m2.4.4.1.1.2.2.2.1"></max><apply id="A10.Ex111.m2.4.4.1.1.2.2.2.2.1.cmml" xref="A10.Ex111.m2.4.4.1.1.2.2.2.2.2"><abs id="A10.Ex111.m2.4.4.1.1.2.2.2.2.1.1.cmml" xref="A10.Ex111.m2.4.4.1.1.2.2.2.2.2.1"></abs><ci id="A10.Ex111.m2.2.2.cmml" xref="A10.Ex111.m2.2.2">𝑏</ci></apply></apply></apply><apply id="A10.Ex111.m2.5.5.2.2.1.1.cmml" xref="A10.Ex111.m2.5.5.2.2.1"><times id="A10.Ex111.m2.5.5.2.2.1.1.1.cmml" xref="A10.Ex111.m2.5.5.2.2.1.1.1"></times><ci id="A10.Ex111.m2.5.5.2.2.1.1.2.cmml" xref="A10.Ex111.m2.5.5.2.2.1.1.2">for</ci><ci id="A10.Ex111.m2.5.5.2.2.1.1.3.cmml" xref="A10.Ex111.m2.5.5.2.2.1.1.3">even</ci><ci id="A10.Ex111.m2.5.5.2.2.1.1.4.cmml" xref="A10.Ex111.m2.5.5.2.2.1.1.4">dim</ci></apply></list></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex111.m2.5c">\displaystyle\max(\max|a|,\max|b|)\qquad({\rm for\,even\,dim})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
<tbody id="A10.Ex112"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A10.Ex112.m1.1" class="ltx_Math" alttext="\displaystyle{\rm Proj}_{X}(ab^{T})=" display="inline"><semantics id="A10.Ex112.m1.1a"><mrow id="A10.Ex112.m1.1.1" xref="A10.Ex112.m1.1.1.cmml"><mrow id="A10.Ex112.m1.1.1.1" xref="A10.Ex112.m1.1.1.1.cmml"><msub id="A10.Ex112.m1.1.1.1.3" xref="A10.Ex112.m1.1.1.1.3.cmml"><mi id="A10.Ex112.m1.1.1.1.3.2" xref="A10.Ex112.m1.1.1.1.3.2.cmml">Proj</mi><mi id="A10.Ex112.m1.1.1.1.3.3" xref="A10.Ex112.m1.1.1.1.3.3.cmml">X</mi></msub><mo lspace="0em" rspace="0em" id="A10.Ex112.m1.1.1.1.2" xref="A10.Ex112.m1.1.1.1.2.cmml">​</mo><mrow id="A10.Ex112.m1.1.1.1.1.1" xref="A10.Ex112.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex112.m1.1.1.1.1.1.2" xref="A10.Ex112.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="A10.Ex112.m1.1.1.1.1.1.1" xref="A10.Ex112.m1.1.1.1.1.1.1.cmml"><mi id="A10.Ex112.m1.1.1.1.1.1.1.2" xref="A10.Ex112.m1.1.1.1.1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex112.m1.1.1.1.1.1.1.1" xref="A10.Ex112.m1.1.1.1.1.1.1.1.cmml">​</mo><msup id="A10.Ex112.m1.1.1.1.1.1.1.3" xref="A10.Ex112.m1.1.1.1.1.1.1.3.cmml"><mi id="A10.Ex112.m1.1.1.1.1.1.1.3.2" xref="A10.Ex112.m1.1.1.1.1.1.1.3.2.cmml">b</mi><mi id="A10.Ex112.m1.1.1.1.1.1.1.3.3" xref="A10.Ex112.m1.1.1.1.1.1.1.3.3.cmml">T</mi></msup></mrow><mo stretchy="false" id="A10.Ex112.m1.1.1.1.1.1.3" xref="A10.Ex112.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A10.Ex112.m1.1.1.2" xref="A10.Ex112.m1.1.1.2.cmml">=</mo><mi id="A10.Ex112.m1.1.1.3" xref="A10.Ex112.m1.1.1.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex112.m1.1b"><apply id="A10.Ex112.m1.1.1.cmml" xref="A10.Ex112.m1.1.1"><eq id="A10.Ex112.m1.1.1.2.cmml" xref="A10.Ex112.m1.1.1.2"></eq><apply id="A10.Ex112.m1.1.1.1.cmml" xref="A10.Ex112.m1.1.1.1"><times id="A10.Ex112.m1.1.1.1.2.cmml" xref="A10.Ex112.m1.1.1.1.2"></times><apply id="A10.Ex112.m1.1.1.1.3.cmml" xref="A10.Ex112.m1.1.1.1.3"><csymbol cd="ambiguous" id="A10.Ex112.m1.1.1.1.3.1.cmml" xref="A10.Ex112.m1.1.1.1.3">subscript</csymbol><ci id="A10.Ex112.m1.1.1.1.3.2.cmml" xref="A10.Ex112.m1.1.1.1.3.2">Proj</ci><ci id="A10.Ex112.m1.1.1.1.3.3.cmml" xref="A10.Ex112.m1.1.1.1.3.3">𝑋</ci></apply><apply id="A10.Ex112.m1.1.1.1.1.1.1.cmml" xref="A10.Ex112.m1.1.1.1.1.1"><times id="A10.Ex112.m1.1.1.1.1.1.1.1.cmml" xref="A10.Ex112.m1.1.1.1.1.1.1.1"></times><ci id="A10.Ex112.m1.1.1.1.1.1.1.2.cmml" xref="A10.Ex112.m1.1.1.1.1.1.1.2">𝑎</ci><apply id="A10.Ex112.m1.1.1.1.1.1.1.3.cmml" xref="A10.Ex112.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A10.Ex112.m1.1.1.1.1.1.1.3.1.cmml" xref="A10.Ex112.m1.1.1.1.1.1.1.3">superscript</csymbol><ci id="A10.Ex112.m1.1.1.1.1.1.1.3.2.cmml" xref="A10.Ex112.m1.1.1.1.1.1.1.3.2">𝑏</ci><ci id="A10.Ex112.m1.1.1.1.1.1.1.3.3.cmml" xref="A10.Ex112.m1.1.1.1.1.1.1.3.3">𝑇</ci></apply></apply></apply><csymbol cd="latexml" id="A10.Ex112.m1.1.1.3.cmml" xref="A10.Ex112.m1.1.1.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex112.m1.1c">\displaystyle{\rm Proj}_{X}(ab^{T})=</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A10.Ex112.m2.2" class="ltx_Math" alttext="\displaystyle{\rm diag}(ab)+{\rm adiag}(a\overleftarrow{b})\qquad({\rm for\,even\,dim})" display="inline"><semantics id="A10.Ex112.m2.2a"><mrow id="A10.Ex112.m2.2.2.2" xref="A10.Ex112.m2.2.2.3.cmml"><mrow id="A10.Ex112.m2.1.1.1.1" xref="A10.Ex112.m2.1.1.1.1.cmml"><mrow id="A10.Ex112.m2.1.1.1.1.1" xref="A10.Ex112.m2.1.1.1.1.1.cmml"><mi id="A10.Ex112.m2.1.1.1.1.1.3" xref="A10.Ex112.m2.1.1.1.1.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A10.Ex112.m2.1.1.1.1.1.2" xref="A10.Ex112.m2.1.1.1.1.1.2.cmml">​</mo><mrow id="A10.Ex112.m2.1.1.1.1.1.1.1" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A10.Ex112.m2.1.1.1.1.1.1.1.2" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A10.Ex112.m2.1.1.1.1.1.1.1.1" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.cmml"><mi id="A10.Ex112.m2.1.1.1.1.1.1.1.1.2" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex112.m2.1.1.1.1.1.1.1.1.1" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A10.Ex112.m2.1.1.1.1.1.1.1.1.3" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.3.cmml">b</mi></mrow><mo stretchy="false" id="A10.Ex112.m2.1.1.1.1.1.1.1.3" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="A10.Ex112.m2.1.1.1.1.3" xref="A10.Ex112.m2.1.1.1.1.3.cmml">+</mo><mrow id="A10.Ex112.m2.1.1.1.1.2" xref="A10.Ex112.m2.1.1.1.1.2.cmml"><mi id="A10.Ex112.m2.1.1.1.1.2.3" xref="A10.Ex112.m2.1.1.1.1.2.3.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.Ex112.m2.1.1.1.1.2.2" xref="A10.Ex112.m2.1.1.1.1.2.2.cmml">​</mo><mrow id="A10.Ex112.m2.1.1.1.1.2.1.1" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="A10.Ex112.m2.1.1.1.1.2.1.1.2" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.cmml">(</mo><mrow id="A10.Ex112.m2.1.1.1.1.2.1.1.1" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.cmml"><mi id="A10.Ex112.m2.1.1.1.1.2.1.1.1.2" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.2.cmml">a</mi><mo lspace="0em" rspace="0em" id="A10.Ex112.m2.1.1.1.1.2.1.1.1.1" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.1.cmml">​</mo><mover accent="true" id="A10.Ex112.m2.1.1.1.1.2.1.1.1.3" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.cmml"><mi id="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.2" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.2.cmml">b</mi><mo stretchy="false" id="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.1" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.1.cmml">←</mo></mover></mrow><mo stretchy="false" id="A10.Ex112.m2.1.1.1.1.2.1.1.3" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mspace width="2em" id="A10.Ex112.m2.2.2.2.3" xref="A10.Ex112.m2.2.2.3.cmml"></mspace><mrow id="A10.Ex112.m2.2.2.2.2.1" xref="A10.Ex112.m2.2.2.2.2.1.1.cmml"><mo stretchy="false" id="A10.Ex112.m2.2.2.2.2.1.2" xref="A10.Ex112.m2.2.2.2.2.1.1.cmml">(</mo><mrow id="A10.Ex112.m2.2.2.2.2.1.1" xref="A10.Ex112.m2.2.2.2.2.1.1.cmml"><mi id="A10.Ex112.m2.2.2.2.2.1.1.2" xref="A10.Ex112.m2.2.2.2.2.1.1.2.cmml">for</mi><mo lspace="0.170em" rspace="0em" id="A10.Ex112.m2.2.2.2.2.1.1.1" xref="A10.Ex112.m2.2.2.2.2.1.1.1.cmml">​</mo><mi id="A10.Ex112.m2.2.2.2.2.1.1.3" xref="A10.Ex112.m2.2.2.2.2.1.1.3.cmml">even</mi><mo lspace="0.170em" rspace="0em" id="A10.Ex112.m2.2.2.2.2.1.1.1a" xref="A10.Ex112.m2.2.2.2.2.1.1.1.cmml">​</mo><mi id="A10.Ex112.m2.2.2.2.2.1.1.4" xref="A10.Ex112.m2.2.2.2.2.1.1.4.cmml">dim</mi></mrow><mo stretchy="false" id="A10.Ex112.m2.2.2.2.2.1.3" xref="A10.Ex112.m2.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.Ex112.m2.2b"><list id="A10.Ex112.m2.2.2.3.cmml" xref="A10.Ex112.m2.2.2.2"><apply id="A10.Ex112.m2.1.1.1.1.cmml" xref="A10.Ex112.m2.1.1.1.1"><plus id="A10.Ex112.m2.1.1.1.1.3.cmml" xref="A10.Ex112.m2.1.1.1.1.3"></plus><apply id="A10.Ex112.m2.1.1.1.1.1.cmml" xref="A10.Ex112.m2.1.1.1.1.1"><times id="A10.Ex112.m2.1.1.1.1.1.2.cmml" xref="A10.Ex112.m2.1.1.1.1.1.2"></times><ci id="A10.Ex112.m2.1.1.1.1.1.3.cmml" xref="A10.Ex112.m2.1.1.1.1.1.3">diag</ci><apply id="A10.Ex112.m2.1.1.1.1.1.1.1.1.cmml" xref="A10.Ex112.m2.1.1.1.1.1.1.1"><times id="A10.Ex112.m2.1.1.1.1.1.1.1.1.1.cmml" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.1"></times><ci id="A10.Ex112.m2.1.1.1.1.1.1.1.1.2.cmml" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.2">𝑎</ci><ci id="A10.Ex112.m2.1.1.1.1.1.1.1.1.3.cmml" xref="A10.Ex112.m2.1.1.1.1.1.1.1.1.3">𝑏</ci></apply></apply><apply id="A10.Ex112.m2.1.1.1.1.2.cmml" xref="A10.Ex112.m2.1.1.1.1.2"><times id="A10.Ex112.m2.1.1.1.1.2.2.cmml" xref="A10.Ex112.m2.1.1.1.1.2.2"></times><ci id="A10.Ex112.m2.1.1.1.1.2.3.cmml" xref="A10.Ex112.m2.1.1.1.1.2.3">adiag</ci><apply id="A10.Ex112.m2.1.1.1.1.2.1.1.1.cmml" xref="A10.Ex112.m2.1.1.1.1.2.1.1"><times id="A10.Ex112.m2.1.1.1.1.2.1.1.1.1.cmml" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.1"></times><ci id="A10.Ex112.m2.1.1.1.1.2.1.1.1.2.cmml" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.2">𝑎</ci><apply id="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.cmml" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.3"><ci id="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.1.cmml" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.1">←</ci><ci id="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.2.cmml" xref="A10.Ex112.m2.1.1.1.1.2.1.1.1.3.2">𝑏</ci></apply></apply></apply></apply><apply id="A10.Ex112.m2.2.2.2.2.1.1.cmml" xref="A10.Ex112.m2.2.2.2.2.1"><times id="A10.Ex112.m2.2.2.2.2.1.1.1.cmml" xref="A10.Ex112.m2.2.2.2.2.1.1.1"></times><ci id="A10.Ex112.m2.2.2.2.2.1.1.2.cmml" xref="A10.Ex112.m2.2.2.2.2.1.1.2">for</ci><ci id="A10.Ex112.m2.2.2.2.2.1.1.3.cmml" xref="A10.Ex112.m2.2.2.2.2.1.1.3">even</ci><ci id="A10.Ex112.m2.2.2.2.2.1.1.4.cmml" xref="A10.Ex112.m2.2.2.2.2.1.1.4">dim</ci></apply></list></annotation-xml><annotation encoding="application/x-tex" id="A10.Ex112.m2.2c">\displaystyle{\rm diag}(ab)+{\rm adiag}(a\overleftarrow{b})\qquad({\rm for\,even\,dim})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
<div id="A10.p8" class="ltx_para">
<p id="A10.p8.1" class="ltx_p">where for odd dimensionalities, the central element of <math id="A10.p8.1.m1.1" class="ltx_Math" alttext="{\rm adiag}(\cdot)" display="inline"><semantics id="A10.p8.1.m1.1a"><mrow id="A10.p8.1.m1.1.2" xref="A10.p8.1.m1.1.2.cmml"><mi id="A10.p8.1.m1.1.2.2" xref="A10.p8.1.m1.1.2.2.cmml">adiag</mi><mo lspace="0em" rspace="0em" id="A10.p8.1.m1.1.2.1" xref="A10.p8.1.m1.1.2.1.cmml">​</mo><mrow id="A10.p8.1.m1.1.2.3.2" xref="A10.p8.1.m1.1.2.cmml"><mo stretchy="false" id="A10.p8.1.m1.1.2.3.2.1" xref="A10.p8.1.m1.1.2.cmml">(</mo><mo lspace="0em" rspace="0em" id="A10.p8.1.m1.1.1" xref="A10.p8.1.m1.1.1.cmml">⋅</mo><mo stretchy="false" id="A10.p8.1.m1.1.2.3.2.2" xref="A10.p8.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A10.p8.1.m1.1b"><apply id="A10.p8.1.m1.1.2.cmml" xref="A10.p8.1.m1.1.2"><times id="A10.p8.1.m1.1.2.1.cmml" xref="A10.p8.1.m1.1.2.1"></times><ci id="A10.p8.1.m1.1.2.2.cmml" xref="A10.p8.1.m1.1.2.2">adiag</ci><ci id="A10.p8.1.m1.1.1.cmml" xref="A10.p8.1.m1.1.1">⋅</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A10.p8.1.m1.1c">{\rm adiag}(\cdot)</annotation></semantics></math> must be set to zero so that the last two equations hold as well.</p>
</div>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
<section id="A11" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix K </span>More Experimental Results</h2>

<section id="A11.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.1 </span>RL Problems</h3>

<div id="A11.SS1.p1" class="ltx_para">
<p id="A11.SS1.p1.1" class="ltx_p">Here we consider two standard Proximal Policy Optimization (PPO) problems in Reinforcement Learning (RL): Walker2d and HalfCheetah. We optimize the actor and critic independently. We compare the performance of the two SOTA optimizers AdaBelief and Adan to PSGD. We optimize the actor and critic independently. We find that PSGD can find a higher reward for both Walker2d &amp; HalfCheetah as shown in Figure <a href="#A11.F5" title="Figure 5 ‣ K.1 RL Problems ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a>.</p>
</div>
<figure id="A11.F5" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.F5.sf1" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/Walker2d-v2.png" id="A11.F5.sf1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="479" height="302" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F5.sf1.3.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span><span id="A11.F5.sf1.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">Walker2d<span id="A11.F5.sf1.4.2.1" class="ltx_text ltx_font_medium"> </span></span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.F5.sf2" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/download_.png" id="A11.F5.sf2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="479" height="302" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F5.sf2.3.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span><span id="A11.F5.sf2.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">HalfCheetah</span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="A11.F5.2.1.1" class="ltx_text" style="font-size:90%;">Figure 5</span>: </span><span id="A11.F5.3.2" class="ltx_text" style="font-size:90%;"> PSGD outperforms SOTA optimizers on PPO RL on Walker2d &amp; HalfCheetah.
</span></figcaption>
</figure>
</section>
<section id="A11.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.2 </span>Noisy Label CIFAR10</h3>

</section>
<section id="A11.SSx1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">Symmetric Noisy Label</h3>

<div id="A11.SSx1.p1" class="ltx_para">
<p id="A11.SSx1.p1.5" class="ltx_p">In this section, we consider training a ResNet18 under <math id="A11.SSx1.p1.1.m1.1" class="ltx_Math" alttext="60\%" display="inline"><semantics id="A11.SSx1.p1.1.m1.1a"><mrow id="A11.SSx1.p1.1.m1.1.1" xref="A11.SSx1.p1.1.m1.1.1.cmml"><mn id="A11.SSx1.p1.1.m1.1.1.2" xref="A11.SSx1.p1.1.m1.1.1.2.cmml">60</mn><mo id="A11.SSx1.p1.1.m1.1.1.1" xref="A11.SSx1.p1.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.p1.1.m1.1b"><apply id="A11.SSx1.p1.1.m1.1.1.cmml" xref="A11.SSx1.p1.1.m1.1.1"><csymbol cd="latexml" id="A11.SSx1.p1.1.m1.1.1.1.cmml" xref="A11.SSx1.p1.1.m1.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.p1.1.m1.1.1.2.cmml" xref="A11.SSx1.p1.1.m1.1.1.2">60</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.p1.1.m1.1c">60\%</annotation></semantics></math> symmetric label noise. We randomly select <math id="A11.SSx1.p1.2.m2.1" class="ltx_Math" alttext="60\%" display="inline"><semantics id="A11.SSx1.p1.2.m2.1a"><mrow id="A11.SSx1.p1.2.m2.1.1" xref="A11.SSx1.p1.2.m2.1.1.cmml"><mn id="A11.SSx1.p1.2.m2.1.1.2" xref="A11.SSx1.p1.2.m2.1.1.2.cmml">60</mn><mo id="A11.SSx1.p1.2.m2.1.1.1" xref="A11.SSx1.p1.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.p1.2.m2.1b"><apply id="A11.SSx1.p1.2.m2.1.1.cmml" xref="A11.SSx1.p1.2.m2.1.1"><csymbol cd="latexml" id="A11.SSx1.p1.2.m2.1.1.1.cmml" xref="A11.SSx1.p1.2.m2.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.p1.2.m2.1.1.2.cmml" xref="A11.SSx1.p1.2.m2.1.1.2">60</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.p1.2.m2.1c">60\%</annotation></semantics></math> of the CIFAR10 training labels, resulting in each class having approximately <math id="A11.SSx1.p1.3.m3.1" class="ltx_Math" alttext="46\%" display="inline"><semantics id="A11.SSx1.p1.3.m3.1a"><mrow id="A11.SSx1.p1.3.m3.1.1" xref="A11.SSx1.p1.3.m3.1.1.cmml"><mn id="A11.SSx1.p1.3.m3.1.1.2" xref="A11.SSx1.p1.3.m3.1.1.2.cmml">46</mn><mo id="A11.SSx1.p1.3.m3.1.1.1" xref="A11.SSx1.p1.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.p1.3.m3.1b"><apply id="A11.SSx1.p1.3.m3.1.1.cmml" xref="A11.SSx1.p1.3.m3.1.1"><csymbol cd="latexml" id="A11.SSx1.p1.3.m3.1.1.1.cmml" xref="A11.SSx1.p1.3.m3.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.p1.3.m3.1.1.2.cmml" xref="A11.SSx1.p1.3.m3.1.1.2">46</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.p1.3.m3.1c">46\%</annotation></semantics></math> correct labels and the <math id="A11.SSx1.p1.4.m4.1" class="ltx_Math" alttext="54\%" display="inline"><semantics id="A11.SSx1.p1.4.m4.1a"><mrow id="A11.SSx1.p1.4.m4.1.1" xref="A11.SSx1.p1.4.m4.1.1.cmml"><mn id="A11.SSx1.p1.4.m4.1.1.2" xref="A11.SSx1.p1.4.m4.1.1.2.cmml">54</mn><mo id="A11.SSx1.p1.4.m4.1.1.1" xref="A11.SSx1.p1.4.m4.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.p1.4.m4.1b"><apply id="A11.SSx1.p1.4.m4.1.1.cmml" xref="A11.SSx1.p1.4.m4.1.1"><csymbol cd="latexml" id="A11.SSx1.p1.4.m4.1.1.1.cmml" xref="A11.SSx1.p1.4.m4.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.p1.4.m4.1.1.2.cmml" xref="A11.SSx1.p1.4.m4.1.1.2">54</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.p1.4.m4.1c">54\%</annotation></semantics></math> consisting of <math id="A11.SSx1.p1.5.m5.1" class="ltx_Math" alttext="6\%" display="inline"><semantics id="A11.SSx1.p1.5.m5.1a"><mrow id="A11.SSx1.p1.5.m5.1.1" xref="A11.SSx1.p1.5.m5.1.1.cmml"><mn id="A11.SSx1.p1.5.m5.1.1.2" xref="A11.SSx1.p1.5.m5.1.1.2.cmml">6</mn><mo id="A11.SSx1.p1.5.m5.1.1.1" xref="A11.SSx1.p1.5.m5.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.p1.5.m5.1b"><apply id="A11.SSx1.p1.5.m5.1.1.cmml" xref="A11.SSx1.p1.5.m5.1.1"><csymbol cd="latexml" id="A11.SSx1.p1.5.m5.1.1.1.cmml" xref="A11.SSx1.p1.5.m5.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.p1.5.m5.1.1.2.cmml" xref="A11.SSx1.p1.5.m5.1.1.2">6</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.p1.5.m5.1c">6\%</annotation></semantics></math> drawn from the other nine classes. Recently, <cite class="ltx_cite ltx_citemacro_citep">[Kwon et al., <a href="#bib.bib22" title="" class="ltx_ref">2021</a>]</cite> proposed a novel flat basin-seeking algorithm named Adaptive Sharpness-Aware Minimization (ASAM) that set a new SoTA for <span id="A11.SSx1.p1.5.1" class="ltx_text ltx_font_italic">symmetric noisy label</span> for CIFAR10.</p>
</div>
<figure id="A11.SSx1.tab1" class="ltx_table">
<table id="A11.SSx1.tab1.1" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.SSx1.tab1.1.1.1" class="ltx_tr">
<th id="A11.SSx1.tab1.1.1.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.SSx1.tab1.1.1.1.1.1" class="ltx_text ltx_font_bold">Symmetric Noisy Label</span></th>
<th id="A11.SSx1.tab1.1.1.1.2" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.SSx1.tab1.1.1.1.2.1" class="ltx_text ltx_font_bold">Cross Entropy</span></th>
<th id="A11.SSx1.tab1.1.1.1.3" class="ltx_td ltx_nopad_r ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.SSx1.tab1.1.1.1.3.1" class="ltx_text ltx_font_bold">Smoothened Cross Entropy (0.1)</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.SSx1.tab1.1.2.1" class="ltx_tr">
<td id="A11.SSx1.tab1.1.2.1.1" class="ltx_td ltx_align_left ltx_border_t">PSGD (Ours)</td>
<td id="A11.SSx1.tab1.1.2.1.2" class="ltx_td ltx_align_left ltx_border_t">77.0</td>
<td id="A11.SSx1.tab1.1.2.1.3" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_t">77.0</td>
</tr>
<tr id="A11.SSx1.tab1.1.3.2" class="ltx_tr">
<td id="A11.SSx1.tab1.1.3.2.1" class="ltx_td ltx_align_left ltx_border_bb">ASAM (SoTA)</td>
<td id="A11.SSx1.tab1.1.3.2.2" class="ltx_td ltx_align_left ltx_border_bb">70.55</td>
<td id="A11.SSx1.tab1.1.3.2.3" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_bb">70.19</td>
</tr>
</tbody>
</table>
</figure>
<div id="A11.SSx1.p2" class="ltx_para">
<p id="A11.SSx1.p2.1" class="ltx_p">We benchmark PSGD against ASAM and see that PSGD outperforms ASAM by <math id="A11.SSx1.p2.1.m1.1" class="ltx_Math" alttext="7\%." display="inline"><semantics id="A11.SSx1.p2.1.m1.1a"><mrow id="A11.SSx1.p2.1.m1.1.1.1" xref="A11.SSx1.p2.1.m1.1.1.1.1.cmml"><mrow id="A11.SSx1.p2.1.m1.1.1.1.1" xref="A11.SSx1.p2.1.m1.1.1.1.1.cmml"><mn id="A11.SSx1.p2.1.m1.1.1.1.1.2" xref="A11.SSx1.p2.1.m1.1.1.1.1.2.cmml">7</mn><mo id="A11.SSx1.p2.1.m1.1.1.1.1.1" xref="A11.SSx1.p2.1.m1.1.1.1.1.1.cmml">%</mo></mrow><mo lspace="0em" id="A11.SSx1.p2.1.m1.1.1.1.2" xref="A11.SSx1.p2.1.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.p2.1.m1.1b"><apply id="A11.SSx1.p2.1.m1.1.1.1.1.cmml" xref="A11.SSx1.p2.1.m1.1.1.1"><csymbol cd="latexml" id="A11.SSx1.p2.1.m1.1.1.1.1.1.cmml" xref="A11.SSx1.p2.1.m1.1.1.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.p2.1.m1.1.1.1.1.2.cmml" xref="A11.SSx1.p2.1.m1.1.1.1.1.2">7</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.p2.1.m1.1c">7\%.</annotation></semantics></math></p>
</div>
<section id="A11.SSx1.SSSx1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">Asymmetric Noisy Label</h4>

<div id="A11.SSx1.SSSx1.p1" class="ltx_para">
<p id="A11.SSx1.SSSx1.p1.3" class="ltx_p">Next, we consider asymmetric label noise. We asymmetrically perturb <math id="A11.SSx1.SSSx1.p1.1.m1.1" class="ltx_Math" alttext="60\%" display="inline"><semantics id="A11.SSx1.SSSx1.p1.1.m1.1a"><mrow id="A11.SSx1.SSSx1.p1.1.m1.1.1" xref="A11.SSx1.SSSx1.p1.1.m1.1.1.cmml"><mn id="A11.SSx1.SSSx1.p1.1.m1.1.1.2" xref="A11.SSx1.SSSx1.p1.1.m1.1.1.2.cmml">60</mn><mo id="A11.SSx1.SSSx1.p1.1.m1.1.1.1" xref="A11.SSx1.SSSx1.p1.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p1.1.m1.1b"><apply id="A11.SSx1.SSSx1.p1.1.m1.1.1.cmml" xref="A11.SSx1.SSSx1.p1.1.m1.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p1.1.m1.1.1.1.cmml" xref="A11.SSx1.SSSx1.p1.1.m1.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p1.1.m1.1.1.2.cmml" xref="A11.SSx1.SSSx1.p1.1.m1.1.1.2">60</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p1.1.m1.1c">60\%</annotation></semantics></math> of the CIFAR10 training labels randomly, resulting in one of the classes having approximately <math id="A11.SSx1.SSSx1.p1.2.m2.1" class="ltx_Math" alttext="55\%" display="inline"><semantics id="A11.SSx1.SSSx1.p1.2.m2.1a"><mrow id="A11.SSx1.SSSx1.p1.2.m2.1.1" xref="A11.SSx1.SSSx1.p1.2.m2.1.1.cmml"><mn id="A11.SSx1.SSSx1.p1.2.m2.1.1.2" xref="A11.SSx1.SSSx1.p1.2.m2.1.1.2.cmml">55</mn><mo id="A11.SSx1.SSSx1.p1.2.m2.1.1.1" xref="A11.SSx1.SSSx1.p1.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p1.2.m2.1b"><apply id="A11.SSx1.SSSx1.p1.2.m2.1.1.cmml" xref="A11.SSx1.SSSx1.p1.2.m2.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p1.2.m2.1.1.1.cmml" xref="A11.SSx1.SSSx1.p1.2.m2.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p1.2.m2.1.1.2.cmml" xref="A11.SSx1.SSSx1.p1.2.m2.1.1.2">55</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p1.2.m2.1c">55\%</annotation></semantics></math> incorrect labels and the other 9 classes having <math id="A11.SSx1.SSSx1.p1.3.m3.1" class="ltx_Math" alttext="5\%" display="inline"><semantics id="A11.SSx1.SSSx1.p1.3.m3.1a"><mrow id="A11.SSx1.SSSx1.p1.3.m3.1.1" xref="A11.SSx1.SSSx1.p1.3.m3.1.1.cmml"><mn id="A11.SSx1.SSSx1.p1.3.m3.1.1.2" xref="A11.SSx1.SSSx1.p1.3.m3.1.1.2.cmml">5</mn><mo id="A11.SSx1.SSSx1.p1.3.m3.1.1.1" xref="A11.SSx1.SSSx1.p1.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p1.3.m3.1b"><apply id="A11.SSx1.SSSx1.p1.3.m3.1.1.cmml" xref="A11.SSx1.SSSx1.p1.3.m3.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p1.3.m3.1.1.1.cmml" xref="A11.SSx1.SSSx1.p1.3.m3.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p1.3.m3.1.1.2.cmml" xref="A11.SSx1.SSSx1.p1.3.m3.1.1.2">5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p1.3.m3.1c">5\%</annotation></semantics></math> incorrect labels. We use SGD, PSGD, Adam, and Apollo to train a ResNet18 on this task for 100 epochs with 10 different seeds and compare train and test classification accuracy <a href="#A11.F6" title="Figure 6 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>. Additionally, we consider the recently proposed flat basin-seeking algorithm named Adaptive Sharpness-Aware Minimization (ASAM) <cite class="ltx_cite ltx_citemacro_citep">[Kwon et al., <a href="#bib.bib22" title="" class="ltx_ref">2021</a>]</cite> that set a new SoTA for <span id="A11.SSx1.SSSx1.p1.3.1" class="ltx_text ltx_font_italic">symmetric noisy label</span> for CIFAR10 under the <span id="A11.SSx1.SSSx1.p1.3.2" class="ltx_text ltx_font_italic">asymmetric label noise</span> setting. We compare ASAM to SGD and PSGD (see Table <a href="#A11.T9" title="Table 9 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">9</span></a>) separately from the other experiments since ASAM is orthogonal yet complementary to SGD and PSGD. To the best of our knowledge, no optimizer has been designed specifically for <span id="A11.SSx1.SSSx1.p1.3.3" class="ltx_text ltx_font_italic">asymmetric</span> label noise.</p>
</div>
<div id="A11.SSx1.SSSx1.p2" class="ltx_para">
<p id="A11.SSx1.SSSx1.p2.1" class="ltx_p"><span id="A11.SSx1.SSSx1.p2.1.1" class="ltx_text ltx_font_bold">Standard Optimization Techniques</span></p>
</div>
<div id="A11.SSx1.SSSx1.p3" class="ltx_para">
<p id="A11.SSx1.SSSx1.p3.10" class="ltx_p">First looking at Figure <a href="#A11.F6" title="Figure 6 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>, we see that PSGD achieved the lowest average training accuracy of around <math id="A11.SSx1.SSSx1.p3.1.m1.1" class="ltx_Math" alttext="40\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.1.m1.1a"><mrow id="A11.SSx1.SSSx1.p3.1.m1.1.1" xref="A11.SSx1.SSSx1.p3.1.m1.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.1.m1.1.1.2" xref="A11.SSx1.SSSx1.p3.1.m1.1.1.2.cmml">40</mn><mo id="A11.SSx1.SSSx1.p3.1.m1.1.1.1" xref="A11.SSx1.SSSx1.p3.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.1.m1.1b"><apply id="A11.SSx1.SSSx1.p3.1.m1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.1.m1.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.1.m1.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.1.m1.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.1.m1.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.1.m1.1.1.2">40</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.1.m1.1c">40\%</annotation></semantics></math>, with Apollo reaching the highest average train accuracy of <math id="A11.SSx1.SSSx1.p3.2.m2.1" class="ltx_Math" alttext="57\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.2.m2.1a"><mrow id="A11.SSx1.SSSx1.p3.2.m2.1.1" xref="A11.SSx1.SSSx1.p3.2.m2.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.2.m2.1.1.2" xref="A11.SSx1.SSSx1.p3.2.m2.1.1.2.cmml">57</mn><mo id="A11.SSx1.SSSx1.p3.2.m2.1.1.1" xref="A11.SSx1.SSSx1.p3.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.2.m2.1b"><apply id="A11.SSx1.SSSx1.p3.2.m2.1.1.cmml" xref="A11.SSx1.SSSx1.p3.2.m2.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.2.m2.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.2.m2.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.2.m2.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.2.m2.1.1.2">57</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.2.m2.1c">57\%</annotation></semantics></math>. While SGD gets an average training accuracy between Adam and Apollo (with 7/8 runs getting <math id="A11.SSx1.SSSx1.p3.3.m3.1" class="ltx_Math" alttext="55\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.3.m3.1a"><mrow id="A11.SSx1.SSSx1.p3.3.m3.1.1" xref="A11.SSx1.SSSx1.p3.3.m3.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.3.m3.1.1.2" xref="A11.SSx1.SSSx1.p3.3.m3.1.1.2.cmml">55</mn><mo id="A11.SSx1.SSSx1.p3.3.m3.1.1.1" xref="A11.SSx1.SSSx1.p3.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.3.m3.1b"><apply id="A11.SSx1.SSSx1.p3.3.m3.1.1.cmml" xref="A11.SSx1.SSSx1.p3.3.m3.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.3.m3.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.3.m3.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.3.m3.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.3.m3.1.1.2">55</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.3.m3.1c">55\%</annotation></semantics></math>, and 1/8 getting <math id="A11.SSx1.SSSx1.p3.4.m4.1" class="ltx_Math" alttext="34\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.4.m4.1a"><mrow id="A11.SSx1.SSSx1.p3.4.m4.1.1" xref="A11.SSx1.SSSx1.p3.4.m4.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.4.m4.1.1.2" xref="A11.SSx1.SSSx1.p3.4.m4.1.1.2.cmml">34</mn><mo id="A11.SSx1.SSSx1.p3.4.m4.1.1.1" xref="A11.SSx1.SSSx1.p3.4.m4.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.4.m4.1b"><apply id="A11.SSx1.SSSx1.p3.4.m4.1.1.cmml" xref="A11.SSx1.SSSx1.p3.4.m4.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.4.m4.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.4.m4.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.4.m4.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.4.m4.1.1.2">34</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.4.m4.1c">34\%</annotation></semantics></math>), and well above PSGD. During testing, SGD exhibits clear instabilities, falling into a regime of pure memorization of the training set. This can be seen as among the 8 runs of SGD, only one <span id="A11.SSx1.SSSx1.p3.10.1" class="ltx_text ltx_font_italic">lucky initialization</span> achieved a test accuracy of <math id="A11.SSx1.SSSx1.p3.5.m5.1" class="ltx_Math" alttext="77\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.5.m5.1a"><mrow id="A11.SSx1.SSSx1.p3.5.m5.1.1" xref="A11.SSx1.SSSx1.p3.5.m5.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.5.m5.1.1.2" xref="A11.SSx1.SSSx1.p3.5.m5.1.1.2.cmml">77</mn><mo id="A11.SSx1.SSSx1.p3.5.m5.1.1.1" xref="A11.SSx1.SSSx1.p3.5.m5.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.5.m5.1b"><apply id="A11.SSx1.SSSx1.p3.5.m5.1.1.cmml" xref="A11.SSx1.SSSx1.p3.5.m5.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.5.m5.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.5.m5.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.5.m5.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.5.m5.1.1.2">77</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.5.m5.1c">77\%</annotation></semantics></math> (learning regime), while the other initializations had a test accuracy of <math id="A11.SSx1.SSSx1.p3.6.m6.1" class="ltx_Math" alttext="10\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.6.m6.1a"><mrow id="A11.SSx1.SSSx1.p3.6.m6.1.1" xref="A11.SSx1.SSSx1.p3.6.m6.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.6.m6.1.1.2" xref="A11.SSx1.SSSx1.p3.6.m6.1.1.2.cmml">10</mn><mo id="A11.SSx1.SSSx1.p3.6.m6.1.1.1" xref="A11.SSx1.SSSx1.p3.6.m6.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.6.m6.1b"><apply id="A11.SSx1.SSSx1.p3.6.m6.1.1.cmml" xref="A11.SSx1.SSSx1.p3.6.m6.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.6.m6.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.6.m6.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.6.m6.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.6.m6.1.1.2">10</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.6.m6.1c">10\%</annotation></semantics></math> (memorization regime)
with an average predicted probability of 0.999.
This is not a standard case of over-fitting nor a case of catastrophic forgetting, since the training accuracy does not change. Instead, our experiments show there exists a tipping point in the test accuracy at around epoch 35, where within a single epoch the test accuracy drops from <math id="A11.SSx1.SSSx1.p3.7.m7.1" class="ltx_Math" alttext="71\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.7.m7.1a"><mrow id="A11.SSx1.SSSx1.p3.7.m7.1.1" xref="A11.SSx1.SSSx1.p3.7.m7.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.7.m7.1.1.2" xref="A11.SSx1.SSSx1.p3.7.m7.1.1.2.cmml">71</mn><mo id="A11.SSx1.SSSx1.p3.7.m7.1.1.1" xref="A11.SSx1.SSSx1.p3.7.m7.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.7.m7.1b"><apply id="A11.SSx1.SSSx1.p3.7.m7.1.1.cmml" xref="A11.SSx1.SSSx1.p3.7.m7.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.7.m7.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.7.m7.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.7.m7.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.7.m7.1.1.2">71</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.7.m7.1c">71\%</annotation></semantics></math> to <math id="A11.SSx1.SSSx1.p3.8.m8.1" class="ltx_Math" alttext="10\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.8.m8.1a"><mrow id="A11.SSx1.SSSx1.p3.8.m8.1.1" xref="A11.SSx1.SSSx1.p3.8.m8.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.8.m8.1.1.2" xref="A11.SSx1.SSSx1.p3.8.m8.1.1.2.cmml">10</mn><mo id="A11.SSx1.SSSx1.p3.8.m8.1.1.1" xref="A11.SSx1.SSSx1.p3.8.m8.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.8.m8.1b"><apply id="A11.SSx1.SSSx1.p3.8.m8.1.1.cmml" xref="A11.SSx1.SSSx1.p3.8.m8.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.8.m8.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.8.m8.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p3.8.m8.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.8.m8.1.1.2">10</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.8.m8.1c">10\%</annotation></semantics></math> while the training accuracy shows no intelligible indication of this change. Furthermore, the test accuracy does not increase for the rest of the 65 epochs.
At the 35 epoch mark, Adam and Apollo both go through a period of high variance but eventually converge (due to the cosine learning rate decay).
PSGD achieved an average accuracy of <math id="A11.SSx1.SSSx1.p3.9.m9.1" class="ltx_Math" alttext="82.63\%\pm 0.11" display="inline"><semantics id="A11.SSx1.SSSx1.p3.9.m9.1a"><mrow id="A11.SSx1.SSSx1.p3.9.m9.1.1" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.cmml"><mrow id="A11.SSx1.SSSx1.p3.9.m9.1.1.2" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.2.cmml"><mn id="A11.SSx1.SSSx1.p3.9.m9.1.1.2.2" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.2.2.cmml">82.63</mn><mo id="A11.SSx1.SSSx1.p3.9.m9.1.1.2.1" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.2.1.cmml">%</mo></mrow><mo id="A11.SSx1.SSSx1.p3.9.m9.1.1.1" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.1.cmml">±</mo><mn id="A11.SSx1.SSSx1.p3.9.m9.1.1.3" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.3.cmml">0.11</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.9.m9.1b"><apply id="A11.SSx1.SSSx1.p3.9.m9.1.1.cmml" xref="A11.SSx1.SSSx1.p3.9.m9.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.9.m9.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.1">plus-or-minus</csymbol><apply id="A11.SSx1.SSSx1.p3.9.m9.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.2"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.9.m9.1.1.2.1.cmml" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.2.1">percent</csymbol><cn type="float" id="A11.SSx1.SSSx1.p3.9.m9.1.1.2.2.cmml" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.2.2">82.63</cn></apply><cn type="float" id="A11.SSx1.SSSx1.p3.9.m9.1.1.3.cmml" xref="A11.SSx1.SSSx1.p3.9.m9.1.1.3">0.11</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.9.m9.1c">82.63\%\pm 0.11</annotation></semantics></math> after 100 epochs, outperforming SGD by <math id="A11.SSx1.SSSx1.p3.10.m10.1" class="ltx_Math" alttext="63.93\%" display="inline"><semantics id="A11.SSx1.SSSx1.p3.10.m10.1a"><mrow id="A11.SSx1.SSSx1.p3.10.m10.1.1" xref="A11.SSx1.SSSx1.p3.10.m10.1.1.cmml"><mn id="A11.SSx1.SSSx1.p3.10.m10.1.1.2" xref="A11.SSx1.SSSx1.p3.10.m10.1.1.2.cmml">63.93</mn><mo id="A11.SSx1.SSSx1.p3.10.m10.1.1.1" xref="A11.SSx1.SSSx1.p3.10.m10.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p3.10.m10.1b"><apply id="A11.SSx1.SSSx1.p3.10.m10.1.1.cmml" xref="A11.SSx1.SSSx1.p3.10.m10.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p3.10.m10.1.1.1.cmml" xref="A11.SSx1.SSSx1.p3.10.m10.1.1.1">percent</csymbol><cn type="float" id="A11.SSx1.SSSx1.p3.10.m10.1.1.2.cmml" xref="A11.SSx1.SSSx1.p3.10.m10.1.1.2">63.93</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p3.10.m10.1c">63.93\%</annotation></semantics></math> and exhibiting no optimization instabilities (See Figure <a href="#A11.F6" title="Figure 6 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">6</span></a>).</p>
</div>
<figure id="A11.F6" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_1">
<figure id="A11.F6.sf1" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/Figs/noisy_train.png" id="A11.F6.sf1.g1" class="ltx_graphics ltx_img_landscape" width="269" height="215" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="A11.F6.sf1.2.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span></figcaption>
</figure>
</div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<figure id="A11.F6.sf2" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/Figs/noisy_test.png" id="A11.F6.sf2.g1" class="ltx_graphics ltx_img_landscape" width="269" height="215" alt="Refer to caption">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="A11.F6.sf2.2.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F6.3.1.1" class="ltx_text" style="font-size:90%;">Figure 6</span>: </span><span id="A11.F6.4.2" class="ltx_text" style="font-size:90%;">CIFAR-10 Noisy Label ResNet-18: (a) Train Acc: We clearly see that Apollo (Quazi-Newton diagonal) over-fits the training set which includes 60% noisy labels, whereas PSGD finds a solution that results in a significantly worse train accuracy. Furthermore, we see that the variance for Apollo, Adam, and SGD is very high during training starting around epoch 40. Note SGD had 7 runs with train accuracy near 55%, and one with train accuracy around 34%. (b) Test Acc: We see that PSGD reaches a significantly better test accuracy with a very low training variance compared to Apollo, Adam, and SGD. In this run, SGD had 7 NNs that got 10% test accuracy and one network that got 72% test accuracy. For more on SGD’s performance see main paper <span id="A11.F6.4.2.1" class="ltx_text ltx_font_bold">CIFAR with Noisy Lables</span>. The combination of these two plots shows other optimizers can easily over-fit/memorize incorrect image label pairs, can often have large optimization instabilities during training, and even reach degenerate solutions where the NNs have reasonable train accuracy but random test accuracy.</span></figcaption>
</figure>
<div id="A11.SSx1.SSSx1.p4" class="ltx_para">
<p id="A11.SSx1.SSSx1.p4.1" class="ltx_p"><span id="A11.SSx1.SSSx1.p4.1.1" class="ltx_text ltx_font_bold">Sharpness Aware Optimizers</span></p>
</div>
<div id="A11.SSx1.SSSx1.p5" class="ltx_para">
<p id="A11.SSx1.SSSx1.p5.1" class="ltx_p">In this section we compare Adaptive Sharpness-Aware Minimization (ASAM) <cite class="ltx_cite ltx_citemacro_citep">[Kwon et al., <a href="#bib.bib22" title="" class="ltx_ref">2021</a>]</cite> that set a new SoTA for <span id="A11.SSx1.SSSx1.p5.1.1" class="ltx_text ltx_font_italic">symmetric noisy label</span> for CIFAR10 under the <span id="A11.SSx1.SSSx1.p5.1.2" class="ltx_text ltx_font_italic">asymmetric label noise</span> setting to PSGD and SGD. Note to the best of our knowledge there has not been an optimizer specifically designed for asymmetric label noise and no specific optimizer has been deemed SoTA.</p>
</div>
<figure id="A11.T9" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T9.6.3.1" class="ltx_text" style="font-size:90%;">Table 9</span>: </span><span id="A11.T9.4.2" class="ltx_text" style="font-size:90%;">Comparing (P)SGD to Sharpness Aware Optimizers. Here we see that PSGD can outperform SGD and ASAM by <math id="A11.T9.3.1.m1.1" class="ltx_Math" alttext="12.38\%" display="inline"><semantics id="A11.T9.3.1.m1.1b"><mrow id="A11.T9.3.1.m1.1.1" xref="A11.T9.3.1.m1.1.1.cmml"><mn id="A11.T9.3.1.m1.1.1.2" xref="A11.T9.3.1.m1.1.1.2.cmml">12.38</mn><mo id="A11.T9.3.1.m1.1.1.1" xref="A11.T9.3.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.T9.3.1.m1.1c"><apply id="A11.T9.3.1.m1.1.1.cmml" xref="A11.T9.3.1.m1.1.1"><csymbol cd="latexml" id="A11.T9.3.1.m1.1.1.1.cmml" xref="A11.T9.3.1.m1.1.1.1">percent</csymbol><cn type="float" id="A11.T9.3.1.m1.1.1.2.cmml" xref="A11.T9.3.1.m1.1.1.2">12.38</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T9.3.1.m1.1d">12.38\%</annotation></semantics></math> and <math id="A11.T9.4.2.m2.1" class="ltx_Math" alttext="76.31\%" display="inline"><semantics id="A11.T9.4.2.m2.1b"><mrow id="A11.T9.4.2.m2.1.1" xref="A11.T9.4.2.m2.1.1.cmml"><mn id="A11.T9.4.2.m2.1.1.2" xref="A11.T9.4.2.m2.1.1.2.cmml">76.31</mn><mo id="A11.T9.4.2.m2.1.1.1" xref="A11.T9.4.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.T9.4.2.m2.1c"><apply id="A11.T9.4.2.m2.1.1.cmml" xref="A11.T9.4.2.m2.1.1"><csymbol cd="latexml" id="A11.T9.4.2.m2.1.1.1.cmml" xref="A11.T9.4.2.m2.1.1.1">percent</csymbol><cn type="float" id="A11.T9.4.2.m2.1.1.2.cmml" xref="A11.T9.4.2.m2.1.1.2">76.31</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T9.4.2.m2.1d">76.31\%</annotation></semantics></math> respectively. </span></figcaption>
<table id="A11.T9.7" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.T9.7.1.1" class="ltx_tr">
<th id="A11.T9.7.1.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.T9.7.1.1.1.1" class="ltx_text ltx_font_bold">Asymmetric Noisy Label</span></th>
<th id="A11.T9.7.1.1.2" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt" colspan="2"><span id="A11.T9.7.1.1.2.1" class="ltx_text ltx_font_bold">Final</span></th>
<th id="A11.T9.7.1.1.3" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt" colspan="2"><span id="A11.T9.7.1.1.3.1" class="ltx_text ltx_font_bold">Best</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.T9.7.2.1" class="ltx_tr">
<th id="A11.T9.7.2.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column"><span id="A11.T9.7.2.1.1.1" class="ltx_text ltx_font_bold">CIFAR10</span></th>
<th id="A11.T9.7.2.1.2" class="ltx_td ltx_th ltx_th_column"></th>
<th id="A11.T9.7.2.1.3" class="ltx_td ltx_th ltx_th_column"></th>
<th id="A11.T9.7.2.1.4" class="ltx_td ltx_th ltx_th_column"></th>
<td id="A11.T9.7.2.1.5" class="ltx_td"></td>
</tr>
<tr id="A11.T9.7.3.2" class="ltx_tr">
<td id="A11.T9.7.3.2.1" class="ltx_td ltx_border_t"></td>
<td id="A11.T9.7.3.2.2" class="ltx_td ltx_align_left ltx_border_t">Train</td>
<td id="A11.T9.7.3.2.3" class="ltx_td ltx_align_left ltx_border_t">Test</td>
<td id="A11.T9.7.3.2.4" class="ltx_td ltx_align_left ltx_border_t">Train</td>
<td id="A11.T9.7.3.2.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_t">Test</td>
</tr>
<tr id="A11.T9.7.4.3" class="ltx_tr">
<td id="A11.T9.7.4.3.1" class="ltx_td ltx_align_left">PSGD (Ours)</td>
<td id="A11.T9.7.4.3.2" class="ltx_td ltx_align_left">40.44% ± 0.12</td>
<td id="A11.T9.7.4.3.3" class="ltx_td ltx_align_left">82.63% ± 0.11</td>
<td id="A11.T9.7.4.3.4" class="ltx_td ltx_align_left">41.03% ± 0.11</td>
<td id="A11.T9.7.4.3.5" class="ltx_td ltx_nopad_r ltx_align_left">82.63% ± 0.11</td>
</tr>
<tr id="A11.T9.7.5.4" class="ltx_tr">
<td id="A11.T9.7.5.4.1" class="ltx_td ltx_align_left">SGD</td>
<td id="A11.T9.7.5.4.2" class="ltx_td ltx_align_left">52.5% ± 19.87</td>
<td id="A11.T9.7.5.4.3" class="ltx_td ltx_align_left">18.7% ± 33.75</td>
<td id="A11.T9.7.5.4.4" class="ltx_td ltx_align_left">56.3% ± 0.1</td>
<td id="A11.T9.7.5.4.5" class="ltx_td ltx_nopad_r ltx_align_left">73.98% ± 5.65</td>
</tr>
<tr id="A11.T9.7.6.5" class="ltx_tr">
<td id="A11.T9.7.6.5.1" class="ltx_td ltx_align_left ltx_border_bb">ASAM</td>
<td id="A11.T9.7.6.5.2" class="ltx_td ltx_align_left ltx_border_bb">64.03% ± 1.12</td>
<td id="A11.T9.7.6.5.3" class="ltx_td ltx_align_left ltx_border_bb">6.32% ± 2.6</td>
<td id="A11.T9.7.6.5.4" class="ltx_td ltx_align_left ltx_border_bb">64.03% ± 0.1</td>
<td id="A11.T9.7.6.5.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_bb">40.48% ± 0.8</td>
</tr>
</tbody>
</table>
</figure>
<div id="A11.SSx1.SSSx1.p6" class="ltx_para">
<p id="A11.SSx1.SSSx1.p6.3" class="ltx_p">We see in Table <a href="#A11.T9" title="Table 9 ‣ Asymmetric Noisy Label ‣ Symmetric Noisy Label ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">9</span></a> that while ASAM is able to achieve the best training accuracy we see that greatly overfits the dataset resulting <math id="A11.SSx1.SSSx1.p6.1.m1.1" class="ltx_Math" alttext="6\%" display="inline"><semantics id="A11.SSx1.SSSx1.p6.1.m1.1a"><mrow id="A11.SSx1.SSSx1.p6.1.m1.1.1" xref="A11.SSx1.SSSx1.p6.1.m1.1.1.cmml"><mn id="A11.SSx1.SSSx1.p6.1.m1.1.1.2" xref="A11.SSx1.SSSx1.p6.1.m1.1.1.2.cmml">6</mn><mo id="A11.SSx1.SSSx1.p6.1.m1.1.1.1" xref="A11.SSx1.SSSx1.p6.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p6.1.m1.1b"><apply id="A11.SSx1.SSSx1.p6.1.m1.1.1.cmml" xref="A11.SSx1.SSSx1.p6.1.m1.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p6.1.m1.1.1.1.cmml" xref="A11.SSx1.SSSx1.p6.1.m1.1.1.1">percent</csymbol><cn type="integer" id="A11.SSx1.SSSx1.p6.1.m1.1.1.2.cmml" xref="A11.SSx1.SSSx1.p6.1.m1.1.1.2">6</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p6.1.m1.1c">6\%</annotation></semantics></math> test accuracy at the end of 100 epochs, <math id="A11.SSx1.SSSx1.p6.2.m2.1" class="ltx_Math" alttext="12.38\%" display="inline"><semantics id="A11.SSx1.SSSx1.p6.2.m2.1a"><mrow id="A11.SSx1.SSSx1.p6.2.m2.1.1" xref="A11.SSx1.SSSx1.p6.2.m2.1.1.cmml"><mn id="A11.SSx1.SSSx1.p6.2.m2.1.1.2" xref="A11.SSx1.SSSx1.p6.2.m2.1.1.2.cmml">12.38</mn><mo id="A11.SSx1.SSSx1.p6.2.m2.1.1.1" xref="A11.SSx1.SSSx1.p6.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p6.2.m2.1b"><apply id="A11.SSx1.SSSx1.p6.2.m2.1.1.cmml" xref="A11.SSx1.SSSx1.p6.2.m2.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p6.2.m2.1.1.1.cmml" xref="A11.SSx1.SSSx1.p6.2.m2.1.1.1">percent</csymbol><cn type="float" id="A11.SSx1.SSSx1.p6.2.m2.1.1.2.cmml" xref="A11.SSx1.SSSx1.p6.2.m2.1.1.2">12.38</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p6.2.m2.1c">12.38\%</annotation></semantics></math> below SGD and <math id="A11.SSx1.SSSx1.p6.3.m3.1" class="ltx_Math" alttext="76.31\%" display="inline"><semantics id="A11.SSx1.SSSx1.p6.3.m3.1a"><mrow id="A11.SSx1.SSSx1.p6.3.m3.1.1" xref="A11.SSx1.SSSx1.p6.3.m3.1.1.cmml"><mn id="A11.SSx1.SSSx1.p6.3.m3.1.1.2" xref="A11.SSx1.SSSx1.p6.3.m3.1.1.2.cmml">76.31</mn><mo id="A11.SSx1.SSSx1.p6.3.m3.1.1.1" xref="A11.SSx1.SSSx1.p6.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SSx1.SSSx1.p6.3.m3.1b"><apply id="A11.SSx1.SSSx1.p6.3.m3.1.1.cmml" xref="A11.SSx1.SSSx1.p6.3.m3.1.1"><csymbol cd="latexml" id="A11.SSx1.SSSx1.p6.3.m3.1.1.1.cmml" xref="A11.SSx1.SSSx1.p6.3.m3.1.1.1">percent</csymbol><cn type="float" id="A11.SSx1.SSSx1.p6.3.m3.1.1.2.cmml" xref="A11.SSx1.SSSx1.p6.3.m3.1.1.2">76.31</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx1.SSSx1.p6.3.m3.1c">76.31\%</annotation></semantics></math> below PSGD. While ASAM may have been the SoTA for Symmetric label noise, clearly another solution is needed under the Asymmetric setting.</p>
</div>
<div id="A11.SSx1.SSSx1.p7" class="ltx_para">
<p id="A11.SSx1.SSSx1.p7.1" class="ltx_p">As such we see that PSGD, which is a general-purpose optimizer, is able to outperform general first and second-order optimizers as well as flat minima-seeking optimizers under the noisy label regime.</p>
</div>
</section>
</section>
<section id="A11.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.3 </span>MNIST Handwriting Digit Recognition</h3>

<div id="A11.SS3.p1" class="ltx_para">
<p id="A11.SS3.p1.1" class="ltx_p">To have a fair comparison between the diagonal and low-rank approximation (LRA) preconditioners, we slightly upgrade <math id="A11.SS3.p1.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A11.SS3.p1.1.m1.1a"><mi id="A11.SS3.p1.1.m1.1.1" xref="A11.SS3.p1.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A11.SS3.p1.1.m1.1b"><ci id="A11.SS3.p1.1.m1.1.1.cmml" xref="A11.SS3.p1.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p1.1.m1.1c">Q</annotation></semantics></math> in the LRA preconditioner to form</p>
<table id="A11.Ex113" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A11.Ex113.m1.2" class="ltx_Math" alttext="Q={\rm diag}(d)(I+UV^{T})" display="block"><semantics id="A11.Ex113.m1.2a"><mrow id="A11.Ex113.m1.2.2" xref="A11.Ex113.m1.2.2.cmml"><mi id="A11.Ex113.m1.2.2.3" xref="A11.Ex113.m1.2.2.3.cmml">Q</mi><mo id="A11.Ex113.m1.2.2.2" xref="A11.Ex113.m1.2.2.2.cmml">=</mo><mrow id="A11.Ex113.m1.2.2.1" xref="A11.Ex113.m1.2.2.1.cmml"><mi id="A11.Ex113.m1.2.2.1.3" xref="A11.Ex113.m1.2.2.1.3.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A11.Ex113.m1.2.2.1.2" xref="A11.Ex113.m1.2.2.1.2.cmml">​</mo><mrow id="A11.Ex113.m1.2.2.1.4.2" xref="A11.Ex113.m1.2.2.1.cmml"><mo stretchy="false" id="A11.Ex113.m1.2.2.1.4.2.1" xref="A11.Ex113.m1.2.2.1.cmml">(</mo><mi id="A11.Ex113.m1.1.1" xref="A11.Ex113.m1.1.1.cmml">d</mi><mo stretchy="false" id="A11.Ex113.m1.2.2.1.4.2.2" xref="A11.Ex113.m1.2.2.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A11.Ex113.m1.2.2.1.2a" xref="A11.Ex113.m1.2.2.1.2.cmml">​</mo><mrow id="A11.Ex113.m1.2.2.1.1.1" xref="A11.Ex113.m1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A11.Ex113.m1.2.2.1.1.1.2" xref="A11.Ex113.m1.2.2.1.1.1.1.cmml">(</mo><mrow id="A11.Ex113.m1.2.2.1.1.1.1" xref="A11.Ex113.m1.2.2.1.1.1.1.cmml"><mi id="A11.Ex113.m1.2.2.1.1.1.1.2" xref="A11.Ex113.m1.2.2.1.1.1.1.2.cmml">I</mi><mo id="A11.Ex113.m1.2.2.1.1.1.1.1" xref="A11.Ex113.m1.2.2.1.1.1.1.1.cmml">+</mo><mrow id="A11.Ex113.m1.2.2.1.1.1.1.3" xref="A11.Ex113.m1.2.2.1.1.1.1.3.cmml"><mi id="A11.Ex113.m1.2.2.1.1.1.1.3.2" xref="A11.Ex113.m1.2.2.1.1.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A11.Ex113.m1.2.2.1.1.1.1.3.1" xref="A11.Ex113.m1.2.2.1.1.1.1.3.1.cmml">​</mo><msup id="A11.Ex113.m1.2.2.1.1.1.1.3.3" xref="A11.Ex113.m1.2.2.1.1.1.1.3.3.cmml"><mi id="A11.Ex113.m1.2.2.1.1.1.1.3.3.2" xref="A11.Ex113.m1.2.2.1.1.1.1.3.3.2.cmml">V</mi><mi id="A11.Ex113.m1.2.2.1.1.1.1.3.3.3" xref="A11.Ex113.m1.2.2.1.1.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><mo stretchy="false" id="A11.Ex113.m1.2.2.1.1.1.3" xref="A11.Ex113.m1.2.2.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.Ex113.m1.2b"><apply id="A11.Ex113.m1.2.2.cmml" xref="A11.Ex113.m1.2.2"><eq id="A11.Ex113.m1.2.2.2.cmml" xref="A11.Ex113.m1.2.2.2"></eq><ci id="A11.Ex113.m1.2.2.3.cmml" xref="A11.Ex113.m1.2.2.3">𝑄</ci><apply id="A11.Ex113.m1.2.2.1.cmml" xref="A11.Ex113.m1.2.2.1"><times id="A11.Ex113.m1.2.2.1.2.cmml" xref="A11.Ex113.m1.2.2.1.2"></times><ci id="A11.Ex113.m1.2.2.1.3.cmml" xref="A11.Ex113.m1.2.2.1.3">diag</ci><ci id="A11.Ex113.m1.1.1.cmml" xref="A11.Ex113.m1.1.1">𝑑</ci><apply id="A11.Ex113.m1.2.2.1.1.1.1.cmml" xref="A11.Ex113.m1.2.2.1.1.1"><plus id="A11.Ex113.m1.2.2.1.1.1.1.1.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.1"></plus><ci id="A11.Ex113.m1.2.2.1.1.1.1.2.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.2">𝐼</ci><apply id="A11.Ex113.m1.2.2.1.1.1.1.3.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.3"><times id="A11.Ex113.m1.2.2.1.1.1.1.3.1.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.3.1"></times><ci id="A11.Ex113.m1.2.2.1.1.1.1.3.2.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.3.2">𝑈</ci><apply id="A11.Ex113.m1.2.2.1.1.1.1.3.3.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A11.Ex113.m1.2.2.1.1.1.1.3.3.1.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.3.3">superscript</csymbol><ci id="A11.Ex113.m1.2.2.1.1.1.1.3.3.2.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.3.3.2">𝑉</ci><ci id="A11.Ex113.m1.2.2.1.1.1.1.3.3.3.cmml" xref="A11.Ex113.m1.2.2.1.1.1.1.3.3.3">𝑇</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.Ex113.m1.2c">Q={\rm diag}(d)(I+UV^{T})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A11.SS3.p1.6" class="ltx_p">where <math id="A11.SS3.p1.2.m1.1" class="ltx_Math" alttext="d" display="inline"><semantics id="A11.SS3.p1.2.m1.1a"><mi id="A11.SS3.p1.2.m1.1.1" xref="A11.SS3.p1.2.m1.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="A11.SS3.p1.2.m1.1b"><ci id="A11.SS3.p1.2.m1.1.1.cmml" xref="A11.SS3.p1.2.m1.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p1.2.m1.1c">d</annotation></semantics></math> is a vector.
This form of <math id="A11.SS3.p1.3.m2.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A11.SS3.p1.3.m2.1a"><mi id="A11.SS3.p1.3.m2.1.1" xref="A11.SS3.p1.3.m2.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A11.SS3.p1.3.m2.1b"><ci id="A11.SS3.p1.3.m2.1.1.cmml" xref="A11.SS3.p1.3.m2.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p1.3.m2.1c">Q</annotation></semantics></math> cannot form a Lie group.
Still, its two factors, <math id="A11.SS3.p1.4.m3.1" class="ltx_Math" alttext="{\rm diag}(d)" display="inline"><semantics id="A11.SS3.p1.4.m3.1a"><mrow id="A11.SS3.p1.4.m3.1.2" xref="A11.SS3.p1.4.m3.1.2.cmml"><mi id="A11.SS3.p1.4.m3.1.2.2" xref="A11.SS3.p1.4.m3.1.2.2.cmml">diag</mi><mo lspace="0em" rspace="0em" id="A11.SS3.p1.4.m3.1.2.1" xref="A11.SS3.p1.4.m3.1.2.1.cmml">​</mo><mrow id="A11.SS3.p1.4.m3.1.2.3.2" xref="A11.SS3.p1.4.m3.1.2.cmml"><mo stretchy="false" id="A11.SS3.p1.4.m3.1.2.3.2.1" xref="A11.SS3.p1.4.m3.1.2.cmml">(</mo><mi id="A11.SS3.p1.4.m3.1.1" xref="A11.SS3.p1.4.m3.1.1.cmml">d</mi><mo stretchy="false" id="A11.SS3.p1.4.m3.1.2.3.2.2" xref="A11.SS3.p1.4.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS3.p1.4.m3.1b"><apply id="A11.SS3.p1.4.m3.1.2.cmml" xref="A11.SS3.p1.4.m3.1.2"><times id="A11.SS3.p1.4.m3.1.2.1.cmml" xref="A11.SS3.p1.4.m3.1.2.1"></times><ci id="A11.SS3.p1.4.m3.1.2.2.cmml" xref="A11.SS3.p1.4.m3.1.2.2">diag</ci><ci id="A11.SS3.p1.4.m3.1.1.cmml" xref="A11.SS3.p1.4.m3.1.1">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p1.4.m3.1c">{\rm diag}(d)</annotation></semantics></math> and <math id="A11.SS3.p1.5.m4.1" class="ltx_Math" alttext="I+UV^{T}" display="inline"><semantics id="A11.SS3.p1.5.m4.1a"><mrow id="A11.SS3.p1.5.m4.1.1" xref="A11.SS3.p1.5.m4.1.1.cmml"><mi id="A11.SS3.p1.5.m4.1.1.2" xref="A11.SS3.p1.5.m4.1.1.2.cmml">I</mi><mo id="A11.SS3.p1.5.m4.1.1.1" xref="A11.SS3.p1.5.m4.1.1.1.cmml">+</mo><mrow id="A11.SS3.p1.5.m4.1.1.3" xref="A11.SS3.p1.5.m4.1.1.3.cmml"><mi id="A11.SS3.p1.5.m4.1.1.3.2" xref="A11.SS3.p1.5.m4.1.1.3.2.cmml">U</mi><mo lspace="0em" rspace="0em" id="A11.SS3.p1.5.m4.1.1.3.1" xref="A11.SS3.p1.5.m4.1.1.3.1.cmml">​</mo><msup id="A11.SS3.p1.5.m4.1.1.3.3" xref="A11.SS3.p1.5.m4.1.1.3.3.cmml"><mi id="A11.SS3.p1.5.m4.1.1.3.3.2" xref="A11.SS3.p1.5.m4.1.1.3.3.2.cmml">V</mi><mi id="A11.SS3.p1.5.m4.1.1.3.3.3" xref="A11.SS3.p1.5.m4.1.1.3.3.3.cmml">T</mi></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS3.p1.5.m4.1b"><apply id="A11.SS3.p1.5.m4.1.1.cmml" xref="A11.SS3.p1.5.m4.1.1"><plus id="A11.SS3.p1.5.m4.1.1.1.cmml" xref="A11.SS3.p1.5.m4.1.1.1"></plus><ci id="A11.SS3.p1.5.m4.1.1.2.cmml" xref="A11.SS3.p1.5.m4.1.1.2">𝐼</ci><apply id="A11.SS3.p1.5.m4.1.1.3.cmml" xref="A11.SS3.p1.5.m4.1.1.3"><times id="A11.SS3.p1.5.m4.1.1.3.1.cmml" xref="A11.SS3.p1.5.m4.1.1.3.1"></times><ci id="A11.SS3.p1.5.m4.1.1.3.2.cmml" xref="A11.SS3.p1.5.m4.1.1.3.2">𝑈</ci><apply id="A11.SS3.p1.5.m4.1.1.3.3.cmml" xref="A11.SS3.p1.5.m4.1.1.3.3"><csymbol cd="ambiguous" id="A11.SS3.p1.5.m4.1.1.3.3.1.cmml" xref="A11.SS3.p1.5.m4.1.1.3.3">superscript</csymbol><ci id="A11.SS3.p1.5.m4.1.1.3.3.2.cmml" xref="A11.SS3.p1.5.m4.1.1.3.3.2">𝑉</ci><ci id="A11.SS3.p1.5.m4.1.1.3.3.3.cmml" xref="A11.SS3.p1.5.m4.1.1.3.3.3">𝑇</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p1.5.m4.1c">I+UV^{T}</annotation></semantics></math>, can be fitted on their own Lie groups.
Now, the diagonal preconditioner is a special case of this LRA one with order <math id="A11.SS3.p1.6.m5.1" class="ltx_Math" alttext="r=0" display="inline"><semantics id="A11.SS3.p1.6.m5.1a"><mrow id="A11.SS3.p1.6.m5.1.1" xref="A11.SS3.p1.6.m5.1.1.cmml"><mi id="A11.SS3.p1.6.m5.1.1.2" xref="A11.SS3.p1.6.m5.1.1.2.cmml">r</mi><mo id="A11.SS3.p1.6.m5.1.1.1" xref="A11.SS3.p1.6.m5.1.1.1.cmml">=</mo><mn id="A11.SS3.p1.6.m5.1.1.3" xref="A11.SS3.p1.6.m5.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS3.p1.6.m5.1b"><apply id="A11.SS3.p1.6.m5.1.1.cmml" xref="A11.SS3.p1.6.m5.1.1"><eq id="A11.SS3.p1.6.m5.1.1.1.cmml" xref="A11.SS3.p1.6.m5.1.1.1"></eq><ci id="A11.SS3.p1.6.m5.1.1.2.cmml" xref="A11.SS3.p1.6.m5.1.1.2">𝑟</ci><cn type="integer" id="A11.SS3.p1.6.m5.1.1.3.cmml" xref="A11.SS3.p1.6.m5.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p1.6.m5.1c">r=0</annotation></semantics></math>.</p>
</div>
<div id="A11.SS3.p2" class="ltx_para">
<p id="A11.SS3.p2.10" class="ltx_p">We have tested orders <math id="A11.SS3.p2.1.m1.5" class="ltx_Math" alttext="r=0,1,2,5," display="inline"><semantics id="A11.SS3.p2.1.m1.5a"><mrow id="A11.SS3.p2.1.m1.5.5.1" xref="A11.SS3.p2.1.m1.5.5.1.1.cmml"><mrow id="A11.SS3.p2.1.m1.5.5.1.1" xref="A11.SS3.p2.1.m1.5.5.1.1.cmml"><mi id="A11.SS3.p2.1.m1.5.5.1.1.2" xref="A11.SS3.p2.1.m1.5.5.1.1.2.cmml">r</mi><mo id="A11.SS3.p2.1.m1.5.5.1.1.1" xref="A11.SS3.p2.1.m1.5.5.1.1.1.cmml">=</mo><mrow id="A11.SS3.p2.1.m1.5.5.1.1.3.2" xref="A11.SS3.p2.1.m1.5.5.1.1.3.1.cmml"><mn id="A11.SS3.p2.1.m1.1.1" xref="A11.SS3.p2.1.m1.1.1.cmml">0</mn><mo id="A11.SS3.p2.1.m1.5.5.1.1.3.2.1" xref="A11.SS3.p2.1.m1.5.5.1.1.3.1.cmml">,</mo><mn id="A11.SS3.p2.1.m1.2.2" xref="A11.SS3.p2.1.m1.2.2.cmml">1</mn><mo id="A11.SS3.p2.1.m1.5.5.1.1.3.2.2" xref="A11.SS3.p2.1.m1.5.5.1.1.3.1.cmml">,</mo><mn id="A11.SS3.p2.1.m1.3.3" xref="A11.SS3.p2.1.m1.3.3.cmml">2</mn><mo id="A11.SS3.p2.1.m1.5.5.1.1.3.2.3" xref="A11.SS3.p2.1.m1.5.5.1.1.3.1.cmml">,</mo><mn id="A11.SS3.p2.1.m1.4.4" xref="A11.SS3.p2.1.m1.4.4.cmml">5</mn></mrow></mrow><mo id="A11.SS3.p2.1.m1.5.5.1.2" xref="A11.SS3.p2.1.m1.5.5.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.1.m1.5b"><apply id="A11.SS3.p2.1.m1.5.5.1.1.cmml" xref="A11.SS3.p2.1.m1.5.5.1"><eq id="A11.SS3.p2.1.m1.5.5.1.1.1.cmml" xref="A11.SS3.p2.1.m1.5.5.1.1.1"></eq><ci id="A11.SS3.p2.1.m1.5.5.1.1.2.cmml" xref="A11.SS3.p2.1.m1.5.5.1.1.2">𝑟</ci><list id="A11.SS3.p2.1.m1.5.5.1.1.3.1.cmml" xref="A11.SS3.p2.1.m1.5.5.1.1.3.2"><cn type="integer" id="A11.SS3.p2.1.m1.1.1.cmml" xref="A11.SS3.p2.1.m1.1.1">0</cn><cn type="integer" id="A11.SS3.p2.1.m1.2.2.cmml" xref="A11.SS3.p2.1.m1.2.2">1</cn><cn type="integer" id="A11.SS3.p2.1.m1.3.3.cmml" xref="A11.SS3.p2.1.m1.3.3">2</cn><cn type="integer" id="A11.SS3.p2.1.m1.4.4.cmml" xref="A11.SS3.p2.1.m1.4.4">5</cn></list></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.1.m1.5c">r=0,1,2,5,</annotation></semantics></math> and <math id="A11.SS3.p2.2.m2.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A11.SS3.p2.2.m2.1a"><mn id="A11.SS3.p2.2.m2.1.1" xref="A11.SS3.p2.2.m2.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.2.m2.1b"><cn type="integer" id="A11.SS3.p2.2.m2.1.1.cmml" xref="A11.SS3.p2.2.m2.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.2.m2.1c">10</annotation></semantics></math>.
The batch size is <math id="A11.SS3.p2.3.m3.1" class="ltx_Math" alttext="64" display="inline"><semantics id="A11.SS3.p2.3.m3.1a"><mn id="A11.SS3.p2.3.m3.1.1" xref="A11.SS3.p2.3.m3.1.1.cmml">64</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.3.m3.1b"><cn type="integer" id="A11.SS3.p2.3.m3.1.1.cmml" xref="A11.SS3.p2.3.m3.1.1">64</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.3.m3.1c">64</annotation></semantics></math>.
Totally ten epochs of training are performed.
The learning rate for parameter updating is annealed exponentially from <math id="A11.SS3.p2.4.m4.1" class="ltx_Math" alttext="0.1" display="inline"><semantics id="A11.SS3.p2.4.m4.1a"><mn id="A11.SS3.p2.4.m4.1.1" xref="A11.SS3.p2.4.m4.1.1.cmml">0.1</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.4.m4.1b"><cn type="float" id="A11.SS3.p2.4.m4.1.1.cmml" xref="A11.SS3.p2.4.m4.1.1">0.1</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.4.m4.1c">0.1</annotation></semantics></math> for the first epoch to <math id="A11.SS3.p2.5.m5.1" class="ltx_Math" alttext="0.001" display="inline"><semantics id="A11.SS3.p2.5.m5.1a"><mn id="A11.SS3.p2.5.m5.1.1" xref="A11.SS3.p2.5.m5.1.1.cmml">0.001</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.5.m5.1b"><cn type="float" id="A11.SS3.p2.5.m5.1.1.cmml" xref="A11.SS3.p2.5.m5.1.1">0.001</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.5.m5.1c">0.001</annotation></semantics></math> for the tenth epoch.
The step size for preconditioner fitting is annealed exponentially from <math id="A11.SS3.p2.6.m6.1" class="ltx_Math" alttext="0.1" display="inline"><semantics id="A11.SS3.p2.6.m6.1a"><mn id="A11.SS3.p2.6.m6.1.1" xref="A11.SS3.p2.6.m6.1.1.cmml">0.1</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.6.m6.1b"><cn type="float" id="A11.SS3.p2.6.m6.1.1.cmml" xref="A11.SS3.p2.6.m6.1.1">0.1</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.6.m6.1c">0.1</annotation></semantics></math> for the first epoch to <math id="A11.SS3.p2.7.m7.1" class="ltx_Math" alttext="0.01" display="inline"><semantics id="A11.SS3.p2.7.m7.1a"><mn id="A11.SS3.p2.7.m7.1.1" xref="A11.SS3.p2.7.m7.1.1.cmml">0.01</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.7.m7.1b"><cn type="float" id="A11.SS3.p2.7.m7.1.1.cmml" xref="A11.SS3.p2.7.m7.1.1">0.01</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.7.m7.1c">0.01</annotation></semantics></math> for the tenth epoch.
The preconditioned gradient norm is clipped to <math id="A11.SS3.p2.8.m8.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A11.SS3.p2.8.m8.1a"><mn id="A11.SS3.p2.8.m8.1.1" xref="A11.SS3.p2.8.m8.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.8.m8.1b"><cn type="integer" id="A11.SS3.p2.8.m8.1.1.cmml" xref="A11.SS3.p2.8.m8.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.8.m8.1c">10</annotation></semantics></math> if too large.
No momentum is used.
Figure 1 summarizes the test classification error rates for preconditioners with different orders of approximations over <math id="A11.SS3.p2.9.m9.1" class="ltx_Math" alttext="50" display="inline"><semantics id="A11.SS3.p2.9.m9.1a"><mn id="A11.SS3.p2.9.m9.1.1" xref="A11.SS3.p2.9.m9.1.1.cmml">50</mn><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.9.m9.1b"><cn type="integer" id="A11.SS3.p2.9.m9.1.1.cmml" xref="A11.SS3.p2.9.m9.1.1">50</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.9.m9.1c">50</annotation></semantics></math> runs.
From Fig. 1, we see that the simple diagonal preconditioner performs well.
Still, LRA brings marginal gains up to order <math id="A11.SS3.p2.10.m10.1" class="ltx_Math" alttext="r=5" display="inline"><semantics id="A11.SS3.p2.10.m10.1a"><mrow id="A11.SS3.p2.10.m10.1.1" xref="A11.SS3.p2.10.m10.1.1.cmml"><mi id="A11.SS3.p2.10.m10.1.1.2" xref="A11.SS3.p2.10.m10.1.1.2.cmml">r</mi><mo id="A11.SS3.p2.10.m10.1.1.1" xref="A11.SS3.p2.10.m10.1.1.1.cmml">=</mo><mn id="A11.SS3.p2.10.m10.1.1.3" xref="A11.SS3.p2.10.m10.1.1.3.cmml">5</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS3.p2.10.m10.1b"><apply id="A11.SS3.p2.10.m10.1.1.cmml" xref="A11.SS3.p2.10.m10.1.1"><eq id="A11.SS3.p2.10.m10.1.1.1.cmml" xref="A11.SS3.p2.10.m10.1.1.1"></eq><ci id="A11.SS3.p2.10.m10.1.1.2.cmml" xref="A11.SS3.p2.10.m10.1.1.2">𝑟</ci><cn type="integer" id="A11.SS3.p2.10.m10.1.1.3.cmml" xref="A11.SS3.p2.10.m10.1.1.3">5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS3.p2.10.m10.1c">r=5</annotation></semantics></math>.
This cost function is fairly ‘flat’ since the only nonlinearities in LeNet5 are two piece-wise linear functions, i.e., the activation function ReLU and max pooling one.
Only the cross entropy loss introduces the ‘curvature’.</p>
</div>
<figure id="A11.F7" class="ltx_figure"><img src="/html/2402.04553/assets/Figs/mnist.eps" id="A11.F7.g1" class="ltx_graphics ltx_centering" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F7.8.4.1" class="ltx_text" style="font-size:90%;">Figure 7</span>: </span><span id="A11.F7.6.3" class="ltx_text" style="font-size:90%;">MNIST test classification error rates over <math id="A11.F7.4.1.m1.1" class="ltx_Math" alttext="50" display="inline"><semantics id="A11.F7.4.1.m1.1b"><mn id="A11.F7.4.1.m1.1.1" xref="A11.F7.4.1.m1.1.1.cmml">50</mn><annotation-xml encoding="MathML-Content" id="A11.F7.4.1.m1.1c"><cn type="integer" id="A11.F7.4.1.m1.1.1.cmml" xref="A11.F7.4.1.m1.1.1">50</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.F7.4.1.m1.1d">50</annotation></semantics></math> runs using preconditioners with different orders of LRA. The one with order <math id="A11.F7.5.2.m2.1" class="ltx_Math" alttext="0" display="inline"><semantics id="A11.F7.5.2.m2.1b"><mn id="A11.F7.5.2.m2.1.1" xref="A11.F7.5.2.m2.1.1.cmml">0</mn><annotation-xml encoding="MathML-Content" id="A11.F7.5.2.m2.1c"><cn type="integer" id="A11.F7.5.2.m2.1.1.cmml" xref="A11.F7.5.2.m2.1.1">0</cn></annotation-xml></semantics></math> reduces to the diagonal preconditioner.
Table 1 reports results of classification accuracy for <math id="A11.F7.6.3.m3.1" class="ltx_Math" alttext="r=5" display="inline"><semantics id="A11.F7.6.3.m3.1b"><mrow id="A11.F7.6.3.m3.1.1" xref="A11.F7.6.3.m3.1.1.cmml"><mi id="A11.F7.6.3.m3.1.1.2" xref="A11.F7.6.3.m3.1.1.2.cmml">r</mi><mo id="A11.F7.6.3.m3.1.1.1" xref="A11.F7.6.3.m3.1.1.1.cmml">=</mo><mn id="A11.F7.6.3.m3.1.1.3" xref="A11.F7.6.3.m3.1.1.3.cmml">5</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.F7.6.3.m3.1c"><apply id="A11.F7.6.3.m3.1.1.cmml" xref="A11.F7.6.3.m3.1.1"><eq id="A11.F7.6.3.m3.1.1.1.cmml" xref="A11.F7.6.3.m3.1.1.1"></eq><ci id="A11.F7.6.3.m3.1.1.2.cmml" xref="A11.F7.6.3.m3.1.1.2">𝑟</ci><cn type="integer" id="A11.F7.6.3.m3.1.1.3.cmml" xref="A11.F7.6.3.m3.1.1.3">5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.F7.6.3.m3.1d">r=5</annotation></semantics></math>. Higher is better. </span></figcaption>
</figure>
</section>
<section id="A11.SS4" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.4 </span>Toy Example: Investigating the Flatness of SAM based solution</h3>

<figure id="A11.F8" class="ltx_figure"><img src="/html/2402.04553/assets/x3.png" id="A11.F8.g1" class="ltx_graphics ltx_centering ltx_img_square" width="232" height="225" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F8.5.2.1" class="ltx_text" style="font-size:90%;">Figure 8</span>: </span><span id="A11.F8.2.1" class="ltx_text" style="font-size:90%;">(Adam,<span id="A11.F8.2.1.1" class="ltx_text" style="color:#0000FF;">ASAM</span>)<math id="A11.F8.2.1.m1.1" class="ltx_Math" alttext="\rightarrow" display="inline"><semantics id="A11.F8.2.1.m1.1b"><mo stretchy="false" id="A11.F8.2.1.m1.1.1" xref="A11.F8.2.1.m1.1.1.cmml">→</mo><annotation-xml encoding="MathML-Content" id="A11.F8.2.1.m1.1c"><ci id="A11.F8.2.1.m1.1.1.cmml" xref="A11.F8.2.1.m1.1.1">→</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.F8.2.1.m1.1d">\rightarrow</annotation></semantics></math> PSGD: MNIST hand written digit recognition with LeNet5. Hessians at the minima of Adam are estimated with a dummy LRA PSGD optimizer that only updates the preconditioner.</span></figcaption>
</figure>
<div id="A11.SS4.p1" class="ltx_para">
<p id="A11.SS4.p1.2" class="ltx_p">Very recently sharpness-aware minimization (SAM) based optimizers have become a popular area of research. We were interested to see if PSGD compares to SAM in a toy MNIST LeNet5 classification task. We discussed in <a href="#S5.SS1" title="5.1 Performance Study with Toy Examples ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5.1</span></a>, how the smaller the <math id="A11.SS4.p1.1.m1.1" class="ltx_Math" alttext="-logdet(P)" display="inline"><semantics id="A11.SS4.p1.1.m1.1a"><mrow id="A11.SS4.p1.1.m1.1.2" xref="A11.SS4.p1.1.m1.1.2.cmml"><mo id="A11.SS4.p1.1.m1.1.2a" xref="A11.SS4.p1.1.m1.1.2.cmml">−</mo><mrow id="A11.SS4.p1.1.m1.1.2.2" xref="A11.SS4.p1.1.m1.1.2.2.cmml"><mi id="A11.SS4.p1.1.m1.1.2.2.2" xref="A11.SS4.p1.1.m1.1.2.2.2.cmml">l</mi><mo lspace="0em" rspace="0em" id="A11.SS4.p1.1.m1.1.2.2.1" xref="A11.SS4.p1.1.m1.1.2.2.1.cmml">​</mo><mi id="A11.SS4.p1.1.m1.1.2.2.3" xref="A11.SS4.p1.1.m1.1.2.2.3.cmml">o</mi><mo lspace="0em" rspace="0em" id="A11.SS4.p1.1.m1.1.2.2.1a" xref="A11.SS4.p1.1.m1.1.2.2.1.cmml">​</mo><mi id="A11.SS4.p1.1.m1.1.2.2.4" xref="A11.SS4.p1.1.m1.1.2.2.4.cmml">g</mi><mo lspace="0em" rspace="0em" id="A11.SS4.p1.1.m1.1.2.2.1b" xref="A11.SS4.p1.1.m1.1.2.2.1.cmml">​</mo><mi id="A11.SS4.p1.1.m1.1.2.2.5" xref="A11.SS4.p1.1.m1.1.2.2.5.cmml">d</mi><mo lspace="0em" rspace="0em" id="A11.SS4.p1.1.m1.1.2.2.1c" xref="A11.SS4.p1.1.m1.1.2.2.1.cmml">​</mo><mi id="A11.SS4.p1.1.m1.1.2.2.6" xref="A11.SS4.p1.1.m1.1.2.2.6.cmml">e</mi><mo lspace="0em" rspace="0em" id="A11.SS4.p1.1.m1.1.2.2.1d" xref="A11.SS4.p1.1.m1.1.2.2.1.cmml">​</mo><mi id="A11.SS4.p1.1.m1.1.2.2.7" xref="A11.SS4.p1.1.m1.1.2.2.7.cmml">t</mi><mo lspace="0em" rspace="0em" id="A11.SS4.p1.1.m1.1.2.2.1e" xref="A11.SS4.p1.1.m1.1.2.2.1.cmml">​</mo><mrow id="A11.SS4.p1.1.m1.1.2.2.8.2" xref="A11.SS4.p1.1.m1.1.2.2.cmml"><mo stretchy="false" id="A11.SS4.p1.1.m1.1.2.2.8.2.1" xref="A11.SS4.p1.1.m1.1.2.2.cmml">(</mo><mi id="A11.SS4.p1.1.m1.1.1" xref="A11.SS4.p1.1.m1.1.1.cmml">P</mi><mo stretchy="false" id="A11.SS4.p1.1.m1.1.2.2.8.2.2" xref="A11.SS4.p1.1.m1.1.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS4.p1.1.m1.1b"><apply id="A11.SS4.p1.1.m1.1.2.cmml" xref="A11.SS4.p1.1.m1.1.2"><minus id="A11.SS4.p1.1.m1.1.2.1.cmml" xref="A11.SS4.p1.1.m1.1.2"></minus><apply id="A11.SS4.p1.1.m1.1.2.2.cmml" xref="A11.SS4.p1.1.m1.1.2.2"><times id="A11.SS4.p1.1.m1.1.2.2.1.cmml" xref="A11.SS4.p1.1.m1.1.2.2.1"></times><ci id="A11.SS4.p1.1.m1.1.2.2.2.cmml" xref="A11.SS4.p1.1.m1.1.2.2.2">𝑙</ci><ci id="A11.SS4.p1.1.m1.1.2.2.3.cmml" xref="A11.SS4.p1.1.m1.1.2.2.3">𝑜</ci><ci id="A11.SS4.p1.1.m1.1.2.2.4.cmml" xref="A11.SS4.p1.1.m1.1.2.2.4">𝑔</ci><ci id="A11.SS4.p1.1.m1.1.2.2.5.cmml" xref="A11.SS4.p1.1.m1.1.2.2.5">𝑑</ci><ci id="A11.SS4.p1.1.m1.1.2.2.6.cmml" xref="A11.SS4.p1.1.m1.1.2.2.6">𝑒</ci><ci id="A11.SS4.p1.1.m1.1.2.2.7.cmml" xref="A11.SS4.p1.1.m1.1.2.2.7">𝑡</ci><ci id="A11.SS4.p1.1.m1.1.1.cmml" xref="A11.SS4.p1.1.m1.1.1">𝑃</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS4.p1.1.m1.1c">-logdet(P)</annotation></semantics></math> of a NN is, the flatter the solution found by the optimizers. Since SAM has been specifically designed to find flat optima we would like to compare. Fig. <a href="#A11.F8" title="Figure 8 ‣ K.4 Toy Example: Investigating the Flatness of SAM based solution ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">8</span></a> shows ten pairs of minima, each starting from the same random initial initialization. We see that PSGD converges to minima with flatter or smaller Hessian, i.e., larger preconditioners. From the view of information theory, the total cross entropy and <math id="A11.SS4.p1.2.m2.2" class="ltx_Math" alttext="0.5\log\det(H)\approx-0.5\log\det(P)" display="inline"><semantics id="A11.SS4.p1.2.m2.2a"><mrow id="A11.SS4.p1.2.m2.2.3" xref="A11.SS4.p1.2.m2.2.3.cmml"><mrow id="A11.SS4.p1.2.m2.2.3.2" xref="A11.SS4.p1.2.m2.2.3.2.cmml"><mn id="A11.SS4.p1.2.m2.2.3.2.2" xref="A11.SS4.p1.2.m2.2.3.2.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="A11.SS4.p1.2.m2.2.3.2.1" xref="A11.SS4.p1.2.m2.2.3.2.1.cmml">​</mo><mi id="A11.SS4.p1.2.m2.2.3.2.3" xref="A11.SS4.p1.2.m2.2.3.2.3.cmml">log</mi><mo lspace="0.167em" rspace="0em" id="A11.SS4.p1.2.m2.2.3.2.1a" xref="A11.SS4.p1.2.m2.2.3.2.1.cmml">​</mo><mrow id="A11.SS4.p1.2.m2.2.3.2.4" xref="A11.SS4.p1.2.m2.2.3.2.4.cmml"><mo rspace="0em" id="A11.SS4.p1.2.m2.2.3.2.4.1" xref="A11.SS4.p1.2.m2.2.3.2.4.1.cmml">det</mo><mrow id="A11.SS4.p1.2.m2.2.3.2.4.2.2" xref="A11.SS4.p1.2.m2.2.3.2.4.cmml"><mo stretchy="false" id="A11.SS4.p1.2.m2.2.3.2.4.2.2.1" xref="A11.SS4.p1.2.m2.2.3.2.4.cmml">(</mo><mi id="A11.SS4.p1.2.m2.1.1" xref="A11.SS4.p1.2.m2.1.1.cmml">H</mi><mo stretchy="false" id="A11.SS4.p1.2.m2.2.3.2.4.2.2.2" xref="A11.SS4.p1.2.m2.2.3.2.4.cmml">)</mo></mrow></mrow></mrow><mo id="A11.SS4.p1.2.m2.2.3.1" xref="A11.SS4.p1.2.m2.2.3.1.cmml">≈</mo><mrow id="A11.SS4.p1.2.m2.2.3.3" xref="A11.SS4.p1.2.m2.2.3.3.cmml"><mo id="A11.SS4.p1.2.m2.2.3.3a" xref="A11.SS4.p1.2.m2.2.3.3.cmml">−</mo><mrow id="A11.SS4.p1.2.m2.2.3.3.2" xref="A11.SS4.p1.2.m2.2.3.3.2.cmml"><mn id="A11.SS4.p1.2.m2.2.3.3.2.2" xref="A11.SS4.p1.2.m2.2.3.3.2.2.cmml">0.5</mn><mo lspace="0.167em" rspace="0em" id="A11.SS4.p1.2.m2.2.3.3.2.1" xref="A11.SS4.p1.2.m2.2.3.3.2.1.cmml">​</mo><mi id="A11.SS4.p1.2.m2.2.3.3.2.3" xref="A11.SS4.p1.2.m2.2.3.3.2.3.cmml">log</mi><mo lspace="0.167em" rspace="0em" id="A11.SS4.p1.2.m2.2.3.3.2.1a" xref="A11.SS4.p1.2.m2.2.3.3.2.1.cmml">​</mo><mrow id="A11.SS4.p1.2.m2.2.3.3.2.4" xref="A11.SS4.p1.2.m2.2.3.3.2.4.cmml"><mo rspace="0em" id="A11.SS4.p1.2.m2.2.3.3.2.4.1" xref="A11.SS4.p1.2.m2.2.3.3.2.4.1.cmml">det</mo><mrow id="A11.SS4.p1.2.m2.2.3.3.2.4.2.2" xref="A11.SS4.p1.2.m2.2.3.3.2.4.cmml"><mo stretchy="false" id="A11.SS4.p1.2.m2.2.3.3.2.4.2.2.1" xref="A11.SS4.p1.2.m2.2.3.3.2.4.cmml">(</mo><mi id="A11.SS4.p1.2.m2.2.2" xref="A11.SS4.p1.2.m2.2.2.cmml">P</mi><mo stretchy="false" id="A11.SS4.p1.2.m2.2.3.3.2.4.2.2.2" xref="A11.SS4.p1.2.m2.2.3.3.2.4.cmml">)</mo></mrow></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS4.p1.2.m2.2b"><apply id="A11.SS4.p1.2.m2.2.3.cmml" xref="A11.SS4.p1.2.m2.2.3"><approx id="A11.SS4.p1.2.m2.2.3.1.cmml" xref="A11.SS4.p1.2.m2.2.3.1"></approx><apply id="A11.SS4.p1.2.m2.2.3.2.cmml" xref="A11.SS4.p1.2.m2.2.3.2"><times id="A11.SS4.p1.2.m2.2.3.2.1.cmml" xref="A11.SS4.p1.2.m2.2.3.2.1"></times><cn type="float" id="A11.SS4.p1.2.m2.2.3.2.2.cmml" xref="A11.SS4.p1.2.m2.2.3.2.2">0.5</cn><log id="A11.SS4.p1.2.m2.2.3.2.3.cmml" xref="A11.SS4.p1.2.m2.2.3.2.3"></log><apply id="A11.SS4.p1.2.m2.2.3.2.4.cmml" xref="A11.SS4.p1.2.m2.2.3.2.4"><determinant id="A11.SS4.p1.2.m2.2.3.2.4.1.cmml" xref="A11.SS4.p1.2.m2.2.3.2.4.1"></determinant><ci id="A11.SS4.p1.2.m2.1.1.cmml" xref="A11.SS4.p1.2.m2.1.1">𝐻</ci></apply></apply><apply id="A11.SS4.p1.2.m2.2.3.3.cmml" xref="A11.SS4.p1.2.m2.2.3.3"><minus id="A11.SS4.p1.2.m2.2.3.3.1.cmml" xref="A11.SS4.p1.2.m2.2.3.3"></minus><apply id="A11.SS4.p1.2.m2.2.3.3.2.cmml" xref="A11.SS4.p1.2.m2.2.3.3.2"><times id="A11.SS4.p1.2.m2.2.3.3.2.1.cmml" xref="A11.SS4.p1.2.m2.2.3.3.2.1"></times><cn type="float" id="A11.SS4.p1.2.m2.2.3.3.2.2.cmml" xref="A11.SS4.p1.2.m2.2.3.3.2.2">0.5</cn><log id="A11.SS4.p1.2.m2.2.3.3.2.3.cmml" xref="A11.SS4.p1.2.m2.2.3.3.2.3"></log><apply id="A11.SS4.p1.2.m2.2.3.3.2.4.cmml" xref="A11.SS4.p1.2.m2.2.3.3.2.4"><determinant id="A11.SS4.p1.2.m2.2.3.3.2.4.1.cmml" xref="A11.SS4.p1.2.m2.2.3.3.2.4.1"></determinant><ci id="A11.SS4.p1.2.m2.2.2.cmml" xref="A11.SS4.p1.2.m2.2.2">𝑃</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS4.p1.2.m2.2c">0.5\log\det(H)\approx-0.5\log\det(P)</annotation></semantics></math> are good proxies of the description lengths of the train image-label pairs and model parameters, respectively. Fig. <a href="#A11.F8" title="Figure 8 ‣ K.4 Toy Example: Investigating the Flatness of SAM based solution ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">8</span></a> shows that minima with smaller description lengths tend to perform better on the test sets as well, suggested by an arrow pointing to the down-left-front corner of the cube.</p>
</div>
<div id="A11.SS4.p2" class="ltx_para">
<p id="A11.SS4.p2.1" class="ltx_p">This shows that we can actually find flatter minima compared to SAM-based optimizers without explicitly optimizing for them.</p>
</div>
<section id="A11.SS4.SSSx1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">Wall-Clock Timings</h4>

<div id="A11.SS4.SSSx1.p1" class="ltx_para">
<p id="A11.SS4.SSSx1.p1.1" class="ltx_p">Theoretically, one Hessian-vector evaluation doubles the complexity of one gradient evaluation, since we do this with a probability of 0.1, the per iteration complexity of PSGD becomes (1+0.1*2) = 1.2 times that of SGD. Empirical timings for LeNet5 added in the general response (Figure <a href="#A11.F9" title="Figure 9 ‣ Wall-Clock Timings ‣ K.4 Toy Example: Investigating the Flatness of SAM based solution ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">9</span></a>) align with the theoretical calculation. We see that PSGD LRA (Low-Rank Hessian Approximation) with a rank of 10’s overhead is minimal compared to SGD and is 2x faster than AdaHessian which uses a diagonal Hessian estimate.</p>
</div>
<figure id="A11.F9" class="ltx_figure"><img src="/html/2402.04553/assets/x4.png" id="A11.F9.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="266" height="203" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F9.2.1.1" class="ltx_text" style="font-size:90%;">Figure 9</span>: </span><span id="A11.F9.3.2" class="ltx_text" style="font-size:90%;">Wall-Time: LeNet5 Comparing SGD, PSGD, and AdaHessian. We see that PSGD UVd (rank 10 Hessian estimate) takes 1.2x the time of SGD but finds a better solution. AdaHessian (Hessian diagonal estimate) takes 2x to complete the run and reaches an error rate compared to both SGD and PSGD. </span></figcaption>
</figure>
</section>
</section>
<section id="A11.SSx2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">Dynamics of Preconditioner</h3>

<div id="A11.SSx2.p1" class="ltx_para">
<p id="A11.SSx2.p1.3" class="ltx_p">The dynamics of the preconditioner depend on the specific network structure and task to study. Suppose we start from a moderate initial guess for the preconditioner (by default it is set to 1). For many tasks, we have observed that the max eigenvalue of the preconditioner keeps increasing until saturation to a point during the whole learning process. As the maximum eigenvalue <math id="A11.SSx2.p1.1.m1.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A11.SSx2.p1.1.m1.1a"><mi id="A11.SSx2.p1.1.m1.1.1" xref="A11.SSx2.p1.1.m1.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A11.SSx2.p1.1.m1.1b"><ci id="A11.SSx2.p1.1.m1.1.1.cmml" xref="A11.SSx2.p1.1.m1.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx2.p1.1.m1.1c">P</annotation></semantics></math> of corresponds to the inverse of the minimum eigenvalue of <math id="A11.SSx2.p1.2.m2.1" class="ltx_Math" alttext="H" display="inline"><semantics id="A11.SSx2.p1.2.m2.1a"><mi id="A11.SSx2.p1.2.m2.1.1" xref="A11.SSx2.p1.2.m2.1.1.cmml">H</mi><annotation-xml encoding="MathML-Content" id="A11.SSx2.p1.2.m2.1b"><ci id="A11.SSx2.p1.2.m2.1.1.cmml" xref="A11.SSx2.p1.2.m2.1.1">𝐻</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx2.p1.2.m2.1c">H</annotation></semantics></math>, this is expected for over-parameterized NNs as their minimum eigenvalue approaches 0. The minimum eigenvalue of <math id="A11.SSx2.p1.3.m3.1" class="ltx_Math" alttext="P" display="inline"><semantics id="A11.SSx2.p1.3.m3.1a"><mi id="A11.SSx2.p1.3.m3.1.1" xref="A11.SSx2.p1.3.m3.1.1.cmml">P</mi><annotation-xml encoding="MathML-Content" id="A11.SSx2.p1.3.m3.1b"><ci id="A11.SSx2.p1.3.m3.1.1.cmml" xref="A11.SSx2.p1.3.m3.1.1">𝑃</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SSx2.p1.3.m3.1c">P</annotation></semantics></math> first increases during the early stages of learning, and then eventually drops and settles down on a small value, suggesting parameters are locked along those eigenvector directions associated with small eigenvalues. These empirical results coincide with independent findings from many authors showing that network learning has two stages: the early growing one and the latter refining one. We showed the dynamics of the preconditioner on the LeNet5 (see Figure <a href="#A11.F10" title="Figure 10 ‣ Dynamics of Preconditioner ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">10</span></a>). For this specific task, the min eigenvalue occasionally drops but keeps increasing during the last stage of learning due to the vanishing Hessian phenomena when the train cross-entropy loss approaches zero (meaning the absolute logistic outputs can be scaled to be arbitrarily large, thus gradient and Hessian all approaching 0 on the train set).</p>
</div>
<figure id="A11.F10" class="ltx_figure"><img src="/html/2402.04553/assets/x5.png" id="A11.F10.g1" class="ltx_graphics ltx_centering ltx_img_square" width="398" height="322" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F10.2.1.1" class="ltx_text" style="font-size:90%;">Figure 10</span>: </span><span id="A11.F10.3.2" class="ltx_text" style="font-size:90%;">Dynamics of Preconditioner for LeNet5: The max eigenvalue of preconditioner keeps increasing until saturation to a point during the whole learning process. For this specific task, the min eigenvalue also keeps increasing during the last stage of learning due to the vanishing Hessian phenomena when the train cross-entropy loss approaches zero.</span></figcaption>
</figure>
</section>
<section id="A11.SS5" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.5 </span>CIFAR10 Image Classification with ResNet18</h3>

<div id="A11.SS5.p1" class="ltx_para">
<p id="A11.SS5.p1.2" class="ltx_p">We follow the implementations of Adabelief<span id="footnote2" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">2</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">2</sup><span class="ltx_tag ltx_tag_note">2</span>https://github.com/juntang-zhuang/Adabelief-Optimizer</span></span></span> algorithm <cite class="ltx_cite ltx_citemacro_citep">[Zhuang et al., <a href="#bib.bib51" title="" class="ltx_ref">2020</a>]</cite> to test preconditioned SGD (PSGD) on the CIFAR10 image classification task with the ResNet18 model.
One main difference from the implementations in <cite class="ltx_cite ltx_citemacro_citep">[Zhuang et al., <a href="#bib.bib51" title="" class="ltx_ref">2020</a>]</cite> is that we reduce the learning rate by tenfold twice for all the optimizers, while the original stage learning rate scheduler only anneals the step size once.
We also consider the cosine learning rate scheduler, which helps SGD to achieve the state-of-the-art (SOTA) test accuracy about <math id="A11.SS5.p1.1.m1.1" class="ltx_Math" alttext="95.5\%" display="inline"><semantics id="A11.SS5.p1.1.m1.1a"><mrow id="A11.SS5.p1.1.m1.1.1" xref="A11.SS5.p1.1.m1.1.1.cmml"><mn id="A11.SS5.p1.1.m1.1.1.2" xref="A11.SS5.p1.1.m1.1.1.2.cmml">95.5</mn><mo id="A11.SS5.p1.1.m1.1.1.1" xref="A11.SS5.p1.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS5.p1.1.m1.1b"><apply id="A11.SS5.p1.1.m1.1.1.cmml" xref="A11.SS5.p1.1.m1.1.1"><csymbol cd="latexml" id="A11.SS5.p1.1.m1.1.1.1.cmml" xref="A11.SS5.p1.1.m1.1.1.1">percent</csymbol><cn type="float" id="A11.SS5.p1.1.m1.1.1.2.cmml" xref="A11.SS5.p1.1.m1.1.1.2">95.5</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p1.1.m1.1c">95.5\%</annotation></semantics></math>.
Training and testing accuracy convergence curves over <math id="A11.SS5.p1.2.m2.1" class="ltx_Math" alttext="16" display="inline"><semantics id="A11.SS5.p1.2.m2.1a"><mn id="A11.SS5.p1.2.m2.1.1" xref="A11.SS5.p1.2.m2.1.1.cmml">16</mn><annotation-xml encoding="MathML-Content" id="A11.SS5.p1.2.m2.1b"><cn type="integer" id="A11.SS5.p1.2.m2.1.1.cmml" xref="A11.SS5.p1.2.m2.1.1">16</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p1.2.m2.1c">16</annotation></semantics></math> runs are plotted in Fig. <a href="#A11.F11" title="Figure 11 ‣ PSGD is robust to hyper-parameters ‣ K.5 CIFAR10 Image Classification with ResNet18 ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">11</span></a>.
We only show the results of PSGD and SGD here as SGD is known to achieve the SOTA results for this problem.</p>
</div>
<div id="A11.SS5.p2" class="ltx_para">
<p id="A11.SS5.p2.9" class="ltx_p">For PSGD, we use step size <math id="A11.SS5.p2.1.m1.1" class="ltx_Math" alttext="0.02" display="inline"><semantics id="A11.SS5.p2.1.m1.1a"><mn id="A11.SS5.p2.1.m1.1.1" xref="A11.SS5.p2.1.m1.1.1.cmml">0.02</mn><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.1.m1.1b"><cn type="float" id="A11.SS5.p2.1.m1.1.1.cmml" xref="A11.SS5.p2.1.m1.1.1">0.02</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.1.m1.1c">0.02</annotation></semantics></math> for parameter updating and <math id="A11.SS5.p2.2.m2.1" class="ltx_Math" alttext="0.01" display="inline"><semantics id="A11.SS5.p2.2.m2.1a"><mn id="A11.SS5.p2.2.m2.1.1" xref="A11.SS5.p2.2.m2.1.1.cmml">0.01</mn><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.2.m2.1b"><cn type="float" id="A11.SS5.p2.2.m2.1.1.cmml" xref="A11.SS5.p2.2.m2.1.1">0.01</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.2.m2.1c">0.01</annotation></semantics></math> for preconditioner fitting.
The preconditioner is only updated once per ten iterations, and thus its overhead over SGD is marginal.
The same momentum factor, <math id="A11.SS5.p2.3.m3.1" class="ltx_Math" alttext="0.9" display="inline"><semantics id="A11.SS5.p2.3.m3.1a"><mn id="A11.SS5.p2.3.m3.1.1" xref="A11.SS5.p2.3.m3.1.1.cmml">0.9</mn><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.3.m3.1b"><cn type="float" id="A11.SS5.p2.3.m3.1.1.cmml" xref="A11.SS5.p2.3.m3.1.1">0.9</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.3.m3.1c">0.9</annotation></semantics></math>, is used for both SGD and PSGD.
Since the step size in PSGD is normalized, we update the momentum as <math id="A11.SS5.p2.4.m4.1" class="ltx_Math" alttext="m\leftarrow 0.9m+0.1g" display="inline"><semantics id="A11.SS5.p2.4.m4.1a"><mrow id="A11.SS5.p2.4.m4.1.1" xref="A11.SS5.p2.4.m4.1.1.cmml"><mi id="A11.SS5.p2.4.m4.1.1.2" xref="A11.SS5.p2.4.m4.1.1.2.cmml">m</mi><mo stretchy="false" id="A11.SS5.p2.4.m4.1.1.1" xref="A11.SS5.p2.4.m4.1.1.1.cmml">←</mo><mrow id="A11.SS5.p2.4.m4.1.1.3" xref="A11.SS5.p2.4.m4.1.1.3.cmml"><mrow id="A11.SS5.p2.4.m4.1.1.3.2" xref="A11.SS5.p2.4.m4.1.1.3.2.cmml"><mn id="A11.SS5.p2.4.m4.1.1.3.2.2" xref="A11.SS5.p2.4.m4.1.1.3.2.2.cmml">0.9</mn><mo lspace="0em" rspace="0em" id="A11.SS5.p2.4.m4.1.1.3.2.1" xref="A11.SS5.p2.4.m4.1.1.3.2.1.cmml">​</mo><mi id="A11.SS5.p2.4.m4.1.1.3.2.3" xref="A11.SS5.p2.4.m4.1.1.3.2.3.cmml">m</mi></mrow><mo id="A11.SS5.p2.4.m4.1.1.3.1" xref="A11.SS5.p2.4.m4.1.1.3.1.cmml">+</mo><mrow id="A11.SS5.p2.4.m4.1.1.3.3" xref="A11.SS5.p2.4.m4.1.1.3.3.cmml"><mn id="A11.SS5.p2.4.m4.1.1.3.3.2" xref="A11.SS5.p2.4.m4.1.1.3.3.2.cmml">0.1</mn><mo lspace="0em" rspace="0em" id="A11.SS5.p2.4.m4.1.1.3.3.1" xref="A11.SS5.p2.4.m4.1.1.3.3.1.cmml">​</mo><mi id="A11.SS5.p2.4.m4.1.1.3.3.3" xref="A11.SS5.p2.4.m4.1.1.3.3.3.cmml">g</mi></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.4.m4.1b"><apply id="A11.SS5.p2.4.m4.1.1.cmml" xref="A11.SS5.p2.4.m4.1.1"><ci id="A11.SS5.p2.4.m4.1.1.1.cmml" xref="A11.SS5.p2.4.m4.1.1.1">←</ci><ci id="A11.SS5.p2.4.m4.1.1.2.cmml" xref="A11.SS5.p2.4.m4.1.1.2">𝑚</ci><apply id="A11.SS5.p2.4.m4.1.1.3.cmml" xref="A11.SS5.p2.4.m4.1.1.3"><plus id="A11.SS5.p2.4.m4.1.1.3.1.cmml" xref="A11.SS5.p2.4.m4.1.1.3.1"></plus><apply id="A11.SS5.p2.4.m4.1.1.3.2.cmml" xref="A11.SS5.p2.4.m4.1.1.3.2"><times id="A11.SS5.p2.4.m4.1.1.3.2.1.cmml" xref="A11.SS5.p2.4.m4.1.1.3.2.1"></times><cn type="float" id="A11.SS5.p2.4.m4.1.1.3.2.2.cmml" xref="A11.SS5.p2.4.m4.1.1.3.2.2">0.9</cn><ci id="A11.SS5.p2.4.m4.1.1.3.2.3.cmml" xref="A11.SS5.p2.4.m4.1.1.3.2.3">𝑚</ci></apply><apply id="A11.SS5.p2.4.m4.1.1.3.3.cmml" xref="A11.SS5.p2.4.m4.1.1.3.3"><times id="A11.SS5.p2.4.m4.1.1.3.3.1.cmml" xref="A11.SS5.p2.4.m4.1.1.3.3.1"></times><cn type="float" id="A11.SS5.p2.4.m4.1.1.3.3.2.cmml" xref="A11.SS5.p2.4.m4.1.1.3.3.2">0.1</cn><ci id="A11.SS5.p2.4.m4.1.1.3.3.3.cmml" xref="A11.SS5.p2.4.m4.1.1.3.3.3">𝑔</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.4.m4.1c">m\leftarrow 0.9m+0.1g</annotation></semantics></math>, instead of <math id="A11.SS5.p2.5.m5.1" class="ltx_Math" alttext="m\leftarrow 0.9m+g" display="inline"><semantics id="A11.SS5.p2.5.m5.1a"><mrow id="A11.SS5.p2.5.m5.1.1" xref="A11.SS5.p2.5.m5.1.1.cmml"><mi id="A11.SS5.p2.5.m5.1.1.2" xref="A11.SS5.p2.5.m5.1.1.2.cmml">m</mi><mo stretchy="false" id="A11.SS5.p2.5.m5.1.1.1" xref="A11.SS5.p2.5.m5.1.1.1.cmml">←</mo><mrow id="A11.SS5.p2.5.m5.1.1.3" xref="A11.SS5.p2.5.m5.1.1.3.cmml"><mrow id="A11.SS5.p2.5.m5.1.1.3.2" xref="A11.SS5.p2.5.m5.1.1.3.2.cmml"><mn id="A11.SS5.p2.5.m5.1.1.3.2.2" xref="A11.SS5.p2.5.m5.1.1.3.2.2.cmml">0.9</mn><mo lspace="0em" rspace="0em" id="A11.SS5.p2.5.m5.1.1.3.2.1" xref="A11.SS5.p2.5.m5.1.1.3.2.1.cmml">​</mo><mi id="A11.SS5.p2.5.m5.1.1.3.2.3" xref="A11.SS5.p2.5.m5.1.1.3.2.3.cmml">m</mi></mrow><mo id="A11.SS5.p2.5.m5.1.1.3.1" xref="A11.SS5.p2.5.m5.1.1.3.1.cmml">+</mo><mi id="A11.SS5.p2.5.m5.1.1.3.3" xref="A11.SS5.p2.5.m5.1.1.3.3.cmml">g</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.5.m5.1b"><apply id="A11.SS5.p2.5.m5.1.1.cmml" xref="A11.SS5.p2.5.m5.1.1"><ci id="A11.SS5.p2.5.m5.1.1.1.cmml" xref="A11.SS5.p2.5.m5.1.1.1">←</ci><ci id="A11.SS5.p2.5.m5.1.1.2.cmml" xref="A11.SS5.p2.5.m5.1.1.2">𝑚</ci><apply id="A11.SS5.p2.5.m5.1.1.3.cmml" xref="A11.SS5.p2.5.m5.1.1.3"><plus id="A11.SS5.p2.5.m5.1.1.3.1.cmml" xref="A11.SS5.p2.5.m5.1.1.3.1"></plus><apply id="A11.SS5.p2.5.m5.1.1.3.2.cmml" xref="A11.SS5.p2.5.m5.1.1.3.2"><times id="A11.SS5.p2.5.m5.1.1.3.2.1.cmml" xref="A11.SS5.p2.5.m5.1.1.3.2.1"></times><cn type="float" id="A11.SS5.p2.5.m5.1.1.3.2.2.cmml" xref="A11.SS5.p2.5.m5.1.1.3.2.2">0.9</cn><ci id="A11.SS5.p2.5.m5.1.1.3.2.3.cmml" xref="A11.SS5.p2.5.m5.1.1.3.2.3">𝑚</ci></apply><ci id="A11.SS5.p2.5.m5.1.1.3.3.cmml" xref="A11.SS5.p2.5.m5.1.1.3.3">𝑔</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.5.m5.1c">m\leftarrow 0.9m+g</annotation></semantics></math> as in the SGD.
No gradient clipping is used.
Weight decay is realized by adding the L2 regularization term <math id="A11.SS5.p2.6.m6.1" class="ltx_Math" alttext="0.5\lambda\theta^{T}\theta" display="inline"><semantics id="A11.SS5.p2.6.m6.1a"><mrow id="A11.SS5.p2.6.m6.1.1" xref="A11.SS5.p2.6.m6.1.1.cmml"><mn id="A11.SS5.p2.6.m6.1.1.2" xref="A11.SS5.p2.6.m6.1.1.2.cmml">0.5</mn><mo lspace="0em" rspace="0em" id="A11.SS5.p2.6.m6.1.1.1" xref="A11.SS5.p2.6.m6.1.1.1.cmml">​</mo><mi id="A11.SS5.p2.6.m6.1.1.3" xref="A11.SS5.p2.6.m6.1.1.3.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A11.SS5.p2.6.m6.1.1.1a" xref="A11.SS5.p2.6.m6.1.1.1.cmml">​</mo><msup id="A11.SS5.p2.6.m6.1.1.4" xref="A11.SS5.p2.6.m6.1.1.4.cmml"><mi id="A11.SS5.p2.6.m6.1.1.4.2" xref="A11.SS5.p2.6.m6.1.1.4.2.cmml">θ</mi><mi id="A11.SS5.p2.6.m6.1.1.4.3" xref="A11.SS5.p2.6.m6.1.1.4.3.cmml">T</mi></msup><mo lspace="0em" rspace="0em" id="A11.SS5.p2.6.m6.1.1.1b" xref="A11.SS5.p2.6.m6.1.1.1.cmml">​</mo><mi id="A11.SS5.p2.6.m6.1.1.5" xref="A11.SS5.p2.6.m6.1.1.5.cmml">θ</mi></mrow><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.6.m6.1b"><apply id="A11.SS5.p2.6.m6.1.1.cmml" xref="A11.SS5.p2.6.m6.1.1"><times id="A11.SS5.p2.6.m6.1.1.1.cmml" xref="A11.SS5.p2.6.m6.1.1.1"></times><cn type="float" id="A11.SS5.p2.6.m6.1.1.2.cmml" xref="A11.SS5.p2.6.m6.1.1.2">0.5</cn><ci id="A11.SS5.p2.6.m6.1.1.3.cmml" xref="A11.SS5.p2.6.m6.1.1.3">𝜆</ci><apply id="A11.SS5.p2.6.m6.1.1.4.cmml" xref="A11.SS5.p2.6.m6.1.1.4"><csymbol cd="ambiguous" id="A11.SS5.p2.6.m6.1.1.4.1.cmml" xref="A11.SS5.p2.6.m6.1.1.4">superscript</csymbol><ci id="A11.SS5.p2.6.m6.1.1.4.2.cmml" xref="A11.SS5.p2.6.m6.1.1.4.2">𝜃</ci><ci id="A11.SS5.p2.6.m6.1.1.4.3.cmml" xref="A11.SS5.p2.6.m6.1.1.4.3">𝑇</ci></apply><ci id="A11.SS5.p2.6.m6.1.1.5.cmml" xref="A11.SS5.p2.6.m6.1.1.5">𝜃</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.6.m6.1c">0.5\lambda\theta^{T}\theta</annotation></semantics></math> to the cross entropy loss.
We have found that <math id="A11.SS5.p2.7.m7.1" class="ltx_Math" alttext="\lambda" display="inline"><semantics id="A11.SS5.p2.7.m7.1a"><mi id="A11.SS5.p2.7.m7.1.1" xref="A11.SS5.p2.7.m7.1.1.cmml">λ</mi><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.7.m7.1b"><ci id="A11.SS5.p2.7.m7.1.1.cmml" xref="A11.SS5.p2.7.m7.1.1">𝜆</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.7.m7.1c">\lambda</annotation></semantics></math> between <math id="A11.SS5.p2.8.m8.1" class="ltx_Math" alttext="0.01" display="inline"><semantics id="A11.SS5.p2.8.m8.1a"><mn id="A11.SS5.p2.8.m8.1.1" xref="A11.SS5.p2.8.m8.1.1.cmml">0.01</mn><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.8.m8.1b"><cn type="float" id="A11.SS5.p2.8.m8.1.1.cmml" xref="A11.SS5.p2.8.m8.1.1">0.01</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.8.m8.1c">0.01</annotation></semantics></math> and <math id="A11.SS5.p2.9.m9.1" class="ltx_Math" alttext="0.02" display="inline"><semantics id="A11.SS5.p2.9.m9.1a"><mn id="A11.SS5.p2.9.m9.1.1" xref="A11.SS5.p2.9.m9.1.1.cmml">0.02</mn><annotation-xml encoding="MathML-Content" id="A11.SS5.p2.9.m9.1b"><cn type="float" id="A11.SS5.p2.9.m9.1.1.cmml" xref="A11.SS5.p2.9.m9.1.1">0.02</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.p2.9.m9.1c">0.02</annotation></semantics></math> performs the best.</p>
</div>
<div id="A11.SS5.p3" class="ltx_para">
<p id="A11.SS5.p3.1" class="ltx_p">From Fig. <a href="#A11.F11" title="Figure 11 ‣ PSGD is robust to hyper-parameters ‣ K.5 CIFAR10 Image Classification with ResNet18 ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">11</span></a>, we observe that
SGD performs very well with the cosine learning rate scheduler.
This is expected as these residual networks are highly evolved to be first-order optimizer-friendly.
The extensive use of piece-wise linear functions, residual connections, and batch normalizations make these models fairly ‘flat’ and resemble shallow models, instead of deep ones <cite class="ltx_cite ltx_citemacro_citep">[Veit et al., <a href="#bib.bib43" title="" class="ltx_ref">2016</a>]</cite>.
Still, PSGD slightly outperforms SGD when we remove the shortcut connections or use a less-tuned learning rate scheduler, e.g., stage one here.</p>
</div>
<section id="A11.SS5.SSSx1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">PSGD is robust to hyper-parameters</h4>

<div id="A11.SS5.SSSx1.p1" class="ltx_para">
<p id="A11.SS5.SSSx1.p1.1" class="ltx_p">To showcase the robustness of PSGD to hyper-parameters we show in table <a href="#A11.T10" title="Table 10 ‣ PSGD is robust to hyper-parameters ‣ K.5 CIFAR10 Image Classification with ResNet18 ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">10</span></a> the test classification accuracy of a ResNet18 trained on CIFAR10 using different learning rates and weight decay.</p>
</div>
<figure id="A11.T10" class="ltx_table">
<table id="A11.T10.2" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.T10.2.1.1" class="ltx_tr">
<th id="A11.T10.2.1.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">PSGD</th>
<th id="A11.T10.2.1.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Learning Rate</th>
<th id="A11.T10.2.1.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Weight Decay</th>
<th id="A11.T10.2.1.1.4" class="ltx_td ltx_nopad_r ltx_align_center ltx_th ltx_th_column ltx_border_tt">Test Accuracy</th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.T10.2.2.1" class="ltx_tr">
<td id="A11.T10.2.2.1.1" class="ltx_td ltx_align_center ltx_border_t">XMat</td>
<td id="A11.T10.2.2.1.2" class="ltx_td ltx_align_center ltx_border_t">2e-2</td>
<td id="A11.T10.2.2.1.3" class="ltx_td ltx_align_center ltx_border_t">2e-2</td>
<td id="A11.T10.2.2.1.4" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_t">95.32</td>
</tr>
<tr id="A11.T10.2.3.2" class="ltx_tr">
<td id="A11.T10.2.3.2.1" class="ltx_td ltx_align_center">LRA</td>
<td id="A11.T10.2.3.2.2" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T10.2.3.2.3" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T10.2.3.2.4" class="ltx_td ltx_nopad_r ltx_align_center">95.69</td>
</tr>
<tr id="A11.T10.2.4.3" class="ltx_tr">
<td id="A11.T10.2.4.3.1" class="ltx_td ltx_align_center">LRA</td>
<td id="A11.T10.2.4.3.2" class="ltx_td ltx_align_center">5e-2</td>
<td id="A11.T10.2.4.3.3" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T10.2.4.3.4" class="ltx_td ltx_nopad_r ltx_align_center">95.48</td>
</tr>
<tr id="A11.T10.2.5.4" class="ltx_tr">
<td id="A11.T10.2.5.4.1" class="ltx_td ltx_align_center">LRA</td>
<td id="A11.T10.2.5.4.2" class="ltx_td ltx_align_center">5e-2</td>
<td id="A11.T10.2.5.4.3" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T10.2.5.4.4" class="ltx_td ltx_nopad_r ltx_align_center">95.46</td>
</tr>
<tr id="A11.T10.2.6.5" class="ltx_tr">
<td id="A11.T10.2.6.5.1" class="ltx_td ltx_align_center">LRA</td>
<td id="A11.T10.2.6.5.2" class="ltx_td ltx_align_center">4e-2</td>
<td id="A11.T10.2.6.5.3" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T10.2.6.5.4" class="ltx_td ltx_nopad_r ltx_align_center">95.55</td>
</tr>
<tr id="A11.T10.2.7.6" class="ltx_tr">
<td id="A11.T10.2.7.6.1" class="ltx_td ltx_align_center">LRA</td>
<td id="A11.T10.2.7.6.2" class="ltx_td ltx_align_center">3e-2</td>
<td id="A11.T10.2.7.6.3" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T10.2.7.6.4" class="ltx_td ltx_nopad_r ltx_align_center">95.57</td>
</tr>
<tr id="A11.T10.2.8.7" class="ltx_tr">
<td id="A11.T10.2.8.7.1" class="ltx_td ltx_align_center">LRA</td>
<td id="A11.T10.2.8.7.2" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T10.2.8.7.3" class="ltx_td ltx_align_center">1e-2</td>
<td id="A11.T10.2.8.7.4" class="ltx_td ltx_nopad_r ltx_align_center">95.45</td>
</tr>
<tr id="A11.T10.2.9.8" class="ltx_tr">
<td id="A11.T10.2.9.8.1" class="ltx_td ltx_align_center ltx_border_bb">LRA</td>
<td id="A11.T10.2.9.8.2" class="ltx_td ltx_align_center ltx_border_bb">2e-2</td>
<td id="A11.T10.2.9.8.3" class="ltx_td ltx_align_center ltx_border_bb">3e-2</td>
<td id="A11.T10.2.9.8.4" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_bb">95.51</td>
</tr>
</tbody>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T10.3.1.1" class="ltx_text" style="font-size:90%;">Table 10</span>: </span><span id="A11.T10.4.2" class="ltx_text" style="font-size:90%;">We see that PSGD is robust to hyper-parameter selection making tuning significantly easier compared to other optimization methods.</span></figcaption>
</figure>
<div id="A11.SS5.SSSx1.p2" class="ltx_para">
<p id="A11.SS5.SSSx1.p2.1" class="ltx_p">We clearly see the test accuracy of PSGD in a wide range of learning rates and weight decay converges within the expected range of <math id="A11.SS5.SSSx1.p2.1.m1.1" class="ltx_Math" alttext="95.49\pm 0.08\%." display="inline"><semantics id="A11.SS5.SSSx1.p2.1.m1.1a"><mrow id="A11.SS5.SSSx1.p2.1.m1.1.1.1" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.cmml"><mrow id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.cmml"><mn id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.2" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.2.cmml">95.49</mn><mo id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.1" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.1.cmml">±</mo><mrow id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.cmml"><mn id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.2" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.2.cmml">0.08</mn><mo id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.1" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.1.cmml">%</mo></mrow></mrow><mo lspace="0em" id="A11.SS5.SSSx1.p2.1.m1.1.1.1.2" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS5.SSSx1.p2.1.m1.1b"><apply id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.cmml" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1"><csymbol cd="latexml" id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.1.cmml" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.1">plus-or-minus</csymbol><cn type="float" id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.2.cmml" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.2">95.49</cn><apply id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.cmml" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3"><csymbol cd="latexml" id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.1.cmml" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.1">percent</csymbol><cn type="float" id="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.2.cmml" xref="A11.SS5.SSSx1.p2.1.m1.1.1.1.1.3.2">0.08</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS5.SSSx1.p2.1.m1.1c">95.49\pm 0.08\%.</annotation></semantics></math></p>
</div>
<figure id="A11.F11" class="ltx_figure"><img src="/html/2402.04553/assets/Figs/cifar10_resnet18.eps" id="A11.F11.g1" class="ltx_graphics ltx_centering" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F11.6.3.1" class="ltx_text" style="font-size:90%;">Figure 11</span>: </span><span id="A11.F11.4.2" class="ltx_text" style="font-size:90%;">CIFAR10 image classification with ResNet18.
The order of low-rank Hessian approximation is <math id="A11.F11.3.1.m1.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A11.F11.3.1.m1.1b"><mn id="A11.F11.3.1.m1.1.1" xref="A11.F11.3.1.m1.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A11.F11.3.1.m1.1c"><cn type="integer" id="A11.F11.3.1.m1.1.1.cmml" xref="A11.F11.3.1.m1.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.F11.3.1.m1.1d">10</annotation></semantics></math>.
Mean and variance are estimated over <math id="A11.F11.4.2.m2.1" class="ltx_Math" alttext="16" display="inline"><semantics id="A11.F11.4.2.m2.1b"><mn id="A11.F11.4.2.m2.1.1" xref="A11.F11.4.2.m2.1.1.cmml">16</mn><annotation-xml encoding="MathML-Content" id="A11.F11.4.2.m2.1c"><cn type="integer" id="A11.F11.4.2.m2.1.1.cmml" xref="A11.F11.4.2.m2.1.1">16</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.F11.4.2.m2.1d">16</annotation></semantics></math> runs.
Higher is better.</span></figcaption>
</figure>
</section>
</section>
<section id="A11.SS6" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.6 </span>A Large-Scale Logistic Regression Problem</h3>

<div id="A11.SS6.p1" class="ltx_para">
<p id="A11.SS6.p1.5" class="ltx_p">We consider a simple logistic regression model to solve the MNIST classification problem, with and without Bernoulli noise. We considered AdaHessian, AdaBelief, SGD, LBFGS, PSGD LRA/XMat, KFAC, and HessianFree optimizers.
Let <math id="A11.SS6.p1.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A11.SS6.p1.1.m1.1a"><mi id="A11.SS6.p1.1.m1.1.1" xref="A11.SS6.p1.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A11.SS6.p1.1.m1.1b"><ci id="A11.SS6.p1.1.m1.1.1.cmml" xref="A11.SS6.p1.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p1.1.m1.1c">x</annotation></semantics></math> be the vector of the image with length <math id="A11.SS6.p1.2.m2.1" class="ltx_Math" alttext="28^{2}" display="inline"><semantics id="A11.SS6.p1.2.m2.1a"><msup id="A11.SS6.p1.2.m2.1.1" xref="A11.SS6.p1.2.m2.1.1.cmml"><mn id="A11.SS6.p1.2.m2.1.1.2" xref="A11.SS6.p1.2.m2.1.1.2.cmml">28</mn><mn id="A11.SS6.p1.2.m2.1.1.3" xref="A11.SS6.p1.2.m2.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A11.SS6.p1.2.m2.1b"><apply id="A11.SS6.p1.2.m2.1.1.cmml" xref="A11.SS6.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A11.SS6.p1.2.m2.1.1.1.cmml" xref="A11.SS6.p1.2.m2.1.1">superscript</csymbol><cn type="integer" id="A11.SS6.p1.2.m2.1.1.2.cmml" xref="A11.SS6.p1.2.m2.1.1.2">28</cn><cn type="integer" id="A11.SS6.p1.2.m2.1.1.3.cmml" xref="A11.SS6.p1.2.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p1.2.m2.1c">28^{2}</annotation></semantics></math>.
Instead of regression on vector <math id="A11.SS6.p1.3.m3.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A11.SS6.p1.3.m3.1a"><mi id="A11.SS6.p1.3.m3.1.1" xref="A11.SS6.p1.3.m3.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A11.SS6.p1.3.m3.1b"><ci id="A11.SS6.p1.3.m3.1.1.cmml" xref="A11.SS6.p1.3.m3.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p1.3.m3.1c">x</annotation></semantics></math>, we do the regression on the outer product vector of <math id="A11.SS6.p1.4.m4.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A11.SS6.p1.4.m4.1a"><mi id="A11.SS6.p1.4.m4.1.1" xref="A11.SS6.p1.4.m4.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A11.SS6.p1.4.m4.1b"><ci id="A11.SS6.p1.4.m4.1.1.cmml" xref="A11.SS6.p1.4.m4.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p1.4.m4.1c">x</annotation></semantics></math>, which has length <math id="A11.SS6.p1.5.m5.1" class="ltx_Math" alttext="28^{4}" display="inline"><semantics id="A11.SS6.p1.5.m5.1a"><msup id="A11.SS6.p1.5.m5.1.1" xref="A11.SS6.p1.5.m5.1.1.cmml"><mn id="A11.SS6.p1.5.m5.1.1.2" xref="A11.SS6.p1.5.m5.1.1.2.cmml">28</mn><mn id="A11.SS6.p1.5.m5.1.1.3" xref="A11.SS6.p1.5.m5.1.1.3.cmml">4</mn></msup><annotation-xml encoding="MathML-Content" id="A11.SS6.p1.5.m5.1b"><apply id="A11.SS6.p1.5.m5.1.1.cmml" xref="A11.SS6.p1.5.m5.1.1"><csymbol cd="ambiguous" id="A11.SS6.p1.5.m5.1.1.1.cmml" xref="A11.SS6.p1.5.m5.1.1">superscript</csymbol><cn type="integer" id="A11.SS6.p1.5.m5.1.1.2.cmml" xref="A11.SS6.p1.5.m5.1.1.2">28</cn><cn type="integer" id="A11.SS6.p1.5.m5.1.1.3.cmml" xref="A11.SS6.p1.5.m5.1.1.3">4</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p1.5.m5.1c">28^{4}</annotation></semantics></math>.
This significantly increases the test classification accuracy but leads to a large regression matrix with over six million coefficients.
The KFAC preconditioner did not fit on our GPU and the HessianFree optimizer would diverge far from all other optimizers in more than 50% of our runs. Both are omitted from further discussion in this section.</p>
</div>
<figure id="A11.F12" class="ltx_figure"><img src="/html/2402.04553/assets/Figs/logistic_regression.eps" id="A11.F12.g1" class="ltx_graphics ltx_centering" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F12.2.1.1" class="ltx_text" style="font-size:90%;">Figure 12</span>: </span><span id="A11.F12.3.2" class="ltx_text" style="font-size:90%;">Standard MNIST dataset: Typical convergence curves on the logistic regression problem. Lower is better.
When comparing the convergence speed, one should be aware that one step of LM-BFGS may take up to ten iterations, while SGD and PSGD always have one iteration per step.
</span></figcaption>
</figure>
<div id="A11.SS6.p2" class="ltx_para">
<p id="A11.SS6.p2.10" class="ltx_p">No momentum is considered since this is the case for LM-BFGS.
The train batch size is <math id="A11.SS6.p2.1.m1.1" class="ltx_Math" alttext="500" display="inline"><semantics id="A11.SS6.p2.1.m1.1a"><mn id="A11.SS6.p2.1.m1.1.1" xref="A11.SS6.p2.1.m1.1.1.cmml">500</mn><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.1.m1.1b"><cn type="integer" id="A11.SS6.p2.1.m1.1.1.cmml" xref="A11.SS6.p2.1.m1.1.1">500</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.1.m1.1c">500</annotation></semantics></math>.
It is tricky to select the initial learning rate for LM-BFGS even though we exponentially anneal it.
We have found that LM-BFGS diverges on roughly one-third of the trials with an initial learning rate of <math id="A11.SS6.p2.2.m2.1" class="ltx_Math" alttext="0.1" display="inline"><semantics id="A11.SS6.p2.2.m2.1a"><mn id="A11.SS6.p2.2.m2.1.1" xref="A11.SS6.p2.2.m2.1.1.cmml">0.1</mn><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.2.m2.1b"><cn type="float" id="A11.SS6.p2.2.m2.1.1.cmml" xref="A11.SS6.p2.2.m2.1.1">0.1</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.2.m2.1c">0.1</annotation></semantics></math>, but <math id="A11.SS6.p2.3.m3.1" class="ltx_Math" alttext="0.05" display="inline"><semantics id="A11.SS6.p2.3.m3.1a"><mn id="A11.SS6.p2.3.m3.1.1" xref="A11.SS6.p2.3.m3.1.1.cmml">0.05</mn><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.3.m3.1b"><cn type="float" id="A11.SS6.p2.3.m3.1.1.cmml" xref="A11.SS6.p2.3.m3.1.1">0.05</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.3.m3.1c">0.05</annotation></semantics></math> is too small and may lead to worse performance than SGD.
For PSGD, we consider the LRA preconditioner with order <math id="A11.SS6.p2.4.m4.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A11.SS6.p2.4.m4.1a"><mn id="A11.SS6.p2.4.m4.1.1" xref="A11.SS6.p2.4.m4.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.4.m4.1b"><cn type="integer" id="A11.SS6.p2.4.m4.1.1.cmml" xref="A11.SS6.p2.4.m4.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.4.m4.1c">10</annotation></semantics></math> and set the learning rates for parameters and preconditioner to <math id="A11.SS6.p2.5.m5.1" class="ltx_Math" alttext="0.05" display="inline"><semantics id="A11.SS6.p2.5.m5.1a"><mn id="A11.SS6.p2.5.m5.1.1" xref="A11.SS6.p2.5.m5.1.1.cmml">0.05</mn><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.5.m5.1b"><cn type="float" id="A11.SS6.p2.5.m5.1.1.cmml" xref="A11.SS6.p2.5.m5.1.1">0.05</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.5.m5.1c">0.05</annotation></semantics></math> and <math id="A11.SS6.p2.6.m6.1" class="ltx_Math" alttext="0.1" display="inline"><semantics id="A11.SS6.p2.6.m6.1a"><mn id="A11.SS6.p2.6.m6.1.1" xref="A11.SS6.p2.6.m6.1.1.cmml">0.1</mn><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.6.m6.1b"><cn type="float" id="A11.SS6.p2.6.m6.1.1.cmml" xref="A11.SS6.p2.6.m6.1.1">0.1</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.6.m6.1c">0.1</annotation></semantics></math>, respectively.
Since LM-BFGS might diverge with a learning rate of <math id="A11.SS6.p2.7.m7.1" class="ltx_Math" alttext="0.1" display="inline"><semantics id="A11.SS6.p2.7.m7.1a"><mn id="A11.SS6.p2.7.m7.1.1" xref="A11.SS6.p2.7.m7.1.1.cmml">0.1</mn><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.7.m7.1b"><cn type="float" id="A11.SS6.p2.7.m7.1.1.cmml" xref="A11.SS6.p2.7.m7.1.1">0.1</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.7.m7.1c">0.1</annotation></semantics></math>, we only show a few typical convergence curves of SGD, LM-BFGS, and PSGD in Fig. <a href="#A11.F12" title="Figure 12 ‣ K.6 A Large-Scale Logistic Regression Problem ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">12</span></a>.
LM-BFGS converges to regression losses a few times smaller than SGD.
PSGD could converge to losses about one order of magnitude lower than that of SGD and LM-BFGS.
Regarding test classification error rate, we have <math id="A11.SS6.p2.8.m8.1" class="ltx_Math" alttext="2.37\%\pm 0.08" display="inline"><semantics id="A11.SS6.p2.8.m8.1a"><mrow id="A11.SS6.p2.8.m8.1.1" xref="A11.SS6.p2.8.m8.1.1.cmml"><mrow id="A11.SS6.p2.8.m8.1.1.2" xref="A11.SS6.p2.8.m8.1.1.2.cmml"><mn id="A11.SS6.p2.8.m8.1.1.2.2" xref="A11.SS6.p2.8.m8.1.1.2.2.cmml">2.37</mn><mo id="A11.SS6.p2.8.m8.1.1.2.1" xref="A11.SS6.p2.8.m8.1.1.2.1.cmml">%</mo></mrow><mo id="A11.SS6.p2.8.m8.1.1.1" xref="A11.SS6.p2.8.m8.1.1.1.cmml">±</mo><mn id="A11.SS6.p2.8.m8.1.1.3" xref="A11.SS6.p2.8.m8.1.1.3.cmml">0.08</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.8.m8.1b"><apply id="A11.SS6.p2.8.m8.1.1.cmml" xref="A11.SS6.p2.8.m8.1.1"><csymbol cd="latexml" id="A11.SS6.p2.8.m8.1.1.1.cmml" xref="A11.SS6.p2.8.m8.1.1.1">plus-or-minus</csymbol><apply id="A11.SS6.p2.8.m8.1.1.2.cmml" xref="A11.SS6.p2.8.m8.1.1.2"><csymbol cd="latexml" id="A11.SS6.p2.8.m8.1.1.2.1.cmml" xref="A11.SS6.p2.8.m8.1.1.2.1">percent</csymbol><cn type="float" id="A11.SS6.p2.8.m8.1.1.2.2.cmml" xref="A11.SS6.p2.8.m8.1.1.2.2">2.37</cn></apply><cn type="float" id="A11.SS6.p2.8.m8.1.1.3.cmml" xref="A11.SS6.p2.8.m8.1.1.3">0.08</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.8.m8.1c">2.37\%\pm 0.08</annotation></semantics></math>, <math id="A11.SS6.p2.9.m9.1" class="ltx_Math" alttext="2.09\%\pm 0.18" display="inline"><semantics id="A11.SS6.p2.9.m9.1a"><mrow id="A11.SS6.p2.9.m9.1.1" xref="A11.SS6.p2.9.m9.1.1.cmml"><mrow id="A11.SS6.p2.9.m9.1.1.2" xref="A11.SS6.p2.9.m9.1.1.2.cmml"><mn id="A11.SS6.p2.9.m9.1.1.2.2" xref="A11.SS6.p2.9.m9.1.1.2.2.cmml">2.09</mn><mo id="A11.SS6.p2.9.m9.1.1.2.1" xref="A11.SS6.p2.9.m9.1.1.2.1.cmml">%</mo></mrow><mo id="A11.SS6.p2.9.m9.1.1.1" xref="A11.SS6.p2.9.m9.1.1.1.cmml">±</mo><mn id="A11.SS6.p2.9.m9.1.1.3" xref="A11.SS6.p2.9.m9.1.1.3.cmml">0.18</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.9.m9.1b"><apply id="A11.SS6.p2.9.m9.1.1.cmml" xref="A11.SS6.p2.9.m9.1.1"><csymbol cd="latexml" id="A11.SS6.p2.9.m9.1.1.1.cmml" xref="A11.SS6.p2.9.m9.1.1.1">plus-or-minus</csymbol><apply id="A11.SS6.p2.9.m9.1.1.2.cmml" xref="A11.SS6.p2.9.m9.1.1.2"><csymbol cd="latexml" id="A11.SS6.p2.9.m9.1.1.2.1.cmml" xref="A11.SS6.p2.9.m9.1.1.2.1">percent</csymbol><cn type="float" id="A11.SS6.p2.9.m9.1.1.2.2.cmml" xref="A11.SS6.p2.9.m9.1.1.2.2">2.09</cn></apply><cn type="float" id="A11.SS6.p2.9.m9.1.1.3.cmml" xref="A11.SS6.p2.9.m9.1.1.3">0.18</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.9.m9.1c">2.09\%\pm 0.18</annotation></semantics></math>, <math id="A11.SS6.p2.10.m10.1" class="ltx_Math" alttext="1.98\%\pm 0.08" display="inline"><semantics id="A11.SS6.p2.10.m10.1a"><mrow id="A11.SS6.p2.10.m10.1.1" xref="A11.SS6.p2.10.m10.1.1.cmml"><mrow id="A11.SS6.p2.10.m10.1.1.2" xref="A11.SS6.p2.10.m10.1.1.2.cmml"><mn id="A11.SS6.p2.10.m10.1.1.2.2" xref="A11.SS6.p2.10.m10.1.1.2.2.cmml">1.98</mn><mo id="A11.SS6.p2.10.m10.1.1.2.1" xref="A11.SS6.p2.10.m10.1.1.2.1.cmml">%</mo></mrow><mo id="A11.SS6.p2.10.m10.1.1.1" xref="A11.SS6.p2.10.m10.1.1.1.cmml">±</mo><mn id="A11.SS6.p2.10.m10.1.1.3" xref="A11.SS6.p2.10.m10.1.1.3.cmml">0.08</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS6.p2.10.m10.1b"><apply id="A11.SS6.p2.10.m10.1.1.cmml" xref="A11.SS6.p2.10.m10.1.1"><csymbol cd="latexml" id="A11.SS6.p2.10.m10.1.1.1.cmml" xref="A11.SS6.p2.10.m10.1.1.1">plus-or-minus</csymbol><apply id="A11.SS6.p2.10.m10.1.1.2.cmml" xref="A11.SS6.p2.10.m10.1.1.2"><csymbol cd="latexml" id="A11.SS6.p2.10.m10.1.1.2.1.cmml" xref="A11.SS6.p2.10.m10.1.1.2.1">percent</csymbol><cn type="float" id="A11.SS6.p2.10.m10.1.1.2.2.cmml" xref="A11.SS6.p2.10.m10.1.1.2.2">1.98</cn></apply><cn type="float" id="A11.SS6.p2.10.m10.1.1.3.cmml" xref="A11.SS6.p2.10.m10.1.1.3">0.08</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS6.p2.10.m10.1c">1.98\%\pm 0.08</annotation></semantics></math> for SGD, LM-BFGS, and PSGD, respectively, averaged over ten runs.
Again, LM-BFGS outperforms SGD, and PSGD performs the best on the test classification error rate as well.</p>
</div>
<div id="A11.SS6.p3" class="ltx_para">
<p id="A11.SS6.p3.1" class="ltx_p">Next, we simply randomly add Bernoulli noise to the MNIST dataset to add diversity to the dataset. Even though LM-BFGS is the standard optimizer for large-scale logistic regression we wanted to consider some other SOTA optimizers for deep learning. PSGD UVd/XMat performed the best in this scenario but we found that AdaBelief did surprisingly well given its lack of second-order information. Losses and Accuracies plotted in Fig <a href="#A11.F13" title="Figure 13 ‣ K.6 A Large-Scale Logistic Regression Problem ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">13</span></a></p>
</div>
<figure id="A11.F13" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.F13.sf1" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/mnist_train_loss.png" id="A11.F13.sf1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="538" height="404" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F13.sf1.3.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span><span id="A11.F13.sf1.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">Train Loss<span id="A11.F13.sf1.4.2.1" class="ltx_text ltx_font_medium"> </span></span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.F13.sf2" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/mnist_test_acc.png" id="A11.F13.sf2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="538" height="404" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F13.sf2.3.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span><span id="A11.F13.sf2.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">Test Accuracy</span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="A11.F13.2.1.1" class="ltx_text" style="font-size:90%;">Figure 13</span>: </span><span id="A11.F13.3.2" class="ltx_text" style="font-size:90%;"> We consider logistic regression on the MNIST dataset with Bernoulli noise. We see PSGD finds the lowest loss on the train set, with the Belief mechanism also working well. PSGD and AdaBelief generalize well to the Accuracy of the Test Dataset.
</span></figcaption>
</figure>
<div id="A11.SS6.p4" class="ltx_para">
<p id="A11.SS6.p4.1" class="ltx_p">We see that PSGD significantly outperforms the SOTA optimizers in the convex logistic regression setting under noise-free or noisy domains while being memory efficient.</p>
</div>
</section>
<section id="A11.SS7" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.7 </span>Forgettability &amp; Uncertainty: Rank Analysis</h3>

<div id="A11.SS7.p1" class="ltx_para">
<p id="A11.SS7.p1.1" class="ltx_p">Very recently, <cite class="ltx_cite ltx_citemacro_citep">[Toneva et al., <a href="#bib.bib42" title="" class="ltx_ref">2018</a>]</cite> shows that Forgettable points are crucial for generalization in the supervised setting. In the unsupervised, semi-supervised, self-supervised, and generative setting <cite class="ltx_cite ltx_citemacro_citep">[Pooladzandi et al., <a href="#bib.bib37" title="" class="ltx_ref">2023</a>]</cite> shows that one can use the low entropy samples generated by the generative model to significantly boost the classification performance of the Latent Energy Based Model which acts as generative-classifier. Here we acknowledge the previous findings and focus on the supervised setting.
We train a ResNet18 on CIFAR-10 and record entropy and forgettability statistics. We plot the strong correlation between low forgettability score and low entropy found in our statistics in Fig. <a href="#A11.F14" title="Figure 14 ‣ K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">14</span></a> and provide correlation coefficients in Table <a href="#A11.T11" title="Table 11 ‣ K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">11</span></a>.</p>
</div>
<figure id="A11.F14" class="ltx_figure"><img src="/html/2402.04553/assets/Figs/sgd_entropy_forgettability.png" id="A11.F14.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="329" height="225" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F14.2.1.1" class="ltx_text" style="font-size:90%;">Figure 14</span>: </span><span id="A11.F14.3.2" class="ltx_text" style="font-size:90%;">There is a strong correlation between the forgettability ordering and the entropy ordering. i.e. unforgettable points have a very low entropy.</span></figcaption>
</figure>
<figure id="A11.T11" class="ltx_table">
<table id="A11.T11.2" class="ltx_tabular ltx_centering ltx_align_middle">
<tbody class="ltx_tbody">
<tr id="A11.T11.2.1.1" class="ltx_tr">
<td id="A11.T11.2.1.1.1" class="ltx_td ltx_align_center ltx_border_tt">Entropy v Forgettability Score</td>
<td id="A11.T11.2.1.1.2" class="ltx_td ltx_align_center ltx_border_tt" colspan="2">Correlation Coefficient</td>
<td id="A11.T11.2.1.1.3" class="ltx_td ltx_align_center ltx_border_tt" colspan="2">p-value</td>
</tr>
<tr id="A11.T11.2.2.2" class="ltx_tr">
<td id="A11.T11.2.2.2.1" class="ltx_td"></td>
<td id="A11.T11.2.2.2.2" class="ltx_td ltx_align_center">SGD</td>
<td id="A11.T11.2.2.2.3" class="ltx_td ltx_align_center">PSGD</td>
<td id="A11.T11.2.2.2.4" class="ltx_td ltx_align_center">SGD</td>
<td id="A11.T11.2.2.2.5" class="ltx_td ltx_nopad_r ltx_align_center">PSGD</td>
</tr>
<tr id="A11.T11.2.3.3" class="ltx_tr">
<td id="A11.T11.2.3.3.1" class="ltx_td ltx_align_center ltx_border_t">Spearman</td>
<td id="A11.T11.2.3.3.2" class="ltx_td ltx_align_center ltx_border_t">0.72</td>
<td id="A11.T11.2.3.3.3" class="ltx_td ltx_align_center ltx_border_t">0.73</td>
<td id="A11.T11.2.3.3.4" class="ltx_td ltx_align_center ltx_border_t">0</td>
<td id="A11.T11.2.3.3.5" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_t">0</td>
</tr>
<tr id="A11.T11.2.4.4" class="ltx_tr">
<td id="A11.T11.2.4.4.1" class="ltx_td ltx_align_center">Pearson</td>
<td id="A11.T11.2.4.4.2" class="ltx_td ltx_align_center">0.57</td>
<td id="A11.T11.2.4.4.3" class="ltx_td ltx_align_center">0.65</td>
<td id="A11.T11.2.4.4.4" class="ltx_td ltx_align_center">0</td>
<td id="A11.T11.2.4.4.5" class="ltx_td ltx_nopad_r ltx_align_center">0</td>
</tr>
<tr id="A11.T11.2.5.5" class="ltx_tr">
<td id="A11.T11.2.5.5.1" class="ltx_td ltx_align_center">Kedal Tau</td>
<td id="A11.T11.2.5.5.2" class="ltx_td ltx_align_center">0.54</td>
<td id="A11.T11.2.5.5.3" class="ltx_td ltx_align_center">0.56</td>
<td id="A11.T11.2.5.5.4" class="ltx_td ltx_align_center">0</td>
<td id="A11.T11.2.5.5.5" class="ltx_td ltx_nopad_r ltx_align_center">0</td>
</tr>
<tr id="A11.T11.2.6.6" class="ltx_tr">
<td id="A11.T11.2.6.6.1" class="ltx_td ltx_align_center ltx_border_bb">Weighted Tau</td>
<td id="A11.T11.2.6.6.2" class="ltx_td ltx_align_center ltx_border_bb">0.60</td>
<td id="A11.T11.2.6.6.3" class="ltx_td ltx_align_center ltx_border_bb">0.75</td>
<td id="A11.T11.2.6.6.4" class="ltx_td ltx_align_center ltx_border_bb">0</td>
<td id="A11.T11.2.6.6.5" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_bb">0</td>
</tr>
</tbody>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T11.3.1.1" class="ltx_text" style="font-size:90%;">Table 11</span>: </span><span id="A11.T11.4.2" class="ltx_text" style="font-size:90%;">Comparison of correlation metrics comparing Entropy Score vs Forgettability score between SGD and PSGD. We see that PSGD’s average correlation between entropy and forgettability is stronger than that of SGD. </span></figcaption>
</figure>
<section id="A11.SS7.SSSx1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">Generalization Gap Between High and Low Entropy Subsets</h4>

<div id="A11.SS7.SSSx1.p1" class="ltx_para">
<p id="A11.SS7.SSSx1.p1.1" class="ltx_p">We train an Oracle LeNet5 on the full MNIST dataset for 20 epochs, we categorize the train set into two subsets; a high entropy subset and a low entropy subset, each consisting of 10k points. The entropy is defined over the softmax of the logits. We then train two different LeNet5s on each dataset. We find that the low entropy dataset does not generalize to the test set well achieving a test accuracy of 74%, whereas the high entropy dataset achieves a 99.3% which is on par with Oracle LeNet5 (see <a href="#A11.T12" title="Table 12 ‣ Generalization Gap Between High and Low Entropy Subsets ‣ K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">12</span></a>). This clearly shows for supervised learning the high entropy points are most important for generalization.</p>
</div>
<div id="A11.SS7.SSSx1.p2" class="ltx_para">
<p id="A11.SS7.SSSx1.p2.1" class="ltx_p">Furthermore, we find that training on low entropy points results in low entropy and a lower mean entropy network. This supports the hypothesis that there are certain points that the net can lower the entropy over which do not lead to generalization. We see in Table <a href="#A11.T12" title="Table 12 ‣ Generalization Gap Between High and Low Entropy Subsets ‣ K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">12</span></a> that training over the full dataset resulted in a higher mean low entropy compared to that of the full dataset. This supports the idea that high entropy points are important for supervised learning.</p>
</div>
<div id="A11.SS7.SSSx1.p3" class="ltx_para">
<p id="A11.SS7.SSSx1.p3.1" class="ltx_p">In terms of distance from initialization, we see that the network is pushed farther from initialization when using the full dataset than while using the high entropy points and the least when using the low entropy points. This supports that training with low-entropy or unforgettable points unnecessarily pushes a network’s parameters far from initialization reducing generalization capacity. Furthermore, we see that when training on low entropy points, PSGD does not push the neural network far from initialization preserving generalization capacity <cite class="ltx_cite ltx_citemacro_citep">[Cao and Gu, <a href="#bib.bib6" title="" class="ltx_ref">2019</a>]</cite>.</p>
</div>
<figure id="A11.T12" class="ltx_table">
<table id="A11.T12.2" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.T12.2.1.1" class="ltx_tr">
<th id="A11.T12.2.1.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A11.T12.2.1.1.1.1" class="ltx_tabular ltx_align_middle">
<tr id="A11.T12.2.1.1.1.1.1" class="ltx_tr">
<td id="A11.T12.2.1.1.1.1.1.1" class="ltx_td ltx_nopad_r ltx_align_center">MNIST</td>
</tr>
<tr id="A11.T12.2.1.1.1.1.2" class="ltx_tr">
<td id="A11.T12.2.1.1.1.1.2.1" class="ltx_td ltx_nopad_r ltx_align_center">Statistics</td>
</tr>
</table>
</th>
<th id="A11.T12.2.1.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Accuracy</th>
<th id="A11.T12.2.1.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A11.T12.2.1.1.3.1" class="ltx_tabular ltx_align_middle">
<tr id="A11.T12.2.1.1.3.1.1" class="ltx_tr">
<td id="A11.T12.2.1.1.3.1.1.1" class="ltx_td ltx_nopad_r ltx_align_center">Expected</td>
</tr>
<tr id="A11.T12.2.1.1.3.1.2" class="ltx_tr">
<td id="A11.T12.2.1.1.3.1.2.1" class="ltx_td ltx_nopad_r ltx_align_center">Low Entropy</td>
</tr>
</table>
</th>
<th id="A11.T12.2.1.1.4" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A11.T12.2.1.1.4.1" class="ltx_tabular ltx_align_middle">
<tr id="A11.T12.2.1.1.4.1.1" class="ltx_tr">
<td id="A11.T12.2.1.1.4.1.1.1" class="ltx_td ltx_nopad_r ltx_align_center">Expected</td>
</tr>
<tr id="A11.T12.2.1.1.4.1.2" class="ltx_tr">
<td id="A11.T12.2.1.1.4.1.2.1" class="ltx_td ltx_nopad_r ltx_align_center">High Entropy</td>
</tr>
</table>
</th>
<th id="A11.T12.2.1.1.5" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A11.T12.2.1.1.5.1" class="ltx_tabular ltx_align_middle">
<tr id="A11.T12.2.1.1.5.1.1" class="ltx_tr">
<td id="A11.T12.2.1.1.5.1.1.1" class="ltx_td ltx_nopad_r ltx_align_center">Distance from</td>
</tr>
<tr id="A11.T12.2.1.1.5.1.2" class="ltx_tr">
<td id="A11.T12.2.1.1.5.1.2.1" class="ltx_td ltx_nopad_r ltx_align_center">Initilization</td>
</tr>
<tr id="A11.T12.2.1.1.5.1.3" class="ltx_tr">
<td id="A11.T12.2.1.1.5.1.3.1" class="ltx_td ltx_nopad_r ltx_align_center">SGD</td>
</tr>
</table>
</th>
<th id="A11.T12.2.1.1.6" class="ltx_td ltx_nopad_r ltx_align_center ltx_th ltx_th_column ltx_border_tt">
<table id="A11.T12.2.1.1.6.1" class="ltx_tabular ltx_align_middle">
<tr id="A11.T12.2.1.1.6.1.1" class="ltx_tr">
<td id="A11.T12.2.1.1.6.1.1.1" class="ltx_td ltx_nopad_r ltx_align_center">Distance from</td>
</tr>
<tr id="A11.T12.2.1.1.6.1.2" class="ltx_tr">
<td id="A11.T12.2.1.1.6.1.2.1" class="ltx_td ltx_nopad_r ltx_align_center">Initialization</td>
</tr>
<tr id="A11.T12.2.1.1.6.1.3" class="ltx_tr">
<td id="A11.T12.2.1.1.6.1.3.1" class="ltx_td ltx_nopad_r ltx_align_center">PSGD</td>
</tr>
</table>
</th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.T12.2.2.1" class="ltx_tr">
<td id="A11.T12.2.2.1.1" class="ltx_td ltx_align_center ltx_border_t">Full Dataset</td>
<td id="A11.T12.2.2.1.2" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.T12.2.2.1.2.1" class="ltx_text" style="color:#800080;">99.3%</span></td>
<td id="A11.T12.2.2.1.3" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.T12.2.2.1.3.1" class="ltx_text" style="color:#FF8000;">5e-16</span></td>
<td id="A11.T12.2.2.1.4" class="ltx_td ltx_align_center ltx_border_t">6e-3</td>
<td id="A11.T12.2.2.1.5" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.T12.2.2.1.5.1" class="ltx_text" style="color:#FF0000;">23.1</span></td>
<td id="A11.T12.2.2.1.6" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_t"><span id="A11.T12.2.2.1.6.1" class="ltx_text" style="color:#FF0000;">26</span></td>
</tr>
<tr id="A11.T12.2.3.2" class="ltx_tr">
<td id="A11.T12.2.3.2.1" class="ltx_td ltx_align_center">High Entropy <span id="A11.T12.2.3.2.1.1" class="ltx_text" style="color:#000000;"> Subset</span>
</td>
<td id="A11.T12.2.3.2.2" class="ltx_td ltx_align_center"><span id="A11.T12.2.3.2.2.1" class="ltx_text" style="color:#800080;">99.3%</span></td>
<td id="A11.T12.2.3.2.3" class="ltx_td ltx_align_center"><span id="A11.T12.2.3.2.3.1" class="ltx_text" style="color:#FF8000;">1e-10</span></td>
<td id="A11.T12.2.3.2.4" class="ltx_td ltx_align_center">2e-2</td>
<td id="A11.T12.2.3.2.5" class="ltx_td ltx_align_center"><span id="A11.T12.2.3.2.5.1" class="ltx_text" style="color:#0000FF;">21.7</span></td>
<td id="A11.T12.2.3.2.6" class="ltx_td ltx_nopad_r ltx_align_center"><span id="A11.T12.2.3.2.6.1" class="ltx_text" style="color:#0000FF;">21.2</span></td>
</tr>
<tr id="A11.T12.2.4.3" class="ltx_tr">
<td id="A11.T12.2.4.3.1" class="ltx_td ltx_align_center ltx_border_bb">Low Entropy <span id="A11.T12.2.4.3.1.1" class="ltx_text" style="color:#000000;"> Subset</span>
</td>
<td id="A11.T12.2.4.3.2" class="ltx_td ltx_align_center ltx_border_bb">74.2%</td>
<td id="A11.T12.2.4.3.3" class="ltx_td ltx_align_center ltx_border_bb"><span id="A11.T12.2.4.3.3.1" class="ltx_text" style="color:#FF8000;">6e-18</span></td>
<td id="A11.T12.2.4.3.4" class="ltx_td ltx_align_center ltx_border_bb">4e-4</td>
<td id="A11.T12.2.4.3.5" class="ltx_td ltx_align_center ltx_border_bb"><span id="A11.T12.2.4.3.5.1" class="ltx_text" style="color:#0000FF;">9.2</span></td>
<td id="A11.T12.2.4.3.6" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_bb"><span id="A11.T12.2.4.3.6.1" class="ltx_text" style="color:#0000FF;">8.7</span></td>
</tr>
</tbody>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T12.3.1.1" class="ltx_text" style="font-size:90%;">Table 12</span>: </span><span id="A11.T12.4.2" class="ltx_text" style="font-size:90%;">Comparing generalization accuracy of a LeNet5 trained on either 10k high or 10k low entropy datapoints. We see high entropy datasets can match generalization of the full dataset whith a higher test entropy compared to the other datasets. We see that the distance from initialization is less for the low entropy points.</span></figcaption>
</figure>
<div id="A11.SS7.SSSx1.p4" class="ltx_para">
<p id="A11.SS7.SSSx1.p4.1" class="ltx_p">Finally, we see that an NN trained on low entropy points has a mean low entropy 2 orders of magnitude smaller than training on the full dataset, and 8 orders of magnitude smaller than training on the high entropy subset. This shows that low entropy points cause a level of confidence in a NN which is not needed and in some cases can be hurtful to generalization <a href="#S5.F2" title="Figure 2 ‣ 5.2 CIFAR-10 and Friends on ResNet18 ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>.</p>
</div>
</section>
</section>
<section id="A11.SS8" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.8 </span>Effect of Rank on XOR</h3>

<div id="A11.SS8.p1" class="ltx_para">
<p id="A11.SS8.p1.4" class="ltx_p">The full rank version of PSGD <cite class="ltx_cite ltx_citemacro_citep">[Li, <a href="#bib.bib25" title="" class="ltx_ref">2019</a>]</cite> can solve the XOR problem with an RNN past delay of 128. Since we can arbitrarily increase the rank of Hessian approximation in our LRA version of PSGD, we consider the effect of rank on convergence on the XOR problem using an RNN. We find rank approximations of <math id="A11.SS8.p1.1.m1.5" class="ltx_Math" alttext="r=0,1,2,5," display="inline"><semantics id="A11.SS8.p1.1.m1.5a"><mrow id="A11.SS8.p1.1.m1.5.5.1" xref="A11.SS8.p1.1.m1.5.5.1.1.cmml"><mrow id="A11.SS8.p1.1.m1.5.5.1.1" xref="A11.SS8.p1.1.m1.5.5.1.1.cmml"><mi id="A11.SS8.p1.1.m1.5.5.1.1.2" xref="A11.SS8.p1.1.m1.5.5.1.1.2.cmml">r</mi><mo id="A11.SS8.p1.1.m1.5.5.1.1.1" xref="A11.SS8.p1.1.m1.5.5.1.1.1.cmml">=</mo><mrow id="A11.SS8.p1.1.m1.5.5.1.1.3.2" xref="A11.SS8.p1.1.m1.5.5.1.1.3.1.cmml"><mn id="A11.SS8.p1.1.m1.1.1" xref="A11.SS8.p1.1.m1.1.1.cmml">0</mn><mo id="A11.SS8.p1.1.m1.5.5.1.1.3.2.1" xref="A11.SS8.p1.1.m1.5.5.1.1.3.1.cmml">,</mo><mn id="A11.SS8.p1.1.m1.2.2" xref="A11.SS8.p1.1.m1.2.2.cmml">1</mn><mo id="A11.SS8.p1.1.m1.5.5.1.1.3.2.2" xref="A11.SS8.p1.1.m1.5.5.1.1.3.1.cmml">,</mo><mn id="A11.SS8.p1.1.m1.3.3" xref="A11.SS8.p1.1.m1.3.3.cmml">2</mn><mo id="A11.SS8.p1.1.m1.5.5.1.1.3.2.3" xref="A11.SS8.p1.1.m1.5.5.1.1.3.1.cmml">,</mo><mn id="A11.SS8.p1.1.m1.4.4" xref="A11.SS8.p1.1.m1.4.4.cmml">5</mn></mrow></mrow><mo id="A11.SS8.p1.1.m1.5.5.1.2" xref="A11.SS8.p1.1.m1.5.5.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.p1.1.m1.5b"><apply id="A11.SS8.p1.1.m1.5.5.1.1.cmml" xref="A11.SS8.p1.1.m1.5.5.1"><eq id="A11.SS8.p1.1.m1.5.5.1.1.1.cmml" xref="A11.SS8.p1.1.m1.5.5.1.1.1"></eq><ci id="A11.SS8.p1.1.m1.5.5.1.1.2.cmml" xref="A11.SS8.p1.1.m1.5.5.1.1.2">𝑟</ci><list id="A11.SS8.p1.1.m1.5.5.1.1.3.1.cmml" xref="A11.SS8.p1.1.m1.5.5.1.1.3.2"><cn type="integer" id="A11.SS8.p1.1.m1.1.1.cmml" xref="A11.SS8.p1.1.m1.1.1">0</cn><cn type="integer" id="A11.SS8.p1.1.m1.2.2.cmml" xref="A11.SS8.p1.1.m1.2.2">1</cn><cn type="integer" id="A11.SS8.p1.1.m1.3.3.cmml" xref="A11.SS8.p1.1.m1.3.3">2</cn><cn type="integer" id="A11.SS8.p1.1.m1.4.4.cmml" xref="A11.SS8.p1.1.m1.4.4">5</cn></list></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.p1.1.m1.5c">r=0,1,2,5,</annotation></semantics></math> and <math id="A11.SS8.p1.2.m2.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A11.SS8.p1.2.m2.1a"><mn id="A11.SS8.p1.2.m2.1.1" xref="A11.SS8.p1.2.m2.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A11.SS8.p1.2.m2.1b"><cn type="integer" id="A11.SS8.p1.2.m2.1.1.cmml" xref="A11.SS8.p1.2.m2.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.p1.2.m2.1c">10</annotation></semantics></math> converge with probability <math id="A11.SS8.p1.3.m3.4" class="ltx_Math" alttext="p=0.1,0.4,0.8,1" display="inline"><semantics id="A11.SS8.p1.3.m3.4a"><mrow id="A11.SS8.p1.3.m3.4.5" xref="A11.SS8.p1.3.m3.4.5.cmml"><mi id="A11.SS8.p1.3.m3.4.5.2" xref="A11.SS8.p1.3.m3.4.5.2.cmml">p</mi><mo id="A11.SS8.p1.3.m3.4.5.1" xref="A11.SS8.p1.3.m3.4.5.1.cmml">=</mo><mrow id="A11.SS8.p1.3.m3.4.5.3.2" xref="A11.SS8.p1.3.m3.4.5.3.1.cmml"><mn id="A11.SS8.p1.3.m3.1.1" xref="A11.SS8.p1.3.m3.1.1.cmml">0.1</mn><mo id="A11.SS8.p1.3.m3.4.5.3.2.1" xref="A11.SS8.p1.3.m3.4.5.3.1.cmml">,</mo><mn id="A11.SS8.p1.3.m3.2.2" xref="A11.SS8.p1.3.m3.2.2.cmml">0.4</mn><mo id="A11.SS8.p1.3.m3.4.5.3.2.2" xref="A11.SS8.p1.3.m3.4.5.3.1.cmml">,</mo><mn id="A11.SS8.p1.3.m3.3.3" xref="A11.SS8.p1.3.m3.3.3.cmml">0.8</mn><mo id="A11.SS8.p1.3.m3.4.5.3.2.3" xref="A11.SS8.p1.3.m3.4.5.3.1.cmml">,</mo><mn id="A11.SS8.p1.3.m3.4.4" xref="A11.SS8.p1.3.m3.4.4.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.p1.3.m3.4b"><apply id="A11.SS8.p1.3.m3.4.5.cmml" xref="A11.SS8.p1.3.m3.4.5"><eq id="A11.SS8.p1.3.m3.4.5.1.cmml" xref="A11.SS8.p1.3.m3.4.5.1"></eq><ci id="A11.SS8.p1.3.m3.4.5.2.cmml" xref="A11.SS8.p1.3.m3.4.5.2">𝑝</ci><list id="A11.SS8.p1.3.m3.4.5.3.1.cmml" xref="A11.SS8.p1.3.m3.4.5.3.2"><cn type="float" id="A11.SS8.p1.3.m3.1.1.cmml" xref="A11.SS8.p1.3.m3.1.1">0.1</cn><cn type="float" id="A11.SS8.p1.3.m3.2.2.cmml" xref="A11.SS8.p1.3.m3.2.2">0.4</cn><cn type="float" id="A11.SS8.p1.3.m3.3.3.cmml" xref="A11.SS8.p1.3.m3.3.3">0.8</cn><cn type="integer" id="A11.SS8.p1.3.m3.4.4.cmml" xref="A11.SS8.p1.3.m3.4.4">1</cn></list></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.p1.3.m3.4c">p=0.1,0.4,0.8,1</annotation></semantics></math> and <math id="A11.SS8.p1.4.m4.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A11.SS8.p1.4.m4.1a"><mn id="A11.SS8.p1.4.m4.1.1" xref="A11.SS8.p1.4.m4.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A11.SS8.p1.4.m4.1b"><cn type="integer" id="A11.SS8.p1.4.m4.1.1.cmml" xref="A11.SS8.p1.4.m4.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.p1.4.m4.1c">1</annotation></semantics></math> respectively.</p>
</div>
<figure id="A11.F15" class="ltx_figure"><img src="/html/2402.04553/assets/Figs/xor.eps" id="A11.F15.g1" class="ltx_graphics ltx_centering" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F15.2.1.1" class="ltx_text" style="font-size:90%;">Figure 15</span>: </span><span id="A11.F15.3.2" class="ltx_text" style="font-size:90%;"> Success rate over ten runs in solving the XOR problem with a simple RNN and LRA preconditioners of orders 0, 1, 2, 5, and 10. Higher is better.</span></figcaption>
</figure>
<div id="A11.SS8.p2" class="ltx_para">
<p id="A11.SS8.p2.1" class="ltx_p">This example shows a typical problem where the diagonal preconditioner struggles, while a low-order Hessian approximation works perfectly for preconditioning.</p>
</div>
<div id="A11.SS8.p3" class="ltx_para">
<p id="A11.SS8.p3.3" class="ltx_p">For all experiments, both step sizes for parameter and preconditioner updating are fixed at <math id="A11.SS8.p3.1.m1.1" class="ltx_Math" alttext="0.01" display="inline"><semantics id="A11.SS8.p3.1.m1.1a"><mn id="A11.SS8.p3.1.m1.1.1" xref="A11.SS8.p3.1.m1.1.1.cmml">0.01</mn><annotation-xml encoding="MathML-Content" id="A11.SS8.p3.1.m1.1b"><cn type="float" id="A11.SS8.p3.1.m1.1.1.cmml" xref="A11.SS8.p3.1.m1.1.1">0.01</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.p3.1.m1.1c">0.01</annotation></semantics></math>.
The gradient clipping threshold is set to <math id="A11.SS8.p3.2.m2.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A11.SS8.p3.2.m2.1a"><mn id="A11.SS8.p3.2.m2.1.1" xref="A11.SS8.p3.2.m2.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A11.SS8.p3.2.m2.1b"><cn type="integer" id="A11.SS8.p3.2.m2.1.1.cmml" xref="A11.SS8.p3.2.m2.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.p3.2.m2.1c">1</annotation></semantics></math>.
No momentum is used.
We run 10 runs per optimizer for <math id="A11.SS8.p3.3.m3.2" class="ltx_Math" alttext="100,000" display="inline"><semantics id="A11.SS8.p3.3.m3.2a"><mrow id="A11.SS8.p3.3.m3.2.3.2" xref="A11.SS8.p3.3.m3.2.3.1.cmml"><mn id="A11.SS8.p3.3.m3.1.1" xref="A11.SS8.p3.3.m3.1.1.cmml">100</mn><mo id="A11.SS8.p3.3.m3.2.3.2.1" xref="A11.SS8.p3.3.m3.2.3.1.cmml">,</mo><mn id="A11.SS8.p3.3.m3.2.2" xref="A11.SS8.p3.3.m3.2.2.cmml">000</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.p3.3.m3.2b"><list id="A11.SS8.p3.3.m3.2.3.1.cmml" xref="A11.SS8.p3.3.m3.2.3.2"><cn type="integer" id="A11.SS8.p3.3.m3.1.1.cmml" xref="A11.SS8.p3.3.m3.1.1">100</cn><cn type="integer" id="A11.SS8.p3.3.m3.2.2.cmml" xref="A11.SS8.p3.3.m3.2.2">000</cn></list></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.p3.3.m3.2c">100,000</annotation></semantics></math> iterations or until convergence.
The success rates over ten runs for each r are plotted in Fig. <a href="#A11.F15" title="Figure 15 ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a>. This example shows a typical problem where the diagonal preconditioner struggles, while a low-order Hessian approximation works perfectly for preconditioning.</p>
</div>
<section id="A11.SS8.SSSx1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">Setting a Baseline using KFAC, <math id="A11.SS8.SSSx1.1.m1.1" class="ltx_Math" alttext="PSGD_{A}" display="inline"><semantics id="A11.SS8.SSSx1.1.m1.1b"><mrow id="A11.SS8.SSSx1.1.m1.1.1" xref="A11.SS8.SSSx1.1.m1.1.1.cmml"><mi id="A11.SS8.SSSx1.1.m1.1.1.2" xref="A11.SS8.SSSx1.1.m1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.1.m1.1.1.1" xref="A11.SS8.SSSx1.1.m1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.1.m1.1.1.3" xref="A11.SS8.SSSx1.1.m1.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.1.m1.1.1.1b" xref="A11.SS8.SSSx1.1.m1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.1.m1.1.1.4" xref="A11.SS8.SSSx1.1.m1.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.1.m1.1.1.1c" xref="A11.SS8.SSSx1.1.m1.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.1.m1.1.1.5" xref="A11.SS8.SSSx1.1.m1.1.1.5.cmml"><mi id="A11.SS8.SSSx1.1.m1.1.1.5.2" xref="A11.SS8.SSSx1.1.m1.1.1.5.2.cmml">D</mi><mi id="A11.SS8.SSSx1.1.m1.1.1.5.3" xref="A11.SS8.SSSx1.1.m1.1.1.5.3.cmml">A</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.1.m1.1c"><apply id="A11.SS8.SSSx1.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.1.m1.1.1"><times id="A11.SS8.SSSx1.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.1"></times><ci id="A11.SS8.SSSx1.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.1.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.1.m1.1.1.4.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.1.m1.1.1.5.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.1.m1.1.1.5.1.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.1.m1.1.1.5.2.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.5.2">𝐷</ci><ci id="A11.SS8.SSSx1.1.m1.1.1.5.3.cmml" xref="A11.SS8.SSSx1.1.m1.1.1.5.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.1.m1.1d">PSGD_{A}</annotation></semantics></math> <math id="A11.SS8.SSSx1.2.m2.1" class="ltx_Math" alttext="PSGD_{LRA/XMat}" display="inline"><semantics id="A11.SS8.SSSx1.2.m2.1b"><mrow id="A11.SS8.SSSx1.2.m2.1.1" xref="A11.SS8.SSSx1.2.m2.1.1.cmml"><mi id="A11.SS8.SSSx1.2.m2.1.1.2" xref="A11.SS8.SSSx1.2.m2.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.1" xref="A11.SS8.SSSx1.2.m2.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.3" xref="A11.SS8.SSSx1.2.m2.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.1b" xref="A11.SS8.SSSx1.2.m2.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.4" xref="A11.SS8.SSSx1.2.m2.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.1c" xref="A11.SS8.SSSx1.2.m2.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.2.m2.1.1.5" xref="A11.SS8.SSSx1.2.m2.1.1.5.cmml"><mi id="A11.SS8.SSSx1.2.m2.1.1.5.2" xref="A11.SS8.SSSx1.2.m2.1.1.5.2.cmml">D</mi><mrow id="A11.SS8.SSSx1.2.m2.1.1.5.3" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.cmml"><mrow id="A11.SS8.SSSx1.2.m2.1.1.5.3.2" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.cmml"><mrow id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.cmml"><mi id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.2" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.1" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.1.cmml">​</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.3" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.3.cmml">R</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.1b" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.1.cmml">​</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.4" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.4.cmml">A</mi></mrow><mo id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.1" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.1.cmml">/</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.3" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.3.cmml">X</mi></mrow><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.5.3.1" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.5.3.3" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.3.cmml">M</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.5.3.1b" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.5.3.4" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.4.cmml">a</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.2.m2.1.1.5.3.1c" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.2.m2.1.1.5.3.5" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.5.cmml">t</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.2.m2.1c"><apply id="A11.SS8.SSSx1.2.m2.1.1.cmml" xref="A11.SS8.SSSx1.2.m2.1.1"><times id="A11.SS8.SSSx1.2.m2.1.1.1.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.1"></times><ci id="A11.SS8.SSSx1.2.m2.1.1.2.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.2.m2.1.1.3.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.2.m2.1.1.4.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.2.m2.1.1.5.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.2.m2.1.1.5.1.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.2.m2.1.1.5.2.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.2">𝐷</ci><apply id="A11.SS8.SSSx1.2.m2.1.1.5.3.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3"><times id="A11.SS8.SSSx1.2.m2.1.1.5.3.1.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.1"></times><apply id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2"><divide id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.1.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.1"></divide><apply id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2"><times id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.1.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.1"></times><ci id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.2.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.2">𝐿</ci><ci id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.3.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.3">𝑅</ci><ci id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.4.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.2.4">𝐴</ci></apply><ci id="A11.SS8.SSSx1.2.m2.1.1.5.3.2.3.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.2.3">𝑋</ci></apply><ci id="A11.SS8.SSSx1.2.m2.1.1.5.3.3.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.3">𝑀</ci><ci id="A11.SS8.SSSx1.2.m2.1.1.5.3.4.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.4">𝑎</ci><ci id="A11.SS8.SSSx1.2.m2.1.1.5.3.5.cmml" xref="A11.SS8.SSSx1.2.m2.1.1.5.3.5">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.2.m2.1d">PSGD_{LRA/XMat}</annotation></semantics></math>, SGD and Adam</h4>

<div id="A11.SS8.SSSx1.p1" class="ltx_para">
<p id="A11.SS8.SSSx1.p1.5" class="ltx_p">In this section, we compare general-purpose black box versions of PSGD, namely <math id="A11.SS8.SSSx1.p1.1.m1.1" class="ltx_Math" alttext="PSGD_{LRA}" display="inline"><semantics id="A11.SS8.SSSx1.p1.1.m1.1a"><mrow id="A11.SS8.SSSx1.p1.1.m1.1.1" xref="A11.SS8.SSSx1.p1.1.m1.1.1.cmml"><mi id="A11.SS8.SSSx1.p1.1.m1.1.1.2" xref="A11.SS8.SSSx1.p1.1.m1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.1.m1.1.1.1" xref="A11.SS8.SSSx1.p1.1.m1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.1.m1.1.1.3" xref="A11.SS8.SSSx1.p1.1.m1.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.1.m1.1.1.1a" xref="A11.SS8.SSSx1.p1.1.m1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.1.m1.1.1.4" xref="A11.SS8.SSSx1.p1.1.m1.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.1.m1.1.1.1b" xref="A11.SS8.SSSx1.p1.1.m1.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.p1.1.m1.1.1.5" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.cmml"><mi id="A11.SS8.SSSx1.p1.1.m1.1.1.5.2" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.2.cmml">D</mi><mrow id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.cmml"><mi id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.2" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.2.cmml">L</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.1" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.3" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.3.cmml">R</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.1a" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.4" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.4.cmml">A</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p1.1.m1.1b"><apply id="A11.SS8.SSSx1.p1.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1"><times id="A11.SS8.SSSx1.p1.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.1"></times><ci id="A11.SS8.SSSx1.p1.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.p1.1.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.p1.1.m1.1.1.4.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.p1.1.m1.1.1.5.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p1.1.m1.1.1.5.1.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.p1.1.m1.1.1.5.2.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.2">𝐷</ci><apply id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3"><times id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.1.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.1"></times><ci id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.2.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.2">𝐿</ci><ci id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.3.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.3">𝑅</ci><ci id="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.4.cmml" xref="A11.SS8.SSSx1.p1.1.m1.1.1.5.3.4">𝐴</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p1.1.m1.1c">PSGD_{LRA}</annotation></semantics></math> and <math id="A11.SS8.SSSx1.p1.2.m2.1" class="ltx_Math" alttext="PSGD_{XMat}" display="inline"><semantics id="A11.SS8.SSSx1.p1.2.m2.1a"><mrow id="A11.SS8.SSSx1.p1.2.m2.1.1" xref="A11.SS8.SSSx1.p1.2.m2.1.1.cmml"><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.2" xref="A11.SS8.SSSx1.p1.2.m2.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.2.m2.1.1.1" xref="A11.SS8.SSSx1.p1.2.m2.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.3" xref="A11.SS8.SSSx1.p1.2.m2.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.2.m2.1.1.1a" xref="A11.SS8.SSSx1.p1.2.m2.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.4" xref="A11.SS8.SSSx1.p1.2.m2.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.2.m2.1.1.1b" xref="A11.SS8.SSSx1.p1.2.m2.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.p1.2.m2.1.1.5" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.cmml"><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.5.2" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.2.cmml">D</mi><mrow id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.cmml"><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.2" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.2.cmml">X</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.3" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.3.cmml">M</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1a" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.4" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.4.cmml">a</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1b" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.5" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.5.cmml">t</mi></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p1.2.m2.1b"><apply id="A11.SS8.SSSx1.p1.2.m2.1.1.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1"><times id="A11.SS8.SSSx1.p1.2.m2.1.1.1.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.1"></times><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.2.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.3.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.4.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.p1.2.m2.1.1.5.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p1.2.m2.1.1.5.1.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.5.2.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.2">𝐷</ci><apply id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3"><times id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.1"></times><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.2.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.2">𝑋</ci><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.3.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.3">𝑀</ci><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.4.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.4">𝑎</ci><ci id="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.5.cmml" xref="A11.SS8.SSSx1.p1.2.m2.1.1.5.3.5">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p1.2.m2.1c">PSGD_{XMat}</annotation></semantics></math> to the Affine or Kronecker Factorized version of <math id="A11.SS8.SSSx1.p1.3.m3.1" class="ltx_Math" alttext="PSGD_{A}," display="inline"><semantics id="A11.SS8.SSSx1.p1.3.m3.1a"><mrow id="A11.SS8.SSSx1.p1.3.m3.1.1.1" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.cmml"><mrow id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.cmml"><mi id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.2" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.3" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1a" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.4" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1b" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.cmml"><mi id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.2" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.2.cmml">D</mi><mi id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.3" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.3.cmml">A</mi></msub></mrow><mo id="A11.SS8.SSSx1.p1.3.m3.1.1.1.2" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p1.3.m3.1b"><apply id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1"><times id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.1"></times><ci id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.2.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.3.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.4.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.1.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.2.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.2">𝐷</ci><ci id="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.3.cmml" xref="A11.SS8.SSSx1.p1.3.m3.1.1.1.1.5.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p1.3.m3.1c">PSGD_{A},</annotation></semantics></math> to KFAC, SGD, and Adam. While <math id="A11.SS8.SSSx1.p1.4.m4.1" class="ltx_Math" alttext="PSGD_{A}" display="inline"><semantics id="A11.SS8.SSSx1.p1.4.m4.1a"><mrow id="A11.SS8.SSSx1.p1.4.m4.1.1" xref="A11.SS8.SSSx1.p1.4.m4.1.1.cmml"><mi id="A11.SS8.SSSx1.p1.4.m4.1.1.2" xref="A11.SS8.SSSx1.p1.4.m4.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.4.m4.1.1.1" xref="A11.SS8.SSSx1.p1.4.m4.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.4.m4.1.1.3" xref="A11.SS8.SSSx1.p1.4.m4.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.4.m4.1.1.1a" xref="A11.SS8.SSSx1.p1.4.m4.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.4.m4.1.1.4" xref="A11.SS8.SSSx1.p1.4.m4.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.4.m4.1.1.1b" xref="A11.SS8.SSSx1.p1.4.m4.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.p1.4.m4.1.1.5" xref="A11.SS8.SSSx1.p1.4.m4.1.1.5.cmml"><mi id="A11.SS8.SSSx1.p1.4.m4.1.1.5.2" xref="A11.SS8.SSSx1.p1.4.m4.1.1.5.2.cmml">D</mi><mi id="A11.SS8.SSSx1.p1.4.m4.1.1.5.3" xref="A11.SS8.SSSx1.p1.4.m4.1.1.5.3.cmml">A</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p1.4.m4.1b"><apply id="A11.SS8.SSSx1.p1.4.m4.1.1.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1"><times id="A11.SS8.SSSx1.p1.4.m4.1.1.1.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.1"></times><ci id="A11.SS8.SSSx1.p1.4.m4.1.1.2.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.p1.4.m4.1.1.3.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.p1.4.m4.1.1.4.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.p1.4.m4.1.1.5.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p1.4.m4.1.1.5.1.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.p1.4.m4.1.1.5.2.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.5.2">𝐷</ci><ci id="A11.SS8.SSSx1.p1.4.m4.1.1.5.3.cmml" xref="A11.SS8.SSSx1.p1.4.m4.1.1.5.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p1.4.m4.1c">PSGD_{A}</annotation></semantics></math> is able to outperform the other optimizers, the Affine version of PSGD requires careful adjustment of neural network architecture to be used. This becomes infeasible for large and intricate modern NN architectures. We see in Table <a href="#A11.T13" title="Table 13 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">13</span></a> that the black box variants nearly match the test accuracy of <math id="A11.SS8.SSSx1.p1.5.m5.1" class="ltx_Math" alttext="PSGD_{A}" display="inline"><semantics id="A11.SS8.SSSx1.p1.5.m5.1a"><mrow id="A11.SS8.SSSx1.p1.5.m5.1.1" xref="A11.SS8.SSSx1.p1.5.m5.1.1.cmml"><mi id="A11.SS8.SSSx1.p1.5.m5.1.1.2" xref="A11.SS8.SSSx1.p1.5.m5.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.5.m5.1.1.1" xref="A11.SS8.SSSx1.p1.5.m5.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.5.m5.1.1.3" xref="A11.SS8.SSSx1.p1.5.m5.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.5.m5.1.1.1a" xref="A11.SS8.SSSx1.p1.5.m5.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.p1.5.m5.1.1.4" xref="A11.SS8.SSSx1.p1.5.m5.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p1.5.m5.1.1.1b" xref="A11.SS8.SSSx1.p1.5.m5.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.p1.5.m5.1.1.5" xref="A11.SS8.SSSx1.p1.5.m5.1.1.5.cmml"><mi id="A11.SS8.SSSx1.p1.5.m5.1.1.5.2" xref="A11.SS8.SSSx1.p1.5.m5.1.1.5.2.cmml">D</mi><mi id="A11.SS8.SSSx1.p1.5.m5.1.1.5.3" xref="A11.SS8.SSSx1.p1.5.m5.1.1.5.3.cmml">A</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p1.5.m5.1b"><apply id="A11.SS8.SSSx1.p1.5.m5.1.1.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1"><times id="A11.SS8.SSSx1.p1.5.m5.1.1.1.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.1"></times><ci id="A11.SS8.SSSx1.p1.5.m5.1.1.2.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.p1.5.m5.1.1.3.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.p1.5.m5.1.1.4.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.p1.5.m5.1.1.5.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p1.5.m5.1.1.5.1.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.p1.5.m5.1.1.5.2.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.5.2">𝐷</ci><ci id="A11.SS8.SSSx1.p1.5.m5.1.1.5.3.cmml" xref="A11.SS8.SSSx1.p1.5.m5.1.1.5.3">𝐴</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p1.5.m5.1c">PSGD_{A}</annotation></semantics></math> outperforming the memory-hungry KFAC (second order) optimizer, as well as first order SGD and Adam.</p>
</div>
<figure id="A11.SS8.SSSx1.6" class="ltx_table">
<div class="ltx_flex_figure ltx_flex_table">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.SS8.SSSx1.5.3" class="ltx_figure ltx_figure_panel ltx_minipage ltx_align_middle" style="width:195.1pt;">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.T13" class="ltx_table ltx_figure_panel">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table"><span id="A11.T13.4.2.1" class="ltx_text" style="font-size:90%;">Table 13</span>: </span><span id="A11.T13.2.1" class="ltx_text" style="font-size:90%;">Test accuracy of LeNet5 on MNIST over <math id="A11.T13.2.1.m1.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A11.T13.2.1.m1.1b"><mn id="A11.T13.2.1.m1.1.1" xref="A11.T13.2.1.m1.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A11.T13.2.1.m1.1c"><cn type="integer" id="A11.T13.2.1.m1.1.1.cmml" xref="A11.T13.2.1.m1.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.T13.2.1.m1.1d">10</annotation></semantics></math> runs.</span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<div id="A11.SS8.SSSx1.5.3.3" class="ltx_inline-block ltx_figure_panel ltx_align_center ltx_transformed_outer" style="width:231.8pt;height:31.3pt;vertical-align:-0.0pt;"><span class="ltx_transformed_inner" style="transform:translate(-17.3pt,2.3pt) scale(0.87,0.87) ;">
<table id="A11.SS8.SSSx1.5.3.3.3" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.SS8.SSSx1.5.3.3.3.3" class="ltx_tr">
<th id="A11.SS8.SSSx1.5.3.3.3.3.4" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_th_row ltx_border_tt">SGD</th>
<th id="A11.SS8.SSSx1.5.3.3.3.3.5" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_th_row ltx_border_tt">Adam</th>
<th id="A11.SS8.SSSx1.5.3.3.3.3.6" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_th_row ltx_border_tt">KFAC</th>
<th id="A11.SS8.SSSx1.3.1.1.1.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt"><math id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1" class="ltx_Math" alttext="PSGD_{\text{A}}" display="inline"><semantics id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1a"><mrow id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.cmml"><mi id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.2" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.2.cmml">P</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.3" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.3.cmml">S</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1a" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1.cmml">​</mo><mi id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.4" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.4.cmml">G</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1b" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1.cmml">​</mo><msub id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.cmml"><mi id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.2" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.2.cmml">D</mi><mtext id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.3" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.3a.cmml">A</mtext></msub></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1b"><apply id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1"><times id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.1"></times><ci id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.2">𝑃</ci><ci id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.3">𝑆</ci><ci id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.4.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.4">𝐺</ci><apply id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.1.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5">subscript</csymbol><ci id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.2.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.2">𝐷</ci><ci id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.3a.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.3"><mtext mathsize="70%" id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.3.cmml" xref="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1.1.5.3">A</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.3.1.1.1.1.1.m1.1c">PSGD_{\text{A}}</annotation></semantics></math></th>
<th id="A11.SS8.SSSx1.4.2.2.2.2.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt"><math id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1" class="ltx_Math" alttext="\text{PSGD}_{\text{XMat}}" display="inline"><semantics id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1a"><msub id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.cmml"><mtext id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.2" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.2a.cmml">PSGD</mtext><mtext id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.3" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.3a.cmml">XMat</mtext></msub><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1b"><apply id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.cmml" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1">subscript</csymbol><ci id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.2a.cmml" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.2"><mtext id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.2">PSGD</mtext></ci><ci id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.3a.cmml" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.3"><mtext mathsize="70%" id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1.1.3">XMat</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.4.2.2.2.2.2.m1.1c">\text{PSGD}_{\text{XMat}}</annotation></semantics></math></th>
<th id="A11.SS8.SSSx1.5.3.3.3.3.3" class="ltx_td ltx_nopad_r ltx_align_center ltx_th ltx_th_column ltx_border_tt"><math id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1" class="ltx_Math" alttext="\text{PSGD}_{\text{LRA}}" display="inline"><semantics id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1a"><msub id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.cmml"><mtext id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.2" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.2a.cmml">PSGD</mtext><mtext id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.3" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.3a.cmml">LRA</mtext></msub><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1b"><apply id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.cmml" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1">subscript</csymbol><ci id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.2a.cmml" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.2"><mtext id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.2">PSGD</mtext></ci><ci id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.3a.cmml" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.3"><mtext mathsize="70%" id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1.1.3">LRA</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.5.3.3.3.3.3.m1.1c">\text{PSGD}_{\text{LRA}}</annotation></semantics></math></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.SS8.SSSx1.5.3.3.3.4.1" class="ltx_tr">
<th id="A11.SS8.SSSx1.5.3.3.3.4.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_bb ltx_border_t">99.04</th>
<th id="A11.SS8.SSSx1.5.3.3.3.4.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_bb ltx_border_t">99.12</th>
<th id="A11.SS8.SSSx1.5.3.3.3.4.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_bb ltx_border_t">99.16</th>
<td id="A11.SS8.SSSx1.5.3.3.3.4.1.4" class="ltx_td ltx_align_center ltx_border_bb ltx_border_t">99.26</td>
<td id="A11.SS8.SSSx1.5.3.3.3.4.1.5" class="ltx_td ltx_align_center ltx_border_bb ltx_border_t">99.22</td>
<td id="A11.SS8.SSSx1.5.3.3.3.4.1.6" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_bb ltx_border_t">99.22</td>
</tr>
</tbody>
</table>
</span></div>
</div>
</div>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.SS8.SSSx1.6.fig1" class="ltx_figure ltx_figure_panel ltx_minipage ltx_align_middle" style="width:195.1pt;">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.T14" class="ltx_table ltx_figure_panel">
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_table"><span id="A11.T14.2.1.1" class="ltx_text" style="font-size:90%;">Table 14</span>: </span><span id="A11.T14.3.2" class="ltx_text" style="font-size:90%;">Stage &amp; cosine learning rate and residual-free ResNet18-RF on CIFAR10. </span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<div id="A11.SS8.SSSx1.6.fig1.1" class="ltx_inline-block ltx_figure_panel ltx_align_center ltx_transformed_outer" style="width:170.6pt;height:68.4pt;vertical-align:-0.0pt;"><span class="ltx_transformed_inner" style="transform:translate(-4.5pt,1.8pt) scale(0.95,0.95) ;">
<table id="A11.SS8.SSSx1.6.fig1.1.1" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<tbody class="ltx_tbody">
<tr id="A11.SS8.SSSx1.6.fig1.1.1.1.1" class="ltx_tr">
<td id="A11.SS8.SSSx1.6.fig1.1.1.1.1.1" class="ltx_td ltx_border_tt"></td>
<th id="A11.SS8.SSSx1.6.fig1.1.1.1.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" colspan="2">ResNet18</th>
<th id="A11.SS8.SSSx1.6.fig1.1.1.1.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" colspan="2">ResNet18-RF</th>
</tr>
<tr id="A11.SS8.SSSx1.6.fig1.1.1.2.2" class="ltx_tr">
<td id="A11.SS8.SSSx1.6.fig1.1.1.2.2.1" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.SS8.SSSx1.6.fig1.1.1.2.2.1.1" class="ltx_text ltx_font_italic">lr</span></td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.2.2.2" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.SS8.SSSx1.6.fig1.1.1.2.2.2.1" class="ltx_text ltx_font_italic">cos</span></td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.2.2.3" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.SS8.SSSx1.6.fig1.1.1.2.2.3.1" class="ltx_text ltx_font_italic">stage</span></td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.2.2.4" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.SS8.SSSx1.6.fig1.1.1.2.2.4.1" class="ltx_text ltx_font_italic">cos</span></td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.2.2.5" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_t"><span id="A11.SS8.SSSx1.6.fig1.1.1.2.2.5.1" class="ltx_text ltx_font_italic">stage</span></td>
</tr>
<tr id="A11.SS8.SSSx1.6.fig1.1.1.3.3" class="ltx_tr">
<td id="A11.SS8.SSSx1.6.fig1.1.1.3.3.1" class="ltx_td ltx_align_center">SGD</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.3.3.2" class="ltx_td ltx_align_center">95.51</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.3.3.3" class="ltx_td ltx_align_center">95.07</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.3.3.4" class="ltx_td ltx_align_center">94.97</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.3.3.5" class="ltx_td ltx_nopad_r ltx_align_center">94.35</td>
</tr>
<tr id="A11.SS8.SSSx1.6.fig1.1.1.4.4" class="ltx_tr">
<td id="A11.SS8.SSSx1.6.fig1.1.1.4.4.1" class="ltx_td ltx_align_center ltx_border_bb">PSGD</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.4.4.2" class="ltx_td ltx_align_center ltx_border_bb">95.54</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.4.4.3" class="ltx_td ltx_align_center ltx_border_bb">95.43</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.4.4.4" class="ltx_td ltx_align_center ltx_border_bb">95.36</td>
<td id="A11.SS8.SSSx1.6.fig1.1.1.4.4.5" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_bb">95.17</td>
</tr>
</tbody>
</table>
</span></div>
</div>
</div>
</figure>
</div>
</div>
</figure>
<figure id="A11.T15" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T15.33.1.1" class="ltx_text" style="font-size:90%;">Table 15</span>: </span><span id="A11.T15.34.2" class="ltx_text" style="font-size:90%;">Test Accuracy of RN18 on diverse CIFAR10 derived tasks with (P)SGD, Adam &amp; Apollo (2nd order). The current SoTA optimizer is <span id="A11.T15.34.2.1" class="ltx_text ltx_font_italic">italicized</span>, and the best accuracies are bolded. ESAM and AESAM took far too long to run on our TPU based system and had sub-par performance, as such we did not continue conducting sharpness aware minimization examples.</span></figcaption>
<div id="A11.T15.30" class="ltx_inline-block ltx_align_center ltx_transformed_outer" style="width:432.8pt;height:105.4pt;vertical-align:-0.8pt;"><span class="ltx_transformed_inner" style="transform:translate(-44.3pt,10.7pt) scale(0.83,0.83) ;">
<table id="A11.T15.30.30" class="ltx_tabular ltx_guessed_headers ltx_align_middle">
<tbody class="ltx_tbody">
<tr id="A11.T15.30.30.31.1" class="ltx_tr">
<th id="A11.T15.30.30.31.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_row ltx_border_tt">CIFAR10</th>
<td id="A11.T15.30.30.31.1.2" class="ltx_td ltx_align_center ltx_border_tt">Standard</td>
<td id="A11.T15.30.30.31.1.3" class="ltx_td ltx_align_center ltx_border_tt">No Shortcut</td>
<td id="A11.T15.30.30.31.1.4" class="ltx_td ltx_align_center ltx_border_tt">Class Imb</td>
<td id="A11.T15.30.30.31.1.5" class="ltx_td ltx_align_center ltx_border_tt">Noisy Final</td>
<td id="A11.T15.30.30.31.1.6" class="ltx_td ltx_align_center ltx_border_tt">Noisy Best</td>
<td id="A11.T15.30.30.31.1.7" class="ltx_td ltx_align_center ltx_border_tt">Adversarial</td>
<td id="A11.T15.30.30.31.1.8" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_tt">Blur Deficit</td>
</tr>
<tr id="A11.T15.7.7.7" class="ltx_tr">
<th id="A11.T15.7.7.7.8" class="ltx_td ltx_align_left ltx_th ltx_th_row ltx_border_t">PSGD (Ours)</th>
<td id="A11.T15.1.1.1.1" class="ltx_td ltx_align_center ltx_border_t">
<math id="A11.T15.1.1.1.1.m1.1" class="ltx_Math" alttext="\mathbf{95.49}_{0.08}" display="inline"><semantics id="A11.T15.1.1.1.1.m1.1a"><msub id="A11.T15.1.1.1.1.m1.1.1" xref="A11.T15.1.1.1.1.m1.1.1.cmml"><mn class="ltx_mathvariant_bold" mathvariant="bold" id="A11.T15.1.1.1.1.m1.1.1.2" xref="A11.T15.1.1.1.1.m1.1.1.2.cmml">95.49</mn><mn id="A11.T15.1.1.1.1.m1.1.1.3" xref="A11.T15.1.1.1.1.m1.1.1.3.cmml">0.08</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.1.1.1.1.m1.1b"><apply id="A11.T15.1.1.1.1.m1.1.1.cmml" xref="A11.T15.1.1.1.1.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.1.1.1.1.m1.1.1.1.cmml" xref="A11.T15.1.1.1.1.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.1.1.1.1.m1.1.1.2.cmml" xref="A11.T15.1.1.1.1.m1.1.1.2">95.49</cn><cn type="float" id="A11.T15.1.1.1.1.m1.1.1.3.cmml" xref="A11.T15.1.1.1.1.m1.1.1.3">0.08</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.1.1.1.1.m1.1c">\mathbf{95.49}_{0.08}</annotation></semantics></math> (5.5hrs)</td>
<td id="A11.T15.2.2.2.2" class="ltx_td ltx_align_center ltx_border_t"><math id="A11.T15.2.2.2.2.m1.1" class="ltx_Math" alttext="\mathbf{95.27}_{0.09}" display="inline"><semantics id="A11.T15.2.2.2.2.m1.1a"><msub id="A11.T15.2.2.2.2.m1.1.1" xref="A11.T15.2.2.2.2.m1.1.1.cmml"><mn class="ltx_mathvariant_bold" mathvariant="bold" id="A11.T15.2.2.2.2.m1.1.1.2" xref="A11.T15.2.2.2.2.m1.1.1.2.cmml">95.27</mn><mn id="A11.T15.2.2.2.2.m1.1.1.3" xref="A11.T15.2.2.2.2.m1.1.1.3.cmml">0.09</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.2.2.2.2.m1.1b"><apply id="A11.T15.2.2.2.2.m1.1.1.cmml" xref="A11.T15.2.2.2.2.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.2.2.2.2.m1.1.1.1.cmml" xref="A11.T15.2.2.2.2.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.2.2.2.2.m1.1.1.2.cmml" xref="A11.T15.2.2.2.2.m1.1.1.2">95.27</cn><cn type="float" id="A11.T15.2.2.2.2.m1.1.1.3.cmml" xref="A11.T15.2.2.2.2.m1.1.1.3">0.09</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.2.2.2.2.m1.1c">\mathbf{95.27}_{0.09}</annotation></semantics></math></td>
<td id="A11.T15.3.3.3.3" class="ltx_td ltx_align_center ltx_border_t"><math id="A11.T15.3.3.3.3.m1.1" class="ltx_Math" alttext="\mathbf{87.16}_{0.85}" display="inline"><semantics id="A11.T15.3.3.3.3.m1.1a"><msub id="A11.T15.3.3.3.3.m1.1.1" xref="A11.T15.3.3.3.3.m1.1.1.cmml"><mn class="ltx_mathvariant_bold" mathvariant="bold" id="A11.T15.3.3.3.3.m1.1.1.2" xref="A11.T15.3.3.3.3.m1.1.1.2.cmml">87.16</mn><mn id="A11.T15.3.3.3.3.m1.1.1.3" xref="A11.T15.3.3.3.3.m1.1.1.3.cmml">0.85</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.3.3.3.3.m1.1b"><apply id="A11.T15.3.3.3.3.m1.1.1.cmml" xref="A11.T15.3.3.3.3.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.3.3.3.3.m1.1.1.1.cmml" xref="A11.T15.3.3.3.3.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.3.3.3.3.m1.1.1.2.cmml" xref="A11.T15.3.3.3.3.m1.1.1.2">87.16</cn><cn type="float" id="A11.T15.3.3.3.3.m1.1.1.3.cmml" xref="A11.T15.3.3.3.3.m1.1.1.3">0.85</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.3.3.3.3.m1.1c">\mathbf{87.16}_{0.85}</annotation></semantics></math></td>
<td id="A11.T15.4.4.4.4" class="ltx_td ltx_align_center ltx_border_t"><math id="A11.T15.4.4.4.4.m1.1" class="ltx_Math" alttext="\mathbf{82.63}_{0.11}" display="inline"><semantics id="A11.T15.4.4.4.4.m1.1a"><msub id="A11.T15.4.4.4.4.m1.1.1" xref="A11.T15.4.4.4.4.m1.1.1.cmml"><mn class="ltx_mathvariant_bold" mathvariant="bold" id="A11.T15.4.4.4.4.m1.1.1.2" xref="A11.T15.4.4.4.4.m1.1.1.2.cmml">82.63</mn><mn id="A11.T15.4.4.4.4.m1.1.1.3" xref="A11.T15.4.4.4.4.m1.1.1.3.cmml">0.11</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.4.4.4.4.m1.1b"><apply id="A11.T15.4.4.4.4.m1.1.1.cmml" xref="A11.T15.4.4.4.4.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.4.4.4.4.m1.1.1.1.cmml" xref="A11.T15.4.4.4.4.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.4.4.4.4.m1.1.1.2.cmml" xref="A11.T15.4.4.4.4.m1.1.1.2">82.63</cn><cn type="float" id="A11.T15.4.4.4.4.m1.1.1.3.cmml" xref="A11.T15.4.4.4.4.m1.1.1.3">0.11</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.4.4.4.4.m1.1c">\mathbf{82.63}_{0.11}</annotation></semantics></math></td>
<td id="A11.T15.5.5.5.5" class="ltx_td ltx_align_center ltx_border_t"><math id="A11.T15.5.5.5.5.m1.1" class="ltx_Math" alttext="\mathbf{82.63}_{0.11}" display="inline"><semantics id="A11.T15.5.5.5.5.m1.1a"><msub id="A11.T15.5.5.5.5.m1.1.1" xref="A11.T15.5.5.5.5.m1.1.1.cmml"><mn class="ltx_mathvariant_bold" mathvariant="bold" id="A11.T15.5.5.5.5.m1.1.1.2" xref="A11.T15.5.5.5.5.m1.1.1.2.cmml">82.63</mn><mn id="A11.T15.5.5.5.5.m1.1.1.3" xref="A11.T15.5.5.5.5.m1.1.1.3.cmml">0.11</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.5.5.5.5.m1.1b"><apply id="A11.T15.5.5.5.5.m1.1.1.cmml" xref="A11.T15.5.5.5.5.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.5.5.5.5.m1.1.1.1.cmml" xref="A11.T15.5.5.5.5.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.5.5.5.5.m1.1.1.2.cmml" xref="A11.T15.5.5.5.5.m1.1.1.2">82.63</cn><cn type="float" id="A11.T15.5.5.5.5.m1.1.1.3.cmml" xref="A11.T15.5.5.5.5.m1.1.1.3">0.11</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.5.5.5.5.m1.1c">\mathbf{82.63}_{0.11}</annotation></semantics></math></td>
<td id="A11.T15.6.6.6.6" class="ltx_td ltx_align_center ltx_border_t"><math id="A11.T15.6.6.6.6.m1.1" class="ltx_Math" alttext="\mathbf{85.17}_{0.04}" display="inline"><semantics id="A11.T15.6.6.6.6.m1.1a"><msub id="A11.T15.6.6.6.6.m1.1.1" xref="A11.T15.6.6.6.6.m1.1.1.cmml"><mn class="ltx_mathvariant_bold" mathvariant="bold" id="A11.T15.6.6.6.6.m1.1.1.2" xref="A11.T15.6.6.6.6.m1.1.1.2.cmml">85.17</mn><mn id="A11.T15.6.6.6.6.m1.1.1.3" xref="A11.T15.6.6.6.6.m1.1.1.3.cmml">0.04</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.6.6.6.6.m1.1b"><apply id="A11.T15.6.6.6.6.m1.1.1.cmml" xref="A11.T15.6.6.6.6.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.6.6.6.6.m1.1.1.1.cmml" xref="A11.T15.6.6.6.6.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.6.6.6.6.m1.1.1.2.cmml" xref="A11.T15.6.6.6.6.m1.1.1.2">85.17</cn><cn type="float" id="A11.T15.6.6.6.6.m1.1.1.3.cmml" xref="A11.T15.6.6.6.6.m1.1.1.3">0.04</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.6.6.6.6.m1.1c">\mathbf{85.17}_{0.04}</annotation></semantics></math></td>
<td id="A11.T15.7.7.7.7" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_t"><math id="A11.T15.7.7.7.7.m1.1" class="ltx_Math" alttext="\mathbf{89.51}_{0.12}" display="inline"><semantics id="A11.T15.7.7.7.7.m1.1a"><msub id="A11.T15.7.7.7.7.m1.1.1" xref="A11.T15.7.7.7.7.m1.1.1.cmml"><mn class="ltx_mathvariant_bold" mathvariant="bold" id="A11.T15.7.7.7.7.m1.1.1.2" xref="A11.T15.7.7.7.7.m1.1.1.2.cmml">89.51</mn><mn id="A11.T15.7.7.7.7.m1.1.1.3" xref="A11.T15.7.7.7.7.m1.1.1.3.cmml">0.12</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.7.7.7.7.m1.1b"><apply id="A11.T15.7.7.7.7.m1.1.1.cmml" xref="A11.T15.7.7.7.7.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.7.7.7.7.m1.1.1.1.cmml" xref="A11.T15.7.7.7.7.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.7.7.7.7.m1.1.1.2.cmml" xref="A11.T15.7.7.7.7.m1.1.1.2">89.51</cn><cn type="float" id="A11.T15.7.7.7.7.m1.1.1.3.cmml" xref="A11.T15.7.7.7.7.m1.1.1.3">0.12</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.7.7.7.7.m1.1c">\mathbf{89.51}_{0.12}</annotation></semantics></math></td>
</tr>
<tr id="A11.T15.14.14.14" class="ltx_tr">
<th id="A11.T15.14.14.14.8" class="ltx_td ltx_align_left ltx_th ltx_th_row">SGD</th>
<td id="A11.T15.8.8.8.1" class="ltx_td ltx_align_center">
<math id="A11.T15.8.8.8.1.m1.1" class="ltx_Math" alttext="\textit{95.47}_{0.14}" display="inline"><semantics id="A11.T15.8.8.8.1.m1.1a"><msub id="A11.T15.8.8.8.1.m1.1.1" xref="A11.T15.8.8.8.1.m1.1.1.cmml"><mtext class="ltx_mathvariant_italic" id="A11.T15.8.8.8.1.m1.1.1.2" xref="A11.T15.8.8.8.1.m1.1.1.2a.cmml">95.47</mtext><mn id="A11.T15.8.8.8.1.m1.1.1.3" xref="A11.T15.8.8.8.1.m1.1.1.3.cmml">0.14</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.8.8.8.1.m1.1b"><apply id="A11.T15.8.8.8.1.m1.1.1.cmml" xref="A11.T15.8.8.8.1.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.8.8.8.1.m1.1.1.1.cmml" xref="A11.T15.8.8.8.1.m1.1.1">subscript</csymbol><ci id="A11.T15.8.8.8.1.m1.1.1.2a.cmml" xref="A11.T15.8.8.8.1.m1.1.1.2"><mtext class="ltx_mathvariant_italic" id="A11.T15.8.8.8.1.m1.1.1.2.cmml" xref="A11.T15.8.8.8.1.m1.1.1.2">95.47</mtext></ci><cn type="float" id="A11.T15.8.8.8.1.m1.1.1.3.cmml" xref="A11.T15.8.8.8.1.m1.1.1.3">0.14</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.8.8.8.1.m1.1c">\textit{95.47}_{0.14}</annotation></semantics></math> <span id="A11.T15.8.8.8.1.1" class="ltx_text ltx_font_bold">(4.5hrs)</span>
</td>
<td id="A11.T15.9.9.9.2" class="ltx_td ltx_align_center"><math id="A11.T15.9.9.9.2.m1.1" class="ltx_Math" alttext="\textit{94.66}_{0.16}" display="inline"><semantics id="A11.T15.9.9.9.2.m1.1a"><msub id="A11.T15.9.9.9.2.m1.1.1" xref="A11.T15.9.9.9.2.m1.1.1.cmml"><mtext class="ltx_mathvariant_italic" id="A11.T15.9.9.9.2.m1.1.1.2" xref="A11.T15.9.9.9.2.m1.1.1.2a.cmml">94.66</mtext><mn id="A11.T15.9.9.9.2.m1.1.1.3" xref="A11.T15.9.9.9.2.m1.1.1.3.cmml">0.16</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.9.9.9.2.m1.1b"><apply id="A11.T15.9.9.9.2.m1.1.1.cmml" xref="A11.T15.9.9.9.2.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.9.9.9.2.m1.1.1.1.cmml" xref="A11.T15.9.9.9.2.m1.1.1">subscript</csymbol><ci id="A11.T15.9.9.9.2.m1.1.1.2a.cmml" xref="A11.T15.9.9.9.2.m1.1.1.2"><mtext class="ltx_mathvariant_italic" id="A11.T15.9.9.9.2.m1.1.1.2.cmml" xref="A11.T15.9.9.9.2.m1.1.1.2">94.66</mtext></ci><cn type="float" id="A11.T15.9.9.9.2.m1.1.1.3.cmml" xref="A11.T15.9.9.9.2.m1.1.1.3">0.16</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.9.9.9.2.m1.1c">\textit{94.66}_{0.16}</annotation></semantics></math></td>
<td id="A11.T15.10.10.10.3" class="ltx_td ltx_align_center"><math id="A11.T15.10.10.10.3.m1.1" class="ltx_Math" alttext="\textit{86.32}_{0.84}" display="inline"><semantics id="A11.T15.10.10.10.3.m1.1a"><msub id="A11.T15.10.10.10.3.m1.1.1" xref="A11.T15.10.10.10.3.m1.1.1.cmml"><mtext class="ltx_mathvariant_italic" id="A11.T15.10.10.10.3.m1.1.1.2" xref="A11.T15.10.10.10.3.m1.1.1.2a.cmml">86.32</mtext><mn id="A11.T15.10.10.10.3.m1.1.1.3" xref="A11.T15.10.10.10.3.m1.1.1.3.cmml">0.84</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.10.10.10.3.m1.1b"><apply id="A11.T15.10.10.10.3.m1.1.1.cmml" xref="A11.T15.10.10.10.3.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.10.10.10.3.m1.1.1.1.cmml" xref="A11.T15.10.10.10.3.m1.1.1">subscript</csymbol><ci id="A11.T15.10.10.10.3.m1.1.1.2a.cmml" xref="A11.T15.10.10.10.3.m1.1.1.2"><mtext class="ltx_mathvariant_italic" id="A11.T15.10.10.10.3.m1.1.1.2.cmml" xref="A11.T15.10.10.10.3.m1.1.1.2">86.32</mtext></ci><cn type="float" id="A11.T15.10.10.10.3.m1.1.1.3.cmml" xref="A11.T15.10.10.10.3.m1.1.1.3">0.84</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.10.10.10.3.m1.1c">\textit{86.32}_{0.84}</annotation></semantics></math></td>
<td id="A11.T15.11.11.11.4" class="ltx_td ltx_align_center"><math id="A11.T15.11.11.11.4.m1.1" class="ltx_Math" alttext="18.7_{33.75}" display="inline"><semantics id="A11.T15.11.11.11.4.m1.1a"><msub id="A11.T15.11.11.11.4.m1.1.1" xref="A11.T15.11.11.11.4.m1.1.1.cmml"><mn id="A11.T15.11.11.11.4.m1.1.1.2" xref="A11.T15.11.11.11.4.m1.1.1.2.cmml">18.7</mn><mn id="A11.T15.11.11.11.4.m1.1.1.3" xref="A11.T15.11.11.11.4.m1.1.1.3.cmml">33.75</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.11.11.11.4.m1.1b"><apply id="A11.T15.11.11.11.4.m1.1.1.cmml" xref="A11.T15.11.11.11.4.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.11.11.11.4.m1.1.1.1.cmml" xref="A11.T15.11.11.11.4.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.11.11.11.4.m1.1.1.2.cmml" xref="A11.T15.11.11.11.4.m1.1.1.2">18.7</cn><cn type="float" id="A11.T15.11.11.11.4.m1.1.1.3.cmml" xref="A11.T15.11.11.11.4.m1.1.1.3">33.75</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.11.11.11.4.m1.1c">18.7_{33.75}</annotation></semantics></math></td>
<td id="A11.T15.12.12.12.5" class="ltx_td ltx_align_center"><math id="A11.T15.12.12.12.5.m1.1" class="ltx_Math" alttext="73.975_{5.65}" display="inline"><semantics id="A11.T15.12.12.12.5.m1.1a"><msub id="A11.T15.12.12.12.5.m1.1.1" xref="A11.T15.12.12.12.5.m1.1.1.cmml"><mn id="A11.T15.12.12.12.5.m1.1.1.2" xref="A11.T15.12.12.12.5.m1.1.1.2.cmml">73.975</mn><mn id="A11.T15.12.12.12.5.m1.1.1.3" xref="A11.T15.12.12.12.5.m1.1.1.3.cmml">5.65</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.12.12.12.5.m1.1b"><apply id="A11.T15.12.12.12.5.m1.1.1.cmml" xref="A11.T15.12.12.12.5.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.12.12.12.5.m1.1.1.1.cmml" xref="A11.T15.12.12.12.5.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.12.12.12.5.m1.1.1.2.cmml" xref="A11.T15.12.12.12.5.m1.1.1.2">73.975</cn><cn type="float" id="A11.T15.12.12.12.5.m1.1.1.3.cmml" xref="A11.T15.12.12.12.5.m1.1.1.3">5.65</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.12.12.12.5.m1.1c">73.975_{5.65}</annotation></semantics></math></td>
<td id="A11.T15.13.13.13.6" class="ltx_td ltx_align_center"><math id="A11.T15.13.13.13.6.m1.1" class="ltx_Math" alttext="\textit{83.82}_{0.18}" display="inline"><semantics id="A11.T15.13.13.13.6.m1.1a"><msub id="A11.T15.13.13.13.6.m1.1.1" xref="A11.T15.13.13.13.6.m1.1.1.cmml"><mtext class="ltx_mathvariant_italic" id="A11.T15.13.13.13.6.m1.1.1.2" xref="A11.T15.13.13.13.6.m1.1.1.2a.cmml">83.82</mtext><mn id="A11.T15.13.13.13.6.m1.1.1.3" xref="A11.T15.13.13.13.6.m1.1.1.3.cmml">0.18</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.13.13.13.6.m1.1b"><apply id="A11.T15.13.13.13.6.m1.1.1.cmml" xref="A11.T15.13.13.13.6.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.13.13.13.6.m1.1.1.1.cmml" xref="A11.T15.13.13.13.6.m1.1.1">subscript</csymbol><ci id="A11.T15.13.13.13.6.m1.1.1.2a.cmml" xref="A11.T15.13.13.13.6.m1.1.1.2"><mtext class="ltx_mathvariant_italic" id="A11.T15.13.13.13.6.m1.1.1.2.cmml" xref="A11.T15.13.13.13.6.m1.1.1.2">83.82</mtext></ci><cn type="float" id="A11.T15.13.13.13.6.m1.1.1.3.cmml" xref="A11.T15.13.13.13.6.m1.1.1.3">0.18</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.13.13.13.6.m1.1c">\textit{83.82}_{0.18}</annotation></semantics></math></td>
<td id="A11.T15.14.14.14.7" class="ltx_td ltx_nopad_r ltx_align_center"><math id="A11.T15.14.14.14.7.m1.1" class="ltx_Math" alttext="\textit{83.51}_{0.15}" display="inline"><semantics id="A11.T15.14.14.14.7.m1.1a"><msub id="A11.T15.14.14.14.7.m1.1.1" xref="A11.T15.14.14.14.7.m1.1.1.cmml"><mtext class="ltx_mathvariant_italic" id="A11.T15.14.14.14.7.m1.1.1.2" xref="A11.T15.14.14.14.7.m1.1.1.2a.cmml">83.51</mtext><mn id="A11.T15.14.14.14.7.m1.1.1.3" xref="A11.T15.14.14.14.7.m1.1.1.3.cmml">0.15</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.14.14.14.7.m1.1b"><apply id="A11.T15.14.14.14.7.m1.1.1.cmml" xref="A11.T15.14.14.14.7.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.14.14.14.7.m1.1.1.1.cmml" xref="A11.T15.14.14.14.7.m1.1.1">subscript</csymbol><ci id="A11.T15.14.14.14.7.m1.1.1.2a.cmml" xref="A11.T15.14.14.14.7.m1.1.1.2"><mtext class="ltx_mathvariant_italic" id="A11.T15.14.14.14.7.m1.1.1.2.cmml" xref="A11.T15.14.14.14.7.m1.1.1.2">83.51</mtext></ci><cn type="float" id="A11.T15.14.14.14.7.m1.1.1.3.cmml" xref="A11.T15.14.14.14.7.m1.1.1.3">0.15</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.14.14.14.7.m1.1c">\textit{83.51}_{0.15}</annotation></semantics></math></td>
</tr>
<tr id="A11.T15.21.21.21" class="ltx_tr">
<th id="A11.T15.21.21.21.8" class="ltx_td ltx_align_left ltx_th ltx_th_row">Adam</th>
<td id="A11.T15.15.15.15.1" class="ltx_td ltx_align_center">
<math id="A11.T15.15.15.15.1.m1.1" class="ltx_Math" alttext="93.15_{0.02}" display="inline"><semantics id="A11.T15.15.15.15.1.m1.1a"><msub id="A11.T15.15.15.15.1.m1.1.1" xref="A11.T15.15.15.15.1.m1.1.1.cmml"><mn id="A11.T15.15.15.15.1.m1.1.1.2" xref="A11.T15.15.15.15.1.m1.1.1.2.cmml">93.15</mn><mn id="A11.T15.15.15.15.1.m1.1.1.3" xref="A11.T15.15.15.15.1.m1.1.1.3.cmml">0.02</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.15.15.15.1.m1.1b"><apply id="A11.T15.15.15.15.1.m1.1.1.cmml" xref="A11.T15.15.15.15.1.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.15.15.15.1.m1.1.1.1.cmml" xref="A11.T15.15.15.15.1.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.15.15.15.1.m1.1.1.2.cmml" xref="A11.T15.15.15.15.1.m1.1.1.2">93.15</cn><cn type="float" id="A11.T15.15.15.15.1.m1.1.1.3.cmml" xref="A11.T15.15.15.15.1.m1.1.1.3">0.02</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.15.15.15.1.m1.1c">93.15_{0.02}</annotation></semantics></math> <span id="A11.T15.15.15.15.1.1" class="ltx_text ltx_font_bold">(4.5hrs)</span>
</td>
<td id="A11.T15.16.16.16.2" class="ltx_td ltx_align_center"><math id="A11.T15.16.16.16.2.m1.1" class="ltx_Math" alttext="92.70_{0.02}" display="inline"><semantics id="A11.T15.16.16.16.2.m1.1a"><msub id="A11.T15.16.16.16.2.m1.1.1" xref="A11.T15.16.16.16.2.m1.1.1.cmml"><mn id="A11.T15.16.16.16.2.m1.1.1.2" xref="A11.T15.16.16.16.2.m1.1.1.2.cmml">92.70</mn><mn id="A11.T15.16.16.16.2.m1.1.1.3" xref="A11.T15.16.16.16.2.m1.1.1.3.cmml">0.02</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.16.16.16.2.m1.1b"><apply id="A11.T15.16.16.16.2.m1.1.1.cmml" xref="A11.T15.16.16.16.2.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.16.16.16.2.m1.1.1.1.cmml" xref="A11.T15.16.16.16.2.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.16.16.16.2.m1.1.1.2.cmml" xref="A11.T15.16.16.16.2.m1.1.1.2">92.70</cn><cn type="float" id="A11.T15.16.16.16.2.m1.1.1.3.cmml" xref="A11.T15.16.16.16.2.m1.1.1.3">0.02</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.16.16.16.2.m1.1c">92.70_{0.02}</annotation></semantics></math></td>
<td id="A11.T15.17.17.17.3" class="ltx_td ltx_align_center"><math id="A11.T15.17.17.17.3.m1.1" class="ltx_Math" alttext="83.18_{1.2}" display="inline"><semantics id="A11.T15.17.17.17.3.m1.1a"><msub id="A11.T15.17.17.17.3.m1.1.1" xref="A11.T15.17.17.17.3.m1.1.1.cmml"><mn id="A11.T15.17.17.17.3.m1.1.1.2" xref="A11.T15.17.17.17.3.m1.1.1.2.cmml">83.18</mn><mn id="A11.T15.17.17.17.3.m1.1.1.3" xref="A11.T15.17.17.17.3.m1.1.1.3.cmml">1.2</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.17.17.17.3.m1.1b"><apply id="A11.T15.17.17.17.3.m1.1.1.cmml" xref="A11.T15.17.17.17.3.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.17.17.17.3.m1.1.1.1.cmml" xref="A11.T15.17.17.17.3.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.17.17.17.3.m1.1.1.2.cmml" xref="A11.T15.17.17.17.3.m1.1.1.2">83.18</cn><cn type="float" id="A11.T15.17.17.17.3.m1.1.1.3.cmml" xref="A11.T15.17.17.17.3.m1.1.1.3">1.2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.17.17.17.3.m1.1c">83.18_{1.2}</annotation></semantics></math></td>
<td id="A11.T15.18.18.18.4" class="ltx_td ltx_align_center"><math id="A11.T15.18.18.18.4.m1.1" class="ltx_Math" alttext="\textit{72.47}_{2.17}" display="inline"><semantics id="A11.T15.18.18.18.4.m1.1a"><msub id="A11.T15.18.18.18.4.m1.1.1" xref="A11.T15.18.18.18.4.m1.1.1.cmml"><mtext class="ltx_mathvariant_italic" id="A11.T15.18.18.18.4.m1.1.1.2" xref="A11.T15.18.18.18.4.m1.1.1.2a.cmml">72.47</mtext><mn id="A11.T15.18.18.18.4.m1.1.1.3" xref="A11.T15.18.18.18.4.m1.1.1.3.cmml">2.17</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.18.18.18.4.m1.1b"><apply id="A11.T15.18.18.18.4.m1.1.1.cmml" xref="A11.T15.18.18.18.4.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.18.18.18.4.m1.1.1.1.cmml" xref="A11.T15.18.18.18.4.m1.1.1">subscript</csymbol><ci id="A11.T15.18.18.18.4.m1.1.1.2a.cmml" xref="A11.T15.18.18.18.4.m1.1.1.2"><mtext class="ltx_mathvariant_italic" id="A11.T15.18.18.18.4.m1.1.1.2.cmml" xref="A11.T15.18.18.18.4.m1.1.1.2">72.47</mtext></ci><cn type="float" id="A11.T15.18.18.18.4.m1.1.1.3.cmml" xref="A11.T15.18.18.18.4.m1.1.1.3">2.17</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.18.18.18.4.m1.1c">\textit{72.47}_{2.17}</annotation></semantics></math></td>
<td id="A11.T15.19.19.19.5" class="ltx_td ltx_align_center"><math id="A11.T15.19.19.19.5.m1.1" class="ltx_Math" alttext="\textit{74.47}_{1.06}" display="inline"><semantics id="A11.T15.19.19.19.5.m1.1a"><msub id="A11.T15.19.19.19.5.m1.1.1" xref="A11.T15.19.19.19.5.m1.1.1.cmml"><mtext class="ltx_mathvariant_italic" id="A11.T15.19.19.19.5.m1.1.1.2" xref="A11.T15.19.19.19.5.m1.1.1.2a.cmml">74.47</mtext><mn id="A11.T15.19.19.19.5.m1.1.1.3" xref="A11.T15.19.19.19.5.m1.1.1.3.cmml">1.06</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.19.19.19.5.m1.1b"><apply id="A11.T15.19.19.19.5.m1.1.1.cmml" xref="A11.T15.19.19.19.5.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.19.19.19.5.m1.1.1.1.cmml" xref="A11.T15.19.19.19.5.m1.1.1">subscript</csymbol><ci id="A11.T15.19.19.19.5.m1.1.1.2a.cmml" xref="A11.T15.19.19.19.5.m1.1.1.2"><mtext class="ltx_mathvariant_italic" id="A11.T15.19.19.19.5.m1.1.1.2.cmml" xref="A11.T15.19.19.19.5.m1.1.1.2">74.47</mtext></ci><cn type="float" id="A11.T15.19.19.19.5.m1.1.1.3.cmml" xref="A11.T15.19.19.19.5.m1.1.1.3">1.06</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.19.19.19.5.m1.1c">\textit{74.47}_{1.06}</annotation></semantics></math></td>
<td id="A11.T15.20.20.20.6" class="ltx_td ltx_align_center"><math id="A11.T15.20.20.20.6.m1.1" class="ltx_Math" alttext="82.26_{0.49}" display="inline"><semantics id="A11.T15.20.20.20.6.m1.1a"><msub id="A11.T15.20.20.20.6.m1.1.1" xref="A11.T15.20.20.20.6.m1.1.1.cmml"><mn id="A11.T15.20.20.20.6.m1.1.1.2" xref="A11.T15.20.20.20.6.m1.1.1.2.cmml">82.26</mn><mn id="A11.T15.20.20.20.6.m1.1.1.3" xref="A11.T15.20.20.20.6.m1.1.1.3.cmml">0.49</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.20.20.20.6.m1.1b"><apply id="A11.T15.20.20.20.6.m1.1.1.cmml" xref="A11.T15.20.20.20.6.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.20.20.20.6.m1.1.1.1.cmml" xref="A11.T15.20.20.20.6.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.20.20.20.6.m1.1.1.2.cmml" xref="A11.T15.20.20.20.6.m1.1.1.2">82.26</cn><cn type="float" id="A11.T15.20.20.20.6.m1.1.1.3.cmml" xref="A11.T15.20.20.20.6.m1.1.1.3">0.49</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.20.20.20.6.m1.1c">82.26_{0.49}</annotation></semantics></math></td>
<td id="A11.T15.21.21.21.7" class="ltx_td ltx_nopad_r ltx_align_center"><math id="A11.T15.21.21.21.7.m1.1" class="ltx_Math" alttext="82.62_{0.015}" display="inline"><semantics id="A11.T15.21.21.21.7.m1.1a"><msub id="A11.T15.21.21.21.7.m1.1.1" xref="A11.T15.21.21.21.7.m1.1.1.cmml"><mn id="A11.T15.21.21.21.7.m1.1.1.2" xref="A11.T15.21.21.21.7.m1.1.1.2.cmml">82.62</mn><mn id="A11.T15.21.21.21.7.m1.1.1.3" xref="A11.T15.21.21.21.7.m1.1.1.3.cmml">0.015</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.21.21.21.7.m1.1b"><apply id="A11.T15.21.21.21.7.m1.1.1.cmml" xref="A11.T15.21.21.21.7.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.21.21.21.7.m1.1.1.1.cmml" xref="A11.T15.21.21.21.7.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.21.21.21.7.m1.1.1.2.cmml" xref="A11.T15.21.21.21.7.m1.1.1.2">82.62</cn><cn type="float" id="A11.T15.21.21.21.7.m1.1.1.3.cmml" xref="A11.T15.21.21.21.7.m1.1.1.3">0.015</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.21.21.21.7.m1.1c">82.62_{0.015}</annotation></semantics></math></td>
</tr>
<tr id="A11.T15.28.28.28" class="ltx_tr">
<th id="A11.T15.28.28.28.8" class="ltx_td ltx_align_left ltx_th ltx_th_row">Apollo</th>
<td id="A11.T15.22.22.22.1" class="ltx_td ltx_align_center">
<math id="A11.T15.22.22.22.1.m1.1" class="ltx_Math" alttext="90.59_{0.252}" display="inline"><semantics id="A11.T15.22.22.22.1.m1.1a"><msub id="A11.T15.22.22.22.1.m1.1.1" xref="A11.T15.22.22.22.1.m1.1.1.cmml"><mn id="A11.T15.22.22.22.1.m1.1.1.2" xref="A11.T15.22.22.22.1.m1.1.1.2.cmml">90.59</mn><mn id="A11.T15.22.22.22.1.m1.1.1.3" xref="A11.T15.22.22.22.1.m1.1.1.3.cmml">0.252</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.22.22.22.1.m1.1b"><apply id="A11.T15.22.22.22.1.m1.1.1.cmml" xref="A11.T15.22.22.22.1.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.22.22.22.1.m1.1.1.1.cmml" xref="A11.T15.22.22.22.1.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.22.22.22.1.m1.1.1.2.cmml" xref="A11.T15.22.22.22.1.m1.1.1.2">90.59</cn><cn type="float" id="A11.T15.22.22.22.1.m1.1.1.3.cmml" xref="A11.T15.22.22.22.1.m1.1.1.3">0.252</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.22.22.22.1.m1.1c">90.59_{0.252}</annotation></semantics></math> (5hrs)</td>
<td id="A11.T15.23.23.23.2" class="ltx_td ltx_align_center"><math id="A11.T15.23.23.23.2.m1.1" class="ltx_Math" alttext="92.00_{0.20}" display="inline"><semantics id="A11.T15.23.23.23.2.m1.1a"><msub id="A11.T15.23.23.23.2.m1.1.1" xref="A11.T15.23.23.23.2.m1.1.1.cmml"><mn id="A11.T15.23.23.23.2.m1.1.1.2" xref="A11.T15.23.23.23.2.m1.1.1.2.cmml">92.00</mn><mn id="A11.T15.23.23.23.2.m1.1.1.3" xref="A11.T15.23.23.23.2.m1.1.1.3.cmml">0.20</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.23.23.23.2.m1.1b"><apply id="A11.T15.23.23.23.2.m1.1.1.cmml" xref="A11.T15.23.23.23.2.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.23.23.23.2.m1.1.1.1.cmml" xref="A11.T15.23.23.23.2.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.23.23.23.2.m1.1.1.2.cmml" xref="A11.T15.23.23.23.2.m1.1.1.2">92.00</cn><cn type="float" id="A11.T15.23.23.23.2.m1.1.1.3.cmml" xref="A11.T15.23.23.23.2.m1.1.1.3">0.20</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.23.23.23.2.m1.1c">92.00_{0.20}</annotation></semantics></math></td>
<td id="A11.T15.24.24.24.3" class="ltx_td ltx_align_center"><math id="A11.T15.24.24.24.3.m1.1" class="ltx_Math" alttext="78.23_{1.3}" display="inline"><semantics id="A11.T15.24.24.24.3.m1.1a"><msub id="A11.T15.24.24.24.3.m1.1.1" xref="A11.T15.24.24.24.3.m1.1.1.cmml"><mn id="A11.T15.24.24.24.3.m1.1.1.2" xref="A11.T15.24.24.24.3.m1.1.1.2.cmml">78.23</mn><mn id="A11.T15.24.24.24.3.m1.1.1.3" xref="A11.T15.24.24.24.3.m1.1.1.3.cmml">1.3</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.24.24.24.3.m1.1b"><apply id="A11.T15.24.24.24.3.m1.1.1.cmml" xref="A11.T15.24.24.24.3.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.24.24.24.3.m1.1.1.1.cmml" xref="A11.T15.24.24.24.3.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.24.24.24.3.m1.1.1.2.cmml" xref="A11.T15.24.24.24.3.m1.1.1.2">78.23</cn><cn type="float" id="A11.T15.24.24.24.3.m1.1.1.3.cmml" xref="A11.T15.24.24.24.3.m1.1.1.3">1.3</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.24.24.24.3.m1.1c">78.23_{1.3}</annotation></semantics></math></td>
<td id="A11.T15.25.25.25.4" class="ltx_td ltx_align_center"><math id="A11.T15.25.25.25.4.m1.1" class="ltx_Math" alttext="67.71_{1.49}" display="inline"><semantics id="A11.T15.25.25.25.4.m1.1a"><msub id="A11.T15.25.25.25.4.m1.1.1" xref="A11.T15.25.25.25.4.m1.1.1.cmml"><mn id="A11.T15.25.25.25.4.m1.1.1.2" xref="A11.T15.25.25.25.4.m1.1.1.2.cmml">67.71</mn><mn id="A11.T15.25.25.25.4.m1.1.1.3" xref="A11.T15.25.25.25.4.m1.1.1.3.cmml">1.49</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.25.25.25.4.m1.1b"><apply id="A11.T15.25.25.25.4.m1.1.1.cmml" xref="A11.T15.25.25.25.4.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.25.25.25.4.m1.1.1.1.cmml" xref="A11.T15.25.25.25.4.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.25.25.25.4.m1.1.1.2.cmml" xref="A11.T15.25.25.25.4.m1.1.1.2">67.71</cn><cn type="float" id="A11.T15.25.25.25.4.m1.1.1.3.cmml" xref="A11.T15.25.25.25.4.m1.1.1.3">1.49</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.25.25.25.4.m1.1c">67.71_{1.49}</annotation></semantics></math></td>
<td id="A11.T15.26.26.26.5" class="ltx_td ltx_align_center"><math id="A11.T15.26.26.26.5.m1.1" class="ltx_Math" alttext="72.58_{0.92}" display="inline"><semantics id="A11.T15.26.26.26.5.m1.1a"><msub id="A11.T15.26.26.26.5.m1.1.1" xref="A11.T15.26.26.26.5.m1.1.1.cmml"><mn id="A11.T15.26.26.26.5.m1.1.1.2" xref="A11.T15.26.26.26.5.m1.1.1.2.cmml">72.58</mn><mn id="A11.T15.26.26.26.5.m1.1.1.3" xref="A11.T15.26.26.26.5.m1.1.1.3.cmml">0.92</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.26.26.26.5.m1.1b"><apply id="A11.T15.26.26.26.5.m1.1.1.cmml" xref="A11.T15.26.26.26.5.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.26.26.26.5.m1.1.1.1.cmml" xref="A11.T15.26.26.26.5.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.26.26.26.5.m1.1.1.2.cmml" xref="A11.T15.26.26.26.5.m1.1.1.2">72.58</cn><cn type="float" id="A11.T15.26.26.26.5.m1.1.1.3.cmml" xref="A11.T15.26.26.26.5.m1.1.1.3">0.92</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.26.26.26.5.m1.1c">72.58_{0.92}</annotation></semantics></math></td>
<td id="A11.T15.27.27.27.6" class="ltx_td ltx_align_center"><math id="A11.T15.27.27.27.6.m1.1" class="ltx_Math" alttext="73.9_{0.57}" display="inline"><semantics id="A11.T15.27.27.27.6.m1.1a"><msub id="A11.T15.27.27.27.6.m1.1.1" xref="A11.T15.27.27.27.6.m1.1.1.cmml"><mn id="A11.T15.27.27.27.6.m1.1.1.2" xref="A11.T15.27.27.27.6.m1.1.1.2.cmml">73.9</mn><mn id="A11.T15.27.27.27.6.m1.1.1.3" xref="A11.T15.27.27.27.6.m1.1.1.3.cmml">0.57</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.27.27.27.6.m1.1b"><apply id="A11.T15.27.27.27.6.m1.1.1.cmml" xref="A11.T15.27.27.27.6.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.27.27.27.6.m1.1.1.1.cmml" xref="A11.T15.27.27.27.6.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.27.27.27.6.m1.1.1.2.cmml" xref="A11.T15.27.27.27.6.m1.1.1.2">73.9</cn><cn type="float" id="A11.T15.27.27.27.6.m1.1.1.3.cmml" xref="A11.T15.27.27.27.6.m1.1.1.3">0.57</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.27.27.27.6.m1.1c">73.9_{0.57}</annotation></semantics></math></td>
<td id="A11.T15.28.28.28.7" class="ltx_td ltx_nopad_r ltx_align_center"><math id="A11.T15.28.28.28.7.m1.1" class="ltx_Math" alttext="79.25_{0.46}" display="inline"><semantics id="A11.T15.28.28.28.7.m1.1a"><msub id="A11.T15.28.28.28.7.m1.1.1" xref="A11.T15.28.28.28.7.m1.1.1.cmml"><mn id="A11.T15.28.28.28.7.m1.1.1.2" xref="A11.T15.28.28.28.7.m1.1.1.2.cmml">79.25</mn><mn id="A11.T15.28.28.28.7.m1.1.1.3" xref="A11.T15.28.28.28.7.m1.1.1.3.cmml">0.46</mn></msub><annotation-xml encoding="MathML-Content" id="A11.T15.28.28.28.7.m1.1b"><apply id="A11.T15.28.28.28.7.m1.1.1.cmml" xref="A11.T15.28.28.28.7.m1.1.1"><csymbol cd="ambiguous" id="A11.T15.28.28.28.7.m1.1.1.1.cmml" xref="A11.T15.28.28.28.7.m1.1.1">subscript</csymbol><cn type="float" id="A11.T15.28.28.28.7.m1.1.1.2.cmml" xref="A11.T15.28.28.28.7.m1.1.1.2">79.25</cn><cn type="float" id="A11.T15.28.28.28.7.m1.1.1.3.cmml" xref="A11.T15.28.28.28.7.m1.1.1.3">0.46</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.28.28.28.7.m1.1c">79.25_{0.46}</annotation></semantics></math></td>
</tr>
<tr id="A11.T15.29.29.29" class="ltx_tr">
<th id="A11.T15.29.29.29.2" class="ltx_td ltx_align_left ltx_th ltx_th_row">ESAM</th>
<td id="A11.T15.29.29.29.1" class="ltx_td ltx_align_center">
<math id="A11.T15.29.29.29.1.m1.1" class="ltx_Math" alttext="93.70" display="inline"><semantics id="A11.T15.29.29.29.1.m1.1a"><mn id="A11.T15.29.29.29.1.m1.1.1" xref="A11.T15.29.29.29.1.m1.1.1.cmml">93.70</mn><annotation-xml encoding="MathML-Content" id="A11.T15.29.29.29.1.m1.1b"><cn type="float" id="A11.T15.29.29.29.1.m1.1.1.cmml" xref="A11.T15.29.29.29.1.m1.1.1">93.70</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.29.29.29.1.m1.1c">93.70</annotation></semantics></math> (days)</td>
<td id="A11.T15.29.29.29.3" class="ltx_td ltx_align_center">-</td>
<td id="A11.T15.29.29.29.4" class="ltx_td ltx_align_center">-</td>
<td id="A11.T15.29.29.29.5" class="ltx_td ltx_align_center">-</td>
<td id="A11.T15.29.29.29.6" class="ltx_td ltx_align_center">-</td>
<td id="A11.T15.29.29.29.7" class="ltx_td ltx_align_center">-</td>
<td id="A11.T15.29.29.29.8" class="ltx_td ltx_nopad_r ltx_align_center">-</td>
</tr>
<tr id="A11.T15.30.30.30" class="ltx_tr">
<th id="A11.T15.30.30.30.2" class="ltx_td ltx_align_left ltx_th ltx_th_row ltx_border_bb">AESAM</th>
<td id="A11.T15.30.30.30.1" class="ltx_td ltx_align_center ltx_border_bb">
<math id="A11.T15.30.30.30.1.m1.1" class="ltx_Math" alttext="93.71" display="inline"><semantics id="A11.T15.30.30.30.1.m1.1a"><mn id="A11.T15.30.30.30.1.m1.1.1" xref="A11.T15.30.30.30.1.m1.1.1.cmml">93.71</mn><annotation-xml encoding="MathML-Content" id="A11.T15.30.30.30.1.m1.1b"><cn type="float" id="A11.T15.30.30.30.1.m1.1.1.cmml" xref="A11.T15.30.30.30.1.m1.1.1">93.71</cn></annotation-xml><annotation encoding="application/x-tex" id="A11.T15.30.30.30.1.m1.1c">93.71</annotation></semantics></math> (days)</td>
<td id="A11.T15.30.30.30.3" class="ltx_td ltx_align_center ltx_border_bb">-</td>
<td id="A11.T15.30.30.30.4" class="ltx_td ltx_align_center ltx_border_bb">-</td>
<td id="A11.T15.30.30.30.5" class="ltx_td ltx_align_center ltx_border_bb">-</td>
<td id="A11.T15.30.30.30.6" class="ltx_td ltx_align_center ltx_border_bb">-</td>
<td id="A11.T15.30.30.30.7" class="ltx_td ltx_align_center ltx_border_bb">-</td>
<td id="A11.T15.30.30.30.8" class="ltx_td ltx_nopad_r ltx_align_center ltx_border_bb">-</td>
</tr>
</tbody>
</table>
</span></div>
</figure>
<div id="A11.SS8.SSSx1.p2" class="ltx_para">
<p id="A11.SS8.SSSx1.p2.3" class="ltx_p"><span id="A11.SS8.SSSx1.p2.3.1" class="ltx_text ltx_font_bold">Removing Skip Connections</span>
To increase curvature in the relatively flat modern ResNet architecture, we remove the residual skip connections that gave ResNets their namesake. A recent study <cite class="ltx_cite ltx_citemacro_citep">[Zhang et al., <a href="#bib.bib48" title="" class="ltx_ref">2022</a>]</cite> demonstrated the use of Tailored Activation Transformation (TAT) in conjunction with K-FAC <cite class="ltx_cite ltx_citemacro_citep">[Martens and Grosse, <a href="#bib.bib29" title="" class="ltx_ref">2015</a>]</cite> (another second-order optimizer) to close the gap between residual networks with and without residual skip connections. However, in our experiment, we do not utilize TAT and instead compare the performance of SOTA optimizers on both residual-free and standard ResNet18 models. The results, summarized in Table <a href="#A11.T14" title="Table 14 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">14</span></a>, indicate that PSGD outperforms SGD by <math id="A11.SS8.SSSx1.p2.1.m1.1" class="ltx_Math" alttext="0.61\%" display="inline"><semantics id="A11.SS8.SSSx1.p2.1.m1.1a"><mrow id="A11.SS8.SSSx1.p2.1.m1.1.1" xref="A11.SS8.SSSx1.p2.1.m1.1.1.cmml"><mn id="A11.SS8.SSSx1.p2.1.m1.1.1.2" xref="A11.SS8.SSSx1.p2.1.m1.1.1.2.cmml">0.61</mn><mo id="A11.SS8.SSSx1.p2.1.m1.1.1.1" xref="A11.SS8.SSSx1.p2.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p2.1.m1.1b"><apply id="A11.SS8.SSSx1.p2.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p2.1.m1.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p2.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p2.1.m1.1.1.1">percent</csymbol><cn type="float" id="A11.SS8.SSSx1.p2.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p2.1.m1.1.1.2">0.61</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p2.1.m1.1c">0.61\%</annotation></semantics></math> and <math id="A11.SS8.SSSx1.p2.2.m2.1" class="ltx_Math" alttext="0.20\%" display="inline"><semantics id="A11.SS8.SSSx1.p2.2.m2.1a"><mrow id="A11.SS8.SSSx1.p2.2.m2.1.1" xref="A11.SS8.SSSx1.p2.2.m2.1.1.cmml"><mn id="A11.SS8.SSSx1.p2.2.m2.1.1.2" xref="A11.SS8.SSSx1.p2.2.m2.1.1.2.cmml">0.20</mn><mo id="A11.SS8.SSSx1.p2.2.m2.1.1.1" xref="A11.SS8.SSSx1.p2.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p2.2.m2.1b"><apply id="A11.SS8.SSSx1.p2.2.m2.1.1.cmml" xref="A11.SS8.SSSx1.p2.2.m2.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p2.2.m2.1.1.1.cmml" xref="A11.SS8.SSSx1.p2.2.m2.1.1.1">percent</csymbol><cn type="float" id="A11.SS8.SSSx1.p2.2.m2.1.1.2.cmml" xref="A11.SS8.SSSx1.p2.2.m2.1.1.2">0.20</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p2.2.m2.1c">0.20\%</annotation></semantics></math> on residual-free and standard ResNet18, respectively. Our findings are consistent with the results from <cite class="ltx_cite ltx_citemacro_citep">[Zhang et al., <a href="#bib.bib48" title="" class="ltx_ref">2022</a>]</cite>, where a difference of <math id="A11.SS8.SSSx1.p2.3.m3.1" class="ltx_Math" alttext="0.6\%" display="inline"><semantics id="A11.SS8.SSSx1.p2.3.m3.1a"><mrow id="A11.SS8.SSSx1.p2.3.m3.1.1" xref="A11.SS8.SSSx1.p2.3.m3.1.1.cmml"><mn id="A11.SS8.SSSx1.p2.3.m3.1.1.2" xref="A11.SS8.SSSx1.p2.3.m3.1.1.2.cmml">0.6</mn><mo id="A11.SS8.SSSx1.p2.3.m3.1.1.1" xref="A11.SS8.SSSx1.p2.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p2.3.m3.1b"><apply id="A11.SS8.SSSx1.p2.3.m3.1.1.cmml" xref="A11.SS8.SSSx1.p2.3.m3.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p2.3.m3.1.1.1.cmml" xref="A11.SS8.SSSx1.p2.3.m3.1.1.1">percent</csymbol><cn type="float" id="A11.SS8.SSSx1.p2.3.m3.1.1.2.cmml" xref="A11.SS8.SSSx1.p2.3.m3.1.1.2">0.6</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p2.3.m3.1c">0.6\%</annotation></semantics></math> was observed between the optimization of residual-free using TAT and standard ResNet18.</p>
</div>
<div id="A11.SS8.SSSx1.p3" class="ltx_para">
<p id="A11.SS8.SSSx1.p3.2" class="ltx_p"><span id="A11.SS8.SSSx1.p3.2.1" class="ltx_text ltx_font_bold">Class Imbalanced CIFAR10</span>
We evaluate the optimization performance on a class-imbalanced version of the CIFAR10 dataset, where <math id="A11.SS8.SSSx1.p3.1.m1.1" class="ltx_Math" alttext="50\%" display="inline"><semantics id="A11.SS8.SSSx1.p3.1.m1.1a"><mrow id="A11.SS8.SSSx1.p3.1.m1.1.1" xref="A11.SS8.SSSx1.p3.1.m1.1.1.cmml"><mn id="A11.SS8.SSSx1.p3.1.m1.1.1.2" xref="A11.SS8.SSSx1.p3.1.m1.1.1.2.cmml">50</mn><mo id="A11.SS8.SSSx1.p3.1.m1.1.1.1" xref="A11.SS8.SSSx1.p3.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p3.1.m1.1b"><apply id="A11.SS8.SSSx1.p3.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p3.1.m1.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p3.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p3.1.m1.1.1.1">percent</csymbol><cn type="integer" id="A11.SS8.SSSx1.p3.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p3.1.m1.1.1.2">50</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p3.1.m1.1c">50\%</annotation></semantics></math> of the classes are randomly reduced by an order of magnitude. We compare SGD and PSGD on optimizing ResNet18 and report the results in Table <a href="#A11.T15" title="Table 15 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a>. Our results show that PSGD outperforms the SOTA by <math id="A11.SS8.SSSx1.p3.2.m2.1" class="ltx_Math" alttext="1.03\%" display="inline"><semantics id="A11.SS8.SSSx1.p3.2.m2.1a"><mrow id="A11.SS8.SSSx1.p3.2.m2.1.1" xref="A11.SS8.SSSx1.p3.2.m2.1.1.cmml"><mn id="A11.SS8.SSSx1.p3.2.m2.1.1.2" xref="A11.SS8.SSSx1.p3.2.m2.1.1.2.cmml">1.03</mn><mo id="A11.SS8.SSSx1.p3.2.m2.1.1.1" xref="A11.SS8.SSSx1.p3.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p3.2.m2.1b"><apply id="A11.SS8.SSSx1.p3.2.m2.1.1.cmml" xref="A11.SS8.SSSx1.p3.2.m2.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p3.2.m2.1.1.1.cmml" xref="A11.SS8.SSSx1.p3.2.m2.1.1.1">percent</csymbol><cn type="float" id="A11.SS8.SSSx1.p3.2.m2.1.1.2.cmml" xref="A11.SS8.SSSx1.p3.2.m2.1.1.2">1.03</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p3.2.m2.1c">1.03\%</annotation></semantics></math> on this dataset.</p>
</div>
<div id="A11.SS8.SSSx1.p4" class="ltx_para">
<p id="A11.SS8.SSSx1.p4.1" class="ltx_p"><span id="A11.SS8.SSSx1.p4.1.1" class="ltx_text ltx_font_bold">Adversarial Attacked CIFAR10</span>
Finally, we trained a ResNet18 on 10k unmodified CIFAR10 images and evaluated it on a test set consisting of 40k samples perturbed using Neural Tangent Generalization Attacks <cite class="ltx_cite ltx_citemacro_citep">[Yuan and Wu, <a href="#bib.bib47" title="" class="ltx_ref">2021</a>]</cite>. As shown in Table <a href="#A11.T15" title="Table 15 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a>, PSGD outperformed SGD by <math id="A11.SS8.SSSx1.p4.1.m1.1" class="ltx_Math" alttext="1.35\%" display="inline"><semantics id="A11.SS8.SSSx1.p4.1.m1.1a"><mrow id="A11.SS8.SSSx1.p4.1.m1.1.1" xref="A11.SS8.SSSx1.p4.1.m1.1.1.cmml"><mn id="A11.SS8.SSSx1.p4.1.m1.1.1.2" xref="A11.SS8.SSSx1.p4.1.m1.1.1.2.cmml">1.35</mn><mo id="A11.SS8.SSSx1.p4.1.m1.1.1.1" xref="A11.SS8.SSSx1.p4.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p4.1.m1.1b"><apply id="A11.SS8.SSSx1.p4.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p4.1.m1.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p4.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p4.1.m1.1.1.1">percent</csymbol><cn type="float" id="A11.SS8.SSSx1.p4.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p4.1.m1.1.1.2">1.35</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p4.1.m1.1c">1.35\%</annotation></semantics></math>.</p>
</div>
<div id="A11.SS8.SSSx1.p5" class="ltx_para">
<p id="A11.SS8.SSSx1.p5.1" class="ltx_p"><span id="A11.SS8.SSSx1.p5.1.1" class="ltx_text ltx_font_bold">Forgettability Statistics &amp; Learning</span>
We revisit <cite class="ltx_cite ltx_citemacro_citet">Toneva et al. [<a href="#bib.bib42" title="" class="ltx_ref">2018</a>]</cite>’s forgettability experiments, which found that one can prune <math id="A11.SS8.SSSx1.p5.1.m1.1" class="ltx_Math" alttext="30\%" display="inline"><semantics id="A11.SS8.SSSx1.p5.1.m1.1a"><mrow id="A11.SS8.SSSx1.p5.1.m1.1.1" xref="A11.SS8.SSSx1.p5.1.m1.1.1.cmml"><mn id="A11.SS8.SSSx1.p5.1.m1.1.1.2" xref="A11.SS8.SSSx1.p5.1.m1.1.1.2.cmml">30</mn><mo id="A11.SS8.SSSx1.p5.1.m1.1.1.1" xref="A11.SS8.SSSx1.p5.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p5.1.m1.1b"><apply id="A11.SS8.SSSx1.p5.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p5.1.m1.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p5.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p5.1.m1.1.1.1">percent</csymbol><cn type="integer" id="A11.SS8.SSSx1.p5.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p5.1.m1.1.1.2">30</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p5.1.m1.1c">30\%</annotation></semantics></math> of the CF10 train samples without loss of generalization. The study found that a point’s utility for generalization increases as it is learned &amp; then subsequently forgotten during training, regardless of the optimizer or architecture used. Essentially, forgettability ordering shows which data points an NN uses to define high-dimensional boundaries akin to support vectors. We investigate whether the performance difference between PSGD &amp; SGD’s generalization performance can be attributed to this forgettability ordering.</p>
</div>
<div id="A11.SS8.SSSx1.p6" class="ltx_para">
<p id="A11.SS8.SSSx1.p6.1" class="ltx_p">We train the RN18 four times, keeping the top <math id="A11.SS8.SSSx1.p6.1.m1.1" class="ltx_Math" alttext="N" display="inline"><semantics id="A11.SS8.SSSx1.p6.1.m1.1a"><mi id="A11.SS8.SSSx1.p6.1.m1.1.1" xref="A11.SS8.SSSx1.p6.1.m1.1.1.cmml">N</mi><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p6.1.m1.1b"><ci id="A11.SS8.SSSx1.p6.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p6.1.m1.1.1">𝑁</ci></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p6.1.m1.1c">N</annotation></semantics></math> important points based on each optimizer’s expected forgettability score.
Table <a href="#A11.T16" title="Table 16 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">16</span></a> shows that PSGD focuses on points that are central to generalization.
We see this since, when we limit the dataset to only the 5k most forgettable data points deemed by each optimizer, we see PSGD is able to outperform SGD by nearly 14%.</p>
</div>
<figure id="A11.T16" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T16.2.1.1" class="ltx_text" style="font-size:90%;">Table 16</span>: </span><span id="A11.T16.3.2" class="ltx_text" style="font-size:90%;">Forgetting statistics for CIFAR10 on ResNet18. PSGD finds better forgettability statistics outperforming SGD.</span></figcaption>
<table id="A11.T16.4" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.T16.4.1.1" class="ltx_tr">
<th id="A11.T16.4.1.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.T16.4.1.1.1.1" class="ltx_text ltx_font_bold">Forgetting</span></th>
<th id="A11.T16.4.1.1.2" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.T16.4.1.1.2.1" class="ltx_text ltx_font_bold">50k</span></th>
<th id="A11.T16.4.1.1.3" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.T16.4.1.1.3.1" class="ltx_text ltx_font_bold">25k</span></th>
<th id="A11.T16.4.1.1.4" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.T16.4.1.1.4.1" class="ltx_text ltx_font_bold">15k</span></th>
<th id="A11.T16.4.1.1.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_th ltx_th_column ltx_border_tt"><span id="A11.T16.4.1.1.5.1" class="ltx_text ltx_font_bold">5k</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.T16.4.2.1" class="ltx_tr">
<td id="A11.T16.4.2.1.1" class="ltx_td ltx_align_left ltx_border_t">PSGD</td>
<td id="A11.T16.4.2.1.2" class="ltx_td ltx_align_left ltx_border_t">96.65</td>
<td id="A11.T16.4.2.1.3" class="ltx_td ltx_align_left ltx_border_t">95.83</td>
<td id="A11.T16.4.2.1.4" class="ltx_td ltx_align_left ltx_border_t">94.95</td>
<td id="A11.T16.4.2.1.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_t">56.46</td>
</tr>
<tr id="A11.T16.4.3.2" class="ltx_tr">
<td id="A11.T16.4.3.2.1" class="ltx_td ltx_align_left ltx_border_bb">SGD</td>
<td id="A11.T16.4.3.2.2" class="ltx_td ltx_align_left ltx_border_bb">96.21</td>
<td id="A11.T16.4.3.2.3" class="ltx_td ltx_align_left ltx_border_bb">95.56</td>
<td id="A11.T16.4.3.2.4" class="ltx_td ltx_align_left ltx_border_bb">93.7</td>
<td id="A11.T16.4.3.2.5" class="ltx_td ltx_nopad_r ltx_align_left ltx_border_bb">42.48</td>
</tr>
</tbody>
</table>
</figure>
<div id="A11.SS8.SSSx1.p7" class="ltx_para">
<p id="A11.SS8.SSSx1.p7.2" class="ltx_p">SGD and PSGD exhibit fundamentally different importance orderings, which is evident from the significant generalization gap observed when training on pruned datasets using these orderings at various degrees. We find that PSGD and SGD have a statistically significant correlation between their forgettability orderings, but the strength of the correlation is weak (Spearman coefficient of 0.02 and a p-value of <math id="A11.SS8.SSSx1.p7.1.m1.1" class="ltx_Math" alttext="p=1" display="inline"><semantics id="A11.SS8.SSSx1.p7.1.m1.1a"><mrow id="A11.SS8.SSSx1.p7.1.m1.1.1" xref="A11.SS8.SSSx1.p7.1.m1.1.1.cmml"><mi id="A11.SS8.SSSx1.p7.1.m1.1.1.2" xref="A11.SS8.SSSx1.p7.1.m1.1.1.2.cmml">p</mi><mo id="A11.SS8.SSSx1.p7.1.m1.1.1.1" xref="A11.SS8.SSSx1.p7.1.m1.1.1.1.cmml">=</mo><mn id="A11.SS8.SSSx1.p7.1.m1.1.1.3" xref="A11.SS8.SSSx1.p7.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p7.1.m1.1b"><apply id="A11.SS8.SSSx1.p7.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p7.1.m1.1.1"><eq id="A11.SS8.SSSx1.p7.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p7.1.m1.1.1.1"></eq><ci id="A11.SS8.SSSx1.p7.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p7.1.m1.1.1.2">𝑝</ci><cn type="integer" id="A11.SS8.SSSx1.p7.1.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.p7.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p7.1.m1.1c">p=1</annotation></semantics></math>x<math id="A11.SS8.SSSx1.p7.2.m2.1" class="ltx_Math" alttext="10^{-12}" display="inline"><semantics id="A11.SS8.SSSx1.p7.2.m2.1a"><msup id="A11.SS8.SSSx1.p7.2.m2.1.1" xref="A11.SS8.SSSx1.p7.2.m2.1.1.cmml"><mn id="A11.SS8.SSSx1.p7.2.m2.1.1.2" xref="A11.SS8.SSSx1.p7.2.m2.1.1.2.cmml">10</mn><mrow id="A11.SS8.SSSx1.p7.2.m2.1.1.3" xref="A11.SS8.SSSx1.p7.2.m2.1.1.3.cmml"><mo id="A11.SS8.SSSx1.p7.2.m2.1.1.3a" xref="A11.SS8.SSSx1.p7.2.m2.1.1.3.cmml">−</mo><mn id="A11.SS8.SSSx1.p7.2.m2.1.1.3.2" xref="A11.SS8.SSSx1.p7.2.m2.1.1.3.2.cmml">12</mn></mrow></msup><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p7.2.m2.1b"><apply id="A11.SS8.SSSx1.p7.2.m2.1.1.cmml" xref="A11.SS8.SSSx1.p7.2.m2.1.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p7.2.m2.1.1.1.cmml" xref="A11.SS8.SSSx1.p7.2.m2.1.1">superscript</csymbol><cn type="integer" id="A11.SS8.SSSx1.p7.2.m2.1.1.2.cmml" xref="A11.SS8.SSSx1.p7.2.m2.1.1.2">10</cn><apply id="A11.SS8.SSSx1.p7.2.m2.1.1.3.cmml" xref="A11.SS8.SSSx1.p7.2.m2.1.1.3"><minus id="A11.SS8.SSSx1.p7.2.m2.1.1.3.1.cmml" xref="A11.SS8.SSSx1.p7.2.m2.1.1.3"></minus><cn type="integer" id="A11.SS8.SSSx1.p7.2.m2.1.1.3.2.cmml" xref="A11.SS8.SSSx1.p7.2.m2.1.1.3.2">12</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p7.2.m2.1c">10^{-12}</annotation></semantics></math>). This indicates that the nature of training observed through forgettability is different for PSGD compared to first-order optimizers.</p>
</div>
<div id="A11.SS8.SSSx1.p8" class="ltx_para">
<p id="A11.SS8.SSSx1.p8.1" class="ltx_p">Furthermore, we see a strong correlation coefficient of 0.75 and 0.60 between a low forgetability score and low entropy score with a p-value of <math id="A11.SS8.SSSx1.p8.1.m1.1" class="ltx_Math" alttext="p=0" display="inline"><semantics id="A11.SS8.SSSx1.p8.1.m1.1a"><mrow id="A11.SS8.SSSx1.p8.1.m1.1.1" xref="A11.SS8.SSSx1.p8.1.m1.1.1.cmml"><mi id="A11.SS8.SSSx1.p8.1.m1.1.1.2" xref="A11.SS8.SSSx1.p8.1.m1.1.1.2.cmml">p</mi><mo id="A11.SS8.SSSx1.p8.1.m1.1.1.1" xref="A11.SS8.SSSx1.p8.1.m1.1.1.1.cmml">=</mo><mn id="A11.SS8.SSSx1.p8.1.m1.1.1.3" xref="A11.SS8.SSSx1.p8.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p8.1.m1.1b"><apply id="A11.SS8.SSSx1.p8.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p8.1.m1.1.1"><eq id="A11.SS8.SSSx1.p8.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p8.1.m1.1.1.1"></eq><ci id="A11.SS8.SSSx1.p8.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p8.1.m1.1.1.2">𝑝</ci><cn type="integer" id="A11.SS8.SSSx1.p8.1.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.p8.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p8.1.m1.1c">p=0</annotation></semantics></math> for PSGD and SGD respectively (see Fig <a href="#A11.F14" title="Figure 14 ‣ K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">14</span></a>). Hence, PSGD does a better job of shaping the NN to focus on the highly forgettable points that are important for generalization while not becoming overconfident on the easy unforgettable points giving up too much capacity, unnecessarily pushing the parameters away from initialization reducing generalization ability <cite class="ltx_cite ltx_citemacro_citep">[Cao and Gu, <a href="#bib.bib6" title="" class="ltx_ref">2019</a>]</cite> (see <a href="#A11.T12" title="Table 12 ‣ Generalization Gap Between High and Low Entropy Subsets ‣ K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">12</span></a>). Note while <cite class="ltx_cite ltx_citemacro_citep">[Toneva et al., <a href="#bib.bib42" title="" class="ltx_ref">2018</a>]</cite> shows that forgettable points are more important for generalization for supervised learning, very recently <cite class="ltx_cite ltx_citemacro_citep">[Pooladzandi et al., <a href="#bib.bib37" title="" class="ltx_ref">2023</a>]</cite> showed low entropy points are the more important points for learning in the unsupervised, semi-supervised, and generative model setting. See Table <a href="#A11.T12" title="Table 12 ‣ Generalization Gap Between High and Low Entropy Subsets ‣ K.7 Forgettability &amp; Uncertainty: Rank Analysis ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">12</span></a> showing generalization gap training low and high entropy points and how it affects the distance from initialization.</p>
</div>
<div id="A11.SS8.SSSx1.p9" class="ltx_para">
<p id="A11.SS8.SSSx1.p9.3" class="ltx_p"><span id="A11.SS8.SSSx1.p9.3.1" class="ltx_text ltx_font_bold">Stubborn Solutions of First Order Optimizers</span>
From the previous examples, we learned that first-order optimizers tend to heavily overfit certain data points, reducing entropy. In the case of noisy labels, this often results in pure memorization where the network achieves the training accuracy of PSGD on the train set, but only <math id="A11.SS8.SSSx1.p9.1.m1.1" class="ltx_Math" alttext="10\%" display="inline"><semantics id="A11.SS8.SSSx1.p9.1.m1.1a"><mrow id="A11.SS8.SSSx1.p9.1.m1.1.1" xref="A11.SS8.SSSx1.p9.1.m1.1.1.cmml"><mn id="A11.SS8.SSSx1.p9.1.m1.1.1.2" xref="A11.SS8.SSSx1.p9.1.m1.1.1.2.cmml">10</mn><mo id="A11.SS8.SSSx1.p9.1.m1.1.1.1" xref="A11.SS8.SSSx1.p9.1.m1.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p9.1.m1.1b"><apply id="A11.SS8.SSSx1.p9.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p9.1.m1.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p9.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p9.1.m1.1.1.1">percent</csymbol><cn type="integer" id="A11.SS8.SSSx1.p9.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p9.1.m1.1.1.2">10</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p9.1.m1.1c">10\%</annotation></semantics></math> accuracy on the test dataset with an average confidence of <math id="A11.SS8.SSSx1.p9.2.m2.1" class="ltx_Math" alttext="99.9\%" display="inline"><semantics id="A11.SS8.SSSx1.p9.2.m2.1a"><mrow id="A11.SS8.SSSx1.p9.2.m2.1.1" xref="A11.SS8.SSSx1.p9.2.m2.1.1.cmml"><mn id="A11.SS8.SSSx1.p9.2.m2.1.1.2" xref="A11.SS8.SSSx1.p9.2.m2.1.1.2.cmml">99.9</mn><mo id="A11.SS8.SSSx1.p9.2.m2.1.1.1" xref="A11.SS8.SSSx1.p9.2.m2.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p9.2.m2.1b"><apply id="A11.SS8.SSSx1.p9.2.m2.1.1.cmml" xref="A11.SS8.SSSx1.p9.2.m2.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p9.2.m2.1.1.1.cmml" xref="A11.SS8.SSSx1.p9.2.m2.1.1.1">percent</csymbol><cn type="float" id="A11.SS8.SSSx1.p9.2.m2.1.1.2.cmml" xref="A11.SS8.SSSx1.p9.2.m2.1.1.2">99.9</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p9.2.m2.1c">99.9\%</annotation></semantics></math>. To better understand the stubbornness of SGD solutions, we consider the <span id="A11.SS8.SSSx1.p9.3.2" class="ltx_text ltx_font_italic">lucky initialization,</span> which resulted in a test accuracy of <math id="A11.SS8.SSSx1.p9.3.m3.1" class="ltx_Math" alttext="77\%" display="inline"><semantics id="A11.SS8.SSSx1.p9.3.m3.1a"><mrow id="A11.SS8.SSSx1.p9.3.m3.1.1" xref="A11.SS8.SSSx1.p9.3.m3.1.1.cmml"><mn id="A11.SS8.SSSx1.p9.3.m3.1.1.2" xref="A11.SS8.SSSx1.p9.3.m3.1.1.2.cmml">77</mn><mo id="A11.SS8.SSSx1.p9.3.m3.1.1.1" xref="A11.SS8.SSSx1.p9.3.m3.1.1.1.cmml">%</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p9.3.m3.1b"><apply id="A11.SS8.SSSx1.p9.3.m3.1.1.cmml" xref="A11.SS8.SSSx1.p9.3.m3.1.1"><csymbol cd="latexml" id="A11.SS8.SSSx1.p9.3.m3.1.1.1.cmml" xref="A11.SS8.SSSx1.p9.3.m3.1.1.1">percent</csymbol><cn type="integer" id="A11.SS8.SSSx1.p9.3.m3.1.1.2.cmml" xref="A11.SS8.SSSx1.p9.3.m3.1.1.2">77</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p9.3.m3.1c">77\%</annotation></semantics></math> under noisy label conditions.
Here, we examine a transfer learning problem, where a ResNet18 was trained on noisy data for 100 epochs and then on clean labels for another 100 epochs. This simulates a real-world distributional shift where noisy labels may be refined throughout training, leading to a distributional shift. We compare neural networks trained with each optimizer, as well as those that changed optimizers after 100 epochs of training.</p>
</div>
<div id="A11.SS8.SSSx1.p10" class="ltx_para">
<p id="A11.SS8.SSSx1.p10.1" class="ltx_p">As seen in Fig <a href="#A11.F16.sf1" title="Figure 16(a) ‣ Figure 16 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">16(a)</span></a>, PSGD finds a flexible solution when given noisy labels. This is seen since when we correct the labels both PSGD and SGD can reach an accuracy of 92.42%. In contrast, the solution found by SGD seems to be stubborn since when we correct the noisy labels, PSGD then SGD reaches an accuracy of 91.7% and SGD then PSGD has an accuracy of 88%. This shows the importance of curvature information in the early periods of training.</p>
</div>
<figure id="A11.F16" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.F16.sf1" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/noisy_lucky.png" id="A11.F16.sf1.g1" class="ltx_graphics ltx_centering ltx_img_square" width="479" height="460" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F16.sf1.3.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span><span id="A11.F16.sf1.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">Noisy Label CIFAR-10<span id="A11.F16.sf1.4.2.1" class="ltx_text ltx_font_medium"> </span></span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_2">
<figure id="A11.F16.sf2" class="ltx_figure ltx_figure_panel"><img src="/html/2402.04553/assets/Figs/blur_plot.png" id="A11.F16.sf2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="479" height="364" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F16.sf2.3.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span><span id="A11.F16.sf2.4.2" class="ltx_text ltx_font_bold" style="font-size:90%;">Nero-Plasticity</span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption"><span class="ltx_tag ltx_tag_figure"><span id="A11.F16.2.1.1" class="ltx_text" style="font-size:90%;">Figure 16</span>: </span><span id="A11.F16.3.2" class="ltx_text" style="font-size:90%;">a) Solutions found by SGD are harder to optimize compared to PSGD. Note for SGD we used a lucky initialization (see <a href="#S5.F2" title="Figure 2 ‣ 5.2 CIFAR-10 and Friends on ResNet18 ‣ 5 Empirical Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>). The blue and yellow dotted line are the average accuracy of PSGD and SGD
after 100 epochs respectivly. b) Removing the blur-deficit at epoch 100, PSGD is be more neuro-plastic compared to SGD, achieving better train and test performance.</span></figcaption>
</figure>
<div id="A11.SS8.SSSx1.p11" class="ltx_para">
<p id="A11.SS8.SSSx1.p11.1" class="ltx_p">Intuitively, first-order methods cause NNs to dedicate parameters to memorizing some data points, unnecessarily reducing entropy. When memorization occurs given incorrect labels, it may be difficult to reshape
the NN when the labels are corrected, leading to the loss in generalization accuracy seen in Fig <a href="#A11.F16.sf1" title="Figure 16(a) ‣ Figure 16 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">16(a)</span></a>. In contrast, as PSGD finds a less certain or suborn solution in the first stage of training, either optimizer can then reshape the NN to their liking in the second stage.</p>
</div>
<div id="A11.SS8.SSSx1.p12" class="ltx_para">
<p id="A11.SS8.SSSx1.p12.1" class="ltx_p">We believe the noisy-label and neuro-plasticity results have strong applicability to transfer learning and coreset selection <cite class="ltx_cite ltx_citemacro_citep">[Pooladzandi et al., <a href="#bib.bib36" title="" class="ltx_ref">2022</a>]</cite>, particularly in scenarios where the training distribution changes during training. Recently, <cite class="ltx_cite ltx_citemacro_citep">[Osawa et al., <a href="#bib.bib33" title="" class="ltx_ref">2022</a>]</cite> demonstrated that the affine Lie group variant of PSGD outperforms other optimizers when fine-tuning a ResNet18 and ViT <cite class="ltx_cite ltx_citemacro_citep">[Dosovitskiy et al., <a href="#bib.bib10" title="" class="ltx_ref">2020</a>]</cite> on CIFAR10 that were pre-trained on ImageNet <cite class="ltx_cite ltx_citemacro_citep">[Deng et al., <a href="#bib.bib9" title="" class="ltx_ref">2009</a>]</cite>.</p>
</div>
<div id="A11.SS8.SSSx1.p13" class="ltx_para">
<p id="A11.SS8.SSSx1.p13.1" class="ltx_p"><span id="A11.SS8.SSSx1.p13.1.1" class="ltx_text ltx_font_bold">More Experiments on Neuro Plasticity</span></p>
</div>
<div id="A11.SS8.SSSx1.p14" class="ltx_para">
<p id="A11.SS8.SSSx1.p14.1" class="ltx_p">Neuroplasticity experiments done by <cite class="ltx_cite ltx_citemacro_citep">[Achille et al., <a href="#bib.bib1" title="" class="ltx_ref">2017</a>]</cite> provided an interesting insight into the critical learning periods of NNs. Here we consider whether PSGD can extend the critical learning period of an NN. The summary of <cite class="ltx_cite ltx_citemacro_citep">[Achille et al., <a href="#bib.bib1" title="" class="ltx_ref">2017</a>]</cite> , is that if there is a deficit in learning that is not removed by the first 80 epochs, the final test accuracy will be significantly hindered.</p>
</div>
<figure id="A11.F17" class="ltx_figure"><img src="/html/2402.04553/assets/Figs/Neuro.png" id="A11.F17.g1" class="ltx_graphics ltx_centering ltx_img_square" width="419" height="342" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F17.2.1.1" class="ltx_text" style="font-size:90%;">Figure 17</span>: </span><span id="A11.F17.3.2" class="ltx_text" style="font-size:90%;">Defecit plot: We see that PSGD is able to close the gap</span></figcaption>
</figure>
<div id="A11.SS8.SSSx1.p15" class="ltx_para">
<p id="A11.SS8.SSSx1.p15.1" class="ltx_p">In Figure <a href="#A11.F17" title="Figure 17 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">17</span></a>, we see that if we remove the blur at epoch 100, well after the end of the critical learning period of an NN trained with SGD/Adam, PSGD is able to retain classification accuracy as if we removed the deficit around epoch 50. If we switch to a cosine learning rate schedule, PSGD is able to recover the accuracy as if one removed the deficit at 20 epochs.</p>
</div>
<div id="A11.SS8.SSSx1.p16" class="ltx_para">
<p id="A11.SS8.SSSx1.p16.1" class="ltx_p">We believe that this nature of PSGD is due to us finding a flat generalizable solution that is not memorizing points. Since we are not memorizing, and keeping our entropy relatively high compared to other first and second-order optimization methods, we are able to recover accuracy and reshape our NN when the deficit is removed.</p>
</div>
<div id="A11.SS8.SSSx1.p17" class="ltx_para">
<p id="A11.SS8.SSSx1.p17.1" class="ltx_p"><span id="A11.SS8.SSSx1.p17.1.1" class="ltx_text ltx_font_bold">LSTM based models</span>
We conduct a performance comparison between second-order optimization methods and first-order methods for training recurrent neural networks (RNNs) and transformer models. RNNs have a recurrent structure that exhibits strong curvature properties, making them particularly suitable for second-order optimization methods. Such methods can efficiently leverage this structure to converge quickly to good solutions. Consequently, RNNs usually perform better when trained with second-order optimization methods <cite class="ltx_cite ltx_citemacro_citep">[Martens, <a href="#bib.bib31" title="" class="ltx_ref">2016</a>]</cite>, particularly when the objective function has extreme local curvature properties.</p>
</div>
<figure id="A11.T17" class="ltx_table">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T17.2.1.1" class="ltx_text" style="font-size:90%;">Table 17</span>: </span><span id="A11.T17.3.2" class="ltx_text" style="font-size:90%;"> Test perplexity (lower is better) on Penn Treebank for one-, two- and three-layered LSTMs.
</span></figcaption>
<table id="A11.T17.4" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.T17.4.1.1" class="ltx_tr">
<th id="A11.T17.4.1.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_th_row ltx_border_r ltx_border_tt">LSTM</th>
<th id="A11.T17.4.1.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">PSGD</th>
<th id="A11.T17.4.1.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Adan</th>
<th id="A11.T17.4.1.1.4" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">AdaBelief</th>
<th id="A11.T17.4.1.1.5" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">SGD</th>
<th id="A11.T17.4.1.1.6" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">AdaBound</th>
<th id="A11.T17.4.1.1.7" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Adam</th>
<th id="A11.T17.4.1.1.8" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">AdamW</th>
<th id="A11.T17.4.1.1.9" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Padam</th>
<th id="A11.T17.4.1.1.10" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">RAdam</th>
<th id="A11.T17.4.1.1.11" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt">Yogi</th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.T17.4.2.1" class="ltx_tr">
<th id="A11.T17.4.2.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r ltx_border_t">1 layer</th>
<td id="A11.T17.4.2.1.2" class="ltx_td ltx_align_center ltx_border_t"><span id="A11.T17.4.2.1.2.1" class="ltx_text ltx_font_bold">83.5</span></td>
<td id="A11.T17.4.2.1.3" class="ltx_td ltx_align_center ltx_border_t">83.6</td>
<td id="A11.T17.4.2.1.4" class="ltx_td ltx_align_center ltx_border_t">84.2</td>
<td id="A11.T17.4.2.1.5" class="ltx_td ltx_align_center ltx_border_t">85.0</td>
<td id="A11.T17.4.2.1.6" class="ltx_td ltx_align_center ltx_border_t">84.3</td>
<td id="A11.T17.4.2.1.7" class="ltx_td ltx_align_center ltx_border_t">85.9</td>
<td id="A11.T17.4.2.1.8" class="ltx_td ltx_align_center ltx_border_t">84.7</td>
<td id="A11.T17.4.2.1.9" class="ltx_td ltx_align_center ltx_border_t">84.2</td>
<td id="A11.T17.4.2.1.10" class="ltx_td ltx_align_center ltx_border_t">86.5</td>
<td id="A11.T17.4.2.1.11" class="ltx_td ltx_align_center ltx_border_t">86.5</td>
</tr>
<tr id="A11.T17.4.3.2" class="ltx_tr">
<th id="A11.T17.4.3.2.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_r">2 layers</th>
<td id="A11.T17.4.3.2.2" class="ltx_td ltx_align_center"><span id="A11.T17.4.3.2.2.1" class="ltx_text ltx_font_bold">64.9</span></td>
<td id="A11.T17.4.3.2.3" class="ltx_td ltx_align_center">65.2</td>
<td id="A11.T17.4.3.2.4" class="ltx_td ltx_align_center">66.3</td>
<td id="A11.T17.4.3.2.5" class="ltx_td ltx_align_center">67.4</td>
<td id="A11.T17.4.3.2.6" class="ltx_td ltx_align_center">67.5</td>
<td id="A11.T17.4.3.2.7" class="ltx_td ltx_align_center">67.3</td>
<td id="A11.T17.4.3.2.8" class="ltx_td ltx_align_center">72.8</td>
<td id="A11.T17.4.3.2.9" class="ltx_td ltx_align_center">67.2</td>
<td id="A11.T17.4.3.2.10" class="ltx_td ltx_align_center">72.3</td>
<td id="A11.T17.4.3.2.11" class="ltx_td ltx_align_center">71.3</td>
</tr>
<tr id="A11.T17.4.4.3" class="ltx_tr">
<th id="A11.T17.4.4.3.1" class="ltx_td ltx_align_center ltx_th ltx_th_row ltx_border_bb ltx_border_r">3 layers</th>
<td id="A11.T17.4.4.3.2" class="ltx_td ltx_align_center ltx_border_bb"><span id="A11.T17.4.4.3.2.1" class="ltx_text ltx_font_bold">59.7</span></td>
<td id="A11.T17.4.4.3.3" class="ltx_td ltx_align_center ltx_border_bb">59.8</td>
<td id="A11.T17.4.4.3.4" class="ltx_td ltx_align_center ltx_border_bb">61.2</td>
<td id="A11.T17.4.4.3.5" class="ltx_td ltx_align_center ltx_border_bb">63.7</td>
<td id="A11.T17.4.4.3.6" class="ltx_td ltx_align_center ltx_border_bb">63.6</td>
<td id="A11.T17.4.4.3.7" class="ltx_td ltx_align_center ltx_border_bb">64.3</td>
<td id="A11.T17.4.4.3.8" class="ltx_td ltx_align_center ltx_border_bb">69.9</td>
<td id="A11.T17.4.4.3.9" class="ltx_td ltx_align_center ltx_border_bb">63.2</td>
<td id="A11.T17.4.4.3.10" class="ltx_td ltx_align_center ltx_border_bb">70.0</td>
<td id="A11.T17.4.4.3.11" class="ltx_td ltx_align_center ltx_border_bb">67.5</td>
</tr>
</tbody>
</table>
</figure>
<div id="A11.SS8.SSSx1.p18" class="ltx_para">
<p id="A11.SS8.SSSx1.p18.1" class="ltx_p">We benchmark PSGD by predicting the Penn TreeBank Dataset using LSTMs using <cite class="ltx_cite ltx_citemacro_citep">[Zhuang et al., <a href="#bib.bib51" title="" class="ltx_ref">2020</a>]</cite>’s framework.
Our results (see Table <a href="#A11.T17" title="Table 17 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">17</span></a> ) indicate that PSGD consistently outperforms (lower is better) other first-order optimization algorithms, including the SoTA AdamW, on 1, 2, and 3 layer LSTMs.</p>
</div>
<div id="A11.SS8.SSSx1.p19" class="ltx_para">
<p id="A11.SS8.SSSx1.p19.1" class="ltx_p"><span id="A11.SS8.SSSx1.p19.1.1" class="ltx_text ltx_font_bold">Rosenbrock: A degenerate problem with known solution</span></p>
</div>
<div id="A11.SS8.SSSx1.p20" class="ltx_para">
<p id="A11.SS8.SSSx1.p20.6" class="ltx_p">Consider applying PSGD to the limited complexity two-dimensional stochastic Rosenbrock minimization problem, with the goal of exploring the strengths of our approach in an interpretable domain. We perform a comparison with popular first and second order solvers, as well as with more traditional methods such as L-BFGS (results can be seen in Table <a href="#A11.T18" title="Table 18 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">18</span></a>). The first problem we consider is the search for the minimum of the two-dimensional Rosenbrock test function, which has the useful benefit of enabling us to visualise the trajectories found by each optimiser. Specifically, we use the stochastic variant of this function, <math id="A11.SS8.SSSx1.p20.1.m1.1" class="ltx_Math" alttext="R:\mathbb{R}^{2}\rightarrow\mathbb{R}" display="inline"><semantics id="A11.SS8.SSSx1.p20.1.m1.1a"><mrow id="A11.SS8.SSSx1.p20.1.m1.1.1" xref="A11.SS8.SSSx1.p20.1.m1.1.1.cmml"><mi id="A11.SS8.SSSx1.p20.1.m1.1.1.2" xref="A11.SS8.SSSx1.p20.1.m1.1.1.2.cmml">R</mi><mo lspace="0.278em" rspace="0.278em" id="A11.SS8.SSSx1.p20.1.m1.1.1.1" xref="A11.SS8.SSSx1.p20.1.m1.1.1.1.cmml">:</mo><mrow id="A11.SS8.SSSx1.p20.1.m1.1.1.3" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.cmml"><msup id="A11.SS8.SSSx1.p20.1.m1.1.1.3.2" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.cmml"><mi id="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.2" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.2.cmml">ℝ</mi><mn id="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.3" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.3.cmml">2</mn></msup><mo stretchy="false" id="A11.SS8.SSSx1.p20.1.m1.1.1.3.1" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.1.cmml">→</mo><mi id="A11.SS8.SSSx1.p20.1.m1.1.1.3.3" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.3.cmml">ℝ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p20.1.m1.1b"><apply id="A11.SS8.SSSx1.p20.1.m1.1.1.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1"><ci id="A11.SS8.SSSx1.p20.1.m1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.1">:</ci><ci id="A11.SS8.SSSx1.p20.1.m1.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.2">𝑅</ci><apply id="A11.SS8.SSSx1.p20.1.m1.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3"><ci id="A11.SS8.SSSx1.p20.1.m1.1.1.3.1.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.1">→</ci><apply id="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.2"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.1.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.2">superscript</csymbol><ci id="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.2.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.2">ℝ</ci><cn type="integer" id="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.3.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.2.3">2</cn></apply><ci id="A11.SS8.SSSx1.p20.1.m1.1.1.3.3.cmml" xref="A11.SS8.SSSx1.p20.1.m1.1.1.3.3">ℝ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p20.1.m1.1c">R:\mathbb{R}^{2}\rightarrow\mathbb{R}</annotation></semantics></math>:
<math id="A11.SS8.SSSx1.p20.2.m2.3" class="ltx_Math" alttext="R(u,v)=(1-u)^{2}+100\epsilon_{i}(v-u^{2})^{2}," display="inline"><semantics id="A11.SS8.SSSx1.p20.2.m2.3a"><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.cmml"><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.cmml"><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.cmml"><mi id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.2.cmml">R</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.1.cmml">​</mo><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.1.cmml"><mo stretchy="false" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.2.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.1.cmml">(</mo><mi id="A11.SS8.SSSx1.p20.2.m2.1.1" xref="A11.SS8.SSSx1.p20.2.m2.1.1.cmml">u</mi><mo id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.2.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.1.cmml">,</mo><mi id="A11.SS8.SSSx1.p20.2.m2.2.2" xref="A11.SS8.SSSx1.p20.2.m2.2.2.cmml">v</mi><mo stretchy="false" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.2.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.1.cmml">)</mo></mrow></mrow><mo id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.3.cmml">=</mo><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.cmml"><msup id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.cmml"><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.cmml">(</mo><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.cmml"><mn id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.1.cmml">−</mo><mi id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.3.cmml">u</mi></mrow><mo stretchy="false" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.cmml">)</mo></mrow><mn id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.3.cmml">2</mn></msup><mo id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.3.cmml">+</mo><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.cmml"><mn id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.3.cmml">100</mn><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.2.cmml">​</mo><msub id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.cmml"><mi id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.2.cmml">ϵ</mi><mi id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.3.cmml">i</mi></msub><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.2a" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.2.cmml">​</mo><msup id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.cmml"><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.cmml">(</mo><mrow id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.cmml"><mi id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.2.cmml">v</mi><mo id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.1" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.1.cmml">−</mo><msup id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.cmml"><mi id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.2.cmml">u</mi><mn id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.3.cmml">2</mn></msup></mrow><mo stretchy="false" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.cmml">)</mo></mrow><mn id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.3" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.3.cmml">2</mn></msup></mrow></mrow></mrow><mo id="A11.SS8.SSSx1.p20.2.m2.3.3.1.2" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p20.2.m2.3b"><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1"><eq id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.3"></eq><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4"><times id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.1"></times><ci id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.2">𝑅</ci><interval closure="open" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.4.3.2"><ci id="A11.SS8.SSSx1.p20.2.m2.1.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.1.1">𝑢</ci><ci id="A11.SS8.SSSx1.p20.2.m2.2.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.2.2">𝑣</ci></interval></apply><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2"><plus id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.3"></plus><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1">superscript</csymbol><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1"><minus id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.1"></minus><cn type="integer" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.2">1</cn><ci id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.1.1.1.3">𝑢</ci></apply><cn type="integer" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.1.1.3">2</cn></apply><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2"><times id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.2"></times><cn type="integer" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.3">100</cn><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.2">italic-ϵ</ci><ci id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.4.3">𝑖</ci></apply><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1">superscript</csymbol><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1"><minus id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.1"></minus><ci id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.2">𝑣</ci><apply id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.1.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3">superscript</csymbol><ci id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.2.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.2">𝑢</ci><cn type="integer" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.1.1.1.3.3">2</cn></apply></apply><cn type="integer" id="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.3.cmml" xref="A11.SS8.SSSx1.p20.2.m2.3.3.1.1.2.2.1.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p20.2.m2.3c">R(u,v)=(1-u)^{2}+100\epsilon_{i}(v-u^{2})^{2},</annotation></semantics></math>
where at each evaluation of the function, a noise sample <math id="A11.SS8.SSSx1.p20.3.m3.1" class="ltx_Math" alttext="\epsilon_{i}" display="inline"><semantics id="A11.SS8.SSSx1.p20.3.m3.1a"><msub id="A11.SS8.SSSx1.p20.3.m3.1.1" xref="A11.SS8.SSSx1.p20.3.m3.1.1.cmml"><mi id="A11.SS8.SSSx1.p20.3.m3.1.1.2" xref="A11.SS8.SSSx1.p20.3.m3.1.1.2.cmml">ϵ</mi><mi id="A11.SS8.SSSx1.p20.3.m3.1.1.3" xref="A11.SS8.SSSx1.p20.3.m3.1.1.3.cmml">i</mi></msub><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p20.3.m3.1b"><apply id="A11.SS8.SSSx1.p20.3.m3.1.1.cmml" xref="A11.SS8.SSSx1.p20.3.m3.1.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.3.m3.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.3.m3.1.1">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.3.m3.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.3.m3.1.1.2">italic-ϵ</ci><ci id="A11.SS8.SSSx1.p20.3.m3.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.3.m3.1.1.3">𝑖</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p20.3.m3.1c">\epsilon_{i}</annotation></semantics></math> is drawn from a uniform distribution <math id="A11.SS8.SSSx1.p20.4.m4.2" class="ltx_Math" alttext="U[\lambda_{1},\lambda_{2}]" display="inline"><semantics id="A11.SS8.SSSx1.p20.4.m4.2a"><mrow id="A11.SS8.SSSx1.p20.4.m4.2.2" xref="A11.SS8.SSSx1.p20.4.m4.2.2.cmml"><mi id="A11.SS8.SSSx1.p20.4.m4.2.2.4" xref="A11.SS8.SSSx1.p20.4.m4.2.2.4.cmml">U</mi><mo lspace="0em" rspace="0em" id="A11.SS8.SSSx1.p20.4.m4.2.2.3" xref="A11.SS8.SSSx1.p20.4.m4.2.2.3.cmml">​</mo><mrow id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.3.cmml"><mo stretchy="false" id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.3" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.3.cmml">[</mo><msub id="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1" xref="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.cmml"><mi id="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.2" xref="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.2.cmml">λ</mi><mn id="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.3" xref="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.3.cmml">1</mn></msub><mo id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.4" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.3.cmml">,</mo><msub id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.cmml"><mi id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.2" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.2.cmml">λ</mi><mn id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.3" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.3.cmml">2</mn></msub><mo stretchy="false" id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.5" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.3.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p20.4.m4.2b"><apply id="A11.SS8.SSSx1.p20.4.m4.2.2.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2"><times id="A11.SS8.SSSx1.p20.4.m4.2.2.3.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2.3"></times><ci id="A11.SS8.SSSx1.p20.4.m4.2.2.4.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2.4">𝑈</ci><interval closure="closed" id="A11.SS8.SSSx1.p20.4.m4.2.2.2.3.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2"><apply id="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.2">𝜆</ci><cn type="integer" id="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.4.m4.1.1.1.1.1.3">1</cn></apply><apply id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.1.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.2.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.2">𝜆</ci><cn type="integer" id="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.3.cmml" xref="A11.SS8.SSSx1.p20.4.m4.2.2.2.2.2.3">2</cn></apply></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p20.4.m4.2c">U[\lambda_{1},\lambda_{2}]</annotation></semantics></math> with <math id="A11.SS8.SSSx1.p20.5.m5.2" class="ltx_Math" alttext="\lambda_{1},\lambda_{2}\in\mathbb{R}" display="inline"><semantics id="A11.SS8.SSSx1.p20.5.m5.2a"><mrow id="A11.SS8.SSSx1.p20.5.m5.2.2" xref="A11.SS8.SSSx1.p20.5.m5.2.2.cmml"><mrow id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.3.cmml"><msub id="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1" xref="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.cmml"><mi id="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.2" xref="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.2.cmml">λ</mi><mn id="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.3" xref="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.3.cmml">1</mn></msub><mo id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.3" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.3.cmml">,</mo><msub id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.cmml"><mi id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.2" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.2.cmml">λ</mi><mn id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.3" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.3.cmml">2</mn></msub></mrow><mo id="A11.SS8.SSSx1.p20.5.m5.2.2.3" xref="A11.SS8.SSSx1.p20.5.m5.2.2.3.cmml">∈</mo><mi id="A11.SS8.SSSx1.p20.5.m5.2.2.4" xref="A11.SS8.SSSx1.p20.5.m5.2.2.4.cmml">ℝ</mi></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p20.5.m5.2b"><apply id="A11.SS8.SSSx1.p20.5.m5.2.2.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2"><in id="A11.SS8.SSSx1.p20.5.m5.2.2.3.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2.3"></in><list id="A11.SS8.SSSx1.p20.5.m5.2.2.2.3.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2"><apply id="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.1.cmml" xref="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.2">𝜆</ci><cn type="integer" id="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.5.m5.1.1.1.1.1.3">1</cn></apply><apply id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.1.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.2.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.2">𝜆</ci><cn type="integer" id="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.3.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2.2.2.2.3">2</cn></apply></list><ci id="A11.SS8.SSSx1.p20.5.m5.2.2.4.cmml" xref="A11.SS8.SSSx1.p20.5.m5.2.2.4">ℝ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p20.5.m5.2c">\lambda_{1},\lambda_{2}\in\mathbb{R}</annotation></semantics></math> (we can recover the deterministic Rosenbrock function with <math id="A11.SS8.SSSx1.p20.6.m6.1" class="ltx_Math" alttext="\lambda_{1}=\lambda_{2}=1" display="inline"><semantics id="A11.SS8.SSSx1.p20.6.m6.1a"><mrow id="A11.SS8.SSSx1.p20.6.m6.1.1" xref="A11.SS8.SSSx1.p20.6.m6.1.1.cmml"><msub id="A11.SS8.SSSx1.p20.6.m6.1.1.2" xref="A11.SS8.SSSx1.p20.6.m6.1.1.2.cmml"><mi id="A11.SS8.SSSx1.p20.6.m6.1.1.2.2" xref="A11.SS8.SSSx1.p20.6.m6.1.1.2.2.cmml">λ</mi><mn id="A11.SS8.SSSx1.p20.6.m6.1.1.2.3" xref="A11.SS8.SSSx1.p20.6.m6.1.1.2.3.cmml">1</mn></msub><mo id="A11.SS8.SSSx1.p20.6.m6.1.1.3" xref="A11.SS8.SSSx1.p20.6.m6.1.1.3.cmml">=</mo><msub id="A11.SS8.SSSx1.p20.6.m6.1.1.4" xref="A11.SS8.SSSx1.p20.6.m6.1.1.4.cmml"><mi id="A11.SS8.SSSx1.p20.6.m6.1.1.4.2" xref="A11.SS8.SSSx1.p20.6.m6.1.1.4.2.cmml">λ</mi><mn id="A11.SS8.SSSx1.p20.6.m6.1.1.4.3" xref="A11.SS8.SSSx1.p20.6.m6.1.1.4.3.cmml">2</mn></msub><mo id="A11.SS8.SSSx1.p20.6.m6.1.1.5" xref="A11.SS8.SSSx1.p20.6.m6.1.1.5.cmml">=</mo><mn id="A11.SS8.SSSx1.p20.6.m6.1.1.6" xref="A11.SS8.SSSx1.p20.6.m6.1.1.6.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A11.SS8.SSSx1.p20.6.m6.1b"><apply id="A11.SS8.SSSx1.p20.6.m6.1.1.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1"><and id="A11.SS8.SSSx1.p20.6.m6.1.1a.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1"></and><apply id="A11.SS8.SSSx1.p20.6.m6.1.1b.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1"><eq id="A11.SS8.SSSx1.p20.6.m6.1.1.3.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.3"></eq><apply id="A11.SS8.SSSx1.p20.6.m6.1.1.2.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.2"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.6.m6.1.1.2.1.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.2">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.6.m6.1.1.2.2.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.2.2">𝜆</ci><cn type="integer" id="A11.SS8.SSSx1.p20.6.m6.1.1.2.3.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.2.3">1</cn></apply><apply id="A11.SS8.SSSx1.p20.6.m6.1.1.4.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.4"><csymbol cd="ambiguous" id="A11.SS8.SSSx1.p20.6.m6.1.1.4.1.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.4">subscript</csymbol><ci id="A11.SS8.SSSx1.p20.6.m6.1.1.4.2.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.4.2">𝜆</ci><cn type="integer" id="A11.SS8.SSSx1.p20.6.m6.1.1.4.3.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.4.3">2</cn></apply></apply><apply id="A11.SS8.SSSx1.p20.6.m6.1.1c.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1"><eq id="A11.SS8.SSSx1.p20.6.m6.1.1.5.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.5"></eq><share href="#A11.SS8.SSSx1.p20.6.m6.1.1.4.cmml" id="A11.SS8.SSSx1.p20.6.m6.1.1d.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1"></share><cn type="integer" id="A11.SS8.SSSx1.p20.6.m6.1.1.6.cmml" xref="A11.SS8.SSSx1.p20.6.m6.1.1.6">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.SS8.SSSx1.p20.6.m6.1c">\lambda_{1}=\lambda_{2}=1</annotation></semantics></math>). To assess robustness to noise, we compare each optimizer on the deterministic formulation and two stochastic variants (with differing noise regimes).</p>
</div>
<div id="A11.SS8.SSSx1.p21" class="ltx_para">
<p id="A11.SS8.SSSx1.p21.1" class="ltx_p">We clearly see that PSGD is able to outperform all the standard deep learning optimizers as well as LBFGS which is optimized for mathematical optimization. We see that PSGD quadratically converges exactly to the minimum of the Rosenbrock problem which is at (1,1) seen in Figure <a href="#A11.F18" title="Figure 18 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">18</span></a> and Table <a href="#A11.T18" title="Table 18 ‣ Setting a Baseline using KFAC, 𝑃⁢𝑆⁢𝐺⁢𝐷_𝐴 𝑃⁢𝑆⁢𝐺⁢𝐷_{𝐿⁢𝑅⁢𝐴/𝑋⁢𝑀⁢𝑎⁢𝑡}, SGD and Adam ‣ K.8 Effect of Rank on XOR ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">18</span></a>. We utilized <cite class="ltx_cite ltx_citemacro_citep">[Novik, <a href="#bib.bib32" title="" class="ltx_ref">2020</a>]</cite> to optimize all other optimizer’s hyper-parameters while leaving PSGD on its default params.</p>
</div>
<figure id="A11.F18" class="ltx_figure"><img src="/html/2402.04553/assets/Figs/rosenbrock_psgd.png" id="A11.F18.g1" class="ltx_graphics ltx_centering ltx_img_square" width="299" height="297" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F18.2.1.1" class="ltx_text" style="font-size:90%;">Figure 18</span>: </span><span id="A11.F18.3.2" class="ltx_text" style="font-size:90%;">PSGD optimization trajectory on the Rosenbrock problem. We see PSGD converges quadradically to the optimal solution. </span></figcaption>
</figure>
<figure id="A11.T18" class="ltx_table">
<table id="A11.T18.2" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="A11.T18.2.1.1" class="ltx_tr">
<th id="A11.T18.2.1.1.1" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_t"><span id="A11.T18.2.1.1.1.1" class="ltx_text ltx_font_bold">Optimizer</span></th>
<th id="A11.T18.2.1.1.2" class="ltx_td ltx_align_left ltx_th ltx_th_column ltx_border_t"><span id="A11.T18.2.1.1.2.1" class="ltx_text ltx_font_bold">Best Loss Achieved</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="A11.T18.2.2.1" class="ltx_tr">
<td id="A11.T18.2.2.1.1" class="ltx_td ltx_align_left ltx_border_t">Adam</td>
<td id="A11.T18.2.2.1.2" class="ltx_td ltx_align_left ltx_border_t">0.00077</td>
</tr>
<tr id="A11.T18.2.3.2" class="ltx_tr">
<td id="A11.T18.2.3.2.1" class="ltx_td ltx_align_left">SGD</td>
<td id="A11.T18.2.3.2.2" class="ltx_td ltx_align_left">1.59</td>
</tr>
<tr id="A11.T18.2.4.3" class="ltx_tr">
<td id="A11.T18.2.4.3.1" class="ltx_td ltx_align_left">AdaBound</td>
<td id="A11.T18.2.4.3.2" class="ltx_td ltx_align_left">1.45e-04</td>
</tr>
<tr id="A11.T18.2.5.4" class="ltx_tr">
<td id="A11.T18.2.5.4.1" class="ltx_td ltx_align_left">Adahessian</td>
<td id="A11.T18.2.5.4.2" class="ltx_td ltx_align_left">0.0011</td>
</tr>
<tr id="A11.T18.2.6.5" class="ltx_tr">
<td id="A11.T18.2.6.5.1" class="ltx_td ltx_align_left">AdaMod</td>
<td id="A11.T18.2.6.5.2" class="ltx_td ltx_align_left">2.06</td>
</tr>
<tr id="A11.T18.2.7.6" class="ltx_tr">
<td id="A11.T18.2.7.6.1" class="ltx_td ltx_align_left">AdamP</td>
<td id="A11.T18.2.7.6.2" class="ltx_td ltx_align_left">6.74e-04</td>
</tr>
<tr id="A11.T18.2.8.7" class="ltx_tr">
<td id="A11.T18.2.8.7.1" class="ltx_td ltx_align_left">DiffGrad</td>
<td id="A11.T18.2.8.7.2" class="ltx_td ltx_align_left">0.0028</td>
</tr>
<tr id="A11.T18.2.9.8" class="ltx_tr">
<td id="A11.T18.2.9.8.1" class="ltx_td ltx_align_left">Lamb</td>
<td id="A11.T18.2.9.8.2" class="ltx_td ltx_align_left">2.06</td>
</tr>
<tr id="A11.T18.2.10.9" class="ltx_tr">
<td id="A11.T18.2.10.9.1" class="ltx_td ltx_align_left">MADGRAD</td>
<td id="A11.T18.2.10.9.2" class="ltx_td ltx_align_left">1.04e-04</td>
</tr>
<tr id="A11.T18.2.11.10" class="ltx_tr">
<td id="A11.T18.2.11.10.1" class="ltx_td ltx_align_left">NovoGrad</td>
<td id="A11.T18.2.11.10.2" class="ltx_td ltx_align_left">6.38e-05</td>
</tr>
<tr id="A11.T18.2.12.11" class="ltx_tr">
<td id="A11.T18.2.12.11.1" class="ltx_td ltx_align_left">RAdam</td>
<td id="A11.T18.2.12.11.2" class="ltx_td ltx_align_left">1.95e-06</td>
</tr>
<tr id="A11.T18.2.13.12" class="ltx_tr">
<td id="A11.T18.2.13.12.1" class="ltx_td ltx_align_left">Yogi</td>
<td id="A11.T18.2.13.12.2" class="ltx_td ltx_align_left">0.0013</td>
</tr>
<tr id="A11.T18.2.14.13" class="ltx_tr">
<td id="A11.T18.2.14.13.1" class="ltx_td ltx_align_left">AccSGD</td>
<td id="A11.T18.2.14.13.2" class="ltx_td ltx_align_left">0.55</td>
</tr>
<tr id="A11.T18.2.15.14" class="ltx_tr">
<td id="A11.T18.2.15.14.1" class="ltx_td ltx_align_left">SGDw</td>
<td id="A11.T18.2.15.14.2" class="ltx_td ltx_align_left">3.45</td>
</tr>
<tr id="A11.T18.2.16.15" class="ltx_tr">
<td id="A11.T18.2.16.15.1" class="ltx_td ltx_align_left">SGDP</td>
<td id="A11.T18.2.16.15.2" class="ltx_td ltx_align_left">3.45</td>
</tr>
<tr id="A11.T18.2.17.16" class="ltx_tr">
<td id="A11.T18.2.17.16.1" class="ltx_td ltx_align_left">PID</td>
<td id="A11.T18.2.17.16.2" class="ltx_td ltx_align_left">1.59</td>
</tr>
<tr id="A11.T18.2.18.17" class="ltx_tr">
<td id="A11.T18.2.18.17.1" class="ltx_td ltx_align_left">QHM</td>
<td id="A11.T18.2.18.17.2" class="ltx_td ltx_align_left">0.78</td>
</tr>
<tr id="A11.T18.2.19.18" class="ltx_tr">
<td id="A11.T18.2.19.18.1" class="ltx_td ltx_align_left">QHAdam</td>
<td id="A11.T18.2.19.18.2" class="ltx_td ltx_align_left">9.11e-04</td>
</tr>
<tr id="A11.T18.2.20.19" class="ltx_tr">
<td id="A11.T18.2.20.19.1" class="ltx_td ltx_align_left">Ranger</td>
<td id="A11.T18.2.20.19.2" class="ltx_td ltx_align_left">1.35</td>
</tr>
<tr id="A11.T18.2.21.20" class="ltx_tr">
<td id="A11.T18.2.21.20.1" class="ltx_td ltx_align_left">RangerQH</td>
<td id="A11.T18.2.21.20.2" class="ltx_td ltx_align_left">0.67</td>
</tr>
<tr id="A11.T18.2.22.21" class="ltx_tr">
<td id="A11.T18.2.22.21.1" class="ltx_td ltx_align_left">RangerVA</td>
<td id="A11.T18.2.22.21.2" class="ltx_td ltx_align_left">7.80e-05</td>
</tr>
<tr id="A11.T18.2.23.22" class="ltx_tr">
<td id="A11.T18.2.23.22.1" class="ltx_td ltx_align_left">Shampoo</td>
<td id="A11.T18.2.23.22.2" class="ltx_td ltx_align_left">0.074</td>
</tr>
<tr id="A11.T18.2.24.23" class="ltx_tr">
<td id="A11.T18.2.24.23.1" class="ltx_td ltx_align_left">LookaheadYogi</td>
<td id="A11.T18.2.24.23.2" class="ltx_td ltx_align_left">0.025</td>
</tr>
<tr id="A11.T18.2.25.24" class="ltx_tr">
<td id="A11.T18.2.25.24.1" class="ltx_td ltx_align_left">AggMo</td>
<td id="A11.T18.2.25.24.2" class="ltx_td ltx_align_left">7.13e-04</td>
</tr>
<tr id="A11.T18.2.26.25" class="ltx_tr">
<td id="A11.T18.2.26.25.1" class="ltx_td ltx_align_left">SWATS</td>
<td id="A11.T18.2.26.25.2" class="ltx_td ltx_align_left">5.48e-04</td>
</tr>
<tr id="A11.T18.2.27.26" class="ltx_tr">
<td id="A11.T18.2.27.26.1" class="ltx_td ltx_align_left">Adafactor</td>
<td id="A11.T18.2.27.26.2" class="ltx_td ltx_align_left">7.48e-03</td>
</tr>
<tr id="A11.T18.2.28.27" class="ltx_tr">
<td id="A11.T18.2.28.27.1" class="ltx_td ltx_align_left">A2GradUni</td>
<td id="A11.T18.2.28.27.2" class="ltx_td ltx_align_left">6.77e-03</td>
</tr>
<tr id="A11.T18.2.29.28" class="ltx_tr">
<td id="A11.T18.2.29.28.1" class="ltx_td ltx_align_left">A2GradInc</td>
<td id="A11.T18.2.29.28.2" class="ltx_td ltx_align_left">5.53e-03</td>
</tr>
<tr id="A11.T18.2.30.29" class="ltx_tr">
<td id="A11.T18.2.30.29.1" class="ltx_td ltx_align_left">A2GradExp</td>
<td id="A11.T18.2.30.29.2" class="ltx_td ltx_align_left">7.15e-03</td>
</tr>
<tr id="A11.T18.2.31.30" class="ltx_tr">
<td id="A11.T18.2.31.30.1" class="ltx_td ltx_align_left">AdaBelief</td>
<td id="A11.T18.2.31.30.2" class="ltx_td ltx_align_left">0.0016</td>
</tr>
<tr id="A11.T18.2.32.31" class="ltx_tr">
<td id="A11.T18.2.32.31.1" class="ltx_td ltx_align_left">LBFGS</td>
<td id="A11.T18.2.32.31.2" class="ltx_td ltx_align_left">4.92-6</td>
</tr>
<tr id="A11.T18.2.33.32" class="ltx_tr">
<td id="A11.T18.2.33.32.1" class="ltx_td ltx_align_left ltx_border_b">PSGD</td>
<td id="A11.T18.2.33.32.2" class="ltx_td ltx_align_left ltx_border_b">0.0</td>
</tr>
</tbody>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table"><span id="A11.T18.3.1.1" class="ltx_text" style="font-size:90%;">Table 18</span>: </span><span id="A11.T18.4.2" class="ltx_text" style="font-size:90%;">Considering different optimizers on the Rosenbrock problem. We see PSGD outperforms all other first and second order optimizers converging to the exact numerical solution.</span></figcaption>
</figure>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
</section>
<section id="A11.SS9" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.9 </span>Effectiveness of Lie Group Preconditioner under limited precision </h3>

<div id="A11.SS9.p1" class="ltx_para">
<p id="A11.SS9.p1.1" class="ltx_p">In this section we continue the comparison of the proposed adaptive Lie group preconditioner namely PSGD to the closed form solution. We clearly see that there is only a minmal gap between the solution found by PSGD in float32 vs bfloat16. Furthermore both of these solutions have significantly lower loss compared to the closed form solution seen in <a href="#A11.F19" title="Figure 19 ‣ K.9 Effectiveness of Lie Group Preconditioner under limited precision ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">19</span></a>.</p>
</div>
<figure id="A11.F19" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_3">
<figure id="A11.F19.sf1" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/float/fit_eigs_from_uniform_dist.png" id="A11.F19.sf1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="598" height="454" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F19.sf1.4.1.1" class="ltx_text" style="font-size:90%;">(a)</span> </span><math id="A11.F19.sf1.2.m1.1" class="ltx_Math" alttext="\lambda(H)\sim" display="inline"><semantics id="A11.F19.sf1.2.m1.1b"><mrow id="A11.F19.sf1.2.m1.1.2" xref="A11.F19.sf1.2.m1.1.2.cmml"><mrow id="A11.F19.sf1.2.m1.1.2.2" xref="A11.F19.sf1.2.m1.1.2.2.cmml"><mi mathsize="90%" id="A11.F19.sf1.2.m1.1.2.2.2" xref="A11.F19.sf1.2.m1.1.2.2.2.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A11.F19.sf1.2.m1.1.2.2.1" xref="A11.F19.sf1.2.m1.1.2.2.1.cmml">​</mo><mrow id="A11.F19.sf1.2.m1.1.2.2.3.2" xref="A11.F19.sf1.2.m1.1.2.2.cmml"><mo maxsize="90%" minsize="90%" id="A11.F19.sf1.2.m1.1.2.2.3.2.1" xref="A11.F19.sf1.2.m1.1.2.2.cmml">(</mo><mi mathsize="90%" id="A11.F19.sf1.2.m1.1.1" xref="A11.F19.sf1.2.m1.1.1.cmml">H</mi><mo maxsize="90%" minsize="90%" id="A11.F19.sf1.2.m1.1.2.2.3.2.2" xref="A11.F19.sf1.2.m1.1.2.2.cmml">)</mo></mrow></mrow><mo mathsize="90%" id="A11.F19.sf1.2.m1.1.2.1" xref="A11.F19.sf1.2.m1.1.2.1.cmml">∼</mo><mi id="A11.F19.sf1.2.m1.1.2.3" xref="A11.F19.sf1.2.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A11.F19.sf1.2.m1.1c"><apply id="A11.F19.sf1.2.m1.1.2.cmml" xref="A11.F19.sf1.2.m1.1.2"><csymbol cd="latexml" id="A11.F19.sf1.2.m1.1.2.1.cmml" xref="A11.F19.sf1.2.m1.1.2.1">similar-to</csymbol><apply id="A11.F19.sf1.2.m1.1.2.2.cmml" xref="A11.F19.sf1.2.m1.1.2.2"><times id="A11.F19.sf1.2.m1.1.2.2.1.cmml" xref="A11.F19.sf1.2.m1.1.2.2.1"></times><ci id="A11.F19.sf1.2.m1.1.2.2.2.cmml" xref="A11.F19.sf1.2.m1.1.2.2.2">𝜆</ci><ci id="A11.F19.sf1.2.m1.1.1.cmml" xref="A11.F19.sf1.2.m1.1.1">𝐻</ci></apply><csymbol cd="latexml" id="A11.F19.sf1.2.m1.1.2.3.cmml" xref="A11.F19.sf1.2.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.F19.sf1.2.m1.1d">\lambda(H)\sim</annotation></semantics></math><span id="A11.F19.sf1.5.2" class="ltx_text" style="font-size:90%;"> from Uniform distribution</span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_3">
<figure id="A11.F19.sf2" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/float/fit_eigs_from_exponential_dist.png" id="A11.F19.sf2.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="598" height="454" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F19.sf2.4.1.1" class="ltx_text" style="font-size:90%;">(b)</span> </span><math id="A11.F19.sf2.2.m1.1" class="ltx_Math" alttext="\lambda(H)\sim" display="inline"><semantics id="A11.F19.sf2.2.m1.1b"><mrow id="A11.F19.sf2.2.m1.1.2" xref="A11.F19.sf2.2.m1.1.2.cmml"><mrow id="A11.F19.sf2.2.m1.1.2.2" xref="A11.F19.sf2.2.m1.1.2.2.cmml"><mi mathsize="90%" id="A11.F19.sf2.2.m1.1.2.2.2" xref="A11.F19.sf2.2.m1.1.2.2.2.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A11.F19.sf2.2.m1.1.2.2.1" xref="A11.F19.sf2.2.m1.1.2.2.1.cmml">​</mo><mrow id="A11.F19.sf2.2.m1.1.2.2.3.2" xref="A11.F19.sf2.2.m1.1.2.2.cmml"><mo maxsize="90%" minsize="90%" id="A11.F19.sf2.2.m1.1.2.2.3.2.1" xref="A11.F19.sf2.2.m1.1.2.2.cmml">(</mo><mi mathsize="90%" id="A11.F19.sf2.2.m1.1.1" xref="A11.F19.sf2.2.m1.1.1.cmml">H</mi><mo maxsize="90%" minsize="90%" id="A11.F19.sf2.2.m1.1.2.2.3.2.2" xref="A11.F19.sf2.2.m1.1.2.2.cmml">)</mo></mrow></mrow><mo mathsize="90%" id="A11.F19.sf2.2.m1.1.2.1" xref="A11.F19.sf2.2.m1.1.2.1.cmml">∼</mo><mi id="A11.F19.sf2.2.m1.1.2.3" xref="A11.F19.sf2.2.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A11.F19.sf2.2.m1.1c"><apply id="A11.F19.sf2.2.m1.1.2.cmml" xref="A11.F19.sf2.2.m1.1.2"><csymbol cd="latexml" id="A11.F19.sf2.2.m1.1.2.1.cmml" xref="A11.F19.sf2.2.m1.1.2.1">similar-to</csymbol><apply id="A11.F19.sf2.2.m1.1.2.2.cmml" xref="A11.F19.sf2.2.m1.1.2.2"><times id="A11.F19.sf2.2.m1.1.2.2.1.cmml" xref="A11.F19.sf2.2.m1.1.2.2.1"></times><ci id="A11.F19.sf2.2.m1.1.2.2.2.cmml" xref="A11.F19.sf2.2.m1.1.2.2.2">𝜆</ci><ci id="A11.F19.sf2.2.m1.1.1.cmml" xref="A11.F19.sf2.2.m1.1.1">𝐻</ci></apply><csymbol cd="latexml" id="A11.F19.sf2.2.m1.1.2.3.cmml" xref="A11.F19.sf2.2.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.F19.sf2.2.m1.1d">\lambda(H)\sim</annotation></semantics></math><span id="A11.F19.sf2.5.2" class="ltx_text" style="font-size:90%;"> from Exponential distribution</span></figcaption>
</figure>
</div>
<div class="ltx_flex_cell ltx_flex_size_3">
<figure id="A11.F19.sf3" class="ltx_figure ltx_figure_panel ltx_align_center"><img src="/html/2402.04553/assets/float/fit_eigs_from_LogNormal_dist.png" id="A11.F19.sf3.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="598" height="447" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F19.sf3.4.1.1" class="ltx_text" style="font-size:90%;">(c)</span> </span><math id="A11.F19.sf3.2.m1.1" class="ltx_Math" alttext="\lambda(H)\sim" display="inline"><semantics id="A11.F19.sf3.2.m1.1b"><mrow id="A11.F19.sf3.2.m1.1.2" xref="A11.F19.sf3.2.m1.1.2.cmml"><mrow id="A11.F19.sf3.2.m1.1.2.2" xref="A11.F19.sf3.2.m1.1.2.2.cmml"><mi mathsize="90%" id="A11.F19.sf3.2.m1.1.2.2.2" xref="A11.F19.sf3.2.m1.1.2.2.2.cmml">λ</mi><mo lspace="0em" rspace="0em" id="A11.F19.sf3.2.m1.1.2.2.1" xref="A11.F19.sf3.2.m1.1.2.2.1.cmml">​</mo><mrow id="A11.F19.sf3.2.m1.1.2.2.3.2" xref="A11.F19.sf3.2.m1.1.2.2.cmml"><mo maxsize="90%" minsize="90%" id="A11.F19.sf3.2.m1.1.2.2.3.2.1" xref="A11.F19.sf3.2.m1.1.2.2.cmml">(</mo><mi mathsize="90%" id="A11.F19.sf3.2.m1.1.1" xref="A11.F19.sf3.2.m1.1.1.cmml">H</mi><mo maxsize="90%" minsize="90%" id="A11.F19.sf3.2.m1.1.2.2.3.2.2" xref="A11.F19.sf3.2.m1.1.2.2.cmml">)</mo></mrow></mrow><mo mathsize="90%" id="A11.F19.sf3.2.m1.1.2.1" xref="A11.F19.sf3.2.m1.1.2.1.cmml">∼</mo><mi id="A11.F19.sf3.2.m1.1.2.3" xref="A11.F19.sf3.2.m1.1.2.3.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A11.F19.sf3.2.m1.1c"><apply id="A11.F19.sf3.2.m1.1.2.cmml" xref="A11.F19.sf3.2.m1.1.2"><csymbol cd="latexml" id="A11.F19.sf3.2.m1.1.2.1.cmml" xref="A11.F19.sf3.2.m1.1.2.1">similar-to</csymbol><apply id="A11.F19.sf3.2.m1.1.2.2.cmml" xref="A11.F19.sf3.2.m1.1.2.2"><times id="A11.F19.sf3.2.m1.1.2.2.1.cmml" xref="A11.F19.sf3.2.m1.1.2.2.1"></times><ci id="A11.F19.sf3.2.m1.1.2.2.2.cmml" xref="A11.F19.sf3.2.m1.1.2.2.2">𝜆</ci><ci id="A11.F19.sf3.2.m1.1.1.cmml" xref="A11.F19.sf3.2.m1.1.1">𝐻</ci></apply><csymbol cd="latexml" id="A11.F19.sf3.2.m1.1.2.3.cmml" xref="A11.F19.sf3.2.m1.1.2.3">absent</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="A11.F19.sf3.2.m1.1d">\lambda(H)\sim</annotation></semantics></math><span id="A11.F19.sf3.5.2" class="ltx_text" style="font-size:90%;"> from LogNormal distribution</span></figcaption>
</figure>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure"><span id="A11.F19.2.1.1" class="ltx_text" style="font-size:90%;">Figure 19</span>: </span><span id="A11.F19.3.2" class="ltx_text" style="font-size:90%;">Comparing Preconditioner fitting loss for PSGD style vs closed-form solution like used in AdaHessian, under under float32 and bfloat16. We see adaptive learning on Lie group under either float32 or bloaf16 significanly outperforms closed-form solutions under all eigenvalue distributions of H.</span></figcaption>
</figure>
</section>
<section id="A11.SS10" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.10 </span>Potential Social Impacts and Limitations</h3>

<div id="A11.SS10.p1" class="ltx_para">
<p id="A11.SS10.p1.1" class="ltx_p">Regarding social impact, our optimization method can outperform other optimization methods in generalization accuracy as well as minimizing loss with negligible computational overhead and less tuning efforts due to normalized learning rates. This will enable better training of machine learning systems. Furthermore, since PSGD is better at generalization based on imbalanced datasets, it has the potential to reduce bias and provide better representation for under-represented classes and sub-classes.</p>
</div>
<div id="A11.SS10.p2" class="ltx_para">
<p id="A11.SS10.p2.1" class="ltx_p">The main potential limitation for PSGD we see, is that its certain forms. e.g., low-rank approximation one, require more memory to store the curvature information. Yet, it is still negligible compared to other popular second-order methods like KFAC that require per-sample derivatives. <span id="A11.SS10.p2.1.1" class="ltx_text ltx_font_smallcaps">XMat</span> which is another variant of PSGD takes the same memory complexity as Adam.</p>
</div>
</section>
<section id="A11.SS11" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">K.11 </span>Hardware &amp; Software</h3>

<div id="A11.SS11.p1" class="ltx_para">
<p id="A11.SS11.p1.1" class="ltx_p">Experiments were run on a single NVIDIA 3080 10GB GPU with an 11th gen Intel i7 processor or TPUs provided by TFRC in the later stages of the experimentation. We utilized PyTorch <cite class="ltx_cite ltx_citemacro_citep">[Paszke et al., <a href="#bib.bib34" title="" class="ltx_ref">2017</a>]</cite> version 1.13. Base PSGD code from Xi-Lin Li can be found at <a target="_blank" href="https://github.com/lixilinx/psgd_torch.git" title="" class="ltx_ref ltx_href">Xilin’s github repo</a> while more extensive experiments can be found on <a target="_blank" href="https://github.com/opooladz/Preconditioned-Stochastic-Gradient-Descent.git" title="" class="ltx_ref ltx_href">Omead’s giuthub repo</a>.</p>
</div>
</section>
</section>
<section id="A12" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix L </span>Reproducibility</h2>

<div id="A12.p1" class="ltx_para">
<p id="A12.p1.1" class="ltx_p">We ran all our code with reproducibility in mind. We have kept seeds as well as hyper-parameters for each experiment and will release them to public once published. We have included a codebase as a zip for now to retain anonymity. Note all results have been averaged over 8-16 experiments with variances provided. Also for PSGD we have hyper-parameter sweeps to show that we are robust to changes in these values (see Table <a href="#A11.SS5.SSSx1" title="PSGD is robust to hyper-parameters ‣ K.5 CIFAR10 Image Classification with ResNet18 ‣ Appendix K More Experimental Results ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">K.5</span></a>).For all Propositions, Corollarys and Claims in the main we provide proofs with all assumptions states in the appendix (see Appendix <a href="#A1" title="Appendix A On the Convergence of PSGD ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">A</span></a>, <a href="#A2" title="Appendix B Construction of matrix-free preconditioner ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">B</span></a>, and <a href="#A3" title="Appendix C Construction of low-rank approximation preconditioners ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">C</span></a>). Additionally, since Lie Groups are not a ubiquitous framework for machine learning, we provide both crucial as well as extra math for those interested (see <a href="#A4.SS1" title="D.1 Fundamental operations on Lie Group ‣ Appendix D Low-rank approximation preconditioner fitting ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">D.1</span></a> and <a href="#A7" title="Appendix G More on: Lie Groups, Preconditioners and Practical Considerations ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">G</span></a>). Furthermore, we provide many practical considerations and limitations that come-about in implementation <a href="#A7.SS2" title="G.2 Practical considerations ‣ Appendix G More on: Lie Groups, Preconditioners and Practical Considerations ‣ Curvature-Informed SGD via General Purpose Lie-Group Preconditioners" class="ltx_ref"><span class="ltx_text ltx_ref_tag">G.2</span></a>.</p>
</div>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
</article>
</div>
<div class="ar5iv-footer"><a href="/html/2402.04552" class="ar5iv-nav-button ar5iv-nav-button-prev">◄</a>
    <a class="ar5iv-home-button" href="/"><img height="40" alt="ar5iv homepage" src="/assets/ar5iv.png"></a>
    <a href="/feeling_lucky" class="ar5iv-text-button">Feeling<br>lucky?</a>
    <a href="/log/2402.04553" class="ar5iv-text-button ar5iv-severity-error">Conversion<br>report</a>
    <a class="ar5iv-text-button" target="_blank" href="https://github.com/dginev/ar5iv/issues/new?template=improve-article--arxiv-id-.md&title=Improve+article+2402.04553">Report<br>an issue</a>
    <a href="https://arxiv.org/abs/2402.04553" class="ar5iv-text-button arxiv-ui-theme">View&nbsp;original<br>on&nbsp;arXiv</a><a href="/html/2402.04554" class="ar5iv-nav-button ar5iv-nav-button-next">►</a>
</div><footer class="ltx_page_footer">
<a class="ar5iv-toggle-color-scheme" href="javascript:toggleColorScheme()" title="Toggle ar5iv color scheme"><span class="color-scheme-icon"></span></a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/license" target="_blank">Copyright</a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/policies/privacy_policy" target="_blank">Privacy Policy</a>

<div class="ltx_page_logo">Generated  on Tue Mar  5 16:42:21 2024 by <a target="_blank" href="http://dlmf.nist.gov/LaTeXML/" class="ltx_LaTeXML_logo"><span style="letter-spacing:-0.2em; margin-right:0.1em;">L<span class="ltx_font_smallcaps" style="position:relative; bottom:2.2pt;">a</span>T<span class="ltx_font_smallcaps" style="font-size:120%;position:relative; bottom:-0.2ex;">e</span></span><span style="font-size:90%; position:relative; bottom:-0.2ex;">XML</span><img src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAsAAAAOCAYAAAD5YeaVAAAAAXNSR0IArs4c6QAAAAZiS0dEAP8A/wD/oL2nkwAAAAlwSFlzAAALEwAACxMBAJqcGAAAAAd0SU1FB9wKExQZLWTEaOUAAAAddEVYdENvbW1lbnQAQ3JlYXRlZCB3aXRoIFRoZSBHSU1Q72QlbgAAAdpJREFUKM9tkL+L2nAARz9fPZNCKFapUn8kyI0e4iRHSR1Kb8ng0lJw6FYHFwv2LwhOpcWxTjeUunYqOmqd6hEoRDhtDWdA8ApRYsSUCDHNt5ul13vz4w0vWCgUnnEc975arX6ORqN3VqtVZbfbTQC4uEHANM3jSqXymFI6yWazP2KxWAXAL9zCUa1Wy2tXVxheKA9YNoR8Pt+aTqe4FVVVvz05O6MBhqUIBGk8Hn8HAOVy+T+XLJfLS4ZhTiRJgqIoVBRFIoric47jPnmeB1mW/9rr9ZpSSn3Lsmir1fJZlqWlUonKsvwWwD8ymc/nXwVBeLjf7xEKhdBut9Hr9WgmkyGEkJwsy5eHG5vN5g0AKIoCAEgkEkin0wQAfN9/cXPdheu6P33fBwB4ngcAcByHJpPJl+fn54mD3Gg0NrquXxeLRQAAwzAYj8cwTZPwPH9/sVg8PXweDAauqqr2cDjEer1GJBLBZDJBs9mE4zjwfZ85lAGg2+06hmGgXq+j3+/DsixYlgVN03a9Xu8jgCNCyIegIAgx13Vfd7vdu+FweG8YRkjXdWy329+dTgeSJD3ieZ7RNO0VAXAPwDEAO5VKndi2fWrb9jWl9Esul6PZbDY9Go1OZ7PZ9z/lyuD3OozU2wAAAABJRU5ErkJggg==" alt="Mascot Sammy"></a>
</div></footer>
</div>

    <script>
      var canMathML = typeof(MathMLElement) == "function";
      if (!canMathML) {
        var body = document.querySelector("body");
        body.firstElementChild.setAttribute('style', 'opacity: 0;');
        var loading = document.createElement("div");
        loading.setAttribute("id", "mathjax-loading-spinner");
        var message = document.createElement("div");
        message.setAttribute("id", "mathjax-loading-message");
        message.innerText = "Typesetting Equations...";
        body.prepend(loading);
        body.prepend(message);

        var el = document.createElement("script");
        el.src = "https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js";
        document.querySelector("head").appendChild(el);

        window.MathJax = {
          startup: {
            pageReady: () => {
              return MathJax.startup.defaultPageReady().then(() => {
                body.removeChild(loading);
                body.removeChild(message);
                body.firstElementChild.removeAttribute('style');
              }); } } };
      }
    </script>
    <script>
    // Auxiliary function, building the preview feature when
    // an inline citation is clicked
    function clicked_cite(e) {
      e.preventDefault();
      let cite = this.closest('.ltx_cite');
      let next = cite.nextSibling;
      if (next && next.nodeType == Node.ELEMENT_NODE && next.getAttribute('class') == "ar5iv-bibitem-preview") {
        next.remove();
        return; }
      // Before adding a preview modal,
      // cleanup older previews, in case they're still open
      document.querySelectorAll('span.ar5iv-bibitem-preview').forEach(function(node) {
        node.remove();
      })

      // Create the preview
      preview = document.createElement('span');
      preview.setAttribute('class','ar5iv-bibitem-preview');
      let target = document.getElementById(this.getAttribute('href').slice(1));
      target.childNodes.forEach(function (child) {
        preview.append(child.cloneNode(true));
      });
      let close_x = document.createElement('button');
      close_x.setAttribute("aria-label","Close modal for bibliography item preview");
      close_x.textContent = "×";
      close_x.setAttribute('class', 'ar5iv-button-close-preview');
      close_x.setAttribute('onclick','this.parentNode.remove()');
      preview.append(close_x);
      preview.querySelectorAll('.ltx_tag_bibitem').forEach(function(node) {
        node.remove();
      });
      cite.parentNode.insertBefore(preview, cite.nextSibling);
      return;
    }
    // Global Document initialization:
    // - assign the preview feature to all inline citation links
    document.querySelectorAll(".ltx_cite .ltx_ref").forEach(function (link) {
      link.addEventListener("click", clicked_cite);
    });
    </script>
    </body>
</html>

2402.04553
We present a novel approach to accelerate stochastic gradient descent (SGD)  by utilizing curvature information obtained from Hessian-vector products or finite differences of parameters and gradients, similar to the BFGS algorithm. Our approach involves two preconditioners: a matrix-free preconditioner and a low-rank approximation preconditioner. We update both preconditioners online using a criterion that is robust to stochastic gradient noise and does not require line search or damping. To preserve the corresponding symmetry or invariance, our preconditioners are constrained to certain connected Lie groups. The Lie group’s equivariance property simplifies the preconditioner fitting process, while its invariance property eliminates the need for damping, which is commonly required in second-order optimizers. As a result, the learning rate for parameter updating and the step size for preconditioner fitting are naturally normalized, and their default values work well in most scenarios. Our proposed approach offers a promising direction for improving the convergence ofSGDwith low computational overhead. We demonstrate that Preconditioned SGD (PSGD)  outperforms SoTA on Vision, NLP, and RL tasks across multiple modern deep-learning architectures. We have provided code for reproducingtoyandlarge scale experimentsin this paper.
abstract
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
Abstract
2402.04553
1IntroductionOptimizing machine learning models with millions of free parameters presents a significant challenge. While conventional convex optimization algorithms such as Broyden-Fletcher-Goldfarb-Shanno (BFGS) , conjugate gradient (CG) , & nonlinear versions like Hessian-free (HF)  optimizationhave succeeded in small-scale, convex mathematical optimization problems, they are rarely used for large-scale, stochastic optimization problems that arise in machine learning (ML) .
One of the main reasons is their reliance on the line search step. In many ML models, such as variational & reinforcement learning models, cost functions are defined as expectations & can only be evaluated through Monte Carlo (MC)  sampling averages. This can result in large variances, making optimizers that rely on line search to ensure convergence problematic. Several recent extensions of these methods to deep learning, such as K-BFGS & KFAC, have foregone the line search step in favor of damping. However, this adds complexity by introducing extra hyperparameters.Empirical results indicate that plain SGD is a highly efficient optimizer for most ML problems. However, for problems with a large eigenvalue spread, SGD may converge slowly once the solution is located in a basin of attraction. Adaptive optimizers such as RMSProp & Adamconverge faster but have been shown to generalize worse on many problems. Reducing the generalization gap between SGD & Adam remains an active topic of research. This work focuses on providing SGD with a good preconditioner to accelerate its convergence around the basin of attraction without undermining its generalization capacity.
The curvature information for preconditioner fitting can be sampled from Hessian-vector products or finite differences of parameters & gradients, similar to the BFGS algorithm. However, constructing a preconditioner in a deterministic way, as in BFGS, may not be possible due to potential issues with line search & damping. Therefore, we adopt the more general & gradient-noise-robust preconditioner fitting criterion proposed in& fit the preconditioner online with another “gradient descent”(GD)  algorithm. The key is to avoid making the preconditioner fitting more difficult & computationally expensive than the original parameter-learning problem.In this paper, we propose using Lie groups as a tool for preconditioner fitting. The “GD” on a Lie group is similar to common gradient descent in Euclidean space. It involves applying a series of small transforms via multiplication with, whereis a small scalar &is the group generator (seeD.1) . The Lie group is a rich & convenient space to work in as moving a preconditioner around any point on the group behaves similarly to moving it around the identity element of the group, i.e., the identity matrix. This is known as the Lie group equivariance property.Recent curvature-aware optimization methods such as HessianFree, KFAC, AdaHessian, K-BFGS, Shampoo& GGThave shown moderate empirical results in Deep Learning. Yet, they require damping, line search, or regret & thus require many hyper-paramers & are prone to pitfalls that do not affect PSGD where gradient noises regularize parameter & preconditioner updates.Contributions.In our paper, we are interested in the performance of two novel families of preconditioners (Sparse Matrix-Free & Low Rank Approximation)  in the PSGD framework & the structures of thesolutionslearned by the network. In particular, our main observation is that:Precontioned Stochastic Gradient Descent on overparametrized neural networks leads to flat generalized solutions.While standard optimizers can find solutions that are over confident in their predictions, PSGD finds solutions that are significantly flatter, generalize better while being drastically less confident.We make the following contributions:Novel Preconditioners:In Section3we propose two novel precondtioners for PSGD: an extreamly light weight diagonal & coross-diagonal approximation to the Hessian coinedXMat, & a powerful light weight Low Rank Approximation to the Hessian LRA. These preconditioners are designed to leverage curvature information, enhancing the performance of SGD. Both of these preconditioners can be used without any adjustment to NN architecture while setting a new SOTA across many deep learning workloads.Global Curvature Information:The Affine version of PSGD as well as KFAC & Shampoo type preconditioners all only take each layer’s curvature information into account independently without consideration of interaction of layers. This is clearly an oversimplification. PSGDXMat& LRA are two proposed perconditoners that take into account interaction between all NN layers.Lie Group Framework:Our approach utilizes a unique Lie group framework for preconditioner fitting. This methodology simplifies the preconditioner fitting process while preserving the symmetry & invariance properties, contributing to more stable & efficient optimization.PSGD finds Flat Solutions Fast:In Section5.1we present toy experiments showing PSGD is the only optimizer achievingquadratic convergenceon the Rosenbrock objective minimization as well as showing clear evidence that PSGD finds flatter solutions while outperforming both standard & sharpness aware optimization methods. There exists empirical evidence that width of a local optimum is related to generalization.Empirical Validation:In Section5.2-5.4we present extensive empirical evidence of PSGD setting a new SoTA across vision, natural language processing (NLP) , & reinforcement learning (RL)  tasks, & establishes new SoTA for many networks & settings,e.g.ResNet, LSTMs& GPT-2. We consider optimization problems involving MNIST, CIFAR-10 (CF10) , Penn Treebank, the works of Shakespeare, the Open Web Text (OWT)  dataset, HalfCheetah & RoboWalker. PSGD outperforms SoTA methods with negligible overhead compared to SGD on a wide range of optimization tasks.Intuitive Experiments:In Section6we provide intuition for understanding characteristics for solutions founds by PSGD. In addition to flat solutions; we observe four other properties of solutions found by PSGD. textbfUncertanty Analysis: PSGD does not overfit, converging to solutions that are less certain about predictions while outperforming other optimizers.Forgettability Statistics:PSGD focuses on points that are important to generalization & not memorization.Neuro-Plasticity:NNs trained with PSGD are flexible; usually NNs trained with corrupt data early in training concede significant performance even if the data is corrected later in training. NNs trained with PSGD can recover this performance loss.Learning Long Term Dependence:With this simple scenario we show PSGD is the only optimizer that solves the XOR problem, learning long term dependence without memorizing partial solutions.Thus, we conclude that PSGD is unique in its ability to both improve generalization, decrease solution curvature without memorization in a data-adaptive fashion. PSGD provides practitioners with a powerful, stable, & efficient optimization tool that can significantly enhance the performance of deep learning models in various domains.
introduction
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
1Introduction
2402.04553
2Related work & background on PSGD2.1NotationsThe objective is to minimize a loss function defined as an expectation,, whereis the parameter vector to be optimized &is a random vector that can be sampled to evaluate the loss. We assume that the considered problem is second-order differentiable. To simplify the notation, we useto denote a sampled noisy evaluation of.
A step ofSGDwith learning rate& an optional positive definite preconditioneris:(1) whereis the iteration index,is the learning rate, &typically is a variable or adaptive preconditioner.
Once the solution enters a basin of attraction centered at a local minimum, we approximate the iteration step in Eq1as:(2) whereis the sampled Hessian at the local minimum. Conceivably, the eigenvalue spread oflargely determines the speed of convergence of the quasi-linear system in equation2. Nearly quadratic convergence is possible if we can find a good approximation for. However,is a noisy Hessian & is not necessarily positive definite, even if the exact one at, i.e.,, is.2.2The Preconditioner Fitting CriterionWe adopt the preconditioner fitting criterion proposed in.
Letbe associated gradient parameter perturbations.
Then, the fitting criterion is:(3) With autograd tools, we can replace the pairwith, whereis a random vector, &is the noisy Hessian-vector product, which can be evaluated as cheaply as gradients. Criterion equation3only has one positive definite solution,, even for indefinite, whereis a stochastic noise term. This preconditioner automatically dampens gradient noise. It is worth noting that criterion equation3gives the same preconditioner used in equilibratedSGD(ESGD) & AdaHessianwhenis diagonal, i.e.,, where&denote element-wise product & division, respectively.2.3Preconditioners on Lie Groups Naturally AriseIt is natural to fit the preconditioner on a Lie group for several reasons.
First, by rewriting equation equation1asit is clear that a preconditionedSGDis equivalent toSGDin a new set of coordinates defined by.
This coordinate change consists of rotations & scalings, i.e., operations on the orthogonal group& the group of nonsingular diagonal matrices.
We can represent this coordinate transform with matrix&, accordingly,.
Thus, we pursue a variableon the Lie group to fit it.Second,PSGDcan also be viewed asSGDwith transformed features when the parameters to be learned are a list of affine transform matrices.
Specifically, the most commonly used feature transformations (e.g., whitening, normalization, & scaling)  can be represented as matrices on the affine groups.
For example, the popular batch normalization, layer normalization, & group normalizationcan be represented as a sparse affine Lie group matrix where only the diagonal & last column can have nonzero values(See AppendixLABEL:coro:matrixfree) . The decorrelated batch normalizationis related to the whitening affine preconditioner in. Thus, the Lie group arises as a natural object to work with.
body
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
2Related work & background on PSGD
2402.04553
3General Lie Group PreconditionersHere we discuss relevant Lie groups properties, PSGD convergence & present two novel Lie group preconditioners.3.1Properties and Convergence of PSGDLie groups have two properties that are particularly suitable for our task. Like any group, a specific Lie group preserves certain symmetries or invariances.
For example, with, the general linear group with positive determinant,&will always have the same orientation.
This eliminates the need for damping to avoid degenerate solutions, sinceis guaranteed to be invertible.
The equivariance property of Lie groups further facilitates the preconditioner fitting.
The same group generator, i.e., the one at the identity matrix, is used to move a preconditioner on any point of the Lie group.In fact, the preconditionerestimated by PSGD converges to the inverse of “absolute” Hessian regardless of the definiteness of Hessian. From this, one can show that the parameters converge following the established results in open literature. For more details & proof seeA. Note that the following statements are general to PSGD.Proposition 3.1.Assume thatis invertible, &or. Then,converges toby update equation6,with, & a small enough positive step size.Corollary 3.1.1.Assumeis second order differentiable with absolute eigenvalues of the Hessian well bounded, i.e.,. Then with PSGD, the loss drops at least with a linear rate, & parameters converge at least linearly to the optimal solution.It is worth mentioning no convergence rate beyond linear are observed for first or second order line-search-free stochastic optimization. Proposition3.1& Corollary3.1.1(proved inA.1,A.2)  are not aimed to push the theoretical convergence limits. Instead they investigate how PSGD converges asymptoticlly with small enough step size.The preconditioners proposed incan only be applied to a list of affine transform matrix parameters.
Although many machine learning models exclusively consist of affine transforms
& activation functions, this is not always the case.
Additionally, it can be impractical to reparameterize many existing modules, such as a convolutional layer, into their equivalent affine transformation form.
Hence, in this paper, we propose two types of novel general purpose preconditioners.3.2Sparse Matrix-Free PreconditionersLet us consider bijective mappings that take vectors in& map them to other vectors in the same space, i.e.,.
The following claim gives one way to construct such sparse matrix-free Lie group preconditioners.Claim 3.1.Letbe a subgroup of the permutation group.
Then, linear transform, forms a subgroup ofparameterized withifis bijective, where both&are.See proof of Claim3.1in AppendixB.Example 1: the group of invertible diagonal matrices. We must haveif, whereis the identity element of, i.e.,.
Then,simply has a diagonal matrix representation, i.e.,.
Criterion equation3gives the preconditioner in ESGD& AdaHessianas a special case whenis on this group.Example 2: The group of “X-shape matrices.”
Let, wheredenotes the flipping permutation.
Then:where.
Clearly, such transforms form a Lie group if they are invertible, i.e., no element ofis zero.
The matrix representation of thisonly has nonzero diagonal & anti-diagonal elements, thus the name X-shape matrix (XMat) . This becomes our minimal overhead general purpose preconditioner for PSGD.Example 3: The butterfly matrix. For an even, subgroupinduces a Lie group whose representations are invertible butterfly matrices, wheredenotes circular shifting bypositions. This group of matrices are the building blocks of Kaleidoscope matrices.Additionally, the groupcan be recovered by letting, wheredenotes circular shifting bypositions. But,is too expensive for large scale problems.
The group of diagonal matrices, i.e., the Jacobi preconditioner, is sparse but empirically shown to be less effective without the help of momentum for certain machine learning problems.
We are mostly interested in the cases with.
These Lie groups are sparse enough, yet simple enough to derive their inverse manually, & at the same time can significantly accelerate the convergence ofSGDby shortcutting gradients separated far away in positions.3.3Low-Rank Approximation PreconditionerLow-rank approximation (LRA)  is a standard technique for processing large-scale matrices. Commonly adopted forms of positive definite low-rank approximation, such as, cannot always be factorized asfor certain Lie groups, whereis a small positive number. Additionally, this form of approximation is not effective for reducing eigenvalue spread. In many real-world problems, the Hessian has a few very large & very small eigenvalues, i.e., tails on both ends of the spectra. However, all the eigenvalues ofin this form are lower bounded by, meaning that it can only fit one tail of the spectra when rank.Thus, we propose a new LRA with form, whereis not necessarily small nor positive, &&havecolumns with. To justify this form of approximation, we need to establish two facts. First, it forms a Lie group. Second,with this form can fit both tails of the spectra of Hessian, providing an accurate characterization of the curvature of a function, improving optimization algorithms, & assessing their robustness.Claim 3.2.Preconditionerwithcan have positive eigenvalues arbitrarily larger than& arbitrarily less thanwith proper&.Claim 3.3.If&orexists,defines a subgroup ofparameterized with&. Similarly,defines another subgroup ofparameterized with&.See proofs of Claim3.2&3.3in AppendixC.1&C.1.The form ofin Claim 3.2 is rather constrained asis a scalar. In practice, we replacewith another Lie group matrix & defineas. In our implementations, we chooseto be the group of diagonal matrix with positive diagonals & updatealong with&on two separate Lie groups. Note that nowgenerally no longer forms a single Lie group.
body
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
3General Lie Group Preconditioners
2402.04553
4Practical ConsiderationsAbove-proposed preconditioners can be fit online by minimizing criterion equation3using GD on Lie groups. Unlike traditional GD, moving an object on a Lie group is achieved by multiplying it with, whereis the group generator &is small enough such that. This series of small movements trace a curve on the Lie group manifold, &is in the tangent space of the group as the Lie algebra is closed. See AppD.Note that optimizer damping is neither necessary nor generally feasible on a Lie group, although it is widely used in other second-order optimizers to avoid degenerate solutions. On one hand, by fittingon a connected Lie group,cannot be singular. On the other hand, damping could be incompatible with certain forms of Lie groups, as we may not always be able to find anotheron the same group such that, where. This eliminates the need for setting up a proper damping schedule.
However, gradient clipping can be helpful in promoting stability. The quadratic approximation leading to the quasi-linear system equation2is only valid within a certain region around. Thus,should be small enough such thatstill locates in this trust region. We can adjustor clipto ensure thatis small enough.Theoretically, one Hessian-vector product evaluation doubles the complexity of one gradient evaluation. In practice, we could update the curvature estimation with probability. The cost of updatingis negligible forcompared with SGD. Then the per iteration complexity of PSGD becomestimes of that of SGD, as shown empirically in15&9. For time & space complexity analysis see App. Tables5&6. Lastly, we use a learning rate of 0.01 but find PSGD is quite robust to learning rate and weight decay, see AppK.5.For the LRA preconditioner, the gradients on the Lie groups are given by,&, respectively. Interested readers can refer to the App for details. To put these together, we summarize the proposed PSGD methods into Algorithms12,4and AppE.Algorithm 1PSGD OptimizerInitialize:,,Whilenot convergeddoIfwiththen, whereUpdatevia:Q Update StepElseend whileAlgorithm 2LRA Q Update Stepvia Woodbury identity 2xIfwithElseReturn
body
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
4Practical Considerations
2402.04553
5Empirical ResultsIn this work, we evaluate the performance of the PSGD algorithm on a diverse set of tasks. First we consider two toy problems, Rosenbrock objective minimization to show quadratic convergence of PSGD, as well as using a LeNet5(see Figure1(b) & Table13)  for MNISTdigit recognition for studying the generalization property of PSGD.Next, we benchmark more large-scale vision, natural language processing (NLP) , & reinforcement learning (RL)  tasks. For each task we benchmark PSGD vs the leading SoTA optimizers. In the domain of computer vision, we evaluate algorithm performance on the MNIST dataset via convex large-scale logistic regression (see AppendixK.6) . Additionally we consider the CIFAR10 (CF10) & CF10 derived datasets, namely noisy labels, blur-deficit, adversarial attacks, & class imbalances, (see Figure2(a) & Table15)  with ResNet18 (RN18)  to explore generalization performance.
For NLP tasks, we study the use of LSTMs& GPT-2 style transformers, on various text corpora, including the Penn Treebank, the complete works of Shakespeare, & the Open Web Text (OWT)  dataset(see Table17&1) . In the RL setting, we consider a Proximal Policy Optimization (PPO) applied to the HalfCheetah & RoboWalker environments using OpenAI’s gym environments(see Fig.5) .To provide insight into the fundamental differences between SGD & PSGD, we perform uncertainty & forgettability analysis.
Finally, we examine the pathological delayed XOR problem, first introduced in, in order to further our understanding of the strengths & limitations of different optimization methods.5.1Performance Study with Toy Examples(a) Rosenbrock objective minimization(b) LeNet5 minima pair(c) PSGD excels in bfloat16Figure 1:(a)  Rosenbrock objective minimization comparison among PSGD & its competitors. Only PSGD shows a clear quadratic convergence curve. (b)  MNIST hand written digit recognition with LeNet5. Hessians at the minima of Adam are estimated with a dummy LRA PSGD optimizer that only updates the preconditioner.
(c)  PSGD is able to significantly outperform closed form solutions for curvature at bfloat16. This exemplifies the stability of our method.Quadratic Convergence:The first toy example is the minimization of the Rosenbrock function demonstrating the recovery of curvature information by PSGD.
As shown by Proposition3.1, preconditionerfollows. This property helps PSGD to escape saddle points aswhen, & accelerate convergence around the basin of attraction. This quadratic convergence behavior of PSGD is clearly shown by the convergence curve solving the Rosenbrock benchmark problem in Fig.1(a) . For more comparison see App Fig18.PSGD Finds Flatter NNs:Next, we demonstrates that PSGD preserves the generalization property of its kin, SGD, as the gradient noises regularize both parameter & preconditioner updates. The task is the MNIST digit recognition with the LeNet5. Adam is selected as the counter-example as it is known to be more easily trapped in sharp minima than SGD. Fig.1(b) shows ten pairs of minima, each starting from the same random initial initialization. We see that PSGD converges to minima with flatter or smaller Hessian, i.e., larger preconditioner. From the view of information theory, the total cross entropy &are good proxies of the description lengths of the train image-label pairs & model parameters, respectively. Fig.1(b) shows that minima with smaller description lengths tend to perform better on the test sets as well, as suggested by an arrow pointing to the down-left-front corner of the cube.Curvature Representations at Low Precision:Here we exemplify PSGD’s robust performance & resilience to noise in low-precision settings. All PSGD implementations maintain stability across both single & half (bfloat16)  precision computations. The inherent equivariance property associated with the Lie group is instrumental in PSGD’s approach, leading to a scenario where PSGD effectively fits the product, which asymptotically approximates the identity matrix, irrespective of the condition number of. In figure1(c) we compare PSGD’s adaptive solution vs prevalent closed-form methods. Specifically we compare fitting PSGD viavs the well known closed form solutionwhen. This showcases PSGD’s efficiency in solving the secant equation. Moreover, PSGD circumvents numerical challenges commonly encountered in operations such as matrix inversion, Cholesky decomposition, & eigenvalue decompositions. These attributes contribute to PSGD’s robustness & efficiency, especially in low-precision computational environments. For more see App Fig19.5.2CIFAR-10 and Friends on ResNet18(a) (b) (c) Figure 2:CIFAR-10 ResNet-18: (a)  Robustness of PSGD: We clearly see as classification task increases in complexity() , PSGD is able to consistently outperform other first and second order optimizers. (b)  Assym Label Noise Train Acc: Accuracy plots based on incorrect noisy labels. PSGD effectively mitigates label noise, learning the true underlying solution with low variance, while other optimizers tend to overfit/memorize the miss-leading trainset. (c)  Assym Label Noise Test Acc: Under ground truth test labels, we see that PSGD reaches a significantly better test accuracy with a very low variance compared to Apollo, Adam, and SGD.We train an RN18 on the CF10 image classification task using PSGD, SGD, Adam, & Apollo (Adaptive Quasi Newton Diagonal) . We adopt the cosine learning rate scheduler& train for 200 epochs (seeK.8) . We find that as other first & second-order optimizers performance reduces & increases in variance as task complexity increases, PSGD is able to sustain the classification accuracy of the RN18, outperforming other optimizers by as much as much as, see Figure2(a) Table15for details.These tasks provide a rigorous test for the generalization ability of optimizers. We maintain the tuned hyperparameters from the standard RN18 CF10 classification task for a fair comparison between the optimizers. For robustness & sensitivity analysis on PSGD’s hyper-parameters as well as more experimental details seeK.5.
We update the preconditioner of PSGD every ten iterations, resulting in aoverhead over SGD, see Table15&K.4for empirical & theoretical timing analysis.CIFAR10 with Asymmetric Noisy Labels:We asymmetrically perturbof the CF10 training labels randomly, resulting in one of the classes having approximatelyincorrect labels & the other 9 classes havingincorrect labels, yieldingasymmetric label noise. We use (P) SGD, Adam & Apollo to train an RN18 on this task for 100 epochs with 8 different seeds & compare train & test classification accuracy Fig.6(a) &6(b) .Figure6(a) &6(b) , show that PSGD achieves the lowest average train accuracy (assuming incorrect noisy labels)  with the highest ground truth test accuracy. SGD gets an average training accuracy between Adam & Apollo. SGD has seven runs reachingmemorizing the train set, yieldingaccuracy on the test set. & one run (due tolucky initialization)  reachingon the train set, learning an underfit yet generalizing solution, yieldingon the test set.For SGD, this is not a standard case of over-fitting nor a case of catastrophic forgetting, since the training accuracy does not change. Instead, our experiments show there exists a tipping point in the test accuracy at around epoch 35, where within a single epoch the test accuracy drops fromtowhile the training accuracy shows no intelligible indication of this change. Furthermore, the test accuracy does not increase for the rest of the 65 epochs.
At the 35 epoch mark Adam & Apollo both go through a period of high variance over-fitting that eventually converges. Note that the average margins or predicted probabilities in Table3indicate that PSGD finds a generalizable solution whereas other first & second-order optimizers fall into a regime of overfitting/memorization further discussed in6.
In conclusion, we show PSGD finds a generalizable solution that can mitigate both over & underfitting. Other optimizers easily over/under-fit or memorize incorrect image label pairs, have large optimization instabilities during training, & reach degenerate solutions where the NNs have reasonable train accuracy but random test accuracy. For more details & experiments on learning underasymmetric&symmetriclabel noise seeK.2&K.5.3Language Modeling: nanoGPTTransformers have become the de facto language modeling architecture, largely replacing RNN-based models. Transformers employ sparse self-attention mechanisms that allow for efficient computation of gradients. Thus, they are typically trained using first-order methods. In this section, we study the effect of curvature information in training transformer models.
And provide results for LSTM-based experiments for predicting the Penn TreeBank Dataset using’s framework in Table17.In a recent study,proposed a framework for reproducing GPT-2 results using the OpenWebText dataset. Here, we expand upon this by investigating the training of GPT-2 models of different sizes on both the OpenWebText & Shakespeare character datasets. Our primary objective is to benchmark the performance of PSGD against other SoTA optimization algorithms.As shown in Table1, our results indicate that PSGD consistently outperforms other optimization algorithms across various model sizes. Notably, a moderate gap in perplexity is observed for the smaller GPT-2 model trained for 5k iterations on the Shakespeare-char dataset, with a significant gap observed on the 50M parameter GPT-2 LLM trained on the OpenWebText dataset, for 600k iterations using AdamW & 100k iterations using PSGD. We found that decreasing theprecond lrto 0.001 greatly improved the performance of transformer models. Lowering theprecond lrsmoothens the curvature in the sparse embedding layer of GPT-2 over time & enables the optimizer to consider a larger window of curvature information. This “curvature memory” improves performance & prevents divergence resulting from the otherwise sparse embedding space. For LSTM experiments see Table17.Table 1:Comparing different test loss of optimizers over GPT-2 style transformers on the Shakespeare-char (SC)  & OpenWebText (OWT)  datasets. PSGD outperforms other optimizers including the SoTA optimizer AdamW over various model sizes. Trainined on a single NVIDIA 3080 GPU.nanoGPTPSGDSGDAdamWAdanWAdaBeliefAdanBeliefSC: 0.82M4.524.684.685.525.946.66SC: 1.61M4.474.755.035.055.066.47SC: 6.37M4.535.3119.534.9221.045.34OWT: 50M197.07257.86(a) Walker2d(b) HalfCheetahFigure 3:PSGD outperforms SOTA optimizers on PPO RL on Walker2d & HalfCheetah.5.4Reinforcement LearningHere we consider two standard Proximal Policy Optimization (PPO)  problems in Reinforcement Learning (RL) : Walker2d and HalfCheetah. We optimize the actor and critic independently. We compare the performance of the two SOTA optimizers AdaBelief and Adan to PSGD. We optimize the actor and critic independently.We find that PSGD can find a higher reward for both Walker2d & HalfCheetah as shown in Figure5.
body
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
5Empirical Results
2402.04553
6Understanding Second Order OptimizersWith the performance distinctions between PSGD & the SoTA optimiziers now apparent, we aim to conduct a series of simple experiments to better understand the nature of solutions PSGD finds.Table 2:Success rate on the delayed XOR problem with variant sequence lengths, optimizers, & networks.XORPSGD LRAAdaHessianKFACHessianFreeShampooSGDAdaBeliefAdanLengthRNNLSTMRNNLSTMRNNLSTMRNNLSTMRNNLSTMRNNLSTMRNNLSTMRNNLSTM3211111111011111115511010000.600.8000000641100.8000000.60000001121100000000000000Uncertainty Analysis:We train a standard RN18 on CF10 with PSGD, SGD, Adam, & Apollo, & after 200 epochs we check the entropy over the softmax-logits & miss-classification marginof both NNs.
We see in Table3that PSGD has higher entropy & a lower margin of classification compared to other optimizers. This very low minimum entropy of other optimizers may be interpreted as a form of overfitting or memorization. Intuitively, some data points that are low entropy have information that is easily memorized by NNs, giving up network capacity learning points that do not improve generalization.
Conversely, we observe that PSGD never becomes overly certain about any data point, with the minimum entropy being six orders of magnitude larger than other optimizers. Similar trends can be observed in the mean & maximum entropy values.
From these statistics, we believe standard first & second-order optimizers can push NNs into a dangerous regime of overconfidence which given clean labels can reduce their generalization capacity with the potential of catastrophic forgetting. In the scenario where a network is given noisy labels (or imaginably poisoned points) , training other SoTA methods may lead to memorization of the training set with little to no generalization capacity as seen in the noisy labeled experiments2(a) .PSGD’s higher entropy & lower margins are indications of a larger exploration of the parameter space, more diverse solutions, & a lack of memorization.
Suggesting that PSGD is able to better balance the trade-off between overfitting & underfitting, without memorizing points.For more on the nature of low & high entropy points and its connection to Forgettability seeK.7&16.Table 3:Uncertainty Statistics: PSGD’s higher uncertainty leads to better generalization & less over-fitting.NTKEntropyMarginMinMeanMaxMinMeanMaxPSGD0.1390.2601.5450.1440.9560.994SGD7x0.010.89750.39250.9991Adam1.5x0.0090.86450.36250.9991Apollo1x0.050.88510.43260.9991Forgettability Statistics & Learningfound that one can pruneof the CF10 train samples without loss of generalization via Forgettability. Toneva found point’s generalization utility is directly correlated with the number of times it is learned and forgotten during training. We investigate whether the performance difference between PSGD & SGD’s generalization performance can be attributed to this forgettability ordering.We train the RN18 and keep the topimportant points based on each optimizer’s expected forgettability score.
Table16shows that PSGD focuses on points that are central to generalization. When we limit the dataset to only the 5k most forgettable data points deemed by each optimizer, PSGD is able to outperform SGD by nearly 14%.Table 4:Forgetting statistics for CF10 on RN18. PSGD finds better forgettability statistics outperforming SGD.Forgetting50k25k15k5kPSGD96.6595.8394.9556.46SGD96.2195.5693.742.48PSGD Preserves Neuro-Plasticity:Recently,studied the phenomenon of neuroplasticity in NNs.
They found that NNs exhibit a critical learning period, during which if a learning deficit is not removed, the NN becomes unable to learn effectively. To simulate this deficit, CIFAR10 images are blurred for the first half of training, after which the deficit is removed. Following, we used an exponential learning rate decay. To investigate the impact of optimization on neuro-plasticity we compare SGD & PSGD. We find that PSGD retains neuro-plasticity outperforming SGD by 6% & 3% on test & train sets seen in Fig2(a) ,16(b) & Table15.For more on critical learning periods & the importance of curvature information early in training for improving distributional shift for transfer learning, see &K.8&K.8.Understanding long term dependence and memorization via the Delayed XOR Problem:The task is to predict the XOR relation ofandrandomly scattered far away in a long sequence.
This problem is challenging for many architectures and optimizers because it cannot be “partially solved” as memorizing eitheroralone does not help to predict XOR.
We consider solving it with the vanilla RNNs and LSTMs optimized using SGD, AdaBelief, Adan, AdaHessian, Apollo, Hessian Free, Shampoo, KFAC, and PSGD at different sequence lengths. Apollo was not able to solve the XOR problem in any scenario.
The success rates for each optimizer are shown in Table2.
Clearly, PSGD LRA is the only method that can solve the XOR problem passing sequence length 32 with an RNN. Furthermore, LSTMs show no benefit to RNNs without using curvature information. Also, RNN optimized with PSGD outperforms LSTM optimized by any other methods. These results hint at two points. First, the choice of optimizer could be equally important as model architecture. Second, similar to the CF10 tasks, PSGD relies less on the memorization of train samples in problem-solving. SeeK.8for rank analysis.
body
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
6Understanding Second Order Optimizers
2402.04553
7ConclusionThis work presents a comprehensive study of the proposed general-purpose Lie group preconditioners for optimization of deep learning problems. We’ve provided theoretical guarantees for the convergence of Lie group preconditioned optimization methods, & empirical results demonstrating PSGD outperforms SoTA optimizers in generalization, robustness, & stability across various tasks in Vision, NLP, & RL. Our analysis of forgettability & entropy shows that PSGD effectively focuses on forgettable points, leading to improved generalization. These findings provide valuable insights for further developing efficient & effective optimization techniques for deep learning models.
body
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
7Conclusion
2402.04553
8AcknowledgmentsThis work was partially supported with Cloud TPUs from Google’s Tensorflow Research Cloud (TFRC) . We would like to acknowledge Yang Gao and Lalin Theverapperuma for their discussion on PSGD as well as Yaroslav Bulatov for his continued encouragements of the work on PSGD.ReferencesAchille et al. [2017]Alessandro Achille, Matteo Rovere, and Stefano Soatto.Critical learning periods in deep neural networks.CoRR, abs/1711.08856, 2017.URLhttp://arxiv.org/abs/1711.08856.Agarwal et al. [2018]Naman Agarwal, Brian Bullins, Xinyi Chen, Elad Hazan, Karan Singh, Cyril Zhang, and Yi Zhang.Efficient full-matrix adaptive regularization.arXiv preprint arXiv:1806.02958, 2018.Ba et al. [2016]Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton.Layer normalization, 2016.URLhttps://arxiv.org/abs/1607.06450.Boyd and Vandenberghe [2004]S. Boyd and L. Vandenberghe.Convex Optimization.Cambridge University Press, 2004.Brockman et al. [2016]Greg Brockman, Vicki Cheung, Ludwig Pettersson, Jonas Schneider, John Schulman, Jie Tang, and Wojciech Zaremba.Openai gym.arXiv preprint arXiv:1606.01540, 2016.Cao and Gu [2019]Yuan Cao and Quanquan Gu.Generalization error bounds of gradient descent for learning over-parameterized deep relu networks, 2019.URLhttps://arxiv.org/abs/1902.01384.Chaudhari et al. [2019]Pratik Chaudhari, Anna Choromanska, Stefano Soatto, Yann LeCun, Carlo Baldassi, Christian Borgs, Jennifer Chayes, Levent Sagun, and Riccardo Zecchina.Entropy-sgd: Biasing gradient descent into wide valleys.Journal of Statistical Mechanics: Theory and Experiment, 2019(12) :124018, 2019.Dauphin et al. [2015]Y. N. Dauphin, H. Vries, and Y. Bengio.Equilibrated adaptive learning rates for non-convex optimization.InNIPS, pages 1504–1512. MIT Press, 2015.Deng et al. [2009]Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei.Imagenet: A large-scale hierarchical image database.In2009 IEEE Conference on Computer Vision and Pattern Recognition, pages 248–255, 2009.doi:10.1109/CVPR.2009.5206848.Dosovitskiy et al. [2020]Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby.An image is worth 16x16 words: Transformers for image recognition at scale.CoRR, abs/2010.11929, 2020.URLhttps://arxiv.org/abs/2010.11929.Gokaslan and Cohen [2019]Aaron Gokaslan and Vanya Cohen.Openwebtext corpus, 2019.Goldfarb et al. [2020]Donald Goldfarb, Yi Ren, and Achraf Bahamou.Practical quasi-newton methods for training deep neural networks.CoRR, abs/2006.08877, 2020.URLhttps://arxiv.org/abs/2006.08877.Gupta et al. [2018]Vineet Gupta, Tomer Koren, and Yoram Singer.Shampoo: Preconditioned stochastic tensor optimization.InInternational Conference on Machine Learning, pages 1842–1850. PMLR, 2018.Hochreiter and Schmidhuber [1997]S. Hochreiter and J. Schmidhuber.Long short-term memory.Neural Computation, 9(8) :1735–1780, 1997.Huang et al. [2018]Lei Huang, Dawei Yang, Bo Lang, and Jia Deng.Decorrelated batch normalization.CoRR, abs/1804.08450, 2018.URLhttp://arxiv.org/abs/1804.08450.Ioffe and Szegedy [2015]Sergey Ioffe and Christian Szegedy.Batch normalization: Accelerating deep network training by reducing internal covariate shift.CoRR, abs/1502.03167, 2015.URLhttp://arxiv.org/abs/1502.03167.Izmailov et al. [2018]Pavel Izmailov, Dmitrii Podoprikhin, Timur Garipov, Dmitry Vetrov, and Andrew Gordon Wilson.Averaging weights leads to wider optima and better generalization.arXiv preprint arXiv:1803.05407, 2018.Karpathy [2022]Andrej Karpathy.Nanogpt: Small gpt implementations.https://github.com/karpathy/nanoGPT, 2022.Accessed on 22 February 2023.Keskar et al. [2016]Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, and Ping Tak Peter Tang.On large-batch training for deep learning: Generalization gap and sharp minima.arXiv preprint arXiv:1609.04836, 2016.Kingma and Ba [2015]D. P. Kingma and J. L. Ba.Adam: a method for stochastic optimization.InICLR. Ithaca, NY: arXiv.org, 2015.Krizhevsky [2009]Alex Krizhevsky.Learning multiple layers of features from tiny images.pages 32–33, 2009.URLhttps://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf.Kwon et al. [2021]Jungmin Kwon, Jeongseop Kim, Hyunseo Park, and In Kwon Choi.Asam: Adaptive sharpness-aware minimization for scale-invariant learning of deep neural networks.InInternational Conference on Machine Learning, pages 5905–5914. PMLR, 2021.Lecun et al. [1998]Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner.Gradient-based learning applied to document recognition.Proceedings of the IEEE, 86(11) :2278–2324, 1998.doi:10.1109/5.726791.LeCun and Cortes [2010]Yann LeCun and Corinna Cortes.MNIST handwritten digit database.2010.URLhttp://yann.lecun.com/exdb/mnist/.Li [2019]X. L. Li.Preconditioner on matrix lie group for SGD.In7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.Li [2015]Xi-Lin Li.Preconditioned stochastic gradient descent, 2015.URLhttps://arxiv.org/abs/1512.04202.Loshchilov and Hutter [2016]Ilya Loshchilov and Frank Hutter.Sgdr: Stochastic gradient descent with warm restarts.arXiv preprint arXiv:1608.03983, 2016.Marcus et al. [1993]Mitchell P. Marcus, Beatrice Santorini, and Mary Ann Marcinkiewicz.Building a large annotated corpus of English: The Penn Treebank.Computational Linguistics, 19(2) :313–330, 1993.URLhttps://aclanthology.org/J93-2004.Martens and Grosse [2015]J. Martens and R. B. Grosse.Optimizing neural networks with Kronecker-factored approximate curvature.InICML, pages 2408–2417, 2015.Martens and Sutskever [2012]J. Martens and I. Sutskever.Training deep and recurrent neural networks with hessian-free optimization.In G. Montavon, G. B. Orr, and K. R. Muller, editors,Neural Networks: Tricks of the Trade. Springer, Berlin Heidelberg, 2012.Martens [2016]James Martens.Second-order Optimization for Neural Networks.PhD thesis, University of Toronto, Canada, 2016.URLhttp://hdl.handle.net/1807/71732.Novik [2020]Mykola Novik.torch-optimizer – collection of optimization algorithms for PyTorch., January 2020.Osawa et al. [2022]Kazuki Osawa, Satoki Ishikawa, Rio Yokota, Shigang Li, and Torsten Hoefler.Asdl: A unified interface for gradient preconditioning in pytorch.InOrder Up! The Benefits of Higher-Order Optimization in Machine Learning, NeurIPS 2022 Workshop, 2022.URLhttps://order-up-ml.github.io/papers/19.pdf.Paszke et al. [2017]Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer.Automatic differentiation in pytorch.InNIPS-W, 2017.Pearlmutter [1994]Barak A Pearlmutter.Fast exact multiplication by the hessian.Neural computation, 6(1) :147–160, 1994.Pooladzandi et al. [2022]Omead Pooladzandi, David Davini, and Baharan Mirzasoleiman.Adaptive second order coresets for data-efficient machine learning.In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, editors,Proceedings of the 39th International Conference on Machine Learning, volume 162 ofProceedings of Machine Learning Research, pages 17848–17869. PMLR, 17–23 Jul 2022.URLhttps://proceedings.mlr.press/v162/pooladzandi22a.html.Pooladzandi et al. [2023]Omead Pooladzandi, Pasha Khosravi, Erik Nijkamp, and Baharan Mirzasoleiman.Generating high fidelity synthetic data via coreset selection and entropic regularization, 2023.URLhttps://arxiv.org/abs/2302.00138.Radford et al. [2019]Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever.Language models are unsupervised multitask learners.2019.Sagun et al. [2016]Levent Sagun, Léon Bottou, and Yann LeCun.Singularity of the hessian in deep learning.CoRR, abs/1611.07476, 2016.URLhttp://arxiv.org/abs/1611.07476.Sagun et al. [2017]Levent Sagun, Utku Evci, V. Ugur Güney, Yann N. Dauphin, and Léon Bottou.Empirical analysis of the hessian of over-parametrized neural networks.CoRR, abs/1706.04454, 2017.URLhttp://arxiv.org/abs/1706.04454.Schulman et al. [2017]John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov.Proximal policy optimization algorithms, 2017.URLhttps://arxiv.org/abs/1707.06347.Toneva et al. [2018]Mariya Toneva, Alessandro Sordoni, Remi Tachet des Combes, Adam Trischler, Yoshua Bengio, and Geoffrey J Gordon.An empirical study of example forgetting during deep neural network learning.arXiv preprint arXiv:1812.05159, 2018.Veit et al. [2016]Andreas Veit, Michael Wilber, and Serge Belongie.Residual networks behave like ensembles of relatively shallow networks, 2016.URLhttps://arxiv.org/abs/1605.06431.Wilson et al. [2017]Ashia C. Wilson, Rebecca Roelofs, Mitchell Stern, Nathan Srebro, and Benjamin Recht.The marginal value of adaptive gradient methods in machine learning, 2017.URLhttps://arxiv.org/abs/1705.08292.Wu and He [2018]Yuxin Wu and Kaiming He.Group normalization.CoRR, abs/1803.08494, 2018.URLhttp://arxiv.org/abs/1803.08494.Yao et al. [2021]Zhewei Yao, Amir Gholami, Sheng Shen, Mustafa Mustafa, Kurt Keutzer, and Michael W. Mahoney.Adahessian: an adaptive second order optimizer for machine learning.InAAAI, 2021.Yuan and Wu [2021]Chia-Hung Yuan and Shan-Hung Wu.Neural tangent generalization attacks.In Marina Meila and Tong Zhang, editors,Proceedings of the 38th International Conference on Machine Learning, volume 139 ofProceedings of Machine Learning Research, pages 12230–12240. PMLR, 18–24 Jul 2021.URLhttps://proceedings.mlr.press/v139/yuan21b.html.Zhang et al. [2022]Guodong Zhang, Aleksandar Botev, and James Martens.Deep learning without shortcuts: Shaping the kernel with tailored rectifiers.arXiv preprint arXiv:2203.08120, 2022.Zhou et al. [2020a]Pan Zhou, Jiashi Feng, Chao Ma, Caiming Xiong, Steven Hoi, and Weinan E.Towards theoretically understanding why sgd generalizes better than adam in deep learning, 2020a.URLhttps://arxiv.org/abs/2010.05627.Zhou et al. [2020b]Pan Zhou, Jiashi Feng, Chao Ma, Caiming Xiong, Steven Chu Hong Hoi, et al.Towards theoretically understanding why sgd generalizes better than adam in deep learning.Advances in Neural Information Processing Systems, 33:21285–21296, 2020b.Zhuang et al. [2020]Juntang Zhuang, Tommy Tang, Yifan Ding, Sekhar Tatikonda, Nicha Dvornek, Xenophon Papademetris, and James S. Duncan.Adabelief optimizer: adapting stepsizes by the belief in observed gradients.InNeurIPS 2020, 2020.
conclusion
Curvature-Informed SGD via General Purpose Lie-Group Preconditioners
8Acknowledgments