<!DOCTYPE html><html prefix="dcterms: http://purl.org/dc/terms/" lang="en">
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<title>[2310.17813] A Spectral Condition for Feature Learning</title><meta property="og:description" content="The push to train ever larger neural networks has motivated the study of initialization and training at large network width.
A key challenge is to scale training so that a network’s internal representations evolve nont…">
<meta name="viewport" content="width=device-width, initial-scale=1">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="A Spectral Condition for Feature Learning">
<meta name="twitter:image:src" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta name="twitter:image:alt" content="ar5iv logo">
<meta property="og:title" content="A Spectral Condition for Feature Learning">
<meta property="og:site_name" content="ar5iv">
<meta property="og:image" content="https://ar5iv.labs.arxiv.org/assets/ar5iv_card.png">
<meta property="og:type" content="article">
<meta property="og:url" content="https://ar5iv.labs.arxiv.org/html/2310.17813">

<!--Generated on Tue Feb 27 22:28:28 2024 by LaTeXML (version 0.8.8) http://dlmf.nist.gov/LaTeXML/.-->
<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">

<script>
  function detectColorScheme(){
    var theme="light";
    var current_theme = localStorage.getItem("ar5iv_theme");
    if(current_theme){
      if(current_theme == "dark"){
        theme = "dark";
      } }
    else if(!window.matchMedia) { return false; }
    else if(window.matchMedia("(prefers-color-scheme: dark)").matches) {
      theme = "dark"; }
    if (theme=="dark") {
      document.documentElement.setAttribute("data-theme", "dark");
    } else {
      document.documentElement.setAttribute("data-theme", "light"); } }

  detectColorScheme();

  function toggleColorScheme(){
    var current_theme = localStorage.getItem("ar5iv_theme");
    if (current_theme) {
      if (current_theme == "light") {
        localStorage.setItem("ar5iv_theme", "dark"); }
      else {
        localStorage.setItem("ar5iv_theme", "light"); } }
    else {
        localStorage.setItem("ar5iv_theme", "dark"); }
    detectColorScheme(); }
</script>
<link media="all" rel="stylesheet" href="/assets/ar5iv-fonts.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv.0.7.9.min.css"><link media="all" rel="stylesheet" href="/assets/ar5iv-site.0.2.2.css">
</head>
<body>
<div class="ltx_page_main">
<div class="ltx_page_content">
<article class="ltx_document ltx_authors_1line">
<h1 class="ltx_title ltx_title_document">A Spectral Condition for Feature Learning</h1>
<div class="ltx_authors">
<span class="ltx_creator ltx_role_author">
<span class="ltx_personname">Greg Yang 
<br class="ltx_break">xAI
<br class="ltx_break">&amp;James B. Simon<sup id="id4.3.id1" class="ltx_sup">∗</sup>
<br class="ltx_break">UC Berkeley <span id="id5.4.id2" class="ltx_text ltx_font_italic">&amp;</span> Imbue
&amp;Jeremy Bernstein<sup id="id6.5.id3" class="ltx_sup">∗</sup> 
<br class="ltx_break">MIT
</span><span class="ltx_author_notes">Equal contribution.</span></span>
</div>

<div class="ltx_abstract">
<h6 class="ltx_title ltx_title_abstract">Abstract</h6>
<p id="id3.1" class="ltx_p">The push to train ever larger neural networks has motivated the study of initialization and training at large network width.
A key challenge is to scale training so that a network’s internal representations evolve nontrivially at all widths, a process known as <em id="id3.1.1" class="ltx_emph ltx_font_italic">feature learning</em>.
Here, we show that feature learning is achieved by scaling the <span id="id3.1.2" class="ltx_text ltx_font_italic">spectral norm</span> of weight matrices and their updates like <math id="id3.1.m1.1" class="ltx_Math" alttext="\smash{\sqrt{\texttt{fan-out}/\texttt{fan-in}}}" display="inline"><semantics id="id3.1.m1.1a"><msqrt id="id3.1.m1.1.1" xref="id3.1.m1.1.1.cmml"><mrow id="id3.1.m1.1.1.2" xref="id3.1.m1.1.1.2.cmml"><mtext class="ltx_mathvariant_monospace" id="id3.1.m1.1.1.2.2" xref="id3.1.m1.1.1.2.2a.cmml">fan-out</mtext><mo id="id3.1.m1.1.1.2.1" xref="id3.1.m1.1.1.2.1.cmml">/</mo><mtext class="ltx_mathvariant_monospace" id="id3.1.m1.1.1.2.3" xref="id3.1.m1.1.1.2.3a.cmml">fan-in</mtext></mrow></msqrt><annotation-xml encoding="MathML-Content" id="id3.1.m1.1b"><apply id="id3.1.m1.1.1.cmml" xref="id3.1.m1.1.1"><root id="id3.1.m1.1.1a.cmml" xref="id3.1.m1.1.1"></root><apply id="id3.1.m1.1.1.2.cmml" xref="id3.1.m1.1.1.2"><divide id="id3.1.m1.1.1.2.1.cmml" xref="id3.1.m1.1.1.2.1"></divide><ci id="id3.1.m1.1.1.2.2a.cmml" xref="id3.1.m1.1.1.2.2"><mtext class="ltx_mathvariant_monospace" id="id3.1.m1.1.1.2.2.cmml" xref="id3.1.m1.1.1.2.2">fan-out</mtext></ci><ci id="id3.1.m1.1.1.2.3a.cmml" xref="id3.1.m1.1.1.2.3"><mtext class="ltx_mathvariant_monospace" id="id3.1.m1.1.1.2.3.cmml" xref="id3.1.m1.1.1.2.3">fan-in</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="id3.1.m1.1c">\smash{\sqrt{\texttt{fan-out}/\texttt{fan-in}}}</annotation></semantics></math>, in contrast to widely used but heuristic scalings based on Frobenius norm and entry size.
Our spectral scaling analysis also leads to an elementary derivation of <em id="id3.1.3" class="ltx_emph ltx_font_italic">maximal update parametrization</em>.
All in all, we aim to provide the reader with a solid conceptual understanding of feature learning in neural networks.
</p>
</div>
<section id="S1" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">1 </span>Introduction</h2>

<div id="S1.p1" class="ltx_para ltx_noindent">
<p id="S1.p1.1" class="ltx_p">Recent years have seen an unprecedented push to train deep learning systems with more and more parameters, leading to powerful models across domains and the unlocking of qualitatively new capabilities <cite class="ltx_cite ltx_citemacro_citep">(Silver et al., <a href="#bib.bib39" title="" class="ltx_ref">2016</a>, Brown et al., <a href="#bib.bib10" title="" class="ltx_ref">2020</a>, Ramesh et al., <a href="#bib.bib35" title="" class="ltx_ref">2022</a>)</cite>.
This continuing trend, combined with the technical challenges of training large models, has motivated much recent study of the dynamics of neural networks at <span id="S1.p1.1.1" class="ltx_text ltx_font_italic">large width</span>, and more generally the study of how their dynamics scale as network width grows.
This program has yielded a cornucopia of theoretical insights <cite class="ltx_cite ltx_citemacro_citep">(Lee et al., <a href="#bib.bib26" title="" class="ltx_ref">2018</a>, Jacot et al., <a href="#bib.bib22" title="" class="ltx_ref">2018</a>, Arora et al., <a href="#bib.bib2" title="" class="ltx_ref">2019</a>, Canatar et al., <a href="#bib.bib11" title="" class="ltx_ref">2021</a>)</cite> and practical scaling recommendations <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Hu, <a href="#bib.bib46" title="" class="ltx_ref">2021b</a>, Yang et al., <a href="#bib.bib48" title="" class="ltx_ref">2021</a>, Dey et al., <a href="#bib.bib14" title="" class="ltx_ref">2023</a>)</cite>.</p>
</div>
<div id="S1.p2" class="ltx_para ltx_noindent">
<p id="S1.p2.1" class="ltx_p">A key challenge when training a network of large width is to ensure that <span id="S1.p2.1.1" class="ltx_text ltx_font_italic">feature learning</span> occurs at hidden layers.
By this, we mean that the hyperparameters of the network are scaled in a manner such that the hidden representations of the network (as obtained by partial evaluation of the network up to a certain layer) change substantially over the course of training. Naïve hyperparameter scaling rules, including the well-studied “neural tangent parametrization” (NTP), in fact <span id="S1.p2.1.2" class="ltx_text ltx_font_italic">lose</span> feature learning at large width <cite class="ltx_cite ltx_citemacro_citep">(Lee et al., <a href="#bib.bib27" title="" class="ltx_ref">2019</a>, Sohl-Dickstein et al., <a href="#bib.bib41" title="" class="ltx_ref">2020</a>)</cite>. But ample evidence supports the conclusion that proper feature learning is necessary for achieving optimal performance on many tasks <cite class="ltx_cite ltx_citemacro_citep">(Lee et al., <a href="#bib.bib28" title="" class="ltx_ref">2020</a>, Fort et al., <a href="#bib.bib17" title="" class="ltx_ref">2020</a>, Atanasov et al., <a href="#bib.bib3" title="" class="ltx_ref">2022</a>, Vyas et al., <a href="#bib.bib43" title="" class="ltx_ref">2022</a>)</cite>. Furthermore, scaling training correctly can lead to new functionality such as <span id="S1.p2.1.3" class="ltx_text ltx_font_italic">hyperparameter transfer</span>. For instance, the recently proposed <span id="S1.p2.1.4" class="ltx_text ltx_font_italic">maximal update parametrization</span> <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Hu, <a href="#bib.bib46" title="" class="ltx_ref">2021b</a>, Yang et al., <a href="#bib.bib48" title="" class="ltx_ref">2021</a>)</cite> allows for transferring hyperparameters from narrow models to wide models, avoiding the cost of tuning the wide model directly.</p>
</div>
<div id="S1.p3" class="ltx_para ltx_noindent">
<p id="S1.p3.6" class="ltx_p">Maximal update parametrization (<math id="S1.p3.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S1.p3.1.m1.1a"><mi id="S1.p3.1.m1.1.1" xref="S1.p3.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S1.p3.1.m1.1b"><ci id="S1.p3.1.m1.1.1.cmml" xref="S1.p3.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.1.m1.1c">\mu</annotation></semantics></math>P) is derived by fairly involved “tensor programs” arguments that track feature distributions analytically in the infinite width limit. Anecdotally, the principles underlying <math id="S1.p3.2.m2.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S1.p3.2.m2.1a"><mi id="S1.p3.2.m2.1.1" xref="S1.p3.2.m2.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S1.p3.2.m2.1b"><ci id="S1.p3.2.m2.1.1.cmml" xref="S1.p3.2.m2.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.2.m2.1c">\mu</annotation></semantics></math>P are not well understood by the community. In this paper, we provide a new perspective on <math id="S1.p3.3.m3.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S1.p3.3.m3.1a"><mi id="S1.p3.3.m3.1.1" xref="S1.p3.3.m3.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S1.p3.3.m3.1b"><ci id="S1.p3.3.m3.1.1.cmml" xref="S1.p3.3.m3.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.3.m3.1c">\mu</annotation></semantics></math>P, showing that its scaling relations can be obtained by elementary linear algebra arguments. In short, we show that <math id="S1.p3.4.m4.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S1.p3.4.m4.1a"><mi id="S1.p3.4.m4.1.1" xref="S1.p3.4.m4.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S1.p3.4.m4.1b"><ci id="S1.p3.4.m4.1.1.cmml" xref="S1.p3.4.m4.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.4.m4.1c">\mu</annotation></semantics></math>P is equivalent to scaling the <span id="S1.p3.6.1" class="ltx_text ltx_font_italic">spectral norm</span> of any weight matrix or update like <math id="S1.p3.5.m5.1" class="ltx_Math" alttext="\smash{\sqrt{\texttt{fan-out}/\texttt{fan-in}}}" display="inline"><semantics id="S1.p3.5.m5.1a"><msqrt id="S1.p3.5.m5.1.1" xref="S1.p3.5.m5.1.1.cmml"><mrow id="S1.p3.5.m5.1.1.2" xref="S1.p3.5.m5.1.1.2.cmml"><mtext class="ltx_mathvariant_monospace" id="S1.p3.5.m5.1.1.2.2" xref="S1.p3.5.m5.1.1.2.2a.cmml">fan-out</mtext><mo id="S1.p3.5.m5.1.1.2.1" xref="S1.p3.5.m5.1.1.2.1.cmml">/</mo><mtext class="ltx_mathvariant_monospace" id="S1.p3.5.m5.1.1.2.3" xref="S1.p3.5.m5.1.1.2.3a.cmml">fan-in</mtext></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S1.p3.5.m5.1b"><apply id="S1.p3.5.m5.1.1.cmml" xref="S1.p3.5.m5.1.1"><root id="S1.p3.5.m5.1.1a.cmml" xref="S1.p3.5.m5.1.1"></root><apply id="S1.p3.5.m5.1.1.2.cmml" xref="S1.p3.5.m5.1.1.2"><divide id="S1.p3.5.m5.1.1.2.1.cmml" xref="S1.p3.5.m5.1.1.2.1"></divide><ci id="S1.p3.5.m5.1.1.2.2a.cmml" xref="S1.p3.5.m5.1.1.2.2"><mtext class="ltx_mathvariant_monospace" id="S1.p3.5.m5.1.1.2.2.cmml" xref="S1.p3.5.m5.1.1.2.2">fan-out</mtext></ci><ci id="S1.p3.5.m5.1.1.2.3a.cmml" xref="S1.p3.5.m5.1.1.2.3"><mtext class="ltx_mathvariant_monospace" id="S1.p3.5.m5.1.1.2.3.cmml" xref="S1.p3.5.m5.1.1.2.3">fan-in</mtext></ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.5.m5.1c">\smash{\sqrt{\texttt{fan-out}/\texttt{fan-in}}}</annotation></semantics></math>. This simple condition has various favorable numerical properties that contrast sharply with heuristic optimization strategies based on controlling the Frobenius norm <cite class="ltx_cite ltx_citemacro_citep">(You et al., <a href="#bib.bib49" title="" class="ltx_ref">2017</a>)</cite> or entry size <cite class="ltx_cite ltx_citemacro_citep">(Kingma &amp; Ba, <a href="#bib.bib23" title="" class="ltx_ref">2015</a>)</cite> of updates. In the authors’ experience, the spectral scaling condition both simplifies the implementation of <math id="S1.p3.6.m6.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S1.p3.6.m6.1a"><mi id="S1.p3.6.m6.1.1" xref="S1.p3.6.m6.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S1.p3.6.m6.1b"><ci id="S1.p3.6.m6.1.1.cmml" xref="S1.p3.6.m6.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.p3.6.m6.1c">\mu</annotation></semantics></math>P in code, and is significantly easier to work with theoretically, leading to further conceptual advances in our research <cite class="ltx_cite ltx_citemacro_citep">(Bernstein et al., <a href="#bib.bib8" title="" class="ltx_ref">2023</a>)</cite>.</p>
</div>
<div id="S1.p4" class="ltx_para ltx_noindent">
<p id="S1.p4.1" class="ltx_p">On a more fundamental level, an important step to solving many problems in classical computer science is to write down a suitable distance function for the problem at hand <cite class="ltx_cite ltx_citemacro_citep">(Dhillon &amp; Tropp, <a href="#bib.bib15" title="" class="ltx_ref">2008</a>)</cite>. This idea is of particular importance in the design of optimization algorithms, where a notion of parameter distance is needed <cite class="ltx_cite ltx_citemacro_citep">(Nemirovsky &amp; Yudin, <a href="#bib.bib32" title="" class="ltx_ref">1983</a>, Amari, <a href="#bib.bib1" title="" class="ltx_ref">1998</a>)</cite>. While it can be tempting to use the Euclidean norm on parameter vectors to measure distance, this naïve choice risks discarding the structure of the problem. For example, neural networks involve compositions of linear operators, which we refer to as their <span id="S1.p4.1.1" class="ltx_text ltx_font_italic">operator structure</span>. Past efforts to metrize the space of neural networks while accounting for their operator structure have included using the Frobenius norm to measure distance between matrices <cite class="ltx_cite ltx_citemacro_citep">(Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>)</cite>, which motivates various optimization algorithms that make Frobenius-normalized updates <cite class="ltx_cite ltx_citemacro_citep">(You et al., <a href="#bib.bib50" title="" class="ltx_ref">2020</a>; <a href="#bib.bib49" title="" class="ltx_ref">2017</a>, Shazeer &amp; Stern, <a href="#bib.bib38" title="" class="ltx_ref">2018</a>, Liu et al., <a href="#bib.bib29" title="" class="ltx_ref">2021</a>)</cite>. This paper shows that the spectral norm provides a better notion of distance between operators in the context of deep learning.</p>
</div>
<section id="S1.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">1.1 </span>Road map for the paper</h3>

<div id="S1.SS1.p1" class="ltx_para ltx_noindent">
<p id="S1.SS1.p1.1" class="ltx_p">To begin, we state the precise conditions on hidden features that we wish to ensure.
We will ask for two things: both the <span id="S1.SS1.p1.1.1" class="ltx_text ltx_font_italic">features</span> and their <span id="S1.SS1.p1.1.2" class="ltx_text ltx_font_italic">updates</span> upon a step of gradient descent must be the proper size.</p>
</div>
<div id="S1.SS1.p2" class="ltx_para ltx_noindent">
<svg id="S1.SS1.p2.pic1" class="ltx_picture" height="60.98" overflow="visible" version="1.1" width="600"><g transform="translate(0,60.98) matrix(1 0 0 -1 0 0)" fill="#000000" stroke="#000000" stroke-width="0.4pt"><g fill="#000000" fill-opacity="1.0"><path d="M 0 1.38 L 0 59.6 C 0 60.36 0.62 60.98 1.38 60.98 L 598.62 60.98 C 599.38 60.98 600 60.36 600 59.6 L 600 1.38 C 600 0.62 599.38 0 598.62 0 L 1.38 0 C 0.62 0 0 0.62 0 1.38 Z" style="stroke:none"></path></g><g fill="#FFFFFF" fill-opacity="1.0"><path d="M 1.38 1.38 L 1.38 59.6 L 598.62 59.6 L 598.62 1.38 Z" style="stroke:none"></path></g><g fill-opacity="1.0" transform="matrix(1.0 0.0 0.0 1.0 21.07 13.19)"><foreignObject width="557.86" height="34.59" transform="matrix(1 0 0 -1 0 16.6)" overflow="visible" color="#000000"><span id="S1.SS1.p2.pic1.1.1.1.1.1" class="ltx_inline-logical-block ltx_minipage ltx_align_bottom" style="width:403.2pt;">
<span id="Thmdesired1" class="ltx_theorem ltx_theorem_desired">
<h6 class="ltx_title ltx_runin ltx_title_theorem" style="color:#000000;">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmdesired1.1.1.1" class="ltx_text ltx_font_bold" style="color:#000000;">Desideratum 1</span></span><span id="Thmdesired1.2.2" class="ltx_text ltx_font_bold" style="color:#000000;"> <span id="Thmdesired1.2.2.1" class="ltx_text ltx_font_medium">(Feature learning)</span>.</span>
</h6>
<span id="Thmdesired1.p1" class="ltx_para">
<span id="Thmdesired1.p1.4" class="ltx_p">Let <math id="Thmdesired1.p1.1.m1.1" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}" display="inline"><semantics id="Thmdesired1.p1.1.m1.1a"><mrow id="Thmdesired1.p1.1.m1.1.2" xref="Thmdesired1.p1.1.m1.1.2.cmml"><mrow id="Thmdesired1.p1.1.m1.1.2.2" xref="Thmdesired1.p1.1.m1.1.2.2.cmml"><msub id="Thmdesired1.p1.1.m1.1.2.2.2" xref="Thmdesired1.p1.1.m1.1.2.2.2.cmml"><mi id="Thmdesired1.p1.1.m1.1.2.2.2.2" xref="Thmdesired1.p1.1.m1.1.2.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmdesired1.p1.1.m1.1.2.2.2.3" xref="Thmdesired1.p1.1.m1.1.2.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmdesired1.p1.1.m1.1.2.2.1" xref="Thmdesired1.p1.1.m1.1.2.2.1.cmml">​</mo><mrow id="Thmdesired1.p1.1.m1.1.2.2.3.2" xref="Thmdesired1.p1.1.m1.1.2.2.cmml"><mo stretchy="false" id="Thmdesired1.p1.1.m1.1.2.2.3.2.1" xref="Thmdesired1.p1.1.m1.1.2.2.cmml">(</mo><mi id="Thmdesired1.p1.1.m1.1.1" xref="Thmdesired1.p1.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="Thmdesired1.p1.1.m1.1.2.2.3.2.2" xref="Thmdesired1.p1.1.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="Thmdesired1.p1.1.m1.1.2.1" xref="Thmdesired1.p1.1.m1.1.2.1.cmml">∈</mo><msup id="Thmdesired1.p1.1.m1.1.2.3" xref="Thmdesired1.p1.1.m1.1.2.3.cmml"><mi id="Thmdesired1.p1.1.m1.1.2.3.2" xref="Thmdesired1.p1.1.m1.1.2.3.2.cmml">ℝ</mi><mrow id="Thmdesired1.p1.1.m1.1.2.3.3" xref="Thmdesired1.p1.1.m1.1.2.3.3.cmml"><mn id="Thmdesired1.p1.1.m1.1.2.3.3.2" xref="Thmdesired1.p1.1.m1.1.2.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmdesired1.p1.1.m1.1.2.3.3.1" xref="Thmdesired1.p1.1.m1.1.2.3.3.1.cmml">​</mo><mi id="Thmdesired1.p1.1.m1.1.2.3.3.3" xref="Thmdesired1.p1.1.m1.1.2.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmdesired1.p1.1.m1.1.2.3.3.1a" xref="Thmdesired1.p1.1.m1.1.2.3.3.1.cmml">​</mo><msub id="Thmdesired1.p1.1.m1.1.2.3.3.4" xref="Thmdesired1.p1.1.m1.1.2.3.3.4.cmml"><mi id="Thmdesired1.p1.1.m1.1.2.3.3.4.2" xref="Thmdesired1.p1.1.m1.1.2.3.3.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmdesired1.p1.1.m1.1.2.3.3.4.3" xref="Thmdesired1.p1.1.m1.1.2.3.3.4.3.cmml">ℓ</mi></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmdesired1.p1.1.m1.1b"><apply id="Thmdesired1.p1.1.m1.1.2.cmml" xref="Thmdesired1.p1.1.m1.1.2"><in id="Thmdesired1.p1.1.m1.1.2.1.cmml" xref="Thmdesired1.p1.1.m1.1.2.1"></in><apply id="Thmdesired1.p1.1.m1.1.2.2.cmml" xref="Thmdesired1.p1.1.m1.1.2.2"><times id="Thmdesired1.p1.1.m1.1.2.2.1.cmml" xref="Thmdesired1.p1.1.m1.1.2.2.1"></times><apply id="Thmdesired1.p1.1.m1.1.2.2.2.cmml" xref="Thmdesired1.p1.1.m1.1.2.2.2"><csymbol cd="ambiguous" id="Thmdesired1.p1.1.m1.1.2.2.2.1.cmml" xref="Thmdesired1.p1.1.m1.1.2.2.2">subscript</csymbol><ci id="Thmdesired1.p1.1.m1.1.2.2.2.2.cmml" xref="Thmdesired1.p1.1.m1.1.2.2.2.2">𝒉</ci><ci id="Thmdesired1.p1.1.m1.1.2.2.2.3.cmml" xref="Thmdesired1.p1.1.m1.1.2.2.2.3">ℓ</ci></apply><ci id="Thmdesired1.p1.1.m1.1.1.cmml" xref="Thmdesired1.p1.1.m1.1.1">𝒙</ci></apply><apply id="Thmdesired1.p1.1.m1.1.2.3.cmml" xref="Thmdesired1.p1.1.m1.1.2.3"><csymbol cd="ambiguous" id="Thmdesired1.p1.1.m1.1.2.3.1.cmml" xref="Thmdesired1.p1.1.m1.1.2.3">superscript</csymbol><ci id="Thmdesired1.p1.1.m1.1.2.3.2.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.2">ℝ</ci><apply id="Thmdesired1.p1.1.m1.1.2.3.3.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3"><times id="Thmdesired1.p1.1.m1.1.2.3.3.1.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3.1"></times><cn type="integer" id="Thmdesired1.p1.1.m1.1.2.3.3.2.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3.2">0</cn><ci id="Thmdesired1.p1.1.m1.1.2.3.3.3.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3.3">𝑝</ci><apply id="Thmdesired1.p1.1.m1.1.2.3.3.4.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3.4"><csymbol cd="ambiguous" id="Thmdesired1.p1.1.m1.1.2.3.3.4.1.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3.4">subscript</csymbol><ci id="Thmdesired1.p1.1.m1.1.2.3.3.4.2.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3.4.2">𝑡</ci><ci id="Thmdesired1.p1.1.m1.1.2.3.3.4.3.cmml" xref="Thmdesired1.p1.1.m1.1.2.3.3.4.3">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired1.p1.1.m1.1c">{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}</annotation></semantics></math> denote the features of input <math id="Thmdesired1.p1.2.m2.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="Thmdesired1.p1.2.m2.1a"><mi id="Thmdesired1.p1.2.m2.1.1" xref="Thmdesired1.p1.2.m2.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="Thmdesired1.p1.2.m2.1b"><ci id="Thmdesired1.p1.2.m2.1.1.cmml" xref="Thmdesired1.p1.2.m2.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired1.p1.2.m2.1c">{\bm{x}}</annotation></semantics></math> at layer <math id="Thmdesired1.p1.3.m3.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="Thmdesired1.p1.3.m3.1a"><mi mathvariant="normal" id="Thmdesired1.p1.3.m3.1.1" xref="Thmdesired1.p1.3.m3.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="Thmdesired1.p1.3.m3.1b"><ci id="Thmdesired1.p1.3.m3.1.1.cmml" xref="Thmdesired1.p1.3.m3.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired1.p1.3.m3.1c">\ell</annotation></semantics></math> of a neural network, and let <math id="Thmdesired1.p1.4.m4.1" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}" display="inline"><semantics id="Thmdesired1.p1.4.m4.1a"><mrow id="Thmdesired1.p1.4.m4.1.2" xref="Thmdesired1.p1.4.m4.1.2.cmml"><mrow id="Thmdesired1.p1.4.m4.1.2.2" xref="Thmdesired1.p1.4.m4.1.2.2.cmml"><mi mathvariant="normal" id="Thmdesired1.p1.4.m4.1.2.2.2" xref="Thmdesired1.p1.4.m4.1.2.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="Thmdesired1.p1.4.m4.1.2.2.1" xref="Thmdesired1.p1.4.m4.1.2.2.1.cmml">​</mo><msub id="Thmdesired1.p1.4.m4.1.2.2.3" xref="Thmdesired1.p1.4.m4.1.2.2.3.cmml"><mi id="Thmdesired1.p1.4.m4.1.2.2.3.2" xref="Thmdesired1.p1.4.m4.1.2.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmdesired1.p1.4.m4.1.2.2.3.3" xref="Thmdesired1.p1.4.m4.1.2.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmdesired1.p1.4.m4.1.2.2.1a" xref="Thmdesired1.p1.4.m4.1.2.2.1.cmml">​</mo><mrow id="Thmdesired1.p1.4.m4.1.2.2.4.2" xref="Thmdesired1.p1.4.m4.1.2.2.cmml"><mo stretchy="false" id="Thmdesired1.p1.4.m4.1.2.2.4.2.1" xref="Thmdesired1.p1.4.m4.1.2.2.cmml">(</mo><mi id="Thmdesired1.p1.4.m4.1.1" xref="Thmdesired1.p1.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="Thmdesired1.p1.4.m4.1.2.2.4.2.2" xref="Thmdesired1.p1.4.m4.1.2.2.cmml">)</mo></mrow></mrow><mo id="Thmdesired1.p1.4.m4.1.2.1" xref="Thmdesired1.p1.4.m4.1.2.1.cmml">∈</mo><msup id="Thmdesired1.p1.4.m4.1.2.3" xref="Thmdesired1.p1.4.m4.1.2.3.cmml"><mi id="Thmdesired1.p1.4.m4.1.2.3.2" xref="Thmdesired1.p1.4.m4.1.2.3.2.cmml">ℝ</mi><mrow id="Thmdesired1.p1.4.m4.1.2.3.3" xref="Thmdesired1.p1.4.m4.1.2.3.3.cmml"><mn id="Thmdesired1.p1.4.m4.1.2.3.3.2" xref="Thmdesired1.p1.4.m4.1.2.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmdesired1.p1.4.m4.1.2.3.3.1" xref="Thmdesired1.p1.4.m4.1.2.3.3.1.cmml">​</mo><mi id="Thmdesired1.p1.4.m4.1.2.3.3.3" xref="Thmdesired1.p1.4.m4.1.2.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmdesired1.p1.4.m4.1.2.3.3.1a" xref="Thmdesired1.p1.4.m4.1.2.3.3.1.cmml">​</mo><msub id="Thmdesired1.p1.4.m4.1.2.3.3.4" xref="Thmdesired1.p1.4.m4.1.2.3.3.4.cmml"><mi id="Thmdesired1.p1.4.m4.1.2.3.3.4.2" xref="Thmdesired1.p1.4.m4.1.2.3.3.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmdesired1.p1.4.m4.1.2.3.3.4.3" xref="Thmdesired1.p1.4.m4.1.2.3.3.4.3.cmml">ℓ</mi></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmdesired1.p1.4.m4.1b"><apply id="Thmdesired1.p1.4.m4.1.2.cmml" xref="Thmdesired1.p1.4.m4.1.2"><in id="Thmdesired1.p1.4.m4.1.2.1.cmml" xref="Thmdesired1.p1.4.m4.1.2.1"></in><apply id="Thmdesired1.p1.4.m4.1.2.2.cmml" xref="Thmdesired1.p1.4.m4.1.2.2"><times id="Thmdesired1.p1.4.m4.1.2.2.1.cmml" xref="Thmdesired1.p1.4.m4.1.2.2.1"></times><ci id="Thmdesired1.p1.4.m4.1.2.2.2.cmml" xref="Thmdesired1.p1.4.m4.1.2.2.2">Δ</ci><apply id="Thmdesired1.p1.4.m4.1.2.2.3.cmml" xref="Thmdesired1.p1.4.m4.1.2.2.3"><csymbol cd="ambiguous" id="Thmdesired1.p1.4.m4.1.2.2.3.1.cmml" xref="Thmdesired1.p1.4.m4.1.2.2.3">subscript</csymbol><ci id="Thmdesired1.p1.4.m4.1.2.2.3.2.cmml" xref="Thmdesired1.p1.4.m4.1.2.2.3.2">𝒉</ci><ci id="Thmdesired1.p1.4.m4.1.2.2.3.3.cmml" xref="Thmdesired1.p1.4.m4.1.2.2.3.3">ℓ</ci></apply><ci id="Thmdesired1.p1.4.m4.1.1.cmml" xref="Thmdesired1.p1.4.m4.1.1">𝒙</ci></apply><apply id="Thmdesired1.p1.4.m4.1.2.3.cmml" xref="Thmdesired1.p1.4.m4.1.2.3"><csymbol cd="ambiguous" id="Thmdesired1.p1.4.m4.1.2.3.1.cmml" xref="Thmdesired1.p1.4.m4.1.2.3">superscript</csymbol><ci id="Thmdesired1.p1.4.m4.1.2.3.2.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.2">ℝ</ci><apply id="Thmdesired1.p1.4.m4.1.2.3.3.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3"><times id="Thmdesired1.p1.4.m4.1.2.3.3.1.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3.1"></times><cn type="integer" id="Thmdesired1.p1.4.m4.1.2.3.3.2.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3.2">0</cn><ci id="Thmdesired1.p1.4.m4.1.2.3.3.3.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3.3">𝑝</ci><apply id="Thmdesired1.p1.4.m4.1.2.3.3.4.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3.4"><csymbol cd="ambiguous" id="Thmdesired1.p1.4.m4.1.2.3.3.4.1.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3.4">subscript</csymbol><ci id="Thmdesired1.p1.4.m4.1.2.3.3.4.2.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3.4.2">𝑡</ci><ci id="Thmdesired1.p1.4.m4.1.2.3.3.4.3.cmml" xref="Thmdesired1.p1.4.m4.1.2.3.3.4.3">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired1.p1.4.m4.1c">\Delta{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}</annotation></semantics></math> denote their change after a gradient step. We desire that:</span>
<span id="A5.EGx1" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<span id="S1.Ex1"><span class="ltx_equation ltx_eqn_row ltx_align_baseline">
<span class="ltx_eqn_cell ltx_eqn_center_padleft"></span>
<span class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S1.Ex1.m1.6" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{h}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})\quad\text{and}\quad\left|\!\left|\Delta{\bm{h}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}}),\quad\text{ at layers }\ell=1,...,L\!-\!1." display="inline"><semantics id="S1.Ex1.m1.6a"><mrow id="S1.Ex1.m1.6.6.1"><mrow id="S1.Ex1.m1.6.6.1.1.2" xref="S1.Ex1.m1.6.6.1.1.3.cmml"><mrow id="S1.Ex1.m1.6.6.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.1.1.cmml"><msub id="S1.Ex1.m1.6.6.1.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.1.1.1.cmml"><mrow id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.2" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.cmml"><mi id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.2" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo mathcolor="#000000" stretchy="false" id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S1.Ex1.m1.6.6.1.1.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.1.1.1.3.cmml">2</mn></msub><mo id="S1.Ex1.m1.6.6.1.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.1.1.3.cmml">=</mo><mrow id="S1.Ex1.m1.6.6.1.1.1.1.2.1" xref="S1.Ex1.m1.6.6.1.1.1.1.2.2.cmml"><mrow id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.cmml"><mi mathvariant="normal" id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.2" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.1" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.1.cmml">​</mo><mrow id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.3.2" xref="S1.Ex1.m1.1.1.cmml"><mo stretchy="false" id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.3.2.1" xref="S1.Ex1.m1.1.1.cmml">(</mo><msqrt id="S1.Ex1.m1.1.1" xref="S1.Ex1.m1.1.1.cmml"><mrow id="S1.Ex1.m1.1.1.2" xref="S1.Ex1.m1.1.1.2.cmml"><mn id="S1.Ex1.m1.1.1.2.2" xref="S1.Ex1.m1.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.1.1.2.1" xref="S1.Ex1.m1.1.1.2.1.cmml">​</mo><mi id="S1.Ex1.m1.1.1.2.3" xref="S1.Ex1.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.1.1.2.1a" xref="S1.Ex1.m1.1.1.2.1.cmml">​</mo><msub id="S1.Ex1.m1.1.1.2.4" xref="S1.Ex1.m1.1.1.2.4.cmml"><mi id="S1.Ex1.m1.1.1.2.4.2" xref="S1.Ex1.m1.1.1.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S1.Ex1.m1.1.1.2.4.3" xref="S1.Ex1.m1.1.1.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.3.2.2" xref="S1.Ex1.m1.1.1.cmml">)</mo></mrow></mrow><mspace width="1em" id="S1.Ex1.m1.6.6.1.1.1.1.2.1.2" xref="S1.Ex1.m1.6.6.1.1.1.1.2.2.cmml"></mspace><mtext id="S1.Ex1.m1.5.5" xref="S1.Ex1.m1.5.5a.cmml">and</mtext></mrow></mrow><mspace width="1em" id="S1.Ex1.m1.6.6.1.1.2.3" xref="S1.Ex1.m1.6.6.1.1.3a.cmml"></mspace><mrow id="S1.Ex1.m1.6.6.1.1.2.2.2" xref="S1.Ex1.m1.6.6.1.1.2.2.3.cmml"><mrow id="S1.Ex1.m1.6.6.1.1.2.2.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.cmml"><msub id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.cmml"><mrow id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.2" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.2" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.1.cmml">​</mo><msub id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.cmml"><mi id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo mathcolor="#000000" stretchy="false" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.3.cmml">2</mn></msub><mo id="S1.Ex1.m1.6.6.1.1.2.2.1.1.2" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.2.cmml">=</mo><mrow id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.cmml"><mi mathvariant="normal" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.2" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.1" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.1.cmml">​</mo><mrow id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.3.2" xref="S1.Ex1.m1.2.2.cmml"><mo stretchy="false" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.3.2.1" xref="S1.Ex1.m1.2.2.cmml">(</mo><msqrt id="S1.Ex1.m1.2.2" xref="S1.Ex1.m1.2.2.cmml"><mrow id="S1.Ex1.m1.2.2.2" xref="S1.Ex1.m1.2.2.2.cmml"><mn id="S1.Ex1.m1.2.2.2.2" xref="S1.Ex1.m1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.2.2.2.1" xref="S1.Ex1.m1.2.2.2.1.cmml">​</mo><mi id="S1.Ex1.m1.2.2.2.3" xref="S1.Ex1.m1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.2.2.2.1a" xref="S1.Ex1.m1.2.2.2.1.cmml">​</mo><msub id="S1.Ex1.m1.2.2.2.4" xref="S1.Ex1.m1.2.2.2.4.cmml"><mi id="S1.Ex1.m1.2.2.2.4.2" xref="S1.Ex1.m1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S1.Ex1.m1.2.2.2.4.3" xref="S1.Ex1.m1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.3.2.2" xref="S1.Ex1.m1.2.2.cmml">)</mo></mrow></mrow></mrow><mo rspace="1.167em" id="S1.Ex1.m1.6.6.1.1.2.2.2.3" xref="S1.Ex1.m1.6.6.1.1.2.2.3a.cmml">,</mo><mrow id="S1.Ex1.m1.6.6.1.1.2.2.2.2" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.cmml"><mrow id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.cmml"><mtext id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.2" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.2a.cmml"> at layers </mtext><mo lspace="0em" rspace="0em" id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.1" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.1.cmml">​</mo><mi mathvariant="normal" id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.3" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.3.cmml">ℓ</mi></mrow><mo id="S1.Ex1.m1.6.6.1.1.2.2.2.2.2" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.2.cmml">=</mo><mrow id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.2.cmml"><mn id="S1.Ex1.m1.3.3" xref="S1.Ex1.m1.3.3.cmml">1</mn><mo id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.2" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.2.cmml">,</mo><mi mathvariant="normal" id="S1.Ex1.m1.4.4" xref="S1.Ex1.m1.4.4.cmml">…</mi><mo id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.3" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.2.cmml">,</mo><mrow id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.cmml"><mi id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.2" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.2.cmml">L</mi><mo lspace="0.052em" rspace="0.052em" id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.1" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.1.cmml">−</mo><mn id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.3" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.3.cmml">1</mn></mrow></mrow></mrow></mrow></mrow><mo lspace="0em" id="S1.Ex1.m1.6.6.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S1.Ex1.m1.6b"><apply id="S1.Ex1.m1.6.6.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2"><csymbol cd="ambiguous" id="S1.Ex1.m1.6.6.1.1.3a.cmml" xref="S1.Ex1.m1.6.6.1.1.2.3">formulae-sequence</csymbol><apply id="S1.Ex1.m1.6.6.1.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1"><eq id="S1.Ex1.m1.6.6.1.1.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.3"></eq><apply id="S1.Ex1.m1.6.6.1.1.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1"><csymbol cd="ambiguous" id="S1.Ex1.m1.6.6.1.1.1.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1">subscript</csymbol><apply id="S1.Ex1.m1.6.6.1.1.1.1.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S1.Ex1.m1.6.6.1.1.1.1.1.1.2.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.2">𝒉</ci><ci id="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><cn type="integer" id="S1.Ex1.m1.6.6.1.1.1.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.1.3">2</cn></apply><list id="S1.Ex1.m1.6.6.1.1.1.1.2.2.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1"><apply id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1"><times id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.1"></times><ci id="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.2">Θ</ci><apply id="S1.Ex1.m1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.3.2"><root id="S1.Ex1.m1.1.1a.cmml" xref="S1.Ex1.m1.6.6.1.1.1.1.2.1.1.3.2"></root><apply id="S1.Ex1.m1.1.1.2.cmml" xref="S1.Ex1.m1.1.1.2"><times id="S1.Ex1.m1.1.1.2.1.cmml" xref="S1.Ex1.m1.1.1.2.1"></times><cn type="integer" id="S1.Ex1.m1.1.1.2.2.cmml" xref="S1.Ex1.m1.1.1.2.2">0</cn><ci id="S1.Ex1.m1.1.1.2.3.cmml" xref="S1.Ex1.m1.1.1.2.3">𝑝</ci><apply id="S1.Ex1.m1.1.1.2.4.cmml" xref="S1.Ex1.m1.1.1.2.4"><csymbol cd="ambiguous" id="S1.Ex1.m1.1.1.2.4.1.cmml" xref="S1.Ex1.m1.1.1.2.4">subscript</csymbol><ci id="S1.Ex1.m1.1.1.2.4.2.cmml" xref="S1.Ex1.m1.1.1.2.4.2">𝑡</ci><ci id="S1.Ex1.m1.1.1.2.4.3.cmml" xref="S1.Ex1.m1.1.1.2.4.3">ℓ</ci></apply></apply></apply></apply><ci id="S1.Ex1.m1.5.5a.cmml" xref="S1.Ex1.m1.5.5"><mtext id="S1.Ex1.m1.5.5.cmml" xref="S1.Ex1.m1.5.5">and</mtext></ci></list></apply><apply id="S1.Ex1.m1.6.6.1.1.2.2.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2"><csymbol cd="ambiguous" id="S1.Ex1.m1.6.6.1.1.2.2.3a.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.3">formulae-sequence</csymbol><apply id="S1.Ex1.m1.6.6.1.1.2.2.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1"><eq id="S1.Ex1.m1.6.6.1.1.2.2.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.2"></eq><apply id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1"><csymbol cd="ambiguous" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1">subscript</csymbol><apply id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1"><csymbol cd="latexml" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.2.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.2">norm</csymbol><apply id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1"><times id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.1"></times><ci id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.2">Δ</ci><apply id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3">subscript</csymbol><ci id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2">𝒉</ci><ci id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><cn type="integer" id="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.1.3">2</cn></apply><apply id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3"><times id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.1"></times><ci id="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.2">Θ</ci><apply id="S1.Ex1.m1.2.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.3.2"><root id="S1.Ex1.m1.2.2a.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.1.1.3.3.2"></root><apply id="S1.Ex1.m1.2.2.2.cmml" xref="S1.Ex1.m1.2.2.2"><times id="S1.Ex1.m1.2.2.2.1.cmml" xref="S1.Ex1.m1.2.2.2.1"></times><cn type="integer" id="S1.Ex1.m1.2.2.2.2.cmml" xref="S1.Ex1.m1.2.2.2.2">0</cn><ci id="S1.Ex1.m1.2.2.2.3.cmml" xref="S1.Ex1.m1.2.2.2.3">𝑝</ci><apply id="S1.Ex1.m1.2.2.2.4.cmml" xref="S1.Ex1.m1.2.2.2.4"><csymbol cd="ambiguous" id="S1.Ex1.m1.2.2.2.4.1.cmml" xref="S1.Ex1.m1.2.2.2.4">subscript</csymbol><ci id="S1.Ex1.m1.2.2.2.4.2.cmml" xref="S1.Ex1.m1.2.2.2.4.2">𝑡</ci><ci id="S1.Ex1.m1.2.2.2.4.3.cmml" xref="S1.Ex1.m1.2.2.2.4.3">ℓ</ci></apply></apply></apply></apply></apply><apply id="S1.Ex1.m1.6.6.1.1.2.2.2.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2"><eq id="S1.Ex1.m1.6.6.1.1.2.2.2.2.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.2"></eq><apply id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3"><times id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.1"></times><ci id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.2a.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.2"><mtext id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.2"> at layers </mtext></ci><ci id="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.3.3">ℓ</ci></apply><list id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1"><cn type="integer" id="S1.Ex1.m1.3.3.cmml" xref="S1.Ex1.m1.3.3">1</cn><ci id="S1.Ex1.m1.4.4.cmml" xref="S1.Ex1.m1.4.4">…</ci><apply id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1"><minus id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.1.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.1"></minus><ci id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.2.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.2">𝐿</ci><cn type="integer" id="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.3.cmml" xref="S1.Ex1.m1.6.6.1.1.2.2.2.2.1.1.1.3">1</cn></apply></list></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.Ex1.m1.6c">\displaystyle\left|\!\left|{\bm{h}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})\quad\text{and}\quad\left|\!\left|\Delta{\bm{h}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}}),\quad\text{ at layers }\ell=1,...,L\!-\!1.</annotation></semantics></math></span>
<span class="ltx_eqn_cell ltx_eqn_center_padright"></span></span></span>
</span>
</span>
</span></span></foreignObject></g></g></svg>
</div>
<div id="S1.SS1.p3" class="ltx_para ltx_noindent">
<p id="S1.SS1.p3.10" class="ltx_p">Let us unpack <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
These conditions treat the <math id="S1.SS1.p3.1.m1.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="S1.SS1.p3.1.m1.1a"><msup id="S1.SS1.p3.1.m1.1.1" xref="S1.SS1.p3.1.m1.1.1.cmml"><mi mathvariant="normal" id="S1.SS1.p3.1.m1.1.1.2" xref="S1.SS1.p3.1.m1.1.1.2.cmml">ℓ</mi><mn id="S1.SS1.p3.1.m1.1.1.3" xref="S1.SS1.p3.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.1.m1.1b"><apply id="S1.SS1.p3.1.m1.1.1.cmml" xref="S1.SS1.p3.1.m1.1.1"><csymbol cd="ambiguous" id="S1.SS1.p3.1.m1.1.1.1.cmml" xref="S1.SS1.p3.1.m1.1.1">superscript</csymbol><ci id="S1.SS1.p3.1.m1.1.1.2.cmml" xref="S1.SS1.p3.1.m1.1.1.2">ℓ</ci><cn type="integer" id="S1.SS1.p3.1.m1.1.1.3.cmml" xref="S1.SS1.p3.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.1.m1.1c">\ell^{2}</annotation></semantics></math><span id="S1.SS1.p3.10.1" class="ltx_text ltx_font_italic">-norms</span> of the feature vectors <math id="S1.SS1.p3.2.m2.1" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="S1.SS1.p3.2.m2.1a"><mrow id="S1.SS1.p3.2.m2.1.2" xref="S1.SS1.p3.2.m2.1.2.cmml"><msub id="S1.SS1.p3.2.m2.1.2.2" xref="S1.SS1.p3.2.m2.1.2.2.cmml"><mi id="S1.SS1.p3.2.m2.1.2.2.2" xref="S1.SS1.p3.2.m2.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.SS1.p3.2.m2.1.2.2.3" xref="S1.SS1.p3.2.m2.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p3.2.m2.1.2.1" xref="S1.SS1.p3.2.m2.1.2.1.cmml">​</mo><mrow id="S1.SS1.p3.2.m2.1.2.3.2" xref="S1.SS1.p3.2.m2.1.2.cmml"><mo stretchy="false" id="S1.SS1.p3.2.m2.1.2.3.2.1" xref="S1.SS1.p3.2.m2.1.2.cmml">(</mo><mi id="S1.SS1.p3.2.m2.1.1" xref="S1.SS1.p3.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p3.2.m2.1.2.3.2.2" xref="S1.SS1.p3.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.2.m2.1b"><apply id="S1.SS1.p3.2.m2.1.2.cmml" xref="S1.SS1.p3.2.m2.1.2"><times id="S1.SS1.p3.2.m2.1.2.1.cmml" xref="S1.SS1.p3.2.m2.1.2.1"></times><apply id="S1.SS1.p3.2.m2.1.2.2.cmml" xref="S1.SS1.p3.2.m2.1.2.2"><csymbol cd="ambiguous" id="S1.SS1.p3.2.m2.1.2.2.1.cmml" xref="S1.SS1.p3.2.m2.1.2.2">subscript</csymbol><ci id="S1.SS1.p3.2.m2.1.2.2.2.cmml" xref="S1.SS1.p3.2.m2.1.2.2.2">𝒉</ci><ci id="S1.SS1.p3.2.m2.1.2.2.3.cmml" xref="S1.SS1.p3.2.m2.1.2.2.3">ℓ</ci></apply><ci id="S1.SS1.p3.2.m2.1.1.cmml" xref="S1.SS1.p3.2.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.2.m2.1c">{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math> and <math id="S1.SS1.p3.3.m3.1" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="S1.SS1.p3.3.m3.1a"><mrow id="S1.SS1.p3.3.m3.1.2" xref="S1.SS1.p3.3.m3.1.2.cmml"><mi mathvariant="normal" id="S1.SS1.p3.3.m3.1.2.2" xref="S1.SS1.p3.3.m3.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p3.3.m3.1.2.1" xref="S1.SS1.p3.3.m3.1.2.1.cmml">​</mo><msub id="S1.SS1.p3.3.m3.1.2.3" xref="S1.SS1.p3.3.m3.1.2.3.cmml"><mi id="S1.SS1.p3.3.m3.1.2.3.2" xref="S1.SS1.p3.3.m3.1.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.SS1.p3.3.m3.1.2.3.3" xref="S1.SS1.p3.3.m3.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p3.3.m3.1.2.1a" xref="S1.SS1.p3.3.m3.1.2.1.cmml">​</mo><mrow id="S1.SS1.p3.3.m3.1.2.4.2" xref="S1.SS1.p3.3.m3.1.2.cmml"><mo stretchy="false" id="S1.SS1.p3.3.m3.1.2.4.2.1" xref="S1.SS1.p3.3.m3.1.2.cmml">(</mo><mi id="S1.SS1.p3.3.m3.1.1" xref="S1.SS1.p3.3.m3.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p3.3.m3.1.2.4.2.2" xref="S1.SS1.p3.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.3.m3.1b"><apply id="S1.SS1.p3.3.m3.1.2.cmml" xref="S1.SS1.p3.3.m3.1.2"><times id="S1.SS1.p3.3.m3.1.2.1.cmml" xref="S1.SS1.p3.3.m3.1.2.1"></times><ci id="S1.SS1.p3.3.m3.1.2.2.cmml" xref="S1.SS1.p3.3.m3.1.2.2">Δ</ci><apply id="S1.SS1.p3.3.m3.1.2.3.cmml" xref="S1.SS1.p3.3.m3.1.2.3"><csymbol cd="ambiguous" id="S1.SS1.p3.3.m3.1.2.3.1.cmml" xref="S1.SS1.p3.3.m3.1.2.3">subscript</csymbol><ci id="S1.SS1.p3.3.m3.1.2.3.2.cmml" xref="S1.SS1.p3.3.m3.1.2.3.2">𝒉</ci><ci id="S1.SS1.p3.3.m3.1.2.3.3.cmml" xref="S1.SS1.p3.3.m3.1.2.3.3">ℓ</ci></apply><ci id="S1.SS1.p3.3.m3.1.1.cmml" xref="S1.SS1.p3.3.m3.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.3.m3.1c">\Delta{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math>, a framing which will prove convenient.
<a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> amounts to asking that the “typical element size” of vectors <math id="S1.SS1.p3.4.m4.1" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="S1.SS1.p3.4.m4.1a"><mrow id="S1.SS1.p3.4.m4.1.2" xref="S1.SS1.p3.4.m4.1.2.cmml"><msub id="S1.SS1.p3.4.m4.1.2.2" xref="S1.SS1.p3.4.m4.1.2.2.cmml"><mi id="S1.SS1.p3.4.m4.1.2.2.2" xref="S1.SS1.p3.4.m4.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.SS1.p3.4.m4.1.2.2.3" xref="S1.SS1.p3.4.m4.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p3.4.m4.1.2.1" xref="S1.SS1.p3.4.m4.1.2.1.cmml">​</mo><mrow id="S1.SS1.p3.4.m4.1.2.3.2" xref="S1.SS1.p3.4.m4.1.2.cmml"><mo stretchy="false" id="S1.SS1.p3.4.m4.1.2.3.2.1" xref="S1.SS1.p3.4.m4.1.2.cmml">(</mo><mi id="S1.SS1.p3.4.m4.1.1" xref="S1.SS1.p3.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p3.4.m4.1.2.3.2.2" xref="S1.SS1.p3.4.m4.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.4.m4.1b"><apply id="S1.SS1.p3.4.m4.1.2.cmml" xref="S1.SS1.p3.4.m4.1.2"><times id="S1.SS1.p3.4.m4.1.2.1.cmml" xref="S1.SS1.p3.4.m4.1.2.1"></times><apply id="S1.SS1.p3.4.m4.1.2.2.cmml" xref="S1.SS1.p3.4.m4.1.2.2"><csymbol cd="ambiguous" id="S1.SS1.p3.4.m4.1.2.2.1.cmml" xref="S1.SS1.p3.4.m4.1.2.2">subscript</csymbol><ci id="S1.SS1.p3.4.m4.1.2.2.2.cmml" xref="S1.SS1.p3.4.m4.1.2.2.2">𝒉</ci><ci id="S1.SS1.p3.4.m4.1.2.2.3.cmml" xref="S1.SS1.p3.4.m4.1.2.2.3">ℓ</ci></apply><ci id="S1.SS1.p3.4.m4.1.1.cmml" xref="S1.SS1.p3.4.m4.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.4.m4.1c">{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math> and <math id="S1.SS1.p3.5.m5.1" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="S1.SS1.p3.5.m5.1a"><mrow id="S1.SS1.p3.5.m5.1.2" xref="S1.SS1.p3.5.m5.1.2.cmml"><mi mathvariant="normal" id="S1.SS1.p3.5.m5.1.2.2" xref="S1.SS1.p3.5.m5.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p3.5.m5.1.2.1" xref="S1.SS1.p3.5.m5.1.2.1.cmml">​</mo><msub id="S1.SS1.p3.5.m5.1.2.3" xref="S1.SS1.p3.5.m5.1.2.3.cmml"><mi id="S1.SS1.p3.5.m5.1.2.3.2" xref="S1.SS1.p3.5.m5.1.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.SS1.p3.5.m5.1.2.3.3" xref="S1.SS1.p3.5.m5.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p3.5.m5.1.2.1a" xref="S1.SS1.p3.5.m5.1.2.1.cmml">​</mo><mrow id="S1.SS1.p3.5.m5.1.2.4.2" xref="S1.SS1.p3.5.m5.1.2.cmml"><mo stretchy="false" id="S1.SS1.p3.5.m5.1.2.4.2.1" xref="S1.SS1.p3.5.m5.1.2.cmml">(</mo><mi id="S1.SS1.p3.5.m5.1.1" xref="S1.SS1.p3.5.m5.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p3.5.m5.1.2.4.2.2" xref="S1.SS1.p3.5.m5.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.5.m5.1b"><apply id="S1.SS1.p3.5.m5.1.2.cmml" xref="S1.SS1.p3.5.m5.1.2"><times id="S1.SS1.p3.5.m5.1.2.1.cmml" xref="S1.SS1.p3.5.m5.1.2.1"></times><ci id="S1.SS1.p3.5.m5.1.2.2.cmml" xref="S1.SS1.p3.5.m5.1.2.2">Δ</ci><apply id="S1.SS1.p3.5.m5.1.2.3.cmml" xref="S1.SS1.p3.5.m5.1.2.3"><csymbol cd="ambiguous" id="S1.SS1.p3.5.m5.1.2.3.1.cmml" xref="S1.SS1.p3.5.m5.1.2.3">subscript</csymbol><ci id="S1.SS1.p3.5.m5.1.2.3.2.cmml" xref="S1.SS1.p3.5.m5.1.2.3.2">𝒉</ci><ci id="S1.SS1.p3.5.m5.1.2.3.3.cmml" xref="S1.SS1.p3.5.m5.1.2.3.3">ℓ</ci></apply><ci id="S1.SS1.p3.5.m5.1.1.cmml" xref="S1.SS1.p3.5.m5.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.5.m5.1c">\Delta{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math> is <math id="S1.SS1.p3.6.m6.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S1.SS1.p3.6.m6.1a"><mrow id="S1.SS1.p3.6.m6.1.2" xref="S1.SS1.p3.6.m6.1.2.cmml"><mi mathvariant="normal" id="S1.SS1.p3.6.m6.1.2.2" xref="S1.SS1.p3.6.m6.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p3.6.m6.1.2.1" xref="S1.SS1.p3.6.m6.1.2.1.cmml">​</mo><mrow id="S1.SS1.p3.6.m6.1.2.3.2" xref="S1.SS1.p3.6.m6.1.2.cmml"><mo stretchy="false" id="S1.SS1.p3.6.m6.1.2.3.2.1" xref="S1.SS1.p3.6.m6.1.2.cmml">(</mo><mn id="S1.SS1.p3.6.m6.1.1" xref="S1.SS1.p3.6.m6.1.1.cmml">1</mn><mo stretchy="false" id="S1.SS1.p3.6.m6.1.2.3.2.2" xref="S1.SS1.p3.6.m6.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.6.m6.1b"><apply id="S1.SS1.p3.6.m6.1.2.cmml" xref="S1.SS1.p3.6.m6.1.2"><times id="S1.SS1.p3.6.m6.1.2.1.cmml" xref="S1.SS1.p3.6.m6.1.2.1"></times><ci id="S1.SS1.p3.6.m6.1.2.2.cmml" xref="S1.SS1.p3.6.m6.1.2.2">Θ</ci><cn type="integer" id="S1.SS1.p3.6.m6.1.1.cmml" xref="S1.SS1.p3.6.m6.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.6.m6.1c">\Theta(1)</annotation></semantics></math> with respect to width <math id="S1.SS1.p3.7.m7.1" class="ltx_Math" alttext="0pt_{\ell}" display="inline"><semantics id="S1.SS1.p3.7.m7.1a"><mrow id="S1.SS1.p3.7.m7.1.1" xref="S1.SS1.p3.7.m7.1.1.cmml"><mn id="S1.SS1.p3.7.m7.1.1.2" xref="S1.SS1.p3.7.m7.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.SS1.p3.7.m7.1.1.1" xref="S1.SS1.p3.7.m7.1.1.1.cmml">​</mo><mi id="S1.SS1.p3.7.m7.1.1.3" xref="S1.SS1.p3.7.m7.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p3.7.m7.1.1.1a" xref="S1.SS1.p3.7.m7.1.1.1.cmml">​</mo><msub id="S1.SS1.p3.7.m7.1.1.4" xref="S1.SS1.p3.7.m7.1.1.4.cmml"><mi id="S1.SS1.p3.7.m7.1.1.4.2" xref="S1.SS1.p3.7.m7.1.1.4.2.cmml">t</mi><mi mathvariant="normal" id="S1.SS1.p3.7.m7.1.1.4.3" xref="S1.SS1.p3.7.m7.1.1.4.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.7.m7.1b"><apply id="S1.SS1.p3.7.m7.1.1.cmml" xref="S1.SS1.p3.7.m7.1.1"><times id="S1.SS1.p3.7.m7.1.1.1.cmml" xref="S1.SS1.p3.7.m7.1.1.1"></times><cn type="integer" id="S1.SS1.p3.7.m7.1.1.2.cmml" xref="S1.SS1.p3.7.m7.1.1.2">0</cn><ci id="S1.SS1.p3.7.m7.1.1.3.cmml" xref="S1.SS1.p3.7.m7.1.1.3">𝑝</ci><apply id="S1.SS1.p3.7.m7.1.1.4.cmml" xref="S1.SS1.p3.7.m7.1.1.4"><csymbol cd="ambiguous" id="S1.SS1.p3.7.m7.1.1.4.1.cmml" xref="S1.SS1.p3.7.m7.1.1.4">subscript</csymbol><ci id="S1.SS1.p3.7.m7.1.1.4.2.cmml" xref="S1.SS1.p3.7.m7.1.1.4.2">𝑡</ci><ci id="S1.SS1.p3.7.m7.1.1.4.3.cmml" xref="S1.SS1.p3.7.m7.1.1.4.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.7.m7.1c">0pt_{\ell}</annotation></semantics></math> (we give a review of big-<math id="S1.SS1.p3.8.m8.1" class="ltx_Math" alttext="\Theta" display="inline"><semantics id="S1.SS1.p3.8.m8.1a"><mi mathvariant="normal" id="S1.SS1.p3.8.m8.1.1" xref="S1.SS1.p3.8.m8.1.1.cmml">Θ</mi><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.8.m8.1b"><ci id="S1.SS1.p3.8.m8.1.1.cmml" xref="S1.SS1.p3.8.m8.1.1">Θ</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.8.m8.1c">\Theta</annotation></semantics></math> notation in <a href="#S2" title="2 Preliminaries ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">2</span></a>). Enforcing that hidden features have <math id="S1.SS1.p3.9.m9.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S1.SS1.p3.9.m9.1a"><mrow id="S1.SS1.p3.9.m9.1.2" xref="S1.SS1.p3.9.m9.1.2.cmml"><mi mathvariant="normal" id="S1.SS1.p3.9.m9.1.2.2" xref="S1.SS1.p3.9.m9.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p3.9.m9.1.2.1" xref="S1.SS1.p3.9.m9.1.2.1.cmml">​</mo><mrow id="S1.SS1.p3.9.m9.1.2.3.2" xref="S1.SS1.p3.9.m9.1.2.cmml"><mo stretchy="false" id="S1.SS1.p3.9.m9.1.2.3.2.1" xref="S1.SS1.p3.9.m9.1.2.cmml">(</mo><mn id="S1.SS1.p3.9.m9.1.1" xref="S1.SS1.p3.9.m9.1.1.cmml">1</mn><mo stretchy="false" id="S1.SS1.p3.9.m9.1.2.3.2.2" xref="S1.SS1.p3.9.m9.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.9.m9.1b"><apply id="S1.SS1.p3.9.m9.1.2.cmml" xref="S1.SS1.p3.9.m9.1.2"><times id="S1.SS1.p3.9.m9.1.2.1.cmml" xref="S1.SS1.p3.9.m9.1.2.1"></times><ci id="S1.SS1.p3.9.m9.1.2.2.cmml" xref="S1.SS1.p3.9.m9.1.2.2">Θ</ci><cn type="integer" id="S1.SS1.p3.9.m9.1.1.cmml" xref="S1.SS1.p3.9.m9.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.9.m9.1c">\Theta(1)</annotation></semantics></math> element size has long been a principle of deep learning parametrization, motivated by the fact that activation functions are designed to take order-one inputs and give order-one outputs <cite class="ltx_cite ltx_citemacro_citep">(LeCun et al., <a href="#bib.bib25" title="" class="ltx_ref">2002</a>)</cite>.
Our second requirement stipulates that feature entries also undergo <math id="S1.SS1.p3.10.m10.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S1.SS1.p3.10.m10.1a"><mrow id="S1.SS1.p3.10.m10.1.2" xref="S1.SS1.p3.10.m10.1.2.cmml"><mi mathvariant="normal" id="S1.SS1.p3.10.m10.1.2.2" xref="S1.SS1.p3.10.m10.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p3.10.m10.1.2.1" xref="S1.SS1.p3.10.m10.1.2.1.cmml">​</mo><mrow id="S1.SS1.p3.10.m10.1.2.3.2" xref="S1.SS1.p3.10.m10.1.2.cmml"><mo stretchy="false" id="S1.SS1.p3.10.m10.1.2.3.2.1" xref="S1.SS1.p3.10.m10.1.2.cmml">(</mo><mn id="S1.SS1.p3.10.m10.1.1" xref="S1.SS1.p3.10.m10.1.1.cmml">1</mn><mo stretchy="false" id="S1.SS1.p3.10.m10.1.2.3.2.2" xref="S1.SS1.p3.10.m10.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p3.10.m10.1b"><apply id="S1.SS1.p3.10.m10.1.2.cmml" xref="S1.SS1.p3.10.m10.1.2"><times id="S1.SS1.p3.10.m10.1.2.1.cmml" xref="S1.SS1.p3.10.m10.1.2.1"></times><ci id="S1.SS1.p3.10.m10.1.2.2.cmml" xref="S1.SS1.p3.10.m10.1.2.2">Θ</ci><cn type="integer" id="S1.SS1.p3.10.m10.1.1.cmml" xref="S1.SS1.p3.10.m10.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p3.10.m10.1c">\Theta(1)</annotation></semantics></math> updates during training.
Note that any larger updates would blow up at large width, and any smaller updates would vanish at large width. We take <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> as our definition of feature learning.<span id="footnote1" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">1</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">1</sup><span class="ltx_tag ltx_tag_note">1</span>Our notion of feature learning might also be called “nontrivial feature evolution.” While other authors may prefer different notions of “feature learning”—for example, the learning of interpretable, visualizable functions at hidden nodes <cite class="ltx_cite ltx_citemacro_citep">(Zeiler &amp; Fergus, <a href="#bib.bib51" title="" class="ltx_ref">2014</a>, Olah et al., <a href="#bib.bib33" title="" class="ltx_ref">2017</a>)</cite>—nontrivial feature evolution in our sense is necessary for any other reasonable definition of the term.</span></span></span></p>
</div>
<div id="S1.SS1.p4" class="ltx_para ltx_noindent">
<p id="S1.SS1.p4.1" class="ltx_p">Our main message is that feature learning in the sense of <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> may be ensured by the following <span id="S1.SS1.p4.1.1" class="ltx_text ltx_font_italic">spectral scaling condition</span> on the weight matrices of a deep network and their gradient updates:</p>
</div>
<div id="S1.SS1.p5" class="ltx_para ltx_noindent">
<svg id="S1.SS1.p5.pic1" class="ltx_picture" height="71.67" overflow="visible" version="1.1" width="600"><g transform="translate(0,71.67) matrix(1 0 0 -1 0 0)" fill="#000000" stroke="#000000" stroke-width="0.4pt"><g fill="#000000" fill-opacity="1.0"><path d="M 0 1.38 L 0 70.28 C 0 71.05 0.62 71.67 1.38 71.67 L 598.62 71.67 C 599.38 71.67 600 71.05 600 70.28 L 600 1.38 C 600 0.62 599.38 0 598.62 0 L 1.38 0 C 0.62 0 0 0.62 0 1.38 Z" style="stroke:none"></path></g><g fill="#FFFFFF" fill-opacity="1.0"><path d="M 1.38 1.38 L 1.38 70.28 L 598.62 70.28 L 598.62 1.38 Z" style="stroke:none"></path></g><g fill-opacity="1.0" transform="matrix(1.0 0.0 0.0 1.0 21.07 13.19)"><foreignObject width="557.86" height="45.28" transform="matrix(1 0 0 -1 0 16.6)" overflow="visible" color="#000000"><span id="S1.SS1.p5.pic1.1.1.1.1.1" class="ltx_inline-logical-block ltx_minipage ltx_align_bottom" style="width:403.2pt;">
<span id="Thmcondition1" class="ltx_theorem ltx_theorem_condition">
<h6 class="ltx_title ltx_runin ltx_title_theorem" style="color:#000000;">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmcondition1.1.1.1" class="ltx_text ltx_font_bold" style="color:#000000;">Condition 1</span></span><span id="Thmcondition1.2.2" class="ltx_text ltx_font_bold" style="color:#000000;"> <span id="Thmcondition1.2.2.1" class="ltx_text ltx_font_medium">(Spectral scaling)</span>.</span>
</h6>
<span id="Thmcondition1.p1" class="ltx_para">
<span id="Thmcondition1.p1.3" class="ltx_p">Consider applying a gradient update <math id="Thmcondition1.p1.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}" display="inline"><semantics id="Thmcondition1.p1.1.m1.1a"><mrow id="Thmcondition1.p1.1.m1.1.1" xref="Thmcondition1.p1.1.m1.1.1.cmml"><mrow id="Thmcondition1.p1.1.m1.1.1.2" xref="Thmcondition1.p1.1.m1.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmcondition1.p1.1.m1.1.1.2.2" xref="Thmcondition1.p1.1.m1.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.1.m1.1.1.2.1" xref="Thmcondition1.p1.1.m1.1.1.2.1.cmml">​</mo><msub id="Thmcondition1.p1.1.m1.1.1.2.3" xref="Thmcondition1.p1.1.m1.1.1.2.3.cmml"><mi id="Thmcondition1.p1.1.m1.1.1.2.3.2" xref="Thmcondition1.p1.1.m1.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmcondition1.p1.1.m1.1.1.2.3.3" xref="Thmcondition1.p1.1.m1.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="Thmcondition1.p1.1.m1.1.1.1" xref="Thmcondition1.p1.1.m1.1.1.1.cmml">∈</mo><msup id="Thmcondition1.p1.1.m1.1.1.3" xref="Thmcondition1.p1.1.m1.1.1.3.cmml"><mi id="Thmcondition1.p1.1.m1.1.1.3.2" xref="Thmcondition1.p1.1.m1.1.1.3.2.cmml">ℝ</mi><mrow id="Thmcondition1.p1.1.m1.1.1.3.3" xref="Thmcondition1.p1.1.m1.1.1.3.3.cmml"><mrow id="Thmcondition1.p1.1.m1.1.1.3.3.2" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.cmml"><mrow id="Thmcondition1.p1.1.m1.1.1.3.3.2.2" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.cmml"><mn id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.2" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.1" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.1.cmml">​</mo><mi id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.3" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.1a" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.1.cmml">​</mo><msub id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.cmml"><mi id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.2" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.3" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="Thmcondition1.p1.1.m1.1.1.3.3.2.1" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.1.cmml">×</mo><mn id="Thmcondition1.p1.1.m1.1.1.3.3.2.3" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.1.m1.1.1.3.3.1" xref="Thmcondition1.p1.1.m1.1.1.3.3.1.cmml">​</mo><mi id="Thmcondition1.p1.1.m1.1.1.3.3.3" xref="Thmcondition1.p1.1.m1.1.1.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.1.m1.1.1.3.3.1a" xref="Thmcondition1.p1.1.m1.1.1.3.3.1.cmml">​</mo><msub id="Thmcondition1.p1.1.m1.1.1.3.3.4" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.cmml"><mi id="Thmcondition1.p1.1.m1.1.1.3.3.4.2" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.2.cmml">t</mi><mrow id="Thmcondition1.p1.1.m1.1.1.3.3.4.3" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3.cmml"><mi mathvariant="normal" id="Thmcondition1.p1.1.m1.1.1.3.3.4.3.2" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3.2.cmml">ℓ</mi><mo id="Thmcondition1.p1.1.m1.1.1.3.3.4.3.1" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3.1.cmml">−</mo><mn id="Thmcondition1.p1.1.m1.1.1.3.3.4.3.3" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmcondition1.p1.1.m1.1b"><apply id="Thmcondition1.p1.1.m1.1.1.cmml" xref="Thmcondition1.p1.1.m1.1.1"><in id="Thmcondition1.p1.1.m1.1.1.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.1"></in><apply id="Thmcondition1.p1.1.m1.1.1.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.2"><times id="Thmcondition1.p1.1.m1.1.1.2.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.2.1"></times><ci id="Thmcondition1.p1.1.m1.1.1.2.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.2.2">Δ</ci><apply id="Thmcondition1.p1.1.m1.1.1.2.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.2.3"><csymbol cd="ambiguous" id="Thmcondition1.p1.1.m1.1.1.2.3.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.2.3">subscript</csymbol><ci id="Thmcondition1.p1.1.m1.1.1.2.3.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.2.3.2">𝑾</ci><ci id="Thmcondition1.p1.1.m1.1.1.2.3.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.2.3.3">ℓ</ci></apply></apply><apply id="Thmcondition1.p1.1.m1.1.1.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="Thmcondition1.p1.1.m1.1.1.3.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.3">superscript</csymbol><ci id="Thmcondition1.p1.1.m1.1.1.3.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.2">ℝ</ci><apply id="Thmcondition1.p1.1.m1.1.1.3.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3"><times id="Thmcondition1.p1.1.m1.1.1.3.3.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.1"></times><apply id="Thmcondition1.p1.1.m1.1.1.3.3.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2"><times id="Thmcondition1.p1.1.m1.1.1.3.3.2.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.1"></times><apply id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2"><times id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.1"></times><cn type="integer" id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.2">0</cn><ci id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.3">𝑝</ci><apply id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4"><csymbol cd="ambiguous" id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4">subscript</csymbol><ci id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.2">𝑡</ci><ci id="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="Thmcondition1.p1.1.m1.1.1.3.3.2.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.2.3">0</cn></apply><ci id="Thmcondition1.p1.1.m1.1.1.3.3.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.3">𝑝</ci><apply id="Thmcondition1.p1.1.m1.1.1.3.3.4.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.4"><csymbol cd="ambiguous" id="Thmcondition1.p1.1.m1.1.1.3.3.4.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.4">subscript</csymbol><ci id="Thmcondition1.p1.1.m1.1.1.3.3.4.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.2">𝑡</ci><apply id="Thmcondition1.p1.1.m1.1.1.3.3.4.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3"><minus id="Thmcondition1.p1.1.m1.1.1.3.3.4.3.1.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3.1"></minus><ci id="Thmcondition1.p1.1.m1.1.1.3.3.4.3.2.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3.2">ℓ</ci><cn type="integer" id="Thmcondition1.p1.1.m1.1.1.3.3.4.3.3.cmml" xref="Thmcondition1.p1.1.m1.1.1.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmcondition1.p1.1.m1.1c">\Delta\!{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}</annotation></semantics></math> to the <math id="Thmcondition1.p1.2.m2.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="Thmcondition1.p1.2.m2.1a"><mi mathvariant="normal" id="Thmcondition1.p1.2.m2.1.1" xref="Thmcondition1.p1.2.m2.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="Thmcondition1.p1.2.m2.1b"><ci id="Thmcondition1.p1.2.m2.1.1.cmml" xref="Thmcondition1.p1.2.m2.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmcondition1.p1.2.m2.1c">\ell</annotation></semantics></math>th weight matrix <math id="Thmcondition1.p1.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}" display="inline"><semantics id="Thmcondition1.p1.3.m3.1a"><mrow id="Thmcondition1.p1.3.m3.1.1" xref="Thmcondition1.p1.3.m3.1.1.cmml"><msub id="Thmcondition1.p1.3.m3.1.1.2" xref="Thmcondition1.p1.3.m3.1.1.2.cmml"><mi id="Thmcondition1.p1.3.m3.1.1.2.2" xref="Thmcondition1.p1.3.m3.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmcondition1.p1.3.m3.1.1.2.3" xref="Thmcondition1.p1.3.m3.1.1.2.3.cmml">ℓ</mi></msub><mo id="Thmcondition1.p1.3.m3.1.1.1" xref="Thmcondition1.p1.3.m3.1.1.1.cmml">∈</mo><msup id="Thmcondition1.p1.3.m3.1.1.3" xref="Thmcondition1.p1.3.m3.1.1.3.cmml"><mi id="Thmcondition1.p1.3.m3.1.1.3.2" xref="Thmcondition1.p1.3.m3.1.1.3.2.cmml">ℝ</mi><mrow id="Thmcondition1.p1.3.m3.1.1.3.3" xref="Thmcondition1.p1.3.m3.1.1.3.3.cmml"><mrow id="Thmcondition1.p1.3.m3.1.1.3.3.2" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.cmml"><mrow id="Thmcondition1.p1.3.m3.1.1.3.3.2.2" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.cmml"><mn id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.2" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.1" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.1.cmml">​</mo><mi id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.3" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.1a" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.1.cmml">​</mo><msub id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.cmml"><mi id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.2" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.3" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="Thmcondition1.p1.3.m3.1.1.3.3.2.1" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.1.cmml">×</mo><mn id="Thmcondition1.p1.3.m3.1.1.3.3.2.3" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.3.m3.1.1.3.3.1" xref="Thmcondition1.p1.3.m3.1.1.3.3.1.cmml">​</mo><mi id="Thmcondition1.p1.3.m3.1.1.3.3.3" xref="Thmcondition1.p1.3.m3.1.1.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition1.p1.3.m3.1.1.3.3.1a" xref="Thmcondition1.p1.3.m3.1.1.3.3.1.cmml">​</mo><msub id="Thmcondition1.p1.3.m3.1.1.3.3.4" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.cmml"><mi id="Thmcondition1.p1.3.m3.1.1.3.3.4.2" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.2.cmml">t</mi><mrow id="Thmcondition1.p1.3.m3.1.1.3.3.4.3" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3.cmml"><mi mathvariant="normal" id="Thmcondition1.p1.3.m3.1.1.3.3.4.3.2" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3.2.cmml">ℓ</mi><mo id="Thmcondition1.p1.3.m3.1.1.3.3.4.3.1" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3.1.cmml">−</mo><mn id="Thmcondition1.p1.3.m3.1.1.3.3.4.3.3" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmcondition1.p1.3.m3.1b"><apply id="Thmcondition1.p1.3.m3.1.1.cmml" xref="Thmcondition1.p1.3.m3.1.1"><in id="Thmcondition1.p1.3.m3.1.1.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.1"></in><apply id="Thmcondition1.p1.3.m3.1.1.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.2"><csymbol cd="ambiguous" id="Thmcondition1.p1.3.m3.1.1.2.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.2">subscript</csymbol><ci id="Thmcondition1.p1.3.m3.1.1.2.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.2.2">𝑾</ci><ci id="Thmcondition1.p1.3.m3.1.1.2.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.2.3">ℓ</ci></apply><apply id="Thmcondition1.p1.3.m3.1.1.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3"><csymbol cd="ambiguous" id="Thmcondition1.p1.3.m3.1.1.3.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.3">superscript</csymbol><ci id="Thmcondition1.p1.3.m3.1.1.3.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.2">ℝ</ci><apply id="Thmcondition1.p1.3.m3.1.1.3.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3"><times id="Thmcondition1.p1.3.m3.1.1.3.3.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.1"></times><apply id="Thmcondition1.p1.3.m3.1.1.3.3.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2"><times id="Thmcondition1.p1.3.m3.1.1.3.3.2.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.1"></times><apply id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2"><times id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.1"></times><cn type="integer" id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.2">0</cn><ci id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.3">𝑝</ci><apply id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4"><csymbol cd="ambiguous" id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4">subscript</csymbol><ci id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.2">𝑡</ci><ci id="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="Thmcondition1.p1.3.m3.1.1.3.3.2.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.2.3">0</cn></apply><ci id="Thmcondition1.p1.3.m3.1.1.3.3.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.3">𝑝</ci><apply id="Thmcondition1.p1.3.m3.1.1.3.3.4.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.4"><csymbol cd="ambiguous" id="Thmcondition1.p1.3.m3.1.1.3.3.4.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.4">subscript</csymbol><ci id="Thmcondition1.p1.3.m3.1.1.3.3.4.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.2">𝑡</ci><apply id="Thmcondition1.p1.3.m3.1.1.3.3.4.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3"><minus id="Thmcondition1.p1.3.m3.1.1.3.3.4.3.1.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3.1"></minus><ci id="Thmcondition1.p1.3.m3.1.1.3.3.4.3.2.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3.2">ℓ</ci><cn type="integer" id="Thmcondition1.p1.3.m3.1.1.3.3.4.3.3.cmml" xref="Thmcondition1.p1.3.m3.1.1.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmcondition1.p1.3.m3.1c">{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}</annotation></semantics></math>.
The spectral norms of these matrices should satisfy:</span>
<span id="A5.EGx2" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<span id="S1.Ex2"><span class="ltx_equation ltx_eqn_row ltx_align_baseline">
<span class="ltx_eqn_cell ltx_eqn_center_padleft"></span>
<span class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S1.Ex2.m1.7" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta\left(\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\right)\ \ \ \text{and}\ \ \ \left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta\left(\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\right),\quad\text{ at layers }\ell=1,...,L." display="inline"><semantics id="S1.Ex2.m1.7a"><mrow id="S1.Ex2.m1.7.7.1"><mrow id="S1.Ex2.m1.7.7.1.1.2" xref="S1.Ex2.m1.7.7.1.1.3.cmml"><mrow id="S1.Ex2.m1.7.7.1.1.1.1" xref="S1.Ex2.m1.7.7.1.1.1.1.cmml"><msub id="S1.Ex2.m1.7.7.1.1.1.1.1" xref="S1.Ex2.m1.7.7.1.1.1.1.1.cmml"><mrow id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.2" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.cmml"><mi id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.2" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.3" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo mathcolor="#000000" stretchy="false" id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.3" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S1.Ex2.m1.7.7.1.1.1.1.1.3" xref="S1.Ex2.m1.7.7.1.1.1.1.1.3.cmml">∗</mo></msub><mo id="S1.Ex2.m1.7.7.1.1.1.1.3" xref="S1.Ex2.m1.7.7.1.1.1.1.3.cmml">=</mo><mrow id="S1.Ex2.m1.7.7.1.1.1.1.2.1" xref="S1.Ex2.m1.7.7.1.1.1.1.2.2.cmml"><mrow id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.cmml"><mi mathvariant="normal" id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.2" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.1" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.1.cmml">​</mo><mrow id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.3.2" xref="S1.Ex2.m1.1.1.cmml"><mo id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.3.2.1" xref="S1.Ex2.m1.1.1.cmml">(</mo><msqrt id="S1.Ex2.m1.1.1" xref="S1.Ex2.m1.1.1.cmml"><mstyle displaystyle="true" id="S1.Ex2.m1.1.1.2" xref="S1.Ex2.m1.1.1.2.cmml"><mfrac id="S1.Ex2.m1.1.1.2a" xref="S1.Ex2.m1.1.1.2.cmml"><mrow id="S1.Ex2.m1.1.1.2.2" xref="S1.Ex2.m1.1.1.2.2.cmml"><mn id="S1.Ex2.m1.1.1.2.2.2" xref="S1.Ex2.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.1.1.2.2.1" xref="S1.Ex2.m1.1.1.2.2.1.cmml">​</mo><mi id="S1.Ex2.m1.1.1.2.2.3" xref="S1.Ex2.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.1.1.2.2.1a" xref="S1.Ex2.m1.1.1.2.2.1.cmml">​</mo><msub id="S1.Ex2.m1.1.1.2.2.4" xref="S1.Ex2.m1.1.1.2.2.4.cmml"><mi id="S1.Ex2.m1.1.1.2.2.4.2" xref="S1.Ex2.m1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S1.Ex2.m1.1.1.2.2.4.3" xref="S1.Ex2.m1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S1.Ex2.m1.1.1.2.3" xref="S1.Ex2.m1.1.1.2.3.cmml"><mn id="S1.Ex2.m1.1.1.2.3.2" xref="S1.Ex2.m1.1.1.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.1.1.2.3.1" xref="S1.Ex2.m1.1.1.2.3.1.cmml">​</mo><mi id="S1.Ex2.m1.1.1.2.3.3" xref="S1.Ex2.m1.1.1.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.1.1.2.3.1a" xref="S1.Ex2.m1.1.1.2.3.1.cmml">​</mo><msub id="S1.Ex2.m1.1.1.2.3.4" xref="S1.Ex2.m1.1.1.2.3.4.cmml"><mi id="S1.Ex2.m1.1.1.2.3.4.2" xref="S1.Ex2.m1.1.1.2.3.4.2.cmml">t</mi><mrow id="S1.Ex2.m1.1.1.2.3.4.3" xref="S1.Ex2.m1.1.1.2.3.4.3.cmml"><mi mathvariant="normal" id="S1.Ex2.m1.1.1.2.3.4.3.2" xref="S1.Ex2.m1.1.1.2.3.4.3.2.cmml">ℓ</mi><mo id="S1.Ex2.m1.1.1.2.3.4.3.1" xref="S1.Ex2.m1.1.1.2.3.4.3.1.cmml">−</mo><mn id="S1.Ex2.m1.1.1.2.3.4.3.3" xref="S1.Ex2.m1.1.1.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></mstyle></msqrt><mo id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.3.2.2" xref="S1.Ex2.m1.1.1.cmml">)</mo></mrow></mrow><mspace width="1.5em" id="S1.Ex2.m1.7.7.1.1.1.1.2.1.2" xref="S1.Ex2.m1.7.7.1.1.1.1.2.2.cmml"></mspace><mtext id="S1.Ex2.m1.6.6" xref="S1.Ex2.m1.6.6a.cmml">and</mtext></mrow></mrow><mspace width="1.5em" id="S1.Ex2.m1.7.7.1.1.2.3" xref="S1.Ex2.m1.7.7.1.1.3a.cmml"></mspace><mrow id="S1.Ex2.m1.7.7.1.1.2.2.2" xref="S1.Ex2.m1.7.7.1.1.2.2.3.cmml"><mrow id="S1.Ex2.m1.7.7.1.1.2.2.1.1" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.cmml"><msub id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.cmml"><mrow id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.2" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.2" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.1" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.1.cmml">​</mo><msub id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.cmml"><mi id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo mathcolor="#000000" stretchy="false" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.3" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.3" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.3.cmml">∗</mo></msub><mo id="S1.Ex2.m1.7.7.1.1.2.2.1.1.2" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.2.cmml">=</mo><mrow id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.cmml"><mi mathvariant="normal" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.2" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.1" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.1.cmml">​</mo><mrow id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.3.2" xref="S1.Ex2.m1.2.2.cmml"><mo id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.3.2.1" xref="S1.Ex2.m1.2.2.cmml">(</mo><msqrt id="S1.Ex2.m1.2.2" xref="S1.Ex2.m1.2.2.cmml"><mstyle displaystyle="true" id="S1.Ex2.m1.2.2.2" xref="S1.Ex2.m1.2.2.2.cmml"><mfrac id="S1.Ex2.m1.2.2.2a" xref="S1.Ex2.m1.2.2.2.cmml"><mrow id="S1.Ex2.m1.2.2.2.2" xref="S1.Ex2.m1.2.2.2.2.cmml"><mn id="S1.Ex2.m1.2.2.2.2.2" xref="S1.Ex2.m1.2.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.2.2.2.2.1" xref="S1.Ex2.m1.2.2.2.2.1.cmml">​</mo><mi id="S1.Ex2.m1.2.2.2.2.3" xref="S1.Ex2.m1.2.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.2.2.2.2.1a" xref="S1.Ex2.m1.2.2.2.2.1.cmml">​</mo><msub id="S1.Ex2.m1.2.2.2.2.4" xref="S1.Ex2.m1.2.2.2.2.4.cmml"><mi id="S1.Ex2.m1.2.2.2.2.4.2" xref="S1.Ex2.m1.2.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S1.Ex2.m1.2.2.2.2.4.3" xref="S1.Ex2.m1.2.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S1.Ex2.m1.2.2.2.3" xref="S1.Ex2.m1.2.2.2.3.cmml"><mn id="S1.Ex2.m1.2.2.2.3.2" xref="S1.Ex2.m1.2.2.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.2.2.2.3.1" xref="S1.Ex2.m1.2.2.2.3.1.cmml">​</mo><mi id="S1.Ex2.m1.2.2.2.3.3" xref="S1.Ex2.m1.2.2.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.2.2.2.3.1a" xref="S1.Ex2.m1.2.2.2.3.1.cmml">​</mo><msub id="S1.Ex2.m1.2.2.2.3.4" xref="S1.Ex2.m1.2.2.2.3.4.cmml"><mi id="S1.Ex2.m1.2.2.2.3.4.2" xref="S1.Ex2.m1.2.2.2.3.4.2.cmml">t</mi><mrow id="S1.Ex2.m1.2.2.2.3.4.3" xref="S1.Ex2.m1.2.2.2.3.4.3.cmml"><mi mathvariant="normal" id="S1.Ex2.m1.2.2.2.3.4.3.2" xref="S1.Ex2.m1.2.2.2.3.4.3.2.cmml">ℓ</mi><mo id="S1.Ex2.m1.2.2.2.3.4.3.1" xref="S1.Ex2.m1.2.2.2.3.4.3.1.cmml">−</mo><mn id="S1.Ex2.m1.2.2.2.3.4.3.3" xref="S1.Ex2.m1.2.2.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></mstyle></msqrt><mo id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.3.2.2" xref="S1.Ex2.m1.2.2.cmml">)</mo></mrow></mrow></mrow><mo rspace="1.167em" id="S1.Ex2.m1.7.7.1.1.2.2.2.3" xref="S1.Ex2.m1.7.7.1.1.2.2.3a.cmml">,</mo><mrow id="S1.Ex2.m1.7.7.1.1.2.2.2.2" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.cmml"><mrow id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.cmml"><mtext id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.2" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.2a.cmml"> at layers </mtext><mo lspace="0em" rspace="0em" id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.1" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.1.cmml">​</mo><mi mathvariant="normal" id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.3" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.3.cmml">ℓ</mi></mrow><mo id="S1.Ex2.m1.7.7.1.1.2.2.2.2.1" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.1.cmml">=</mo><mrow id="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.2" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.1.cmml"><mn id="S1.Ex2.m1.3.3" xref="S1.Ex2.m1.3.3.cmml">1</mn><mo id="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.2.1" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.1.cmml">,</mo><mi mathvariant="normal" id="S1.Ex2.m1.4.4" xref="S1.Ex2.m1.4.4.cmml">…</mi><mo id="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.2.2" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.1.cmml">,</mo><mi id="S1.Ex2.m1.5.5" xref="S1.Ex2.m1.5.5.cmml">L</mi></mrow></mrow></mrow></mrow><mo lspace="0em" id="S1.Ex2.m1.7.7.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S1.Ex2.m1.7b"><apply id="S1.Ex2.m1.7.7.1.1.3.cmml" xref="S1.Ex2.m1.7.7.1.1.2"><csymbol cd="ambiguous" id="S1.Ex2.m1.7.7.1.1.3a.cmml" xref="S1.Ex2.m1.7.7.1.1.2.3">formulae-sequence</csymbol><apply id="S1.Ex2.m1.7.7.1.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1"><eq id="S1.Ex2.m1.7.7.1.1.1.1.3.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.3"></eq><apply id="S1.Ex2.m1.7.7.1.1.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1"><csymbol cd="ambiguous" id="S1.Ex2.m1.7.7.1.1.1.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1">subscript</csymbol><apply id="S1.Ex2.m1.7.7.1.1.1.1.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S1.Ex2.m1.7.7.1.1.1.1.1.1.2.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.2">𝑾</ci><ci id="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.3.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S1.Ex2.m1.7.7.1.1.1.1.1.3.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.1.3"></times></apply><list id="S1.Ex2.m1.7.7.1.1.1.1.2.2.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1"><apply id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1"><times id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.1"></times><ci id="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.2">Θ</ci><apply id="S1.Ex2.m1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.3.2"><root id="S1.Ex2.m1.1.1a.cmml" xref="S1.Ex2.m1.7.7.1.1.1.1.2.1.1.3.2"></root><apply id="S1.Ex2.m1.1.1.2.cmml" xref="S1.Ex2.m1.1.1.2"><divide id="S1.Ex2.m1.1.1.2.1.cmml" xref="S1.Ex2.m1.1.1.2"></divide><apply id="S1.Ex2.m1.1.1.2.2.cmml" xref="S1.Ex2.m1.1.1.2.2"><times id="S1.Ex2.m1.1.1.2.2.1.cmml" xref="S1.Ex2.m1.1.1.2.2.1"></times><cn type="integer" id="S1.Ex2.m1.1.1.2.2.2.cmml" xref="S1.Ex2.m1.1.1.2.2.2">0</cn><ci id="S1.Ex2.m1.1.1.2.2.3.cmml" xref="S1.Ex2.m1.1.1.2.2.3">𝑝</ci><apply id="S1.Ex2.m1.1.1.2.2.4.cmml" xref="S1.Ex2.m1.1.1.2.2.4"><csymbol cd="ambiguous" id="S1.Ex2.m1.1.1.2.2.4.1.cmml" xref="S1.Ex2.m1.1.1.2.2.4">subscript</csymbol><ci id="S1.Ex2.m1.1.1.2.2.4.2.cmml" xref="S1.Ex2.m1.1.1.2.2.4.2">𝑡</ci><ci id="S1.Ex2.m1.1.1.2.2.4.3.cmml" xref="S1.Ex2.m1.1.1.2.2.4.3">ℓ</ci></apply></apply><apply id="S1.Ex2.m1.1.1.2.3.cmml" xref="S1.Ex2.m1.1.1.2.3"><times id="S1.Ex2.m1.1.1.2.3.1.cmml" xref="S1.Ex2.m1.1.1.2.3.1"></times><cn type="integer" id="S1.Ex2.m1.1.1.2.3.2.cmml" xref="S1.Ex2.m1.1.1.2.3.2">0</cn><ci id="S1.Ex2.m1.1.1.2.3.3.cmml" xref="S1.Ex2.m1.1.1.2.3.3">𝑝</ci><apply id="S1.Ex2.m1.1.1.2.3.4.cmml" xref="S1.Ex2.m1.1.1.2.3.4"><csymbol cd="ambiguous" id="S1.Ex2.m1.1.1.2.3.4.1.cmml" xref="S1.Ex2.m1.1.1.2.3.4">subscript</csymbol><ci id="S1.Ex2.m1.1.1.2.3.4.2.cmml" xref="S1.Ex2.m1.1.1.2.3.4.2">𝑡</ci><apply id="S1.Ex2.m1.1.1.2.3.4.3.cmml" xref="S1.Ex2.m1.1.1.2.3.4.3"><minus id="S1.Ex2.m1.1.1.2.3.4.3.1.cmml" xref="S1.Ex2.m1.1.1.2.3.4.3.1"></minus><ci id="S1.Ex2.m1.1.1.2.3.4.3.2.cmml" xref="S1.Ex2.m1.1.1.2.3.4.3.2">ℓ</ci><cn type="integer" id="S1.Ex2.m1.1.1.2.3.4.3.3.cmml" xref="S1.Ex2.m1.1.1.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply><ci id="S1.Ex2.m1.6.6a.cmml" xref="S1.Ex2.m1.6.6"><mtext id="S1.Ex2.m1.6.6.cmml" xref="S1.Ex2.m1.6.6">and</mtext></ci></list></apply><apply id="S1.Ex2.m1.7.7.1.1.2.2.3.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2"><csymbol cd="ambiguous" id="S1.Ex2.m1.7.7.1.1.2.2.3a.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.3">formulae-sequence</csymbol><apply id="S1.Ex2.m1.7.7.1.1.2.2.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1"><eq id="S1.Ex2.m1.7.7.1.1.2.2.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.2"></eq><apply id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1"><csymbol cd="ambiguous" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1">subscript</csymbol><apply id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1"><csymbol cd="latexml" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.2.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.2">norm</csymbol><apply id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1"><times id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.1"></times><ci id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.2">Δ</ci><apply id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3">subscript</csymbol><ci id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.3.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.1.3"></times></apply><apply id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3"><times id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.1"></times><ci id="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.2">Θ</ci><apply id="S1.Ex2.m1.2.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.3.2"><root id="S1.Ex2.m1.2.2a.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.1.1.3.3.2"></root><apply id="S1.Ex2.m1.2.2.2.cmml" xref="S1.Ex2.m1.2.2.2"><divide id="S1.Ex2.m1.2.2.2.1.cmml" xref="S1.Ex2.m1.2.2.2"></divide><apply id="S1.Ex2.m1.2.2.2.2.cmml" xref="S1.Ex2.m1.2.2.2.2"><times id="S1.Ex2.m1.2.2.2.2.1.cmml" xref="S1.Ex2.m1.2.2.2.2.1"></times><cn type="integer" id="S1.Ex2.m1.2.2.2.2.2.cmml" xref="S1.Ex2.m1.2.2.2.2.2">0</cn><ci id="S1.Ex2.m1.2.2.2.2.3.cmml" xref="S1.Ex2.m1.2.2.2.2.3">𝑝</ci><apply id="S1.Ex2.m1.2.2.2.2.4.cmml" xref="S1.Ex2.m1.2.2.2.2.4"><csymbol cd="ambiguous" id="S1.Ex2.m1.2.2.2.2.4.1.cmml" xref="S1.Ex2.m1.2.2.2.2.4">subscript</csymbol><ci id="S1.Ex2.m1.2.2.2.2.4.2.cmml" xref="S1.Ex2.m1.2.2.2.2.4.2">𝑡</ci><ci id="S1.Ex2.m1.2.2.2.2.4.3.cmml" xref="S1.Ex2.m1.2.2.2.2.4.3">ℓ</ci></apply></apply><apply id="S1.Ex2.m1.2.2.2.3.cmml" xref="S1.Ex2.m1.2.2.2.3"><times id="S1.Ex2.m1.2.2.2.3.1.cmml" xref="S1.Ex2.m1.2.2.2.3.1"></times><cn type="integer" id="S1.Ex2.m1.2.2.2.3.2.cmml" xref="S1.Ex2.m1.2.2.2.3.2">0</cn><ci id="S1.Ex2.m1.2.2.2.3.3.cmml" xref="S1.Ex2.m1.2.2.2.3.3">𝑝</ci><apply id="S1.Ex2.m1.2.2.2.3.4.cmml" xref="S1.Ex2.m1.2.2.2.3.4"><csymbol cd="ambiguous" id="S1.Ex2.m1.2.2.2.3.4.1.cmml" xref="S1.Ex2.m1.2.2.2.3.4">subscript</csymbol><ci id="S1.Ex2.m1.2.2.2.3.4.2.cmml" xref="S1.Ex2.m1.2.2.2.3.4.2">𝑡</ci><apply id="S1.Ex2.m1.2.2.2.3.4.3.cmml" xref="S1.Ex2.m1.2.2.2.3.4.3"><minus id="S1.Ex2.m1.2.2.2.3.4.3.1.cmml" xref="S1.Ex2.m1.2.2.2.3.4.3.1"></minus><ci id="S1.Ex2.m1.2.2.2.3.4.3.2.cmml" xref="S1.Ex2.m1.2.2.2.3.4.3.2">ℓ</ci><cn type="integer" id="S1.Ex2.m1.2.2.2.3.4.3.3.cmml" xref="S1.Ex2.m1.2.2.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply><apply id="S1.Ex2.m1.7.7.1.1.2.2.2.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2"><eq id="S1.Ex2.m1.7.7.1.1.2.2.2.2.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.1"></eq><apply id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2"><times id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.1"></times><ci id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.2a.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.2"><mtext id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.2.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.2"> at layers </mtext></ci><ci id="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.3.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.2.3">ℓ</ci></apply><list id="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.1.cmml" xref="S1.Ex2.m1.7.7.1.1.2.2.2.2.3.2"><cn type="integer" id="S1.Ex2.m1.3.3.cmml" xref="S1.Ex2.m1.3.3">1</cn><ci id="S1.Ex2.m1.4.4.cmml" xref="S1.Ex2.m1.4.4">…</ci><ci id="S1.Ex2.m1.5.5.cmml" xref="S1.Ex2.m1.5.5">𝐿</ci></list></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.Ex2.m1.7c">\displaystyle\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta\left(\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\right)\ \ \ \text{and}\ \ \ \left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta\left(\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\right),\quad\text{ at layers }\ell=1,...,L.</annotation></semantics></math></span>
<span class="ltx_eqn_cell ltx_eqn_center_padright"></span></span></span>
</span>
</span>
</span></span></foreignObject></g></g></svg>
</div>
<div id="S1.SS1.p6" class="ltx_para ltx_noindent">
<p id="S1.SS1.p6.3" class="ltx_p">We review the spectral norm in <a href="#S2" title="2 Preliminaries ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">2</span></a>.
The spectral scaling condition has two components which will serve to enforce the respective components of <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
The first component mandates that each <em id="S1.SS1.p6.3.1" class="ltx_emph ltx_font_italic">weight matrix</em> has a spectral norm of a certain size, which will serve to enforce that the layer passes forward features of the correct size.
The second component mandates that each <em id="S1.SS1.p6.3.2" class="ltx_emph ltx_font_italic">gradient update</em> has a spectral norm of a certain size, which will ensure that subsequent features undergo a change of the correct size.
We have implicitly assumed that the input has size <math id="S1.SS1.p6.1.m1.2" class="ltx_Math" alttext="\left|\!\left|{\bm{x}}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{0}})" display="inline"><semantics id="S1.SS1.p6.1.m1.2a"><mrow id="S1.SS1.p6.1.m1.2.3" xref="S1.SS1.p6.1.m1.2.3.cmml"><msub id="S1.SS1.p6.1.m1.2.3.2" xref="S1.SS1.p6.1.m1.2.3.2.cmml"><mrow id="S1.SS1.p6.1.m1.2.3.2.2.2" xref="S1.SS1.p6.1.m1.2.3.2.2.1.cmml"><mo stretchy="false" id="S1.SS1.p6.1.m1.2.3.2.2.2.1" xref="S1.SS1.p6.1.m1.2.3.2.2.1.1.cmml">‖</mo><mi id="S1.SS1.p6.1.m1.1.1" xref="S1.SS1.p6.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p6.1.m1.2.3.2.2.2.2" xref="S1.SS1.p6.1.m1.2.3.2.2.1.1.cmml">‖</mo></mrow><mn id="S1.SS1.p6.1.m1.2.3.2.3" xref="S1.SS1.p6.1.m1.2.3.2.3.cmml">2</mn></msub><mo id="S1.SS1.p6.1.m1.2.3.1" xref="S1.SS1.p6.1.m1.2.3.1.cmml">=</mo><mrow id="S1.SS1.p6.1.m1.2.3.3" xref="S1.SS1.p6.1.m1.2.3.3.cmml"><mi mathvariant="normal" id="S1.SS1.p6.1.m1.2.3.3.2" xref="S1.SS1.p6.1.m1.2.3.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p6.1.m1.2.3.3.1" xref="S1.SS1.p6.1.m1.2.3.3.1.cmml">​</mo><mrow id="S1.SS1.p6.1.m1.2.3.3.3.2" xref="S1.SS1.p6.1.m1.2.2.cmml"><mo stretchy="false" id="S1.SS1.p6.1.m1.2.3.3.3.2.1" xref="S1.SS1.p6.1.m1.2.2.cmml">(</mo><msqrt id="S1.SS1.p6.1.m1.2.2" xref="S1.SS1.p6.1.m1.2.2.cmml"><mrow id="S1.SS1.p6.1.m1.2.2.2" xref="S1.SS1.p6.1.m1.2.2.2.cmml"><mn id="S1.SS1.p6.1.m1.2.2.2.2" xref="S1.SS1.p6.1.m1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.SS1.p6.1.m1.2.2.2.1" xref="S1.SS1.p6.1.m1.2.2.2.1.cmml">​</mo><mi id="S1.SS1.p6.1.m1.2.2.2.3" xref="S1.SS1.p6.1.m1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p6.1.m1.2.2.2.1a" xref="S1.SS1.p6.1.m1.2.2.2.1.cmml">​</mo><msub id="S1.SS1.p6.1.m1.2.2.2.4" xref="S1.SS1.p6.1.m1.2.2.2.4.cmml"><mi id="S1.SS1.p6.1.m1.2.2.2.4.2" xref="S1.SS1.p6.1.m1.2.2.2.4.2.cmml">t</mi><mn id="S1.SS1.p6.1.m1.2.2.2.4.3" xref="S1.SS1.p6.1.m1.2.2.2.4.3.cmml">0</mn></msub></mrow></msqrt><mo stretchy="false" id="S1.SS1.p6.1.m1.2.3.3.3.2.2" xref="S1.SS1.p6.1.m1.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p6.1.m1.2b"><apply id="S1.SS1.p6.1.m1.2.3.cmml" xref="S1.SS1.p6.1.m1.2.3"><eq id="S1.SS1.p6.1.m1.2.3.1.cmml" xref="S1.SS1.p6.1.m1.2.3.1"></eq><apply id="S1.SS1.p6.1.m1.2.3.2.cmml" xref="S1.SS1.p6.1.m1.2.3.2"><csymbol cd="ambiguous" id="S1.SS1.p6.1.m1.2.3.2.1.cmml" xref="S1.SS1.p6.1.m1.2.3.2">subscript</csymbol><apply id="S1.SS1.p6.1.m1.2.3.2.2.1.cmml" xref="S1.SS1.p6.1.m1.2.3.2.2.2"><csymbol cd="latexml" id="S1.SS1.p6.1.m1.2.3.2.2.1.1.cmml" xref="S1.SS1.p6.1.m1.2.3.2.2.2.1">norm</csymbol><ci id="S1.SS1.p6.1.m1.1.1.cmml" xref="S1.SS1.p6.1.m1.1.1">𝒙</ci></apply><cn type="integer" id="S1.SS1.p6.1.m1.2.3.2.3.cmml" xref="S1.SS1.p6.1.m1.2.3.2.3">2</cn></apply><apply id="S1.SS1.p6.1.m1.2.3.3.cmml" xref="S1.SS1.p6.1.m1.2.3.3"><times id="S1.SS1.p6.1.m1.2.3.3.1.cmml" xref="S1.SS1.p6.1.m1.2.3.3.1"></times><ci id="S1.SS1.p6.1.m1.2.3.3.2.cmml" xref="S1.SS1.p6.1.m1.2.3.3.2">Θ</ci><apply id="S1.SS1.p6.1.m1.2.2.cmml" xref="S1.SS1.p6.1.m1.2.3.3.3.2"><root id="S1.SS1.p6.1.m1.2.2a.cmml" xref="S1.SS1.p6.1.m1.2.3.3.3.2"></root><apply id="S1.SS1.p6.1.m1.2.2.2.cmml" xref="S1.SS1.p6.1.m1.2.2.2"><times id="S1.SS1.p6.1.m1.2.2.2.1.cmml" xref="S1.SS1.p6.1.m1.2.2.2.1"></times><cn type="integer" id="S1.SS1.p6.1.m1.2.2.2.2.cmml" xref="S1.SS1.p6.1.m1.2.2.2.2">0</cn><ci id="S1.SS1.p6.1.m1.2.2.2.3.cmml" xref="S1.SS1.p6.1.m1.2.2.2.3">𝑝</ci><apply id="S1.SS1.p6.1.m1.2.2.2.4.cmml" xref="S1.SS1.p6.1.m1.2.2.2.4"><csymbol cd="ambiguous" id="S1.SS1.p6.1.m1.2.2.2.4.1.cmml" xref="S1.SS1.p6.1.m1.2.2.2.4">subscript</csymbol><ci id="S1.SS1.p6.1.m1.2.2.2.4.2.cmml" xref="S1.SS1.p6.1.m1.2.2.2.4.2">𝑡</ci><cn type="integer" id="S1.SS1.p6.1.m1.2.2.2.4.3.cmml" xref="S1.SS1.p6.1.m1.2.2.2.4.3">0</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p6.1.m1.2c">\left|\!\left|{\bm{x}}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{0}})</annotation></semantics></math>, which is standard for image data. Language models are an important counterexample, where embedding matrices take one-hot inputs and the <math id="S1.SS1.p6.2.m2.1" class="ltx_Math" alttext="\sqrt{0pt_{0}}" display="inline"><semantics id="S1.SS1.p6.2.m2.1a"><msqrt id="S1.SS1.p6.2.m2.1.1" xref="S1.SS1.p6.2.m2.1.1.cmml"><mrow id="S1.SS1.p6.2.m2.1.1.2" xref="S1.SS1.p6.2.m2.1.1.2.cmml"><mn id="S1.SS1.p6.2.m2.1.1.2.2" xref="S1.SS1.p6.2.m2.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.SS1.p6.2.m2.1.1.2.1" xref="S1.SS1.p6.2.m2.1.1.2.1.cmml">​</mo><mi id="S1.SS1.p6.2.m2.1.1.2.3" xref="S1.SS1.p6.2.m2.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p6.2.m2.1.1.2.1a" xref="S1.SS1.p6.2.m2.1.1.2.1.cmml">​</mo><msub id="S1.SS1.p6.2.m2.1.1.2.4" xref="S1.SS1.p6.2.m2.1.1.2.4.cmml"><mi id="S1.SS1.p6.2.m2.1.1.2.4.2" xref="S1.SS1.p6.2.m2.1.1.2.4.2.cmml">t</mi><mn id="S1.SS1.p6.2.m2.1.1.2.4.3" xref="S1.SS1.p6.2.m2.1.1.2.4.3.cmml">0</mn></msub></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S1.SS1.p6.2.m2.1b"><apply id="S1.SS1.p6.2.m2.1.1.cmml" xref="S1.SS1.p6.2.m2.1.1"><root id="S1.SS1.p6.2.m2.1.1a.cmml" xref="S1.SS1.p6.2.m2.1.1"></root><apply id="S1.SS1.p6.2.m2.1.1.2.cmml" xref="S1.SS1.p6.2.m2.1.1.2"><times id="S1.SS1.p6.2.m2.1.1.2.1.cmml" xref="S1.SS1.p6.2.m2.1.1.2.1"></times><cn type="integer" id="S1.SS1.p6.2.m2.1.1.2.2.cmml" xref="S1.SS1.p6.2.m2.1.1.2.2">0</cn><ci id="S1.SS1.p6.2.m2.1.1.2.3.cmml" xref="S1.SS1.p6.2.m2.1.1.2.3">𝑝</ci><apply id="S1.SS1.p6.2.m2.1.1.2.4.cmml" xref="S1.SS1.p6.2.m2.1.1.2.4"><csymbol cd="ambiguous" id="S1.SS1.p6.2.m2.1.1.2.4.1.cmml" xref="S1.SS1.p6.2.m2.1.1.2.4">subscript</csymbol><ci id="S1.SS1.p6.2.m2.1.1.2.4.2.cmml" xref="S1.SS1.p6.2.m2.1.1.2.4.2">𝑡</ci><cn type="integer" id="S1.SS1.p6.2.m2.1.1.2.4.3.cmml" xref="S1.SS1.p6.2.m2.1.1.2.4.3">0</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p6.2.m2.1c">\sqrt{0pt_{0}}</annotation></semantics></math> in <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> should be replaced by <math id="S1.SS1.p6.3.m3.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S1.SS1.p6.3.m3.1a"><mn id="S1.SS1.p6.3.m3.1.1" xref="S1.SS1.p6.3.m3.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S1.SS1.p6.3.m3.1b"><cn type="integer" id="S1.SS1.p6.3.m3.1.1.cmml" xref="S1.SS1.p6.3.m3.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p6.3.m3.1c">1</annotation></semantics></math>.
<a href="#A5" title="Appendix E Nondimensionalization and natural norms ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">E</span></a> provides a unifying treatment of these cases.</p>
</div>
<div id="S1.SS1.p7" class="ltx_para ltx_noindent">
<p id="S1.SS1.p7.7" class="ltx_p">To get some quick intuition for the origin of <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, observe that under the forward propagation
<math id="S1.SS1.p7.1.m1.2" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})" display="inline"><semantics id="S1.SS1.p7.1.m1.2a"><mrow id="S1.SS1.p7.1.m1.2.3" xref="S1.SS1.p7.1.m1.2.3.cmml"><mrow id="S1.SS1.p7.1.m1.2.3.2" xref="S1.SS1.p7.1.m1.2.3.2.cmml"><msub id="S1.SS1.p7.1.m1.2.3.2.2" xref="S1.SS1.p7.1.m1.2.3.2.2.cmml"><mi id="S1.SS1.p7.1.m1.2.3.2.2.2" xref="S1.SS1.p7.1.m1.2.3.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.SS1.p7.1.m1.2.3.2.2.3" xref="S1.SS1.p7.1.m1.2.3.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.1.m1.2.3.2.1" xref="S1.SS1.p7.1.m1.2.3.2.1.cmml">​</mo><mrow id="S1.SS1.p7.1.m1.2.3.2.3.2" xref="S1.SS1.p7.1.m1.2.3.2.cmml"><mo stretchy="false" id="S1.SS1.p7.1.m1.2.3.2.3.2.1" xref="S1.SS1.p7.1.m1.2.3.2.cmml">(</mo><mi id="S1.SS1.p7.1.m1.1.1" xref="S1.SS1.p7.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p7.1.m1.2.3.2.3.2.2" xref="S1.SS1.p7.1.m1.2.3.2.cmml">)</mo></mrow></mrow><mo id="S1.SS1.p7.1.m1.2.3.1" xref="S1.SS1.p7.1.m1.2.3.1.cmml">=</mo><mrow id="S1.SS1.p7.1.m1.2.3.3" xref="S1.SS1.p7.1.m1.2.3.3.cmml"><msub id="S1.SS1.p7.1.m1.2.3.3.2" xref="S1.SS1.p7.1.m1.2.3.3.2.cmml"><mi id="S1.SS1.p7.1.m1.2.3.3.2.2" xref="S1.SS1.p7.1.m1.2.3.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.SS1.p7.1.m1.2.3.3.2.3" xref="S1.SS1.p7.1.m1.2.3.3.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.1.m1.2.3.3.1" xref="S1.SS1.p7.1.m1.2.3.3.1.cmml">​</mo><msub id="S1.SS1.p7.1.m1.2.3.3.3" xref="S1.SS1.p7.1.m1.2.3.3.3.cmml"><mi id="S1.SS1.p7.1.m1.2.3.3.3.2" xref="S1.SS1.p7.1.m1.2.3.3.3.2.cmml">𝒉</mi><mrow id="S1.SS1.p7.1.m1.2.3.3.3.3" xref="S1.SS1.p7.1.m1.2.3.3.3.3.cmml"><mi mathvariant="normal" id="S1.SS1.p7.1.m1.2.3.3.3.3.2" xref="S1.SS1.p7.1.m1.2.3.3.3.3.2.cmml">ℓ</mi><mo id="S1.SS1.p7.1.m1.2.3.3.3.3.1" xref="S1.SS1.p7.1.m1.2.3.3.3.3.1.cmml">−</mo><mn id="S1.SS1.p7.1.m1.2.3.3.3.3.3" xref="S1.SS1.p7.1.m1.2.3.3.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.1.m1.2.3.3.1a" xref="S1.SS1.p7.1.m1.2.3.3.1.cmml">​</mo><mrow id="S1.SS1.p7.1.m1.2.3.3.4.2" xref="S1.SS1.p7.1.m1.2.3.3.cmml"><mo stretchy="false" id="S1.SS1.p7.1.m1.2.3.3.4.2.1" xref="S1.SS1.p7.1.m1.2.3.3.cmml">(</mo><mi id="S1.SS1.p7.1.m1.2.2" xref="S1.SS1.p7.1.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p7.1.m1.2.3.3.4.2.2" xref="S1.SS1.p7.1.m1.2.3.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p7.1.m1.2b"><apply id="S1.SS1.p7.1.m1.2.3.cmml" xref="S1.SS1.p7.1.m1.2.3"><eq id="S1.SS1.p7.1.m1.2.3.1.cmml" xref="S1.SS1.p7.1.m1.2.3.1"></eq><apply id="S1.SS1.p7.1.m1.2.3.2.cmml" xref="S1.SS1.p7.1.m1.2.3.2"><times id="S1.SS1.p7.1.m1.2.3.2.1.cmml" xref="S1.SS1.p7.1.m1.2.3.2.1"></times><apply id="S1.SS1.p7.1.m1.2.3.2.2.cmml" xref="S1.SS1.p7.1.m1.2.3.2.2"><csymbol cd="ambiguous" id="S1.SS1.p7.1.m1.2.3.2.2.1.cmml" xref="S1.SS1.p7.1.m1.2.3.2.2">subscript</csymbol><ci id="S1.SS1.p7.1.m1.2.3.2.2.2.cmml" xref="S1.SS1.p7.1.m1.2.3.2.2.2">𝒉</ci><ci id="S1.SS1.p7.1.m1.2.3.2.2.3.cmml" xref="S1.SS1.p7.1.m1.2.3.2.2.3">ℓ</ci></apply><ci id="S1.SS1.p7.1.m1.1.1.cmml" xref="S1.SS1.p7.1.m1.1.1">𝒙</ci></apply><apply id="S1.SS1.p7.1.m1.2.3.3.cmml" xref="S1.SS1.p7.1.m1.2.3.3"><times id="S1.SS1.p7.1.m1.2.3.3.1.cmml" xref="S1.SS1.p7.1.m1.2.3.3.1"></times><apply id="S1.SS1.p7.1.m1.2.3.3.2.cmml" xref="S1.SS1.p7.1.m1.2.3.3.2"><csymbol cd="ambiguous" id="S1.SS1.p7.1.m1.2.3.3.2.1.cmml" xref="S1.SS1.p7.1.m1.2.3.3.2">subscript</csymbol><ci id="S1.SS1.p7.1.m1.2.3.3.2.2.cmml" xref="S1.SS1.p7.1.m1.2.3.3.2.2">𝑾</ci><ci id="S1.SS1.p7.1.m1.2.3.3.2.3.cmml" xref="S1.SS1.p7.1.m1.2.3.3.2.3">ℓ</ci></apply><apply id="S1.SS1.p7.1.m1.2.3.3.3.cmml" xref="S1.SS1.p7.1.m1.2.3.3.3"><csymbol cd="ambiguous" id="S1.SS1.p7.1.m1.2.3.3.3.1.cmml" xref="S1.SS1.p7.1.m1.2.3.3.3">subscript</csymbol><ci id="S1.SS1.p7.1.m1.2.3.3.3.2.cmml" xref="S1.SS1.p7.1.m1.2.3.3.3.2">𝒉</ci><apply id="S1.SS1.p7.1.m1.2.3.3.3.3.cmml" xref="S1.SS1.p7.1.m1.2.3.3.3.3"><minus id="S1.SS1.p7.1.m1.2.3.3.3.3.1.cmml" xref="S1.SS1.p7.1.m1.2.3.3.3.3.1"></minus><ci id="S1.SS1.p7.1.m1.2.3.3.3.3.2.cmml" xref="S1.SS1.p7.1.m1.2.3.3.3.3.2">ℓ</ci><cn type="integer" id="S1.SS1.p7.1.m1.2.3.3.3.3.3.cmml" xref="S1.SS1.p7.1.m1.2.3.3.3.3.3">1</cn></apply></apply><ci id="S1.SS1.p7.1.m1.2.2.cmml" xref="S1.SS1.p7.1.m1.2.2">𝒙</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p7.1.m1.2c">{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})</annotation></semantics></math>, if the layer input <math id="S1.SS1.p7.2.m2.1" class="ltx_Math" alttext="{\bm{h}}_{\ell-1}({\bm{x}})" display="inline"><semantics id="S1.SS1.p7.2.m2.1a"><mrow id="S1.SS1.p7.2.m2.1.2" xref="S1.SS1.p7.2.m2.1.2.cmml"><msub id="S1.SS1.p7.2.m2.1.2.2" xref="S1.SS1.p7.2.m2.1.2.2.cmml"><mi id="S1.SS1.p7.2.m2.1.2.2.2" xref="S1.SS1.p7.2.m2.1.2.2.2.cmml">𝒉</mi><mrow id="S1.SS1.p7.2.m2.1.2.2.3" xref="S1.SS1.p7.2.m2.1.2.2.3.cmml"><mi mathvariant="normal" id="S1.SS1.p7.2.m2.1.2.2.3.2" xref="S1.SS1.p7.2.m2.1.2.2.3.2.cmml">ℓ</mi><mo id="S1.SS1.p7.2.m2.1.2.2.3.1" xref="S1.SS1.p7.2.m2.1.2.2.3.1.cmml">−</mo><mn id="S1.SS1.p7.2.m2.1.2.2.3.3" xref="S1.SS1.p7.2.m2.1.2.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.2.m2.1.2.1" xref="S1.SS1.p7.2.m2.1.2.1.cmml">​</mo><mrow id="S1.SS1.p7.2.m2.1.2.3.2" xref="S1.SS1.p7.2.m2.1.2.cmml"><mo stretchy="false" id="S1.SS1.p7.2.m2.1.2.3.2.1" xref="S1.SS1.p7.2.m2.1.2.cmml">(</mo><mi id="S1.SS1.p7.2.m2.1.1" xref="S1.SS1.p7.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p7.2.m2.1.2.3.2.2" xref="S1.SS1.p7.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p7.2.m2.1b"><apply id="S1.SS1.p7.2.m2.1.2.cmml" xref="S1.SS1.p7.2.m2.1.2"><times id="S1.SS1.p7.2.m2.1.2.1.cmml" xref="S1.SS1.p7.2.m2.1.2.1"></times><apply id="S1.SS1.p7.2.m2.1.2.2.cmml" xref="S1.SS1.p7.2.m2.1.2.2"><csymbol cd="ambiguous" id="S1.SS1.p7.2.m2.1.2.2.1.cmml" xref="S1.SS1.p7.2.m2.1.2.2">subscript</csymbol><ci id="S1.SS1.p7.2.m2.1.2.2.2.cmml" xref="S1.SS1.p7.2.m2.1.2.2.2">𝒉</ci><apply id="S1.SS1.p7.2.m2.1.2.2.3.cmml" xref="S1.SS1.p7.2.m2.1.2.2.3"><minus id="S1.SS1.p7.2.m2.1.2.2.3.1.cmml" xref="S1.SS1.p7.2.m2.1.2.2.3.1"></minus><ci id="S1.SS1.p7.2.m2.1.2.2.3.2.cmml" xref="S1.SS1.p7.2.m2.1.2.2.3.2">ℓ</ci><cn type="integer" id="S1.SS1.p7.2.m2.1.2.2.3.3.cmml" xref="S1.SS1.p7.2.m2.1.2.2.3.3">1</cn></apply></apply><ci id="S1.SS1.p7.2.m2.1.1.cmml" xref="S1.SS1.p7.2.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p7.2.m2.1c">{\bm{h}}_{\ell-1}({\bm{x}})</annotation></semantics></math> aligns with the top singular vector of the weight matrix <math id="S1.SS1.p7.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S1.SS1.p7.3.m3.1a"><msub id="S1.SS1.p7.3.m3.1.1" xref="S1.SS1.p7.3.m3.1.1.cmml"><mi id="S1.SS1.p7.3.m3.1.1.2" xref="S1.SS1.p7.3.m3.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.SS1.p7.3.m3.1.1.3" xref="S1.SS1.p7.3.m3.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S1.SS1.p7.3.m3.1b"><apply id="S1.SS1.p7.3.m3.1.1.cmml" xref="S1.SS1.p7.3.m3.1.1"><csymbol cd="ambiguous" id="S1.SS1.p7.3.m3.1.1.1.cmml" xref="S1.SS1.p7.3.m3.1.1">subscript</csymbol><ci id="S1.SS1.p7.3.m3.1.1.2.cmml" xref="S1.SS1.p7.3.m3.1.1.2">𝑾</ci><ci id="S1.SS1.p7.3.m3.1.1.3.cmml" xref="S1.SS1.p7.3.m3.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p7.3.m3.1c">{\bm{W}}_{\ell}</annotation></semantics></math>, then
<math id="S1.SS1.p7.4.m4.5" class="ltx_Math" alttext="\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="S1.SS1.p7.4.m4.5a"><mrow id="S1.SS1.p7.4.m4.5.5" xref="S1.SS1.p7.4.m4.5.5.cmml"><msub id="S1.SS1.p7.4.m4.3.3.1" xref="S1.SS1.p7.4.m4.3.3.1.cmml"><mrow id="S1.SS1.p7.4.m4.3.3.1.1.1" xref="S1.SS1.p7.4.m4.3.3.1.1.2.cmml"><mo stretchy="false" id="S1.SS1.p7.4.m4.3.3.1.1.1.2" xref="S1.SS1.p7.4.m4.3.3.1.1.2.1.cmml">‖</mo><mrow id="S1.SS1.p7.4.m4.3.3.1.1.1.1" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.cmml"><msub id="S1.SS1.p7.4.m4.3.3.1.1.1.1.2" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.cmml"><mi id="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.2" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.3" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.4.m4.3.3.1.1.1.1.1" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S1.SS1.p7.4.m4.3.3.1.1.1.1.3.2" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S1.SS1.p7.4.m4.3.3.1.1.1.1.3.2.1" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.cmml">(</mo><mi id="S1.SS1.p7.4.m4.1.1" xref="S1.SS1.p7.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p7.4.m4.3.3.1.1.1.1.3.2.2" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S1.SS1.p7.4.m4.3.3.1.1.1.3" xref="S1.SS1.p7.4.m4.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S1.SS1.p7.4.m4.3.3.1.3" xref="S1.SS1.p7.4.m4.3.3.1.3.cmml">2</mn></msub><mo id="S1.SS1.p7.4.m4.5.5.4" xref="S1.SS1.p7.4.m4.5.5.4.cmml">=</mo><mrow id="S1.SS1.p7.4.m4.5.5.3" xref="S1.SS1.p7.4.m4.5.5.3.cmml"><msub id="S1.SS1.p7.4.m4.4.4.2.1" xref="S1.SS1.p7.4.m4.4.4.2.1.cmml"><mrow id="S1.SS1.p7.4.m4.4.4.2.1.1.1" xref="S1.SS1.p7.4.m4.4.4.2.1.1.2.cmml"><mo stretchy="false" id="S1.SS1.p7.4.m4.4.4.2.1.1.1.2" xref="S1.SS1.p7.4.m4.4.4.2.1.1.2.1.cmml">‖</mo><msub id="S1.SS1.p7.4.m4.4.4.2.1.1.1.1" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.cmml"><mi id="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.2" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.3" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.3.cmml">ℓ</mi></msub><mo rspace="0.055em" stretchy="false" id="S1.SS1.p7.4.m4.4.4.2.1.1.1.3" xref="S1.SS1.p7.4.m4.4.4.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S1.SS1.p7.4.m4.4.4.2.1.3" xref="S1.SS1.p7.4.m4.4.4.2.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S1.SS1.p7.4.m4.5.5.3.3" xref="S1.SS1.p7.4.m4.5.5.3.3.cmml">⋅</mo><msub id="S1.SS1.p7.4.m4.5.5.3.2" xref="S1.SS1.p7.4.m4.5.5.3.2.cmml"><mrow id="S1.SS1.p7.4.m4.5.5.3.2.1.1" xref="S1.SS1.p7.4.m4.5.5.3.2.1.2.cmml"><mo stretchy="false" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.2" xref="S1.SS1.p7.4.m4.5.5.3.2.1.2.1.cmml">‖</mo><mrow id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.cmml"><msub id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.cmml"><mi id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.2" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.2" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.1" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.1.cmml">−</mo><mn id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.3" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.1" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.1.cmml">​</mo><mrow id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.3.2" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.cmml"><mo stretchy="false" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.3.2.1" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.cmml">(</mo><mi id="S1.SS1.p7.4.m4.2.2" xref="S1.SS1.p7.4.m4.2.2.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.3.2.2" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.3" xref="S1.SS1.p7.4.m4.5.5.3.2.1.2.1.cmml">‖</mo></mrow><mn id="S1.SS1.p7.4.m4.5.5.3.2.3" xref="S1.SS1.p7.4.m4.5.5.3.2.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p7.4.m4.5b"><apply id="S1.SS1.p7.4.m4.5.5.cmml" xref="S1.SS1.p7.4.m4.5.5"><eq id="S1.SS1.p7.4.m4.5.5.4.cmml" xref="S1.SS1.p7.4.m4.5.5.4"></eq><apply id="S1.SS1.p7.4.m4.3.3.1.cmml" xref="S1.SS1.p7.4.m4.3.3.1"><csymbol cd="ambiguous" id="S1.SS1.p7.4.m4.3.3.1.2.cmml" xref="S1.SS1.p7.4.m4.3.3.1">subscript</csymbol><apply id="S1.SS1.p7.4.m4.3.3.1.1.2.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1"><csymbol cd="latexml" id="S1.SS1.p7.4.m4.3.3.1.1.2.1.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1.2">norm</csymbol><apply id="S1.SS1.p7.4.m4.3.3.1.1.1.1.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1"><times id="S1.SS1.p7.4.m4.3.3.1.1.1.1.1.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.1"></times><apply id="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.1.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.2">subscript</csymbol><ci id="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.2.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.2">𝒉</ci><ci id="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.3.cmml" xref="S1.SS1.p7.4.m4.3.3.1.1.1.1.2.3">ℓ</ci></apply><ci id="S1.SS1.p7.4.m4.1.1.cmml" xref="S1.SS1.p7.4.m4.1.1">𝒙</ci></apply></apply><cn type="integer" id="S1.SS1.p7.4.m4.3.3.1.3.cmml" xref="S1.SS1.p7.4.m4.3.3.1.3">2</cn></apply><apply id="S1.SS1.p7.4.m4.5.5.3.cmml" xref="S1.SS1.p7.4.m4.5.5.3"><ci id="S1.SS1.p7.4.m4.5.5.3.3.cmml" xref="S1.SS1.p7.4.m4.5.5.3.3">⋅</ci><apply id="S1.SS1.p7.4.m4.4.4.2.1.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1"><csymbol cd="ambiguous" id="S1.SS1.p7.4.m4.4.4.2.1.2.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1">subscript</csymbol><apply id="S1.SS1.p7.4.m4.4.4.2.1.1.2.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1"><csymbol cd="latexml" id="S1.SS1.p7.4.m4.4.4.2.1.1.2.1.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.2">norm</csymbol><apply id="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.1"><csymbol cd="ambiguous" id="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.1.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.1">subscript</csymbol><ci id="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.2.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.2">𝑾</ci><ci id="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.3.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1.1.1.1.3">ℓ</ci></apply></apply><times id="S1.SS1.p7.4.m4.4.4.2.1.3.cmml" xref="S1.SS1.p7.4.m4.4.4.2.1.3"></times></apply><apply id="S1.SS1.p7.4.m4.5.5.3.2.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2"><csymbol cd="ambiguous" id="S1.SS1.p7.4.m4.5.5.3.2.2.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2">subscript</csymbol><apply id="S1.SS1.p7.4.m4.5.5.3.2.1.2.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1"><csymbol cd="latexml" id="S1.SS1.p7.4.m4.5.5.3.2.1.2.1.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.2">norm</csymbol><apply id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1"><times id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.1.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.1"></times><apply id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2"><csymbol cd="ambiguous" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.1.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2">subscript</csymbol><ci id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.2.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.2">𝒉</ci><apply id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3"><minus id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.1.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.1"></minus><ci id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.2.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.3.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S1.SS1.p7.4.m4.2.2.cmml" xref="S1.SS1.p7.4.m4.2.2">𝒙</ci></apply></apply><cn type="integer" id="S1.SS1.p7.4.m4.5.5.3.2.3.cmml" xref="S1.SS1.p7.4.m4.5.5.3.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p7.4.m4.5c">\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math>.
The requirement that
<math id="S1.SS1.p7.5.m5.2" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})" display="inline"><semantics id="S1.SS1.p7.5.m5.2a"><mrow id="S1.SS1.p7.5.m5.2.2" xref="S1.SS1.p7.5.m5.2.2.cmml"><msub id="S1.SS1.p7.5.m5.2.2.1" xref="S1.SS1.p7.5.m5.2.2.1.cmml"><mrow id="S1.SS1.p7.5.m5.2.2.1.1.1" xref="S1.SS1.p7.5.m5.2.2.1.1.2.cmml"><mo stretchy="false" id="S1.SS1.p7.5.m5.2.2.1.1.1.2" xref="S1.SS1.p7.5.m5.2.2.1.1.2.1.cmml">‖</mo><msub id="S1.SS1.p7.5.m5.2.2.1.1.1.1" xref="S1.SS1.p7.5.m5.2.2.1.1.1.1.cmml"><mi id="S1.SS1.p7.5.m5.2.2.1.1.1.1.2" xref="S1.SS1.p7.5.m5.2.2.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.SS1.p7.5.m5.2.2.1.1.1.1.3" xref="S1.SS1.p7.5.m5.2.2.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S1.SS1.p7.5.m5.2.2.1.1.1.3" xref="S1.SS1.p7.5.m5.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S1.SS1.p7.5.m5.2.2.1.3" xref="S1.SS1.p7.5.m5.2.2.1.3.cmml">∗</mo></msub><mo id="S1.SS1.p7.5.m5.2.2.2" xref="S1.SS1.p7.5.m5.2.2.2.cmml">=</mo><mrow id="S1.SS1.p7.5.m5.2.2.3" xref="S1.SS1.p7.5.m5.2.2.3.cmml"><mi mathvariant="normal" id="S1.SS1.p7.5.m5.2.2.3.2" xref="S1.SS1.p7.5.m5.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p7.5.m5.2.2.3.1" xref="S1.SS1.p7.5.m5.2.2.3.1.cmml">​</mo><mrow id="S1.SS1.p7.5.m5.2.2.3.3.2" xref="S1.SS1.p7.5.m5.1.1.cmml"><mo stretchy="false" id="S1.SS1.p7.5.m5.2.2.3.3.2.1" xref="S1.SS1.p7.5.m5.1.1.cmml">(</mo><msqrt id="S1.SS1.p7.5.m5.1.1" xref="S1.SS1.p7.5.m5.1.1.cmml"><mrow id="S1.SS1.p7.5.m5.1.1.2" xref="S1.SS1.p7.5.m5.1.1.2.cmml"><mrow id="S1.SS1.p7.5.m5.1.1.2.2" xref="S1.SS1.p7.5.m5.1.1.2.2.cmml"><mrow id="S1.SS1.p7.5.m5.1.1.2.2.2" xref="S1.SS1.p7.5.m5.1.1.2.2.2.cmml"><mn id="S1.SS1.p7.5.m5.1.1.2.2.2.2" xref="S1.SS1.p7.5.m5.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S1.SS1.p7.5.m5.1.1.2.2.2.1" xref="S1.SS1.p7.5.m5.1.1.2.2.2.1.cmml">​</mo><mi id="S1.SS1.p7.5.m5.1.1.2.2.2.3" xref="S1.SS1.p7.5.m5.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p7.5.m5.1.1.2.2.2.1a" xref="S1.SS1.p7.5.m5.1.1.2.2.2.1.cmml">​</mo><msub id="S1.SS1.p7.5.m5.1.1.2.2.2.4" xref="S1.SS1.p7.5.m5.1.1.2.2.2.4.cmml"><mi id="S1.SS1.p7.5.m5.1.1.2.2.2.4.2" xref="S1.SS1.p7.5.m5.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S1.SS1.p7.5.m5.1.1.2.2.2.4.3" xref="S1.SS1.p7.5.m5.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S1.SS1.p7.5.m5.1.1.2.2.1" xref="S1.SS1.p7.5.m5.1.1.2.2.1.cmml">/</mo><mn id="S1.SS1.p7.5.m5.1.1.2.2.3" xref="S1.SS1.p7.5.m5.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S1.SS1.p7.5.m5.1.1.2.1" xref="S1.SS1.p7.5.m5.1.1.2.1.cmml">​</mo><mi id="S1.SS1.p7.5.m5.1.1.2.3" xref="S1.SS1.p7.5.m5.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p7.5.m5.1.1.2.1a" xref="S1.SS1.p7.5.m5.1.1.2.1.cmml">​</mo><msub id="S1.SS1.p7.5.m5.1.1.2.4" xref="S1.SS1.p7.5.m5.1.1.2.4.cmml"><mi id="S1.SS1.p7.5.m5.1.1.2.4.2" xref="S1.SS1.p7.5.m5.1.1.2.4.2.cmml">t</mi><mrow id="S1.SS1.p7.5.m5.1.1.2.4.3" xref="S1.SS1.p7.5.m5.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S1.SS1.p7.5.m5.1.1.2.4.3.2" xref="S1.SS1.p7.5.m5.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S1.SS1.p7.5.m5.1.1.2.4.3.1" xref="S1.SS1.p7.5.m5.1.1.2.4.3.1.cmml">−</mo><mn id="S1.SS1.p7.5.m5.1.1.2.4.3.3" xref="S1.SS1.p7.5.m5.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo stretchy="false" id="S1.SS1.p7.5.m5.2.2.3.3.2.2" xref="S1.SS1.p7.5.m5.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p7.5.m5.2b"><apply id="S1.SS1.p7.5.m5.2.2.cmml" xref="S1.SS1.p7.5.m5.2.2"><eq id="S1.SS1.p7.5.m5.2.2.2.cmml" xref="S1.SS1.p7.5.m5.2.2.2"></eq><apply id="S1.SS1.p7.5.m5.2.2.1.cmml" xref="S1.SS1.p7.5.m5.2.2.1"><csymbol cd="ambiguous" id="S1.SS1.p7.5.m5.2.2.1.2.cmml" xref="S1.SS1.p7.5.m5.2.2.1">subscript</csymbol><apply id="S1.SS1.p7.5.m5.2.2.1.1.2.cmml" xref="S1.SS1.p7.5.m5.2.2.1.1.1"><csymbol cd="latexml" id="S1.SS1.p7.5.m5.2.2.1.1.2.1.cmml" xref="S1.SS1.p7.5.m5.2.2.1.1.1.2">norm</csymbol><apply id="S1.SS1.p7.5.m5.2.2.1.1.1.1.cmml" xref="S1.SS1.p7.5.m5.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S1.SS1.p7.5.m5.2.2.1.1.1.1.1.cmml" xref="S1.SS1.p7.5.m5.2.2.1.1.1.1">subscript</csymbol><ci id="S1.SS1.p7.5.m5.2.2.1.1.1.1.2.cmml" xref="S1.SS1.p7.5.m5.2.2.1.1.1.1.2">𝑾</ci><ci id="S1.SS1.p7.5.m5.2.2.1.1.1.1.3.cmml" xref="S1.SS1.p7.5.m5.2.2.1.1.1.1.3">ℓ</ci></apply></apply><times id="S1.SS1.p7.5.m5.2.2.1.3.cmml" xref="S1.SS1.p7.5.m5.2.2.1.3"></times></apply><apply id="S1.SS1.p7.5.m5.2.2.3.cmml" xref="S1.SS1.p7.5.m5.2.2.3"><times id="S1.SS1.p7.5.m5.2.2.3.1.cmml" xref="S1.SS1.p7.5.m5.2.2.3.1"></times><ci id="S1.SS1.p7.5.m5.2.2.3.2.cmml" xref="S1.SS1.p7.5.m5.2.2.3.2">Θ</ci><apply id="S1.SS1.p7.5.m5.1.1.cmml" xref="S1.SS1.p7.5.m5.2.2.3.3.2"><root id="S1.SS1.p7.5.m5.1.1a.cmml" xref="S1.SS1.p7.5.m5.2.2.3.3.2"></root><apply id="S1.SS1.p7.5.m5.1.1.2.cmml" xref="S1.SS1.p7.5.m5.1.1.2"><times id="S1.SS1.p7.5.m5.1.1.2.1.cmml" xref="S1.SS1.p7.5.m5.1.1.2.1"></times><apply id="S1.SS1.p7.5.m5.1.1.2.2.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2"><divide id="S1.SS1.p7.5.m5.1.1.2.2.1.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.1"></divide><apply id="S1.SS1.p7.5.m5.1.1.2.2.2.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2"><times id="S1.SS1.p7.5.m5.1.1.2.2.2.1.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2.1"></times><cn type="integer" id="S1.SS1.p7.5.m5.1.1.2.2.2.2.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2.2">0</cn><ci id="S1.SS1.p7.5.m5.1.1.2.2.2.3.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2.3">𝑝</ci><apply id="S1.SS1.p7.5.m5.1.1.2.2.2.4.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S1.SS1.p7.5.m5.1.1.2.2.2.4.1.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2.4">subscript</csymbol><ci id="S1.SS1.p7.5.m5.1.1.2.2.2.4.2.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2.4.2">𝑡</ci><ci id="S1.SS1.p7.5.m5.1.1.2.2.2.4.3.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S1.SS1.p7.5.m5.1.1.2.2.3.cmml" xref="S1.SS1.p7.5.m5.1.1.2.2.3">0</cn></apply><ci id="S1.SS1.p7.5.m5.1.1.2.3.cmml" xref="S1.SS1.p7.5.m5.1.1.2.3">𝑝</ci><apply id="S1.SS1.p7.5.m5.1.1.2.4.cmml" xref="S1.SS1.p7.5.m5.1.1.2.4"><csymbol cd="ambiguous" id="S1.SS1.p7.5.m5.1.1.2.4.1.cmml" xref="S1.SS1.p7.5.m5.1.1.2.4">subscript</csymbol><ci id="S1.SS1.p7.5.m5.1.1.2.4.2.cmml" xref="S1.SS1.p7.5.m5.1.1.2.4.2">𝑡</ci><apply id="S1.SS1.p7.5.m5.1.1.2.4.3.cmml" xref="S1.SS1.p7.5.m5.1.1.2.4.3"><minus id="S1.SS1.p7.5.m5.1.1.2.4.3.1.cmml" xref="S1.SS1.p7.5.m5.1.1.2.4.3.1"></minus><ci id="S1.SS1.p7.5.m5.1.1.2.4.3.2.cmml" xref="S1.SS1.p7.5.m5.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S1.SS1.p7.5.m5.1.1.2.4.3.3.cmml" xref="S1.SS1.p7.5.m5.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p7.5.m5.2c">\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})</annotation></semantics></math> then follows from <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
The scaling of <math id="S1.SS1.p7.6.m6.1" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}" display="inline"><semantics id="S1.SS1.p7.6.m6.1a"><msub id="S1.SS1.p7.6.m6.1.1" xref="S1.SS1.p7.6.m6.1.1.cmml"><mrow id="S1.SS1.p7.6.m6.1.1.1.1" xref="S1.SS1.p7.6.m6.1.1.1.2.cmml"><mo stretchy="false" id="S1.SS1.p7.6.m6.1.1.1.1.2" xref="S1.SS1.p7.6.m6.1.1.1.2.1.cmml">‖</mo><mrow id="S1.SS1.p7.6.m6.1.1.1.1.1" xref="S1.SS1.p7.6.m6.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S1.SS1.p7.6.m6.1.1.1.1.1.2" xref="S1.SS1.p7.6.m6.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S1.SS1.p7.6.m6.1.1.1.1.1.1" xref="S1.SS1.p7.6.m6.1.1.1.1.1.1.cmml">​</mo><msub id="S1.SS1.p7.6.m6.1.1.1.1.1.3" xref="S1.SS1.p7.6.m6.1.1.1.1.1.3.cmml"><mi id="S1.SS1.p7.6.m6.1.1.1.1.1.3.2" xref="S1.SS1.p7.6.m6.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.SS1.p7.6.m6.1.1.1.1.1.3.3" xref="S1.SS1.p7.6.m6.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S1.SS1.p7.6.m6.1.1.1.1.3" xref="S1.SS1.p7.6.m6.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S1.SS1.p7.6.m6.1.1.3" xref="S1.SS1.p7.6.m6.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="S1.SS1.p7.6.m6.1b"><apply id="S1.SS1.p7.6.m6.1.1.cmml" xref="S1.SS1.p7.6.m6.1.1"><csymbol cd="ambiguous" id="S1.SS1.p7.6.m6.1.1.2.cmml" xref="S1.SS1.p7.6.m6.1.1">subscript</csymbol><apply id="S1.SS1.p7.6.m6.1.1.1.2.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1"><csymbol cd="latexml" id="S1.SS1.p7.6.m6.1.1.1.2.1.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.2">norm</csymbol><apply id="S1.SS1.p7.6.m6.1.1.1.1.1.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.1"><times id="S1.SS1.p7.6.m6.1.1.1.1.1.1.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.1.1"></times><ci id="S1.SS1.p7.6.m6.1.1.1.1.1.2.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.1.2">Δ</ci><apply id="S1.SS1.p7.6.m6.1.1.1.1.1.3.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S1.SS1.p7.6.m6.1.1.1.1.1.3.1.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.1.3">subscript</csymbol><ci id="S1.SS1.p7.6.m6.1.1.1.1.1.3.2.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.1.3.2">𝑾</ci><ci id="S1.SS1.p7.6.m6.1.1.1.1.1.3.3.cmml" xref="S1.SS1.p7.6.m6.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S1.SS1.p7.6.m6.1.1.3.cmml" xref="S1.SS1.p7.6.m6.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p7.6.m6.1c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}</annotation></semantics></math> can similarly be obtained by writing <math id="S1.SS1.p7.7.m7.2" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})=\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})+\ldots" display="inline"><semantics id="S1.SS1.p7.7.m7.2a"><mrow id="S1.SS1.p7.7.m7.2.3" xref="S1.SS1.p7.7.m7.2.3.cmml"><mrow id="S1.SS1.p7.7.m7.2.3.2" xref="S1.SS1.p7.7.m7.2.3.2.cmml"><mi mathvariant="normal" id="S1.SS1.p7.7.m7.2.3.2.2" xref="S1.SS1.p7.7.m7.2.3.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S1.SS1.p7.7.m7.2.3.2.1" xref="S1.SS1.p7.7.m7.2.3.2.1.cmml">​</mo><msub id="S1.SS1.p7.7.m7.2.3.2.3" xref="S1.SS1.p7.7.m7.2.3.2.3.cmml"><mi id="S1.SS1.p7.7.m7.2.3.2.3.2" xref="S1.SS1.p7.7.m7.2.3.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S1.SS1.p7.7.m7.2.3.2.3.3" xref="S1.SS1.p7.7.m7.2.3.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.7.m7.2.3.2.1a" xref="S1.SS1.p7.7.m7.2.3.2.1.cmml">​</mo><mrow id="S1.SS1.p7.7.m7.2.3.2.4.2" xref="S1.SS1.p7.7.m7.2.3.2.cmml"><mo stretchy="false" id="S1.SS1.p7.7.m7.2.3.2.4.2.1" xref="S1.SS1.p7.7.m7.2.3.2.cmml">(</mo><mi id="S1.SS1.p7.7.m7.1.1" xref="S1.SS1.p7.7.m7.1.1.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p7.7.m7.2.3.2.4.2.2" xref="S1.SS1.p7.7.m7.2.3.2.cmml">)</mo></mrow></mrow><mo id="S1.SS1.p7.7.m7.2.3.1" xref="S1.SS1.p7.7.m7.2.3.1.cmml">=</mo><mrow id="S1.SS1.p7.7.m7.2.3.3" xref="S1.SS1.p7.7.m7.2.3.3.cmml"><mrow id="S1.SS1.p7.7.m7.2.3.3.2" xref="S1.SS1.p7.7.m7.2.3.3.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S1.SS1.p7.7.m7.2.3.3.2.2" xref="S1.SS1.p7.7.m7.2.3.3.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S1.SS1.p7.7.m7.2.3.3.2.1" xref="S1.SS1.p7.7.m7.2.3.3.2.1.cmml">​</mo><msub id="S1.SS1.p7.7.m7.2.3.3.2.3" xref="S1.SS1.p7.7.m7.2.3.3.2.3.cmml"><mi id="S1.SS1.p7.7.m7.2.3.3.2.3.2" xref="S1.SS1.p7.7.m7.2.3.3.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S1.SS1.p7.7.m7.2.3.3.2.3.3" xref="S1.SS1.p7.7.m7.2.3.3.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.7.m7.2.3.3.2.1a" xref="S1.SS1.p7.7.m7.2.3.3.2.1.cmml">​</mo><msub id="S1.SS1.p7.7.m7.2.3.3.2.4" xref="S1.SS1.p7.7.m7.2.3.3.2.4.cmml"><mi id="S1.SS1.p7.7.m7.2.3.3.2.4.2" xref="S1.SS1.p7.7.m7.2.3.3.2.4.2.cmml">𝒉</mi><mrow id="S1.SS1.p7.7.m7.2.3.3.2.4.3" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3.cmml"><mi mathvariant="normal" id="S1.SS1.p7.7.m7.2.3.3.2.4.3.2" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3.2.cmml">ℓ</mi><mo id="S1.SS1.p7.7.m7.2.3.3.2.4.3.1" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3.1.cmml">−</mo><mn id="S1.SS1.p7.7.m7.2.3.3.2.4.3.3" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S1.SS1.p7.7.m7.2.3.3.2.1b" xref="S1.SS1.p7.7.m7.2.3.3.2.1.cmml">​</mo><mrow id="S1.SS1.p7.7.m7.2.3.3.2.5.2" xref="S1.SS1.p7.7.m7.2.3.3.2.cmml"><mo stretchy="false" id="S1.SS1.p7.7.m7.2.3.3.2.5.2.1" xref="S1.SS1.p7.7.m7.2.3.3.2.cmml">(</mo><mi id="S1.SS1.p7.7.m7.2.2" xref="S1.SS1.p7.7.m7.2.2.cmml">𝒙</mi><mo stretchy="false" id="S1.SS1.p7.7.m7.2.3.3.2.5.2.2" xref="S1.SS1.p7.7.m7.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="S1.SS1.p7.7.m7.2.3.3.1" xref="S1.SS1.p7.7.m7.2.3.3.1.cmml">+</mo><mi mathvariant="normal" id="S1.SS1.p7.7.m7.2.3.3.3" xref="S1.SS1.p7.7.m7.2.3.3.3.cmml">…</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S1.SS1.p7.7.m7.2b"><apply id="S1.SS1.p7.7.m7.2.3.cmml" xref="S1.SS1.p7.7.m7.2.3"><eq id="S1.SS1.p7.7.m7.2.3.1.cmml" xref="S1.SS1.p7.7.m7.2.3.1"></eq><apply id="S1.SS1.p7.7.m7.2.3.2.cmml" xref="S1.SS1.p7.7.m7.2.3.2"><times id="S1.SS1.p7.7.m7.2.3.2.1.cmml" xref="S1.SS1.p7.7.m7.2.3.2.1"></times><ci id="S1.SS1.p7.7.m7.2.3.2.2.cmml" xref="S1.SS1.p7.7.m7.2.3.2.2">Δ</ci><apply id="S1.SS1.p7.7.m7.2.3.2.3.cmml" xref="S1.SS1.p7.7.m7.2.3.2.3"><csymbol cd="ambiguous" id="S1.SS1.p7.7.m7.2.3.2.3.1.cmml" xref="S1.SS1.p7.7.m7.2.3.2.3">subscript</csymbol><ci id="S1.SS1.p7.7.m7.2.3.2.3.2.cmml" xref="S1.SS1.p7.7.m7.2.3.2.3.2">𝒉</ci><ci id="S1.SS1.p7.7.m7.2.3.2.3.3.cmml" xref="S1.SS1.p7.7.m7.2.3.2.3.3">ℓ</ci></apply><ci id="S1.SS1.p7.7.m7.1.1.cmml" xref="S1.SS1.p7.7.m7.1.1">𝒙</ci></apply><apply id="S1.SS1.p7.7.m7.2.3.3.cmml" xref="S1.SS1.p7.7.m7.2.3.3"><plus id="S1.SS1.p7.7.m7.2.3.3.1.cmml" xref="S1.SS1.p7.7.m7.2.3.3.1"></plus><apply id="S1.SS1.p7.7.m7.2.3.3.2.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2"><times id="S1.SS1.p7.7.m7.2.3.3.2.1.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.1"></times><ci id="S1.SS1.p7.7.m7.2.3.3.2.2.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.2">Δ</ci><apply id="S1.SS1.p7.7.m7.2.3.3.2.3.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.3"><csymbol cd="ambiguous" id="S1.SS1.p7.7.m7.2.3.3.2.3.1.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.3">subscript</csymbol><ci id="S1.SS1.p7.7.m7.2.3.3.2.3.2.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.3.2">𝑾</ci><ci id="S1.SS1.p7.7.m7.2.3.3.2.3.3.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.3.3">ℓ</ci></apply><apply id="S1.SS1.p7.7.m7.2.3.3.2.4.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.4"><csymbol cd="ambiguous" id="S1.SS1.p7.7.m7.2.3.3.2.4.1.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.4">subscript</csymbol><ci id="S1.SS1.p7.7.m7.2.3.3.2.4.2.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.4.2">𝒉</ci><apply id="S1.SS1.p7.7.m7.2.3.3.2.4.3.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3"><minus id="S1.SS1.p7.7.m7.2.3.3.2.4.3.1.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3.1"></minus><ci id="S1.SS1.p7.7.m7.2.3.3.2.4.3.2.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3.2">ℓ</ci><cn type="integer" id="S1.SS1.p7.7.m7.2.3.3.2.4.3.3.cmml" xref="S1.SS1.p7.7.m7.2.3.3.2.4.3.3">1</cn></apply></apply><ci id="S1.SS1.p7.7.m7.2.2.cmml" xref="S1.SS1.p7.7.m7.2.2">𝒙</ci></apply><ci id="S1.SS1.p7.7.m7.2.3.3.3.cmml" xref="S1.SS1.p7.7.m7.2.3.3.3">…</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p7.7.m7.2c">\Delta{\bm{h}}_{\ell}({\bm{x}})=\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})+\ldots</annotation></semantics></math> and applying the same argument. The key missing step is to justify that layer inputs actually do line up with the top singular subspaces of both weight matrices and weight updates. As the paper will show, gradient descent training actually induces this form of alignment.</p>
</div>
<div id="S1.SS1.p8" class="ltx_para ltx_noindent">
<p id="S1.SS1.p8.1" class="ltx_p">The bulk of this paper is dedicated to thoroughly demonstrating that training in accordance with our spectral scaling condition satisfies <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> in MLPs.
As an accessible path to this conclusion, we begin in <a href="#S3" title="3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">3</span></a> with a simple model—a deep linear MLP trained for one step on one example—and then successively extend to multiple training steps, a nonlinear model, and multiple inputs.
In the process, we give a scaling analysis of the dynamics of feature learning.
We then explain how <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> may be achieved in a standard deep learning setting and compare-and-contrast the resulting scaling prescription with others in the literature. In particular, we recover the recent “maximal-update parametrization” (<math id="S1.SS1.p8.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S1.SS1.p8.1.m1.1a"><mi id="S1.SS1.p8.1.m1.1.1" xref="S1.SS1.p8.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S1.SS1.p8.1.m1.1b"><ci id="S1.SS1.p8.1.m1.1.1.cmml" xref="S1.SS1.p8.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S1.SS1.p8.1.m1.1c">\mu</annotation></semantics></math>P) <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Hu, <a href="#bib.bib46" title="" class="ltx_ref">2021b</a>)</cite>.</p>
</div>
</section>
<section id="S1.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">1.2 </span>Summary of contributions</h3>

<div id="S1.SS2.p1" class="ltx_para ltx_noindent">
<p id="S1.SS2.p1.1" class="ltx_p">Concretely, our contributions are as follows:</p>
<ul id="S1.I1" class="ltx_itemize">
<li id="S1.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i1.p1" class="ltx_para">
<p id="S1.I1.i1.p1.1" class="ltx_p">We propose the <span id="S1.I1.i1.p1.1.1" class="ltx_text ltx_font_italic">spectral scaling condition</span> (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) and show that it suffices to achieve feature learning in neural networks even at large width.</p>
</div>
</li>
<li id="S1.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i2.p1" class="ltx_para">
<p id="S1.I1.i2.p1.2" class="ltx_p">We show how <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> may be implemented: either via direct spectral normalization, or by layerwise initialization scales <math id="S1.I1.i2.p1.1.m1.1" class="ltx_Math" alttext="\{\sigma_{\ell}\}" display="inline"><semantics id="S1.I1.i2.p1.1.m1.1a"><mrow id="S1.I1.i2.p1.1.m1.1.1.1" xref="S1.I1.i2.p1.1.m1.1.1.2.cmml"><mo stretchy="false" id="S1.I1.i2.p1.1.m1.1.1.1.2" xref="S1.I1.i2.p1.1.m1.1.1.2.cmml">{</mo><msub id="S1.I1.i2.p1.1.m1.1.1.1.1" xref="S1.I1.i2.p1.1.m1.1.1.1.1.cmml"><mi id="S1.I1.i2.p1.1.m1.1.1.1.1.2" xref="S1.I1.i2.p1.1.m1.1.1.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S1.I1.i2.p1.1.m1.1.1.1.1.3" xref="S1.I1.i2.p1.1.m1.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S1.I1.i2.p1.1.m1.1.1.1.3" xref="S1.I1.i2.p1.1.m1.1.1.2.cmml">}</mo></mrow><annotation-xml encoding="MathML-Content" id="S1.I1.i2.p1.1.m1.1b"><set id="S1.I1.i2.p1.1.m1.1.1.2.cmml" xref="S1.I1.i2.p1.1.m1.1.1.1"><apply id="S1.I1.i2.p1.1.m1.1.1.1.1.cmml" xref="S1.I1.i2.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S1.I1.i2.p1.1.m1.1.1.1.1.1.cmml" xref="S1.I1.i2.p1.1.m1.1.1.1.1">subscript</csymbol><ci id="S1.I1.i2.p1.1.m1.1.1.1.1.2.cmml" xref="S1.I1.i2.p1.1.m1.1.1.1.1.2">𝜎</ci><ci id="S1.I1.i2.p1.1.m1.1.1.1.1.3.cmml" xref="S1.I1.i2.p1.1.m1.1.1.1.1.3">ℓ</ci></apply></set></annotation-xml><annotation encoding="application/x-tex" id="S1.I1.i2.p1.1.m1.1c">\{\sigma_{\ell}\}</annotation></semantics></math> and learning rates <math id="S1.I1.i2.p1.2.m2.1" class="ltx_Math" alttext="\{\eta_{\ell}\}" display="inline"><semantics id="S1.I1.i2.p1.2.m2.1a"><mrow id="S1.I1.i2.p1.2.m2.1.1.1" xref="S1.I1.i2.p1.2.m2.1.1.2.cmml"><mo stretchy="false" id="S1.I1.i2.p1.2.m2.1.1.1.2" xref="S1.I1.i2.p1.2.m2.1.1.2.cmml">{</mo><msub id="S1.I1.i2.p1.2.m2.1.1.1.1" xref="S1.I1.i2.p1.2.m2.1.1.1.1.cmml"><mi id="S1.I1.i2.p1.2.m2.1.1.1.1.2" xref="S1.I1.i2.p1.2.m2.1.1.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S1.I1.i2.p1.2.m2.1.1.1.1.3" xref="S1.I1.i2.p1.2.m2.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S1.I1.i2.p1.2.m2.1.1.1.3" xref="S1.I1.i2.p1.2.m2.1.1.2.cmml">}</mo></mrow><annotation-xml encoding="MathML-Content" id="S1.I1.i2.p1.2.m2.1b"><set id="S1.I1.i2.p1.2.m2.1.1.2.cmml" xref="S1.I1.i2.p1.2.m2.1.1.1"><apply id="S1.I1.i2.p1.2.m2.1.1.1.1.cmml" xref="S1.I1.i2.p1.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="S1.I1.i2.p1.2.m2.1.1.1.1.1.cmml" xref="S1.I1.i2.p1.2.m2.1.1.1.1">subscript</csymbol><ci id="S1.I1.i2.p1.2.m2.1.1.1.1.2.cmml" xref="S1.I1.i2.p1.2.m2.1.1.1.1.2">𝜂</ci><ci id="S1.I1.i2.p1.2.m2.1.1.1.1.3.cmml" xref="S1.I1.i2.p1.2.m2.1.1.1.1.3">ℓ</ci></apply></set></annotation-xml><annotation encoding="application/x-tex" id="S1.I1.i2.p1.2.m2.1c">\{\eta_{\ell}\}</annotation></semantics></math> that recover <span id="S1.I1.i2.p1.2.1" class="ltx_text ltx_font_italic">maximal update parametrization</span>.<span id="footnote2" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">2</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">2</sup><span class="ltx_tag ltx_tag_note">2</span>In fact, <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> is the <em id="footnote2.1" class="ltx_emph ltx_font_italic">unique</em> scaling on spectral norm that is equivalent to <math id="footnote2.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="footnote2.m1.1b"><mi id="footnote2.m1.1.1" xref="footnote2.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="footnote2.m1.1c"><ci id="footnote2.m1.1.1.cmml" xref="footnote2.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="footnote2.m1.1d">\mu</annotation></semantics></math>P in its usual definition in terms of learning rate and initialization scaling (<a href="#Thmtheorem1" title="Theorem 1. ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Theorem</span> <span class="ltx_text ltx_ref_tag">1</span></a>).</span></span></span></p>
</div>
</li>
<li id="S1.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S1.I1.i3.p1" class="ltx_para ltx_noindent">
<p id="S1.I1.i3.p1.1" class="ltx_p">We show that other popular scaling rules, including so-called <span id="S1.I1.i3.p1.1.1" class="ltx_text ltx_font_italic">standard parameterization</span> and <span id="S1.I1.i3.p1.1.2" class="ltx_text ltx_font_italic">neural tangent parametrization</span>, fail to satisfy <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
</li>
</ul>
</div>
<div id="S1.SS2.p2" class="ltx_para ltx_noindent">
<p id="S1.SS2.p2.1" class="ltx_p">In the main text, we focus on MLPs trained via ordinary gradient descent for clarity. Our results may actually be extended to cover any architecture and any adaptive optimizer (for a suitable definition of <em id="S1.SS2.p2.1.1" class="ltx_emph ltx_font_italic">any</em>, c.f.  <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:{sec:formal_theory}</span>).
Therefore our spectral scaling condition provides a unifying hyperparameter scaling rule that remains the same whether the underlying optimizer is, say, SGD or Adam. We suggest that, when one wishes to determine how the hyperparameters of a new deep learning system should scale with width, one might turn to the satisfaction of <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> as an overarching principle.</p>
</div>
</section>
</section>
<section id="S2" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">2 </span>Preliminaries</h2>

<div id="S2.p1" class="ltx_para ltx_noindent">
<p id="S2.p1.1" class="ltx_p">Here we review standard notations which we use in our scaling analysis.</p>
</div>
<div id="S2.p2" class="ltx_para ltx_noindent">
<p id="S2.p2.1" class="ltx_p"><span id="S2.p2.1.1" class="ltx_text ltx_font_bold">Scaling notation.</span>
We will use the usual big-<math id="S2.p2.1.m1.1" class="ltx_Math" alttext="O" display="inline"><semantics id="S2.p2.1.m1.1a"><mi id="S2.p2.1.m1.1.1" xref="S2.p2.1.m1.1.1.cmml">O</mi><annotation-xml encoding="MathML-Content" id="S2.p2.1.m1.1b"><ci id="S2.p2.1.m1.1.1.cmml" xref="S2.p2.1.m1.1.1">𝑂</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.p2.1.m1.1c">O</annotation></semantics></math> notation and variants to make statements about how various quantities scale with network width. Intuitively speaking:</p>
<ul id="S2.I1" class="ltx_itemize">
<li id="S2.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S2.I1.i1.p1" class="ltx_para">
<p id="S2.I1.i1.p1.3" class="ltx_p"><math id="S2.I1.i1.p1.1.m1.2" class="ltx_Math" alttext="f(0pt)=O(g(0pt))" display="inline"><semantics id="S2.I1.i1.p1.1.m1.2a"><mrow id="S2.I1.i1.p1.1.m1.2.2" xref="S2.I1.i1.p1.1.m1.2.2.cmml"><mrow id="S2.I1.i1.p1.1.m1.1.1.1" xref="S2.I1.i1.p1.1.m1.1.1.1.cmml"><mi id="S2.I1.i1.p1.1.m1.1.1.1.3" xref="S2.I1.i1.p1.1.m1.1.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.1.m1.1.1.1.2" xref="S2.I1.i1.p1.1.m1.1.1.1.2.cmml">​</mo><mrow id="S2.I1.i1.p1.1.m1.1.1.1.1.1" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i1.p1.1.m1.1.1.1.1.1.2" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.cmml"><mn id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.2" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.1" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.3" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.1a" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.4" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i1.p1.1.m1.1.1.1.1.1.3" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.I1.i1.p1.1.m1.2.2.3" xref="S2.I1.i1.p1.1.m1.2.2.3.cmml">=</mo><mrow id="S2.I1.i1.p1.1.m1.2.2.2" xref="S2.I1.i1.p1.1.m1.2.2.2.cmml"><mi id="S2.I1.i1.p1.1.m1.2.2.2.3" xref="S2.I1.i1.p1.1.m1.2.2.2.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.1.m1.2.2.2.2" xref="S2.I1.i1.p1.1.m1.2.2.2.2.cmml">​</mo><mrow id="S2.I1.i1.p1.1.m1.2.2.2.1.1" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.2" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.cmml"><mi id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.3" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.2" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.2.cmml">​</mo><mrow id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.2" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml"><mn id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.2" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.1" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.3" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.1a" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.4" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.3" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.3" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i1.p1.1.m1.2b"><apply id="S2.I1.i1.p1.1.m1.2.2.cmml" xref="S2.I1.i1.p1.1.m1.2.2"><eq id="S2.I1.i1.p1.1.m1.2.2.3.cmml" xref="S2.I1.i1.p1.1.m1.2.2.3"></eq><apply id="S2.I1.i1.p1.1.m1.1.1.1.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1"><times id="S2.I1.i1.p1.1.m1.1.1.1.2.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1.2"></times><ci id="S2.I1.i1.p1.1.m1.1.1.1.3.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1.3">𝑓</ci><apply id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1"><times id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.2">0</cn><ci id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.4.cmml" xref="S2.I1.i1.p1.1.m1.1.1.1.1.1.1.4">𝑡</ci></apply></apply><apply id="S2.I1.i1.p1.1.m1.2.2.2.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2"><times id="S2.I1.i1.p1.1.m1.2.2.2.2.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.2"></times><ci id="S2.I1.i1.p1.1.m1.2.2.2.3.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.3">𝑂</ci><apply id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1"><times id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.2.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.2"></times><ci id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.3.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.3">𝑔</ci><apply id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1"><times id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.2.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.2">0</cn><ci id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.3.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.4.cmml" xref="S2.I1.i1.p1.1.m1.2.2.2.1.1.1.1.1.1.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i1.p1.1.m1.2c">f(0pt)=O(g(0pt))</annotation></semantics></math> means that <math id="S2.I1.i1.p1.2.m2.1" class="ltx_Math" alttext="f(0pt)" display="inline"><semantics id="S2.I1.i1.p1.2.m2.1a"><mrow id="S2.I1.i1.p1.2.m2.1.1" xref="S2.I1.i1.p1.2.m2.1.1.cmml"><mi id="S2.I1.i1.p1.2.m2.1.1.3" xref="S2.I1.i1.p1.2.m2.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.2.m2.1.1.2" xref="S2.I1.i1.p1.2.m2.1.1.2.cmml">​</mo><mrow id="S2.I1.i1.p1.2.m2.1.1.1.1" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i1.p1.2.m2.1.1.1.1.2" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i1.p1.2.m2.1.1.1.1.1" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.cmml"><mn id="S2.I1.i1.p1.2.m2.1.1.1.1.1.2" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.2.m2.1.1.1.1.1.1" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.2.m2.1.1.1.1.1.3" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.2.m2.1.1.1.1.1.1a" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.2.m2.1.1.1.1.1.4" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i1.p1.2.m2.1.1.1.1.3" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i1.p1.2.m2.1b"><apply id="S2.I1.i1.p1.2.m2.1.1.cmml" xref="S2.I1.i1.p1.2.m2.1.1"><times id="S2.I1.i1.p1.2.m2.1.1.2.cmml" xref="S2.I1.i1.p1.2.m2.1.1.2"></times><ci id="S2.I1.i1.p1.2.m2.1.1.3.cmml" xref="S2.I1.i1.p1.2.m2.1.1.3">𝑓</ci><apply id="S2.I1.i1.p1.2.m2.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.2.m2.1.1.1.1"><times id="S2.I1.i1.p1.2.m2.1.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i1.p1.2.m2.1.1.1.1.1.2.cmml" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.2">0</cn><ci id="S2.I1.i1.p1.2.m2.1.1.1.1.1.3.cmml" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i1.p1.2.m2.1.1.1.1.1.4.cmml" xref="S2.I1.i1.p1.2.m2.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i1.p1.2.m2.1c">f(0pt)</annotation></semantics></math> “scales no faster than” <math id="S2.I1.i1.p1.3.m3.1" class="ltx_Math" alttext="g(0pt)" display="inline"><semantics id="S2.I1.i1.p1.3.m3.1a"><mrow id="S2.I1.i1.p1.3.m3.1.1" xref="S2.I1.i1.p1.3.m3.1.1.cmml"><mi id="S2.I1.i1.p1.3.m3.1.1.3" xref="S2.I1.i1.p1.3.m3.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.3.m3.1.1.2" xref="S2.I1.i1.p1.3.m3.1.1.2.cmml">​</mo><mrow id="S2.I1.i1.p1.3.m3.1.1.1.1" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i1.p1.3.m3.1.1.1.1.2" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i1.p1.3.m3.1.1.1.1.1" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.cmml"><mn id="S2.I1.i1.p1.3.m3.1.1.1.1.1.2" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.3.m3.1.1.1.1.1.1" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.3.m3.1.1.1.1.1.3" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i1.p1.3.m3.1.1.1.1.1.1a" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i1.p1.3.m3.1.1.1.1.1.4" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i1.p1.3.m3.1.1.1.1.3" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i1.p1.3.m3.1b"><apply id="S2.I1.i1.p1.3.m3.1.1.cmml" xref="S2.I1.i1.p1.3.m3.1.1"><times id="S2.I1.i1.p1.3.m3.1.1.2.cmml" xref="S2.I1.i1.p1.3.m3.1.1.2"></times><ci id="S2.I1.i1.p1.3.m3.1.1.3.cmml" xref="S2.I1.i1.p1.3.m3.1.1.3">𝑔</ci><apply id="S2.I1.i1.p1.3.m3.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.3.m3.1.1.1.1"><times id="S2.I1.i1.p1.3.m3.1.1.1.1.1.1.cmml" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i1.p1.3.m3.1.1.1.1.1.2.cmml" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.2">0</cn><ci id="S2.I1.i1.p1.3.m3.1.1.1.1.1.3.cmml" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i1.p1.3.m3.1.1.1.1.1.4.cmml" xref="S2.I1.i1.p1.3.m3.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i1.p1.3.m3.1c">g(0pt)</annotation></semantics></math>,</p>
</div>
</li>
<li id="S2.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S2.I1.i2.p1" class="ltx_para">
<p id="S2.I1.i2.p1.3" class="ltx_p"><math id="S2.I1.i2.p1.1.m1.2" class="ltx_Math" alttext="f(0pt)=\Theta(g(0pt))" display="inline"><semantics id="S2.I1.i2.p1.1.m1.2a"><mrow id="S2.I1.i2.p1.1.m1.2.2" xref="S2.I1.i2.p1.1.m1.2.2.cmml"><mrow id="S2.I1.i2.p1.1.m1.1.1.1" xref="S2.I1.i2.p1.1.m1.1.1.1.cmml"><mi id="S2.I1.i2.p1.1.m1.1.1.1.3" xref="S2.I1.i2.p1.1.m1.1.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.1.m1.1.1.1.2" xref="S2.I1.i2.p1.1.m1.1.1.1.2.cmml">​</mo><mrow id="S2.I1.i2.p1.1.m1.1.1.1.1.1" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i2.p1.1.m1.1.1.1.1.1.2" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.cmml"><mn id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.2" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.1" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.3" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.1a" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.4" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i2.p1.1.m1.1.1.1.1.1.3" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.I1.i2.p1.1.m1.2.2.3" xref="S2.I1.i2.p1.1.m1.2.2.3.cmml">=</mo><mrow id="S2.I1.i2.p1.1.m1.2.2.2" xref="S2.I1.i2.p1.1.m1.2.2.2.cmml"><mi mathvariant="normal" id="S2.I1.i2.p1.1.m1.2.2.2.3" xref="S2.I1.i2.p1.1.m1.2.2.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.1.m1.2.2.2.2" xref="S2.I1.i2.p1.1.m1.2.2.2.2.cmml">​</mo><mrow id="S2.I1.i2.p1.1.m1.2.2.2.1.1" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.2" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.cmml"><mi id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.3" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.2" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.2.cmml">​</mo><mrow id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.2" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml"><mn id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.2" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.1" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.3" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.1a" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.4" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.3" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.3" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i2.p1.1.m1.2b"><apply id="S2.I1.i2.p1.1.m1.2.2.cmml" xref="S2.I1.i2.p1.1.m1.2.2"><eq id="S2.I1.i2.p1.1.m1.2.2.3.cmml" xref="S2.I1.i2.p1.1.m1.2.2.3"></eq><apply id="S2.I1.i2.p1.1.m1.1.1.1.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1"><times id="S2.I1.i2.p1.1.m1.1.1.1.2.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1.2"></times><ci id="S2.I1.i2.p1.1.m1.1.1.1.3.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1.3">𝑓</ci><apply id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1"><times id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.2">0</cn><ci id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.4.cmml" xref="S2.I1.i2.p1.1.m1.1.1.1.1.1.1.4">𝑡</ci></apply></apply><apply id="S2.I1.i2.p1.1.m1.2.2.2.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2"><times id="S2.I1.i2.p1.1.m1.2.2.2.2.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.2"></times><ci id="S2.I1.i2.p1.1.m1.2.2.2.3.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.3">Θ</ci><apply id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1"><times id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.2.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.2"></times><ci id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.3.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.3">𝑔</ci><apply id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1"><times id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.2.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.2">0</cn><ci id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.3.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.4.cmml" xref="S2.I1.i2.p1.1.m1.2.2.2.1.1.1.1.1.1.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i2.p1.1.m1.2c">f(0pt)=\Theta(g(0pt))</annotation></semantics></math> means that <math id="S2.I1.i2.p1.2.m2.1" class="ltx_Math" alttext="f(0pt)" display="inline"><semantics id="S2.I1.i2.p1.2.m2.1a"><mrow id="S2.I1.i2.p1.2.m2.1.1" xref="S2.I1.i2.p1.2.m2.1.1.cmml"><mi id="S2.I1.i2.p1.2.m2.1.1.3" xref="S2.I1.i2.p1.2.m2.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.2.m2.1.1.2" xref="S2.I1.i2.p1.2.m2.1.1.2.cmml">​</mo><mrow id="S2.I1.i2.p1.2.m2.1.1.1.1" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i2.p1.2.m2.1.1.1.1.2" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i2.p1.2.m2.1.1.1.1.1" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.cmml"><mn id="S2.I1.i2.p1.2.m2.1.1.1.1.1.2" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.2.m2.1.1.1.1.1.1" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.2.m2.1.1.1.1.1.3" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.2.m2.1.1.1.1.1.1a" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.2.m2.1.1.1.1.1.4" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i2.p1.2.m2.1.1.1.1.3" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i2.p1.2.m2.1b"><apply id="S2.I1.i2.p1.2.m2.1.1.cmml" xref="S2.I1.i2.p1.2.m2.1.1"><times id="S2.I1.i2.p1.2.m2.1.1.2.cmml" xref="S2.I1.i2.p1.2.m2.1.1.2"></times><ci id="S2.I1.i2.p1.2.m2.1.1.3.cmml" xref="S2.I1.i2.p1.2.m2.1.1.3">𝑓</ci><apply id="S2.I1.i2.p1.2.m2.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.2.m2.1.1.1.1"><times id="S2.I1.i2.p1.2.m2.1.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i2.p1.2.m2.1.1.1.1.1.2.cmml" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.2">0</cn><ci id="S2.I1.i2.p1.2.m2.1.1.1.1.1.3.cmml" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i2.p1.2.m2.1.1.1.1.1.4.cmml" xref="S2.I1.i2.p1.2.m2.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i2.p1.2.m2.1c">f(0pt)</annotation></semantics></math> “scales like” or “is order” <math id="S2.I1.i2.p1.3.m3.1" class="ltx_Math" alttext="g(0pt)" display="inline"><semantics id="S2.I1.i2.p1.3.m3.1a"><mrow id="S2.I1.i2.p1.3.m3.1.1" xref="S2.I1.i2.p1.3.m3.1.1.cmml"><mi id="S2.I1.i2.p1.3.m3.1.1.3" xref="S2.I1.i2.p1.3.m3.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.3.m3.1.1.2" xref="S2.I1.i2.p1.3.m3.1.1.2.cmml">​</mo><mrow id="S2.I1.i2.p1.3.m3.1.1.1.1" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i2.p1.3.m3.1.1.1.1.2" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i2.p1.3.m3.1.1.1.1.1" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.cmml"><mn id="S2.I1.i2.p1.3.m3.1.1.1.1.1.2" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.3.m3.1.1.1.1.1.1" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.3.m3.1.1.1.1.1.3" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i2.p1.3.m3.1.1.1.1.1.1a" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i2.p1.3.m3.1.1.1.1.1.4" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i2.p1.3.m3.1.1.1.1.3" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i2.p1.3.m3.1b"><apply id="S2.I1.i2.p1.3.m3.1.1.cmml" xref="S2.I1.i2.p1.3.m3.1.1"><times id="S2.I1.i2.p1.3.m3.1.1.2.cmml" xref="S2.I1.i2.p1.3.m3.1.1.2"></times><ci id="S2.I1.i2.p1.3.m3.1.1.3.cmml" xref="S2.I1.i2.p1.3.m3.1.1.3">𝑔</ci><apply id="S2.I1.i2.p1.3.m3.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.3.m3.1.1.1.1"><times id="S2.I1.i2.p1.3.m3.1.1.1.1.1.1.cmml" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i2.p1.3.m3.1.1.1.1.1.2.cmml" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.2">0</cn><ci id="S2.I1.i2.p1.3.m3.1.1.1.1.1.3.cmml" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i2.p1.3.m3.1.1.1.1.1.4.cmml" xref="S2.I1.i2.p1.3.m3.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i2.p1.3.m3.1c">g(0pt)</annotation></semantics></math>,</p>
</div>
</li>
<li id="S2.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="S2.I1.i3.p1" class="ltx_para ltx_noindent">
<p id="S2.I1.i3.p1.3" class="ltx_p"><math id="S2.I1.i3.p1.1.m1.2" class="ltx_Math" alttext="f(0pt)=\Omega(g(0pt))" display="inline"><semantics id="S2.I1.i3.p1.1.m1.2a"><mrow id="S2.I1.i3.p1.1.m1.2.2" xref="S2.I1.i3.p1.1.m1.2.2.cmml"><mrow id="S2.I1.i3.p1.1.m1.1.1.1" xref="S2.I1.i3.p1.1.m1.1.1.1.cmml"><mi id="S2.I1.i3.p1.1.m1.1.1.1.3" xref="S2.I1.i3.p1.1.m1.1.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.1.m1.1.1.1.2" xref="S2.I1.i3.p1.1.m1.1.1.1.2.cmml">​</mo><mrow id="S2.I1.i3.p1.1.m1.1.1.1.1.1" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i3.p1.1.m1.1.1.1.1.1.2" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.cmml"><mn id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.2" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.1" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.3" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.1a" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.4" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i3.p1.1.m1.1.1.1.1.1.3" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.I1.i3.p1.1.m1.2.2.3" xref="S2.I1.i3.p1.1.m1.2.2.3.cmml">=</mo><mrow id="S2.I1.i3.p1.1.m1.2.2.2" xref="S2.I1.i3.p1.1.m1.2.2.2.cmml"><mi mathvariant="normal" id="S2.I1.i3.p1.1.m1.2.2.2.3" xref="S2.I1.i3.p1.1.m1.2.2.2.3.cmml">Ω</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.1.m1.2.2.2.2" xref="S2.I1.i3.p1.1.m1.2.2.2.2.cmml">​</mo><mrow id="S2.I1.i3.p1.1.m1.2.2.2.1.1" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.2" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.cmml"><mi id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.3" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.2" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.2.cmml">​</mo><mrow id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.2" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml"><mn id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.2" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.1" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.3" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.1a" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.4" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.3" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.3" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i3.p1.1.m1.2b"><apply id="S2.I1.i3.p1.1.m1.2.2.cmml" xref="S2.I1.i3.p1.1.m1.2.2"><eq id="S2.I1.i3.p1.1.m1.2.2.3.cmml" xref="S2.I1.i3.p1.1.m1.2.2.3"></eq><apply id="S2.I1.i3.p1.1.m1.1.1.1.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1"><times id="S2.I1.i3.p1.1.m1.1.1.1.2.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1.2"></times><ci id="S2.I1.i3.p1.1.m1.1.1.1.3.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1.3">𝑓</ci><apply id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1"><times id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.2">0</cn><ci id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.4.cmml" xref="S2.I1.i3.p1.1.m1.1.1.1.1.1.1.4">𝑡</ci></apply></apply><apply id="S2.I1.i3.p1.1.m1.2.2.2.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2"><times id="S2.I1.i3.p1.1.m1.2.2.2.2.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.2"></times><ci id="S2.I1.i3.p1.1.m1.2.2.2.3.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.3">Ω</ci><apply id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1"><times id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.2.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.2"></times><ci id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.3.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.3">𝑔</ci><apply id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1"><times id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.2.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.2">0</cn><ci id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.3.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.4.cmml" xref="S2.I1.i3.p1.1.m1.2.2.2.1.1.1.1.1.1.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i3.p1.1.m1.2c">f(0pt)=\Omega(g(0pt))</annotation></semantics></math> means that <math id="S2.I1.i3.p1.2.m2.1" class="ltx_Math" alttext="f(0pt)" display="inline"><semantics id="S2.I1.i3.p1.2.m2.1a"><mrow id="S2.I1.i3.p1.2.m2.1.1" xref="S2.I1.i3.p1.2.m2.1.1.cmml"><mi id="S2.I1.i3.p1.2.m2.1.1.3" xref="S2.I1.i3.p1.2.m2.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.2.m2.1.1.2" xref="S2.I1.i3.p1.2.m2.1.1.2.cmml">​</mo><mrow id="S2.I1.i3.p1.2.m2.1.1.1.1" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i3.p1.2.m2.1.1.1.1.2" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i3.p1.2.m2.1.1.1.1.1" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.cmml"><mn id="S2.I1.i3.p1.2.m2.1.1.1.1.1.2" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.2.m2.1.1.1.1.1.1" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.2.m2.1.1.1.1.1.3" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.2.m2.1.1.1.1.1.1a" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.2.m2.1.1.1.1.1.4" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i3.p1.2.m2.1.1.1.1.3" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i3.p1.2.m2.1b"><apply id="S2.I1.i3.p1.2.m2.1.1.cmml" xref="S2.I1.i3.p1.2.m2.1.1"><times id="S2.I1.i3.p1.2.m2.1.1.2.cmml" xref="S2.I1.i3.p1.2.m2.1.1.2"></times><ci id="S2.I1.i3.p1.2.m2.1.1.3.cmml" xref="S2.I1.i3.p1.2.m2.1.1.3">𝑓</ci><apply id="S2.I1.i3.p1.2.m2.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.2.m2.1.1.1.1"><times id="S2.I1.i3.p1.2.m2.1.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i3.p1.2.m2.1.1.1.1.1.2.cmml" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.2">0</cn><ci id="S2.I1.i3.p1.2.m2.1.1.1.1.1.3.cmml" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i3.p1.2.m2.1.1.1.1.1.4.cmml" xref="S2.I1.i3.p1.2.m2.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i3.p1.2.m2.1c">f(0pt)</annotation></semantics></math> “scales at least as fast as” <math id="S2.I1.i3.p1.3.m3.1" class="ltx_Math" alttext="g(0pt)" display="inline"><semantics id="S2.I1.i3.p1.3.m3.1a"><mrow id="S2.I1.i3.p1.3.m3.1.1" xref="S2.I1.i3.p1.3.m3.1.1.cmml"><mi id="S2.I1.i3.p1.3.m3.1.1.3" xref="S2.I1.i3.p1.3.m3.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.3.m3.1.1.2" xref="S2.I1.i3.p1.3.m3.1.1.2.cmml">​</mo><mrow id="S2.I1.i3.p1.3.m3.1.1.1.1" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.I1.i3.p1.3.m3.1.1.1.1.2" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.cmml">(</mo><mrow id="S2.I1.i3.p1.3.m3.1.1.1.1.1" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.cmml"><mn id="S2.I1.i3.p1.3.m3.1.1.1.1.1.2" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.3.m3.1.1.1.1.1.1" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.3.m3.1.1.1.1.1.3" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.I1.i3.p1.3.m3.1.1.1.1.1.1a" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.1.cmml">​</mo><mi id="S2.I1.i3.p1.3.m3.1.1.1.1.1.4" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.I1.i3.p1.3.m3.1.1.1.1.3" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.I1.i3.p1.3.m3.1b"><apply id="S2.I1.i3.p1.3.m3.1.1.cmml" xref="S2.I1.i3.p1.3.m3.1.1"><times id="S2.I1.i3.p1.3.m3.1.1.2.cmml" xref="S2.I1.i3.p1.3.m3.1.1.2"></times><ci id="S2.I1.i3.p1.3.m3.1.1.3.cmml" xref="S2.I1.i3.p1.3.m3.1.1.3">𝑔</ci><apply id="S2.I1.i3.p1.3.m3.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.3.m3.1.1.1.1"><times id="S2.I1.i3.p1.3.m3.1.1.1.1.1.1.cmml" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.1"></times><cn type="integer" id="S2.I1.i3.p1.3.m3.1.1.1.1.1.2.cmml" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.2">0</cn><ci id="S2.I1.i3.p1.3.m3.1.1.1.1.1.3.cmml" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.3">𝑝</ci><ci id="S2.I1.i3.p1.3.m3.1.1.1.1.1.4.cmml" xref="S2.I1.i3.p1.3.m3.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.I1.i3.p1.3.m3.1c">g(0pt)</annotation></semantics></math>.</p>
</div>
</li>
</ul>
<p id="S2.p2.7" class="ltx_p">Formally, <math id="S2.p2.2.m1.2" class="ltx_Math" alttext="f(0pt)=\Theta(g(0pt))" display="inline"><semantics id="S2.p2.2.m1.2a"><mrow id="S2.p2.2.m1.2.2" xref="S2.p2.2.m1.2.2.cmml"><mrow id="S2.p2.2.m1.1.1.1" xref="S2.p2.2.m1.1.1.1.cmml"><mi id="S2.p2.2.m1.1.1.1.3" xref="S2.p2.2.m1.1.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.p2.2.m1.1.1.1.2" xref="S2.p2.2.m1.1.1.1.2.cmml">​</mo><mrow id="S2.p2.2.m1.1.1.1.1.1" xref="S2.p2.2.m1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.p2.2.m1.1.1.1.1.1.2" xref="S2.p2.2.m1.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.p2.2.m1.1.1.1.1.1.1" xref="S2.p2.2.m1.1.1.1.1.1.1.cmml"><mn id="S2.p2.2.m1.1.1.1.1.1.1.2" xref="S2.p2.2.m1.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.2.m1.1.1.1.1.1.1.1" xref="S2.p2.2.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.2.m1.1.1.1.1.1.1.3" xref="S2.p2.2.m1.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.2.m1.1.1.1.1.1.1.1a" xref="S2.p2.2.m1.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.2.m1.1.1.1.1.1.1.4" xref="S2.p2.2.m1.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.2.m1.1.1.1.1.1.3" xref="S2.p2.2.m1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.p2.2.m1.2.2.3" xref="S2.p2.2.m1.2.2.3.cmml">=</mo><mrow id="S2.p2.2.m1.2.2.2" xref="S2.p2.2.m1.2.2.2.cmml"><mi mathvariant="normal" id="S2.p2.2.m1.2.2.2.3" xref="S2.p2.2.m1.2.2.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S2.p2.2.m1.2.2.2.2" xref="S2.p2.2.m1.2.2.2.2.cmml">​</mo><mrow id="S2.p2.2.m1.2.2.2.1.1" xref="S2.p2.2.m1.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.p2.2.m1.2.2.2.1.1.2" xref="S2.p2.2.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.p2.2.m1.2.2.2.1.1.1" xref="S2.p2.2.m1.2.2.2.1.1.1.cmml"><mi id="S2.p2.2.m1.2.2.2.1.1.1.3" xref="S2.p2.2.m1.2.2.2.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.p2.2.m1.2.2.2.1.1.1.2" xref="S2.p2.2.m1.2.2.2.1.1.1.2.cmml">​</mo><mrow id="S2.p2.2.m1.2.2.2.1.1.1.1.1" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.p2.2.m1.2.2.2.1.1.1.1.1.2" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.cmml"><mn id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.2" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.1" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.3" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.1a" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.4" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.2.m1.2.2.2.1.1.1.1.1.3" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.p2.2.m1.2.2.2.1.1.3" xref="S2.p2.2.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p2.2.m1.2b"><apply id="S2.p2.2.m1.2.2.cmml" xref="S2.p2.2.m1.2.2"><eq id="S2.p2.2.m1.2.2.3.cmml" xref="S2.p2.2.m1.2.2.3"></eq><apply id="S2.p2.2.m1.1.1.1.cmml" xref="S2.p2.2.m1.1.1.1"><times id="S2.p2.2.m1.1.1.1.2.cmml" xref="S2.p2.2.m1.1.1.1.2"></times><ci id="S2.p2.2.m1.1.1.1.3.cmml" xref="S2.p2.2.m1.1.1.1.3">𝑓</ci><apply id="S2.p2.2.m1.1.1.1.1.1.1.cmml" xref="S2.p2.2.m1.1.1.1.1.1"><times id="S2.p2.2.m1.1.1.1.1.1.1.1.cmml" xref="S2.p2.2.m1.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.p2.2.m1.1.1.1.1.1.1.2.cmml" xref="S2.p2.2.m1.1.1.1.1.1.1.2">0</cn><ci id="S2.p2.2.m1.1.1.1.1.1.1.3.cmml" xref="S2.p2.2.m1.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.p2.2.m1.1.1.1.1.1.1.4.cmml" xref="S2.p2.2.m1.1.1.1.1.1.1.4">𝑡</ci></apply></apply><apply id="S2.p2.2.m1.2.2.2.cmml" xref="S2.p2.2.m1.2.2.2"><times id="S2.p2.2.m1.2.2.2.2.cmml" xref="S2.p2.2.m1.2.2.2.2"></times><ci id="S2.p2.2.m1.2.2.2.3.cmml" xref="S2.p2.2.m1.2.2.2.3">Θ</ci><apply id="S2.p2.2.m1.2.2.2.1.1.1.cmml" xref="S2.p2.2.m1.2.2.2.1.1"><times id="S2.p2.2.m1.2.2.2.1.1.1.2.cmml" xref="S2.p2.2.m1.2.2.2.1.1.1.2"></times><ci id="S2.p2.2.m1.2.2.2.1.1.1.3.cmml" xref="S2.p2.2.m1.2.2.2.1.1.1.3">𝑔</ci><apply id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.cmml" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1"><times id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.1.cmml" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.2.cmml" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.2">0</cn><ci id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.3.cmml" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.4.cmml" xref="S2.p2.2.m1.2.2.2.1.1.1.1.1.1.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p2.2.m1.2c">f(0pt)=\Theta(g(0pt))</annotation></semantics></math> is equivalent to the statement that there exist constants <math id="S2.p2.3.m2.2" class="ltx_Math" alttext="c,C&gt;0" display="inline"><semantics id="S2.p2.3.m2.2a"><mrow id="S2.p2.3.m2.2.3" xref="S2.p2.3.m2.2.3.cmml"><mrow id="S2.p2.3.m2.2.3.2.2" xref="S2.p2.3.m2.2.3.2.1.cmml"><mi id="S2.p2.3.m2.1.1" xref="S2.p2.3.m2.1.1.cmml">c</mi><mo id="S2.p2.3.m2.2.3.2.2.1" xref="S2.p2.3.m2.2.3.2.1.cmml">,</mo><mi id="S2.p2.3.m2.2.2" xref="S2.p2.3.m2.2.2.cmml">C</mi></mrow><mo id="S2.p2.3.m2.2.3.1" xref="S2.p2.3.m2.2.3.1.cmml">&gt;</mo><mn id="S2.p2.3.m2.2.3.3" xref="S2.p2.3.m2.2.3.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S2.p2.3.m2.2b"><apply id="S2.p2.3.m2.2.3.cmml" xref="S2.p2.3.m2.2.3"><gt id="S2.p2.3.m2.2.3.1.cmml" xref="S2.p2.3.m2.2.3.1"></gt><list id="S2.p2.3.m2.2.3.2.1.cmml" xref="S2.p2.3.m2.2.3.2.2"><ci id="S2.p2.3.m2.1.1.cmml" xref="S2.p2.3.m2.1.1">𝑐</ci><ci id="S2.p2.3.m2.2.2.cmml" xref="S2.p2.3.m2.2.2">𝐶</ci></list><cn type="integer" id="S2.p2.3.m2.2.3.3.cmml" xref="S2.p2.3.m2.2.3.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p2.3.m2.2c">c,C&gt;0</annotation></semantics></math> such that <math id="S2.p2.4.m3.3" class="ltx_Math" alttext="c\cdot g(0pt)\leq f(0pt)\leq C\cdot g(0pt)" display="inline"><semantics id="S2.p2.4.m3.3a"><mrow id="S2.p2.4.m3.3.3" xref="S2.p2.4.m3.3.3.cmml"><mrow id="S2.p2.4.m3.1.1.1" xref="S2.p2.4.m3.1.1.1.cmml"><mrow id="S2.p2.4.m3.1.1.1.3" xref="S2.p2.4.m3.1.1.1.3.cmml"><mi id="S2.p2.4.m3.1.1.1.3.2" xref="S2.p2.4.m3.1.1.1.3.2.cmml">c</mi><mo lspace="0.222em" rspace="0.222em" id="S2.p2.4.m3.1.1.1.3.1" xref="S2.p2.4.m3.1.1.1.3.1.cmml">⋅</mo><mi id="S2.p2.4.m3.1.1.1.3.3" xref="S2.p2.4.m3.1.1.1.3.3.cmml">g</mi></mrow><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.1.1.1.2" xref="S2.p2.4.m3.1.1.1.2.cmml">​</mo><mrow id="S2.p2.4.m3.1.1.1.1.1" xref="S2.p2.4.m3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.p2.4.m3.1.1.1.1.1.2" xref="S2.p2.4.m3.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.p2.4.m3.1.1.1.1.1.1" xref="S2.p2.4.m3.1.1.1.1.1.1.cmml"><mn id="S2.p2.4.m3.1.1.1.1.1.1.2" xref="S2.p2.4.m3.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.1.1.1.1.1.1.1" xref="S2.p2.4.m3.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.4.m3.1.1.1.1.1.1.3" xref="S2.p2.4.m3.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.1.1.1.1.1.1.1a" xref="S2.p2.4.m3.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.4.m3.1.1.1.1.1.1.4" xref="S2.p2.4.m3.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.4.m3.1.1.1.1.1.3" xref="S2.p2.4.m3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.p2.4.m3.3.3.5" xref="S2.p2.4.m3.3.3.5.cmml">≤</mo><mrow id="S2.p2.4.m3.2.2.2" xref="S2.p2.4.m3.2.2.2.cmml"><mi id="S2.p2.4.m3.2.2.2.3" xref="S2.p2.4.m3.2.2.2.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.2.2.2.2" xref="S2.p2.4.m3.2.2.2.2.cmml">​</mo><mrow id="S2.p2.4.m3.2.2.2.1.1" xref="S2.p2.4.m3.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.p2.4.m3.2.2.2.1.1.2" xref="S2.p2.4.m3.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.p2.4.m3.2.2.2.1.1.1" xref="S2.p2.4.m3.2.2.2.1.1.1.cmml"><mn id="S2.p2.4.m3.2.2.2.1.1.1.2" xref="S2.p2.4.m3.2.2.2.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.2.2.2.1.1.1.1" xref="S2.p2.4.m3.2.2.2.1.1.1.1.cmml">​</mo><mi id="S2.p2.4.m3.2.2.2.1.1.1.3" xref="S2.p2.4.m3.2.2.2.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.2.2.2.1.1.1.1a" xref="S2.p2.4.m3.2.2.2.1.1.1.1.cmml">​</mo><mi id="S2.p2.4.m3.2.2.2.1.1.1.4" xref="S2.p2.4.m3.2.2.2.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.4.m3.2.2.2.1.1.3" xref="S2.p2.4.m3.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.p2.4.m3.3.3.6" xref="S2.p2.4.m3.3.3.6.cmml">≤</mo><mrow id="S2.p2.4.m3.3.3.3" xref="S2.p2.4.m3.3.3.3.cmml"><mrow id="S2.p2.4.m3.3.3.3.3" xref="S2.p2.4.m3.3.3.3.3.cmml"><mi id="S2.p2.4.m3.3.3.3.3.2" xref="S2.p2.4.m3.3.3.3.3.2.cmml">C</mi><mo lspace="0.222em" rspace="0.222em" id="S2.p2.4.m3.3.3.3.3.1" xref="S2.p2.4.m3.3.3.3.3.1.cmml">⋅</mo><mi id="S2.p2.4.m3.3.3.3.3.3" xref="S2.p2.4.m3.3.3.3.3.3.cmml">g</mi></mrow><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.3.3.3.2" xref="S2.p2.4.m3.3.3.3.2.cmml">​</mo><mrow id="S2.p2.4.m3.3.3.3.1.1" xref="S2.p2.4.m3.3.3.3.1.1.1.cmml"><mo stretchy="false" id="S2.p2.4.m3.3.3.3.1.1.2" xref="S2.p2.4.m3.3.3.3.1.1.1.cmml">(</mo><mrow id="S2.p2.4.m3.3.3.3.1.1.1" xref="S2.p2.4.m3.3.3.3.1.1.1.cmml"><mn id="S2.p2.4.m3.3.3.3.1.1.1.2" xref="S2.p2.4.m3.3.3.3.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.3.3.3.1.1.1.1" xref="S2.p2.4.m3.3.3.3.1.1.1.1.cmml">​</mo><mi id="S2.p2.4.m3.3.3.3.1.1.1.3" xref="S2.p2.4.m3.3.3.3.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.4.m3.3.3.3.1.1.1.1a" xref="S2.p2.4.m3.3.3.3.1.1.1.1.cmml">​</mo><mi id="S2.p2.4.m3.3.3.3.1.1.1.4" xref="S2.p2.4.m3.3.3.3.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.4.m3.3.3.3.1.1.3" xref="S2.p2.4.m3.3.3.3.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p2.4.m3.3b"><apply id="S2.p2.4.m3.3.3.cmml" xref="S2.p2.4.m3.3.3"><and id="S2.p2.4.m3.3.3a.cmml" xref="S2.p2.4.m3.3.3"></and><apply id="S2.p2.4.m3.3.3b.cmml" xref="S2.p2.4.m3.3.3"><leq id="S2.p2.4.m3.3.3.5.cmml" xref="S2.p2.4.m3.3.3.5"></leq><apply id="S2.p2.4.m3.1.1.1.cmml" xref="S2.p2.4.m3.1.1.1"><times id="S2.p2.4.m3.1.1.1.2.cmml" xref="S2.p2.4.m3.1.1.1.2"></times><apply id="S2.p2.4.m3.1.1.1.3.cmml" xref="S2.p2.4.m3.1.1.1.3"><ci id="S2.p2.4.m3.1.1.1.3.1.cmml" xref="S2.p2.4.m3.1.1.1.3.1">⋅</ci><ci id="S2.p2.4.m3.1.1.1.3.2.cmml" xref="S2.p2.4.m3.1.1.1.3.2">𝑐</ci><ci id="S2.p2.4.m3.1.1.1.3.3.cmml" xref="S2.p2.4.m3.1.1.1.3.3">𝑔</ci></apply><apply id="S2.p2.4.m3.1.1.1.1.1.1.cmml" xref="S2.p2.4.m3.1.1.1.1.1"><times id="S2.p2.4.m3.1.1.1.1.1.1.1.cmml" xref="S2.p2.4.m3.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.p2.4.m3.1.1.1.1.1.1.2.cmml" xref="S2.p2.4.m3.1.1.1.1.1.1.2">0</cn><ci id="S2.p2.4.m3.1.1.1.1.1.1.3.cmml" xref="S2.p2.4.m3.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.p2.4.m3.1.1.1.1.1.1.4.cmml" xref="S2.p2.4.m3.1.1.1.1.1.1.4">𝑡</ci></apply></apply><apply id="S2.p2.4.m3.2.2.2.cmml" xref="S2.p2.4.m3.2.2.2"><times id="S2.p2.4.m3.2.2.2.2.cmml" xref="S2.p2.4.m3.2.2.2.2"></times><ci id="S2.p2.4.m3.2.2.2.3.cmml" xref="S2.p2.4.m3.2.2.2.3">𝑓</ci><apply id="S2.p2.4.m3.2.2.2.1.1.1.cmml" xref="S2.p2.4.m3.2.2.2.1.1"><times id="S2.p2.4.m3.2.2.2.1.1.1.1.cmml" xref="S2.p2.4.m3.2.2.2.1.1.1.1"></times><cn type="integer" id="S2.p2.4.m3.2.2.2.1.1.1.2.cmml" xref="S2.p2.4.m3.2.2.2.1.1.1.2">0</cn><ci id="S2.p2.4.m3.2.2.2.1.1.1.3.cmml" xref="S2.p2.4.m3.2.2.2.1.1.1.3">𝑝</ci><ci id="S2.p2.4.m3.2.2.2.1.1.1.4.cmml" xref="S2.p2.4.m3.2.2.2.1.1.1.4">𝑡</ci></apply></apply></apply><apply id="S2.p2.4.m3.3.3c.cmml" xref="S2.p2.4.m3.3.3"><leq id="S2.p2.4.m3.3.3.6.cmml" xref="S2.p2.4.m3.3.3.6"></leq><share href="#S2.p2.4.m3.2.2.2.cmml" id="S2.p2.4.m3.3.3d.cmml" xref="S2.p2.4.m3.3.3"></share><apply id="S2.p2.4.m3.3.3.3.cmml" xref="S2.p2.4.m3.3.3.3"><times id="S2.p2.4.m3.3.3.3.2.cmml" xref="S2.p2.4.m3.3.3.3.2"></times><apply id="S2.p2.4.m3.3.3.3.3.cmml" xref="S2.p2.4.m3.3.3.3.3"><ci id="S2.p2.4.m3.3.3.3.3.1.cmml" xref="S2.p2.4.m3.3.3.3.3.1">⋅</ci><ci id="S2.p2.4.m3.3.3.3.3.2.cmml" xref="S2.p2.4.m3.3.3.3.3.2">𝐶</ci><ci id="S2.p2.4.m3.3.3.3.3.3.cmml" xref="S2.p2.4.m3.3.3.3.3.3">𝑔</ci></apply><apply id="S2.p2.4.m3.3.3.3.1.1.1.cmml" xref="S2.p2.4.m3.3.3.3.1.1"><times id="S2.p2.4.m3.3.3.3.1.1.1.1.cmml" xref="S2.p2.4.m3.3.3.3.1.1.1.1"></times><cn type="integer" id="S2.p2.4.m3.3.3.3.1.1.1.2.cmml" xref="S2.p2.4.m3.3.3.3.1.1.1.2">0</cn><ci id="S2.p2.4.m3.3.3.3.1.1.1.3.cmml" xref="S2.p2.4.m3.3.3.3.1.1.1.3">𝑝</ci><ci id="S2.p2.4.m3.3.3.3.1.1.1.4.cmml" xref="S2.p2.4.m3.3.3.3.1.1.1.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p2.4.m3.3c">c\cdot g(0pt)\leq f(0pt)\leq C\cdot g(0pt)</annotation></semantics></math> for all sufficiently large <math id="S2.p2.5.m4.1" class="ltx_Math" alttext="d" display="inline"><semantics id="S2.p2.5.m4.1a"><mi id="S2.p2.5.m4.1.1" xref="S2.p2.5.m4.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S2.p2.5.m4.1b"><ci id="S2.p2.5.m4.1.1.cmml" xref="S2.p2.5.m4.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.p2.5.m4.1c">d</annotation></semantics></math>.
The weaker statements <math id="S2.p2.6.m5.2" class="ltx_Math" alttext="f(0pt)=O(g(0pt))" display="inline"><semantics id="S2.p2.6.m5.2a"><mrow id="S2.p2.6.m5.2.2" xref="S2.p2.6.m5.2.2.cmml"><mrow id="S2.p2.6.m5.1.1.1" xref="S2.p2.6.m5.1.1.1.cmml"><mi id="S2.p2.6.m5.1.1.1.3" xref="S2.p2.6.m5.1.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.p2.6.m5.1.1.1.2" xref="S2.p2.6.m5.1.1.1.2.cmml">​</mo><mrow id="S2.p2.6.m5.1.1.1.1.1" xref="S2.p2.6.m5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.p2.6.m5.1.1.1.1.1.2" xref="S2.p2.6.m5.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.p2.6.m5.1.1.1.1.1.1" xref="S2.p2.6.m5.1.1.1.1.1.1.cmml"><mn id="S2.p2.6.m5.1.1.1.1.1.1.2" xref="S2.p2.6.m5.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.6.m5.1.1.1.1.1.1.1" xref="S2.p2.6.m5.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.6.m5.1.1.1.1.1.1.3" xref="S2.p2.6.m5.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.6.m5.1.1.1.1.1.1.1a" xref="S2.p2.6.m5.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.6.m5.1.1.1.1.1.1.4" xref="S2.p2.6.m5.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.6.m5.1.1.1.1.1.3" xref="S2.p2.6.m5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.p2.6.m5.2.2.3" xref="S2.p2.6.m5.2.2.3.cmml">=</mo><mrow id="S2.p2.6.m5.2.2.2" xref="S2.p2.6.m5.2.2.2.cmml"><mi id="S2.p2.6.m5.2.2.2.3" xref="S2.p2.6.m5.2.2.2.3.cmml">O</mi><mo lspace="0em" rspace="0em" id="S2.p2.6.m5.2.2.2.2" xref="S2.p2.6.m5.2.2.2.2.cmml">​</mo><mrow id="S2.p2.6.m5.2.2.2.1.1" xref="S2.p2.6.m5.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.p2.6.m5.2.2.2.1.1.2" xref="S2.p2.6.m5.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.p2.6.m5.2.2.2.1.1.1" xref="S2.p2.6.m5.2.2.2.1.1.1.cmml"><mi id="S2.p2.6.m5.2.2.2.1.1.1.3" xref="S2.p2.6.m5.2.2.2.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.p2.6.m5.2.2.2.1.1.1.2" xref="S2.p2.6.m5.2.2.2.1.1.1.2.cmml">​</mo><mrow id="S2.p2.6.m5.2.2.2.1.1.1.1.1" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.p2.6.m5.2.2.2.1.1.1.1.1.2" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.cmml"><mn id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.2" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.1" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.3" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.1a" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.4" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.6.m5.2.2.2.1.1.1.1.1.3" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.p2.6.m5.2.2.2.1.1.3" xref="S2.p2.6.m5.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p2.6.m5.2b"><apply id="S2.p2.6.m5.2.2.cmml" xref="S2.p2.6.m5.2.2"><eq id="S2.p2.6.m5.2.2.3.cmml" xref="S2.p2.6.m5.2.2.3"></eq><apply id="S2.p2.6.m5.1.1.1.cmml" xref="S2.p2.6.m5.1.1.1"><times id="S2.p2.6.m5.1.1.1.2.cmml" xref="S2.p2.6.m5.1.1.1.2"></times><ci id="S2.p2.6.m5.1.1.1.3.cmml" xref="S2.p2.6.m5.1.1.1.3">𝑓</ci><apply id="S2.p2.6.m5.1.1.1.1.1.1.cmml" xref="S2.p2.6.m5.1.1.1.1.1"><times id="S2.p2.6.m5.1.1.1.1.1.1.1.cmml" xref="S2.p2.6.m5.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.p2.6.m5.1.1.1.1.1.1.2.cmml" xref="S2.p2.6.m5.1.1.1.1.1.1.2">0</cn><ci id="S2.p2.6.m5.1.1.1.1.1.1.3.cmml" xref="S2.p2.6.m5.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.p2.6.m5.1.1.1.1.1.1.4.cmml" xref="S2.p2.6.m5.1.1.1.1.1.1.4">𝑡</ci></apply></apply><apply id="S2.p2.6.m5.2.2.2.cmml" xref="S2.p2.6.m5.2.2.2"><times id="S2.p2.6.m5.2.2.2.2.cmml" xref="S2.p2.6.m5.2.2.2.2"></times><ci id="S2.p2.6.m5.2.2.2.3.cmml" xref="S2.p2.6.m5.2.2.2.3">𝑂</ci><apply id="S2.p2.6.m5.2.2.2.1.1.1.cmml" xref="S2.p2.6.m5.2.2.2.1.1"><times id="S2.p2.6.m5.2.2.2.1.1.1.2.cmml" xref="S2.p2.6.m5.2.2.2.1.1.1.2"></times><ci id="S2.p2.6.m5.2.2.2.1.1.1.3.cmml" xref="S2.p2.6.m5.2.2.2.1.1.1.3">𝑔</ci><apply id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.cmml" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1"><times id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.1.cmml" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.2.cmml" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.2">0</cn><ci id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.3.cmml" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.4.cmml" xref="S2.p2.6.m5.2.2.2.1.1.1.1.1.1.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p2.6.m5.2c">f(0pt)=O(g(0pt))</annotation></semantics></math> and <math id="S2.p2.7.m6.2" class="ltx_Math" alttext="f(0pt)=\Omega(g(0pt))" display="inline"><semantics id="S2.p2.7.m6.2a"><mrow id="S2.p2.7.m6.2.2" xref="S2.p2.7.m6.2.2.cmml"><mrow id="S2.p2.7.m6.1.1.1" xref="S2.p2.7.m6.1.1.1.cmml"><mi id="S2.p2.7.m6.1.1.1.3" xref="S2.p2.7.m6.1.1.1.3.cmml">f</mi><mo lspace="0em" rspace="0em" id="S2.p2.7.m6.1.1.1.2" xref="S2.p2.7.m6.1.1.1.2.cmml">​</mo><mrow id="S2.p2.7.m6.1.1.1.1.1" xref="S2.p2.7.m6.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.p2.7.m6.1.1.1.1.1.2" xref="S2.p2.7.m6.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.p2.7.m6.1.1.1.1.1.1" xref="S2.p2.7.m6.1.1.1.1.1.1.cmml"><mn id="S2.p2.7.m6.1.1.1.1.1.1.2" xref="S2.p2.7.m6.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.7.m6.1.1.1.1.1.1.1" xref="S2.p2.7.m6.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.7.m6.1.1.1.1.1.1.3" xref="S2.p2.7.m6.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.7.m6.1.1.1.1.1.1.1a" xref="S2.p2.7.m6.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.7.m6.1.1.1.1.1.1.4" xref="S2.p2.7.m6.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.7.m6.1.1.1.1.1.3" xref="S2.p2.7.m6.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S2.p2.7.m6.2.2.3" xref="S2.p2.7.m6.2.2.3.cmml">=</mo><mrow id="S2.p2.7.m6.2.2.2" xref="S2.p2.7.m6.2.2.2.cmml"><mi mathvariant="normal" id="S2.p2.7.m6.2.2.2.3" xref="S2.p2.7.m6.2.2.2.3.cmml">Ω</mi><mo lspace="0em" rspace="0em" id="S2.p2.7.m6.2.2.2.2" xref="S2.p2.7.m6.2.2.2.2.cmml">​</mo><mrow id="S2.p2.7.m6.2.2.2.1.1" xref="S2.p2.7.m6.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S2.p2.7.m6.2.2.2.1.1.2" xref="S2.p2.7.m6.2.2.2.1.1.1.cmml">(</mo><mrow id="S2.p2.7.m6.2.2.2.1.1.1" xref="S2.p2.7.m6.2.2.2.1.1.1.cmml"><mi id="S2.p2.7.m6.2.2.2.1.1.1.3" xref="S2.p2.7.m6.2.2.2.1.1.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S2.p2.7.m6.2.2.2.1.1.1.2" xref="S2.p2.7.m6.2.2.2.1.1.1.2.cmml">​</mo><mrow id="S2.p2.7.m6.2.2.2.1.1.1.1.1" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S2.p2.7.m6.2.2.2.1.1.1.1.1.2" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.cmml"><mn id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.2" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.1" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.3" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.1a" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.4" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S2.p2.7.m6.2.2.2.1.1.1.1.1.3" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S2.p2.7.m6.2.2.2.1.1.3" xref="S2.p2.7.m6.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p2.7.m6.2b"><apply id="S2.p2.7.m6.2.2.cmml" xref="S2.p2.7.m6.2.2"><eq id="S2.p2.7.m6.2.2.3.cmml" xref="S2.p2.7.m6.2.2.3"></eq><apply id="S2.p2.7.m6.1.1.1.cmml" xref="S2.p2.7.m6.1.1.1"><times id="S2.p2.7.m6.1.1.1.2.cmml" xref="S2.p2.7.m6.1.1.1.2"></times><ci id="S2.p2.7.m6.1.1.1.3.cmml" xref="S2.p2.7.m6.1.1.1.3">𝑓</ci><apply id="S2.p2.7.m6.1.1.1.1.1.1.cmml" xref="S2.p2.7.m6.1.1.1.1.1"><times id="S2.p2.7.m6.1.1.1.1.1.1.1.cmml" xref="S2.p2.7.m6.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.p2.7.m6.1.1.1.1.1.1.2.cmml" xref="S2.p2.7.m6.1.1.1.1.1.1.2">0</cn><ci id="S2.p2.7.m6.1.1.1.1.1.1.3.cmml" xref="S2.p2.7.m6.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.p2.7.m6.1.1.1.1.1.1.4.cmml" xref="S2.p2.7.m6.1.1.1.1.1.1.4">𝑡</ci></apply></apply><apply id="S2.p2.7.m6.2.2.2.cmml" xref="S2.p2.7.m6.2.2.2"><times id="S2.p2.7.m6.2.2.2.2.cmml" xref="S2.p2.7.m6.2.2.2.2"></times><ci id="S2.p2.7.m6.2.2.2.3.cmml" xref="S2.p2.7.m6.2.2.2.3">Ω</ci><apply id="S2.p2.7.m6.2.2.2.1.1.1.cmml" xref="S2.p2.7.m6.2.2.2.1.1"><times id="S2.p2.7.m6.2.2.2.1.1.1.2.cmml" xref="S2.p2.7.m6.2.2.2.1.1.1.2"></times><ci id="S2.p2.7.m6.2.2.2.1.1.1.3.cmml" xref="S2.p2.7.m6.2.2.2.1.1.1.3">𝑔</ci><apply id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.cmml" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1"><times id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.1.cmml" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.1"></times><cn type="integer" id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.2.cmml" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.2">0</cn><ci id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.3.cmml" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.3">𝑝</ci><ci id="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.4.cmml" xref="S2.p2.7.m6.2.2.2.1.1.1.1.1.1.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p2.7.m6.2c">f(0pt)=\Omega(g(0pt))</annotation></semantics></math> entail only the upper and lower bounds, respectively.</p>
</div>
<div id="S2.p3" class="ltx_para ltx_noindent">
<p id="S2.p3.1" class="ltx_p">We will <span id="S2.p3.1.1" class="ltx_text ltx_font_italic">only</span> be concerned with scaling with respect to layer widths in this paper.
Big-<math id="S2.p3.1.m1.1" class="ltx_Math" alttext="O" display="inline"><semantics id="S2.p3.1.m1.1a"><mi id="S2.p3.1.m1.1.1" xref="S2.p3.1.m1.1.1.cmml">O</mi><annotation-xml encoding="MathML-Content" id="S2.p3.1.m1.1b"><ci id="S2.p3.1.m1.1.1.cmml" xref="S2.p3.1.m1.1.1">𝑂</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.p3.1.m1.1c">O</annotation></semantics></math> notation will hide any dependence on other factors — such as depth, dataset size, learning rate schedule, a global learning rate prefactor — and our statements purely concern how quantities will or should scale with model width.</p>
</div>
<div id="S2.p4" class="ltx_para">
<p id="S2.p4.3" class="ltx_p"><span id="S2.p4.3.1" class="ltx_text ltx_font_bold">Vector and matrix norms.</span>
We will use the standard <math id="S2.p4.1.m1.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="S2.p4.1.m1.1a"><msup id="S2.p4.1.m1.1.1" xref="S2.p4.1.m1.1.1.cmml"><mi mathvariant="normal" id="S2.p4.1.m1.1.1.2" xref="S2.p4.1.m1.1.1.2.cmml">ℓ</mi><mn id="S2.p4.1.m1.1.1.3" xref="S2.p4.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S2.p4.1.m1.1b"><apply id="S2.p4.1.m1.1.1.cmml" xref="S2.p4.1.m1.1.1"><csymbol cd="ambiguous" id="S2.p4.1.m1.1.1.1.cmml" xref="S2.p4.1.m1.1.1">superscript</csymbol><ci id="S2.p4.1.m1.1.1.2.cmml" xref="S2.p4.1.m1.1.1.2">ℓ</ci><cn type="integer" id="S2.p4.1.m1.1.1.3.cmml" xref="S2.p4.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p4.1.m1.1c">\ell^{2}</annotation></semantics></math>-norm <math id="S2.p4.2.m2.1" class="ltx_math_unparsed" alttext="\left|\!\left|\cdot\right|\!\right|_{2}" display="inline"><semantics id="S2.p4.2.m2.1a"><mrow id="S2.p4.2.m2.1b"><mo fence="false" id="S2.p4.2.m2.1.1">|</mo><mo fence="false" id="S2.p4.2.m2.1.2">|</mo><mo lspace="0em" rspace="0em" id="S2.p4.2.m2.1.3">⋅</mo><mo fence="false" id="S2.p4.2.m2.1.4">|</mo><msub id="S2.p4.2.m2.1.5"><mo fence="false" id="S2.p4.2.m2.1.5.2">|</mo><mn id="S2.p4.2.m2.1.5.3">2</mn></msub></mrow><annotation encoding="application/x-tex" id="S2.p4.2.m2.1c">\left|\!\left|\cdot\right|\!\right|_{2}</annotation></semantics></math> to assess the size of a vector.
For matrices, we will principally use the <span id="S2.p4.3.2" class="ltx_text ltx_font_italic">spectral norm</span> <math id="S2.p4.3.m3.1" class="ltx_math_unparsed" alttext="\left|\!\left|\cdot\right|\!\right|_{*}" display="inline"><semantics id="S2.p4.3.m3.1a"><mrow id="S2.p4.3.m3.1b"><mo fence="false" id="S2.p4.3.m3.1.1">|</mo><mo fence="false" id="S2.p4.3.m3.1.2">|</mo><mo lspace="0em" rspace="0em" id="S2.p4.3.m3.1.3">⋅</mo><mo fence="false" id="S2.p4.3.m3.1.4">|</mo><msub id="S2.p4.3.m3.1.5"><mo fence="false" id="S2.p4.3.m3.1.5.2">|</mo><mo id="S2.p4.3.m3.1.5.3">∗</mo></msub></mrow><annotation encoding="application/x-tex" id="S2.p4.3.m3.1c">\left|\!\left|\cdot\right|\!\right|_{*}</annotation></semantics></math> (a.k.a. <span id="S2.p4.3.3" class="ltx_text ltx_font_italic">operator norm</span>) defined as follows:</p>
</div>
<div id="Thmdefinition1" class="ltx_theorem ltx_theorem_definition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmdefinition1.1.1.1" class="ltx_text ltx_font_bold">Definition 1</span></span><span id="Thmdefinition1.2.2" class="ltx_text ltx_font_bold"> </span>(Spectral norm)<span id="Thmdefinition1.3.3" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmdefinition1.p1" class="ltx_para">
<p id="Thmdefinition1.p1.1" class="ltx_p">The spectral norm of a matrix <math id="Thmdefinition1.p1.1.m1.1" class="ltx_Math" alttext="{\bm{A}}\in\mathbb{R}^{m\times n}" display="inline"><semantics id="Thmdefinition1.p1.1.m1.1a"><mrow id="Thmdefinition1.p1.1.m1.1.1" xref="Thmdefinition1.p1.1.m1.1.1.cmml"><mi id="Thmdefinition1.p1.1.m1.1.1.2" xref="Thmdefinition1.p1.1.m1.1.1.2.cmml">𝑨</mi><mo id="Thmdefinition1.p1.1.m1.1.1.1" xref="Thmdefinition1.p1.1.m1.1.1.1.cmml">∈</mo><msup id="Thmdefinition1.p1.1.m1.1.1.3" xref="Thmdefinition1.p1.1.m1.1.1.3.cmml"><mi id="Thmdefinition1.p1.1.m1.1.1.3.2" xref="Thmdefinition1.p1.1.m1.1.1.3.2.cmml">ℝ</mi><mrow id="Thmdefinition1.p1.1.m1.1.1.3.3" xref="Thmdefinition1.p1.1.m1.1.1.3.3.cmml"><mi id="Thmdefinition1.p1.1.m1.1.1.3.3.2" xref="Thmdefinition1.p1.1.m1.1.1.3.3.2.cmml">m</mi><mo lspace="0.222em" rspace="0.222em" id="Thmdefinition1.p1.1.m1.1.1.3.3.1" xref="Thmdefinition1.p1.1.m1.1.1.3.3.1.cmml">×</mo><mi id="Thmdefinition1.p1.1.m1.1.1.3.3.3" xref="Thmdefinition1.p1.1.m1.1.1.3.3.3.cmml">n</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmdefinition1.p1.1.m1.1b"><apply id="Thmdefinition1.p1.1.m1.1.1.cmml" xref="Thmdefinition1.p1.1.m1.1.1"><in id="Thmdefinition1.p1.1.m1.1.1.1.cmml" xref="Thmdefinition1.p1.1.m1.1.1.1"></in><ci id="Thmdefinition1.p1.1.m1.1.1.2.cmml" xref="Thmdefinition1.p1.1.m1.1.1.2">𝑨</ci><apply id="Thmdefinition1.p1.1.m1.1.1.3.cmml" xref="Thmdefinition1.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="Thmdefinition1.p1.1.m1.1.1.3.1.cmml" xref="Thmdefinition1.p1.1.m1.1.1.3">superscript</csymbol><ci id="Thmdefinition1.p1.1.m1.1.1.3.2.cmml" xref="Thmdefinition1.p1.1.m1.1.1.3.2">ℝ</ci><apply id="Thmdefinition1.p1.1.m1.1.1.3.3.cmml" xref="Thmdefinition1.p1.1.m1.1.1.3.3"><times id="Thmdefinition1.p1.1.m1.1.1.3.3.1.cmml" xref="Thmdefinition1.p1.1.m1.1.1.3.3.1"></times><ci id="Thmdefinition1.p1.1.m1.1.1.3.3.2.cmml" xref="Thmdefinition1.p1.1.m1.1.1.3.3.2">𝑚</ci><ci id="Thmdefinition1.p1.1.m1.1.1.3.3.3.cmml" xref="Thmdefinition1.p1.1.m1.1.1.3.3.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition1.p1.1.m1.1c">{\bm{A}}\in\mathbb{R}^{m\times n}</annotation></semantics></math> is given by</p>
<table id="S2.E1" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S2.E1.m1.5" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}\right|\!\right|_{*}\vcentcolon=\max_{{\bm{v}}\in\mathbb{R}^{n}\backslash\{\mathbf{0}\}}\frac{\left|\!\left|{\bm{A}}{\bm{v}}\right|\!\right|_{2}}{\left|\!\left|{\bm{v}}\right|\!\right|_{2}}." display="block"><semantics id="S2.E1.m1.5a"><mrow id="S2.E1.m1.5.5.1" xref="S2.E1.m1.5.5.1.1.cmml"><mrow id="S2.E1.m1.5.5.1.1" xref="S2.E1.m1.5.5.1.1.cmml"><msub id="S2.E1.m1.5.5.1.1.2" xref="S2.E1.m1.5.5.1.1.2.cmml"><mrow id="S2.E1.m1.5.5.1.1.2.2.2" xref="S2.E1.m1.5.5.1.1.2.2.1.cmml"><mo stretchy="false" id="S2.E1.m1.5.5.1.1.2.2.2.1" xref="S2.E1.m1.5.5.1.1.2.2.1.1.cmml">‖</mo><mi id="S2.E1.m1.4.4" xref="S2.E1.m1.4.4.cmml">𝑨</mi><mo stretchy="false" id="S2.E1.m1.5.5.1.1.2.2.2.2" xref="S2.E1.m1.5.5.1.1.2.2.1.1.cmml">‖</mo></mrow><mo id="S2.E1.m1.5.5.1.1.2.3" xref="S2.E1.m1.5.5.1.1.2.3.cmml">∗</mo></msub><mo lspace="0.278em" rspace="0.278em" id="S2.E1.m1.5.5.1.1.1" xref="S2.E1.m1.5.5.1.1.1.cmml">:=</mo><mrow id="S2.E1.m1.5.5.1.1.3" xref="S2.E1.m1.5.5.1.1.3.cmml"><munder id="S2.E1.m1.5.5.1.1.3.1" xref="S2.E1.m1.5.5.1.1.3.1.cmml"><mi id="S2.E1.m1.5.5.1.1.3.1.2" xref="S2.E1.m1.5.5.1.1.3.1.2.cmml">max</mi><mrow id="S2.E1.m1.1.1.1" xref="S2.E1.m1.1.1.1.cmml"><mi id="S2.E1.m1.1.1.1.3" xref="S2.E1.m1.1.1.1.3.cmml">𝒗</mi><mo id="S2.E1.m1.1.1.1.2" xref="S2.E1.m1.1.1.1.2.cmml">∈</mo><mrow id="S2.E1.m1.1.1.1.4" xref="S2.E1.m1.1.1.1.4.cmml"><msup id="S2.E1.m1.1.1.1.4.2" xref="S2.E1.m1.1.1.1.4.2.cmml"><mi id="S2.E1.m1.1.1.1.4.2.2" xref="S2.E1.m1.1.1.1.4.2.2.cmml">ℝ</mi><mi id="S2.E1.m1.1.1.1.4.2.3" xref="S2.E1.m1.1.1.1.4.2.3.cmml">n</mi></msup><mo lspace="0.222em" rspace="0.222em" id="S2.E1.m1.1.1.1.4.1" xref="S2.E1.m1.1.1.1.4.1.cmml">\</mo><mrow id="S2.E1.m1.1.1.1.4.3.2" xref="S2.E1.m1.1.1.1.4.3.1.cmml"><mo stretchy="false" id="S2.E1.m1.1.1.1.4.3.2.1" xref="S2.E1.m1.1.1.1.4.3.1.cmml">{</mo><mn id="S2.E1.m1.1.1.1.1" xref="S2.E1.m1.1.1.1.1.cmml">𝟎</mn><mo stretchy="false" id="S2.E1.m1.1.1.1.4.3.2.2" xref="S2.E1.m1.1.1.1.4.3.1.cmml">}</mo></mrow></mrow></mrow></munder><mo lspace="0.167em" id="S2.E1.m1.5.5.1.1.3a" xref="S2.E1.m1.5.5.1.1.3.cmml">⁡</mo><mfrac id="S2.E1.m1.3.3" xref="S2.E1.m1.3.3.cmml"><msub id="S2.E1.m1.2.2.1" xref="S2.E1.m1.2.2.1.cmml"><mrow id="S2.E1.m1.2.2.1.1.1" xref="S2.E1.m1.2.2.1.1.2.cmml"><mo stretchy="false" id="S2.E1.m1.2.2.1.1.1.2" xref="S2.E1.m1.2.2.1.1.2.1.cmml">‖</mo><mrow id="S2.E1.m1.2.2.1.1.1.1" xref="S2.E1.m1.2.2.1.1.1.1.cmml"><mi id="S2.E1.m1.2.2.1.1.1.1.2" xref="S2.E1.m1.2.2.1.1.1.1.2.cmml">𝑨</mi><mo lspace="0em" rspace="0em" id="S2.E1.m1.2.2.1.1.1.1.1" xref="S2.E1.m1.2.2.1.1.1.1.1.cmml">​</mo><mi id="S2.E1.m1.2.2.1.1.1.1.3" xref="S2.E1.m1.2.2.1.1.1.1.3.cmml">𝒗</mi></mrow><mo stretchy="false" id="S2.E1.m1.2.2.1.1.1.3" xref="S2.E1.m1.2.2.1.1.2.1.cmml">‖</mo></mrow><mn id="S2.E1.m1.2.2.1.3" xref="S2.E1.m1.2.2.1.3.cmml">2</mn></msub><msub id="S2.E1.m1.3.3.2" xref="S2.E1.m1.3.3.2.cmml"><mrow id="S2.E1.m1.3.3.2.3.2" xref="S2.E1.m1.3.3.2.3.1.cmml"><mo stretchy="false" id="S2.E1.m1.3.3.2.3.2.1" xref="S2.E1.m1.3.3.2.3.1.1.cmml">‖</mo><mi id="S2.E1.m1.3.3.2.1" xref="S2.E1.m1.3.3.2.1.cmml">𝒗</mi><mo stretchy="false" id="S2.E1.m1.3.3.2.3.2.2" xref="S2.E1.m1.3.3.2.3.1.1.cmml">‖</mo></mrow><mn id="S2.E1.m1.3.3.2.4" xref="S2.E1.m1.3.3.2.4.cmml">2</mn></msub></mfrac></mrow></mrow><mo lspace="0em" id="S2.E1.m1.5.5.1.2" xref="S2.E1.m1.5.5.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S2.E1.m1.5b"><apply id="S2.E1.m1.5.5.1.1.cmml" xref="S2.E1.m1.5.5.1"><csymbol cd="latexml" id="S2.E1.m1.5.5.1.1.1.cmml" xref="S2.E1.m1.5.5.1.1.1">assign</csymbol><apply id="S2.E1.m1.5.5.1.1.2.cmml" xref="S2.E1.m1.5.5.1.1.2"><csymbol cd="ambiguous" id="S2.E1.m1.5.5.1.1.2.1.cmml" xref="S2.E1.m1.5.5.1.1.2">subscript</csymbol><apply id="S2.E1.m1.5.5.1.1.2.2.1.cmml" xref="S2.E1.m1.5.5.1.1.2.2.2"><csymbol cd="latexml" id="S2.E1.m1.5.5.1.1.2.2.1.1.cmml" xref="S2.E1.m1.5.5.1.1.2.2.2.1">norm</csymbol><ci id="S2.E1.m1.4.4.cmml" xref="S2.E1.m1.4.4">𝑨</ci></apply><times id="S2.E1.m1.5.5.1.1.2.3.cmml" xref="S2.E1.m1.5.5.1.1.2.3"></times></apply><apply id="S2.E1.m1.5.5.1.1.3.cmml" xref="S2.E1.m1.5.5.1.1.3"><apply id="S2.E1.m1.5.5.1.1.3.1.cmml" xref="S2.E1.m1.5.5.1.1.3.1"><csymbol cd="ambiguous" id="S2.E1.m1.5.5.1.1.3.1.1.cmml" xref="S2.E1.m1.5.5.1.1.3.1">subscript</csymbol><max id="S2.E1.m1.5.5.1.1.3.1.2.cmml" xref="S2.E1.m1.5.5.1.1.3.1.2"></max><apply id="S2.E1.m1.1.1.1.cmml" xref="S2.E1.m1.1.1.1"><in id="S2.E1.m1.1.1.1.2.cmml" xref="S2.E1.m1.1.1.1.2"></in><ci id="S2.E1.m1.1.1.1.3.cmml" xref="S2.E1.m1.1.1.1.3">𝒗</ci><apply id="S2.E1.m1.1.1.1.4.cmml" xref="S2.E1.m1.1.1.1.4"><ci id="S2.E1.m1.1.1.1.4.1.cmml" xref="S2.E1.m1.1.1.1.4.1">\</ci><apply id="S2.E1.m1.1.1.1.4.2.cmml" xref="S2.E1.m1.1.1.1.4.2"><csymbol cd="ambiguous" id="S2.E1.m1.1.1.1.4.2.1.cmml" xref="S2.E1.m1.1.1.1.4.2">superscript</csymbol><ci id="S2.E1.m1.1.1.1.4.2.2.cmml" xref="S2.E1.m1.1.1.1.4.2.2">ℝ</ci><ci id="S2.E1.m1.1.1.1.4.2.3.cmml" xref="S2.E1.m1.1.1.1.4.2.3">𝑛</ci></apply><set id="S2.E1.m1.1.1.1.4.3.1.cmml" xref="S2.E1.m1.1.1.1.4.3.2"><cn type="integer" id="S2.E1.m1.1.1.1.1.cmml" xref="S2.E1.m1.1.1.1.1">0</cn></set></apply></apply></apply><apply id="S2.E1.m1.3.3.cmml" xref="S2.E1.m1.3.3"><divide id="S2.E1.m1.3.3.3.cmml" xref="S2.E1.m1.3.3"></divide><apply id="S2.E1.m1.2.2.1.cmml" xref="S2.E1.m1.2.2.1"><csymbol cd="ambiguous" id="S2.E1.m1.2.2.1.2.cmml" xref="S2.E1.m1.2.2.1">subscript</csymbol><apply id="S2.E1.m1.2.2.1.1.2.cmml" xref="S2.E1.m1.2.2.1.1.1"><csymbol cd="latexml" id="S2.E1.m1.2.2.1.1.2.1.cmml" xref="S2.E1.m1.2.2.1.1.1.2">norm</csymbol><apply id="S2.E1.m1.2.2.1.1.1.1.cmml" xref="S2.E1.m1.2.2.1.1.1.1"><times id="S2.E1.m1.2.2.1.1.1.1.1.cmml" xref="S2.E1.m1.2.2.1.1.1.1.1"></times><ci id="S2.E1.m1.2.2.1.1.1.1.2.cmml" xref="S2.E1.m1.2.2.1.1.1.1.2">𝑨</ci><ci id="S2.E1.m1.2.2.1.1.1.1.3.cmml" xref="S2.E1.m1.2.2.1.1.1.1.3">𝒗</ci></apply></apply><cn type="integer" id="S2.E1.m1.2.2.1.3.cmml" xref="S2.E1.m1.2.2.1.3">2</cn></apply><apply id="S2.E1.m1.3.3.2.cmml" xref="S2.E1.m1.3.3.2"><csymbol cd="ambiguous" id="S2.E1.m1.3.3.2.2.cmml" xref="S2.E1.m1.3.3.2">subscript</csymbol><apply id="S2.E1.m1.3.3.2.3.1.cmml" xref="S2.E1.m1.3.3.2.3.2"><csymbol cd="latexml" id="S2.E1.m1.3.3.2.3.1.1.cmml" xref="S2.E1.m1.3.3.2.3.2.1">norm</csymbol><ci id="S2.E1.m1.3.3.2.1.cmml" xref="S2.E1.m1.3.3.2.1">𝒗</ci></apply><cn type="integer" id="S2.E1.m1.3.3.2.4.cmml" xref="S2.E1.m1.3.3.2.4">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.E1.m1.5c">\left|\!\left|{\bm{A}}\right|\!\right|_{*}\vcentcolon=\max_{{\bm{v}}\in\mathbb{R}^{n}\backslash\{\mathbf{0}\}}\frac{\left|\!\left|{\bm{A}}{\bm{v}}\right|\!\right|_{2}}{\left|\!\left|{\bm{v}}\right|\!\right|_{2}}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(1)</span></td>
</tr></tbody>
</table>
</div>
</div>
<div id="S2.p5" class="ltx_para ltx_noindent">
<p id="S2.p5.2" class="ltx_p">That is, the spectral norm is the largest factor by which a matrix can increase the norm of a vector on which it acts.
The spectral norm of a matrix is equal to its largest singular value.
We will sometimes contrast the spectral norm with the <span id="S2.p5.2.1" class="ltx_text ltx_font_italic">Frobenius norm</span> <math id="S2.p5.1.m1.1" class="ltx_math_unparsed" alttext="\left|\!\left|\cdot\right|\!\right|_{F}" display="inline"><semantics id="S2.p5.1.m1.1a"><mrow id="S2.p5.1.m1.1b"><mo fence="false" id="S2.p5.1.m1.1.1">|</mo><mo fence="false" id="S2.p5.1.m1.1.2">|</mo><mo lspace="0em" rspace="0em" id="S2.p5.1.m1.1.3">⋅</mo><mo fence="false" id="S2.p5.1.m1.1.4">|</mo><msub id="S2.p5.1.m1.1.5"><mo fence="false" id="S2.p5.1.m1.1.5.2">|</mo><mi id="S2.p5.1.m1.1.5.3">F</mi></msub></mrow><annotation encoding="application/x-tex" id="S2.p5.1.m1.1c">\left|\!\left|\cdot\right|\!\right|_{F}</annotation></semantics></math> given by
<math id="S2.p5.2.m2.1" class="ltx_Math" alttext="\smash{\left|\!\left|{\bm{A}}\right|\!\right|_{F}^{2}=\sum_{ij}A_{ij}^{2}}" display="inline"><semantics id="S2.p5.2.m2.1a"><mrow id="S2.p5.2.m2.1.2" xref="S2.p5.2.m2.1.2.cmml"><msubsup id="S2.p5.2.m2.1.2.2" xref="S2.p5.2.m2.1.2.2.cmml"><mrow id="S2.p5.2.m2.1.2.2.2.2.2" xref="S2.p5.2.m2.1.2.2.2.2.1.cmml"><mo stretchy="false" id="S2.p5.2.m2.1.2.2.2.2.2.1" xref="S2.p5.2.m2.1.2.2.2.2.1.1.cmml">‖</mo><mi id="S2.p5.2.m2.1.1" xref="S2.p5.2.m2.1.1.cmml">𝑨</mi><mo stretchy="false" id="S2.p5.2.m2.1.2.2.2.2.2.2" xref="S2.p5.2.m2.1.2.2.2.2.1.1.cmml">‖</mo></mrow><mi id="S2.p5.2.m2.1.2.2.2.3" xref="S2.p5.2.m2.1.2.2.2.3.cmml">F</mi><mn id="S2.p5.2.m2.1.2.2.3" xref="S2.p5.2.m2.1.2.2.3.cmml">2</mn></msubsup><mo rspace="0.111em" id="S2.p5.2.m2.1.2.1" xref="S2.p5.2.m2.1.2.1.cmml">=</mo><mrow id="S2.p5.2.m2.1.2.3" xref="S2.p5.2.m2.1.2.3.cmml"><msub id="S2.p5.2.m2.1.2.3.1" xref="S2.p5.2.m2.1.2.3.1.cmml"><mo id="S2.p5.2.m2.1.2.3.1.2" xref="S2.p5.2.m2.1.2.3.1.2.cmml">∑</mo><mrow id="S2.p5.2.m2.1.2.3.1.3" xref="S2.p5.2.m2.1.2.3.1.3.cmml"><mi id="S2.p5.2.m2.1.2.3.1.3.2" xref="S2.p5.2.m2.1.2.3.1.3.2.cmml">i</mi><mo lspace="0em" rspace="0em" id="S2.p5.2.m2.1.2.3.1.3.1" xref="S2.p5.2.m2.1.2.3.1.3.1.cmml">​</mo><mi id="S2.p5.2.m2.1.2.3.1.3.3" xref="S2.p5.2.m2.1.2.3.1.3.3.cmml">j</mi></mrow></msub><msubsup id="S2.p5.2.m2.1.2.3.2" xref="S2.p5.2.m2.1.2.3.2.cmml"><mi id="S2.p5.2.m2.1.2.3.2.2.2" xref="S2.p5.2.m2.1.2.3.2.2.2.cmml">A</mi><mrow id="S2.p5.2.m2.1.2.3.2.2.3" xref="S2.p5.2.m2.1.2.3.2.2.3.cmml"><mi id="S2.p5.2.m2.1.2.3.2.2.3.2" xref="S2.p5.2.m2.1.2.3.2.2.3.2.cmml">i</mi><mo lspace="0em" rspace="0em" id="S2.p5.2.m2.1.2.3.2.2.3.1" xref="S2.p5.2.m2.1.2.3.2.2.3.1.cmml">​</mo><mi id="S2.p5.2.m2.1.2.3.2.2.3.3" xref="S2.p5.2.m2.1.2.3.2.2.3.3.cmml">j</mi></mrow><mn id="S2.p5.2.m2.1.2.3.2.3" xref="S2.p5.2.m2.1.2.3.2.3.cmml">2</mn></msubsup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p5.2.m2.1b"><apply id="S2.p5.2.m2.1.2.cmml" xref="S2.p5.2.m2.1.2"><eq id="S2.p5.2.m2.1.2.1.cmml" xref="S2.p5.2.m2.1.2.1"></eq><apply id="S2.p5.2.m2.1.2.2.cmml" xref="S2.p5.2.m2.1.2.2"><csymbol cd="ambiguous" id="S2.p5.2.m2.1.2.2.1.cmml" xref="S2.p5.2.m2.1.2.2">superscript</csymbol><apply id="S2.p5.2.m2.1.2.2.2.cmml" xref="S2.p5.2.m2.1.2.2"><csymbol cd="ambiguous" id="S2.p5.2.m2.1.2.2.2.1.cmml" xref="S2.p5.2.m2.1.2.2">subscript</csymbol><apply id="S2.p5.2.m2.1.2.2.2.2.1.cmml" xref="S2.p5.2.m2.1.2.2.2.2.2"><csymbol cd="latexml" id="S2.p5.2.m2.1.2.2.2.2.1.1.cmml" xref="S2.p5.2.m2.1.2.2.2.2.2.1">norm</csymbol><ci id="S2.p5.2.m2.1.1.cmml" xref="S2.p5.2.m2.1.1">𝑨</ci></apply><ci id="S2.p5.2.m2.1.2.2.2.3.cmml" xref="S2.p5.2.m2.1.2.2.2.3">𝐹</ci></apply><cn type="integer" id="S2.p5.2.m2.1.2.2.3.cmml" xref="S2.p5.2.m2.1.2.2.3">2</cn></apply><apply id="S2.p5.2.m2.1.2.3.cmml" xref="S2.p5.2.m2.1.2.3"><apply id="S2.p5.2.m2.1.2.3.1.cmml" xref="S2.p5.2.m2.1.2.3.1"><csymbol cd="ambiguous" id="S2.p5.2.m2.1.2.3.1.1.cmml" xref="S2.p5.2.m2.1.2.3.1">subscript</csymbol><sum id="S2.p5.2.m2.1.2.3.1.2.cmml" xref="S2.p5.2.m2.1.2.3.1.2"></sum><apply id="S2.p5.2.m2.1.2.3.1.3.cmml" xref="S2.p5.2.m2.1.2.3.1.3"><times id="S2.p5.2.m2.1.2.3.1.3.1.cmml" xref="S2.p5.2.m2.1.2.3.1.3.1"></times><ci id="S2.p5.2.m2.1.2.3.1.3.2.cmml" xref="S2.p5.2.m2.1.2.3.1.3.2">𝑖</ci><ci id="S2.p5.2.m2.1.2.3.1.3.3.cmml" xref="S2.p5.2.m2.1.2.3.1.3.3">𝑗</ci></apply></apply><apply id="S2.p5.2.m2.1.2.3.2.cmml" xref="S2.p5.2.m2.1.2.3.2"><csymbol cd="ambiguous" id="S2.p5.2.m2.1.2.3.2.1.cmml" xref="S2.p5.2.m2.1.2.3.2">superscript</csymbol><apply id="S2.p5.2.m2.1.2.3.2.2.cmml" xref="S2.p5.2.m2.1.2.3.2"><csymbol cd="ambiguous" id="S2.p5.2.m2.1.2.3.2.2.1.cmml" xref="S2.p5.2.m2.1.2.3.2">subscript</csymbol><ci id="S2.p5.2.m2.1.2.3.2.2.2.cmml" xref="S2.p5.2.m2.1.2.3.2.2.2">𝐴</ci><apply id="S2.p5.2.m2.1.2.3.2.2.3.cmml" xref="S2.p5.2.m2.1.2.3.2.2.3"><times id="S2.p5.2.m2.1.2.3.2.2.3.1.cmml" xref="S2.p5.2.m2.1.2.3.2.2.3.1"></times><ci id="S2.p5.2.m2.1.2.3.2.2.3.2.cmml" xref="S2.p5.2.m2.1.2.3.2.2.3.2">𝑖</ci><ci id="S2.p5.2.m2.1.2.3.2.2.3.3.cmml" xref="S2.p5.2.m2.1.2.3.2.2.3.3">𝑗</ci></apply></apply><cn type="integer" id="S2.p5.2.m2.1.2.3.2.3.cmml" xref="S2.p5.2.m2.1.2.3.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p5.2.m2.1c">\smash{\left|\!\left|{\bm{A}}\right|\!\right|_{F}^{2}=\sum_{ij}A_{ij}^{2}}</annotation></semantics></math>.</p>
</div>
<div id="S2.p6" class="ltx_para ltx_noindent">
<p id="S2.p6.9" class="ltx_p"><span id="S2.p6.9.1" class="ltx_text ltx_font_bold">Properties of the spectral norm.</span>
Let <math id="S2.p6.1.m1.2" class="ltx_Math" alttext="{\bm{A}},{\bm{B}}\in\mathbb{R}^{m\times n}" display="inline"><semantics id="S2.p6.1.m1.2a"><mrow id="S2.p6.1.m1.2.3" xref="S2.p6.1.m1.2.3.cmml"><mrow id="S2.p6.1.m1.2.3.2.2" xref="S2.p6.1.m1.2.3.2.1.cmml"><mi id="S2.p6.1.m1.1.1" xref="S2.p6.1.m1.1.1.cmml">𝑨</mi><mo id="S2.p6.1.m1.2.3.2.2.1" xref="S2.p6.1.m1.2.3.2.1.cmml">,</mo><mi id="S2.p6.1.m1.2.2" xref="S2.p6.1.m1.2.2.cmml">𝑩</mi></mrow><mo id="S2.p6.1.m1.2.3.1" xref="S2.p6.1.m1.2.3.1.cmml">∈</mo><msup id="S2.p6.1.m1.2.3.3" xref="S2.p6.1.m1.2.3.3.cmml"><mi id="S2.p6.1.m1.2.3.3.2" xref="S2.p6.1.m1.2.3.3.2.cmml">ℝ</mi><mrow id="S2.p6.1.m1.2.3.3.3" xref="S2.p6.1.m1.2.3.3.3.cmml"><mi id="S2.p6.1.m1.2.3.3.3.2" xref="S2.p6.1.m1.2.3.3.3.2.cmml">m</mi><mo lspace="0.222em" rspace="0.222em" id="S2.p6.1.m1.2.3.3.3.1" xref="S2.p6.1.m1.2.3.3.3.1.cmml">×</mo><mi id="S2.p6.1.m1.2.3.3.3.3" xref="S2.p6.1.m1.2.3.3.3.3.cmml">n</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.1.m1.2b"><apply id="S2.p6.1.m1.2.3.cmml" xref="S2.p6.1.m1.2.3"><in id="S2.p6.1.m1.2.3.1.cmml" xref="S2.p6.1.m1.2.3.1"></in><list id="S2.p6.1.m1.2.3.2.1.cmml" xref="S2.p6.1.m1.2.3.2.2"><ci id="S2.p6.1.m1.1.1.cmml" xref="S2.p6.1.m1.1.1">𝑨</ci><ci id="S2.p6.1.m1.2.2.cmml" xref="S2.p6.1.m1.2.2">𝑩</ci></list><apply id="S2.p6.1.m1.2.3.3.cmml" xref="S2.p6.1.m1.2.3.3"><csymbol cd="ambiguous" id="S2.p6.1.m1.2.3.3.1.cmml" xref="S2.p6.1.m1.2.3.3">superscript</csymbol><ci id="S2.p6.1.m1.2.3.3.2.cmml" xref="S2.p6.1.m1.2.3.3.2">ℝ</ci><apply id="S2.p6.1.m1.2.3.3.3.cmml" xref="S2.p6.1.m1.2.3.3.3"><times id="S2.p6.1.m1.2.3.3.3.1.cmml" xref="S2.p6.1.m1.2.3.3.3.1"></times><ci id="S2.p6.1.m1.2.3.3.3.2.cmml" xref="S2.p6.1.m1.2.3.3.3.2">𝑚</ci><ci id="S2.p6.1.m1.2.3.3.3.3.cmml" xref="S2.p6.1.m1.2.3.3.3.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.1.m1.2c">{\bm{A}},{\bm{B}}\in\mathbb{R}^{m\times n}</annotation></semantics></math> be arbitrary matrices and <math id="S2.p6.2.m2.1" class="ltx_Math" alttext="{\bm{v}}\in\mathbb{R}^{n}" display="inline"><semantics id="S2.p6.2.m2.1a"><mrow id="S2.p6.2.m2.1.1" xref="S2.p6.2.m2.1.1.cmml"><mi id="S2.p6.2.m2.1.1.2" xref="S2.p6.2.m2.1.1.2.cmml">𝒗</mi><mo id="S2.p6.2.m2.1.1.1" xref="S2.p6.2.m2.1.1.1.cmml">∈</mo><msup id="S2.p6.2.m2.1.1.3" xref="S2.p6.2.m2.1.1.3.cmml"><mi id="S2.p6.2.m2.1.1.3.2" xref="S2.p6.2.m2.1.1.3.2.cmml">ℝ</mi><mi id="S2.p6.2.m2.1.1.3.3" xref="S2.p6.2.m2.1.1.3.3.cmml">n</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.2.m2.1b"><apply id="S2.p6.2.m2.1.1.cmml" xref="S2.p6.2.m2.1.1"><in id="S2.p6.2.m2.1.1.1.cmml" xref="S2.p6.2.m2.1.1.1"></in><ci id="S2.p6.2.m2.1.1.2.cmml" xref="S2.p6.2.m2.1.1.2">𝒗</ci><apply id="S2.p6.2.m2.1.1.3.cmml" xref="S2.p6.2.m2.1.1.3"><csymbol cd="ambiguous" id="S2.p6.2.m2.1.1.3.1.cmml" xref="S2.p6.2.m2.1.1.3">superscript</csymbol><ci id="S2.p6.2.m2.1.1.3.2.cmml" xref="S2.p6.2.m2.1.1.3.2">ℝ</ci><ci id="S2.p6.2.m2.1.1.3.3.cmml" xref="S2.p6.2.m2.1.1.3.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.2.m2.1c">{\bm{v}}\in\mathbb{R}^{n}</annotation></semantics></math> be an arbitrary vector. As with all norms, the spectral norm is <span id="S2.p6.9.2" class="ltx_text ltx_font_italic">subadditive</span>, meaning that it obeys the <span id="S2.p6.9.3" class="ltx_text ltx_font_italic">triangle inequality</span> <math id="S2.p6.3.m3.3" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}+{\bm{B}}\right|\!\right|_{*}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}+\left|\!\left|{\bm{B}}\right|\!\right|_{*}" display="inline"><semantics id="S2.p6.3.m3.3a"><mrow id="S2.p6.3.m3.3.3" xref="S2.p6.3.m3.3.3.cmml"><msub id="S2.p6.3.m3.3.3.1" xref="S2.p6.3.m3.3.3.1.cmml"><mrow id="S2.p6.3.m3.3.3.1.1.1" xref="S2.p6.3.m3.3.3.1.1.2.cmml"><mo stretchy="false" id="S2.p6.3.m3.3.3.1.1.1.2" xref="S2.p6.3.m3.3.3.1.1.2.1.cmml">‖</mo><mrow id="S2.p6.3.m3.3.3.1.1.1.1" xref="S2.p6.3.m3.3.3.1.1.1.1.cmml"><mi id="S2.p6.3.m3.3.3.1.1.1.1.2" xref="S2.p6.3.m3.3.3.1.1.1.1.2.cmml">𝑨</mi><mo id="S2.p6.3.m3.3.3.1.1.1.1.1" xref="S2.p6.3.m3.3.3.1.1.1.1.1.cmml">+</mo><mi id="S2.p6.3.m3.3.3.1.1.1.1.3" xref="S2.p6.3.m3.3.3.1.1.1.1.3.cmml">𝑩</mi></mrow><mo stretchy="false" id="S2.p6.3.m3.3.3.1.1.1.3" xref="S2.p6.3.m3.3.3.1.1.2.1.cmml">‖</mo></mrow><mo id="S2.p6.3.m3.3.3.1.3" xref="S2.p6.3.m3.3.3.1.3.cmml">∗</mo></msub><mo id="S2.p6.3.m3.3.3.2" xref="S2.p6.3.m3.3.3.2.cmml">≤</mo><mrow id="S2.p6.3.m3.3.3.3" xref="S2.p6.3.m3.3.3.3.cmml"><msub id="S2.p6.3.m3.3.3.3.2" xref="S2.p6.3.m3.3.3.3.2.cmml"><mrow id="S2.p6.3.m3.3.3.3.2.2.2" xref="S2.p6.3.m3.3.3.3.2.2.1.cmml"><mo stretchy="false" id="S2.p6.3.m3.3.3.3.2.2.2.1" xref="S2.p6.3.m3.3.3.3.2.2.1.1.cmml">‖</mo><mi id="S2.p6.3.m3.1.1" xref="S2.p6.3.m3.1.1.cmml">𝑨</mi><mo stretchy="false" id="S2.p6.3.m3.3.3.3.2.2.2.2" xref="S2.p6.3.m3.3.3.3.2.2.1.1.cmml">‖</mo></mrow><mo id="S2.p6.3.m3.3.3.3.2.3" xref="S2.p6.3.m3.3.3.3.2.3.cmml">∗</mo></msub><mo id="S2.p6.3.m3.3.3.3.1" xref="S2.p6.3.m3.3.3.3.1.cmml">+</mo><msub id="S2.p6.3.m3.3.3.3.3" xref="S2.p6.3.m3.3.3.3.3.cmml"><mrow id="S2.p6.3.m3.3.3.3.3.2.2" xref="S2.p6.3.m3.3.3.3.3.2.1.cmml"><mo stretchy="false" id="S2.p6.3.m3.3.3.3.3.2.2.1" xref="S2.p6.3.m3.3.3.3.3.2.1.1.cmml">‖</mo><mi id="S2.p6.3.m3.2.2" xref="S2.p6.3.m3.2.2.cmml">𝑩</mi><mo stretchy="false" id="S2.p6.3.m3.3.3.3.3.2.2.2" xref="S2.p6.3.m3.3.3.3.3.2.1.1.cmml">‖</mo></mrow><mo id="S2.p6.3.m3.3.3.3.3.3" xref="S2.p6.3.m3.3.3.3.3.3.cmml">∗</mo></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.3.m3.3b"><apply id="S2.p6.3.m3.3.3.cmml" xref="S2.p6.3.m3.3.3"><leq id="S2.p6.3.m3.3.3.2.cmml" xref="S2.p6.3.m3.3.3.2"></leq><apply id="S2.p6.3.m3.3.3.1.cmml" xref="S2.p6.3.m3.3.3.1"><csymbol cd="ambiguous" id="S2.p6.3.m3.3.3.1.2.cmml" xref="S2.p6.3.m3.3.3.1">subscript</csymbol><apply id="S2.p6.3.m3.3.3.1.1.2.cmml" xref="S2.p6.3.m3.3.3.1.1.1"><csymbol cd="latexml" id="S2.p6.3.m3.3.3.1.1.2.1.cmml" xref="S2.p6.3.m3.3.3.1.1.1.2">norm</csymbol><apply id="S2.p6.3.m3.3.3.1.1.1.1.cmml" xref="S2.p6.3.m3.3.3.1.1.1.1"><plus id="S2.p6.3.m3.3.3.1.1.1.1.1.cmml" xref="S2.p6.3.m3.3.3.1.1.1.1.1"></plus><ci id="S2.p6.3.m3.3.3.1.1.1.1.2.cmml" xref="S2.p6.3.m3.3.3.1.1.1.1.2">𝑨</ci><ci id="S2.p6.3.m3.3.3.1.1.1.1.3.cmml" xref="S2.p6.3.m3.3.3.1.1.1.1.3">𝑩</ci></apply></apply><times id="S2.p6.3.m3.3.3.1.3.cmml" xref="S2.p6.3.m3.3.3.1.3"></times></apply><apply id="S2.p6.3.m3.3.3.3.cmml" xref="S2.p6.3.m3.3.3.3"><plus id="S2.p6.3.m3.3.3.3.1.cmml" xref="S2.p6.3.m3.3.3.3.1"></plus><apply id="S2.p6.3.m3.3.3.3.2.cmml" xref="S2.p6.3.m3.3.3.3.2"><csymbol cd="ambiguous" id="S2.p6.3.m3.3.3.3.2.1.cmml" xref="S2.p6.3.m3.3.3.3.2">subscript</csymbol><apply id="S2.p6.3.m3.3.3.3.2.2.1.cmml" xref="S2.p6.3.m3.3.3.3.2.2.2"><csymbol cd="latexml" id="S2.p6.3.m3.3.3.3.2.2.1.1.cmml" xref="S2.p6.3.m3.3.3.3.2.2.2.1">norm</csymbol><ci id="S2.p6.3.m3.1.1.cmml" xref="S2.p6.3.m3.1.1">𝑨</ci></apply><times id="S2.p6.3.m3.3.3.3.2.3.cmml" xref="S2.p6.3.m3.3.3.3.2.3"></times></apply><apply id="S2.p6.3.m3.3.3.3.3.cmml" xref="S2.p6.3.m3.3.3.3.3"><csymbol cd="ambiguous" id="S2.p6.3.m3.3.3.3.3.1.cmml" xref="S2.p6.3.m3.3.3.3.3">subscript</csymbol><apply id="S2.p6.3.m3.3.3.3.3.2.1.cmml" xref="S2.p6.3.m3.3.3.3.3.2.2"><csymbol cd="latexml" id="S2.p6.3.m3.3.3.3.3.2.1.1.cmml" xref="S2.p6.3.m3.3.3.3.3.2.2.1">norm</csymbol><ci id="S2.p6.3.m3.2.2.cmml" xref="S2.p6.3.m3.2.2">𝑩</ci></apply><times id="S2.p6.3.m3.3.3.3.3.3.cmml" xref="S2.p6.3.m3.3.3.3.3.3"></times></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.3.m3.3c">\left|\!\left|{\bm{A}}+{\bm{B}}\right|\!\right|_{*}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}+\left|\!\left|{\bm{B}}\right|\!\right|_{*}</annotation></semantics></math>.
The spectral norm is also <span id="S2.p6.9.4" class="ltx_text ltx_font_italic">submultiplicative</span> in the sense that <math id="S2.p6.4.m4.3" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}{\bm{v}}\right|\!\right|_{*}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{v}}\right|\!\right|_{2}" display="inline"><semantics id="S2.p6.4.m4.3a"><mrow id="S2.p6.4.m4.3.3" xref="S2.p6.4.m4.3.3.cmml"><msub id="S2.p6.4.m4.3.3.1" xref="S2.p6.4.m4.3.3.1.cmml"><mrow id="S2.p6.4.m4.3.3.1.1.1" xref="S2.p6.4.m4.3.3.1.1.2.cmml"><mo stretchy="false" id="S2.p6.4.m4.3.3.1.1.1.2" xref="S2.p6.4.m4.3.3.1.1.2.1.cmml">‖</mo><mrow id="S2.p6.4.m4.3.3.1.1.1.1" xref="S2.p6.4.m4.3.3.1.1.1.1.cmml"><mi id="S2.p6.4.m4.3.3.1.1.1.1.2" xref="S2.p6.4.m4.3.3.1.1.1.1.2.cmml">𝑨</mi><mo lspace="0em" rspace="0em" id="S2.p6.4.m4.3.3.1.1.1.1.1" xref="S2.p6.4.m4.3.3.1.1.1.1.1.cmml">​</mo><mi id="S2.p6.4.m4.3.3.1.1.1.1.3" xref="S2.p6.4.m4.3.3.1.1.1.1.3.cmml">𝒗</mi></mrow><mo stretchy="false" id="S2.p6.4.m4.3.3.1.1.1.3" xref="S2.p6.4.m4.3.3.1.1.2.1.cmml">‖</mo></mrow><mo id="S2.p6.4.m4.3.3.1.3" xref="S2.p6.4.m4.3.3.1.3.cmml">∗</mo></msub><mo id="S2.p6.4.m4.3.3.2" xref="S2.p6.4.m4.3.3.2.cmml">≤</mo><mrow id="S2.p6.4.m4.3.3.3" xref="S2.p6.4.m4.3.3.3.cmml"><msub id="S2.p6.4.m4.3.3.3.2" xref="S2.p6.4.m4.3.3.3.2.cmml"><mrow id="S2.p6.4.m4.3.3.3.2.2.2" xref="S2.p6.4.m4.3.3.3.2.2.1.cmml"><mo stretchy="false" id="S2.p6.4.m4.3.3.3.2.2.2.1" xref="S2.p6.4.m4.3.3.3.2.2.1.1.cmml">‖</mo><mi id="S2.p6.4.m4.1.1" xref="S2.p6.4.m4.1.1.cmml">𝑨</mi><mo rspace="0.055em" stretchy="false" id="S2.p6.4.m4.3.3.3.2.2.2.2" xref="S2.p6.4.m4.3.3.3.2.2.1.1.cmml">‖</mo></mrow><mo id="S2.p6.4.m4.3.3.3.2.3" xref="S2.p6.4.m4.3.3.3.2.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S2.p6.4.m4.3.3.3.1" xref="S2.p6.4.m4.3.3.3.1.cmml">⋅</mo><msub id="S2.p6.4.m4.3.3.3.3" xref="S2.p6.4.m4.3.3.3.3.cmml"><mrow id="S2.p6.4.m4.3.3.3.3.2.2" xref="S2.p6.4.m4.3.3.3.3.2.1.cmml"><mo stretchy="false" id="S2.p6.4.m4.3.3.3.3.2.2.1" xref="S2.p6.4.m4.3.3.3.3.2.1.1.cmml">‖</mo><mi id="S2.p6.4.m4.2.2" xref="S2.p6.4.m4.2.2.cmml">𝒗</mi><mo stretchy="false" id="S2.p6.4.m4.3.3.3.3.2.2.2" xref="S2.p6.4.m4.3.3.3.3.2.1.1.cmml">‖</mo></mrow><mn id="S2.p6.4.m4.3.3.3.3.3" xref="S2.p6.4.m4.3.3.3.3.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.4.m4.3b"><apply id="S2.p6.4.m4.3.3.cmml" xref="S2.p6.4.m4.3.3"><leq id="S2.p6.4.m4.3.3.2.cmml" xref="S2.p6.4.m4.3.3.2"></leq><apply id="S2.p6.4.m4.3.3.1.cmml" xref="S2.p6.4.m4.3.3.1"><csymbol cd="ambiguous" id="S2.p6.4.m4.3.3.1.2.cmml" xref="S2.p6.4.m4.3.3.1">subscript</csymbol><apply id="S2.p6.4.m4.3.3.1.1.2.cmml" xref="S2.p6.4.m4.3.3.1.1.1"><csymbol cd="latexml" id="S2.p6.4.m4.3.3.1.1.2.1.cmml" xref="S2.p6.4.m4.3.3.1.1.1.2">norm</csymbol><apply id="S2.p6.4.m4.3.3.1.1.1.1.cmml" xref="S2.p6.4.m4.3.3.1.1.1.1"><times id="S2.p6.4.m4.3.3.1.1.1.1.1.cmml" xref="S2.p6.4.m4.3.3.1.1.1.1.1"></times><ci id="S2.p6.4.m4.3.3.1.1.1.1.2.cmml" xref="S2.p6.4.m4.3.3.1.1.1.1.2">𝑨</ci><ci id="S2.p6.4.m4.3.3.1.1.1.1.3.cmml" xref="S2.p6.4.m4.3.3.1.1.1.1.3">𝒗</ci></apply></apply><times id="S2.p6.4.m4.3.3.1.3.cmml" xref="S2.p6.4.m4.3.3.1.3"></times></apply><apply id="S2.p6.4.m4.3.3.3.cmml" xref="S2.p6.4.m4.3.3.3"><ci id="S2.p6.4.m4.3.3.3.1.cmml" xref="S2.p6.4.m4.3.3.3.1">⋅</ci><apply id="S2.p6.4.m4.3.3.3.2.cmml" xref="S2.p6.4.m4.3.3.3.2"><csymbol cd="ambiguous" id="S2.p6.4.m4.3.3.3.2.1.cmml" xref="S2.p6.4.m4.3.3.3.2">subscript</csymbol><apply id="S2.p6.4.m4.3.3.3.2.2.1.cmml" xref="S2.p6.4.m4.3.3.3.2.2.2"><csymbol cd="latexml" id="S2.p6.4.m4.3.3.3.2.2.1.1.cmml" xref="S2.p6.4.m4.3.3.3.2.2.2.1">norm</csymbol><ci id="S2.p6.4.m4.1.1.cmml" xref="S2.p6.4.m4.1.1">𝑨</ci></apply><times id="S2.p6.4.m4.3.3.3.2.3.cmml" xref="S2.p6.4.m4.3.3.3.2.3"></times></apply><apply id="S2.p6.4.m4.3.3.3.3.cmml" xref="S2.p6.4.m4.3.3.3.3"><csymbol cd="ambiguous" id="S2.p6.4.m4.3.3.3.3.1.cmml" xref="S2.p6.4.m4.3.3.3.3">subscript</csymbol><apply id="S2.p6.4.m4.3.3.3.3.2.1.cmml" xref="S2.p6.4.m4.3.3.3.3.2.2"><csymbol cd="latexml" id="S2.p6.4.m4.3.3.3.3.2.1.1.cmml" xref="S2.p6.4.m4.3.3.3.3.2.2.1">norm</csymbol><ci id="S2.p6.4.m4.2.2.cmml" xref="S2.p6.4.m4.2.2">𝒗</ci></apply><cn type="integer" id="S2.p6.4.m4.3.3.3.3.3.cmml" xref="S2.p6.4.m4.3.3.3.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.4.m4.3c">\left|\!\left|{\bm{A}}{\bm{v}}\right|\!\right|_{*}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{v}}\right|\!\right|_{2}</annotation></semantics></math> and <math id="S2.p6.5.m5.3" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}{\bm{B}}\right|\!\right|_{*}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{B}}\right|\!\right|_{*}" display="inline"><semantics id="S2.p6.5.m5.3a"><mrow id="S2.p6.5.m5.3.3" xref="S2.p6.5.m5.3.3.cmml"><msub id="S2.p6.5.m5.3.3.1" xref="S2.p6.5.m5.3.3.1.cmml"><mrow id="S2.p6.5.m5.3.3.1.1.1" xref="S2.p6.5.m5.3.3.1.1.2.cmml"><mo stretchy="false" id="S2.p6.5.m5.3.3.1.1.1.2" xref="S2.p6.5.m5.3.3.1.1.2.1.cmml">‖</mo><mrow id="S2.p6.5.m5.3.3.1.1.1.1" xref="S2.p6.5.m5.3.3.1.1.1.1.cmml"><mi id="S2.p6.5.m5.3.3.1.1.1.1.2" xref="S2.p6.5.m5.3.3.1.1.1.1.2.cmml">𝑨</mi><mo lspace="0em" rspace="0em" id="S2.p6.5.m5.3.3.1.1.1.1.1" xref="S2.p6.5.m5.3.3.1.1.1.1.1.cmml">​</mo><mi id="S2.p6.5.m5.3.3.1.1.1.1.3" xref="S2.p6.5.m5.3.3.1.1.1.1.3.cmml">𝑩</mi></mrow><mo stretchy="false" id="S2.p6.5.m5.3.3.1.1.1.3" xref="S2.p6.5.m5.3.3.1.1.2.1.cmml">‖</mo></mrow><mo id="S2.p6.5.m5.3.3.1.3" xref="S2.p6.5.m5.3.3.1.3.cmml">∗</mo></msub><mo id="S2.p6.5.m5.3.3.2" xref="S2.p6.5.m5.3.3.2.cmml">≤</mo><mrow id="S2.p6.5.m5.3.3.3" xref="S2.p6.5.m5.3.3.3.cmml"><msub id="S2.p6.5.m5.3.3.3.2" xref="S2.p6.5.m5.3.3.3.2.cmml"><mrow id="S2.p6.5.m5.3.3.3.2.2.2" xref="S2.p6.5.m5.3.3.3.2.2.1.cmml"><mo stretchy="false" id="S2.p6.5.m5.3.3.3.2.2.2.1" xref="S2.p6.5.m5.3.3.3.2.2.1.1.cmml">‖</mo><mi id="S2.p6.5.m5.1.1" xref="S2.p6.5.m5.1.1.cmml">𝑨</mi><mo rspace="0.055em" stretchy="false" id="S2.p6.5.m5.3.3.3.2.2.2.2" xref="S2.p6.5.m5.3.3.3.2.2.1.1.cmml">‖</mo></mrow><mo id="S2.p6.5.m5.3.3.3.2.3" xref="S2.p6.5.m5.3.3.3.2.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S2.p6.5.m5.3.3.3.1" xref="S2.p6.5.m5.3.3.3.1.cmml">⋅</mo><msub id="S2.p6.5.m5.3.3.3.3" xref="S2.p6.5.m5.3.3.3.3.cmml"><mrow id="S2.p6.5.m5.3.3.3.3.2.2" xref="S2.p6.5.m5.3.3.3.3.2.1.cmml"><mo stretchy="false" id="S2.p6.5.m5.3.3.3.3.2.2.1" xref="S2.p6.5.m5.3.3.3.3.2.1.1.cmml">‖</mo><mi id="S2.p6.5.m5.2.2" xref="S2.p6.5.m5.2.2.cmml">𝑩</mi><mo stretchy="false" id="S2.p6.5.m5.3.3.3.3.2.2.2" xref="S2.p6.5.m5.3.3.3.3.2.1.1.cmml">‖</mo></mrow><mo id="S2.p6.5.m5.3.3.3.3.3" xref="S2.p6.5.m5.3.3.3.3.3.cmml">∗</mo></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.5.m5.3b"><apply id="S2.p6.5.m5.3.3.cmml" xref="S2.p6.5.m5.3.3"><leq id="S2.p6.5.m5.3.3.2.cmml" xref="S2.p6.5.m5.3.3.2"></leq><apply id="S2.p6.5.m5.3.3.1.cmml" xref="S2.p6.5.m5.3.3.1"><csymbol cd="ambiguous" id="S2.p6.5.m5.3.3.1.2.cmml" xref="S2.p6.5.m5.3.3.1">subscript</csymbol><apply id="S2.p6.5.m5.3.3.1.1.2.cmml" xref="S2.p6.5.m5.3.3.1.1.1"><csymbol cd="latexml" id="S2.p6.5.m5.3.3.1.1.2.1.cmml" xref="S2.p6.5.m5.3.3.1.1.1.2">norm</csymbol><apply id="S2.p6.5.m5.3.3.1.1.1.1.cmml" xref="S2.p6.5.m5.3.3.1.1.1.1"><times id="S2.p6.5.m5.3.3.1.1.1.1.1.cmml" xref="S2.p6.5.m5.3.3.1.1.1.1.1"></times><ci id="S2.p6.5.m5.3.3.1.1.1.1.2.cmml" xref="S2.p6.5.m5.3.3.1.1.1.1.2">𝑨</ci><ci id="S2.p6.5.m5.3.3.1.1.1.1.3.cmml" xref="S2.p6.5.m5.3.3.1.1.1.1.3">𝑩</ci></apply></apply><times id="S2.p6.5.m5.3.3.1.3.cmml" xref="S2.p6.5.m5.3.3.1.3"></times></apply><apply id="S2.p6.5.m5.3.3.3.cmml" xref="S2.p6.5.m5.3.3.3"><ci id="S2.p6.5.m5.3.3.3.1.cmml" xref="S2.p6.5.m5.3.3.3.1">⋅</ci><apply id="S2.p6.5.m5.3.3.3.2.cmml" xref="S2.p6.5.m5.3.3.3.2"><csymbol cd="ambiguous" id="S2.p6.5.m5.3.3.3.2.1.cmml" xref="S2.p6.5.m5.3.3.3.2">subscript</csymbol><apply id="S2.p6.5.m5.3.3.3.2.2.1.cmml" xref="S2.p6.5.m5.3.3.3.2.2.2"><csymbol cd="latexml" id="S2.p6.5.m5.3.3.3.2.2.1.1.cmml" xref="S2.p6.5.m5.3.3.3.2.2.2.1">norm</csymbol><ci id="S2.p6.5.m5.1.1.cmml" xref="S2.p6.5.m5.1.1">𝑨</ci></apply><times id="S2.p6.5.m5.3.3.3.2.3.cmml" xref="S2.p6.5.m5.3.3.3.2.3"></times></apply><apply id="S2.p6.5.m5.3.3.3.3.cmml" xref="S2.p6.5.m5.3.3.3.3"><csymbol cd="ambiguous" id="S2.p6.5.m5.3.3.3.3.1.cmml" xref="S2.p6.5.m5.3.3.3.3">subscript</csymbol><apply id="S2.p6.5.m5.3.3.3.3.2.1.cmml" xref="S2.p6.5.m5.3.3.3.3.2.2"><csymbol cd="latexml" id="S2.p6.5.m5.3.3.3.3.2.1.1.cmml" xref="S2.p6.5.m5.3.3.3.3.2.2.1">norm</csymbol><ci id="S2.p6.5.m5.2.2.cmml" xref="S2.p6.5.m5.2.2">𝑩</ci></apply><times id="S2.p6.5.m5.3.3.3.3.3.cmml" xref="S2.p6.5.m5.3.3.3.3.3"></times></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.5.m5.3c">\left|\!\left|{\bm{A}}{\bm{B}}\right|\!\right|_{*}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{B}}\right|\!\right|_{*}</annotation></semantics></math>.
If we interpret a vector <math id="S2.p6.6.m6.1" class="ltx_Math" alttext="{\bm{v}}\in\mathbb{R}^{n}" display="inline"><semantics id="S2.p6.6.m6.1a"><mrow id="S2.p6.6.m6.1.1" xref="S2.p6.6.m6.1.1.cmml"><mi id="S2.p6.6.m6.1.1.2" xref="S2.p6.6.m6.1.1.2.cmml">𝒗</mi><mo id="S2.p6.6.m6.1.1.1" xref="S2.p6.6.m6.1.1.1.cmml">∈</mo><msup id="S2.p6.6.m6.1.1.3" xref="S2.p6.6.m6.1.1.3.cmml"><mi id="S2.p6.6.m6.1.1.3.2" xref="S2.p6.6.m6.1.1.3.2.cmml">ℝ</mi><mi id="S2.p6.6.m6.1.1.3.3" xref="S2.p6.6.m6.1.1.3.3.cmml">n</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.6.m6.1b"><apply id="S2.p6.6.m6.1.1.cmml" xref="S2.p6.6.m6.1.1"><in id="S2.p6.6.m6.1.1.1.cmml" xref="S2.p6.6.m6.1.1.1"></in><ci id="S2.p6.6.m6.1.1.2.cmml" xref="S2.p6.6.m6.1.1.2">𝒗</ci><apply id="S2.p6.6.m6.1.1.3.cmml" xref="S2.p6.6.m6.1.1.3"><csymbol cd="ambiguous" id="S2.p6.6.m6.1.1.3.1.cmml" xref="S2.p6.6.m6.1.1.3">superscript</csymbol><ci id="S2.p6.6.m6.1.1.3.2.cmml" xref="S2.p6.6.m6.1.1.3.2">ℝ</ci><ci id="S2.p6.6.m6.1.1.3.3.cmml" xref="S2.p6.6.m6.1.1.3.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.6.m6.1c">{\bm{v}}\in\mathbb{R}^{n}</annotation></semantics></math> as a <math id="S2.p6.7.m7.1" class="ltx_Math" alttext="1\times n" display="inline"><semantics id="S2.p6.7.m7.1a"><mrow id="S2.p6.7.m7.1.1" xref="S2.p6.7.m7.1.1.cmml"><mn id="S2.p6.7.m7.1.1.2" xref="S2.p6.7.m7.1.1.2.cmml">1</mn><mo lspace="0.222em" rspace="0.222em" id="S2.p6.7.m7.1.1.1" xref="S2.p6.7.m7.1.1.1.cmml">×</mo><mi id="S2.p6.7.m7.1.1.3" xref="S2.p6.7.m7.1.1.3.cmml">n</mi></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.7.m7.1b"><apply id="S2.p6.7.m7.1.1.cmml" xref="S2.p6.7.m7.1.1"><times id="S2.p6.7.m7.1.1.1.cmml" xref="S2.p6.7.m7.1.1.1"></times><cn type="integer" id="S2.p6.7.m7.1.1.2.cmml" xref="S2.p6.7.m7.1.1.2">1</cn><ci id="S2.p6.7.m7.1.1.3.cmml" xref="S2.p6.7.m7.1.1.3">𝑛</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.7.m7.1c">1\times n</annotation></semantics></math> matrix, then the <math id="S2.p6.8.m8.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="S2.p6.8.m8.1a"><msup id="S2.p6.8.m8.1.1" xref="S2.p6.8.m8.1.1.cmml"><mi mathvariant="normal" id="S2.p6.8.m8.1.1.2" xref="S2.p6.8.m8.1.1.2.cmml">ℓ</mi><mn id="S2.p6.8.m8.1.1.3" xref="S2.p6.8.m8.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S2.p6.8.m8.1b"><apply id="S2.p6.8.m8.1.1.cmml" xref="S2.p6.8.m8.1.1"><csymbol cd="ambiguous" id="S2.p6.8.m8.1.1.1.cmml" xref="S2.p6.8.m8.1.1">superscript</csymbol><ci id="S2.p6.8.m8.1.1.2.cmml" xref="S2.p6.8.m8.1.1.2">ℓ</ci><cn type="integer" id="S2.p6.8.m8.1.1.3.cmml" xref="S2.p6.8.m8.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.8.m8.1c">\ell^{2}</annotation></semantics></math>, spectral and Frobenius norms are equivalent: <math id="S2.p6.9.m9.3" class="ltx_Math" alttext="\left|\!\left|{\bm{v}}\right|\!\right|_{2}=\left|\!\left|{\bm{v}}\right|\!\right|_{*}=\left|\!\left|{\bm{v}}\right|\!\right|_{F}" display="inline"><semantics id="S2.p6.9.m9.3a"><mrow id="S2.p6.9.m9.3.4" xref="S2.p6.9.m9.3.4.cmml"><msub id="S2.p6.9.m9.3.4.2" xref="S2.p6.9.m9.3.4.2.cmml"><mrow id="S2.p6.9.m9.3.4.2.2.2" xref="S2.p6.9.m9.3.4.2.2.1.cmml"><mo stretchy="false" id="S2.p6.9.m9.3.4.2.2.2.1" xref="S2.p6.9.m9.3.4.2.2.1.1.cmml">‖</mo><mi id="S2.p6.9.m9.1.1" xref="S2.p6.9.m9.1.1.cmml">𝒗</mi><mo stretchy="false" id="S2.p6.9.m9.3.4.2.2.2.2" xref="S2.p6.9.m9.3.4.2.2.1.1.cmml">‖</mo></mrow><mn id="S2.p6.9.m9.3.4.2.3" xref="S2.p6.9.m9.3.4.2.3.cmml">2</mn></msub><mo id="S2.p6.9.m9.3.4.3" xref="S2.p6.9.m9.3.4.3.cmml">=</mo><msub id="S2.p6.9.m9.3.4.4" xref="S2.p6.9.m9.3.4.4.cmml"><mrow id="S2.p6.9.m9.3.4.4.2.2" xref="S2.p6.9.m9.3.4.4.2.1.cmml"><mo stretchy="false" id="S2.p6.9.m9.3.4.4.2.2.1" xref="S2.p6.9.m9.3.4.4.2.1.1.cmml">‖</mo><mi id="S2.p6.9.m9.2.2" xref="S2.p6.9.m9.2.2.cmml">𝒗</mi><mo stretchy="false" id="S2.p6.9.m9.3.4.4.2.2.2" xref="S2.p6.9.m9.3.4.4.2.1.1.cmml">‖</mo></mrow><mo id="S2.p6.9.m9.3.4.4.3" xref="S2.p6.9.m9.3.4.4.3.cmml">∗</mo></msub><mo id="S2.p6.9.m9.3.4.5" xref="S2.p6.9.m9.3.4.5.cmml">=</mo><msub id="S2.p6.9.m9.3.4.6" xref="S2.p6.9.m9.3.4.6.cmml"><mrow id="S2.p6.9.m9.3.4.6.2.2" xref="S2.p6.9.m9.3.4.6.2.1.cmml"><mo stretchy="false" id="S2.p6.9.m9.3.4.6.2.2.1" xref="S2.p6.9.m9.3.4.6.2.1.1.cmml">‖</mo><mi id="S2.p6.9.m9.3.3" xref="S2.p6.9.m9.3.3.cmml">𝒗</mi><mo stretchy="false" id="S2.p6.9.m9.3.4.6.2.2.2" xref="S2.p6.9.m9.3.4.6.2.1.1.cmml">‖</mo></mrow><mi id="S2.p6.9.m9.3.4.6.3" xref="S2.p6.9.m9.3.4.6.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S2.p6.9.m9.3b"><apply id="S2.p6.9.m9.3.4.cmml" xref="S2.p6.9.m9.3.4"><and id="S2.p6.9.m9.3.4a.cmml" xref="S2.p6.9.m9.3.4"></and><apply id="S2.p6.9.m9.3.4b.cmml" xref="S2.p6.9.m9.3.4"><eq id="S2.p6.9.m9.3.4.3.cmml" xref="S2.p6.9.m9.3.4.3"></eq><apply id="S2.p6.9.m9.3.4.2.cmml" xref="S2.p6.9.m9.3.4.2"><csymbol cd="ambiguous" id="S2.p6.9.m9.3.4.2.1.cmml" xref="S2.p6.9.m9.3.4.2">subscript</csymbol><apply id="S2.p6.9.m9.3.4.2.2.1.cmml" xref="S2.p6.9.m9.3.4.2.2.2"><csymbol cd="latexml" id="S2.p6.9.m9.3.4.2.2.1.1.cmml" xref="S2.p6.9.m9.3.4.2.2.2.1">norm</csymbol><ci id="S2.p6.9.m9.1.1.cmml" xref="S2.p6.9.m9.1.1">𝒗</ci></apply><cn type="integer" id="S2.p6.9.m9.3.4.2.3.cmml" xref="S2.p6.9.m9.3.4.2.3">2</cn></apply><apply id="S2.p6.9.m9.3.4.4.cmml" xref="S2.p6.9.m9.3.4.4"><csymbol cd="ambiguous" id="S2.p6.9.m9.3.4.4.1.cmml" xref="S2.p6.9.m9.3.4.4">subscript</csymbol><apply id="S2.p6.9.m9.3.4.4.2.1.cmml" xref="S2.p6.9.m9.3.4.4.2.2"><csymbol cd="latexml" id="S2.p6.9.m9.3.4.4.2.1.1.cmml" xref="S2.p6.9.m9.3.4.4.2.2.1">norm</csymbol><ci id="S2.p6.9.m9.2.2.cmml" xref="S2.p6.9.m9.2.2">𝒗</ci></apply><times id="S2.p6.9.m9.3.4.4.3.cmml" xref="S2.p6.9.m9.3.4.4.3"></times></apply></apply><apply id="S2.p6.9.m9.3.4c.cmml" xref="S2.p6.9.m9.3.4"><eq id="S2.p6.9.m9.3.4.5.cmml" xref="S2.p6.9.m9.3.4.5"></eq><share href="#S2.p6.9.m9.3.4.4.cmml" id="S2.p6.9.m9.3.4d.cmml" xref="S2.p6.9.m9.3.4"></share><apply id="S2.p6.9.m9.3.4.6.cmml" xref="S2.p6.9.m9.3.4.6"><csymbol cd="ambiguous" id="S2.p6.9.m9.3.4.6.1.cmml" xref="S2.p6.9.m9.3.4.6">subscript</csymbol><apply id="S2.p6.9.m9.3.4.6.2.1.cmml" xref="S2.p6.9.m9.3.4.6.2.2"><csymbol cd="latexml" id="S2.p6.9.m9.3.4.6.2.1.1.cmml" xref="S2.p6.9.m9.3.4.6.2.2.1">norm</csymbol><ci id="S2.p6.9.m9.3.3.cmml" xref="S2.p6.9.m9.3.3">𝒗</ci></apply><ci id="S2.p6.9.m9.3.4.6.3.cmml" xref="S2.p6.9.m9.3.4.6.3">𝐹</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p6.9.m9.3c">\left|\!\left|{\bm{v}}\right|\!\right|_{2}=\left|\!\left|{\bm{v}}\right|\!\right|_{*}=\left|\!\left|{\bm{v}}\right|\!\right|_{F}</annotation></semantics></math>.</p>
</div>
<div id="S2.p7" class="ltx_para ltx_noindent">
<p id="S2.p7.7" class="ltx_p"><span id="S2.p7.7.1" class="ltx_text ltx_font_bold">Special cases of the spectral norm.</span>
For a <span id="S2.p7.7.2" class="ltx_text ltx_font_italic">rank-one</span> matrix <math id="S2.p7.1.m1.1" class="ltx_Math" alttext="{\bm{A}}" display="inline"><semantics id="S2.p7.1.m1.1a"><mi id="S2.p7.1.m1.1.1" xref="S2.p7.1.m1.1.1.cmml">𝑨</mi><annotation-xml encoding="MathML-Content" id="S2.p7.1.m1.1b"><ci id="S2.p7.1.m1.1.1.cmml" xref="S2.p7.1.m1.1.1">𝑨</ci></annotation-xml><annotation encoding="application/x-tex" id="S2.p7.1.m1.1c">{\bm{A}}</annotation></semantics></math>, which can be written as an outer-product <math id="S2.p7.2.m2.1" class="ltx_Math" alttext="{\bm{A}}={\bm{u}}{\bm{v}}^{\top}" display="inline"><semantics id="S2.p7.2.m2.1a"><mrow id="S2.p7.2.m2.1.1" xref="S2.p7.2.m2.1.1.cmml"><mi id="S2.p7.2.m2.1.1.2" xref="S2.p7.2.m2.1.1.2.cmml">𝑨</mi><mo id="S2.p7.2.m2.1.1.1" xref="S2.p7.2.m2.1.1.1.cmml">=</mo><mrow id="S2.p7.2.m2.1.1.3" xref="S2.p7.2.m2.1.1.3.cmml"><mi id="S2.p7.2.m2.1.1.3.2" xref="S2.p7.2.m2.1.1.3.2.cmml">𝒖</mi><mo lspace="0em" rspace="0em" id="S2.p7.2.m2.1.1.3.1" xref="S2.p7.2.m2.1.1.3.1.cmml">​</mo><msup id="S2.p7.2.m2.1.1.3.3" xref="S2.p7.2.m2.1.1.3.3.cmml"><mi id="S2.p7.2.m2.1.1.3.3.2" xref="S2.p7.2.m2.1.1.3.3.2.cmml">𝒗</mi><mo id="S2.p7.2.m2.1.1.3.3.3" xref="S2.p7.2.m2.1.1.3.3.3.cmml">⊤</mo></msup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p7.2.m2.1b"><apply id="S2.p7.2.m2.1.1.cmml" xref="S2.p7.2.m2.1.1"><eq id="S2.p7.2.m2.1.1.1.cmml" xref="S2.p7.2.m2.1.1.1"></eq><ci id="S2.p7.2.m2.1.1.2.cmml" xref="S2.p7.2.m2.1.1.2">𝑨</ci><apply id="S2.p7.2.m2.1.1.3.cmml" xref="S2.p7.2.m2.1.1.3"><times id="S2.p7.2.m2.1.1.3.1.cmml" xref="S2.p7.2.m2.1.1.3.1"></times><ci id="S2.p7.2.m2.1.1.3.2.cmml" xref="S2.p7.2.m2.1.1.3.2">𝒖</ci><apply id="S2.p7.2.m2.1.1.3.3.cmml" xref="S2.p7.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S2.p7.2.m2.1.1.3.3.1.cmml" xref="S2.p7.2.m2.1.1.3.3">superscript</csymbol><ci id="S2.p7.2.m2.1.1.3.3.2.cmml" xref="S2.p7.2.m2.1.1.3.3.2">𝒗</ci><csymbol cd="latexml" id="S2.p7.2.m2.1.1.3.3.3.cmml" xref="S2.p7.2.m2.1.1.3.3.3">top</csymbol></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p7.2.m2.1c">{\bm{A}}={\bm{u}}{\bm{v}}^{\top}</annotation></semantics></math>, it holds that <math id="S2.p7.3.m3.4" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}\right|\!\right|_{*}=\left|\!\left|{\bm{A}}\right|\!\right|_{F}=\left|\!\left|{\bm{u}}\right|\!\right|_{2}\cdot\left|\!\left|{\bm{v}}\right|\!\right|_{2}" display="inline"><semantics id="S2.p7.3.m3.4a"><mrow id="S2.p7.3.m3.4.5" xref="S2.p7.3.m3.4.5.cmml"><msub id="S2.p7.3.m3.4.5.2" xref="S2.p7.3.m3.4.5.2.cmml"><mrow id="S2.p7.3.m3.4.5.2.2.2" xref="S2.p7.3.m3.4.5.2.2.1.cmml"><mo stretchy="false" id="S2.p7.3.m3.4.5.2.2.2.1" xref="S2.p7.3.m3.4.5.2.2.1.1.cmml">‖</mo><mi id="S2.p7.3.m3.1.1" xref="S2.p7.3.m3.1.1.cmml">𝑨</mi><mo stretchy="false" id="S2.p7.3.m3.4.5.2.2.2.2" xref="S2.p7.3.m3.4.5.2.2.1.1.cmml">‖</mo></mrow><mo id="S2.p7.3.m3.4.5.2.3" xref="S2.p7.3.m3.4.5.2.3.cmml">∗</mo></msub><mo id="S2.p7.3.m3.4.5.3" xref="S2.p7.3.m3.4.5.3.cmml">=</mo><msub id="S2.p7.3.m3.4.5.4" xref="S2.p7.3.m3.4.5.4.cmml"><mrow id="S2.p7.3.m3.4.5.4.2.2" xref="S2.p7.3.m3.4.5.4.2.1.cmml"><mo stretchy="false" id="S2.p7.3.m3.4.5.4.2.2.1" xref="S2.p7.3.m3.4.5.4.2.1.1.cmml">‖</mo><mi id="S2.p7.3.m3.2.2" xref="S2.p7.3.m3.2.2.cmml">𝑨</mi><mo stretchy="false" id="S2.p7.3.m3.4.5.4.2.2.2" xref="S2.p7.3.m3.4.5.4.2.1.1.cmml">‖</mo></mrow><mi id="S2.p7.3.m3.4.5.4.3" xref="S2.p7.3.m3.4.5.4.3.cmml">F</mi></msub><mo id="S2.p7.3.m3.4.5.5" xref="S2.p7.3.m3.4.5.5.cmml">=</mo><mrow id="S2.p7.3.m3.4.5.6" xref="S2.p7.3.m3.4.5.6.cmml"><msub id="S2.p7.3.m3.4.5.6.2" xref="S2.p7.3.m3.4.5.6.2.cmml"><mrow id="S2.p7.3.m3.4.5.6.2.2.2" xref="S2.p7.3.m3.4.5.6.2.2.1.cmml"><mo stretchy="false" id="S2.p7.3.m3.4.5.6.2.2.2.1" xref="S2.p7.3.m3.4.5.6.2.2.1.1.cmml">‖</mo><mi id="S2.p7.3.m3.3.3" xref="S2.p7.3.m3.3.3.cmml">𝒖</mi><mo rspace="0.055em" stretchy="false" id="S2.p7.3.m3.4.5.6.2.2.2.2" xref="S2.p7.3.m3.4.5.6.2.2.1.1.cmml">‖</mo></mrow><mn id="S2.p7.3.m3.4.5.6.2.3" xref="S2.p7.3.m3.4.5.6.2.3.cmml">2</mn></msub><mo rspace="0.222em" id="S2.p7.3.m3.4.5.6.1" xref="S2.p7.3.m3.4.5.6.1.cmml">⋅</mo><msub id="S2.p7.3.m3.4.5.6.3" xref="S2.p7.3.m3.4.5.6.3.cmml"><mrow id="S2.p7.3.m3.4.5.6.3.2.2" xref="S2.p7.3.m3.4.5.6.3.2.1.cmml"><mo stretchy="false" id="S2.p7.3.m3.4.5.6.3.2.2.1" xref="S2.p7.3.m3.4.5.6.3.2.1.1.cmml">‖</mo><mi id="S2.p7.3.m3.4.4" xref="S2.p7.3.m3.4.4.cmml">𝒗</mi><mo stretchy="false" id="S2.p7.3.m3.4.5.6.3.2.2.2" xref="S2.p7.3.m3.4.5.6.3.2.1.1.cmml">‖</mo></mrow><mn id="S2.p7.3.m3.4.5.6.3.3" xref="S2.p7.3.m3.4.5.6.3.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S2.p7.3.m3.4b"><apply id="S2.p7.3.m3.4.5.cmml" xref="S2.p7.3.m3.4.5"><and id="S2.p7.3.m3.4.5a.cmml" xref="S2.p7.3.m3.4.5"></and><apply id="S2.p7.3.m3.4.5b.cmml" xref="S2.p7.3.m3.4.5"><eq id="S2.p7.3.m3.4.5.3.cmml" xref="S2.p7.3.m3.4.5.3"></eq><apply id="S2.p7.3.m3.4.5.2.cmml" xref="S2.p7.3.m3.4.5.2"><csymbol cd="ambiguous" id="S2.p7.3.m3.4.5.2.1.cmml" xref="S2.p7.3.m3.4.5.2">subscript</csymbol><apply id="S2.p7.3.m3.4.5.2.2.1.cmml" xref="S2.p7.3.m3.4.5.2.2.2"><csymbol cd="latexml" id="S2.p7.3.m3.4.5.2.2.1.1.cmml" xref="S2.p7.3.m3.4.5.2.2.2.1">norm</csymbol><ci id="S2.p7.3.m3.1.1.cmml" xref="S2.p7.3.m3.1.1">𝑨</ci></apply><times id="S2.p7.3.m3.4.5.2.3.cmml" xref="S2.p7.3.m3.4.5.2.3"></times></apply><apply id="S2.p7.3.m3.4.5.4.cmml" xref="S2.p7.3.m3.4.5.4"><csymbol cd="ambiguous" id="S2.p7.3.m3.4.5.4.1.cmml" xref="S2.p7.3.m3.4.5.4">subscript</csymbol><apply id="S2.p7.3.m3.4.5.4.2.1.cmml" xref="S2.p7.3.m3.4.5.4.2.2"><csymbol cd="latexml" id="S2.p7.3.m3.4.5.4.2.1.1.cmml" xref="S2.p7.3.m3.4.5.4.2.2.1">norm</csymbol><ci id="S2.p7.3.m3.2.2.cmml" xref="S2.p7.3.m3.2.2">𝑨</ci></apply><ci id="S2.p7.3.m3.4.5.4.3.cmml" xref="S2.p7.3.m3.4.5.4.3">𝐹</ci></apply></apply><apply id="S2.p7.3.m3.4.5c.cmml" xref="S2.p7.3.m3.4.5"><eq id="S2.p7.3.m3.4.5.5.cmml" xref="S2.p7.3.m3.4.5.5"></eq><share href="#S2.p7.3.m3.4.5.4.cmml" id="S2.p7.3.m3.4.5d.cmml" xref="S2.p7.3.m3.4.5"></share><apply id="S2.p7.3.m3.4.5.6.cmml" xref="S2.p7.3.m3.4.5.6"><ci id="S2.p7.3.m3.4.5.6.1.cmml" xref="S2.p7.3.m3.4.5.6.1">⋅</ci><apply id="S2.p7.3.m3.4.5.6.2.cmml" xref="S2.p7.3.m3.4.5.6.2"><csymbol cd="ambiguous" id="S2.p7.3.m3.4.5.6.2.1.cmml" xref="S2.p7.3.m3.4.5.6.2">subscript</csymbol><apply id="S2.p7.3.m3.4.5.6.2.2.1.cmml" xref="S2.p7.3.m3.4.5.6.2.2.2"><csymbol cd="latexml" id="S2.p7.3.m3.4.5.6.2.2.1.1.cmml" xref="S2.p7.3.m3.4.5.6.2.2.2.1">norm</csymbol><ci id="S2.p7.3.m3.3.3.cmml" xref="S2.p7.3.m3.3.3">𝒖</ci></apply><cn type="integer" id="S2.p7.3.m3.4.5.6.2.3.cmml" xref="S2.p7.3.m3.4.5.6.2.3">2</cn></apply><apply id="S2.p7.3.m3.4.5.6.3.cmml" xref="S2.p7.3.m3.4.5.6.3"><csymbol cd="ambiguous" id="S2.p7.3.m3.4.5.6.3.1.cmml" xref="S2.p7.3.m3.4.5.6.3">subscript</csymbol><apply id="S2.p7.3.m3.4.5.6.3.2.1.cmml" xref="S2.p7.3.m3.4.5.6.3.2.2"><csymbol cd="latexml" id="S2.p7.3.m3.4.5.6.3.2.1.1.cmml" xref="S2.p7.3.m3.4.5.6.3.2.2.1">norm</csymbol><ci id="S2.p7.3.m3.4.4.cmml" xref="S2.p7.3.m3.4.4">𝒗</ci></apply><cn type="integer" id="S2.p7.3.m3.4.5.6.3.3.cmml" xref="S2.p7.3.m3.4.5.6.3.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p7.3.m3.4c">\left|\!\left|{\bm{A}}\right|\!\right|_{*}=\left|\!\left|{\bm{A}}\right|\!\right|_{F}=\left|\!\left|{\bm{u}}\right|\!\right|_{2}\cdot\left|\!\left|{\bm{v}}\right|\!\right|_{2}</annotation></semantics></math>. A matrix <math id="S2.p7.4.m4.1" class="ltx_Math" alttext="{\bm{B}}\in\mathbb{R}^{m\times n}" display="inline"><semantics id="S2.p7.4.m4.1a"><mrow id="S2.p7.4.m4.1.1" xref="S2.p7.4.m4.1.1.cmml"><mi id="S2.p7.4.m4.1.1.2" xref="S2.p7.4.m4.1.1.2.cmml">𝑩</mi><mo id="S2.p7.4.m4.1.1.1" xref="S2.p7.4.m4.1.1.1.cmml">∈</mo><msup id="S2.p7.4.m4.1.1.3" xref="S2.p7.4.m4.1.1.3.cmml"><mi id="S2.p7.4.m4.1.1.3.2" xref="S2.p7.4.m4.1.1.3.2.cmml">ℝ</mi><mrow id="S2.p7.4.m4.1.1.3.3" xref="S2.p7.4.m4.1.1.3.3.cmml"><mi id="S2.p7.4.m4.1.1.3.3.2" xref="S2.p7.4.m4.1.1.3.3.2.cmml">m</mi><mo lspace="0.222em" rspace="0.222em" id="S2.p7.4.m4.1.1.3.3.1" xref="S2.p7.4.m4.1.1.3.3.1.cmml">×</mo><mi id="S2.p7.4.m4.1.1.3.3.3" xref="S2.p7.4.m4.1.1.3.3.3.cmml">n</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S2.p7.4.m4.1b"><apply id="S2.p7.4.m4.1.1.cmml" xref="S2.p7.4.m4.1.1"><in id="S2.p7.4.m4.1.1.1.cmml" xref="S2.p7.4.m4.1.1.1"></in><ci id="S2.p7.4.m4.1.1.2.cmml" xref="S2.p7.4.m4.1.1.2">𝑩</ci><apply id="S2.p7.4.m4.1.1.3.cmml" xref="S2.p7.4.m4.1.1.3"><csymbol cd="ambiguous" id="S2.p7.4.m4.1.1.3.1.cmml" xref="S2.p7.4.m4.1.1.3">superscript</csymbol><ci id="S2.p7.4.m4.1.1.3.2.cmml" xref="S2.p7.4.m4.1.1.3.2">ℝ</ci><apply id="S2.p7.4.m4.1.1.3.3.cmml" xref="S2.p7.4.m4.1.1.3.3"><times id="S2.p7.4.m4.1.1.3.3.1.cmml" xref="S2.p7.4.m4.1.1.3.3.1"></times><ci id="S2.p7.4.m4.1.1.3.3.2.cmml" xref="S2.p7.4.m4.1.1.3.3.2">𝑚</ci><ci id="S2.p7.4.m4.1.1.3.3.3.cmml" xref="S2.p7.4.m4.1.1.3.3.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p7.4.m4.1c">{\bm{B}}\in\mathbb{R}^{m\times n}</annotation></semantics></math> is <span id="S2.p7.7.3" class="ltx_text ltx_font_italic">semi-orthogonal</span> if either <math id="S2.p7.5.m5.1" class="ltx_Math" alttext="{\bm{B}}^{\top}{\bm{B}}={\bm{I}}_{n}" display="inline"><semantics id="S2.p7.5.m5.1a"><mrow id="S2.p7.5.m5.1.1" xref="S2.p7.5.m5.1.1.cmml"><mrow id="S2.p7.5.m5.1.1.2" xref="S2.p7.5.m5.1.1.2.cmml"><msup id="S2.p7.5.m5.1.1.2.2" xref="S2.p7.5.m5.1.1.2.2.cmml"><mi id="S2.p7.5.m5.1.1.2.2.2" xref="S2.p7.5.m5.1.1.2.2.2.cmml">𝑩</mi><mo id="S2.p7.5.m5.1.1.2.2.3" xref="S2.p7.5.m5.1.1.2.2.3.cmml">⊤</mo></msup><mo lspace="0em" rspace="0em" id="S2.p7.5.m5.1.1.2.1" xref="S2.p7.5.m5.1.1.2.1.cmml">​</mo><mi id="S2.p7.5.m5.1.1.2.3" xref="S2.p7.5.m5.1.1.2.3.cmml">𝑩</mi></mrow><mo id="S2.p7.5.m5.1.1.1" xref="S2.p7.5.m5.1.1.1.cmml">=</mo><msub id="S2.p7.5.m5.1.1.3" xref="S2.p7.5.m5.1.1.3.cmml"><mi id="S2.p7.5.m5.1.1.3.2" xref="S2.p7.5.m5.1.1.3.2.cmml">𝑰</mi><mi id="S2.p7.5.m5.1.1.3.3" xref="S2.p7.5.m5.1.1.3.3.cmml">n</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S2.p7.5.m5.1b"><apply id="S2.p7.5.m5.1.1.cmml" xref="S2.p7.5.m5.1.1"><eq id="S2.p7.5.m5.1.1.1.cmml" xref="S2.p7.5.m5.1.1.1"></eq><apply id="S2.p7.5.m5.1.1.2.cmml" xref="S2.p7.5.m5.1.1.2"><times id="S2.p7.5.m5.1.1.2.1.cmml" xref="S2.p7.5.m5.1.1.2.1"></times><apply id="S2.p7.5.m5.1.1.2.2.cmml" xref="S2.p7.5.m5.1.1.2.2"><csymbol cd="ambiguous" id="S2.p7.5.m5.1.1.2.2.1.cmml" xref="S2.p7.5.m5.1.1.2.2">superscript</csymbol><ci id="S2.p7.5.m5.1.1.2.2.2.cmml" xref="S2.p7.5.m5.1.1.2.2.2">𝑩</ci><csymbol cd="latexml" id="S2.p7.5.m5.1.1.2.2.3.cmml" xref="S2.p7.5.m5.1.1.2.2.3">top</csymbol></apply><ci id="S2.p7.5.m5.1.1.2.3.cmml" xref="S2.p7.5.m5.1.1.2.3">𝑩</ci></apply><apply id="S2.p7.5.m5.1.1.3.cmml" xref="S2.p7.5.m5.1.1.3"><csymbol cd="ambiguous" id="S2.p7.5.m5.1.1.3.1.cmml" xref="S2.p7.5.m5.1.1.3">subscript</csymbol><ci id="S2.p7.5.m5.1.1.3.2.cmml" xref="S2.p7.5.m5.1.1.3.2">𝑰</ci><ci id="S2.p7.5.m5.1.1.3.3.cmml" xref="S2.p7.5.m5.1.1.3.3">𝑛</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p7.5.m5.1c">{\bm{B}}^{\top}{\bm{B}}={\bm{I}}_{n}</annotation></semantics></math> or <math id="S2.p7.6.m6.1" class="ltx_Math" alttext="{\bm{B}}{\bm{B}}^{\top}={\bm{I}}_{m}" display="inline"><semantics id="S2.p7.6.m6.1a"><mrow id="S2.p7.6.m6.1.1" xref="S2.p7.6.m6.1.1.cmml"><mrow id="S2.p7.6.m6.1.1.2" xref="S2.p7.6.m6.1.1.2.cmml"><mi id="S2.p7.6.m6.1.1.2.2" xref="S2.p7.6.m6.1.1.2.2.cmml">𝑩</mi><mo lspace="0em" rspace="0em" id="S2.p7.6.m6.1.1.2.1" xref="S2.p7.6.m6.1.1.2.1.cmml">​</mo><msup id="S2.p7.6.m6.1.1.2.3" xref="S2.p7.6.m6.1.1.2.3.cmml"><mi id="S2.p7.6.m6.1.1.2.3.2" xref="S2.p7.6.m6.1.1.2.3.2.cmml">𝑩</mi><mo id="S2.p7.6.m6.1.1.2.3.3" xref="S2.p7.6.m6.1.1.2.3.3.cmml">⊤</mo></msup></mrow><mo id="S2.p7.6.m6.1.1.1" xref="S2.p7.6.m6.1.1.1.cmml">=</mo><msub id="S2.p7.6.m6.1.1.3" xref="S2.p7.6.m6.1.1.3.cmml"><mi id="S2.p7.6.m6.1.1.3.2" xref="S2.p7.6.m6.1.1.3.2.cmml">𝑰</mi><mi id="S2.p7.6.m6.1.1.3.3" xref="S2.p7.6.m6.1.1.3.3.cmml">m</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S2.p7.6.m6.1b"><apply id="S2.p7.6.m6.1.1.cmml" xref="S2.p7.6.m6.1.1"><eq id="S2.p7.6.m6.1.1.1.cmml" xref="S2.p7.6.m6.1.1.1"></eq><apply id="S2.p7.6.m6.1.1.2.cmml" xref="S2.p7.6.m6.1.1.2"><times id="S2.p7.6.m6.1.1.2.1.cmml" xref="S2.p7.6.m6.1.1.2.1"></times><ci id="S2.p7.6.m6.1.1.2.2.cmml" xref="S2.p7.6.m6.1.1.2.2">𝑩</ci><apply id="S2.p7.6.m6.1.1.2.3.cmml" xref="S2.p7.6.m6.1.1.2.3"><csymbol cd="ambiguous" id="S2.p7.6.m6.1.1.2.3.1.cmml" xref="S2.p7.6.m6.1.1.2.3">superscript</csymbol><ci id="S2.p7.6.m6.1.1.2.3.2.cmml" xref="S2.p7.6.m6.1.1.2.3.2">𝑩</ci><csymbol cd="latexml" id="S2.p7.6.m6.1.1.2.3.3.cmml" xref="S2.p7.6.m6.1.1.2.3.3">top</csymbol></apply></apply><apply id="S2.p7.6.m6.1.1.3.cmml" xref="S2.p7.6.m6.1.1.3"><csymbol cd="ambiguous" id="S2.p7.6.m6.1.1.3.1.cmml" xref="S2.p7.6.m6.1.1.3">subscript</csymbol><ci id="S2.p7.6.m6.1.1.3.2.cmml" xref="S2.p7.6.m6.1.1.3.2">𝑰</ci><ci id="S2.p7.6.m6.1.1.3.3.cmml" xref="S2.p7.6.m6.1.1.3.3">𝑚</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p7.6.m6.1c">{\bm{B}}{\bm{B}}^{\top}={\bm{I}}_{m}</annotation></semantics></math>.
A semi-orthogonal matrix has unit spectral norm: <math id="S2.p7.7.m7.1" class="ltx_Math" alttext="\left|\!\left|{\bm{B}}\right|\!\right|_{*}=1" display="inline"><semantics id="S2.p7.7.m7.1a"><mrow id="S2.p7.7.m7.1.2" xref="S2.p7.7.m7.1.2.cmml"><msub id="S2.p7.7.m7.1.2.2" xref="S2.p7.7.m7.1.2.2.cmml"><mrow id="S2.p7.7.m7.1.2.2.2.2" xref="S2.p7.7.m7.1.2.2.2.1.cmml"><mo stretchy="false" id="S2.p7.7.m7.1.2.2.2.2.1" xref="S2.p7.7.m7.1.2.2.2.1.1.cmml">‖</mo><mi id="S2.p7.7.m7.1.1" xref="S2.p7.7.m7.1.1.cmml">𝑩</mi><mo stretchy="false" id="S2.p7.7.m7.1.2.2.2.2.2" xref="S2.p7.7.m7.1.2.2.2.1.1.cmml">‖</mo></mrow><mo id="S2.p7.7.m7.1.2.2.3" xref="S2.p7.7.m7.1.2.2.3.cmml">∗</mo></msub><mo id="S2.p7.7.m7.1.2.1" xref="S2.p7.7.m7.1.2.1.cmml">=</mo><mn id="S2.p7.7.m7.1.2.3" xref="S2.p7.7.m7.1.2.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S2.p7.7.m7.1b"><apply id="S2.p7.7.m7.1.2.cmml" xref="S2.p7.7.m7.1.2"><eq id="S2.p7.7.m7.1.2.1.cmml" xref="S2.p7.7.m7.1.2.1"></eq><apply id="S2.p7.7.m7.1.2.2.cmml" xref="S2.p7.7.m7.1.2.2"><csymbol cd="ambiguous" id="S2.p7.7.m7.1.2.2.1.cmml" xref="S2.p7.7.m7.1.2.2">subscript</csymbol><apply id="S2.p7.7.m7.1.2.2.2.1.cmml" xref="S2.p7.7.m7.1.2.2.2.2"><csymbol cd="latexml" id="S2.p7.7.m7.1.2.2.2.1.1.cmml" xref="S2.p7.7.m7.1.2.2.2.2.1">norm</csymbol><ci id="S2.p7.7.m7.1.1.cmml" xref="S2.p7.7.m7.1.1">𝑩</ci></apply><times id="S2.p7.7.m7.1.2.2.3.cmml" xref="S2.p7.7.m7.1.2.2.3"></times></apply><cn type="integer" id="S2.p7.7.m7.1.2.3.cmml" xref="S2.p7.7.m7.1.2.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S2.p7.7.m7.1c">\left|\!\left|{\bm{B}}\right|\!\right|_{*}=1</annotation></semantics></math>.</p>
</div>
</section>
<section id="S3" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">3 </span>The spectral scaling condition induces feature learning</h2>

<div id="S3.p1" class="ltx_para ltx_noindent">
<p id="S3.p1.1" class="ltx_p">In this section, we show that our spectral scaling condition (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) achieves feature evolution of the correct scale in multilayer perceptrons (MLPs).
We begin with a toy example which conveys key intuitions and then give a series of extensions which recover a much more general case.</p>
</div>
<section id="S3.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.1 </span>Warmup: deep linear MLP, one step of SGD, on a single example</h3>

<div id="S3.SS1.p1" class="ltx_para ltx_noindent">
<p id="S3.SS1.p1.1" class="ltx_p">We begin with a simple model: a deep linear MLP trained for one step on a single input.
While elementary, this example will be sufficient to capture the intuition for a much more general case.</p>
</div>
<div id="S3.SS1.p2" class="ltx_para ltx_noindent">
<p id="S3.SS1.p2.4" class="ltx_p"><span id="S3.SS1.p2.4.1" class="ltx_text ltx_font_bold">Model definition.</span>
We will study an MLP composed of <math id="S3.SS1.p2.1.m1.1" class="ltx_Math" alttext="L" display="inline"><semantics id="S3.SS1.p2.1.m1.1a"><mi id="S3.SS1.p2.1.m1.1.1" xref="S3.SS1.p2.1.m1.1.1.cmml">L</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.1.m1.1b"><ci id="S3.SS1.p2.1.m1.1.1.cmml" xref="S3.SS1.p2.1.m1.1.1">𝐿</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.1.m1.1c">L</annotation></semantics></math> successive linear transformations.
We consider a single input <math id="S3.SS1.p2.2.m2.1" class="ltx_Math" alttext="{\bm{x}}\in\mathbb{R}^{0pt_{0}}" display="inline"><semantics id="S3.SS1.p2.2.m2.1a"><mrow id="S3.SS1.p2.2.m2.1.1" xref="S3.SS1.p2.2.m2.1.1.cmml"><mi id="S3.SS1.p2.2.m2.1.1.2" xref="S3.SS1.p2.2.m2.1.1.2.cmml">𝒙</mi><mo id="S3.SS1.p2.2.m2.1.1.1" xref="S3.SS1.p2.2.m2.1.1.1.cmml">∈</mo><msup id="S3.SS1.p2.2.m2.1.1.3" xref="S3.SS1.p2.2.m2.1.1.3.cmml"><mi id="S3.SS1.p2.2.m2.1.1.3.2" xref="S3.SS1.p2.2.m2.1.1.3.2.cmml">ℝ</mi><mrow id="S3.SS1.p2.2.m2.1.1.3.3" xref="S3.SS1.p2.2.m2.1.1.3.3.cmml"><mn id="S3.SS1.p2.2.m2.1.1.3.3.2" xref="S3.SS1.p2.2.m2.1.1.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p2.2.m2.1.1.3.3.1" xref="S3.SS1.p2.2.m2.1.1.3.3.1.cmml">​</mo><mi id="S3.SS1.p2.2.m2.1.1.3.3.3" xref="S3.SS1.p2.2.m2.1.1.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.2.m2.1.1.3.3.1a" xref="S3.SS1.p2.2.m2.1.1.3.3.1.cmml">​</mo><msub id="S3.SS1.p2.2.m2.1.1.3.3.4" xref="S3.SS1.p2.2.m2.1.1.3.3.4.cmml"><mi id="S3.SS1.p2.2.m2.1.1.3.3.4.2" xref="S3.SS1.p2.2.m2.1.1.3.3.4.2.cmml">t</mi><mn id="S3.SS1.p2.2.m2.1.1.3.3.4.3" xref="S3.SS1.p2.2.m2.1.1.3.3.4.3.cmml">0</mn></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.2.m2.1b"><apply id="S3.SS1.p2.2.m2.1.1.cmml" xref="S3.SS1.p2.2.m2.1.1"><in id="S3.SS1.p2.2.m2.1.1.1.cmml" xref="S3.SS1.p2.2.m2.1.1.1"></in><ci id="S3.SS1.p2.2.m2.1.1.2.cmml" xref="S3.SS1.p2.2.m2.1.1.2">𝒙</ci><apply id="S3.SS1.p2.2.m2.1.1.3.cmml" xref="S3.SS1.p2.2.m2.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p2.2.m2.1.1.3.1.cmml" xref="S3.SS1.p2.2.m2.1.1.3">superscript</csymbol><ci id="S3.SS1.p2.2.m2.1.1.3.2.cmml" xref="S3.SS1.p2.2.m2.1.1.3.2">ℝ</ci><apply id="S3.SS1.p2.2.m2.1.1.3.3.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3"><times id="S3.SS1.p2.2.m2.1.1.3.3.1.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3.1"></times><cn type="integer" id="S3.SS1.p2.2.m2.1.1.3.3.2.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3.2">0</cn><ci id="S3.SS1.p2.2.m2.1.1.3.3.3.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3.3">𝑝</ci><apply id="S3.SS1.p2.2.m2.1.1.3.3.4.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3.4"><csymbol cd="ambiguous" id="S3.SS1.p2.2.m2.1.1.3.3.4.1.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3.4">subscript</csymbol><ci id="S3.SS1.p2.2.m2.1.1.3.3.4.2.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3.4.2">𝑡</ci><cn type="integer" id="S3.SS1.p2.2.m2.1.1.3.3.4.3.cmml" xref="S3.SS1.p2.2.m2.1.1.3.3.4.3">0</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.2.m2.1c">{\bm{x}}\in\mathbb{R}^{0pt_{0}}</annotation></semantics></math> with norm <math id="S3.SS1.p2.3.m3.2" class="ltx_Math" alttext="\left|\!\left|{\bm{x}}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{0}})" display="inline"><semantics id="S3.SS1.p2.3.m3.2a"><mrow id="S3.SS1.p2.3.m3.2.3" xref="S3.SS1.p2.3.m3.2.3.cmml"><msub id="S3.SS1.p2.3.m3.2.3.2" xref="S3.SS1.p2.3.m3.2.3.2.cmml"><mrow id="S3.SS1.p2.3.m3.2.3.2.2.2" xref="S3.SS1.p2.3.m3.2.3.2.2.1.cmml"><mo stretchy="false" id="S3.SS1.p2.3.m3.2.3.2.2.2.1" xref="S3.SS1.p2.3.m3.2.3.2.2.1.1.cmml">‖</mo><mi id="S3.SS1.p2.3.m3.1.1" xref="S3.SS1.p2.3.m3.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p2.3.m3.2.3.2.2.2.2" xref="S3.SS1.p2.3.m3.2.3.2.2.1.1.cmml">‖</mo></mrow><mn id="S3.SS1.p2.3.m3.2.3.2.3" xref="S3.SS1.p2.3.m3.2.3.2.3.cmml">2</mn></msub><mo id="S3.SS1.p2.3.m3.2.3.1" xref="S3.SS1.p2.3.m3.2.3.1.cmml">=</mo><mrow id="S3.SS1.p2.3.m3.2.3.3" xref="S3.SS1.p2.3.m3.2.3.3.cmml"><mi mathvariant="normal" id="S3.SS1.p2.3.m3.2.3.3.2" xref="S3.SS1.p2.3.m3.2.3.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.3.m3.2.3.3.1" xref="S3.SS1.p2.3.m3.2.3.3.1.cmml">​</mo><mrow id="S3.SS1.p2.3.m3.2.3.3.3.2" xref="S3.SS1.p2.3.m3.2.2.cmml"><mo stretchy="false" id="S3.SS1.p2.3.m3.2.3.3.3.2.1" xref="S3.SS1.p2.3.m3.2.2.cmml">(</mo><msqrt id="S3.SS1.p2.3.m3.2.2" xref="S3.SS1.p2.3.m3.2.2.cmml"><mrow id="S3.SS1.p2.3.m3.2.2.2" xref="S3.SS1.p2.3.m3.2.2.2.cmml"><mn id="S3.SS1.p2.3.m3.2.2.2.2" xref="S3.SS1.p2.3.m3.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p2.3.m3.2.2.2.1" xref="S3.SS1.p2.3.m3.2.2.2.1.cmml">​</mo><mi id="S3.SS1.p2.3.m3.2.2.2.3" xref="S3.SS1.p2.3.m3.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.3.m3.2.2.2.1a" xref="S3.SS1.p2.3.m3.2.2.2.1.cmml">​</mo><msub id="S3.SS1.p2.3.m3.2.2.2.4" xref="S3.SS1.p2.3.m3.2.2.2.4.cmml"><mi id="S3.SS1.p2.3.m3.2.2.2.4.2" xref="S3.SS1.p2.3.m3.2.2.2.4.2.cmml">t</mi><mn id="S3.SS1.p2.3.m3.2.2.2.4.3" xref="S3.SS1.p2.3.m3.2.2.2.4.3.cmml">0</mn></msub></mrow></msqrt><mo stretchy="false" id="S3.SS1.p2.3.m3.2.3.3.3.2.2" xref="S3.SS1.p2.3.m3.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.3.m3.2b"><apply id="S3.SS1.p2.3.m3.2.3.cmml" xref="S3.SS1.p2.3.m3.2.3"><eq id="S3.SS1.p2.3.m3.2.3.1.cmml" xref="S3.SS1.p2.3.m3.2.3.1"></eq><apply id="S3.SS1.p2.3.m3.2.3.2.cmml" xref="S3.SS1.p2.3.m3.2.3.2"><csymbol cd="ambiguous" id="S3.SS1.p2.3.m3.2.3.2.1.cmml" xref="S3.SS1.p2.3.m3.2.3.2">subscript</csymbol><apply id="S3.SS1.p2.3.m3.2.3.2.2.1.cmml" xref="S3.SS1.p2.3.m3.2.3.2.2.2"><csymbol cd="latexml" id="S3.SS1.p2.3.m3.2.3.2.2.1.1.cmml" xref="S3.SS1.p2.3.m3.2.3.2.2.2.1">norm</csymbol><ci id="S3.SS1.p2.3.m3.1.1.cmml" xref="S3.SS1.p2.3.m3.1.1">𝒙</ci></apply><cn type="integer" id="S3.SS1.p2.3.m3.2.3.2.3.cmml" xref="S3.SS1.p2.3.m3.2.3.2.3">2</cn></apply><apply id="S3.SS1.p2.3.m3.2.3.3.cmml" xref="S3.SS1.p2.3.m3.2.3.3"><times id="S3.SS1.p2.3.m3.2.3.3.1.cmml" xref="S3.SS1.p2.3.m3.2.3.3.1"></times><ci id="S3.SS1.p2.3.m3.2.3.3.2.cmml" xref="S3.SS1.p2.3.m3.2.3.3.2">Θ</ci><apply id="S3.SS1.p2.3.m3.2.2.cmml" xref="S3.SS1.p2.3.m3.2.3.3.3.2"><root id="S3.SS1.p2.3.m3.2.2a.cmml" xref="S3.SS1.p2.3.m3.2.3.3.3.2"></root><apply id="S3.SS1.p2.3.m3.2.2.2.cmml" xref="S3.SS1.p2.3.m3.2.2.2"><times id="S3.SS1.p2.3.m3.2.2.2.1.cmml" xref="S3.SS1.p2.3.m3.2.2.2.1"></times><cn type="integer" id="S3.SS1.p2.3.m3.2.2.2.2.cmml" xref="S3.SS1.p2.3.m3.2.2.2.2">0</cn><ci id="S3.SS1.p2.3.m3.2.2.2.3.cmml" xref="S3.SS1.p2.3.m3.2.2.2.3">𝑝</ci><apply id="S3.SS1.p2.3.m3.2.2.2.4.cmml" xref="S3.SS1.p2.3.m3.2.2.2.4"><csymbol cd="ambiguous" id="S3.SS1.p2.3.m3.2.2.2.4.1.cmml" xref="S3.SS1.p2.3.m3.2.2.2.4">subscript</csymbol><ci id="S3.SS1.p2.3.m3.2.2.2.4.2.cmml" xref="S3.SS1.p2.3.m3.2.2.2.4.2">𝑡</ci><cn type="integer" id="S3.SS1.p2.3.m3.2.2.2.4.3.cmml" xref="S3.SS1.p2.3.m3.2.2.2.4.3">0</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.3.m3.2c">\left|\!\left|{\bm{x}}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{0}})</annotation></semantics></math>. The first hidden representation is <math id="S3.SS1.p2.4.m4.1" class="ltx_Math" alttext="{\bm{h}}_{1}({\bm{x}})={\bm{W}}_{1}{\bm{x}}" display="inline"><semantics id="S3.SS1.p2.4.m4.1a"><mrow id="S3.SS1.p2.4.m4.1.2" xref="S3.SS1.p2.4.m4.1.2.cmml"><mrow id="S3.SS1.p2.4.m4.1.2.2" xref="S3.SS1.p2.4.m4.1.2.2.cmml"><msub id="S3.SS1.p2.4.m4.1.2.2.2" xref="S3.SS1.p2.4.m4.1.2.2.2.cmml"><mi id="S3.SS1.p2.4.m4.1.2.2.2.2" xref="S3.SS1.p2.4.m4.1.2.2.2.2.cmml">𝒉</mi><mn id="S3.SS1.p2.4.m4.1.2.2.2.3" xref="S3.SS1.p2.4.m4.1.2.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p2.4.m4.1.2.2.1" xref="S3.SS1.p2.4.m4.1.2.2.1.cmml">​</mo><mrow id="S3.SS1.p2.4.m4.1.2.2.3.2" xref="S3.SS1.p2.4.m4.1.2.2.cmml"><mo stretchy="false" id="S3.SS1.p2.4.m4.1.2.2.3.2.1" xref="S3.SS1.p2.4.m4.1.2.2.cmml">(</mo><mi id="S3.SS1.p2.4.m4.1.1" xref="S3.SS1.p2.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p2.4.m4.1.2.2.3.2.2" xref="S3.SS1.p2.4.m4.1.2.2.cmml">)</mo></mrow></mrow><mo id="S3.SS1.p2.4.m4.1.2.1" xref="S3.SS1.p2.4.m4.1.2.1.cmml">=</mo><mrow id="S3.SS1.p2.4.m4.1.2.3" xref="S3.SS1.p2.4.m4.1.2.3.cmml"><msub id="S3.SS1.p2.4.m4.1.2.3.2" xref="S3.SS1.p2.4.m4.1.2.3.2.cmml"><mi id="S3.SS1.p2.4.m4.1.2.3.2.2" xref="S3.SS1.p2.4.m4.1.2.3.2.2.cmml">𝑾</mi><mn id="S3.SS1.p2.4.m4.1.2.3.2.3" xref="S3.SS1.p2.4.m4.1.2.3.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p2.4.m4.1.2.3.1" xref="S3.SS1.p2.4.m4.1.2.3.1.cmml">​</mo><mi id="S3.SS1.p2.4.m4.1.2.3.3" xref="S3.SS1.p2.4.m4.1.2.3.3.cmml">𝒙</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.4.m4.1b"><apply id="S3.SS1.p2.4.m4.1.2.cmml" xref="S3.SS1.p2.4.m4.1.2"><eq id="S3.SS1.p2.4.m4.1.2.1.cmml" xref="S3.SS1.p2.4.m4.1.2.1"></eq><apply id="S3.SS1.p2.4.m4.1.2.2.cmml" xref="S3.SS1.p2.4.m4.1.2.2"><times id="S3.SS1.p2.4.m4.1.2.2.1.cmml" xref="S3.SS1.p2.4.m4.1.2.2.1"></times><apply id="S3.SS1.p2.4.m4.1.2.2.2.cmml" xref="S3.SS1.p2.4.m4.1.2.2.2"><csymbol cd="ambiguous" id="S3.SS1.p2.4.m4.1.2.2.2.1.cmml" xref="S3.SS1.p2.4.m4.1.2.2.2">subscript</csymbol><ci id="S3.SS1.p2.4.m4.1.2.2.2.2.cmml" xref="S3.SS1.p2.4.m4.1.2.2.2.2">𝒉</ci><cn type="integer" id="S3.SS1.p2.4.m4.1.2.2.2.3.cmml" xref="S3.SS1.p2.4.m4.1.2.2.2.3">1</cn></apply><ci id="S3.SS1.p2.4.m4.1.1.cmml" xref="S3.SS1.p2.4.m4.1.1">𝒙</ci></apply><apply id="S3.SS1.p2.4.m4.1.2.3.cmml" xref="S3.SS1.p2.4.m4.1.2.3"><times id="S3.SS1.p2.4.m4.1.2.3.1.cmml" xref="S3.SS1.p2.4.m4.1.2.3.1"></times><apply id="S3.SS1.p2.4.m4.1.2.3.2.cmml" xref="S3.SS1.p2.4.m4.1.2.3.2"><csymbol cd="ambiguous" id="S3.SS1.p2.4.m4.1.2.3.2.1.cmml" xref="S3.SS1.p2.4.m4.1.2.3.2">subscript</csymbol><ci id="S3.SS1.p2.4.m4.1.2.3.2.2.cmml" xref="S3.SS1.p2.4.m4.1.2.3.2.2">𝑾</ci><cn type="integer" id="S3.SS1.p2.4.m4.1.2.3.2.3.cmml" xref="S3.SS1.p2.4.m4.1.2.3.2.3">1</cn></apply><ci id="S3.SS1.p2.4.m4.1.2.3.3.cmml" xref="S3.SS1.p2.4.m4.1.2.3.3">𝒙</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.4.m4.1c">{\bm{h}}_{1}({\bm{x}})={\bm{W}}_{1}{\bm{x}}</annotation></semantics></math>, with the rest of the network following recursively as:</p>
<table id="S3.E2" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E2.m1.6" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\qquad\text{for }\ell=2,\ldots,L." display="block"><semantics id="S3.E2.m1.6a"><mrow id="S3.E2.m1.6.6.1"><mrow id="S3.E2.m1.6.6.1.1.2" xref="S3.E2.m1.6.6.1.1.3.cmml"><mrow id="S3.E2.m1.6.6.1.1.1.1" xref="S3.E2.m1.6.6.1.1.1.1.cmml"><mrow id="S3.E2.m1.6.6.1.1.1.1.2" xref="S3.E2.m1.6.6.1.1.1.1.2.cmml"><msub id="S3.E2.m1.6.6.1.1.1.1.2.2" xref="S3.E2.m1.6.6.1.1.1.1.2.2.cmml"><mi id="S3.E2.m1.6.6.1.1.1.1.2.2.2" xref="S3.E2.m1.6.6.1.1.1.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E2.m1.6.6.1.1.1.1.2.2.3" xref="S3.E2.m1.6.6.1.1.1.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E2.m1.6.6.1.1.1.1.2.1" xref="S3.E2.m1.6.6.1.1.1.1.2.1.cmml">​</mo><mrow id="S3.E2.m1.6.6.1.1.1.1.2.3.2" xref="S3.E2.m1.6.6.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E2.m1.6.6.1.1.1.1.2.3.2.1" xref="S3.E2.m1.6.6.1.1.1.1.2.cmml">(</mo><mi id="S3.E2.m1.1.1" xref="S3.E2.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E2.m1.6.6.1.1.1.1.2.3.2.2" xref="S3.E2.m1.6.6.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.E2.m1.6.6.1.1.1.1.1" xref="S3.E2.m1.6.6.1.1.1.1.1.cmml">=</mo><mrow id="S3.E2.m1.6.6.1.1.1.1.3" xref="S3.E2.m1.6.6.1.1.1.1.3.cmml"><msub id="S3.E2.m1.6.6.1.1.1.1.3.2" xref="S3.E2.m1.6.6.1.1.1.1.3.2.cmml"><mi id="S3.E2.m1.6.6.1.1.1.1.3.2.2" xref="S3.E2.m1.6.6.1.1.1.1.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E2.m1.6.6.1.1.1.1.3.2.3" xref="S3.E2.m1.6.6.1.1.1.1.3.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E2.m1.6.6.1.1.1.1.3.1" xref="S3.E2.m1.6.6.1.1.1.1.3.1.cmml">​</mo><msub id="S3.E2.m1.6.6.1.1.1.1.3.3" xref="S3.E2.m1.6.6.1.1.1.1.3.3.cmml"><mi id="S3.E2.m1.6.6.1.1.1.1.3.3.2" xref="S3.E2.m1.6.6.1.1.1.1.3.3.2.cmml">𝒉</mi><mrow id="S3.E2.m1.6.6.1.1.1.1.3.3.3" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3.cmml"><mi mathvariant="normal" id="S3.E2.m1.6.6.1.1.1.1.3.3.3.2" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3.2.cmml">ℓ</mi><mo id="S3.E2.m1.6.6.1.1.1.1.3.3.3.1" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3.1.cmml">−</mo><mn id="S3.E2.m1.6.6.1.1.1.1.3.3.3.3" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E2.m1.6.6.1.1.1.1.3.1a" xref="S3.E2.m1.6.6.1.1.1.1.3.1.cmml">​</mo><mrow id="S3.E2.m1.6.6.1.1.1.1.3.4.2" xref="S3.E2.m1.6.6.1.1.1.1.3.cmml"><mo stretchy="false" id="S3.E2.m1.6.6.1.1.1.1.3.4.2.1" xref="S3.E2.m1.6.6.1.1.1.1.3.cmml">(</mo><mi id="S3.E2.m1.2.2" xref="S3.E2.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E2.m1.6.6.1.1.1.1.3.4.2.2" xref="S3.E2.m1.6.6.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mspace width="2em" id="S3.E2.m1.6.6.1.1.2.3" xref="S3.E2.m1.6.6.1.1.3a.cmml"></mspace><mrow id="S3.E2.m1.6.6.1.1.2.2" xref="S3.E2.m1.6.6.1.1.2.2.cmml"><mrow id="S3.E2.m1.6.6.1.1.2.2.2" xref="S3.E2.m1.6.6.1.1.2.2.2.cmml"><mtext id="S3.E2.m1.6.6.1.1.2.2.2.2" xref="S3.E2.m1.6.6.1.1.2.2.2.2a.cmml">for </mtext><mo lspace="0em" rspace="0em" id="S3.E2.m1.6.6.1.1.2.2.2.1" xref="S3.E2.m1.6.6.1.1.2.2.2.1.cmml">​</mo><mi mathvariant="normal" id="S3.E2.m1.6.6.1.1.2.2.2.3" xref="S3.E2.m1.6.6.1.1.2.2.2.3.cmml">ℓ</mi></mrow><mo id="S3.E2.m1.6.6.1.1.2.2.1" xref="S3.E2.m1.6.6.1.1.2.2.1.cmml">=</mo><mrow id="S3.E2.m1.6.6.1.1.2.2.3.2" xref="S3.E2.m1.6.6.1.1.2.2.3.1.cmml"><mn id="S3.E2.m1.3.3" xref="S3.E2.m1.3.3.cmml">2</mn><mo id="S3.E2.m1.6.6.1.1.2.2.3.2.1" xref="S3.E2.m1.6.6.1.1.2.2.3.1.cmml">,</mo><mi mathvariant="normal" id="S3.E2.m1.4.4" xref="S3.E2.m1.4.4.cmml">…</mi><mo id="S3.E2.m1.6.6.1.1.2.2.3.2.2" xref="S3.E2.m1.6.6.1.1.2.2.3.1.cmml">,</mo><mi id="S3.E2.m1.5.5" xref="S3.E2.m1.5.5.cmml">L</mi></mrow></mrow></mrow><mo lspace="0em" id="S3.E2.m1.6.6.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E2.m1.6b"><apply id="S3.E2.m1.6.6.1.1.3.cmml" xref="S3.E2.m1.6.6.1.1.2"><csymbol cd="ambiguous" id="S3.E2.m1.6.6.1.1.3a.cmml" xref="S3.E2.m1.6.6.1.1.2.3">formulae-sequence</csymbol><apply id="S3.E2.m1.6.6.1.1.1.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1"><eq id="S3.E2.m1.6.6.1.1.1.1.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1.1"></eq><apply id="S3.E2.m1.6.6.1.1.1.1.2.cmml" xref="S3.E2.m1.6.6.1.1.1.1.2"><times id="S3.E2.m1.6.6.1.1.1.1.2.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1.2.1"></times><apply id="S3.E2.m1.6.6.1.1.1.1.2.2.cmml" xref="S3.E2.m1.6.6.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S3.E2.m1.6.6.1.1.1.1.2.2.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1.2.2">subscript</csymbol><ci id="S3.E2.m1.6.6.1.1.1.1.2.2.2.cmml" xref="S3.E2.m1.6.6.1.1.1.1.2.2.2">𝒉</ci><ci id="S3.E2.m1.6.6.1.1.1.1.2.2.3.cmml" xref="S3.E2.m1.6.6.1.1.1.1.2.2.3">ℓ</ci></apply><ci id="S3.E2.m1.1.1.cmml" xref="S3.E2.m1.1.1">𝒙</ci></apply><apply id="S3.E2.m1.6.6.1.1.1.1.3.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3"><times id="S3.E2.m1.6.6.1.1.1.1.3.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.1"></times><apply id="S3.E2.m1.6.6.1.1.1.1.3.2.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S3.E2.m1.6.6.1.1.1.1.3.2.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.2">subscript</csymbol><ci id="S3.E2.m1.6.6.1.1.1.1.3.2.2.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.2.2">𝑾</ci><ci id="S3.E2.m1.6.6.1.1.1.1.3.2.3.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.2.3">ℓ</ci></apply><apply id="S3.E2.m1.6.6.1.1.1.1.3.3.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.E2.m1.6.6.1.1.1.1.3.3.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.3">subscript</csymbol><ci id="S3.E2.m1.6.6.1.1.1.1.3.3.2.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.3.2">𝒉</ci><apply id="S3.E2.m1.6.6.1.1.1.1.3.3.3.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3"><minus id="S3.E2.m1.6.6.1.1.1.1.3.3.3.1.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3.1"></minus><ci id="S3.E2.m1.6.6.1.1.1.1.3.3.3.2.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3.2">ℓ</ci><cn type="integer" id="S3.E2.m1.6.6.1.1.1.1.3.3.3.3.cmml" xref="S3.E2.m1.6.6.1.1.1.1.3.3.3.3">1</cn></apply></apply><ci id="S3.E2.m1.2.2.cmml" xref="S3.E2.m1.2.2">𝒙</ci></apply></apply><apply id="S3.E2.m1.6.6.1.1.2.2.cmml" xref="S3.E2.m1.6.6.1.1.2.2"><eq id="S3.E2.m1.6.6.1.1.2.2.1.cmml" xref="S3.E2.m1.6.6.1.1.2.2.1"></eq><apply id="S3.E2.m1.6.6.1.1.2.2.2.cmml" xref="S3.E2.m1.6.6.1.1.2.2.2"><times id="S3.E2.m1.6.6.1.1.2.2.2.1.cmml" xref="S3.E2.m1.6.6.1.1.2.2.2.1"></times><ci id="S3.E2.m1.6.6.1.1.2.2.2.2a.cmml" xref="S3.E2.m1.6.6.1.1.2.2.2.2"><mtext id="S3.E2.m1.6.6.1.1.2.2.2.2.cmml" xref="S3.E2.m1.6.6.1.1.2.2.2.2">for </mtext></ci><ci id="S3.E2.m1.6.6.1.1.2.2.2.3.cmml" xref="S3.E2.m1.6.6.1.1.2.2.2.3">ℓ</ci></apply><list id="S3.E2.m1.6.6.1.1.2.2.3.1.cmml" xref="S3.E2.m1.6.6.1.1.2.2.3.2"><cn type="integer" id="S3.E2.m1.3.3.cmml" xref="S3.E2.m1.3.3">2</cn><ci id="S3.E2.m1.4.4.cmml" xref="S3.E2.m1.4.4">…</ci><ci id="S3.E2.m1.5.5.cmml" xref="S3.E2.m1.5.5">𝐿</ci></list></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E2.m1.6c">{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\qquad\text{for }\ell=2,\ldots,L.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(2)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p2.8" class="ltx_p">We let <math id="S3.SS1.p2.5.m1.1" class="ltx_Math" alttext="{\bm{h}}_{L}({\bm{x}})\in\mathbb{R}^{0pt_{L}}" display="inline"><semantics id="S3.SS1.p2.5.m1.1a"><mrow id="S3.SS1.p2.5.m1.1.2" xref="S3.SS1.p2.5.m1.1.2.cmml"><mrow id="S3.SS1.p2.5.m1.1.2.2" xref="S3.SS1.p2.5.m1.1.2.2.cmml"><msub id="S3.SS1.p2.5.m1.1.2.2.2" xref="S3.SS1.p2.5.m1.1.2.2.2.cmml"><mi id="S3.SS1.p2.5.m1.1.2.2.2.2" xref="S3.SS1.p2.5.m1.1.2.2.2.2.cmml">𝒉</mi><mi id="S3.SS1.p2.5.m1.1.2.2.2.3" xref="S3.SS1.p2.5.m1.1.2.2.2.3.cmml">L</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p2.5.m1.1.2.2.1" xref="S3.SS1.p2.5.m1.1.2.2.1.cmml">​</mo><mrow id="S3.SS1.p2.5.m1.1.2.2.3.2" xref="S3.SS1.p2.5.m1.1.2.2.cmml"><mo stretchy="false" id="S3.SS1.p2.5.m1.1.2.2.3.2.1" xref="S3.SS1.p2.5.m1.1.2.2.cmml">(</mo><mi id="S3.SS1.p2.5.m1.1.1" xref="S3.SS1.p2.5.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p2.5.m1.1.2.2.3.2.2" xref="S3.SS1.p2.5.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="S3.SS1.p2.5.m1.1.2.1" xref="S3.SS1.p2.5.m1.1.2.1.cmml">∈</mo><msup id="S3.SS1.p2.5.m1.1.2.3" xref="S3.SS1.p2.5.m1.1.2.3.cmml"><mi id="S3.SS1.p2.5.m1.1.2.3.2" xref="S3.SS1.p2.5.m1.1.2.3.2.cmml">ℝ</mi><mrow id="S3.SS1.p2.5.m1.1.2.3.3" xref="S3.SS1.p2.5.m1.1.2.3.3.cmml"><mn id="S3.SS1.p2.5.m1.1.2.3.3.2" xref="S3.SS1.p2.5.m1.1.2.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p2.5.m1.1.2.3.3.1" xref="S3.SS1.p2.5.m1.1.2.3.3.1.cmml">​</mo><mi id="S3.SS1.p2.5.m1.1.2.3.3.3" xref="S3.SS1.p2.5.m1.1.2.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.5.m1.1.2.3.3.1a" xref="S3.SS1.p2.5.m1.1.2.3.3.1.cmml">​</mo><msub id="S3.SS1.p2.5.m1.1.2.3.3.4" xref="S3.SS1.p2.5.m1.1.2.3.3.4.cmml"><mi id="S3.SS1.p2.5.m1.1.2.3.3.4.2" xref="S3.SS1.p2.5.m1.1.2.3.3.4.2.cmml">t</mi><mi id="S3.SS1.p2.5.m1.1.2.3.3.4.3" xref="S3.SS1.p2.5.m1.1.2.3.3.4.3.cmml">L</mi></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.5.m1.1b"><apply id="S3.SS1.p2.5.m1.1.2.cmml" xref="S3.SS1.p2.5.m1.1.2"><in id="S3.SS1.p2.5.m1.1.2.1.cmml" xref="S3.SS1.p2.5.m1.1.2.1"></in><apply id="S3.SS1.p2.5.m1.1.2.2.cmml" xref="S3.SS1.p2.5.m1.1.2.2"><times id="S3.SS1.p2.5.m1.1.2.2.1.cmml" xref="S3.SS1.p2.5.m1.1.2.2.1"></times><apply id="S3.SS1.p2.5.m1.1.2.2.2.cmml" xref="S3.SS1.p2.5.m1.1.2.2.2"><csymbol cd="ambiguous" id="S3.SS1.p2.5.m1.1.2.2.2.1.cmml" xref="S3.SS1.p2.5.m1.1.2.2.2">subscript</csymbol><ci id="S3.SS1.p2.5.m1.1.2.2.2.2.cmml" xref="S3.SS1.p2.5.m1.1.2.2.2.2">𝒉</ci><ci id="S3.SS1.p2.5.m1.1.2.2.2.3.cmml" xref="S3.SS1.p2.5.m1.1.2.2.2.3">𝐿</ci></apply><ci id="S3.SS1.p2.5.m1.1.1.cmml" xref="S3.SS1.p2.5.m1.1.1">𝒙</ci></apply><apply id="S3.SS1.p2.5.m1.1.2.3.cmml" xref="S3.SS1.p2.5.m1.1.2.3"><csymbol cd="ambiguous" id="S3.SS1.p2.5.m1.1.2.3.1.cmml" xref="S3.SS1.p2.5.m1.1.2.3">superscript</csymbol><ci id="S3.SS1.p2.5.m1.1.2.3.2.cmml" xref="S3.SS1.p2.5.m1.1.2.3.2">ℝ</ci><apply id="S3.SS1.p2.5.m1.1.2.3.3.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3"><times id="S3.SS1.p2.5.m1.1.2.3.3.1.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3.1"></times><cn type="integer" id="S3.SS1.p2.5.m1.1.2.3.3.2.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3.2">0</cn><ci id="S3.SS1.p2.5.m1.1.2.3.3.3.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3.3">𝑝</ci><apply id="S3.SS1.p2.5.m1.1.2.3.3.4.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3.4"><csymbol cd="ambiguous" id="S3.SS1.p2.5.m1.1.2.3.3.4.1.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3.4">subscript</csymbol><ci id="S3.SS1.p2.5.m1.1.2.3.3.4.2.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3.4.2">𝑡</ci><ci id="S3.SS1.p2.5.m1.1.2.3.3.4.3.cmml" xref="S3.SS1.p2.5.m1.1.2.3.3.4.3">𝐿</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.5.m1.1c">{\bm{h}}_{L}({\bm{x}})\in\mathbb{R}^{0pt_{L}}</annotation></semantics></math> be the network output.
We will keep the input dimension <math id="S3.SS1.p2.6.m2.1" class="ltx_Math" alttext="0pt_{0}" display="inline"><semantics id="S3.SS1.p2.6.m2.1a"><mrow id="S3.SS1.p2.6.m2.1.1" xref="S3.SS1.p2.6.m2.1.1.cmml"><mn id="S3.SS1.p2.6.m2.1.1.2" xref="S3.SS1.p2.6.m2.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p2.6.m2.1.1.1" xref="S3.SS1.p2.6.m2.1.1.1.cmml">​</mo><mi id="S3.SS1.p2.6.m2.1.1.3" xref="S3.SS1.p2.6.m2.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.6.m2.1.1.1a" xref="S3.SS1.p2.6.m2.1.1.1.cmml">​</mo><msub id="S3.SS1.p2.6.m2.1.1.4" xref="S3.SS1.p2.6.m2.1.1.4.cmml"><mi id="S3.SS1.p2.6.m2.1.1.4.2" xref="S3.SS1.p2.6.m2.1.1.4.2.cmml">t</mi><mn id="S3.SS1.p2.6.m2.1.1.4.3" xref="S3.SS1.p2.6.m2.1.1.4.3.cmml">0</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.6.m2.1b"><apply id="S3.SS1.p2.6.m2.1.1.cmml" xref="S3.SS1.p2.6.m2.1.1"><times id="S3.SS1.p2.6.m2.1.1.1.cmml" xref="S3.SS1.p2.6.m2.1.1.1"></times><cn type="integer" id="S3.SS1.p2.6.m2.1.1.2.cmml" xref="S3.SS1.p2.6.m2.1.1.2">0</cn><ci id="S3.SS1.p2.6.m2.1.1.3.cmml" xref="S3.SS1.p2.6.m2.1.1.3">𝑝</ci><apply id="S3.SS1.p2.6.m2.1.1.4.cmml" xref="S3.SS1.p2.6.m2.1.1.4"><csymbol cd="ambiguous" id="S3.SS1.p2.6.m2.1.1.4.1.cmml" xref="S3.SS1.p2.6.m2.1.1.4">subscript</csymbol><ci id="S3.SS1.p2.6.m2.1.1.4.2.cmml" xref="S3.SS1.p2.6.m2.1.1.4.2">𝑡</ci><cn type="integer" id="S3.SS1.p2.6.m2.1.1.4.3.cmml" xref="S3.SS1.p2.6.m2.1.1.4.3">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.6.m2.1c">0pt_{0}</annotation></semantics></math> and output dimension <math id="S3.SS1.p2.7.m3.1" class="ltx_Math" alttext="0pt_{L}" display="inline"><semantics id="S3.SS1.p2.7.m3.1a"><mrow id="S3.SS1.p2.7.m3.1.1" xref="S3.SS1.p2.7.m3.1.1.cmml"><mn id="S3.SS1.p2.7.m3.1.1.2" xref="S3.SS1.p2.7.m3.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p2.7.m3.1.1.1" xref="S3.SS1.p2.7.m3.1.1.1.cmml">​</mo><mi id="S3.SS1.p2.7.m3.1.1.3" xref="S3.SS1.p2.7.m3.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.7.m3.1.1.1a" xref="S3.SS1.p2.7.m3.1.1.1.cmml">​</mo><msub id="S3.SS1.p2.7.m3.1.1.4" xref="S3.SS1.p2.7.m3.1.1.4.cmml"><mi id="S3.SS1.p2.7.m3.1.1.4.2" xref="S3.SS1.p2.7.m3.1.1.4.2.cmml">t</mi><mi id="S3.SS1.p2.7.m3.1.1.4.3" xref="S3.SS1.p2.7.m3.1.1.4.3.cmml">L</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.7.m3.1b"><apply id="S3.SS1.p2.7.m3.1.1.cmml" xref="S3.SS1.p2.7.m3.1.1"><times id="S3.SS1.p2.7.m3.1.1.1.cmml" xref="S3.SS1.p2.7.m3.1.1.1"></times><cn type="integer" id="S3.SS1.p2.7.m3.1.1.2.cmml" xref="S3.SS1.p2.7.m3.1.1.2">0</cn><ci id="S3.SS1.p2.7.m3.1.1.3.cmml" xref="S3.SS1.p2.7.m3.1.1.3">𝑝</ci><apply id="S3.SS1.p2.7.m3.1.1.4.cmml" xref="S3.SS1.p2.7.m3.1.1.4"><csymbol cd="ambiguous" id="S3.SS1.p2.7.m3.1.1.4.1.cmml" xref="S3.SS1.p2.7.m3.1.1.4">subscript</csymbol><ci id="S3.SS1.p2.7.m3.1.1.4.2.cmml" xref="S3.SS1.p2.7.m3.1.1.4.2">𝑡</ci><ci id="S3.SS1.p2.7.m3.1.1.4.3.cmml" xref="S3.SS1.p2.7.m3.1.1.4.3">𝐿</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.7.m3.1c">0pt_{L}</annotation></semantics></math> fixed and consider scaling with respect to the hidden dimensions <math id="S3.SS1.p2.8.m4.3" class="ltx_Math" alttext="0pt_{1},\ldots,0pt_{L\!-\!1}" display="inline"><semantics id="S3.SS1.p2.8.m4.3a"><mrow id="S3.SS1.p2.8.m4.3.3.2" xref="S3.SS1.p2.8.m4.3.3.3.cmml"><mrow id="S3.SS1.p2.8.m4.2.2.1.1" xref="S3.SS1.p2.8.m4.2.2.1.1.cmml"><mn id="S3.SS1.p2.8.m4.2.2.1.1.2" xref="S3.SS1.p2.8.m4.2.2.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p2.8.m4.2.2.1.1.1" xref="S3.SS1.p2.8.m4.2.2.1.1.1.cmml">​</mo><mi id="S3.SS1.p2.8.m4.2.2.1.1.3" xref="S3.SS1.p2.8.m4.2.2.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.8.m4.2.2.1.1.1a" xref="S3.SS1.p2.8.m4.2.2.1.1.1.cmml">​</mo><msub id="S3.SS1.p2.8.m4.2.2.1.1.4" xref="S3.SS1.p2.8.m4.2.2.1.1.4.cmml"><mi id="S3.SS1.p2.8.m4.2.2.1.1.4.2" xref="S3.SS1.p2.8.m4.2.2.1.1.4.2.cmml">t</mi><mn id="S3.SS1.p2.8.m4.2.2.1.1.4.3" xref="S3.SS1.p2.8.m4.2.2.1.1.4.3.cmml">1</mn></msub></mrow><mo id="S3.SS1.p2.8.m4.3.3.2.3" xref="S3.SS1.p2.8.m4.3.3.3.cmml">,</mo><mi mathvariant="normal" id="S3.SS1.p2.8.m4.1.1" xref="S3.SS1.p2.8.m4.1.1.cmml">…</mi><mo id="S3.SS1.p2.8.m4.3.3.2.4" xref="S3.SS1.p2.8.m4.3.3.3.cmml">,</mo><mrow id="S3.SS1.p2.8.m4.3.3.2.2" xref="S3.SS1.p2.8.m4.3.3.2.2.cmml"><mn id="S3.SS1.p2.8.m4.3.3.2.2.2" xref="S3.SS1.p2.8.m4.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p2.8.m4.3.3.2.2.1" xref="S3.SS1.p2.8.m4.3.3.2.2.1.cmml">​</mo><mi id="S3.SS1.p2.8.m4.3.3.2.2.3" xref="S3.SS1.p2.8.m4.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p2.8.m4.3.3.2.2.1a" xref="S3.SS1.p2.8.m4.3.3.2.2.1.cmml">​</mo><msub id="S3.SS1.p2.8.m4.3.3.2.2.4" xref="S3.SS1.p2.8.m4.3.3.2.2.4.cmml"><mi id="S3.SS1.p2.8.m4.3.3.2.2.4.2" xref="S3.SS1.p2.8.m4.3.3.2.2.4.2.cmml">t</mi><mrow id="S3.SS1.p2.8.m4.3.3.2.2.4.3" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3.cmml"><mi id="S3.SS1.p2.8.m4.3.3.2.2.4.3.2" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3.2.cmml">L</mi><mo lspace="0.052em" rspace="0.052em" id="S3.SS1.p2.8.m4.3.3.2.2.4.3.1" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3.1.cmml">−</mo><mn id="S3.SS1.p2.8.m4.3.3.2.2.4.3.3" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p2.8.m4.3b"><list id="S3.SS1.p2.8.m4.3.3.3.cmml" xref="S3.SS1.p2.8.m4.3.3.2"><apply id="S3.SS1.p2.8.m4.2.2.1.1.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1"><times id="S3.SS1.p2.8.m4.2.2.1.1.1.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1.1"></times><cn type="integer" id="S3.SS1.p2.8.m4.2.2.1.1.2.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1.2">0</cn><ci id="S3.SS1.p2.8.m4.2.2.1.1.3.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1.3">𝑝</ci><apply id="S3.SS1.p2.8.m4.2.2.1.1.4.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1.4"><csymbol cd="ambiguous" id="S3.SS1.p2.8.m4.2.2.1.1.4.1.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1.4">subscript</csymbol><ci id="S3.SS1.p2.8.m4.2.2.1.1.4.2.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1.4.2">𝑡</ci><cn type="integer" id="S3.SS1.p2.8.m4.2.2.1.1.4.3.cmml" xref="S3.SS1.p2.8.m4.2.2.1.1.4.3">1</cn></apply></apply><ci id="S3.SS1.p2.8.m4.1.1.cmml" xref="S3.SS1.p2.8.m4.1.1">…</ci><apply id="S3.SS1.p2.8.m4.3.3.2.2.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2"><times id="S3.SS1.p2.8.m4.3.3.2.2.1.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.1"></times><cn type="integer" id="S3.SS1.p2.8.m4.3.3.2.2.2.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.2">0</cn><ci id="S3.SS1.p2.8.m4.3.3.2.2.3.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.3">𝑝</ci><apply id="S3.SS1.p2.8.m4.3.3.2.2.4.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.4"><csymbol cd="ambiguous" id="S3.SS1.p2.8.m4.3.3.2.2.4.1.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.4">subscript</csymbol><ci id="S3.SS1.p2.8.m4.3.3.2.2.4.2.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.4.2">𝑡</ci><apply id="S3.SS1.p2.8.m4.3.3.2.2.4.3.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3"><minus id="S3.SS1.p2.8.m4.3.3.2.2.4.3.1.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3.1"></minus><ci id="S3.SS1.p2.8.m4.3.3.2.2.4.3.2.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3.2">𝐿</ci><cn type="integer" id="S3.SS1.p2.8.m4.3.3.2.2.4.3.3.cmml" xref="S3.SS1.p2.8.m4.3.3.2.2.4.3.3">1</cn></apply></apply></apply></list></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p2.8.m4.3c">0pt_{1},\ldots,0pt_{L\!-\!1}</annotation></semantics></math>.</p>
</div>
<div id="S3.SS1.p3" class="ltx_para ltx_noindent">
<p id="S3.SS1.p3.7" class="ltx_p">We let the global loss be <math id="S3.SS1.p3.1.m1.3" class="ltx_Math" alttext="\mathcal{L}=g({\bm{h}}_{L}({\bm{x}}),{\bm{y}})" display="inline"><semantics id="S3.SS1.p3.1.m1.3a"><mrow id="S3.SS1.p3.1.m1.3.3" xref="S3.SS1.p3.1.m1.3.3.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.1.m1.3.3.3" xref="S3.SS1.p3.1.m1.3.3.3.cmml">ℒ</mi><mo id="S3.SS1.p3.1.m1.3.3.2" xref="S3.SS1.p3.1.m1.3.3.2.cmml">=</mo><mrow id="S3.SS1.p3.1.m1.3.3.1" xref="S3.SS1.p3.1.m1.3.3.1.cmml"><mi id="S3.SS1.p3.1.m1.3.3.1.3" xref="S3.SS1.p3.1.m1.3.3.1.3.cmml">g</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p3.1.m1.3.3.1.2" xref="S3.SS1.p3.1.m1.3.3.1.2.cmml">​</mo><mrow id="S3.SS1.p3.1.m1.3.3.1.1.1" xref="S3.SS1.p3.1.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p3.1.m1.3.3.1.1.1.2" xref="S3.SS1.p3.1.m1.3.3.1.1.2.cmml">(</mo><mrow id="S3.SS1.p3.1.m1.3.3.1.1.1.1" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.cmml"><msub id="S3.SS1.p3.1.m1.3.3.1.1.1.1.2" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.cmml"><mi id="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.2" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.2.cmml">𝒉</mi><mi id="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.3" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.3.cmml">L</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p3.1.m1.3.3.1.1.1.1.1" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p3.1.m1.3.3.1.1.1.1.3.2" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p3.1.m1.3.3.1.1.1.1.3.2.1" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.cmml">(</mo><mi id="S3.SS1.p3.1.m1.1.1" xref="S3.SS1.p3.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p3.1.m1.3.3.1.1.1.1.3.2.2" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.SS1.p3.1.m1.3.3.1.1.1.3" xref="S3.SS1.p3.1.m1.3.3.1.1.2.cmml">,</mo><mi id="S3.SS1.p3.1.m1.2.2" xref="S3.SS1.p3.1.m1.2.2.cmml">𝒚</mi><mo stretchy="false" id="S3.SS1.p3.1.m1.3.3.1.1.1.4" xref="S3.SS1.p3.1.m1.3.3.1.1.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.1.m1.3b"><apply id="S3.SS1.p3.1.m1.3.3.cmml" xref="S3.SS1.p3.1.m1.3.3"><eq id="S3.SS1.p3.1.m1.3.3.2.cmml" xref="S3.SS1.p3.1.m1.3.3.2"></eq><ci id="S3.SS1.p3.1.m1.3.3.3.cmml" xref="S3.SS1.p3.1.m1.3.3.3">ℒ</ci><apply id="S3.SS1.p3.1.m1.3.3.1.cmml" xref="S3.SS1.p3.1.m1.3.3.1"><times id="S3.SS1.p3.1.m1.3.3.1.2.cmml" xref="S3.SS1.p3.1.m1.3.3.1.2"></times><ci id="S3.SS1.p3.1.m1.3.3.1.3.cmml" xref="S3.SS1.p3.1.m1.3.3.1.3">𝑔</ci><interval closure="open" id="S3.SS1.p3.1.m1.3.3.1.1.2.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1"><apply id="S3.SS1.p3.1.m1.3.3.1.1.1.1.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1"><times id="S3.SS1.p3.1.m1.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.1"></times><apply id="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.1.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.2">subscript</csymbol><ci id="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.2.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.2">𝒉</ci><ci id="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.3.cmml" xref="S3.SS1.p3.1.m1.3.3.1.1.1.1.2.3">𝐿</ci></apply><ci id="S3.SS1.p3.1.m1.1.1.cmml" xref="S3.SS1.p3.1.m1.1.1">𝒙</ci></apply><ci id="S3.SS1.p3.1.m1.2.2.cmml" xref="S3.SS1.p3.1.m1.2.2">𝒚</ci></interval></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.1.m1.3c">\mathcal{L}=g({\bm{h}}_{L}({\bm{x}}),{\bm{y}})</annotation></semantics></math> where <math id="S3.SS1.p3.2.m2.1" class="ltx_Math" alttext="g" display="inline"><semantics id="S3.SS1.p3.2.m2.1a"><mi id="S3.SS1.p3.2.m2.1.1" xref="S3.SS1.p3.2.m2.1.1.cmml">g</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.2.m2.1b"><ci id="S3.SS1.p3.2.m2.1.1.cmml" xref="S3.SS1.p3.2.m2.1.1">𝑔</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.2.m2.1c">g</annotation></semantics></math> and <math id="S3.SS1.p3.3.m3.1" class="ltx_Math" alttext="{\bm{y}}" display="inline"><semantics id="S3.SS1.p3.3.m3.1a"><mi id="S3.SS1.p3.3.m3.1.1" xref="S3.SS1.p3.3.m3.1.1.cmml">𝒚</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.3.m3.1b"><ci id="S3.SS1.p3.3.m3.1.1.cmml" xref="S3.SS1.p3.3.m3.1.1">𝒚</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.3.m3.1c">{\bm{y}}</annotation></semantics></math> are a loss function and target vector, respectively.
During training, we will take gradient steps at each layer as <math id="S3.SS1.p3.4.m4.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}=-\eta_{\ell}\cdot\nabla_{{\bm{W}}_{\ell}}\mathcal{L}" display="inline"><semantics id="S3.SS1.p3.4.m4.1a"><mrow id="S3.SS1.p3.4.m4.1.1" xref="S3.SS1.p3.4.m4.1.1.cmml"><mrow id="S3.SS1.p3.4.m4.1.1.2" xref="S3.SS1.p3.4.m4.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS1.p3.4.m4.1.1.2.2" xref="S3.SS1.p3.4.m4.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS1.p3.4.m4.1.1.2.1" xref="S3.SS1.p3.4.m4.1.1.2.1.cmml">​</mo><msub id="S3.SS1.p3.4.m4.1.1.2.3" xref="S3.SS1.p3.4.m4.1.1.2.3.cmml"><mi id="S3.SS1.p3.4.m4.1.1.2.3.2" xref="S3.SS1.p3.4.m4.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p3.4.m4.1.1.2.3.3" xref="S3.SS1.p3.4.m4.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="S3.SS1.p3.4.m4.1.1.1" xref="S3.SS1.p3.4.m4.1.1.1.cmml">=</mo><mrow id="S3.SS1.p3.4.m4.1.1.3" xref="S3.SS1.p3.4.m4.1.1.3.cmml"><mo id="S3.SS1.p3.4.m4.1.1.3a" xref="S3.SS1.p3.4.m4.1.1.3.cmml">−</mo><mrow id="S3.SS1.p3.4.m4.1.1.3.2" xref="S3.SS1.p3.4.m4.1.1.3.2.cmml"><msub id="S3.SS1.p3.4.m4.1.1.3.2.2" xref="S3.SS1.p3.4.m4.1.1.3.2.2.cmml"><mi id="S3.SS1.p3.4.m4.1.1.3.2.2.2" xref="S3.SS1.p3.4.m4.1.1.3.2.2.2.cmml">η</mi><mi mathvariant="normal" id="S3.SS1.p3.4.m4.1.1.3.2.2.3" xref="S3.SS1.p3.4.m4.1.1.3.2.2.3.cmml">ℓ</mi></msub><mo lspace="0.222em" rspace="0.222em" id="S3.SS1.p3.4.m4.1.1.3.2.1" xref="S3.SS1.p3.4.m4.1.1.3.2.1.cmml">⋅</mo><mrow id="S3.SS1.p3.4.m4.1.1.3.2.3" xref="S3.SS1.p3.4.m4.1.1.3.2.3.cmml"><msub id="S3.SS1.p3.4.m4.1.1.3.2.3.1" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.cmml"><mo rspace="0.167em" id="S3.SS1.p3.4.m4.1.1.3.2.3.1.2" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.2.cmml">∇</mo><msub id="S3.SS1.p3.4.m4.1.1.3.2.3.1.3" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.cmml"><mi id="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.2" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.3" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S3.SS1.p3.4.m4.1.1.3.2.3.2" xref="S3.SS1.p3.4.m4.1.1.3.2.3.2.cmml">ℒ</mi></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.4.m4.1b"><apply id="S3.SS1.p3.4.m4.1.1.cmml" xref="S3.SS1.p3.4.m4.1.1"><eq id="S3.SS1.p3.4.m4.1.1.1.cmml" xref="S3.SS1.p3.4.m4.1.1.1"></eq><apply id="S3.SS1.p3.4.m4.1.1.2.cmml" xref="S3.SS1.p3.4.m4.1.1.2"><times id="S3.SS1.p3.4.m4.1.1.2.1.cmml" xref="S3.SS1.p3.4.m4.1.1.2.1"></times><ci id="S3.SS1.p3.4.m4.1.1.2.2.cmml" xref="S3.SS1.p3.4.m4.1.1.2.2">Δ</ci><apply id="S3.SS1.p3.4.m4.1.1.2.3.cmml" xref="S3.SS1.p3.4.m4.1.1.2.3"><csymbol cd="ambiguous" id="S3.SS1.p3.4.m4.1.1.2.3.1.cmml" xref="S3.SS1.p3.4.m4.1.1.2.3">subscript</csymbol><ci id="S3.SS1.p3.4.m4.1.1.2.3.2.cmml" xref="S3.SS1.p3.4.m4.1.1.2.3.2">𝑾</ci><ci id="S3.SS1.p3.4.m4.1.1.2.3.3.cmml" xref="S3.SS1.p3.4.m4.1.1.2.3.3">ℓ</ci></apply></apply><apply id="S3.SS1.p3.4.m4.1.1.3.cmml" xref="S3.SS1.p3.4.m4.1.1.3"><minus id="S3.SS1.p3.4.m4.1.1.3.1.cmml" xref="S3.SS1.p3.4.m4.1.1.3"></minus><apply id="S3.SS1.p3.4.m4.1.1.3.2.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2"><ci id="S3.SS1.p3.4.m4.1.1.3.2.1.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.1">⋅</ci><apply id="S3.SS1.p3.4.m4.1.1.3.2.2.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.2"><csymbol cd="ambiguous" id="S3.SS1.p3.4.m4.1.1.3.2.2.1.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.2">subscript</csymbol><ci id="S3.SS1.p3.4.m4.1.1.3.2.2.2.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.2.2">𝜂</ci><ci id="S3.SS1.p3.4.m4.1.1.3.2.2.3.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.2.3">ℓ</ci></apply><apply id="S3.SS1.p3.4.m4.1.1.3.2.3.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3"><apply id="S3.SS1.p3.4.m4.1.1.3.2.3.1.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1"><csymbol cd="ambiguous" id="S3.SS1.p3.4.m4.1.1.3.2.3.1.1.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1">subscript</csymbol><ci id="S3.SS1.p3.4.m4.1.1.3.2.3.1.2.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.2">∇</ci><apply id="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.3"><csymbol cd="ambiguous" id="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.1.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.3">subscript</csymbol><ci id="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.2.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.2">𝑾</ci><ci id="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.3.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.1.3.3">ℓ</ci></apply></apply><ci id="S3.SS1.p3.4.m4.1.1.3.2.3.2.cmml" xref="S3.SS1.p3.4.m4.1.1.3.2.3.2">ℒ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.4.m4.1c">\Delta\!{\bm{W}}_{\ell}=-\eta_{\ell}\cdot\nabla_{{\bm{W}}_{\ell}}\mathcal{L}</annotation></semantics></math>, where <math id="S3.SS1.p3.5.m5.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S3.SS1.p3.5.m5.1a"><msub id="S3.SS1.p3.5.m5.1.1" xref="S3.SS1.p3.5.m5.1.1.cmml"><mi id="S3.SS1.p3.5.m5.1.1.2" xref="S3.SS1.p3.5.m5.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S3.SS1.p3.5.m5.1.1.3" xref="S3.SS1.p3.5.m5.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.5.m5.1b"><apply id="S3.SS1.p3.5.m5.1.1.cmml" xref="S3.SS1.p3.5.m5.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.5.m5.1.1.1.cmml" xref="S3.SS1.p3.5.m5.1.1">subscript</csymbol><ci id="S3.SS1.p3.5.m5.1.1.2.cmml" xref="S3.SS1.p3.5.m5.1.1.2">𝜂</ci><ci id="S3.SS1.p3.5.m5.1.1.3.cmml" xref="S3.SS1.p3.5.m5.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.5.m5.1c">\eta_{\ell}</annotation></semantics></math> is a layerwise learning rate.
We will ultimately solve for the scale of <math id="S3.SS1.p3.6.m6.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S3.SS1.p3.6.m6.1a"><msub id="S3.SS1.p3.6.m6.1.1" xref="S3.SS1.p3.6.m6.1.1.cmml"><mi id="S3.SS1.p3.6.m6.1.1.2" xref="S3.SS1.p3.6.m6.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S3.SS1.p3.6.m6.1.1.3" xref="S3.SS1.p3.6.m6.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.6.m6.1b"><apply id="S3.SS1.p3.6.m6.1.1.cmml" xref="S3.SS1.p3.6.m6.1.1"><csymbol cd="ambiguous" id="S3.SS1.p3.6.m6.1.1.1.cmml" xref="S3.SS1.p3.6.m6.1.1">subscript</csymbol><ci id="S3.SS1.p3.6.m6.1.1.2.cmml" xref="S3.SS1.p3.6.m6.1.1.2">𝜂</ci><ci id="S3.SS1.p3.6.m6.1.1.3.cmml" xref="S3.SS1.p3.6.m6.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.6.m6.1c">\eta_{\ell}</annotation></semantics></math>, but for now we will be content to discuss the perturbation <math id="S3.SS1.p3.7.m7.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.p3.7.m7.1a"><mrow id="S3.SS1.p3.7.m7.1.1" xref="S3.SS1.p3.7.m7.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS1.p3.7.m7.1.1.2" xref="S3.SS1.p3.7.m7.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS1.p3.7.m7.1.1.1" xref="S3.SS1.p3.7.m7.1.1.1.cmml">​</mo><msub id="S3.SS1.p3.7.m7.1.1.3" xref="S3.SS1.p3.7.m7.1.1.3.cmml"><mi id="S3.SS1.p3.7.m7.1.1.3.2" xref="S3.SS1.p3.7.m7.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p3.7.m7.1.1.3.3" xref="S3.SS1.p3.7.m7.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p3.7.m7.1b"><apply id="S3.SS1.p3.7.m7.1.1.cmml" xref="S3.SS1.p3.7.m7.1.1"><times id="S3.SS1.p3.7.m7.1.1.1.cmml" xref="S3.SS1.p3.7.m7.1.1.1"></times><ci id="S3.SS1.p3.7.m7.1.1.2.cmml" xref="S3.SS1.p3.7.m7.1.1.2">Δ</ci><apply id="S3.SS1.p3.7.m7.1.1.3.cmml" xref="S3.SS1.p3.7.m7.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p3.7.m7.1.1.3.1.cmml" xref="S3.SS1.p3.7.m7.1.1.3">subscript</csymbol><ci id="S3.SS1.p3.7.m7.1.1.3.2.cmml" xref="S3.SS1.p3.7.m7.1.1.3.2">𝑾</ci><ci id="S3.SS1.p3.7.m7.1.1.3.3.cmml" xref="S3.SS1.p3.7.m7.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p3.7.m7.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> directly.
By <a href="#S3.E2" title="In 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">2</span></a>, hidden vector updates at subsequent layers are related by:</p>
<table id="S3.E3" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E3.m1.5" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})=({\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell})({\bm{h}}_{\ell-1}({\bm{x}})+\Delta{\bm{h}}_{\ell-1}({\bm{x}}))." display="block"><semantics id="S3.E3.m1.5a"><mrow id="S3.E3.m1.5.5.1" xref="S3.E3.m1.5.5.1.1.cmml"><mrow id="S3.E3.m1.5.5.1.1" xref="S3.E3.m1.5.5.1.1.cmml"><mrow id="S3.E3.m1.5.5.1.1.4" xref="S3.E3.m1.5.5.1.1.4.cmml"><mrow id="S3.E3.m1.5.5.1.1.4.2" xref="S3.E3.m1.5.5.1.1.4.2.cmml"><msub id="S3.E3.m1.5.5.1.1.4.2.2" xref="S3.E3.m1.5.5.1.1.4.2.2.cmml"><mi id="S3.E3.m1.5.5.1.1.4.2.2.2" xref="S3.E3.m1.5.5.1.1.4.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.4.2.2.3" xref="S3.E3.m1.5.5.1.1.4.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.4.2.1" xref="S3.E3.m1.5.5.1.1.4.2.1.cmml">​</mo><mrow id="S3.E3.m1.5.5.1.1.4.2.3.2" xref="S3.E3.m1.5.5.1.1.4.2.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.1.1.4.2.3.2.1" xref="S3.E3.m1.5.5.1.1.4.2.cmml">(</mo><mi id="S3.E3.m1.1.1" xref="S3.E3.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E3.m1.5.5.1.1.4.2.3.2.2" xref="S3.E3.m1.5.5.1.1.4.2.cmml">)</mo></mrow></mrow><mo id="S3.E3.m1.5.5.1.1.4.1" xref="S3.E3.m1.5.5.1.1.4.1.cmml">+</mo><mrow id="S3.E3.m1.5.5.1.1.4.3" xref="S3.E3.m1.5.5.1.1.4.3.cmml"><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.4.3.2" xref="S3.E3.m1.5.5.1.1.4.3.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.4.3.1" xref="S3.E3.m1.5.5.1.1.4.3.1.cmml">​</mo><msub id="S3.E3.m1.5.5.1.1.4.3.3" xref="S3.E3.m1.5.5.1.1.4.3.3.cmml"><mi id="S3.E3.m1.5.5.1.1.4.3.3.2" xref="S3.E3.m1.5.5.1.1.4.3.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.4.3.3.3" xref="S3.E3.m1.5.5.1.1.4.3.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.4.3.1a" xref="S3.E3.m1.5.5.1.1.4.3.1.cmml">​</mo><mrow id="S3.E3.m1.5.5.1.1.4.3.4.2" xref="S3.E3.m1.5.5.1.1.4.3.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.1.1.4.3.4.2.1" xref="S3.E3.m1.5.5.1.1.4.3.cmml">(</mo><mi id="S3.E3.m1.2.2" xref="S3.E3.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E3.m1.5.5.1.1.4.3.4.2.2" xref="S3.E3.m1.5.5.1.1.4.3.cmml">)</mo></mrow></mrow></mrow><mo id="S3.E3.m1.5.5.1.1.3" xref="S3.E3.m1.5.5.1.1.3.cmml">=</mo><mrow id="S3.E3.m1.5.5.1.1.2" xref="S3.E3.m1.5.5.1.1.2.cmml"><mrow id="S3.E3.m1.5.5.1.1.1.1.1" xref="S3.E3.m1.5.5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.1.1.1.1.1.2" xref="S3.E3.m1.5.5.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.E3.m1.5.5.1.1.1.1.1.1" xref="S3.E3.m1.5.5.1.1.1.1.1.1.cmml"><msub id="S3.E3.m1.5.5.1.1.1.1.1.1.2" xref="S3.E3.m1.5.5.1.1.1.1.1.1.2.cmml"><mi id="S3.E3.m1.5.5.1.1.1.1.1.1.2.2" xref="S3.E3.m1.5.5.1.1.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.1.1.1.1.2.3" xref="S3.E3.m1.5.5.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo id="S3.E3.m1.5.5.1.1.1.1.1.1.1" xref="S3.E3.m1.5.5.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.E3.m1.5.5.1.1.1.1.1.1.3" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.1.1.1.1.3.2" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.1.1.1.1.3.1" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.1.cmml">​</mo><msub id="S3.E3.m1.5.5.1.1.1.1.1.1.3.3" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.cmml"><mi id="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.2" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.3" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.3.cmml">ℓ</mi></msub></mrow></mrow><mo stretchy="false" id="S3.E3.m1.5.5.1.1.1.1.1.3" xref="S3.E3.m1.5.5.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.2.3" xref="S3.E3.m1.5.5.1.1.2.3.cmml">​</mo><mrow id="S3.E3.m1.5.5.1.1.2.2.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.1.1.2.2.1.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.cmml">(</mo><mrow id="S3.E3.m1.5.5.1.1.2.2.1.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.cmml"><mrow id="S3.E3.m1.5.5.1.1.2.2.1.1.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.cmml"><msub id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.cmml"><mi id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.2.cmml">𝒉</mi><mrow id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.cmml"><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.2.cmml">ℓ</mi><mo id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.1.cmml">−</mo><mn id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.3" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.2.2.1.1.2.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.1.cmml">​</mo><mrow id="S3.E3.m1.5.5.1.1.2.2.1.1.2.3.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.1.1.2.2.1.1.2.3.2.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.cmml">(</mo><mi id="S3.E3.m1.3.3" xref="S3.E3.m1.3.3.cmml">𝒙</mi><mo stretchy="false" id="S3.E3.m1.5.5.1.1.2.2.1.1.2.3.2.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.E3.m1.5.5.1.1.2.2.1.1.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.1.cmml">+</mo><mrow id="S3.E3.m1.5.5.1.1.2.2.1.1.3" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.cmml"><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.1.cmml">​</mo><msub id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.cmml"><mi id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.2.cmml">𝒉</mi><mrow id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.cmml"><mi mathvariant="normal" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.2.cmml">ℓ</mi><mo id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.1.cmml">−</mo><mn id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.3" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.1a" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.1.cmml">​</mo><mrow id="S3.E3.m1.5.5.1.1.2.2.1.1.3.4.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.cmml"><mo stretchy="false" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.4.2.1" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.cmml">(</mo><mi id="S3.E3.m1.4.4" xref="S3.E3.m1.4.4.cmml">𝒙</mi><mo stretchy="false" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.4.2.2" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="S3.E3.m1.5.5.1.1.2.2.1.3" xref="S3.E3.m1.5.5.1.1.2.2.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="S3.E3.m1.5.5.1.2" xref="S3.E3.m1.5.5.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E3.m1.5b"><apply id="S3.E3.m1.5.5.1.1.cmml" xref="S3.E3.m1.5.5.1"><eq id="S3.E3.m1.5.5.1.1.3.cmml" xref="S3.E3.m1.5.5.1.1.3"></eq><apply id="S3.E3.m1.5.5.1.1.4.cmml" xref="S3.E3.m1.5.5.1.1.4"><plus id="S3.E3.m1.5.5.1.1.4.1.cmml" xref="S3.E3.m1.5.5.1.1.4.1"></plus><apply id="S3.E3.m1.5.5.1.1.4.2.cmml" xref="S3.E3.m1.5.5.1.1.4.2"><times id="S3.E3.m1.5.5.1.1.4.2.1.cmml" xref="S3.E3.m1.5.5.1.1.4.2.1"></times><apply id="S3.E3.m1.5.5.1.1.4.2.2.cmml" xref="S3.E3.m1.5.5.1.1.4.2.2"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.1.1.4.2.2.1.cmml" xref="S3.E3.m1.5.5.1.1.4.2.2">subscript</csymbol><ci id="S3.E3.m1.5.5.1.1.4.2.2.2.cmml" xref="S3.E3.m1.5.5.1.1.4.2.2.2">𝒉</ci><ci id="S3.E3.m1.5.5.1.1.4.2.2.3.cmml" xref="S3.E3.m1.5.5.1.1.4.2.2.3">ℓ</ci></apply><ci id="S3.E3.m1.1.1.cmml" xref="S3.E3.m1.1.1">𝒙</ci></apply><apply id="S3.E3.m1.5.5.1.1.4.3.cmml" xref="S3.E3.m1.5.5.1.1.4.3"><times id="S3.E3.m1.5.5.1.1.4.3.1.cmml" xref="S3.E3.m1.5.5.1.1.4.3.1"></times><ci id="S3.E3.m1.5.5.1.1.4.3.2.cmml" xref="S3.E3.m1.5.5.1.1.4.3.2">Δ</ci><apply id="S3.E3.m1.5.5.1.1.4.3.3.cmml" xref="S3.E3.m1.5.5.1.1.4.3.3"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.1.1.4.3.3.1.cmml" xref="S3.E3.m1.5.5.1.1.4.3.3">subscript</csymbol><ci id="S3.E3.m1.5.5.1.1.4.3.3.2.cmml" xref="S3.E3.m1.5.5.1.1.4.3.3.2">𝒉</ci><ci id="S3.E3.m1.5.5.1.1.4.3.3.3.cmml" xref="S3.E3.m1.5.5.1.1.4.3.3.3">ℓ</ci></apply><ci id="S3.E3.m1.2.2.cmml" xref="S3.E3.m1.2.2">𝒙</ci></apply></apply><apply id="S3.E3.m1.5.5.1.1.2.cmml" xref="S3.E3.m1.5.5.1.1.2"><times id="S3.E3.m1.5.5.1.1.2.3.cmml" xref="S3.E3.m1.5.5.1.1.2.3"></times><apply id="S3.E3.m1.5.5.1.1.1.1.1.1.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1"><plus id="S3.E3.m1.5.5.1.1.1.1.1.1.1.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.1"></plus><apply id="S3.E3.m1.5.5.1.1.1.1.1.1.2.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.1.1.1.1.1.1.2.1.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.2">subscript</csymbol><ci id="S3.E3.m1.5.5.1.1.1.1.1.1.2.2.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.2.2">𝑾</ci><ci id="S3.E3.m1.5.5.1.1.1.1.1.1.2.3.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.2.3">ℓ</ci></apply><apply id="S3.E3.m1.5.5.1.1.1.1.1.1.3.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3"><times id="S3.E3.m1.5.5.1.1.1.1.1.1.3.1.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.1"></times><ci id="S3.E3.m1.5.5.1.1.1.1.1.1.3.2.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.2">Δ</ci><apply id="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.1.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.2.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.2">𝑾</ci><ci id="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.3.cmml" xref="S3.E3.m1.5.5.1.1.1.1.1.1.3.3.3">ℓ</ci></apply></apply></apply><apply id="S3.E3.m1.5.5.1.1.2.2.1.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1"><plus id="S3.E3.m1.5.5.1.1.2.2.1.1.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.1"></plus><apply id="S3.E3.m1.5.5.1.1.2.2.1.1.2.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2"><times id="S3.E3.m1.5.5.1.1.2.2.1.1.2.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.1"></times><apply id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2">subscript</csymbol><ci id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.2.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.2">𝒉</ci><apply id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3"><minus id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.1"></minus><ci id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.2.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.2">ℓ</ci><cn type="integer" id="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.3.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.2.2.3.3">1</cn></apply></apply><ci id="S3.E3.m1.3.3.cmml" xref="S3.E3.m1.3.3">𝒙</ci></apply><apply id="S3.E3.m1.5.5.1.1.2.2.1.1.3.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3"><times id="S3.E3.m1.5.5.1.1.2.2.1.1.3.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.1"></times><ci id="S3.E3.m1.5.5.1.1.2.2.1.1.3.2.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.2">Δ</ci><apply id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3"><csymbol cd="ambiguous" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3">subscript</csymbol><ci id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.2.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.2">𝒉</ci><apply id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3"><minus id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.1.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.1"></minus><ci id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.2.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.2">ℓ</ci><cn type="integer" id="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.3.cmml" xref="S3.E3.m1.5.5.1.1.2.2.1.1.3.3.3.3">1</cn></apply></apply><ci id="S3.E3.m1.4.4.cmml" xref="S3.E3.m1.4.4">𝒙</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E3.m1.5c">{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})=({\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell})({\bm{h}}_{\ell-1}({\bm{x}})+\Delta{\bm{h}}_{\ell-1}({\bm{x}})).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(3)</span></td>
</tr></tbody>
</table>
</div>
<div id="S3.SS1.p4" class="ltx_para ltx_noindent">
<p id="S3.SS1.p4.3" class="ltx_p"><span id="S3.SS1.p4.3.1" class="ltx_text ltx_font_bold">Hidden vector sizes.</span>
To reiterate <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, we wish for features at the <math id="S3.SS1.p4.1.m1.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="S3.SS1.p4.1.m1.1a"><mi mathvariant="normal" id="S3.SS1.p4.1.m1.1.1" xref="S3.SS1.p4.1.m1.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p4.1.m1.1b"><ci id="S3.SS1.p4.1.m1.1.1.cmml" xref="S3.SS1.p4.1.m1.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p4.1.m1.1c">\ell</annotation></semantics></math>th layer to have a norm which scales as <math id="S3.SS1.p4.2.m2.3" class="ltx_Math" alttext="\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})" display="inline"><semantics id="S3.SS1.p4.2.m2.3a"><mrow id="S3.SS1.p4.2.m2.3.3" xref="S3.SS1.p4.2.m2.3.3.cmml"><msub id="S3.SS1.p4.2.m2.3.3.1" xref="S3.SS1.p4.2.m2.3.3.1.cmml"><mrow id="S3.SS1.p4.2.m2.3.3.1.1.1" xref="S3.SS1.p4.2.m2.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p4.2.m2.3.3.1.1.1.2" xref="S3.SS1.p4.2.m2.3.3.1.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p4.2.m2.3.3.1.1.1.1" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.cmml"><msub id="S3.SS1.p4.2.m2.3.3.1.1.1.1.2" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.cmml"><mi id="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.2" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.3" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p4.2.m2.3.3.1.1.1.1.1" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p4.2.m2.3.3.1.1.1.1.3.2" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p4.2.m2.3.3.1.1.1.1.3.2.1" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.cmml">(</mo><mi id="S3.SS1.p4.2.m2.1.1" xref="S3.SS1.p4.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p4.2.m2.3.3.1.1.1.1.3.2.2" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS1.p4.2.m2.3.3.1.1.1.3" xref="S3.SS1.p4.2.m2.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p4.2.m2.3.3.1.3" xref="S3.SS1.p4.2.m2.3.3.1.3.cmml">2</mn></msub><mo id="S3.SS1.p4.2.m2.3.3.2" xref="S3.SS1.p4.2.m2.3.3.2.cmml">=</mo><mrow id="S3.SS1.p4.2.m2.3.3.3" xref="S3.SS1.p4.2.m2.3.3.3.cmml"><mi mathvariant="normal" id="S3.SS1.p4.2.m2.3.3.3.2" xref="S3.SS1.p4.2.m2.3.3.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p4.2.m2.3.3.3.1" xref="S3.SS1.p4.2.m2.3.3.3.1.cmml">​</mo><mrow id="S3.SS1.p4.2.m2.3.3.3.3.2" xref="S3.SS1.p4.2.m2.2.2.cmml"><mo stretchy="false" id="S3.SS1.p4.2.m2.3.3.3.3.2.1" xref="S3.SS1.p4.2.m2.2.2.cmml">(</mo><msqrt id="S3.SS1.p4.2.m2.2.2" xref="S3.SS1.p4.2.m2.2.2.cmml"><mrow id="S3.SS1.p4.2.m2.2.2.2" xref="S3.SS1.p4.2.m2.2.2.2.cmml"><mn id="S3.SS1.p4.2.m2.2.2.2.2" xref="S3.SS1.p4.2.m2.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p4.2.m2.2.2.2.1" xref="S3.SS1.p4.2.m2.2.2.2.1.cmml">​</mo><mi id="S3.SS1.p4.2.m2.2.2.2.3" xref="S3.SS1.p4.2.m2.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p4.2.m2.2.2.2.1a" xref="S3.SS1.p4.2.m2.2.2.2.1.cmml">​</mo><msub id="S3.SS1.p4.2.m2.2.2.2.4" xref="S3.SS1.p4.2.m2.2.2.2.4.cmml"><mi id="S3.SS1.p4.2.m2.2.2.2.4.2" xref="S3.SS1.p4.2.m2.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.SS1.p4.2.m2.2.2.2.4.3" xref="S3.SS1.p4.2.m2.2.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.SS1.p4.2.m2.3.3.3.3.2.2" xref="S3.SS1.p4.2.m2.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p4.2.m2.3b"><apply id="S3.SS1.p4.2.m2.3.3.cmml" xref="S3.SS1.p4.2.m2.3.3"><eq id="S3.SS1.p4.2.m2.3.3.2.cmml" xref="S3.SS1.p4.2.m2.3.3.2"></eq><apply id="S3.SS1.p4.2.m2.3.3.1.cmml" xref="S3.SS1.p4.2.m2.3.3.1"><csymbol cd="ambiguous" id="S3.SS1.p4.2.m2.3.3.1.2.cmml" xref="S3.SS1.p4.2.m2.3.3.1">subscript</csymbol><apply id="S3.SS1.p4.2.m2.3.3.1.1.2.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1"><csymbol cd="latexml" id="S3.SS1.p4.2.m2.3.3.1.1.2.1.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1.2">norm</csymbol><apply id="S3.SS1.p4.2.m2.3.3.1.1.1.1.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1"><times id="S3.SS1.p4.2.m2.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.1"></times><apply id="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.1.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.2">subscript</csymbol><ci id="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.2.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.2">𝒉</ci><ci id="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.3.cmml" xref="S3.SS1.p4.2.m2.3.3.1.1.1.1.2.3">ℓ</ci></apply><ci id="S3.SS1.p4.2.m2.1.1.cmml" xref="S3.SS1.p4.2.m2.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.SS1.p4.2.m2.3.3.1.3.cmml" xref="S3.SS1.p4.2.m2.3.3.1.3">2</cn></apply><apply id="S3.SS1.p4.2.m2.3.3.3.cmml" xref="S3.SS1.p4.2.m2.3.3.3"><times id="S3.SS1.p4.2.m2.3.3.3.1.cmml" xref="S3.SS1.p4.2.m2.3.3.3.1"></times><ci id="S3.SS1.p4.2.m2.3.3.3.2.cmml" xref="S3.SS1.p4.2.m2.3.3.3.2">Θ</ci><apply id="S3.SS1.p4.2.m2.2.2.cmml" xref="S3.SS1.p4.2.m2.3.3.3.3.2"><root id="S3.SS1.p4.2.m2.2.2a.cmml" xref="S3.SS1.p4.2.m2.3.3.3.3.2"></root><apply id="S3.SS1.p4.2.m2.2.2.2.cmml" xref="S3.SS1.p4.2.m2.2.2.2"><times id="S3.SS1.p4.2.m2.2.2.2.1.cmml" xref="S3.SS1.p4.2.m2.2.2.2.1"></times><cn type="integer" id="S3.SS1.p4.2.m2.2.2.2.2.cmml" xref="S3.SS1.p4.2.m2.2.2.2.2">0</cn><ci id="S3.SS1.p4.2.m2.2.2.2.3.cmml" xref="S3.SS1.p4.2.m2.2.2.2.3">𝑝</ci><apply id="S3.SS1.p4.2.m2.2.2.2.4.cmml" xref="S3.SS1.p4.2.m2.2.2.2.4"><csymbol cd="ambiguous" id="S3.SS1.p4.2.m2.2.2.2.4.1.cmml" xref="S3.SS1.p4.2.m2.2.2.2.4">subscript</csymbol><ci id="S3.SS1.p4.2.m2.2.2.2.4.2.cmml" xref="S3.SS1.p4.2.m2.2.2.2.4.2">𝑡</ci><ci id="S3.SS1.p4.2.m2.2.2.2.4.3.cmml" xref="S3.SS1.p4.2.m2.2.2.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p4.2.m2.3c">\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})</annotation></semantics></math>.
Upon a gradient update, this feature vector should undergo an update of size <math id="S3.SS1.p4.3.m3.3" class="ltx_Math" alttext="\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})" display="inline"><semantics id="S3.SS1.p4.3.m3.3a"><mrow id="S3.SS1.p4.3.m3.3.3" xref="S3.SS1.p4.3.m3.3.3.cmml"><msub id="S3.SS1.p4.3.m3.3.3.1" xref="S3.SS1.p4.3.m3.3.3.1.cmml"><mrow id="S3.SS1.p4.3.m3.3.3.1.1.1" xref="S3.SS1.p4.3.m3.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p4.3.m3.3.3.1.1.1.2" xref="S3.SS1.p4.3.m3.3.3.1.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p4.3.m3.3.3.1.1.1.1" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.cmml"><mi mathvariant="normal" id="S3.SS1.p4.3.m3.3.3.1.1.1.1.2" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p4.3.m3.3.3.1.1.1.1.1" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.1.cmml">​</mo><msub id="S3.SS1.p4.3.m3.3.3.1.1.1.1.3" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.cmml"><mi id="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.2" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.3" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p4.3.m3.3.3.1.1.1.1.1a" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p4.3.m3.3.3.1.1.1.1.4.2" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p4.3.m3.3.3.1.1.1.1.4.2.1" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.cmml">(</mo><mi id="S3.SS1.p4.3.m3.1.1" xref="S3.SS1.p4.3.m3.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p4.3.m3.3.3.1.1.1.1.4.2.2" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS1.p4.3.m3.3.3.1.1.1.3" xref="S3.SS1.p4.3.m3.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p4.3.m3.3.3.1.3" xref="S3.SS1.p4.3.m3.3.3.1.3.cmml">2</mn></msub><mo id="S3.SS1.p4.3.m3.3.3.2" xref="S3.SS1.p4.3.m3.3.3.2.cmml">=</mo><mrow id="S3.SS1.p4.3.m3.3.3.3" xref="S3.SS1.p4.3.m3.3.3.3.cmml"><mi mathvariant="normal" id="S3.SS1.p4.3.m3.3.3.3.2" xref="S3.SS1.p4.3.m3.3.3.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p4.3.m3.3.3.3.1" xref="S3.SS1.p4.3.m3.3.3.3.1.cmml">​</mo><mrow id="S3.SS1.p4.3.m3.3.3.3.3.2" xref="S3.SS1.p4.3.m3.2.2.cmml"><mo stretchy="false" id="S3.SS1.p4.3.m3.3.3.3.3.2.1" xref="S3.SS1.p4.3.m3.2.2.cmml">(</mo><msqrt id="S3.SS1.p4.3.m3.2.2" xref="S3.SS1.p4.3.m3.2.2.cmml"><mrow id="S3.SS1.p4.3.m3.2.2.2" xref="S3.SS1.p4.3.m3.2.2.2.cmml"><mn id="S3.SS1.p4.3.m3.2.2.2.2" xref="S3.SS1.p4.3.m3.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p4.3.m3.2.2.2.1" xref="S3.SS1.p4.3.m3.2.2.2.1.cmml">​</mo><mi id="S3.SS1.p4.3.m3.2.2.2.3" xref="S3.SS1.p4.3.m3.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p4.3.m3.2.2.2.1a" xref="S3.SS1.p4.3.m3.2.2.2.1.cmml">​</mo><msub id="S3.SS1.p4.3.m3.2.2.2.4" xref="S3.SS1.p4.3.m3.2.2.2.4.cmml"><mi id="S3.SS1.p4.3.m3.2.2.2.4.2" xref="S3.SS1.p4.3.m3.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.SS1.p4.3.m3.2.2.2.4.3" xref="S3.SS1.p4.3.m3.2.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.SS1.p4.3.m3.3.3.3.3.2.2" xref="S3.SS1.p4.3.m3.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p4.3.m3.3b"><apply id="S3.SS1.p4.3.m3.3.3.cmml" xref="S3.SS1.p4.3.m3.3.3"><eq id="S3.SS1.p4.3.m3.3.3.2.cmml" xref="S3.SS1.p4.3.m3.3.3.2"></eq><apply id="S3.SS1.p4.3.m3.3.3.1.cmml" xref="S3.SS1.p4.3.m3.3.3.1"><csymbol cd="ambiguous" id="S3.SS1.p4.3.m3.3.3.1.2.cmml" xref="S3.SS1.p4.3.m3.3.3.1">subscript</csymbol><apply id="S3.SS1.p4.3.m3.3.3.1.1.2.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1"><csymbol cd="latexml" id="S3.SS1.p4.3.m3.3.3.1.1.2.1.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.2">norm</csymbol><apply id="S3.SS1.p4.3.m3.3.3.1.1.1.1.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1"><times id="S3.SS1.p4.3.m3.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.1"></times><ci id="S3.SS1.p4.3.m3.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.2">Δ</ci><apply id="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.1.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.3">subscript</csymbol><ci id="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.2.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.2">𝒉</ci><ci id="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.3.cmml" xref="S3.SS1.p4.3.m3.3.3.1.1.1.1.3.3">ℓ</ci></apply><ci id="S3.SS1.p4.3.m3.1.1.cmml" xref="S3.SS1.p4.3.m3.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.SS1.p4.3.m3.3.3.1.3.cmml" xref="S3.SS1.p4.3.m3.3.3.1.3">2</cn></apply><apply id="S3.SS1.p4.3.m3.3.3.3.cmml" xref="S3.SS1.p4.3.m3.3.3.3"><times id="S3.SS1.p4.3.m3.3.3.3.1.cmml" xref="S3.SS1.p4.3.m3.3.3.3.1"></times><ci id="S3.SS1.p4.3.m3.3.3.3.2.cmml" xref="S3.SS1.p4.3.m3.3.3.3.2">Θ</ci><apply id="S3.SS1.p4.3.m3.2.2.cmml" xref="S3.SS1.p4.3.m3.3.3.3.3.2"><root id="S3.SS1.p4.3.m3.2.2a.cmml" xref="S3.SS1.p4.3.m3.3.3.3.3.2"></root><apply id="S3.SS1.p4.3.m3.2.2.2.cmml" xref="S3.SS1.p4.3.m3.2.2.2"><times id="S3.SS1.p4.3.m3.2.2.2.1.cmml" xref="S3.SS1.p4.3.m3.2.2.2.1"></times><cn type="integer" id="S3.SS1.p4.3.m3.2.2.2.2.cmml" xref="S3.SS1.p4.3.m3.2.2.2.2">0</cn><ci id="S3.SS1.p4.3.m3.2.2.2.3.cmml" xref="S3.SS1.p4.3.m3.2.2.2.3">𝑝</ci><apply id="S3.SS1.p4.3.m3.2.2.2.4.cmml" xref="S3.SS1.p4.3.m3.2.2.2.4"><csymbol cd="ambiguous" id="S3.SS1.p4.3.m3.2.2.2.4.1.cmml" xref="S3.SS1.p4.3.m3.2.2.2.4">subscript</csymbol><ci id="S3.SS1.p4.3.m3.2.2.2.4.2.cmml" xref="S3.SS1.p4.3.m3.2.2.2.4.2">𝑡</ci><ci id="S3.SS1.p4.3.m3.2.2.2.4.3.cmml" xref="S3.SS1.p4.3.m3.2.2.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p4.3.m3.3c">\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})</annotation></semantics></math>.
We will show that <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> is sufficient to achieve these aims at all layers.</p>
</div>
<div id="S3.SS1.p5" class="ltx_para ltx_noindent">
<p id="S3.SS1.p5.2" class="ltx_p"><span id="S3.SS1.p5.2.1" class="ltx_text ltx_font_bold">Plan of attack.</span>
For simplicity, we will first focus on the <span id="S3.SS1.p5.2.2" class="ltx_text ltx_font_italic">first step of gradient descent</span> after random initialization.
We will argue recursively in depth, showing that if the features at layer <math id="S3.SS1.p5.1.m1.1" class="ltx_Math" alttext="\ell-1" display="inline"><semantics id="S3.SS1.p5.1.m1.1a"><mrow id="S3.SS1.p5.1.m1.1.1" xref="S3.SS1.p5.1.m1.1.1.cmml"><mi mathvariant="normal" id="S3.SS1.p5.1.m1.1.1.2" xref="S3.SS1.p5.1.m1.1.1.2.cmml">ℓ</mi><mo id="S3.SS1.p5.1.m1.1.1.1" xref="S3.SS1.p5.1.m1.1.1.1.cmml">−</mo><mn id="S3.SS1.p5.1.m1.1.1.3" xref="S3.SS1.p5.1.m1.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p5.1.m1.1b"><apply id="S3.SS1.p5.1.m1.1.1.cmml" xref="S3.SS1.p5.1.m1.1.1"><minus id="S3.SS1.p5.1.m1.1.1.1.cmml" xref="S3.SS1.p5.1.m1.1.1.1"></minus><ci id="S3.SS1.p5.1.m1.1.1.2.cmml" xref="S3.SS1.p5.1.m1.1.1.2">ℓ</ci><cn type="integer" id="S3.SS1.p5.1.m1.1.1.3.cmml" xref="S3.SS1.p5.1.m1.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p5.1.m1.1c">\ell-1</annotation></semantics></math> and their updates satisfy <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, then so will those at layer <math id="S3.SS1.p5.2.m2.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="S3.SS1.p5.2.m2.1a"><mi mathvariant="normal" id="S3.SS1.p5.2.m2.1.1" xref="S3.SS1.p5.2.m2.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p5.2.m2.1b"><ci id="S3.SS1.p5.2.m2.1.1.cmml" xref="S3.SS1.p5.2.m2.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p5.2.m2.1c">\ell</annotation></semantics></math>.
In order to verify the desired scalings, we will show upper and lower scaling bounds separately: we will first show that the features and their updates are not larger than asked by <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, and then show that they are in fact also not smaller than asked by <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<div id="S3.SS1.p6" class="ltx_para ltx_noindent">
<p id="S3.SS1.p6.1" class="ltx_p"><span id="S3.SS1.p6.1.1" class="ltx_text ltx_font_bold">Hidden vector updates.</span>
By the subadditivity and submultiplicativity of the spectral norm, <a href="#S3.E2" title="In 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equations</span> <span class="ltx_text ltx_ref_tag">2</span></a> and <a href="#S3.E3" title="Equation 3 ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> imply that:</p>
<table id="A5.EGx3" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E4"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E4.m1.2" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="S3.E4.m1.2a"><msub id="S3.E4.m1.2.2" xref="S3.E4.m1.2.2.cmml"><mrow id="S3.E4.m1.2.2.1.1" xref="S3.E4.m1.2.2.1.2.cmml"><mo stretchy="false" id="S3.E4.m1.2.2.1.1.2" xref="S3.E4.m1.2.2.1.2.1.cmml">‖</mo><mrow id="S3.E4.m1.2.2.1.1.1" xref="S3.E4.m1.2.2.1.1.1.cmml"><msub id="S3.E4.m1.2.2.1.1.1.2" xref="S3.E4.m1.2.2.1.1.1.2.cmml"><mi id="S3.E4.m1.2.2.1.1.1.2.2" xref="S3.E4.m1.2.2.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E4.m1.2.2.1.1.1.2.3" xref="S3.E4.m1.2.2.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E4.m1.2.2.1.1.1.1" xref="S3.E4.m1.2.2.1.1.1.1.cmml">​</mo><mrow id="S3.E4.m1.2.2.1.1.1.3.2" xref="S3.E4.m1.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.E4.m1.2.2.1.1.1.3.2.1" xref="S3.E4.m1.2.2.1.1.1.cmml">(</mo><mi id="S3.E4.m1.1.1" xref="S3.E4.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E4.m1.2.2.1.1.1.3.2.2" xref="S3.E4.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E4.m1.2.2.1.1.3" xref="S3.E4.m1.2.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E4.m1.2.2.3" xref="S3.E4.m1.2.2.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="S3.E4.m1.2b"><apply id="S3.E4.m1.2.2.cmml" xref="S3.E4.m1.2.2"><csymbol cd="ambiguous" id="S3.E4.m1.2.2.2.cmml" xref="S3.E4.m1.2.2">subscript</csymbol><apply id="S3.E4.m1.2.2.1.2.cmml" xref="S3.E4.m1.2.2.1.1"><csymbol cd="latexml" id="S3.E4.m1.2.2.1.2.1.cmml" xref="S3.E4.m1.2.2.1.1.2">norm</csymbol><apply id="S3.E4.m1.2.2.1.1.1.cmml" xref="S3.E4.m1.2.2.1.1.1"><times id="S3.E4.m1.2.2.1.1.1.1.cmml" xref="S3.E4.m1.2.2.1.1.1.1"></times><apply id="S3.E4.m1.2.2.1.1.1.2.cmml" xref="S3.E4.m1.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E4.m1.2.2.1.1.1.2.1.cmml" xref="S3.E4.m1.2.2.1.1.1.2">subscript</csymbol><ci id="S3.E4.m1.2.2.1.1.1.2.2.cmml" xref="S3.E4.m1.2.2.1.1.1.2.2">𝒉</ci><ci id="S3.E4.m1.2.2.1.1.1.2.3.cmml" xref="S3.E4.m1.2.2.1.1.1.2.3">ℓ</ci></apply><ci id="S3.E4.m1.1.1.cmml" xref="S3.E4.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E4.m1.2.2.3.cmml" xref="S3.E4.m1.2.2.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E4.m1.2c">\displaystyle\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.E4.m2.3" class="ltx_Math" alttext="\displaystyle\leq\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}});" display="inline"><semantics id="S3.E4.m2.3a"><mrow id="S3.E4.m2.3.3.1" xref="S3.E4.m2.3.3.1.1.cmml"><mrow id="S3.E4.m2.3.3.1.1" xref="S3.E4.m2.3.3.1.1.cmml"><mi id="S3.E4.m2.3.3.1.1.4" xref="S3.E4.m2.3.3.1.1.4.cmml"></mi><mo id="S3.E4.m2.3.3.1.1.5" xref="S3.E4.m2.3.3.1.1.5.cmml">≤</mo><mrow id="S3.E4.m2.3.3.1.1.2" xref="S3.E4.m2.3.3.1.1.2.cmml"><msub id="S3.E4.m2.3.3.1.1.1.1" xref="S3.E4.m2.3.3.1.1.1.1.cmml"><mrow id="S3.E4.m2.3.3.1.1.1.1.1.1" xref="S3.E4.m2.3.3.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E4.m2.3.3.1.1.1.1.1.1.2" xref="S3.E4.m2.3.3.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S3.E4.m2.3.3.1.1.1.1.1.1.1" xref="S3.E4.m2.3.3.1.1.1.1.1.1.1.cmml"><mi id="S3.E4.m2.3.3.1.1.1.1.1.1.1.2" xref="S3.E4.m2.3.3.1.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E4.m2.3.3.1.1.1.1.1.1.1.3" xref="S3.E4.m2.3.3.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo rspace="0.055em" stretchy="false" id="S3.E4.m2.3.3.1.1.1.1.1.1.3" xref="S3.E4.m2.3.3.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E4.m2.3.3.1.1.1.1.3" xref="S3.E4.m2.3.3.1.1.1.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E4.m2.3.3.1.1.2.3" xref="S3.E4.m2.3.3.1.1.2.3.cmml">⋅</mo><msub id="S3.E4.m2.3.3.1.1.2.2" xref="S3.E4.m2.3.3.1.1.2.2.cmml"><mrow id="S3.E4.m2.3.3.1.1.2.2.1.1" xref="S3.E4.m2.3.3.1.1.2.2.1.2.cmml"><mo stretchy="false" id="S3.E4.m2.3.3.1.1.2.2.1.1.2" xref="S3.E4.m2.3.3.1.1.2.2.1.2.1.cmml">‖</mo><mrow id="S3.E4.m2.3.3.1.1.2.2.1.1.1" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.cmml"><msub id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.cmml"><mi id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.2" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.2" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.1" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.3" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E4.m2.3.3.1.1.2.2.1.1.1.1" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.1.cmml">​</mo><mrow id="S3.E4.m2.3.3.1.1.2.2.1.1.1.3.2" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.E4.m2.3.3.1.1.2.2.1.1.1.3.2.1" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.cmml">(</mo><mi id="S3.E4.m2.1.1" xref="S3.E4.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E4.m2.3.3.1.1.2.2.1.1.1.3.2.2" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E4.m2.3.3.1.1.2.2.1.1.3" xref="S3.E4.m2.3.3.1.1.2.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E4.m2.3.3.1.1.2.2.3" xref="S3.E4.m2.3.3.1.1.2.2.3.cmml">2</mn></msub></mrow><mo id="S3.E4.m2.3.3.1.1.6" xref="S3.E4.m2.3.3.1.1.6.cmml">=</mo><mrow id="S3.E4.m2.3.3.1.1.7" xref="S3.E4.m2.3.3.1.1.7.cmml"><mi mathvariant="normal" id="S3.E4.m2.3.3.1.1.7.2" xref="S3.E4.m2.3.3.1.1.7.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.E4.m2.3.3.1.1.7.1" xref="S3.E4.m2.3.3.1.1.7.1.cmml">​</mo><mrow id="S3.E4.m2.3.3.1.1.7.3.2" xref="S3.E4.m2.2.2.cmml"><mo stretchy="false" id="S3.E4.m2.3.3.1.1.7.3.2.1" xref="S3.E4.m2.2.2.cmml">(</mo><msqrt id="S3.E4.m2.2.2" xref="S3.E4.m2.2.2.cmml"><mrow id="S3.E4.m2.2.2.2" xref="S3.E4.m2.2.2.2.cmml"><mn id="S3.E4.m2.2.2.2.2" xref="S3.E4.m2.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.E4.m2.2.2.2.1" xref="S3.E4.m2.2.2.2.1.cmml">​</mo><mi id="S3.E4.m2.2.2.2.3" xref="S3.E4.m2.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.E4.m2.2.2.2.1a" xref="S3.E4.m2.2.2.2.1.cmml">​</mo><msub id="S3.E4.m2.2.2.2.4" xref="S3.E4.m2.2.2.2.4.cmml"><mi id="S3.E4.m2.2.2.2.4.2" xref="S3.E4.m2.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.E4.m2.2.2.2.4.3" xref="S3.E4.m2.2.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.E4.m2.3.3.1.1.7.3.2.2" xref="S3.E4.m2.2.2.cmml">)</mo></mrow></mrow></mrow><mo id="S3.E4.m2.3.3.1.2" xref="S3.E4.m2.3.3.1.1.cmml">;</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E4.m2.3b"><apply id="S3.E4.m2.3.3.1.1.cmml" xref="S3.E4.m2.3.3.1"><and id="S3.E4.m2.3.3.1.1a.cmml" xref="S3.E4.m2.3.3.1"></and><apply id="S3.E4.m2.3.3.1.1b.cmml" xref="S3.E4.m2.3.3.1"><leq id="S3.E4.m2.3.3.1.1.5.cmml" xref="S3.E4.m2.3.3.1.1.5"></leq><csymbol cd="latexml" id="S3.E4.m2.3.3.1.1.4.cmml" xref="S3.E4.m2.3.3.1.1.4">absent</csymbol><apply id="S3.E4.m2.3.3.1.1.2.cmml" xref="S3.E4.m2.3.3.1.1.2"><ci id="S3.E4.m2.3.3.1.1.2.3.cmml" xref="S3.E4.m2.3.3.1.1.2.3">⋅</ci><apply id="S3.E4.m2.3.3.1.1.1.1.cmml" xref="S3.E4.m2.3.3.1.1.1.1"><csymbol cd="ambiguous" id="S3.E4.m2.3.3.1.1.1.1.2.cmml" xref="S3.E4.m2.3.3.1.1.1.1">subscript</csymbol><apply id="S3.E4.m2.3.3.1.1.1.1.1.2.cmml" xref="S3.E4.m2.3.3.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.E4.m2.3.3.1.1.1.1.1.2.1.cmml" xref="S3.E4.m2.3.3.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.E4.m2.3.3.1.1.1.1.1.1.1.cmml" xref="S3.E4.m2.3.3.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E4.m2.3.3.1.1.1.1.1.1.1.1.cmml" xref="S3.E4.m2.3.3.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E4.m2.3.3.1.1.1.1.1.1.1.2.cmml" xref="S3.E4.m2.3.3.1.1.1.1.1.1.1.2">𝑾</ci><ci id="S3.E4.m2.3.3.1.1.1.1.1.1.1.3.cmml" xref="S3.E4.m2.3.3.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.E4.m2.3.3.1.1.1.1.3.cmml" xref="S3.E4.m2.3.3.1.1.1.1.3"></times></apply><apply id="S3.E4.m2.3.3.1.1.2.2.cmml" xref="S3.E4.m2.3.3.1.1.2.2"><csymbol cd="ambiguous" id="S3.E4.m2.3.3.1.1.2.2.2.cmml" xref="S3.E4.m2.3.3.1.1.2.2">subscript</csymbol><apply id="S3.E4.m2.3.3.1.1.2.2.1.2.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1"><csymbol cd="latexml" id="S3.E4.m2.3.3.1.1.2.2.1.2.1.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.2">norm</csymbol><apply id="S3.E4.m2.3.3.1.1.2.2.1.1.1.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1"><times id="S3.E4.m2.3.3.1.1.2.2.1.1.1.1.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.1"></times><apply id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.1.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2">subscript</csymbol><ci id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.2.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.2">𝒉</ci><apply id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3"><minus id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.1.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.1"></minus><ci id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.2.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.3.cmml" xref="S3.E4.m2.3.3.1.1.2.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.E4.m2.1.1.cmml" xref="S3.E4.m2.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E4.m2.3.3.1.1.2.2.3.cmml" xref="S3.E4.m2.3.3.1.1.2.2.3">2</cn></apply></apply></apply><apply id="S3.E4.m2.3.3.1.1c.cmml" xref="S3.E4.m2.3.3.1"><eq id="S3.E4.m2.3.3.1.1.6.cmml" xref="S3.E4.m2.3.3.1.1.6"></eq><share href="#S3.E4.m2.3.3.1.1.2.cmml" id="S3.E4.m2.3.3.1.1d.cmml" xref="S3.E4.m2.3.3.1"></share><apply id="S3.E4.m2.3.3.1.1.7.cmml" xref="S3.E4.m2.3.3.1.1.7"><times id="S3.E4.m2.3.3.1.1.7.1.cmml" xref="S3.E4.m2.3.3.1.1.7.1"></times><ci id="S3.E4.m2.3.3.1.1.7.2.cmml" xref="S3.E4.m2.3.3.1.1.7.2">Θ</ci><apply id="S3.E4.m2.2.2.cmml" xref="S3.E4.m2.3.3.1.1.7.3.2"><root id="S3.E4.m2.2.2a.cmml" xref="S3.E4.m2.3.3.1.1.7.3.2"></root><apply id="S3.E4.m2.2.2.2.cmml" xref="S3.E4.m2.2.2.2"><times id="S3.E4.m2.2.2.2.1.cmml" xref="S3.E4.m2.2.2.2.1"></times><cn type="integer" id="S3.E4.m2.2.2.2.2.cmml" xref="S3.E4.m2.2.2.2.2">0</cn><ci id="S3.E4.m2.2.2.2.3.cmml" xref="S3.E4.m2.2.2.2.3">𝑝</ci><apply id="S3.E4.m2.2.2.2.4.cmml" xref="S3.E4.m2.2.2.2.4"><csymbol cd="ambiguous" id="S3.E4.m2.2.2.2.4.1.cmml" xref="S3.E4.m2.2.2.2.4">subscript</csymbol><ci id="S3.E4.m2.2.2.2.4.2.cmml" xref="S3.E4.m2.2.2.2.4.2">𝑡</ci><ci id="S3.E4.m2.2.2.2.4.3.cmml" xref="S3.E4.m2.2.2.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E4.m2.3c">\displaystyle\leq\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}});</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(4)</span></td>
</tr></tbody>
<tbody id="S3.E5"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E5.m1.2" class="ltx_Math" alttext="\displaystyle\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="S3.E5.m1.2a"><msub id="S3.E5.m1.2.2" xref="S3.E5.m1.2.2.cmml"><mrow id="S3.E5.m1.2.2.1.1" xref="S3.E5.m1.2.2.1.2.cmml"><mo stretchy="false" id="S3.E5.m1.2.2.1.1.2" xref="S3.E5.m1.2.2.1.2.1.cmml">‖</mo><mrow id="S3.E5.m1.2.2.1.1.1" xref="S3.E5.m1.2.2.1.1.1.cmml"><mi mathvariant="normal" id="S3.E5.m1.2.2.1.1.1.2" xref="S3.E5.m1.2.2.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E5.m1.2.2.1.1.1.1" xref="S3.E5.m1.2.2.1.1.1.1.cmml">​</mo><msub id="S3.E5.m1.2.2.1.1.1.3" xref="S3.E5.m1.2.2.1.1.1.3.cmml"><mi id="S3.E5.m1.2.2.1.1.1.3.2" xref="S3.E5.m1.2.2.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E5.m1.2.2.1.1.1.3.3" xref="S3.E5.m1.2.2.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E5.m1.2.2.1.1.1.1a" xref="S3.E5.m1.2.2.1.1.1.1.cmml">​</mo><mrow id="S3.E5.m1.2.2.1.1.1.4.2" xref="S3.E5.m1.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.E5.m1.2.2.1.1.1.4.2.1" xref="S3.E5.m1.2.2.1.1.1.cmml">(</mo><mi id="S3.E5.m1.1.1" xref="S3.E5.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E5.m1.2.2.1.1.1.4.2.2" xref="S3.E5.m1.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E5.m1.2.2.1.1.3" xref="S3.E5.m1.2.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E5.m1.2.2.3" xref="S3.E5.m1.2.2.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="S3.E5.m1.2b"><apply id="S3.E5.m1.2.2.cmml" xref="S3.E5.m1.2.2"><csymbol cd="ambiguous" id="S3.E5.m1.2.2.2.cmml" xref="S3.E5.m1.2.2">subscript</csymbol><apply id="S3.E5.m1.2.2.1.2.cmml" xref="S3.E5.m1.2.2.1.1"><csymbol cd="latexml" id="S3.E5.m1.2.2.1.2.1.cmml" xref="S3.E5.m1.2.2.1.1.2">norm</csymbol><apply id="S3.E5.m1.2.2.1.1.1.cmml" xref="S3.E5.m1.2.2.1.1.1"><times id="S3.E5.m1.2.2.1.1.1.1.cmml" xref="S3.E5.m1.2.2.1.1.1.1"></times><ci id="S3.E5.m1.2.2.1.1.1.2.cmml" xref="S3.E5.m1.2.2.1.1.1.2">Δ</ci><apply id="S3.E5.m1.2.2.1.1.1.3.cmml" xref="S3.E5.m1.2.2.1.1.1.3"><csymbol cd="ambiguous" id="S3.E5.m1.2.2.1.1.1.3.1.cmml" xref="S3.E5.m1.2.2.1.1.1.3">subscript</csymbol><ci id="S3.E5.m1.2.2.1.1.1.3.2.cmml" xref="S3.E5.m1.2.2.1.1.1.3.2">𝒉</ci><ci id="S3.E5.m1.2.2.1.1.1.3.3.cmml" xref="S3.E5.m1.2.2.1.1.1.3.3">ℓ</ci></apply><ci id="S3.E5.m1.1.1.cmml" xref="S3.E5.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E5.m1.2.2.3.cmml" xref="S3.E5.m1.2.2.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E5.m1.2c">\displaystyle\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.E5.m2.5" class="ltx_Math" alttext="\displaystyle\leq\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|\Delta{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|\Delta{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})," display="inline"><semantics id="S3.E5.m2.5a"><mrow id="S3.E5.m2.5.5.1" xref="S3.E5.m2.5.5.1.1.cmml"><mrow id="S3.E5.m2.5.5.1.1" xref="S3.E5.m2.5.5.1.1.cmml"><mi id="S3.E5.m2.5.5.1.1.8" xref="S3.E5.m2.5.5.1.1.8.cmml"></mi><mo id="S3.E5.m2.5.5.1.1.9" xref="S3.E5.m2.5.5.1.1.9.cmml">≤</mo><mrow id="S3.E5.m2.5.5.1.1.6" xref="S3.E5.m2.5.5.1.1.6.cmml"><mrow id="S3.E5.m2.5.5.1.1.2.2" xref="S3.E5.m2.5.5.1.1.2.2.cmml"><msub id="S3.E5.m2.5.5.1.1.1.1.1" xref="S3.E5.m2.5.5.1.1.1.1.1.cmml"><mrow id="S3.E5.m2.5.5.1.1.1.1.1.1.1" xref="S3.E5.m2.5.5.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.1.1.1.1.1.2" xref="S3.E5.m2.5.5.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.2" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.1" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.cmml"><mi id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.2" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.3" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.E5.m2.5.5.1.1.1.1.1.1.1.3" xref="S3.E5.m2.5.5.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E5.m2.5.5.1.1.1.1.1.3" xref="S3.E5.m2.5.5.1.1.1.1.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E5.m2.5.5.1.1.2.2.3" xref="S3.E5.m2.5.5.1.1.2.2.3.cmml">⋅</mo><msub id="S3.E5.m2.5.5.1.1.2.2.2" xref="S3.E5.m2.5.5.1.1.2.2.2.cmml"><mrow id="S3.E5.m2.5.5.1.1.2.2.2.1.1" xref="S3.E5.m2.5.5.1.1.2.2.2.1.2.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.2" xref="S3.E5.m2.5.5.1.1.2.2.2.1.2.1.cmml">‖</mo><mrow id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.cmml"><msub id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.cmml"><mi id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.2" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.2" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.1" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.3" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.1" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.1.cmml">​</mo><mrow id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.3.2" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.3.2.1" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.cmml">(</mo><mi id="S3.E5.m2.1.1" xref="S3.E5.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.3.2.2" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.3" xref="S3.E5.m2.5.5.1.1.2.2.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E5.m2.5.5.1.1.2.2.2.3" xref="S3.E5.m2.5.5.1.1.2.2.2.3.cmml">2</mn></msub></mrow><mo id="S3.E5.m2.5.5.1.1.6.7" xref="S3.E5.m2.5.5.1.1.6.7.cmml">+</mo><mrow id="S3.E5.m2.5.5.1.1.4.4" xref="S3.E5.m2.5.5.1.1.4.4.cmml"><msub id="S3.E5.m2.5.5.1.1.3.3.1" xref="S3.E5.m2.5.5.1.1.3.3.1.cmml"><mrow id="S3.E5.m2.5.5.1.1.3.3.1.1.1" xref="S3.E5.m2.5.5.1.1.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.3.3.1.1.1.2" xref="S3.E5.m2.5.5.1.1.3.3.1.1.2.1.cmml">‖</mo><msub id="S3.E5.m2.5.5.1.1.3.3.1.1.1.1" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.cmml"><mi id="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.2" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.3" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.3.cmml">ℓ</mi></msub><mo rspace="0.055em" stretchy="false" id="S3.E5.m2.5.5.1.1.3.3.1.1.1.3" xref="S3.E5.m2.5.5.1.1.3.3.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E5.m2.5.5.1.1.3.3.1.3" xref="S3.E5.m2.5.5.1.1.3.3.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E5.m2.5.5.1.1.4.4.3" xref="S3.E5.m2.5.5.1.1.4.4.3.cmml">⋅</mo><msub id="S3.E5.m2.5.5.1.1.4.4.2" xref="S3.E5.m2.5.5.1.1.4.4.2.cmml"><mrow id="S3.E5.m2.5.5.1.1.4.4.2.1.1" xref="S3.E5.m2.5.5.1.1.4.4.2.1.2.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.2" xref="S3.E5.m2.5.5.1.1.4.4.2.1.2.1.cmml">‖</mo><mrow id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.cmml"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.2" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.1" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.1.cmml">​</mo><msub id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.cmml"><mi id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.2" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.2.cmml">𝒉</mi><mrow id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.cmml"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.2" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.2.cmml">ℓ</mi><mo id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.1" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.1.cmml">−</mo><mn id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.3" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.1a" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.1.cmml">​</mo><mrow id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.4.2" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.4.2.1" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.cmml">(</mo><mi id="S3.E5.m2.2.2" xref="S3.E5.m2.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.4.2.2" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.3" xref="S3.E5.m2.5.5.1.1.4.4.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E5.m2.5.5.1.1.4.4.2.3" xref="S3.E5.m2.5.5.1.1.4.4.2.3.cmml">2</mn></msub></mrow><mo id="S3.E5.m2.5.5.1.1.6.7a" xref="S3.E5.m2.5.5.1.1.6.7.cmml">+</mo><mrow id="S3.E5.m2.5.5.1.1.6.6" xref="S3.E5.m2.5.5.1.1.6.6.cmml"><msub id="S3.E5.m2.5.5.1.1.5.5.1" xref="S3.E5.m2.5.5.1.1.5.5.1.cmml"><mrow id="S3.E5.m2.5.5.1.1.5.5.1.1.1" xref="S3.E5.m2.5.5.1.1.5.5.1.1.2.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.5.5.1.1.1.2" xref="S3.E5.m2.5.5.1.1.5.5.1.1.2.1.cmml">‖</mo><mrow id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.2" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.1" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.1.cmml">​</mo><msub id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.cmml"><mi id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.2" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.3" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.E5.m2.5.5.1.1.5.5.1.1.1.3" xref="S3.E5.m2.5.5.1.1.5.5.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E5.m2.5.5.1.1.5.5.1.3" xref="S3.E5.m2.5.5.1.1.5.5.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E5.m2.5.5.1.1.6.6.3" xref="S3.E5.m2.5.5.1.1.6.6.3.cmml">⋅</mo><msub id="S3.E5.m2.5.5.1.1.6.6.2" xref="S3.E5.m2.5.5.1.1.6.6.2.cmml"><mrow id="S3.E5.m2.5.5.1.1.6.6.2.1.1" xref="S3.E5.m2.5.5.1.1.6.6.2.1.2.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.2" xref="S3.E5.m2.5.5.1.1.6.6.2.1.2.1.cmml">‖</mo><mrow id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.cmml"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.2" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.1" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.1.cmml">​</mo><msub id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.cmml"><mi id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.2" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.2.cmml">𝒉</mi><mrow id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.cmml"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.2" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.2.cmml">ℓ</mi><mo id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.1" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.1.cmml">−</mo><mn id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.3" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.1a" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.1.cmml">​</mo><mrow id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.4.2" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.4.2.1" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.cmml">(</mo><mi id="S3.E5.m2.3.3" xref="S3.E5.m2.3.3.cmml">𝒙</mi><mo stretchy="false" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.4.2.2" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.3" xref="S3.E5.m2.5.5.1.1.6.6.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E5.m2.5.5.1.1.6.6.2.3" xref="S3.E5.m2.5.5.1.1.6.6.2.3.cmml">2</mn></msub></mrow></mrow><mo id="S3.E5.m2.5.5.1.1.10" xref="S3.E5.m2.5.5.1.1.10.cmml">=</mo><mrow id="S3.E5.m2.5.5.1.1.11" xref="S3.E5.m2.5.5.1.1.11.cmml"><mi mathvariant="normal" id="S3.E5.m2.5.5.1.1.11.2" xref="S3.E5.m2.5.5.1.1.11.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.E5.m2.5.5.1.1.11.1" xref="S3.E5.m2.5.5.1.1.11.1.cmml">​</mo><mrow id="S3.E5.m2.5.5.1.1.11.3.2" xref="S3.E5.m2.4.4.cmml"><mo stretchy="false" id="S3.E5.m2.5.5.1.1.11.3.2.1" xref="S3.E5.m2.4.4.cmml">(</mo><msqrt id="S3.E5.m2.4.4" xref="S3.E5.m2.4.4.cmml"><mrow id="S3.E5.m2.4.4.2" xref="S3.E5.m2.4.4.2.cmml"><mn id="S3.E5.m2.4.4.2.2" xref="S3.E5.m2.4.4.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.2.1" xref="S3.E5.m2.4.4.2.1.cmml">​</mo><mi id="S3.E5.m2.4.4.2.3" xref="S3.E5.m2.4.4.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.E5.m2.4.4.2.1a" xref="S3.E5.m2.4.4.2.1.cmml">​</mo><msub id="S3.E5.m2.4.4.2.4" xref="S3.E5.m2.4.4.2.4.cmml"><mi id="S3.E5.m2.4.4.2.4.2" xref="S3.E5.m2.4.4.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.E5.m2.4.4.2.4.3" xref="S3.E5.m2.4.4.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.E5.m2.5.5.1.1.11.3.2.2" xref="S3.E5.m2.4.4.cmml">)</mo></mrow></mrow></mrow><mo id="S3.E5.m2.5.5.1.2" xref="S3.E5.m2.5.5.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E5.m2.5b"><apply id="S3.E5.m2.5.5.1.1.cmml" xref="S3.E5.m2.5.5.1"><and id="S3.E5.m2.5.5.1.1a.cmml" xref="S3.E5.m2.5.5.1"></and><apply id="S3.E5.m2.5.5.1.1b.cmml" xref="S3.E5.m2.5.5.1"><leq id="S3.E5.m2.5.5.1.1.9.cmml" xref="S3.E5.m2.5.5.1.1.9"></leq><csymbol cd="latexml" id="S3.E5.m2.5.5.1.1.8.cmml" xref="S3.E5.m2.5.5.1.1.8">absent</csymbol><apply id="S3.E5.m2.5.5.1.1.6.cmml" xref="S3.E5.m2.5.5.1.1.6"><plus id="S3.E5.m2.5.5.1.1.6.7.cmml" xref="S3.E5.m2.5.5.1.1.6.7"></plus><apply id="S3.E5.m2.5.5.1.1.2.2.cmml" xref="S3.E5.m2.5.5.1.1.2.2"><ci id="S3.E5.m2.5.5.1.1.2.2.3.cmml" xref="S3.E5.m2.5.5.1.1.2.2.3">⋅</ci><apply id="S3.E5.m2.5.5.1.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1">subscript</csymbol><apply id="S3.E5.m2.5.5.1.1.1.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.E5.m2.5.5.1.1.1.1.1.1.2.1.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1"><times id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.1"></times><ci id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.2">Δ</ci><apply id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.1.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.2.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.3.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.E5.m2.5.5.1.1.1.1.1.3.cmml" xref="S3.E5.m2.5.5.1.1.1.1.1.3"></times></apply><apply id="S3.E5.m2.5.5.1.1.2.2.2.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.2.2.2.2.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2">subscript</csymbol><apply id="S3.E5.m2.5.5.1.1.2.2.2.1.2.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1"><csymbol cd="latexml" id="S3.E5.m2.5.5.1.1.2.2.2.1.2.1.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.2">norm</csymbol><apply id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1"><times id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.1"></times><apply id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.1.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2">subscript</csymbol><ci id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.2.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.2">𝒉</ci><apply id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3"><minus id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.1.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.1"></minus><ci id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.2.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.3.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.E5.m2.1.1.cmml" xref="S3.E5.m2.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E5.m2.5.5.1.1.2.2.2.3.cmml" xref="S3.E5.m2.5.5.1.1.2.2.2.3">2</cn></apply></apply><apply id="S3.E5.m2.5.5.1.1.4.4.cmml" xref="S3.E5.m2.5.5.1.1.4.4"><ci id="S3.E5.m2.5.5.1.1.4.4.3.cmml" xref="S3.E5.m2.5.5.1.1.4.4.3">⋅</ci><apply id="S3.E5.m2.5.5.1.1.3.3.1.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.3.3.1.2.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1">subscript</csymbol><apply id="S3.E5.m2.5.5.1.1.3.3.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1"><csymbol cd="latexml" id="S3.E5.m2.5.5.1.1.3.3.1.1.2.1.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.2">norm</csymbol><apply id="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.1"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.1">subscript</csymbol><ci id="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.2">𝑾</ci><ci id="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.3.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.E5.m2.5.5.1.1.3.3.1.3.cmml" xref="S3.E5.m2.5.5.1.1.3.3.1.3"></times></apply><apply id="S3.E5.m2.5.5.1.1.4.4.2.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.4.4.2.2.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2">subscript</csymbol><apply id="S3.E5.m2.5.5.1.1.4.4.2.1.2.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1"><csymbol cd="latexml" id="S3.E5.m2.5.5.1.1.4.4.2.1.2.1.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.2">norm</csymbol><apply id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1"><times id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.1"></times><ci id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.2">Δ</ci><apply id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.1.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3">subscript</csymbol><ci id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.2.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.2">𝒉</ci><apply id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3"><minus id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.1.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.1"></minus><ci id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.2.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.2">ℓ</ci><cn type="integer" id="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.3.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.1.1.1.3.3.3">1</cn></apply></apply><ci id="S3.E5.m2.2.2.cmml" xref="S3.E5.m2.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.E5.m2.5.5.1.1.4.4.2.3.cmml" xref="S3.E5.m2.5.5.1.1.4.4.2.3">2</cn></apply></apply><apply id="S3.E5.m2.5.5.1.1.6.6.cmml" xref="S3.E5.m2.5.5.1.1.6.6"><ci id="S3.E5.m2.5.5.1.1.6.6.3.cmml" xref="S3.E5.m2.5.5.1.1.6.6.3">⋅</ci><apply id="S3.E5.m2.5.5.1.1.5.5.1.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.5.5.1.2.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1">subscript</csymbol><apply id="S3.E5.m2.5.5.1.1.5.5.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1"><csymbol cd="latexml" id="S3.E5.m2.5.5.1.1.5.5.1.1.2.1.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.2">norm</csymbol><apply id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1"><times id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.1"></times><ci id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.2">Δ</ci><apply id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.1.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3">subscript</csymbol><ci id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.2.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.2">𝑾</ci><ci id="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.3.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.E5.m2.5.5.1.1.5.5.1.3.cmml" xref="S3.E5.m2.5.5.1.1.5.5.1.3"></times></apply><apply id="S3.E5.m2.5.5.1.1.6.6.2.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.6.6.2.2.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2">subscript</csymbol><apply id="S3.E5.m2.5.5.1.1.6.6.2.1.2.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1"><csymbol cd="latexml" id="S3.E5.m2.5.5.1.1.6.6.2.1.2.1.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.2">norm</csymbol><apply id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1"><times id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.1.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.1"></times><ci id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.2.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.2">Δ</ci><apply id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3"><csymbol cd="ambiguous" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.1.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3">subscript</csymbol><ci id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.2.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.2">𝒉</ci><apply id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3"><minus id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.1.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.1"></minus><ci id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.2.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.2">ℓ</ci><cn type="integer" id="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.3.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.1.1.1.3.3.3">1</cn></apply></apply><ci id="S3.E5.m2.3.3.cmml" xref="S3.E5.m2.3.3">𝒙</ci></apply></apply><cn type="integer" id="S3.E5.m2.5.5.1.1.6.6.2.3.cmml" xref="S3.E5.m2.5.5.1.1.6.6.2.3">2</cn></apply></apply></apply></apply><apply id="S3.E5.m2.5.5.1.1c.cmml" xref="S3.E5.m2.5.5.1"><eq id="S3.E5.m2.5.5.1.1.10.cmml" xref="S3.E5.m2.5.5.1.1.10"></eq><share href="#S3.E5.m2.5.5.1.1.6.cmml" id="S3.E5.m2.5.5.1.1d.cmml" xref="S3.E5.m2.5.5.1"></share><apply id="S3.E5.m2.5.5.1.1.11.cmml" xref="S3.E5.m2.5.5.1.1.11"><times id="S3.E5.m2.5.5.1.1.11.1.cmml" xref="S3.E5.m2.5.5.1.1.11.1"></times><ci id="S3.E5.m2.5.5.1.1.11.2.cmml" xref="S3.E5.m2.5.5.1.1.11.2">Θ</ci><apply id="S3.E5.m2.4.4.cmml" xref="S3.E5.m2.5.5.1.1.11.3.2"><root id="S3.E5.m2.4.4a.cmml" xref="S3.E5.m2.5.5.1.1.11.3.2"></root><apply id="S3.E5.m2.4.4.2.cmml" xref="S3.E5.m2.4.4.2"><times id="S3.E5.m2.4.4.2.1.cmml" xref="S3.E5.m2.4.4.2.1"></times><cn type="integer" id="S3.E5.m2.4.4.2.2.cmml" xref="S3.E5.m2.4.4.2.2">0</cn><ci id="S3.E5.m2.4.4.2.3.cmml" xref="S3.E5.m2.4.4.2.3">𝑝</ci><apply id="S3.E5.m2.4.4.2.4.cmml" xref="S3.E5.m2.4.4.2.4"><csymbol cd="ambiguous" id="S3.E5.m2.4.4.2.4.1.cmml" xref="S3.E5.m2.4.4.2.4">subscript</csymbol><ci id="S3.E5.m2.4.4.2.4.2.cmml" xref="S3.E5.m2.4.4.2.4.2">𝑡</ci><ci id="S3.E5.m2.4.4.2.4.3.cmml" xref="S3.E5.m2.4.4.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E5.m2.5c">\displaystyle\leq\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|\Delta{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|\Delta{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}}),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(5)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p6.2" class="ltx_p">where on the right hand sides of the inequality we have inserted <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> and <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
The spectral scaling condition thus gives features and feature updates obeying the correct <span id="S3.SS1.p6.2.1" class="ltx_text ltx_font_italic">upper</span> bounds, and we need merely show comparable lower bounds.</p>
</div>
<div id="S3.SS1.p7" class="ltx_para">
<p id="S3.SS1.p7.1" class="ltx_p"><span id="S3.SS1.p7.1.1" class="ltx_text ltx_font_bold">Tightness of bounds via matrix-vector alignment.</span>
The upper bound in the submultiplicativity property <math id="S3.SS1.p7.1.m1.3" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}{\bm{v}}\right|\!\right|_{2}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{v}}\right|\!\right|_{2}" display="inline"><semantics id="S3.SS1.p7.1.m1.3a"><mrow id="S3.SS1.p7.1.m1.3.3" xref="S3.SS1.p7.1.m1.3.3.cmml"><msub id="S3.SS1.p7.1.m1.3.3.1" xref="S3.SS1.p7.1.m1.3.3.1.cmml"><mrow id="S3.SS1.p7.1.m1.3.3.1.1.1" xref="S3.SS1.p7.1.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p7.1.m1.3.3.1.1.1.2" xref="S3.SS1.p7.1.m1.3.3.1.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p7.1.m1.3.3.1.1.1.1" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1.cmml"><mi id="S3.SS1.p7.1.m1.3.3.1.1.1.1.2" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1.2.cmml">𝑨</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p7.1.m1.3.3.1.1.1.1.1" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1.1.cmml">​</mo><mi id="S3.SS1.p7.1.m1.3.3.1.1.1.1.3" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1.3.cmml">𝒗</mi></mrow><mo stretchy="false" id="S3.SS1.p7.1.m1.3.3.1.1.1.3" xref="S3.SS1.p7.1.m1.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p7.1.m1.3.3.1.3" xref="S3.SS1.p7.1.m1.3.3.1.3.cmml">2</mn></msub><mo id="S3.SS1.p7.1.m1.3.3.2" xref="S3.SS1.p7.1.m1.3.3.2.cmml">≤</mo><mrow id="S3.SS1.p7.1.m1.3.3.3" xref="S3.SS1.p7.1.m1.3.3.3.cmml"><msub id="S3.SS1.p7.1.m1.3.3.3.2" xref="S3.SS1.p7.1.m1.3.3.3.2.cmml"><mrow id="S3.SS1.p7.1.m1.3.3.3.2.2.2" xref="S3.SS1.p7.1.m1.3.3.3.2.2.1.cmml"><mo stretchy="false" id="S3.SS1.p7.1.m1.3.3.3.2.2.2.1" xref="S3.SS1.p7.1.m1.3.3.3.2.2.1.1.cmml">‖</mo><mi id="S3.SS1.p7.1.m1.1.1" xref="S3.SS1.p7.1.m1.1.1.cmml">𝑨</mi><mo rspace="0.055em" stretchy="false" id="S3.SS1.p7.1.m1.3.3.3.2.2.2.2" xref="S3.SS1.p7.1.m1.3.3.3.2.2.1.1.cmml">‖</mo></mrow><mo id="S3.SS1.p7.1.m1.3.3.3.2.3" xref="S3.SS1.p7.1.m1.3.3.3.2.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.SS1.p7.1.m1.3.3.3.1" xref="S3.SS1.p7.1.m1.3.3.3.1.cmml">⋅</mo><msub id="S3.SS1.p7.1.m1.3.3.3.3" xref="S3.SS1.p7.1.m1.3.3.3.3.cmml"><mrow id="S3.SS1.p7.1.m1.3.3.3.3.2.2" xref="S3.SS1.p7.1.m1.3.3.3.3.2.1.cmml"><mo stretchy="false" id="S3.SS1.p7.1.m1.3.3.3.3.2.2.1" xref="S3.SS1.p7.1.m1.3.3.3.3.2.1.1.cmml">‖</mo><mi id="S3.SS1.p7.1.m1.2.2" xref="S3.SS1.p7.1.m1.2.2.cmml">𝒗</mi><mo stretchy="false" id="S3.SS1.p7.1.m1.3.3.3.3.2.2.2" xref="S3.SS1.p7.1.m1.3.3.3.3.2.1.1.cmml">‖</mo></mrow><mn id="S3.SS1.p7.1.m1.3.3.3.3.3" xref="S3.SS1.p7.1.m1.3.3.3.3.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p7.1.m1.3b"><apply id="S3.SS1.p7.1.m1.3.3.cmml" xref="S3.SS1.p7.1.m1.3.3"><leq id="S3.SS1.p7.1.m1.3.3.2.cmml" xref="S3.SS1.p7.1.m1.3.3.2"></leq><apply id="S3.SS1.p7.1.m1.3.3.1.cmml" xref="S3.SS1.p7.1.m1.3.3.1"><csymbol cd="ambiguous" id="S3.SS1.p7.1.m1.3.3.1.2.cmml" xref="S3.SS1.p7.1.m1.3.3.1">subscript</csymbol><apply id="S3.SS1.p7.1.m1.3.3.1.1.2.cmml" xref="S3.SS1.p7.1.m1.3.3.1.1.1"><csymbol cd="latexml" id="S3.SS1.p7.1.m1.3.3.1.1.2.1.cmml" xref="S3.SS1.p7.1.m1.3.3.1.1.1.2">norm</csymbol><apply id="S3.SS1.p7.1.m1.3.3.1.1.1.1.cmml" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1"><times id="S3.SS1.p7.1.m1.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1.1"></times><ci id="S3.SS1.p7.1.m1.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1.2">𝑨</ci><ci id="S3.SS1.p7.1.m1.3.3.1.1.1.1.3.cmml" xref="S3.SS1.p7.1.m1.3.3.1.1.1.1.3">𝒗</ci></apply></apply><cn type="integer" id="S3.SS1.p7.1.m1.3.3.1.3.cmml" xref="S3.SS1.p7.1.m1.3.3.1.3">2</cn></apply><apply id="S3.SS1.p7.1.m1.3.3.3.cmml" xref="S3.SS1.p7.1.m1.3.3.3"><ci id="S3.SS1.p7.1.m1.3.3.3.1.cmml" xref="S3.SS1.p7.1.m1.3.3.3.1">⋅</ci><apply id="S3.SS1.p7.1.m1.3.3.3.2.cmml" xref="S3.SS1.p7.1.m1.3.3.3.2"><csymbol cd="ambiguous" id="S3.SS1.p7.1.m1.3.3.3.2.1.cmml" xref="S3.SS1.p7.1.m1.3.3.3.2">subscript</csymbol><apply id="S3.SS1.p7.1.m1.3.3.3.2.2.1.cmml" xref="S3.SS1.p7.1.m1.3.3.3.2.2.2"><csymbol cd="latexml" id="S3.SS1.p7.1.m1.3.3.3.2.2.1.1.cmml" xref="S3.SS1.p7.1.m1.3.3.3.2.2.2.1">norm</csymbol><ci id="S3.SS1.p7.1.m1.1.1.cmml" xref="S3.SS1.p7.1.m1.1.1">𝑨</ci></apply><times id="S3.SS1.p7.1.m1.3.3.3.2.3.cmml" xref="S3.SS1.p7.1.m1.3.3.3.2.3"></times></apply><apply id="S3.SS1.p7.1.m1.3.3.3.3.cmml" xref="S3.SS1.p7.1.m1.3.3.3.3"><csymbol cd="ambiguous" id="S3.SS1.p7.1.m1.3.3.3.3.1.cmml" xref="S3.SS1.p7.1.m1.3.3.3.3">subscript</csymbol><apply id="S3.SS1.p7.1.m1.3.3.3.3.2.1.cmml" xref="S3.SS1.p7.1.m1.3.3.3.3.2.2"><csymbol cd="latexml" id="S3.SS1.p7.1.m1.3.3.3.3.2.1.1.cmml" xref="S3.SS1.p7.1.m1.3.3.3.3.2.2.1">norm</csymbol><ci id="S3.SS1.p7.1.m1.2.2.cmml" xref="S3.SS1.p7.1.m1.2.2">𝒗</ci></apply><cn type="integer" id="S3.SS1.p7.1.m1.3.3.3.3.3.cmml" xref="S3.SS1.p7.1.m1.3.3.3.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p7.1.m1.3c">\left|\!\left|{\bm{A}}{\bm{v}}\right|\!\right|_{2}\leq\left|\!\left|{\bm{A}}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{v}}\right|\!\right|_{2}</annotation></semantics></math> can be very loose—in particular, this is the case when the vector only interacts with the small singular values in the matrix.
We will now show that this is not the case in deep network training, and that these upper bounds provide a fairly accurate description of the way things scale.
We make two observations regarding random weight matrices and gradient updates:</p>
</div>
<div id="Thmclaim1" class="ltx_theorem ltx_theorem_claim">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmclaim1.1.1.1" class="ltx_text ltx_font_bold">Claim 1</span></span><span id="Thmclaim1.2.2" class="ltx_text ltx_font_bold"> </span>(Alignment of initial weight matrices)<span id="Thmclaim1.3.3" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmclaim1.p1" class="ltx_para">
<p id="Thmclaim1.p1.4" class="ltx_p"><span id="Thmclaim1.p1.4.4" class="ltx_text ltx_font_italic">Fix a feature vector <math id="Thmclaim1.p1.1.1.m1.1" class="ltx_Math" alttext="{\bm{h}}_{\ell-1}({\bm{x}})\in\mathbb{R}^{0pt_{\ell-1}}" display="inline"><semantics id="Thmclaim1.p1.1.1.m1.1a"><mrow id="Thmclaim1.p1.1.1.m1.1.2" xref="Thmclaim1.p1.1.1.m1.1.2.cmml"><mrow id="Thmclaim1.p1.1.1.m1.1.2.2" xref="Thmclaim1.p1.1.1.m1.1.2.2.cmml"><msub id="Thmclaim1.p1.1.1.m1.1.2.2.2" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.cmml"><mi id="Thmclaim1.p1.1.1.m1.1.2.2.2.2" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.2.cmml">𝐡</mi><mrow id="Thmclaim1.p1.1.1.m1.1.2.2.2.3" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3.cmml"><mi mathvariant="normal" id="Thmclaim1.p1.1.1.m1.1.2.2.2.3.2" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3.2.cmml">ℓ</mi><mo id="Thmclaim1.p1.1.1.m1.1.2.2.2.3.1" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3.1.cmml">−</mo><mn id="Thmclaim1.p1.1.1.m1.1.2.2.2.3.3" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.1.1.m1.1.2.2.1" xref="Thmclaim1.p1.1.1.m1.1.2.2.1.cmml">​</mo><mrow id="Thmclaim1.p1.1.1.m1.1.2.2.3.2" xref="Thmclaim1.p1.1.1.m1.1.2.2.cmml"><mo stretchy="false" id="Thmclaim1.p1.1.1.m1.1.2.2.3.2.1" xref="Thmclaim1.p1.1.1.m1.1.2.2.cmml">(</mo><mi id="Thmclaim1.p1.1.1.m1.1.1" xref="Thmclaim1.p1.1.1.m1.1.1.cmml">𝐱</mi><mo stretchy="false" id="Thmclaim1.p1.1.1.m1.1.2.2.3.2.2" xref="Thmclaim1.p1.1.1.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="Thmclaim1.p1.1.1.m1.1.2.1" xref="Thmclaim1.p1.1.1.m1.1.2.1.cmml">∈</mo><msup id="Thmclaim1.p1.1.1.m1.1.2.3" xref="Thmclaim1.p1.1.1.m1.1.2.3.cmml"><mi id="Thmclaim1.p1.1.1.m1.1.2.3.2" xref="Thmclaim1.p1.1.1.m1.1.2.3.2.cmml">ℝ</mi><mrow id="Thmclaim1.p1.1.1.m1.1.2.3.3" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.cmml"><mn id="Thmclaim1.p1.1.1.m1.1.2.3.3.2" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.1.1.m1.1.2.3.3.1" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.1.cmml">​</mo><mi id="Thmclaim1.p1.1.1.m1.1.2.3.3.3" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.1.1.m1.1.2.3.3.1a" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.1.cmml">​</mo><msub id="Thmclaim1.p1.1.1.m1.1.2.3.3.4" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.cmml"><mi id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.2" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.2.cmml">t</mi><mrow id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.cmml"><mi mathvariant="normal" id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.2" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.2.cmml">ℓ</mi><mo id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.1" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.1.cmml">−</mo><mn id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.3" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmclaim1.p1.1.1.m1.1b"><apply id="Thmclaim1.p1.1.1.m1.1.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2"><in id="Thmclaim1.p1.1.1.m1.1.2.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.1"></in><apply id="Thmclaim1.p1.1.1.m1.1.2.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2"><times id="Thmclaim1.p1.1.1.m1.1.2.2.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.1"></times><apply id="Thmclaim1.p1.1.1.m1.1.2.2.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.2"><csymbol cd="ambiguous" id="Thmclaim1.p1.1.1.m1.1.2.2.2.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.2">subscript</csymbol><ci id="Thmclaim1.p1.1.1.m1.1.2.2.2.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.2">𝐡</ci><apply id="Thmclaim1.p1.1.1.m1.1.2.2.2.3.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3"><minus id="Thmclaim1.p1.1.1.m1.1.2.2.2.3.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3.1"></minus><ci id="Thmclaim1.p1.1.1.m1.1.2.2.2.3.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3.2">ℓ</ci><cn type="integer" id="Thmclaim1.p1.1.1.m1.1.2.2.2.3.3.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.2.2.3.3">1</cn></apply></apply><ci id="Thmclaim1.p1.1.1.m1.1.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.1">𝐱</ci></apply><apply id="Thmclaim1.p1.1.1.m1.1.2.3.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3"><csymbol cd="ambiguous" id="Thmclaim1.p1.1.1.m1.1.2.3.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3">superscript</csymbol><ci id="Thmclaim1.p1.1.1.m1.1.2.3.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.2">ℝ</ci><apply id="Thmclaim1.p1.1.1.m1.1.2.3.3.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3"><times id="Thmclaim1.p1.1.1.m1.1.2.3.3.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.1"></times><cn type="integer" id="Thmclaim1.p1.1.1.m1.1.2.3.3.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.2">0</cn><ci id="Thmclaim1.p1.1.1.m1.1.2.3.3.3.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.3">𝑝</ci><apply id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4"><csymbol cd="ambiguous" id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4">subscript</csymbol><ci id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.2">𝑡</ci><apply id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3"><minus id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.1.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.1"></minus><ci id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.2.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.2">ℓ</ci><cn type="integer" id="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.3.cmml" xref="Thmclaim1.p1.1.1.m1.1.2.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmclaim1.p1.1.1.m1.1c">{\bm{h}}_{\ell-1}({\bm{x}})\in\mathbb{R}^{0pt_{\ell-1}}</annotation></semantics></math>.
Assume <math id="Thmclaim1.p1.2.2.m2.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="Thmclaim1.p1.2.2.m2.1a"><msub id="Thmclaim1.p1.2.2.m2.1.1" xref="Thmclaim1.p1.2.2.m2.1.1.cmml"><mi id="Thmclaim1.p1.2.2.m2.1.1.2" xref="Thmclaim1.p1.2.2.m2.1.1.2.cmml">𝐖</mi><mi mathvariant="normal" id="Thmclaim1.p1.2.2.m2.1.1.3" xref="Thmclaim1.p1.2.2.m2.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="Thmclaim1.p1.2.2.m2.1b"><apply id="Thmclaim1.p1.2.2.m2.1.1.cmml" xref="Thmclaim1.p1.2.2.m2.1.1"><csymbol cd="ambiguous" id="Thmclaim1.p1.2.2.m2.1.1.1.cmml" xref="Thmclaim1.p1.2.2.m2.1.1">subscript</csymbol><ci id="Thmclaim1.p1.2.2.m2.1.1.2.cmml" xref="Thmclaim1.p1.2.2.m2.1.1.2">𝐖</ci><ci id="Thmclaim1.p1.2.2.m2.1.1.3.cmml" xref="Thmclaim1.p1.2.2.m2.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmclaim1.p1.2.2.m2.1c">{\bm{W}}_{\ell}</annotation></semantics></math> in <math id="Thmclaim1.p1.3.3.m3.1" class="ltx_Math" alttext="\smash{\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}}" display="inline"><semantics id="Thmclaim1.p1.3.3.m3.1a"><msup id="Thmclaim1.p1.3.3.m3.1.1" xref="Thmclaim1.p1.3.3.m3.1.1.cmml"><mi id="Thmclaim1.p1.3.3.m3.1.1.2" xref="Thmclaim1.p1.3.3.m3.1.1.2.cmml">ℝ</mi><mrow id="Thmclaim1.p1.3.3.m3.1.1.3" xref="Thmclaim1.p1.3.3.m3.1.1.3.cmml"><mrow id="Thmclaim1.p1.3.3.m3.1.1.3.2" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.cmml"><mrow id="Thmclaim1.p1.3.3.m3.1.1.3.2.2" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.cmml"><mn id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.2" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.1" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.1.cmml">​</mo><mi id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.3" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.1a" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.1.cmml">​</mo><msub id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.cmml"><mi id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.2" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.3" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="Thmclaim1.p1.3.3.m3.1.1.3.2.1" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.1.cmml">×</mo><mn id="Thmclaim1.p1.3.3.m3.1.1.3.2.3" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.3.3.m3.1.1.3.1" xref="Thmclaim1.p1.3.3.m3.1.1.3.1.cmml">​</mo><mi id="Thmclaim1.p1.3.3.m3.1.1.3.3" xref="Thmclaim1.p1.3.3.m3.1.1.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.3.3.m3.1.1.3.1a" xref="Thmclaim1.p1.3.3.m3.1.1.3.1.cmml">​</mo><msub id="Thmclaim1.p1.3.3.m3.1.1.3.4" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.cmml"><mi id="Thmclaim1.p1.3.3.m3.1.1.3.4.2" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.2.cmml">t</mi><mrow id="Thmclaim1.p1.3.3.m3.1.1.3.4.3" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3.cmml"><mi mathvariant="normal" id="Thmclaim1.p1.3.3.m3.1.1.3.4.3.2" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3.2.cmml">ℓ</mi><mo id="Thmclaim1.p1.3.3.m3.1.1.3.4.3.1" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3.1.cmml">−</mo><mn id="Thmclaim1.p1.3.3.m3.1.1.3.4.3.3" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3.3.cmml">1</mn></mrow></msub></mrow></msup><annotation-xml encoding="MathML-Content" id="Thmclaim1.p1.3.3.m3.1b"><apply id="Thmclaim1.p1.3.3.m3.1.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1"><csymbol cd="ambiguous" id="Thmclaim1.p1.3.3.m3.1.1.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1">superscript</csymbol><ci id="Thmclaim1.p1.3.3.m3.1.1.2.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.2">ℝ</ci><apply id="Thmclaim1.p1.3.3.m3.1.1.3.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3"><times id="Thmclaim1.p1.3.3.m3.1.1.3.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.1"></times><apply id="Thmclaim1.p1.3.3.m3.1.1.3.2.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2"><times id="Thmclaim1.p1.3.3.m3.1.1.3.2.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.1"></times><apply id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2"><times id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.1"></times><cn type="integer" id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.2.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.2">0</cn><ci id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.3.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.3">𝑝</ci><apply id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4"><csymbol cd="ambiguous" id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4">subscript</csymbol><ci id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.2.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.2">𝑡</ci><ci id="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.3.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="Thmclaim1.p1.3.3.m3.1.1.3.2.3.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.2.3">0</cn></apply><ci id="Thmclaim1.p1.3.3.m3.1.1.3.3.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.3">𝑝</ci><apply id="Thmclaim1.p1.3.3.m3.1.1.3.4.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.4"><csymbol cd="ambiguous" id="Thmclaim1.p1.3.3.m3.1.1.3.4.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.4">subscript</csymbol><ci id="Thmclaim1.p1.3.3.m3.1.1.3.4.2.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.2">𝑡</ci><apply id="Thmclaim1.p1.3.3.m3.1.1.3.4.3.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3"><minus id="Thmclaim1.p1.3.3.m3.1.1.3.4.3.1.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3.1"></minus><ci id="Thmclaim1.p1.3.3.m3.1.1.3.4.3.2.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3.2">ℓ</ci><cn type="integer" id="Thmclaim1.p1.3.3.m3.1.1.3.4.3.3.cmml" xref="Thmclaim1.p1.3.3.m3.1.1.3.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmclaim1.p1.3.3.m3.1c">\smash{\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}}</annotation></semantics></math> is sampled using a common weight initialization strategy (e.g., Gaussian or semi-orthogonal init). Provided that fan-out is no less than fan-in
(<math id="Thmclaim1.p1.4.4.m4.1" class="ltx_Math" alttext="0pt_{\ell}\geq 0pt_{\ell-1}" display="inline"><semantics id="Thmclaim1.p1.4.4.m4.1a"><mrow id="Thmclaim1.p1.4.4.m4.1.1" xref="Thmclaim1.p1.4.4.m4.1.1.cmml"><mrow id="Thmclaim1.p1.4.4.m4.1.1.2" xref="Thmclaim1.p1.4.4.m4.1.1.2.cmml"><mn id="Thmclaim1.p1.4.4.m4.1.1.2.2" xref="Thmclaim1.p1.4.4.m4.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.4.4.m4.1.1.2.1" xref="Thmclaim1.p1.4.4.m4.1.1.2.1.cmml">​</mo><mi id="Thmclaim1.p1.4.4.m4.1.1.2.3" xref="Thmclaim1.p1.4.4.m4.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.4.4.m4.1.1.2.1a" xref="Thmclaim1.p1.4.4.m4.1.1.2.1.cmml">​</mo><msub id="Thmclaim1.p1.4.4.m4.1.1.2.4" xref="Thmclaim1.p1.4.4.m4.1.1.2.4.cmml"><mi id="Thmclaim1.p1.4.4.m4.1.1.2.4.2" xref="Thmclaim1.p1.4.4.m4.1.1.2.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmclaim1.p1.4.4.m4.1.1.2.4.3" xref="Thmclaim1.p1.4.4.m4.1.1.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="Thmclaim1.p1.4.4.m4.1.1.1" xref="Thmclaim1.p1.4.4.m4.1.1.1.cmml">≥</mo><mrow id="Thmclaim1.p1.4.4.m4.1.1.3" xref="Thmclaim1.p1.4.4.m4.1.1.3.cmml"><mn id="Thmclaim1.p1.4.4.m4.1.1.3.2" xref="Thmclaim1.p1.4.4.m4.1.1.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.4.4.m4.1.1.3.1" xref="Thmclaim1.p1.4.4.m4.1.1.3.1.cmml">​</mo><mi id="Thmclaim1.p1.4.4.m4.1.1.3.3" xref="Thmclaim1.p1.4.4.m4.1.1.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmclaim1.p1.4.4.m4.1.1.3.1a" xref="Thmclaim1.p1.4.4.m4.1.1.3.1.cmml">​</mo><msub id="Thmclaim1.p1.4.4.m4.1.1.3.4" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.cmml"><mi id="Thmclaim1.p1.4.4.m4.1.1.3.4.2" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.2.cmml">t</mi><mrow id="Thmclaim1.p1.4.4.m4.1.1.3.4.3" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3.cmml"><mi mathvariant="normal" id="Thmclaim1.p1.4.4.m4.1.1.3.4.3.2" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3.2.cmml">ℓ</mi><mo id="Thmclaim1.p1.4.4.m4.1.1.3.4.3.1" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3.1.cmml">−</mo><mn id="Thmclaim1.p1.4.4.m4.1.1.3.4.3.3" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmclaim1.p1.4.4.m4.1b"><apply id="Thmclaim1.p1.4.4.m4.1.1.cmml" xref="Thmclaim1.p1.4.4.m4.1.1"><geq id="Thmclaim1.p1.4.4.m4.1.1.1.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.1"></geq><apply id="Thmclaim1.p1.4.4.m4.1.1.2.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2"><times id="Thmclaim1.p1.4.4.m4.1.1.2.1.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2.1"></times><cn type="integer" id="Thmclaim1.p1.4.4.m4.1.1.2.2.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2.2">0</cn><ci id="Thmclaim1.p1.4.4.m4.1.1.2.3.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2.3">𝑝</ci><apply id="Thmclaim1.p1.4.4.m4.1.1.2.4.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2.4"><csymbol cd="ambiguous" id="Thmclaim1.p1.4.4.m4.1.1.2.4.1.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2.4">subscript</csymbol><ci id="Thmclaim1.p1.4.4.m4.1.1.2.4.2.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2.4.2">𝑡</ci><ci id="Thmclaim1.p1.4.4.m4.1.1.2.4.3.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.2.4.3">ℓ</ci></apply></apply><apply id="Thmclaim1.p1.4.4.m4.1.1.3.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3"><times id="Thmclaim1.p1.4.4.m4.1.1.3.1.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.1"></times><cn type="integer" id="Thmclaim1.p1.4.4.m4.1.1.3.2.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.2">0</cn><ci id="Thmclaim1.p1.4.4.m4.1.1.3.3.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.3">𝑝</ci><apply id="Thmclaim1.p1.4.4.m4.1.1.3.4.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.4"><csymbol cd="ambiguous" id="Thmclaim1.p1.4.4.m4.1.1.3.4.1.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.4">subscript</csymbol><ci id="Thmclaim1.p1.4.4.m4.1.1.3.4.2.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.2">𝑡</ci><apply id="Thmclaim1.p1.4.4.m4.1.1.3.4.3.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3"><minus id="Thmclaim1.p1.4.4.m4.1.1.3.4.3.1.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3.1"></minus><ci id="Thmclaim1.p1.4.4.m4.1.1.3.4.3.2.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3.2">ℓ</ci><cn type="integer" id="Thmclaim1.p1.4.4.m4.1.1.3.4.3.3.cmml" xref="Thmclaim1.p1.4.4.m4.1.1.3.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmclaim1.p1.4.4.m4.1c">0pt_{\ell}\geq 0pt_{\ell-1}</annotation></semantics></math>),
then with high probability:</span></p>
<table id="S3.Ex3" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.Ex3.m1.3" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\Theta(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2})." display="block"><semantics id="S3.Ex3.m1.3a"><mrow id="S3.Ex3.m1.3.3.1" xref="S3.Ex3.m1.3.3.1.1.cmml"><mrow id="S3.Ex3.m1.3.3.1.1" xref="S3.Ex3.m1.3.3.1.1.cmml"><msub id="S3.Ex3.m1.3.3.1.1.1" xref="S3.Ex3.m1.3.3.1.1.1.cmml"><mrow id="S3.Ex3.m1.3.3.1.1.1.1.1" xref="S3.Ex3.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.1.1.1.2" xref="S3.Ex3.m1.3.3.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.Ex3.m1.3.3.1.1.1.1.1.1" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.cmml"><msub id="S3.Ex3.m1.3.3.1.1.1.1.1.1.2" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.cmml"><mi id="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.2" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.3" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.1" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.cmml"><mi id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.2" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.2.cmml">𝒉</mi><mrow id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.cmml"><mi mathvariant="normal" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.2" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.2.cmml">ℓ</mi><mo id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.1" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.1.cmml">−</mo><mn id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.3" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.1a" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.Ex3.m1.3.3.1.1.1.1.1.1.4.2" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.4.2.1" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mi id="S3.Ex3.m1.1.1" xref="S3.Ex3.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.4.2.2" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.1.1.1.3" xref="S3.Ex3.m1.3.3.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.Ex3.m1.3.3.1.1.1.3" xref="S3.Ex3.m1.3.3.1.1.1.3.cmml">2</mn></msub><mo id="S3.Ex3.m1.3.3.1.1.3" xref="S3.Ex3.m1.3.3.1.1.3.cmml">=</mo><mrow id="S3.Ex3.m1.3.3.1.1.2" xref="S3.Ex3.m1.3.3.1.1.2.cmml"><mi mathvariant="normal" id="S3.Ex3.m1.3.3.1.1.2.3" xref="S3.Ex3.m1.3.3.1.1.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.3.3.1.1.2.2" xref="S3.Ex3.m1.3.3.1.1.2.2.cmml">​</mo><mrow id="S3.Ex3.m1.3.3.1.1.2.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.cmml">(</mo><mrow id="S3.Ex3.m1.3.3.1.1.2.1.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.cmml"><msub id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.cmml"><mrow id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml"><mi id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo rspace="0.055em" stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.3.cmml">⋅</mo><msub id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.cmml"><mrow id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.cmml"><msub id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.cmml"><mi id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.1.cmml">​</mo><mrow id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.3.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.3.2.1" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.cmml">(</mo><mi id="S3.Ex3.m1.2.2" xref="S3.Ex3.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.3.2.2" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.3.cmml">2</mn></msub></mrow><mo stretchy="false" id="S3.Ex3.m1.3.3.1.1.2.1.1.3" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="S3.Ex3.m1.3.3.1.2" xref="S3.Ex3.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex3.m1.3b"><apply id="S3.Ex3.m1.3.3.1.1.cmml" xref="S3.Ex3.m1.3.3.1"><eq id="S3.Ex3.m1.3.3.1.1.3.cmml" xref="S3.Ex3.m1.3.3.1.1.3"></eq><apply id="S3.Ex3.m1.3.3.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.Ex3.m1.3.3.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.1">subscript</csymbol><apply id="S3.Ex3.m1.3.3.1.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="S3.Ex3.m1.3.3.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.2">norm</csymbol><apply id="S3.Ex3.m1.3.3.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1"><times id="S3.Ex3.m1.3.3.1.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.1"></times><apply id="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.2">subscript</csymbol><ci id="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.2.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.2">𝑾</ci><ci id="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.3.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.2.3">ℓ</ci></apply><apply id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.2">𝒉</ci><apply id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3"><minus id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.1.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.1"></minus><ci id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.2.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.2">ℓ</ci><cn type="integer" id="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.3.cmml" xref="S3.Ex3.m1.3.3.1.1.1.1.1.1.3.3.3">1</cn></apply></apply><ci id="S3.Ex3.m1.1.1.cmml" xref="S3.Ex3.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.Ex3.m1.3.3.1.1.1.3.cmml" xref="S3.Ex3.m1.3.3.1.1.1.3">2</cn></apply><apply id="S3.Ex3.m1.3.3.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2"><times id="S3.Ex3.m1.3.3.1.1.2.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.2"></times><ci id="S3.Ex3.m1.3.3.1.1.2.3.cmml" xref="S3.Ex3.m1.3.3.1.1.2.3">Θ</ci><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1"><ci id="S3.Ex3.m1.3.3.1.1.2.1.1.1.3.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.3">⋅</ci><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1">subscript</csymbol><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.2.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.2">𝑾</ci><ci id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.3.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.1.3"></times></apply><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2">subscript</csymbol><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1"><csymbol cd="latexml" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.2.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.2">norm</csymbol><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1"><times id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.1"></times><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2">subscript</csymbol><ci id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.2">𝒉</ci><apply id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3"><minus id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.1.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.1"></minus><ci id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.2.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.3.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.Ex3.m1.2.2.cmml" xref="S3.Ex3.m1.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.3.cmml" xref="S3.Ex3.m1.3.3.1.1.2.1.1.1.2.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex3.m1.3c">\left|\!\left|{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\Theta(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
</div>
<div id="Thmclaim2" class="ltx_theorem ltx_theorem_claim">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmclaim2.1.1.1" class="ltx_text ltx_font_bold">Claim 2</span></span><span id="Thmclaim2.2.2" class="ltx_text ltx_font_bold"> </span>(Alignment of updates)<span id="Thmclaim2.3.3" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmclaim2.p1" class="ltx_para">
<p id="Thmclaim2.p1.1" class="ltx_p"><span id="Thmclaim2.p1.1.1" class="ltx_text ltx_font_italic">For an update <math id="Thmclaim2.p1.1.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="Thmclaim2.p1.1.1.m1.1a"><mrow id="Thmclaim2.p1.1.1.m1.1.1" xref="Thmclaim2.p1.1.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmclaim2.p1.1.1.m1.1.1.2" xref="Thmclaim2.p1.1.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmclaim2.p1.1.1.m1.1.1.1" xref="Thmclaim2.p1.1.1.m1.1.1.1.cmml">​</mo><msub id="Thmclaim2.p1.1.1.m1.1.1.3" xref="Thmclaim2.p1.1.1.m1.1.1.3.cmml"><mi id="Thmclaim2.p1.1.1.m1.1.1.3.2" xref="Thmclaim2.p1.1.1.m1.1.1.3.2.cmml">𝐖</mi><mi mathvariant="normal" id="Thmclaim2.p1.1.1.m1.1.1.3.3" xref="Thmclaim2.p1.1.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="Thmclaim2.p1.1.1.m1.1b"><apply id="Thmclaim2.p1.1.1.m1.1.1.cmml" xref="Thmclaim2.p1.1.1.m1.1.1"><times id="Thmclaim2.p1.1.1.m1.1.1.1.cmml" xref="Thmclaim2.p1.1.1.m1.1.1.1"></times><ci id="Thmclaim2.p1.1.1.m1.1.1.2.cmml" xref="Thmclaim2.p1.1.1.m1.1.1.2">Δ</ci><apply id="Thmclaim2.p1.1.1.m1.1.1.3.cmml" xref="Thmclaim2.p1.1.1.m1.1.1.3"><csymbol cd="ambiguous" id="Thmclaim2.p1.1.1.m1.1.1.3.1.cmml" xref="Thmclaim2.p1.1.1.m1.1.1.3">subscript</csymbol><ci id="Thmclaim2.p1.1.1.m1.1.1.3.2.cmml" xref="Thmclaim2.p1.1.1.m1.1.1.3.2">𝐖</ci><ci id="Thmclaim2.p1.1.1.m1.1.1.3.3.cmml" xref="Thmclaim2.p1.1.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmclaim2.p1.1.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> given by gradient descent with batch size 1,</span></p>
<table id="S3.Ex4" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.Ex4.m1.3" class="ltx_Math" alttext="\left|\!\left|\Delta{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}." display="block"><semantics id="S3.Ex4.m1.3a"><mrow id="S3.Ex4.m1.3.3.1" xref="S3.Ex4.m1.3.3.1.1.cmml"><mrow id="S3.Ex4.m1.3.3.1.1" xref="S3.Ex4.m1.3.3.1.1.cmml"><msub id="S3.Ex4.m1.3.3.1.1.1" xref="S3.Ex4.m1.3.3.1.1.1.cmml"><mrow id="S3.Ex4.m1.3.3.1.1.1.1.1" xref="S3.Ex4.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.1.1.1.2" xref="S3.Ex4.m1.3.3.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.Ex4.m1.3.3.1.1.1.1.1.1" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.2" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.1" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.Ex4.m1.3.3.1.1.1.1.1.1.3" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.cmml"><mi id="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.2" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.3" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.1a" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.cmml"><mi id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.2" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.2.cmml">𝒉</mi><mrow id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.cmml"><mi mathvariant="normal" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.2" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.2.cmml">ℓ</mi><mo id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.1" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.1.cmml">−</mo><mn id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.3" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.1b" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.Ex4.m1.3.3.1.1.1.1.1.1.5.2" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.5.2.1" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mi id="S3.Ex4.m1.1.1" xref="S3.Ex4.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.5.2.2" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.1.1.1.3" xref="S3.Ex4.m1.3.3.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.Ex4.m1.3.3.1.1.1.3" xref="S3.Ex4.m1.3.3.1.1.1.3.cmml">2</mn></msub><mo id="S3.Ex4.m1.3.3.1.1.4" xref="S3.Ex4.m1.3.3.1.1.4.cmml">=</mo><mrow id="S3.Ex4.m1.3.3.1.1.3" xref="S3.Ex4.m1.3.3.1.1.3.cmml"><msub id="S3.Ex4.m1.3.3.1.1.2.1" xref="S3.Ex4.m1.3.3.1.1.2.1.cmml"><mrow id="S3.Ex4.m1.3.3.1.1.2.1.1.1" xref="S3.Ex4.m1.3.3.1.1.2.1.1.2.cmml"><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.2.1.1.1.2" xref="S3.Ex4.m1.3.3.1.1.2.1.1.2.1.cmml">‖</mo><mrow id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.2" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.1" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.1.cmml">​</mo><msub id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.cmml"><mi id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.2" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.3" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.Ex4.m1.3.3.1.1.2.1.1.1.3" xref="S3.Ex4.m1.3.3.1.1.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.Ex4.m1.3.3.1.1.2.1.3" xref="S3.Ex4.m1.3.3.1.1.2.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.Ex4.m1.3.3.1.1.3.3" xref="S3.Ex4.m1.3.3.1.1.3.3.cmml">⋅</mo><msub id="S3.Ex4.m1.3.3.1.1.3.2" xref="S3.Ex4.m1.3.3.1.1.3.2.cmml"><mrow id="S3.Ex4.m1.3.3.1.1.3.2.1.1" xref="S3.Ex4.m1.3.3.1.1.3.2.1.2.cmml"><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.2" xref="S3.Ex4.m1.3.3.1.1.3.2.1.2.1.cmml">‖</mo><mrow id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.cmml"><msub id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.cmml"><mi id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.2" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.2" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.1" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.3" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.1" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.1.cmml">​</mo><mrow id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.3.2" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.cmml"><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.3.2.1" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.cmml">(</mo><mi id="S3.Ex4.m1.2.2" xref="S3.Ex4.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.3.2.2" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.3" xref="S3.Ex4.m1.3.3.1.1.3.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.Ex4.m1.3.3.1.1.3.2.3" xref="S3.Ex4.m1.3.3.1.1.3.2.3.cmml">2</mn></msub></mrow></mrow><mo lspace="0em" id="S3.Ex4.m1.3.3.1.2" xref="S3.Ex4.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.Ex4.m1.3b"><apply id="S3.Ex4.m1.3.3.1.1.cmml" xref="S3.Ex4.m1.3.3.1"><eq id="S3.Ex4.m1.3.3.1.1.4.cmml" xref="S3.Ex4.m1.3.3.1.1.4"></eq><apply id="S3.Ex4.m1.3.3.1.1.1.cmml" xref="S3.Ex4.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.Ex4.m1.3.3.1.1.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.1">subscript</csymbol><apply id="S3.Ex4.m1.3.3.1.1.1.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="S3.Ex4.m1.3.3.1.1.1.1.2.1.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.2">norm</csymbol><apply id="S3.Ex4.m1.3.3.1.1.1.1.1.1.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1"><times id="S3.Ex4.m1.3.3.1.1.1.1.1.1.1.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.1"></times><ci id="S3.Ex4.m1.3.3.1.1.1.1.1.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.2">Δ</ci><apply id="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.1.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.2.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.3.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.3.3">ℓ</ci></apply><apply id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.1.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4">subscript</csymbol><ci id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.2.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.2">𝒉</ci><apply id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3"><minus id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.1.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.1"></minus><ci id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.2.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.3.cmml" xref="S3.Ex4.m1.3.3.1.1.1.1.1.1.4.3.3">1</cn></apply></apply><ci id="S3.Ex4.m1.1.1.cmml" xref="S3.Ex4.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.Ex4.m1.3.3.1.1.1.3.cmml" xref="S3.Ex4.m1.3.3.1.1.1.3">2</cn></apply><apply id="S3.Ex4.m1.3.3.1.1.3.cmml" xref="S3.Ex4.m1.3.3.1.1.3"><ci id="S3.Ex4.m1.3.3.1.1.3.3.cmml" xref="S3.Ex4.m1.3.3.1.1.3.3">⋅</ci><apply id="S3.Ex4.m1.3.3.1.1.2.1.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1"><csymbol cd="ambiguous" id="S3.Ex4.m1.3.3.1.1.2.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1">subscript</csymbol><apply id="S3.Ex4.m1.3.3.1.1.2.1.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1"><csymbol cd="latexml" id="S3.Ex4.m1.3.3.1.1.2.1.1.2.1.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.2">norm</csymbol><apply id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1"><times id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.1.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.1"></times><ci id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.2">Δ</ci><apply id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.1.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3">subscript</csymbol><ci id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.2.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.2">𝑾</ci><ci id="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.3.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.Ex4.m1.3.3.1.1.2.1.3.cmml" xref="S3.Ex4.m1.3.3.1.1.2.1.3"></times></apply><apply id="S3.Ex4.m1.3.3.1.1.3.2.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2"><csymbol cd="ambiguous" id="S3.Ex4.m1.3.3.1.1.3.2.2.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2">subscript</csymbol><apply id="S3.Ex4.m1.3.3.1.1.3.2.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1"><csymbol cd="latexml" id="S3.Ex4.m1.3.3.1.1.3.2.1.2.1.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.2">norm</csymbol><apply id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1"><times id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.1.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.1"></times><apply id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.1.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2">subscript</csymbol><ci id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.2.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.2">𝒉</ci><apply id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3"><minus id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.1.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.1"></minus><ci id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.2.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.3.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.Ex4.m1.2.2.cmml" xref="S3.Ex4.m1.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.Ex4.m1.3.3.1.1.3.2.3.cmml" xref="S3.Ex4.m1.3.3.1.1.3.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.Ex4.m1.3c">\left|\!\left|\Delta{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
</div>
</div>
<div id="S3.SS1.p8" class="ltx_para ltx_noindent">
<p id="S3.SS1.p8.1" class="ltx_p">In words, <a href="#Thmclaim1" title="Claim 1 (Alignment of initial weight matrices). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> states that random hidden weight matrices scale incoming vectors by factors commensurate to their spectral norms, so long as their fan-out is not smaller than their fan-in, which we will assume is the case for all but the final layer of the network.
<a href="#Thmclaim2" title="Claim 2 (Alignment of updates). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> states the same of weight updates, but the proportionality constant is precisely one and requires no condition on dimensionality.<span id="footnote3" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">3</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">3</sup><span class="ltx_tag ltx_tag_note">3</span>Note that <math id="footnote3.m1.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="footnote3.m1.1b"><mi id="footnote3.m1.1.1" xref="footnote3.m1.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="footnote3.m1.1c"><ci id="footnote3.m1.1.1.cmml" xref="footnote3.m1.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="footnote3.m1.1d">{\bm{x}}</annotation></semantics></math> in <a href="#Thmclaim2" title="Claim 2 (Alignment of updates). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> is the same input that induced the gradient <math id="footnote3.m2.1" class="ltx_Math" alttext="\Delta{\bm{W}}_{\ell}" display="inline"><semantics id="footnote3.m2.1b"><mrow id="footnote3.m2.1.1" xref="footnote3.m2.1.1.cmml"><mi mathvariant="normal" id="footnote3.m2.1.1.2" xref="footnote3.m2.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="footnote3.m2.1.1.1" xref="footnote3.m2.1.1.1.cmml">​</mo><msub id="footnote3.m2.1.1.3" xref="footnote3.m2.1.1.3.cmml"><mi id="footnote3.m2.1.1.3.2" xref="footnote3.m2.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="footnote3.m2.1.1.3.3" xref="footnote3.m2.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="footnote3.m2.1c"><apply id="footnote3.m2.1.1.cmml" xref="footnote3.m2.1.1"><times id="footnote3.m2.1.1.1.cmml" xref="footnote3.m2.1.1.1"></times><ci id="footnote3.m2.1.1.2.cmml" xref="footnote3.m2.1.1.2">Δ</ci><apply id="footnote3.m2.1.1.3.cmml" xref="footnote3.m2.1.1.3"><csymbol cd="ambiguous" id="footnote3.m2.1.1.3.1.cmml" xref="footnote3.m2.1.1.3">subscript</csymbol><ci id="footnote3.m2.1.1.3.2.cmml" xref="footnote3.m2.1.1.3.2">𝑾</ci><ci id="footnote3.m2.1.1.3.3.cmml" xref="footnote3.m2.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote3.m2.1d">\Delta{\bm{W}}_{\ell}</annotation></semantics></math> in the previous step. <a href="#Thmclaim2" title="Claim 2 (Alignment of updates). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> is generally not an equality if this not true.</span></span></span></p>
</div>
<div id="S3.SS1.p9" class="ltx_para ltx_noindent">
<p id="S3.SS1.p9.8" class="ltx_p">We now justify these claims in turn.
For <a href="#Thmclaim1" title="Claim 1 (Alignment of initial weight matrices). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, first suppose that <math id="S3.SS1.p9.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.p9.1.m1.1a"><msub id="S3.SS1.p9.1.m1.1.1" xref="S3.SS1.p9.1.m1.1.1.cmml"><mi id="S3.SS1.p9.1.m1.1.1.2" xref="S3.SS1.p9.1.m1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.1.m1.1.1.3" xref="S3.SS1.p9.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.1.m1.1b"><apply id="S3.SS1.p9.1.m1.1.1.cmml" xref="S3.SS1.p9.1.m1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.1.m1.1.1.1.cmml" xref="S3.SS1.p9.1.m1.1.1">subscript</csymbol><ci id="S3.SS1.p9.1.m1.1.1.2.cmml" xref="S3.SS1.p9.1.m1.1.1.2">𝑾</ci><ci id="S3.SS1.p9.1.m1.1.1.3.cmml" xref="S3.SS1.p9.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.1.m1.1c">{\bm{W}}_{\ell}</annotation></semantics></math> is a random semi-orthogonal matrix as is a popular initialization strategy. Then all singular values of <math id="S3.SS1.p9.2.m2.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.p9.2.m2.1a"><msub id="S3.SS1.p9.2.m2.1.1" xref="S3.SS1.p9.2.m2.1.1.cmml"><mi id="S3.SS1.p9.2.m2.1.1.2" xref="S3.SS1.p9.2.m2.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.2.m2.1.1.3" xref="S3.SS1.p9.2.m2.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.2.m2.1b"><apply id="S3.SS1.p9.2.m2.1.1.cmml" xref="S3.SS1.p9.2.m2.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.2.m2.1.1.1.cmml" xref="S3.SS1.p9.2.m2.1.1">subscript</csymbol><ci id="S3.SS1.p9.2.m2.1.1.2.cmml" xref="S3.SS1.p9.2.m2.1.1.2">𝑾</ci><ci id="S3.SS1.p9.2.m2.1.1.3.cmml" xref="S3.SS1.p9.2.m2.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.2.m2.1c">{\bm{W}}_{\ell}</annotation></semantics></math> are one and, since fan-out exceeds fan-in, the null-space of <math id="S3.SS1.p9.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.p9.3.m3.1a"><msub id="S3.SS1.p9.3.m3.1.1" xref="S3.SS1.p9.3.m3.1.1.cmml"><mi id="S3.SS1.p9.3.m3.1.1.2" xref="S3.SS1.p9.3.m3.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.3.m3.1.1.3" xref="S3.SS1.p9.3.m3.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.3.m3.1b"><apply id="S3.SS1.p9.3.m3.1.1.cmml" xref="S3.SS1.p9.3.m3.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.3.m3.1.1.1.cmml" xref="S3.SS1.p9.3.m3.1.1">subscript</csymbol><ci id="S3.SS1.p9.3.m3.1.1.2.cmml" xref="S3.SS1.p9.3.m3.1.1.2">𝑾</ci><ci id="S3.SS1.p9.3.m3.1.1.3.cmml" xref="S3.SS1.p9.3.m3.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.3.m3.1c">{\bm{W}}_{\ell}</annotation></semantics></math> is empty. Taken together, these observations imply the equality: <math id="S3.SS1.p9.4.m4.5" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="S3.SS1.p9.4.m4.5a"><mrow id="S3.SS1.p9.4.m4.5.5" xref="S3.SS1.p9.4.m4.5.5.cmml"><msub id="S3.SS1.p9.4.m4.3.3.1" xref="S3.SS1.p9.4.m4.3.3.1.cmml"><mrow id="S3.SS1.p9.4.m4.3.3.1.1.1" xref="S3.SS1.p9.4.m4.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p9.4.m4.3.3.1.1.1.2" xref="S3.SS1.p9.4.m4.3.3.1.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p9.4.m4.3.3.1.1.1.1" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.cmml"><msub id="S3.SS1.p9.4.m4.3.3.1.1.1.1.2" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.cmml"><mi id="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.2" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.3" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.1" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.1.cmml">​</mo><msub id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.cmml"><mi id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.2" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.2.cmml">𝒉</mi><mrow id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.cmml"><mi mathvariant="normal" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.2" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.2.cmml">ℓ</mi><mo id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.1" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.1.cmml">−</mo><mn id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.3" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.1a" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p9.4.m4.3.3.1.1.1.1.4.2" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.4.2.1" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.cmml">(</mo><mi id="S3.SS1.p9.4.m4.1.1" xref="S3.SS1.p9.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.4.2.2" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS1.p9.4.m4.3.3.1.1.1.3" xref="S3.SS1.p9.4.m4.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p9.4.m4.3.3.1.3" xref="S3.SS1.p9.4.m4.3.3.1.3.cmml">2</mn></msub><mo id="S3.SS1.p9.4.m4.5.5.4" xref="S3.SS1.p9.4.m4.5.5.4.cmml">=</mo><mrow id="S3.SS1.p9.4.m4.5.5.3" xref="S3.SS1.p9.4.m4.5.5.3.cmml"><msub id="S3.SS1.p9.4.m4.4.4.2.1" xref="S3.SS1.p9.4.m4.4.4.2.1.cmml"><mrow id="S3.SS1.p9.4.m4.4.4.2.1.1.1" xref="S3.SS1.p9.4.m4.4.4.2.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p9.4.m4.4.4.2.1.1.1.2" xref="S3.SS1.p9.4.m4.4.4.2.1.1.2.1.cmml">‖</mo><msub id="S3.SS1.p9.4.m4.4.4.2.1.1.1.1" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.cmml"><mi id="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.2" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.3" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.3.cmml">ℓ</mi></msub><mo rspace="0.055em" stretchy="false" id="S3.SS1.p9.4.m4.4.4.2.1.1.1.3" xref="S3.SS1.p9.4.m4.4.4.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.SS1.p9.4.m4.4.4.2.1.3" xref="S3.SS1.p9.4.m4.4.4.2.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.SS1.p9.4.m4.5.5.3.3" xref="S3.SS1.p9.4.m4.5.5.3.3.cmml">⋅</mo><msub id="S3.SS1.p9.4.m4.5.5.3.2" xref="S3.SS1.p9.4.m4.5.5.3.2.cmml"><mrow id="S3.SS1.p9.4.m4.5.5.3.2.1.1" xref="S3.SS1.p9.4.m4.5.5.3.2.1.2.cmml"><mo stretchy="false" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.2" xref="S3.SS1.p9.4.m4.5.5.3.2.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.cmml"><msub id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.cmml"><mi id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.2" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.2" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.1" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.3" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.1" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.3.2" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.3.2.1" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.cmml">(</mo><mi id="S3.SS1.p9.4.m4.2.2" xref="S3.SS1.p9.4.m4.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.3.2.2" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.3" xref="S3.SS1.p9.4.m4.5.5.3.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p9.4.m4.5.5.3.2.3" xref="S3.SS1.p9.4.m4.5.5.3.2.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.4.m4.5b"><apply id="S3.SS1.p9.4.m4.5.5.cmml" xref="S3.SS1.p9.4.m4.5.5"><eq id="S3.SS1.p9.4.m4.5.5.4.cmml" xref="S3.SS1.p9.4.m4.5.5.4"></eq><apply id="S3.SS1.p9.4.m4.3.3.1.cmml" xref="S3.SS1.p9.4.m4.3.3.1"><csymbol cd="ambiguous" id="S3.SS1.p9.4.m4.3.3.1.2.cmml" xref="S3.SS1.p9.4.m4.3.3.1">subscript</csymbol><apply id="S3.SS1.p9.4.m4.3.3.1.1.2.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1"><csymbol cd="latexml" id="S3.SS1.p9.4.m4.3.3.1.1.2.1.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.2">norm</csymbol><apply id="S3.SS1.p9.4.m4.3.3.1.1.1.1.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1"><times id="S3.SS1.p9.4.m4.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.1"></times><apply id="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.1.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.2">subscript</csymbol><ci id="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.2.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.2">𝑾</ci><ci id="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.3.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.2.3">ℓ</ci></apply><apply id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.1.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3">subscript</csymbol><ci id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.2.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.2">𝒉</ci><apply id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3"><minus id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.1.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.1"></minus><ci id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.2.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.2">ℓ</ci><cn type="integer" id="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.3.cmml" xref="S3.SS1.p9.4.m4.3.3.1.1.1.1.3.3.3">1</cn></apply></apply><ci id="S3.SS1.p9.4.m4.1.1.cmml" xref="S3.SS1.p9.4.m4.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.SS1.p9.4.m4.3.3.1.3.cmml" xref="S3.SS1.p9.4.m4.3.3.1.3">2</cn></apply><apply id="S3.SS1.p9.4.m4.5.5.3.cmml" xref="S3.SS1.p9.4.m4.5.5.3"><ci id="S3.SS1.p9.4.m4.5.5.3.3.cmml" xref="S3.SS1.p9.4.m4.5.5.3.3">⋅</ci><apply id="S3.SS1.p9.4.m4.4.4.2.1.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1"><csymbol cd="ambiguous" id="S3.SS1.p9.4.m4.4.4.2.1.2.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1">subscript</csymbol><apply id="S3.SS1.p9.4.m4.4.4.2.1.1.2.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1"><csymbol cd="latexml" id="S3.SS1.p9.4.m4.4.4.2.1.1.2.1.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.2">norm</csymbol><apply id="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.1.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.1">subscript</csymbol><ci id="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.2.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.2">𝑾</ci><ci id="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.3.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.SS1.p9.4.m4.4.4.2.1.3.cmml" xref="S3.SS1.p9.4.m4.4.4.2.1.3"></times></apply><apply id="S3.SS1.p9.4.m4.5.5.3.2.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2"><csymbol cd="ambiguous" id="S3.SS1.p9.4.m4.5.5.3.2.2.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2">subscript</csymbol><apply id="S3.SS1.p9.4.m4.5.5.3.2.1.2.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1"><csymbol cd="latexml" id="S3.SS1.p9.4.m4.5.5.3.2.1.2.1.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.2">norm</csymbol><apply id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1"><times id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.1.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.1"></times><apply id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.1.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2">subscript</csymbol><ci id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.2.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.2">𝒉</ci><apply id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3"><minus id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.1.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.1"></minus><ci id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.2.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.3.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.SS1.p9.4.m4.2.2.cmml" xref="S3.SS1.p9.4.m4.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.SS1.p9.4.m4.5.5.3.2.3.cmml" xref="S3.SS1.p9.4.m4.5.5.3.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.4.m4.5c">\left|\!\left|{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math>.
Fortunately, if the elements of <math id="S3.SS1.p9.5.m5.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.p9.5.m5.1a"><msub id="S3.SS1.p9.5.m5.1.1" xref="S3.SS1.p9.5.m5.1.1.cmml"><mi id="S3.SS1.p9.5.m5.1.1.2" xref="S3.SS1.p9.5.m5.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.5.m5.1.1.3" xref="S3.SS1.p9.5.m5.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.5.m5.1b"><apply id="S3.SS1.p9.5.m5.1.1.cmml" xref="S3.SS1.p9.5.m5.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.5.m5.1.1.1.cmml" xref="S3.SS1.p9.5.m5.1.1">subscript</csymbol><ci id="S3.SS1.p9.5.m5.1.1.2.cmml" xref="S3.SS1.p9.5.m5.1.1.2">𝑾</ci><ci id="S3.SS1.p9.5.m5.1.1.3.cmml" xref="S3.SS1.p9.5.m5.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.5.m5.1c">{\bm{W}}_{\ell}</annotation></semantics></math> are instead sampled i.i.d. from a centered Gaussian distribution with standard deviation <math id="S3.SS1.p9.6.m6.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S3.SS1.p9.6.m6.1a"><msub id="S3.SS1.p9.6.m6.1.1" xref="S3.SS1.p9.6.m6.1.1.cmml"><mi id="S3.SS1.p9.6.m6.1.1.2" xref="S3.SS1.p9.6.m6.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S3.SS1.p9.6.m6.1.1.3" xref="S3.SS1.p9.6.m6.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.6.m6.1b"><apply id="S3.SS1.p9.6.m6.1.1.cmml" xref="S3.SS1.p9.6.m6.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.6.m6.1.1.1.cmml" xref="S3.SS1.p9.6.m6.1.1">subscript</csymbol><ci id="S3.SS1.p9.6.m6.1.1.2.cmml" xref="S3.SS1.p9.6.m6.1.1.2">𝜎</ci><ci id="S3.SS1.p9.6.m6.1.1.3.cmml" xref="S3.SS1.p9.6.m6.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.6.m6.1c">\sigma_{\ell}</annotation></semantics></math>, then the situation is similar.
It is easily shown by the law of large numbers that
<math id="S3.SS1.p9.7.m7.4" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}\approx\sigma_{\ell}\sqrt{0pt_{\ell}}\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="S3.SS1.p9.7.m7.4a"><mrow id="S3.SS1.p9.7.m7.4.4" xref="S3.SS1.p9.7.m7.4.4.cmml"><msub id="S3.SS1.p9.7.m7.3.3.1" xref="S3.SS1.p9.7.m7.3.3.1.cmml"><mrow id="S3.SS1.p9.7.m7.3.3.1.1.1" xref="S3.SS1.p9.7.m7.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p9.7.m7.3.3.1.1.1.2" xref="S3.SS1.p9.7.m7.3.3.1.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p9.7.m7.3.3.1.1.1.1" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.cmml"><msub id="S3.SS1.p9.7.m7.3.3.1.1.1.1.2" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.cmml"><mi id="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.2" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.3" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.1" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.1.cmml">​</mo><msub id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.cmml"><mi id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.2" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.2.cmml">𝒉</mi><mrow id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.cmml"><mi mathvariant="normal" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.2" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.2.cmml">ℓ</mi><mo id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.1" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.1.cmml">−</mo><mn id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.3" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.1a" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p9.7.m7.3.3.1.1.1.1.4.2" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.4.2.1" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.cmml">(</mo><mi id="S3.SS1.p9.7.m7.1.1" xref="S3.SS1.p9.7.m7.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.4.2.2" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS1.p9.7.m7.3.3.1.1.1.3" xref="S3.SS1.p9.7.m7.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p9.7.m7.3.3.1.3" xref="S3.SS1.p9.7.m7.3.3.1.3.cmml">2</mn></msub><mo id="S3.SS1.p9.7.m7.4.4.3" xref="S3.SS1.p9.7.m7.4.4.3.cmml">≈</mo><mrow id="S3.SS1.p9.7.m7.4.4.2" xref="S3.SS1.p9.7.m7.4.4.2.cmml"><msub id="S3.SS1.p9.7.m7.4.4.2.3" xref="S3.SS1.p9.7.m7.4.4.2.3.cmml"><mi id="S3.SS1.p9.7.m7.4.4.2.3.2" xref="S3.SS1.p9.7.m7.4.4.2.3.2.cmml">σ</mi><mi mathvariant="normal" id="S3.SS1.p9.7.m7.4.4.2.3.3" xref="S3.SS1.p9.7.m7.4.4.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.7.m7.4.4.2.2" xref="S3.SS1.p9.7.m7.4.4.2.2.cmml">​</mo><msqrt id="S3.SS1.p9.7.m7.4.4.2.4" xref="S3.SS1.p9.7.m7.4.4.2.4.cmml"><mrow id="S3.SS1.p9.7.m7.4.4.2.4.2" xref="S3.SS1.p9.7.m7.4.4.2.4.2.cmml"><mn id="S3.SS1.p9.7.m7.4.4.2.4.2.2" xref="S3.SS1.p9.7.m7.4.4.2.4.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p9.7.m7.4.4.2.4.2.1" xref="S3.SS1.p9.7.m7.4.4.2.4.2.1.cmml">​</mo><mi id="S3.SS1.p9.7.m7.4.4.2.4.2.3" xref="S3.SS1.p9.7.m7.4.4.2.4.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p9.7.m7.4.4.2.4.2.1a" xref="S3.SS1.p9.7.m7.4.4.2.4.2.1.cmml">​</mo><msub id="S3.SS1.p9.7.m7.4.4.2.4.2.4" xref="S3.SS1.p9.7.m7.4.4.2.4.2.4.cmml"><mi id="S3.SS1.p9.7.m7.4.4.2.4.2.4.2" xref="S3.SS1.p9.7.m7.4.4.2.4.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.SS1.p9.7.m7.4.4.2.4.2.4.3" xref="S3.SS1.p9.7.m7.4.4.2.4.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo lspace="0em" rspace="0em" id="S3.SS1.p9.7.m7.4.4.2.2a" xref="S3.SS1.p9.7.m7.4.4.2.2.cmml">​</mo><msub id="S3.SS1.p9.7.m7.4.4.2.1" xref="S3.SS1.p9.7.m7.4.4.2.1.cmml"><mrow id="S3.SS1.p9.7.m7.4.4.2.1.1.1" xref="S3.SS1.p9.7.m7.4.4.2.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.2" xref="S3.SS1.p9.7.m7.4.4.2.1.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.cmml"><msub id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.cmml"><mi id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.2" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.2" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.1" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.1.cmml">−</mo><mn id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.3" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.1" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.3.2" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.3.2.1" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.cmml">(</mo><mi id="S3.SS1.p9.7.m7.2.2" xref="S3.SS1.p9.7.m7.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.3.2.2" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.3" xref="S3.SS1.p9.7.m7.4.4.2.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p9.7.m7.4.4.2.1.3" xref="S3.SS1.p9.7.m7.4.4.2.1.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.7.m7.4b"><apply id="S3.SS1.p9.7.m7.4.4.cmml" xref="S3.SS1.p9.7.m7.4.4"><approx id="S3.SS1.p9.7.m7.4.4.3.cmml" xref="S3.SS1.p9.7.m7.4.4.3"></approx><apply id="S3.SS1.p9.7.m7.3.3.1.cmml" xref="S3.SS1.p9.7.m7.3.3.1"><csymbol cd="ambiguous" id="S3.SS1.p9.7.m7.3.3.1.2.cmml" xref="S3.SS1.p9.7.m7.3.3.1">subscript</csymbol><apply id="S3.SS1.p9.7.m7.3.3.1.1.2.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1"><csymbol cd="latexml" id="S3.SS1.p9.7.m7.3.3.1.1.2.1.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.2">norm</csymbol><apply id="S3.SS1.p9.7.m7.3.3.1.1.1.1.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1"><times id="S3.SS1.p9.7.m7.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.1"></times><apply id="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.1.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.2">subscript</csymbol><ci id="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.2.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.2">𝑾</ci><ci id="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.3.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.2.3">ℓ</ci></apply><apply id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.1.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3">subscript</csymbol><ci id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.2.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.2">𝒉</ci><apply id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3"><minus id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.1.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.1"></minus><ci id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.2.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.2">ℓ</ci><cn type="integer" id="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.3.cmml" xref="S3.SS1.p9.7.m7.3.3.1.1.1.1.3.3.3">1</cn></apply></apply><ci id="S3.SS1.p9.7.m7.1.1.cmml" xref="S3.SS1.p9.7.m7.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.SS1.p9.7.m7.3.3.1.3.cmml" xref="S3.SS1.p9.7.m7.3.3.1.3">2</cn></apply><apply id="S3.SS1.p9.7.m7.4.4.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2"><times id="S3.SS1.p9.7.m7.4.4.2.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.2"></times><apply id="S3.SS1.p9.7.m7.4.4.2.3.cmml" xref="S3.SS1.p9.7.m7.4.4.2.3"><csymbol cd="ambiguous" id="S3.SS1.p9.7.m7.4.4.2.3.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.3">subscript</csymbol><ci id="S3.SS1.p9.7.m7.4.4.2.3.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.3.2">𝜎</ci><ci id="S3.SS1.p9.7.m7.4.4.2.3.3.cmml" xref="S3.SS1.p9.7.m7.4.4.2.3.3">ℓ</ci></apply><apply id="S3.SS1.p9.7.m7.4.4.2.4.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4"><root id="S3.SS1.p9.7.m7.4.4.2.4a.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4"></root><apply id="S3.SS1.p9.7.m7.4.4.2.4.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2"><times id="S3.SS1.p9.7.m7.4.4.2.4.2.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2.1"></times><cn type="integer" id="S3.SS1.p9.7.m7.4.4.2.4.2.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2.2">0</cn><ci id="S3.SS1.p9.7.m7.4.4.2.4.2.3.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2.3">𝑝</ci><apply id="S3.SS1.p9.7.m7.4.4.2.4.2.4.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2.4"><csymbol cd="ambiguous" id="S3.SS1.p9.7.m7.4.4.2.4.2.4.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2.4">subscript</csymbol><ci id="S3.SS1.p9.7.m7.4.4.2.4.2.4.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2.4.2">𝑡</ci><ci id="S3.SS1.p9.7.m7.4.4.2.4.2.4.3.cmml" xref="S3.SS1.p9.7.m7.4.4.2.4.2.4.3">ℓ</ci></apply></apply></apply><apply id="S3.SS1.p9.7.m7.4.4.2.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1"><csymbol cd="ambiguous" id="S3.SS1.p9.7.m7.4.4.2.1.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1">subscript</csymbol><apply id="S3.SS1.p9.7.m7.4.4.2.1.1.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1"><csymbol cd="latexml" id="S3.SS1.p9.7.m7.4.4.2.1.1.2.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.2">norm</csymbol><apply id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1"><times id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.1"></times><apply id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2">subscript</csymbol><ci id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.2">𝒉</ci><apply id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3"><minus id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.1.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.1"></minus><ci id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.2.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.3.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.SS1.p9.7.m7.2.2.cmml" xref="S3.SS1.p9.7.m7.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.SS1.p9.7.m7.4.4.2.1.3.cmml" xref="S3.SS1.p9.7.m7.4.4.2.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.7.m7.4c">\left|\!\left|{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}\approx\sigma_{\ell}\sqrt{0pt_{\ell}}\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math>,
and it is a standard result in random matrix theory that
<math id="S3.SS1.p9.8.m8.2" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\approx\sigma_{\ell}(\sqrt{0pt_{\ell-1}}+\sqrt{0pt_{\ell}})" display="inline"><semantics id="S3.SS1.p9.8.m8.2a"><mrow id="S3.SS1.p9.8.m8.2.2" xref="S3.SS1.p9.8.m8.2.2.cmml"><msub id="S3.SS1.p9.8.m8.1.1.1" xref="S3.SS1.p9.8.m8.1.1.1.cmml"><mrow id="S3.SS1.p9.8.m8.1.1.1.1.1" xref="S3.SS1.p9.8.m8.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p9.8.m8.1.1.1.1.1.2" xref="S3.SS1.p9.8.m8.1.1.1.1.2.1.cmml">‖</mo><msub id="S3.SS1.p9.8.m8.1.1.1.1.1.1" xref="S3.SS1.p9.8.m8.1.1.1.1.1.1.cmml"><mi id="S3.SS1.p9.8.m8.1.1.1.1.1.1.2" xref="S3.SS1.p9.8.m8.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p9.8.m8.1.1.1.1.1.1.3" xref="S3.SS1.p9.8.m8.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S3.SS1.p9.8.m8.1.1.1.1.1.3" xref="S3.SS1.p9.8.m8.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.SS1.p9.8.m8.1.1.1.3" xref="S3.SS1.p9.8.m8.1.1.1.3.cmml">∗</mo></msub><mo id="S3.SS1.p9.8.m8.2.2.3" xref="S3.SS1.p9.8.m8.2.2.3.cmml">≈</mo><mrow id="S3.SS1.p9.8.m8.2.2.2" xref="S3.SS1.p9.8.m8.2.2.2.cmml"><msub id="S3.SS1.p9.8.m8.2.2.2.3" xref="S3.SS1.p9.8.m8.2.2.2.3.cmml"><mi id="S3.SS1.p9.8.m8.2.2.2.3.2" xref="S3.SS1.p9.8.m8.2.2.2.3.2.cmml">σ</mi><mi mathvariant="normal" id="S3.SS1.p9.8.m8.2.2.2.3.3" xref="S3.SS1.p9.8.m8.2.2.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p9.8.m8.2.2.2.2" xref="S3.SS1.p9.8.m8.2.2.2.2.cmml">​</mo><mrow id="S3.SS1.p9.8.m8.2.2.2.1.1" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p9.8.m8.2.2.2.1.1.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.cmml">(</mo><mrow id="S3.SS1.p9.8.m8.2.2.2.1.1.1" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.cmml"><msqrt id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.cmml"><mrow id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.cmml"><mn id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.1" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.1.cmml">​</mo><mi id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.3" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.1a" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.1.cmml">​</mo><msub id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.cmml"><mi id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.2.cmml">t</mi><mrow id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.cmml"><mi mathvariant="normal" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.2.cmml">ℓ</mi><mo id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.1" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.1.cmml">−</mo><mn id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.3" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo id="S3.SS1.p9.8.m8.2.2.2.1.1.1.1" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.1.cmml">+</mo><msqrt id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.cmml"><mrow id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.cmml"><mn id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.1" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.1.cmml">​</mo><mi id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.3" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.1a" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.1.cmml">​</mo><msub id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.cmml"><mi id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.2" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.3" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt></mrow><mo stretchy="false" id="S3.SS1.p9.8.m8.2.2.2.1.1.3" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p9.8.m8.2b"><apply id="S3.SS1.p9.8.m8.2.2.cmml" xref="S3.SS1.p9.8.m8.2.2"><approx id="S3.SS1.p9.8.m8.2.2.3.cmml" xref="S3.SS1.p9.8.m8.2.2.3"></approx><apply id="S3.SS1.p9.8.m8.1.1.1.cmml" xref="S3.SS1.p9.8.m8.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.8.m8.1.1.1.2.cmml" xref="S3.SS1.p9.8.m8.1.1.1">subscript</csymbol><apply id="S3.SS1.p9.8.m8.1.1.1.1.2.cmml" xref="S3.SS1.p9.8.m8.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS1.p9.8.m8.1.1.1.1.2.1.cmml" xref="S3.SS1.p9.8.m8.1.1.1.1.1.2">norm</csymbol><apply id="S3.SS1.p9.8.m8.1.1.1.1.1.1.cmml" xref="S3.SS1.p9.8.m8.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.p9.8.m8.1.1.1.1.1.1.1.cmml" xref="S3.SS1.p9.8.m8.1.1.1.1.1.1">subscript</csymbol><ci id="S3.SS1.p9.8.m8.1.1.1.1.1.1.2.cmml" xref="S3.SS1.p9.8.m8.1.1.1.1.1.1.2">𝑾</ci><ci id="S3.SS1.p9.8.m8.1.1.1.1.1.1.3.cmml" xref="S3.SS1.p9.8.m8.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.SS1.p9.8.m8.1.1.1.3.cmml" xref="S3.SS1.p9.8.m8.1.1.1.3"></times></apply><apply id="S3.SS1.p9.8.m8.2.2.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2"><times id="S3.SS1.p9.8.m8.2.2.2.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.2"></times><apply id="S3.SS1.p9.8.m8.2.2.2.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.3"><csymbol cd="ambiguous" id="S3.SS1.p9.8.m8.2.2.2.3.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.3">subscript</csymbol><ci id="S3.SS1.p9.8.m8.2.2.2.3.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.3.2">𝜎</ci><ci id="S3.SS1.p9.8.m8.2.2.2.3.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.3.3">ℓ</ci></apply><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1"><plus id="S3.SS1.p9.8.m8.2.2.2.1.1.1.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.1"></plus><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2"><root id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2a.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2"></root><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2"><times id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.1"></times><cn type="integer" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.2">0</cn><ci id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.3">𝑝</ci><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4"><csymbol cd="ambiguous" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4">subscript</csymbol><ci id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.2">𝑡</ci><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3"><minus id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.1"></minus><ci id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.2">ℓ</ci><cn type="integer" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.2.2.4.3.3">1</cn></apply></apply></apply></apply><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3"><root id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3a.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3"></root><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2"><times id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.1"></times><cn type="integer" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.2">0</cn><ci id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.3">𝑝</ci><apply id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4"><csymbol cd="ambiguous" id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.1.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4">subscript</csymbol><ci id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.2.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.2">𝑡</ci><ci id="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.3.cmml" xref="S3.SS1.p9.8.m8.2.2.2.1.1.1.3.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p9.8.m8.2c">\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\approx\sigma_{\ell}(\sqrt{0pt_{\ell-1}}+\sqrt{0pt_{\ell}})</annotation></semantics></math>
<cite class="ltx_cite ltx_citemacro_citep">(Rudelson &amp; Vershynin, <a href="#bib.bib37" title="" class="ltx_ref">2010</a>, Vershynin, <a href="#bib.bib42" title="" class="ltx_ref">2018</a>)</cite>.
<a href="#Thmclaim1" title="Claim 1 (Alignment of initial weight matrices). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> for Gaussian intialization follows by combining these results.</p>
</div>
<div id="S3.SS1.p10" class="ltx_para ltx_noindent">
<p id="S3.SS1.p10.1" class="ltx_p"><a href="#Thmclaim2" title="Claim 2 (Alignment of updates). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> is easily verified as follows.
Observe that we can write the update at layer <math id="S3.SS1.p10.1.m1.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="S3.SS1.p10.1.m1.1a"><mi mathvariant="normal" id="S3.SS1.p10.1.m1.1.1" xref="S3.SS1.p10.1.m1.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p10.1.m1.1b"><ci id="S3.SS1.p10.1.m1.1.1.cmml" xref="S3.SS1.p10.1.m1.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p10.1.m1.1c">\ell</annotation></semantics></math> as the outer-product:</p>
<table id="S3.E6" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E6.m1.3" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}=-\eta_{\ell}\cdot\nabla_{{\bm{h}}_{\ell}({\bm{x}})}\mathcal{L}\cdot{\bm{h}}_{\ell-1}({\bm{x}})^{\top}." display="block"><semantics id="S3.E6.m1.3a"><mrow id="S3.E6.m1.3.3.1" xref="S3.E6.m1.3.3.1.1.cmml"><mrow id="S3.E6.m1.3.3.1.1" xref="S3.E6.m1.3.3.1.1.cmml"><mrow id="S3.E6.m1.3.3.1.1.2" xref="S3.E6.m1.3.3.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E6.m1.3.3.1.1.2.2" xref="S3.E6.m1.3.3.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E6.m1.3.3.1.1.2.1" xref="S3.E6.m1.3.3.1.1.2.1.cmml">​</mo><msub id="S3.E6.m1.3.3.1.1.2.3" xref="S3.E6.m1.3.3.1.1.2.3.cmml"><mi id="S3.E6.m1.3.3.1.1.2.3.2" xref="S3.E6.m1.3.3.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E6.m1.3.3.1.1.2.3.3" xref="S3.E6.m1.3.3.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="S3.E6.m1.3.3.1.1.1" xref="S3.E6.m1.3.3.1.1.1.cmml">=</mo><mrow id="S3.E6.m1.3.3.1.1.3" xref="S3.E6.m1.3.3.1.1.3.cmml"><mo id="S3.E6.m1.3.3.1.1.3a" xref="S3.E6.m1.3.3.1.1.3.cmml">−</mo><mrow id="S3.E6.m1.3.3.1.1.3.2" xref="S3.E6.m1.3.3.1.1.3.2.cmml"><mrow id="S3.E6.m1.3.3.1.1.3.2.2" xref="S3.E6.m1.3.3.1.1.3.2.2.cmml"><msub id="S3.E6.m1.3.3.1.1.3.2.2.2" xref="S3.E6.m1.3.3.1.1.3.2.2.2.cmml"><mi id="S3.E6.m1.3.3.1.1.3.2.2.2.2" xref="S3.E6.m1.3.3.1.1.3.2.2.2.2.cmml">η</mi><mi mathvariant="normal" id="S3.E6.m1.3.3.1.1.3.2.2.2.3" xref="S3.E6.m1.3.3.1.1.3.2.2.2.3.cmml">ℓ</mi></msub><mo lspace="0.222em" rspace="0.222em" id="S3.E6.m1.3.3.1.1.3.2.2.1" xref="S3.E6.m1.3.3.1.1.3.2.2.1.cmml">⋅</mo><mrow id="S3.E6.m1.3.3.1.1.3.2.2.3" xref="S3.E6.m1.3.3.1.1.3.2.2.3.cmml"><msub id="S3.E6.m1.3.3.1.1.3.2.2.3.1" xref="S3.E6.m1.3.3.1.1.3.2.2.3.1.cmml"><mo rspace="0.167em" id="S3.E6.m1.3.3.1.1.3.2.2.3.1.2" xref="S3.E6.m1.3.3.1.1.3.2.2.3.1.2.cmml">∇</mo><mrow id="S3.E6.m1.1.1.1" xref="S3.E6.m1.1.1.1.cmml"><msub id="S3.E6.m1.1.1.1.3" xref="S3.E6.m1.1.1.1.3.cmml"><mi id="S3.E6.m1.1.1.1.3.2" xref="S3.E6.m1.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E6.m1.1.1.1.3.3" xref="S3.E6.m1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E6.m1.1.1.1.2" xref="S3.E6.m1.1.1.1.2.cmml">​</mo><mrow id="S3.E6.m1.1.1.1.4.2" xref="S3.E6.m1.1.1.1.cmml"><mo stretchy="false" id="S3.E6.m1.1.1.1.4.2.1" xref="S3.E6.m1.1.1.1.cmml">(</mo><mi id="S3.E6.m1.1.1.1.1" xref="S3.E6.m1.1.1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E6.m1.1.1.1.4.2.2" xref="S3.E6.m1.1.1.1.cmml">)</mo></mrow></mrow></msub><mrow id="S3.E6.m1.3.3.1.1.3.2.2.3.2" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.E6.m1.3.3.1.1.3.2.2.3.2.2" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.2.cmml">ℒ</mi><mo lspace="0.222em" rspace="0.222em" id="S3.E6.m1.3.3.1.1.3.2.2.3.2.1" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.1.cmml">⋅</mo><msub id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.cmml"><mi id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.2" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.2.cmml">𝒉</mi><mrow id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.cmml"><mi mathvariant="normal" id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.2" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.2.cmml">ℓ</mi><mo id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.1" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.1.cmml">−</mo><mn id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.3" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.3.cmml">1</mn></mrow></msub></mrow></mrow></mrow><mo lspace="0em" rspace="0em" id="S3.E6.m1.3.3.1.1.3.2.1" xref="S3.E6.m1.3.3.1.1.3.2.1.cmml">​</mo><msup id="S3.E6.m1.3.3.1.1.3.2.3" xref="S3.E6.m1.3.3.1.1.3.2.3.cmml"><mrow id="S3.E6.m1.3.3.1.1.3.2.3.2.2" xref="S3.E6.m1.3.3.1.1.3.2.3.cmml"><mo stretchy="false" id="S3.E6.m1.3.3.1.1.3.2.3.2.2.1" xref="S3.E6.m1.3.3.1.1.3.2.3.cmml">(</mo><mi id="S3.E6.m1.2.2" xref="S3.E6.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E6.m1.3.3.1.1.3.2.3.2.2.2" xref="S3.E6.m1.3.3.1.1.3.2.3.cmml">)</mo></mrow><mo id="S3.E6.m1.3.3.1.1.3.2.3.3" xref="S3.E6.m1.3.3.1.1.3.2.3.3.cmml">⊤</mo></msup></mrow></mrow></mrow><mo lspace="0em" id="S3.E6.m1.3.3.1.2" xref="S3.E6.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E6.m1.3b"><apply id="S3.E6.m1.3.3.1.1.cmml" xref="S3.E6.m1.3.3.1"><eq id="S3.E6.m1.3.3.1.1.1.cmml" xref="S3.E6.m1.3.3.1.1.1"></eq><apply id="S3.E6.m1.3.3.1.1.2.cmml" xref="S3.E6.m1.3.3.1.1.2"><times id="S3.E6.m1.3.3.1.1.2.1.cmml" xref="S3.E6.m1.3.3.1.1.2.1"></times><ci id="S3.E6.m1.3.3.1.1.2.2.cmml" xref="S3.E6.m1.3.3.1.1.2.2">Δ</ci><apply id="S3.E6.m1.3.3.1.1.2.3.cmml" xref="S3.E6.m1.3.3.1.1.2.3"><csymbol cd="ambiguous" id="S3.E6.m1.3.3.1.1.2.3.1.cmml" xref="S3.E6.m1.3.3.1.1.2.3">subscript</csymbol><ci id="S3.E6.m1.3.3.1.1.2.3.2.cmml" xref="S3.E6.m1.3.3.1.1.2.3.2">𝑾</ci><ci id="S3.E6.m1.3.3.1.1.2.3.3.cmml" xref="S3.E6.m1.3.3.1.1.2.3.3">ℓ</ci></apply></apply><apply id="S3.E6.m1.3.3.1.1.3.cmml" xref="S3.E6.m1.3.3.1.1.3"><minus id="S3.E6.m1.3.3.1.1.3.1.cmml" xref="S3.E6.m1.3.3.1.1.3"></minus><apply id="S3.E6.m1.3.3.1.1.3.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2"><times id="S3.E6.m1.3.3.1.1.3.2.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.1"></times><apply id="S3.E6.m1.3.3.1.1.3.2.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2"><ci id="S3.E6.m1.3.3.1.1.3.2.2.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.1">⋅</ci><apply id="S3.E6.m1.3.3.1.1.3.2.2.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.2"><csymbol cd="ambiguous" id="S3.E6.m1.3.3.1.1.3.2.2.2.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.2">subscript</csymbol><ci id="S3.E6.m1.3.3.1.1.3.2.2.2.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.2.2">𝜂</ci><ci id="S3.E6.m1.3.3.1.1.3.2.2.2.3.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.2.3">ℓ</ci></apply><apply id="S3.E6.m1.3.3.1.1.3.2.2.3.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3"><apply id="S3.E6.m1.3.3.1.1.3.2.2.3.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.1"><csymbol cd="ambiguous" id="S3.E6.m1.3.3.1.1.3.2.2.3.1.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.1">subscript</csymbol><ci id="S3.E6.m1.3.3.1.1.3.2.2.3.1.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.1.2">∇</ci><apply id="S3.E6.m1.1.1.1.cmml" xref="S3.E6.m1.1.1.1"><times id="S3.E6.m1.1.1.1.2.cmml" xref="S3.E6.m1.1.1.1.2"></times><apply id="S3.E6.m1.1.1.1.3.cmml" xref="S3.E6.m1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E6.m1.1.1.1.3.1.cmml" xref="S3.E6.m1.1.1.1.3">subscript</csymbol><ci id="S3.E6.m1.1.1.1.3.2.cmml" xref="S3.E6.m1.1.1.1.3.2">𝒉</ci><ci id="S3.E6.m1.1.1.1.3.3.cmml" xref="S3.E6.m1.1.1.1.3.3">ℓ</ci></apply><ci id="S3.E6.m1.1.1.1.1.cmml" xref="S3.E6.m1.1.1.1.1">𝒙</ci></apply></apply><apply id="S3.E6.m1.3.3.1.1.3.2.2.3.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2"><ci id="S3.E6.m1.3.3.1.1.3.2.2.3.2.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.1">⋅</ci><ci id="S3.E6.m1.3.3.1.1.3.2.2.3.2.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.2">ℒ</ci><apply id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3"><csymbol cd="ambiguous" id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3">subscript</csymbol><ci id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.2">𝒉</ci><apply id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3"><minus id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.1"></minus><ci id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.2.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.2">ℓ</ci><cn type="integer" id="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.3.cmml" xref="S3.E6.m1.3.3.1.1.3.2.2.3.2.3.3.3">1</cn></apply></apply></apply></apply></apply><apply id="S3.E6.m1.3.3.1.1.3.2.3.cmml" xref="S3.E6.m1.3.3.1.1.3.2.3"><csymbol cd="ambiguous" id="S3.E6.m1.3.3.1.1.3.2.3.1.cmml" xref="S3.E6.m1.3.3.1.1.3.2.3">superscript</csymbol><ci id="S3.E6.m1.2.2.cmml" xref="S3.E6.m1.2.2">𝒙</ci><csymbol cd="latexml" id="S3.E6.m1.3.3.1.1.3.2.3.3.cmml" xref="S3.E6.m1.3.3.1.1.3.2.3.3">top</csymbol></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E6.m1.3c">\Delta\!{\bm{W}}_{\ell}=-\eta_{\ell}\cdot\nabla_{{\bm{h}}_{\ell}({\bm{x}})}\mathcal{L}\cdot{\bm{h}}_{\ell-1}({\bm{x}})^{\top}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(6)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p10.3" class="ltx_p">So the update <math id="S3.SS1.p10.2.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.p10.2.m1.1a"><mrow id="S3.SS1.p10.2.m1.1.1" xref="S3.SS1.p10.2.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS1.p10.2.m1.1.1.2" xref="S3.SS1.p10.2.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS1.p10.2.m1.1.1.1" xref="S3.SS1.p10.2.m1.1.1.1.cmml">​</mo><msub id="S3.SS1.p10.2.m1.1.1.3" xref="S3.SS1.p10.2.m1.1.1.3.cmml"><mi id="S3.SS1.p10.2.m1.1.1.3.2" xref="S3.SS1.p10.2.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p10.2.m1.1.1.3.3" xref="S3.SS1.p10.2.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p10.2.m1.1b"><apply id="S3.SS1.p10.2.m1.1.1.cmml" xref="S3.SS1.p10.2.m1.1.1"><times id="S3.SS1.p10.2.m1.1.1.1.cmml" xref="S3.SS1.p10.2.m1.1.1.1"></times><ci id="S3.SS1.p10.2.m1.1.1.2.cmml" xref="S3.SS1.p10.2.m1.1.1.2">Δ</ci><apply id="S3.SS1.p10.2.m1.1.1.3.cmml" xref="S3.SS1.p10.2.m1.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p10.2.m1.1.1.3.1.cmml" xref="S3.SS1.p10.2.m1.1.1.3">subscript</csymbol><ci id="S3.SS1.p10.2.m1.1.1.3.2.cmml" xref="S3.SS1.p10.2.m1.1.1.3.2">𝑾</ci><ci id="S3.SS1.p10.2.m1.1.1.3.3.cmml" xref="S3.SS1.p10.2.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p10.2.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> is rank-one with right singular vector <math id="S3.SS1.p10.3.m2.1" class="ltx_Math" alttext="{\bm{h}}_{\ell-1}({\bm{x}})" display="inline"><semantics id="S3.SS1.p10.3.m2.1a"><mrow id="S3.SS1.p10.3.m2.1.2" xref="S3.SS1.p10.3.m2.1.2.cmml"><msub id="S3.SS1.p10.3.m2.1.2.2" xref="S3.SS1.p10.3.m2.1.2.2.cmml"><mi id="S3.SS1.p10.3.m2.1.2.2.2" xref="S3.SS1.p10.3.m2.1.2.2.2.cmml">𝒉</mi><mrow id="S3.SS1.p10.3.m2.1.2.2.3" xref="S3.SS1.p10.3.m2.1.2.2.3.cmml"><mi mathvariant="normal" id="S3.SS1.p10.3.m2.1.2.2.3.2" xref="S3.SS1.p10.3.m2.1.2.2.3.2.cmml">ℓ</mi><mo id="S3.SS1.p10.3.m2.1.2.2.3.1" xref="S3.SS1.p10.3.m2.1.2.2.3.1.cmml">−</mo><mn id="S3.SS1.p10.3.m2.1.2.2.3.3" xref="S3.SS1.p10.3.m2.1.2.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p10.3.m2.1.2.1" xref="S3.SS1.p10.3.m2.1.2.1.cmml">​</mo><mrow id="S3.SS1.p10.3.m2.1.2.3.2" xref="S3.SS1.p10.3.m2.1.2.cmml"><mo stretchy="false" id="S3.SS1.p10.3.m2.1.2.3.2.1" xref="S3.SS1.p10.3.m2.1.2.cmml">(</mo><mi id="S3.SS1.p10.3.m2.1.1" xref="S3.SS1.p10.3.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p10.3.m2.1.2.3.2.2" xref="S3.SS1.p10.3.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p10.3.m2.1b"><apply id="S3.SS1.p10.3.m2.1.2.cmml" xref="S3.SS1.p10.3.m2.1.2"><times id="S3.SS1.p10.3.m2.1.2.1.cmml" xref="S3.SS1.p10.3.m2.1.2.1"></times><apply id="S3.SS1.p10.3.m2.1.2.2.cmml" xref="S3.SS1.p10.3.m2.1.2.2"><csymbol cd="ambiguous" id="S3.SS1.p10.3.m2.1.2.2.1.cmml" xref="S3.SS1.p10.3.m2.1.2.2">subscript</csymbol><ci id="S3.SS1.p10.3.m2.1.2.2.2.cmml" xref="S3.SS1.p10.3.m2.1.2.2.2">𝒉</ci><apply id="S3.SS1.p10.3.m2.1.2.2.3.cmml" xref="S3.SS1.p10.3.m2.1.2.2.3"><minus id="S3.SS1.p10.3.m2.1.2.2.3.1.cmml" xref="S3.SS1.p10.3.m2.1.2.2.3.1"></minus><ci id="S3.SS1.p10.3.m2.1.2.2.3.2.cmml" xref="S3.SS1.p10.3.m2.1.2.2.3.2">ℓ</ci><cn type="integer" id="S3.SS1.p10.3.m2.1.2.2.3.3.cmml" xref="S3.SS1.p10.3.m2.1.2.2.3.3">1</cn></apply></apply><ci id="S3.SS1.p10.3.m2.1.1.cmml" xref="S3.SS1.p10.3.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p10.3.m2.1c">{\bm{h}}_{\ell-1}({\bm{x}})</annotation></semantics></math>.
To verify the claim, observe that:</p>
<table id="S3.E7" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E7.m1.5" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\eta_{\ell}\cdot\left|\!\left|\nabla_{{\bm{h}}_{\ell}({\bm{x}})}\mathcal{L}\right|\!\right|_{2}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}^{2}=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}." display="block"><semantics id="S3.E7.m1.5a"><mrow id="S3.E7.m1.5.5.1" xref="S3.E7.m1.5.5.1.1.cmml"><mrow id="S3.E7.m1.5.5.1.1" xref="S3.E7.m1.5.5.1.1.cmml"><msub id="S3.E7.m1.5.5.1.1.1" xref="S3.E7.m1.5.5.1.1.1.cmml"><mrow id="S3.E7.m1.5.5.1.1.1.1.1" xref="S3.E7.m1.5.5.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.1.1.1.2" xref="S3.E7.m1.5.5.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.E7.m1.5.5.1.1.1.1.1.1" xref="S3.E7.m1.5.5.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.1.1.1.1.2" xref="S3.E7.m1.5.5.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E7.m1.5.5.1.1.1.1.1.1.1" xref="S3.E7.m1.5.5.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.E7.m1.5.5.1.1.1.1.1.1.3" xref="S3.E7.m1.5.5.1.1.1.1.1.1.3.cmml"><mi id="S3.E7.m1.5.5.1.1.1.1.1.1.3.2" xref="S3.E7.m1.5.5.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.1.1.1.1.3.3" xref="S3.E7.m1.5.5.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E7.m1.5.5.1.1.1.1.1.1.1a" xref="S3.E7.m1.5.5.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.E7.m1.5.5.1.1.1.1.1.1.4" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.cmml"><mi id="S3.E7.m1.5.5.1.1.1.1.1.1.4.2" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.2.cmml">𝒉</mi><mrow id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.cmml"><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.2" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.2.cmml">ℓ</mi><mo id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.1" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.1.cmml">−</mo><mn id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.3" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E7.m1.5.5.1.1.1.1.1.1.1b" xref="S3.E7.m1.5.5.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.E7.m1.5.5.1.1.1.1.1.1.5.2" xref="S3.E7.m1.5.5.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.1.1.1.1.5.2.1" xref="S3.E7.m1.5.5.1.1.1.1.1.1.cmml">(</mo><mi id="S3.E7.m1.2.2" xref="S3.E7.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E7.m1.5.5.1.1.1.1.1.1.5.2.2" xref="S3.E7.m1.5.5.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E7.m1.5.5.1.1.1.1.1.3" xref="S3.E7.m1.5.5.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.E7.m1.5.5.1.1.1.3" xref="S3.E7.m1.5.5.1.1.1.3.cmml">2</mn></msub><mo id="S3.E7.m1.5.5.1.1.7" xref="S3.E7.m1.5.5.1.1.7.cmml">=</mo><mrow id="S3.E7.m1.5.5.1.1.3" xref="S3.E7.m1.5.5.1.1.3.cmml"><msub id="S3.E7.m1.5.5.1.1.3.4" xref="S3.E7.m1.5.5.1.1.3.4.cmml"><mi id="S3.E7.m1.5.5.1.1.3.4.2" xref="S3.E7.m1.5.5.1.1.3.4.2.cmml">η</mi><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.3.4.3" xref="S3.E7.m1.5.5.1.1.3.4.3.cmml">ℓ</mi></msub><mo lspace="0.222em" rspace="0.222em" id="S3.E7.m1.5.5.1.1.3.3" xref="S3.E7.m1.5.5.1.1.3.3.cmml">⋅</mo><msub id="S3.E7.m1.5.5.1.1.2.1" xref="S3.E7.m1.5.5.1.1.2.1.cmml"><mrow id="S3.E7.m1.5.5.1.1.2.1.1.1" xref="S3.E7.m1.5.5.1.1.2.1.1.2.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.2.1.1.1.2" xref="S3.E7.m1.5.5.1.1.2.1.1.2.1.cmml">‖</mo><mrow id="S3.E7.m1.5.5.1.1.2.1.1.1.1" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.cmml"><msub id="S3.E7.m1.5.5.1.1.2.1.1.1.1.1" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.1.cmml"><mo rspace="0.167em" id="S3.E7.m1.5.5.1.1.2.1.1.1.1.1.2" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.1.2.cmml">∇</mo><mrow id="S3.E7.m1.1.1.1" xref="S3.E7.m1.1.1.1.cmml"><msub id="S3.E7.m1.1.1.1.3" xref="S3.E7.m1.1.1.1.3.cmml"><mi id="S3.E7.m1.1.1.1.3.2" xref="S3.E7.m1.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E7.m1.1.1.1.3.3" xref="S3.E7.m1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E7.m1.1.1.1.2" xref="S3.E7.m1.1.1.1.2.cmml">​</mo><mrow id="S3.E7.m1.1.1.1.4.2" xref="S3.E7.m1.1.1.1.cmml"><mo stretchy="false" id="S3.E7.m1.1.1.1.4.2.1" xref="S3.E7.m1.1.1.1.cmml">(</mo><mi id="S3.E7.m1.1.1.1.1" xref="S3.E7.m1.1.1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E7.m1.1.1.1.4.2.2" xref="S3.E7.m1.1.1.1.cmml">)</mo></mrow></mrow></msub><mi class="ltx_font_mathcaligraphic" id="S3.E7.m1.5.5.1.1.2.1.1.1.1.2" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.2.cmml">ℒ</mi></mrow><mo rspace="0.055em" stretchy="false" id="S3.E7.m1.5.5.1.1.2.1.1.1.3" xref="S3.E7.m1.5.5.1.1.2.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.E7.m1.5.5.1.1.2.1.3" xref="S3.E7.m1.5.5.1.1.2.1.3.cmml">2</mn></msub><mo rspace="0.222em" id="S3.E7.m1.5.5.1.1.3.3a" xref="S3.E7.m1.5.5.1.1.3.3.cmml">⋅</mo><msubsup id="S3.E7.m1.5.5.1.1.3.2" xref="S3.E7.m1.5.5.1.1.3.2.cmml"><mrow id="S3.E7.m1.5.5.1.1.3.2.1.1.1" xref="S3.E7.m1.5.5.1.1.3.2.1.1.2.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.2" xref="S3.E7.m1.5.5.1.1.3.2.1.1.2.1.cmml">‖</mo><mrow id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.cmml"><msub id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.cmml"><mi id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.2" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.2" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.1" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.1.cmml">−</mo><mn id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.3" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.1" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.1.cmml">​</mo><mrow id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.3.2" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.3.2.1" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.cmml">(</mo><mi id="S3.E7.m1.3.3" xref="S3.E7.m1.3.3.cmml">𝒙</mi><mo stretchy="false" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.3.2.2" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.3" xref="S3.E7.m1.5.5.1.1.3.2.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.E7.m1.5.5.1.1.3.2.1.3" xref="S3.E7.m1.5.5.1.1.3.2.1.3.cmml">2</mn><mn id="S3.E7.m1.5.5.1.1.3.2.3" xref="S3.E7.m1.5.5.1.1.3.2.3.cmml">2</mn></msubsup></mrow><mo id="S3.E7.m1.5.5.1.1.8" xref="S3.E7.m1.5.5.1.1.8.cmml">=</mo><mrow id="S3.E7.m1.5.5.1.1.5" xref="S3.E7.m1.5.5.1.1.5.cmml"><msub id="S3.E7.m1.5.5.1.1.4.1" xref="S3.E7.m1.5.5.1.1.4.1.cmml"><mrow id="S3.E7.m1.5.5.1.1.4.1.1.1" xref="S3.E7.m1.5.5.1.1.4.1.1.2.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.4.1.1.1.2" xref="S3.E7.m1.5.5.1.1.4.1.1.2.1.cmml">‖</mo><mrow id="S3.E7.m1.5.5.1.1.4.1.1.1.1" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.4.1.1.1.1.2" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E7.m1.5.5.1.1.4.1.1.1.1.1" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.1.cmml">​</mo><msub id="S3.E7.m1.5.5.1.1.4.1.1.1.1.3" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.cmml"><mi id="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.2" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.3" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.E7.m1.5.5.1.1.4.1.1.1.3" xref="S3.E7.m1.5.5.1.1.4.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E7.m1.5.5.1.1.4.1.3" xref="S3.E7.m1.5.5.1.1.4.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E7.m1.5.5.1.1.5.3" xref="S3.E7.m1.5.5.1.1.5.3.cmml">⋅</mo><msub id="S3.E7.m1.5.5.1.1.5.2" xref="S3.E7.m1.5.5.1.1.5.2.cmml"><mrow id="S3.E7.m1.5.5.1.1.5.2.1.1" xref="S3.E7.m1.5.5.1.1.5.2.1.2.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.5.2.1.1.2" xref="S3.E7.m1.5.5.1.1.5.2.1.2.1.cmml">‖</mo><mrow id="S3.E7.m1.5.5.1.1.5.2.1.1.1" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.cmml"><msub id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.cmml"><mi id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.2" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.2" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.1" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.3" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E7.m1.5.5.1.1.5.2.1.1.1.1" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.1.cmml">​</mo><mrow id="S3.E7.m1.5.5.1.1.5.2.1.1.1.3.2" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.cmml"><mo stretchy="false" id="S3.E7.m1.5.5.1.1.5.2.1.1.1.3.2.1" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.cmml">(</mo><mi id="S3.E7.m1.4.4" xref="S3.E7.m1.4.4.cmml">𝒙</mi><mo stretchy="false" id="S3.E7.m1.5.5.1.1.5.2.1.1.1.3.2.2" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E7.m1.5.5.1.1.5.2.1.1.3" xref="S3.E7.m1.5.5.1.1.5.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E7.m1.5.5.1.1.5.2.3" xref="S3.E7.m1.5.5.1.1.5.2.3.cmml">2</mn></msub></mrow></mrow><mo lspace="0em" id="S3.E7.m1.5.5.1.2" xref="S3.E7.m1.5.5.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E7.m1.5b"><apply id="S3.E7.m1.5.5.1.1.cmml" xref="S3.E7.m1.5.5.1"><and id="S3.E7.m1.5.5.1.1a.cmml" xref="S3.E7.m1.5.5.1"></and><apply id="S3.E7.m1.5.5.1.1b.cmml" xref="S3.E7.m1.5.5.1"><eq id="S3.E7.m1.5.5.1.1.7.cmml" xref="S3.E7.m1.5.5.1.1.7"></eq><apply id="S3.E7.m1.5.5.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.1"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.1">subscript</csymbol><apply id="S3.E7.m1.5.5.1.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1"><csymbol cd="latexml" id="S3.E7.m1.5.5.1.1.1.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.2">norm</csymbol><apply id="S3.E7.m1.5.5.1.1.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1"><times id="S3.E7.m1.5.5.1.1.1.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.1"></times><ci id="S3.E7.m1.5.5.1.1.1.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.2">Δ</ci><apply id="S3.E7.m1.5.5.1.1.1.1.1.1.3.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.1.1.1.1.3.1.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.E7.m1.5.5.1.1.1.1.1.1.3.2.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.E7.m1.5.5.1.1.1.1.1.1.3.3.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.3.3">ℓ</ci></apply><apply id="S3.E7.m1.5.5.1.1.1.1.1.1.4.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.1.1.1.1.4.1.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4">subscript</csymbol><ci id="S3.E7.m1.5.5.1.1.1.1.1.1.4.2.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.2">𝒉</ci><apply id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3"><minus id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.1.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.1"></minus><ci id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.2.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.3.cmml" xref="S3.E7.m1.5.5.1.1.1.1.1.1.4.3.3">1</cn></apply></apply><ci id="S3.E7.m1.2.2.cmml" xref="S3.E7.m1.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.E7.m1.5.5.1.1.1.3.cmml" xref="S3.E7.m1.5.5.1.1.1.3">2</cn></apply><apply id="S3.E7.m1.5.5.1.1.3.cmml" xref="S3.E7.m1.5.5.1.1.3"><ci id="S3.E7.m1.5.5.1.1.3.3.cmml" xref="S3.E7.m1.5.5.1.1.3.3">⋅</ci><apply id="S3.E7.m1.5.5.1.1.3.4.cmml" xref="S3.E7.m1.5.5.1.1.3.4"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.3.4.1.cmml" xref="S3.E7.m1.5.5.1.1.3.4">subscript</csymbol><ci id="S3.E7.m1.5.5.1.1.3.4.2.cmml" xref="S3.E7.m1.5.5.1.1.3.4.2">𝜂</ci><ci id="S3.E7.m1.5.5.1.1.3.4.3.cmml" xref="S3.E7.m1.5.5.1.1.3.4.3">ℓ</ci></apply><apply id="S3.E7.m1.5.5.1.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.2.1"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.2.1.2.cmml" xref="S3.E7.m1.5.5.1.1.2.1">subscript</csymbol><apply id="S3.E7.m1.5.5.1.1.2.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.2.1.1.1"><csymbol cd="latexml" id="S3.E7.m1.5.5.1.1.2.1.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.2.1.1.1.2">norm</csymbol><apply id="S3.E7.m1.5.5.1.1.2.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1"><apply id="S3.E7.m1.5.5.1.1.2.1.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.2.1.1.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.1">subscript</csymbol><ci id="S3.E7.m1.5.5.1.1.2.1.1.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.1.2">∇</ci><apply id="S3.E7.m1.1.1.1.cmml" xref="S3.E7.m1.1.1.1"><times id="S3.E7.m1.1.1.1.2.cmml" xref="S3.E7.m1.1.1.1.2"></times><apply id="S3.E7.m1.1.1.1.3.cmml" xref="S3.E7.m1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E7.m1.1.1.1.3.1.cmml" xref="S3.E7.m1.1.1.1.3">subscript</csymbol><ci id="S3.E7.m1.1.1.1.3.2.cmml" xref="S3.E7.m1.1.1.1.3.2">𝒉</ci><ci id="S3.E7.m1.1.1.1.3.3.cmml" xref="S3.E7.m1.1.1.1.3.3">ℓ</ci></apply><ci id="S3.E7.m1.1.1.1.1.cmml" xref="S3.E7.m1.1.1.1.1">𝒙</ci></apply></apply><ci id="S3.E7.m1.5.5.1.1.2.1.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.2.1.1.1.1.2">ℒ</ci></apply></apply><cn type="integer" id="S3.E7.m1.5.5.1.1.2.1.3.cmml" xref="S3.E7.m1.5.5.1.1.2.1.3">2</cn></apply><apply id="S3.E7.m1.5.5.1.1.3.2.cmml" xref="S3.E7.m1.5.5.1.1.3.2"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.3.2.2.cmml" xref="S3.E7.m1.5.5.1.1.3.2">superscript</csymbol><apply id="S3.E7.m1.5.5.1.1.3.2.1.cmml" xref="S3.E7.m1.5.5.1.1.3.2"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.3.2.1.2.cmml" xref="S3.E7.m1.5.5.1.1.3.2">subscript</csymbol><apply id="S3.E7.m1.5.5.1.1.3.2.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1"><csymbol cd="latexml" id="S3.E7.m1.5.5.1.1.3.2.1.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.2">norm</csymbol><apply id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1"><times id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.1"></times><apply id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2">subscript</csymbol><ci id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.2.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.2">𝒉</ci><apply id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3"><minus id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.1.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.1"></minus><ci id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.2.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.3.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.E7.m1.3.3.cmml" xref="S3.E7.m1.3.3">𝒙</ci></apply></apply><cn type="integer" id="S3.E7.m1.5.5.1.1.3.2.1.3.cmml" xref="S3.E7.m1.5.5.1.1.3.2.1.3">2</cn></apply><cn type="integer" id="S3.E7.m1.5.5.1.1.3.2.3.cmml" xref="S3.E7.m1.5.5.1.1.3.2.3">2</cn></apply></apply></apply><apply id="S3.E7.m1.5.5.1.1c.cmml" xref="S3.E7.m1.5.5.1"><eq id="S3.E7.m1.5.5.1.1.8.cmml" xref="S3.E7.m1.5.5.1.1.8"></eq><share href="#S3.E7.m1.5.5.1.1.3.cmml" id="S3.E7.m1.5.5.1.1d.cmml" xref="S3.E7.m1.5.5.1"></share><apply id="S3.E7.m1.5.5.1.1.5.cmml" xref="S3.E7.m1.5.5.1.1.5"><ci id="S3.E7.m1.5.5.1.1.5.3.cmml" xref="S3.E7.m1.5.5.1.1.5.3">⋅</ci><apply id="S3.E7.m1.5.5.1.1.4.1.cmml" xref="S3.E7.m1.5.5.1.1.4.1"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.4.1.2.cmml" xref="S3.E7.m1.5.5.1.1.4.1">subscript</csymbol><apply id="S3.E7.m1.5.5.1.1.4.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1"><csymbol cd="latexml" id="S3.E7.m1.5.5.1.1.4.1.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.2">norm</csymbol><apply id="S3.E7.m1.5.5.1.1.4.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1"><times id="S3.E7.m1.5.5.1.1.4.1.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.1"></times><ci id="S3.E7.m1.5.5.1.1.4.1.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.2">Δ</ci><apply id="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.1.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.3">subscript</csymbol><ci id="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.2.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.2">𝑾</ci><ci id="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.3.cmml" xref="S3.E7.m1.5.5.1.1.4.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.E7.m1.5.5.1.1.4.1.3.cmml" xref="S3.E7.m1.5.5.1.1.4.1.3"></times></apply><apply id="S3.E7.m1.5.5.1.1.5.2.cmml" xref="S3.E7.m1.5.5.1.1.5.2"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.5.2.2.cmml" xref="S3.E7.m1.5.5.1.1.5.2">subscript</csymbol><apply id="S3.E7.m1.5.5.1.1.5.2.1.2.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1"><csymbol cd="latexml" id="S3.E7.m1.5.5.1.1.5.2.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.2">norm</csymbol><apply id="S3.E7.m1.5.5.1.1.5.2.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1"><times id="S3.E7.m1.5.5.1.1.5.2.1.1.1.1.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.1"></times><apply id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.1.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2">subscript</csymbol><ci id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.2.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.2">𝒉</ci><apply id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3"><minus id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.1.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.1"></minus><ci id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.2.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.3.cmml" xref="S3.E7.m1.5.5.1.1.5.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.E7.m1.4.4.cmml" xref="S3.E7.m1.4.4">𝒙</ci></apply></apply><cn type="integer" id="S3.E7.m1.5.5.1.1.5.2.3.cmml" xref="S3.E7.m1.5.5.1.1.5.2.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E7.m1.5c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\eta_{\ell}\cdot\left|\!\left|\nabla_{{\bm{h}}_{\ell}({\bm{x}})}\mathcal{L}\right|\!\right|_{2}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}^{2}=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(7)</span></td>
</tr></tbody>
</table>
</div>
<div id="S3.SS1.p11" class="ltx_para ltx_noindent">
<p id="S3.SS1.p11.4" class="ltx_p">With the claims established, we can now get lower bounds on hidden vector size which serve to verify <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
The features at initialization scale correctly as:</p>
<table id="S3.E8" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E8.m1.4" class="ltx_Math" alttext="\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta\left(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}\right)=\Theta(\sqrt{0pt_{\ell}})," display="block"><semantics id="S3.E8.m1.4a"><mrow id="S3.E8.m1.4.4.1" xref="S3.E8.m1.4.4.1.1.cmml"><mrow id="S3.E8.m1.4.4.1.1" xref="S3.E8.m1.4.4.1.1.cmml"><msub id="S3.E8.m1.4.4.1.1.1" xref="S3.E8.m1.4.4.1.1.1.cmml"><mrow id="S3.E8.m1.4.4.1.1.1.1.1" xref="S3.E8.m1.4.4.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E8.m1.4.4.1.1.1.1.1.2" xref="S3.E8.m1.4.4.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.E8.m1.4.4.1.1.1.1.1.1" xref="S3.E8.m1.4.4.1.1.1.1.1.1.cmml"><msub id="S3.E8.m1.4.4.1.1.1.1.1.1.2" xref="S3.E8.m1.4.4.1.1.1.1.1.1.2.cmml"><mi id="S3.E8.m1.4.4.1.1.1.1.1.1.2.2" xref="S3.E8.m1.4.4.1.1.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E8.m1.4.4.1.1.1.1.1.1.2.3" xref="S3.E8.m1.4.4.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E8.m1.4.4.1.1.1.1.1.1.1" xref="S3.E8.m1.4.4.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.E8.m1.4.4.1.1.1.1.1.1.3.2" xref="S3.E8.m1.4.4.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E8.m1.4.4.1.1.1.1.1.1.3.2.1" xref="S3.E8.m1.4.4.1.1.1.1.1.1.cmml">(</mo><mi id="S3.E8.m1.1.1" xref="S3.E8.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E8.m1.4.4.1.1.1.1.1.1.3.2.2" xref="S3.E8.m1.4.4.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E8.m1.4.4.1.1.1.1.1.3" xref="S3.E8.m1.4.4.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.E8.m1.4.4.1.1.1.3" xref="S3.E8.m1.4.4.1.1.1.3.cmml">2</mn></msub><mo id="S3.E8.m1.4.4.1.1.4" xref="S3.E8.m1.4.4.1.1.4.cmml">=</mo><mrow id="S3.E8.m1.4.4.1.1.2" xref="S3.E8.m1.4.4.1.1.2.cmml"><mi mathvariant="normal" id="S3.E8.m1.4.4.1.1.2.3" xref="S3.E8.m1.4.4.1.1.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.E8.m1.4.4.1.1.2.2" xref="S3.E8.m1.4.4.1.1.2.2.cmml">​</mo><mrow id="S3.E8.m1.4.4.1.1.2.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.cmml"><mo id="S3.E8.m1.4.4.1.1.2.1.1.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.cmml">(</mo><mrow id="S3.E8.m1.4.4.1.1.2.1.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.cmml"><msub id="S3.E8.m1.4.4.1.1.2.1.1.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.cmml"><mrow id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.cmml"><mi id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo rspace="0.055em" stretchy="false" id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E8.m1.4.4.1.1.2.1.1.1.1.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E8.m1.4.4.1.1.2.1.1.1.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.3.cmml">⋅</mo><msub id="S3.E8.m1.4.4.1.1.2.1.1.1.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.cmml"><mrow id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.cmml"><msub id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.cmml"><mi id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.2.cmml">𝒉</mi><mrow id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.1.cmml">​</mo><mrow id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.3.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.3.2.1" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.cmml">(</mo><mi id="S3.E8.m1.2.2" xref="S3.E8.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.3.2.2" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E8.m1.4.4.1.1.2.1.1.1.2.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.3.cmml">2</mn></msub></mrow><mo id="S3.E8.m1.4.4.1.1.2.1.1.3" xref="S3.E8.m1.4.4.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.E8.m1.4.4.1.1.5" xref="S3.E8.m1.4.4.1.1.5.cmml">=</mo><mrow id="S3.E8.m1.4.4.1.1.6" xref="S3.E8.m1.4.4.1.1.6.cmml"><mi mathvariant="normal" id="S3.E8.m1.4.4.1.1.6.2" xref="S3.E8.m1.4.4.1.1.6.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.E8.m1.4.4.1.1.6.1" xref="S3.E8.m1.4.4.1.1.6.1.cmml">​</mo><mrow id="S3.E8.m1.4.4.1.1.6.3.2" xref="S3.E8.m1.3.3.cmml"><mo stretchy="false" id="S3.E8.m1.4.4.1.1.6.3.2.1" xref="S3.E8.m1.3.3.cmml">(</mo><msqrt id="S3.E8.m1.3.3" xref="S3.E8.m1.3.3.cmml"><mrow id="S3.E8.m1.3.3.2" xref="S3.E8.m1.3.3.2.cmml"><mn id="S3.E8.m1.3.3.2.2" xref="S3.E8.m1.3.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.E8.m1.3.3.2.1" xref="S3.E8.m1.3.3.2.1.cmml">​</mo><mi id="S3.E8.m1.3.3.2.3" xref="S3.E8.m1.3.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.E8.m1.3.3.2.1a" xref="S3.E8.m1.3.3.2.1.cmml">​</mo><msub id="S3.E8.m1.3.3.2.4" xref="S3.E8.m1.3.3.2.4.cmml"><mi id="S3.E8.m1.3.3.2.4.2" xref="S3.E8.m1.3.3.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.E8.m1.3.3.2.4.3" xref="S3.E8.m1.3.3.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.E8.m1.4.4.1.1.6.3.2.2" xref="S3.E8.m1.3.3.cmml">)</mo></mrow></mrow></mrow><mo id="S3.E8.m1.4.4.1.2" xref="S3.E8.m1.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E8.m1.4b"><apply id="S3.E8.m1.4.4.1.1.cmml" xref="S3.E8.m1.4.4.1"><and id="S3.E8.m1.4.4.1.1a.cmml" xref="S3.E8.m1.4.4.1"></and><apply id="S3.E8.m1.4.4.1.1b.cmml" xref="S3.E8.m1.4.4.1"><eq id="S3.E8.m1.4.4.1.1.4.cmml" xref="S3.E8.m1.4.4.1.1.4"></eq><apply id="S3.E8.m1.4.4.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.1"><csymbol cd="ambiguous" id="S3.E8.m1.4.4.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.1">subscript</csymbol><apply id="S3.E8.m1.4.4.1.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1"><csymbol cd="latexml" id="S3.E8.m1.4.4.1.1.1.1.2.1.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1.2">norm</csymbol><apply id="S3.E8.m1.4.4.1.1.1.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1.1"><times id="S3.E8.m1.4.4.1.1.1.1.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1.1.1"></times><apply id="S3.E8.m1.4.4.1.1.1.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E8.m1.4.4.1.1.1.1.1.1.2.1.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1.1.2">subscript</csymbol><ci id="S3.E8.m1.4.4.1.1.1.1.1.1.2.2.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1.1.2.2">𝒉</ci><ci id="S3.E8.m1.4.4.1.1.1.1.1.1.2.3.cmml" xref="S3.E8.m1.4.4.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="S3.E8.m1.1.1.cmml" xref="S3.E8.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E8.m1.4.4.1.1.1.3.cmml" xref="S3.E8.m1.4.4.1.1.1.3">2</cn></apply><apply id="S3.E8.m1.4.4.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.2"><times id="S3.E8.m1.4.4.1.1.2.2.cmml" xref="S3.E8.m1.4.4.1.1.2.2"></times><ci id="S3.E8.m1.4.4.1.1.2.3.cmml" xref="S3.E8.m1.4.4.1.1.2.3">Θ</ci><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1"><ci id="S3.E8.m1.4.4.1.1.2.1.1.1.3.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.3">⋅</ci><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.E8.m1.4.4.1.1.2.1.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1">subscript</csymbol><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.2.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.2">𝑾</ci><ci id="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.3.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.E8.m1.4.4.1.1.2.1.1.1.1.3.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.1.3"></times></apply><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2">subscript</csymbol><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1"><csymbol cd="latexml" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.2.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.2">norm</csymbol><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1"><times id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.1"></times><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2">subscript</csymbol><ci id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.2">𝒉</ci><apply id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3"><minus id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.1.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.1"></minus><ci id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.2.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.3.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.E8.m1.2.2.cmml" xref="S3.E8.m1.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.E8.m1.4.4.1.1.2.1.1.1.2.3.cmml" xref="S3.E8.m1.4.4.1.1.2.1.1.1.2.3">2</cn></apply></apply></apply></apply><apply id="S3.E8.m1.4.4.1.1c.cmml" xref="S3.E8.m1.4.4.1"><eq id="S3.E8.m1.4.4.1.1.5.cmml" xref="S3.E8.m1.4.4.1.1.5"></eq><share href="#S3.E8.m1.4.4.1.1.2.cmml" id="S3.E8.m1.4.4.1.1d.cmml" xref="S3.E8.m1.4.4.1"></share><apply id="S3.E8.m1.4.4.1.1.6.cmml" xref="S3.E8.m1.4.4.1.1.6"><times id="S3.E8.m1.4.4.1.1.6.1.cmml" xref="S3.E8.m1.4.4.1.1.6.1"></times><ci id="S3.E8.m1.4.4.1.1.6.2.cmml" xref="S3.E8.m1.4.4.1.1.6.2">Θ</ci><apply id="S3.E8.m1.3.3.cmml" xref="S3.E8.m1.4.4.1.1.6.3.2"><root id="S3.E8.m1.3.3a.cmml" xref="S3.E8.m1.4.4.1.1.6.3.2"></root><apply id="S3.E8.m1.3.3.2.cmml" xref="S3.E8.m1.3.3.2"><times id="S3.E8.m1.3.3.2.1.cmml" xref="S3.E8.m1.3.3.2.1"></times><cn type="integer" id="S3.E8.m1.3.3.2.2.cmml" xref="S3.E8.m1.3.3.2.2">0</cn><ci id="S3.E8.m1.3.3.2.3.cmml" xref="S3.E8.m1.3.3.2.3">𝑝</ci><apply id="S3.E8.m1.3.3.2.4.cmml" xref="S3.E8.m1.3.3.2.4"><csymbol cd="ambiguous" id="S3.E8.m1.3.3.2.4.1.cmml" xref="S3.E8.m1.3.3.2.4">subscript</csymbol><ci id="S3.E8.m1.3.3.2.4.2.cmml" xref="S3.E8.m1.3.3.2.4.2">𝑡</ci><ci id="S3.E8.m1.3.3.2.4.3.cmml" xref="S3.E8.m1.3.3.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E8.m1.4c">\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta\left(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}\right)=\Theta(\sqrt{0pt_{\ell}}),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(8)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p11.1" class="ltx_p">where we have first used <a href="#Thmclaim1" title="Claim 1 (Alignment of initial weight matrices). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> and then inserted <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
To bound the size of <math id="S3.SS1.p11.1.m1.1" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="S3.SS1.p11.1.m1.1a"><mrow id="S3.SS1.p11.1.m1.1.2" xref="S3.SS1.p11.1.m1.1.2.cmml"><mi mathvariant="normal" id="S3.SS1.p11.1.m1.1.2.2" xref="S3.SS1.p11.1.m1.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p11.1.m1.1.2.1" xref="S3.SS1.p11.1.m1.1.2.1.cmml">​</mo><msub id="S3.SS1.p11.1.m1.1.2.3" xref="S3.SS1.p11.1.m1.1.2.3.cmml"><mi id="S3.SS1.p11.1.m1.1.2.3.2" xref="S3.SS1.p11.1.m1.1.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS1.p11.1.m1.1.2.3.3" xref="S3.SS1.p11.1.m1.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p11.1.m1.1.2.1a" xref="S3.SS1.p11.1.m1.1.2.1.cmml">​</mo><mrow id="S3.SS1.p11.1.m1.1.2.4.2" xref="S3.SS1.p11.1.m1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p11.1.m1.1.2.4.2.1" xref="S3.SS1.p11.1.m1.1.2.cmml">(</mo><mi id="S3.SS1.p11.1.m1.1.1" xref="S3.SS1.p11.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p11.1.m1.1.2.4.2.2" xref="S3.SS1.p11.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p11.1.m1.1b"><apply id="S3.SS1.p11.1.m1.1.2.cmml" xref="S3.SS1.p11.1.m1.1.2"><times id="S3.SS1.p11.1.m1.1.2.1.cmml" xref="S3.SS1.p11.1.m1.1.2.1"></times><ci id="S3.SS1.p11.1.m1.1.2.2.cmml" xref="S3.SS1.p11.1.m1.1.2.2">Δ</ci><apply id="S3.SS1.p11.1.m1.1.2.3.cmml" xref="S3.SS1.p11.1.m1.1.2.3"><csymbol cd="ambiguous" id="S3.SS1.p11.1.m1.1.2.3.1.cmml" xref="S3.SS1.p11.1.m1.1.2.3">subscript</csymbol><ci id="S3.SS1.p11.1.m1.1.2.3.2.cmml" xref="S3.SS1.p11.1.m1.1.2.3.2">𝒉</ci><ci id="S3.SS1.p11.1.m1.1.2.3.3.cmml" xref="S3.SS1.p11.1.m1.1.2.3.3">ℓ</ci></apply><ci id="S3.SS1.p11.1.m1.1.1.cmml" xref="S3.SS1.p11.1.m1.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p11.1.m1.1c">\Delta{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math>, let us first observe from <a href="#S3.E3" title="In 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">3</span></a> that</p>
<table id="S3.E9" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E9.m1.5" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})=\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})+{\bm{W}}_{\ell}\Delta{\bm{h}}_{\ell-1}({\bm{x}})+\Delta\!{\bm{W}}_{\ell}\Delta{\bm{h}}_{\ell-1}({\bm{x}})." display="block"><semantics id="S3.E9.m1.5a"><mrow id="S3.E9.m1.5.5.1" xref="S3.E9.m1.5.5.1.1.cmml"><mrow id="S3.E9.m1.5.5.1.1" xref="S3.E9.m1.5.5.1.1.cmml"><mrow id="S3.E9.m1.5.5.1.1.2" xref="S3.E9.m1.5.5.1.1.2.cmml"><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.2.2" xref="S3.E9.m1.5.5.1.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.2.1" xref="S3.E9.m1.5.5.1.1.2.1.cmml">​</mo><msub id="S3.E9.m1.5.5.1.1.2.3" xref="S3.E9.m1.5.5.1.1.2.3.cmml"><mi id="S3.E9.m1.5.5.1.1.2.3.2" xref="S3.E9.m1.5.5.1.1.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.2.3.3" xref="S3.E9.m1.5.5.1.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.2.1a" xref="S3.E9.m1.5.5.1.1.2.1.cmml">​</mo><mrow id="S3.E9.m1.5.5.1.1.2.4.2" xref="S3.E9.m1.5.5.1.1.2.cmml"><mo stretchy="false" id="S3.E9.m1.5.5.1.1.2.4.2.1" xref="S3.E9.m1.5.5.1.1.2.cmml">(</mo><mi id="S3.E9.m1.1.1" xref="S3.E9.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E9.m1.5.5.1.1.2.4.2.2" xref="S3.E9.m1.5.5.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.E9.m1.5.5.1.1.1" xref="S3.E9.m1.5.5.1.1.1.cmml">=</mo><mrow id="S3.E9.m1.5.5.1.1.3" xref="S3.E9.m1.5.5.1.1.3.cmml"><mrow id="S3.E9.m1.5.5.1.1.3.2" xref="S3.E9.m1.5.5.1.1.3.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.2.2" xref="S3.E9.m1.5.5.1.1.3.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.2.1" xref="S3.E9.m1.5.5.1.1.3.2.1.cmml">​</mo><msub id="S3.E9.m1.5.5.1.1.3.2.3" xref="S3.E9.m1.5.5.1.1.3.2.3.cmml"><mi id="S3.E9.m1.5.5.1.1.3.2.3.2" xref="S3.E9.m1.5.5.1.1.3.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.2.3.3" xref="S3.E9.m1.5.5.1.1.3.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.2.1a" xref="S3.E9.m1.5.5.1.1.3.2.1.cmml">​</mo><msub id="S3.E9.m1.5.5.1.1.3.2.4" xref="S3.E9.m1.5.5.1.1.3.2.4.cmml"><mi id="S3.E9.m1.5.5.1.1.3.2.4.2" xref="S3.E9.m1.5.5.1.1.3.2.4.2.cmml">𝒉</mi><mrow id="S3.E9.m1.5.5.1.1.3.2.4.3" xref="S3.E9.m1.5.5.1.1.3.2.4.3.cmml"><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.2.4.3.2" xref="S3.E9.m1.5.5.1.1.3.2.4.3.2.cmml">ℓ</mi><mo id="S3.E9.m1.5.5.1.1.3.2.4.3.1" xref="S3.E9.m1.5.5.1.1.3.2.4.3.1.cmml">−</mo><mn id="S3.E9.m1.5.5.1.1.3.2.4.3.3" xref="S3.E9.m1.5.5.1.1.3.2.4.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.2.1b" xref="S3.E9.m1.5.5.1.1.3.2.1.cmml">​</mo><mrow id="S3.E9.m1.5.5.1.1.3.2.5.2" xref="S3.E9.m1.5.5.1.1.3.2.cmml"><mo stretchy="false" id="S3.E9.m1.5.5.1.1.3.2.5.2.1" xref="S3.E9.m1.5.5.1.1.3.2.cmml">(</mo><mi id="S3.E9.m1.2.2" xref="S3.E9.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E9.m1.5.5.1.1.3.2.5.2.2" xref="S3.E9.m1.5.5.1.1.3.2.cmml">)</mo></mrow></mrow><mo id="S3.E9.m1.5.5.1.1.3.1" xref="S3.E9.m1.5.5.1.1.3.1.cmml">+</mo><mrow id="S3.E9.m1.5.5.1.1.3.3" xref="S3.E9.m1.5.5.1.1.3.3.cmml"><msub id="S3.E9.m1.5.5.1.1.3.3.2" xref="S3.E9.m1.5.5.1.1.3.3.2.cmml"><mi id="S3.E9.m1.5.5.1.1.3.3.2.2" xref="S3.E9.m1.5.5.1.1.3.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.3.2.3" xref="S3.E9.m1.5.5.1.1.3.3.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.3.1" xref="S3.E9.m1.5.5.1.1.3.3.1.cmml">​</mo><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.3.3" xref="S3.E9.m1.5.5.1.1.3.3.3.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.3.1a" xref="S3.E9.m1.5.5.1.1.3.3.1.cmml">​</mo><msub id="S3.E9.m1.5.5.1.1.3.3.4" xref="S3.E9.m1.5.5.1.1.3.3.4.cmml"><mi id="S3.E9.m1.5.5.1.1.3.3.4.2" xref="S3.E9.m1.5.5.1.1.3.3.4.2.cmml">𝒉</mi><mrow id="S3.E9.m1.5.5.1.1.3.3.4.3" xref="S3.E9.m1.5.5.1.1.3.3.4.3.cmml"><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.3.4.3.2" xref="S3.E9.m1.5.5.1.1.3.3.4.3.2.cmml">ℓ</mi><mo id="S3.E9.m1.5.5.1.1.3.3.4.3.1" xref="S3.E9.m1.5.5.1.1.3.3.4.3.1.cmml">−</mo><mn id="S3.E9.m1.5.5.1.1.3.3.4.3.3" xref="S3.E9.m1.5.5.1.1.3.3.4.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.3.1b" xref="S3.E9.m1.5.5.1.1.3.3.1.cmml">​</mo><mrow id="S3.E9.m1.5.5.1.1.3.3.5.2" xref="S3.E9.m1.5.5.1.1.3.3.cmml"><mo stretchy="false" id="S3.E9.m1.5.5.1.1.3.3.5.2.1" xref="S3.E9.m1.5.5.1.1.3.3.cmml">(</mo><mi id="S3.E9.m1.3.3" xref="S3.E9.m1.3.3.cmml">𝒙</mi><mo stretchy="false" id="S3.E9.m1.5.5.1.1.3.3.5.2.2" xref="S3.E9.m1.5.5.1.1.3.3.cmml">)</mo></mrow></mrow><mo id="S3.E9.m1.5.5.1.1.3.1a" xref="S3.E9.m1.5.5.1.1.3.1.cmml">+</mo><mrow id="S3.E9.m1.5.5.1.1.3.4" xref="S3.E9.m1.5.5.1.1.3.4.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.4.2" xref="S3.E9.m1.5.5.1.1.3.4.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.4.1" xref="S3.E9.m1.5.5.1.1.3.4.1.cmml">​</mo><msub id="S3.E9.m1.5.5.1.1.3.4.3" xref="S3.E9.m1.5.5.1.1.3.4.3.cmml"><mi id="S3.E9.m1.5.5.1.1.3.4.3.2" xref="S3.E9.m1.5.5.1.1.3.4.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.4.3.3" xref="S3.E9.m1.5.5.1.1.3.4.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.4.1a" xref="S3.E9.m1.5.5.1.1.3.4.1.cmml">​</mo><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.4.4" xref="S3.E9.m1.5.5.1.1.3.4.4.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.4.1b" xref="S3.E9.m1.5.5.1.1.3.4.1.cmml">​</mo><msub id="S3.E9.m1.5.5.1.1.3.4.5" xref="S3.E9.m1.5.5.1.1.3.4.5.cmml"><mi id="S3.E9.m1.5.5.1.1.3.4.5.2" xref="S3.E9.m1.5.5.1.1.3.4.5.2.cmml">𝒉</mi><mrow id="S3.E9.m1.5.5.1.1.3.4.5.3" xref="S3.E9.m1.5.5.1.1.3.4.5.3.cmml"><mi mathvariant="normal" id="S3.E9.m1.5.5.1.1.3.4.5.3.2" xref="S3.E9.m1.5.5.1.1.3.4.5.3.2.cmml">ℓ</mi><mo id="S3.E9.m1.5.5.1.1.3.4.5.3.1" xref="S3.E9.m1.5.5.1.1.3.4.5.3.1.cmml">−</mo><mn id="S3.E9.m1.5.5.1.1.3.4.5.3.3" xref="S3.E9.m1.5.5.1.1.3.4.5.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.E9.m1.5.5.1.1.3.4.1c" xref="S3.E9.m1.5.5.1.1.3.4.1.cmml">​</mo><mrow id="S3.E9.m1.5.5.1.1.3.4.6.2" xref="S3.E9.m1.5.5.1.1.3.4.cmml"><mo stretchy="false" id="S3.E9.m1.5.5.1.1.3.4.6.2.1" xref="S3.E9.m1.5.5.1.1.3.4.cmml">(</mo><mi id="S3.E9.m1.4.4" xref="S3.E9.m1.4.4.cmml">𝒙</mi><mo stretchy="false" id="S3.E9.m1.5.5.1.1.3.4.6.2.2" xref="S3.E9.m1.5.5.1.1.3.4.cmml">)</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="S3.E9.m1.5.5.1.2" xref="S3.E9.m1.5.5.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E9.m1.5b"><apply id="S3.E9.m1.5.5.1.1.cmml" xref="S3.E9.m1.5.5.1"><eq id="S3.E9.m1.5.5.1.1.1.cmml" xref="S3.E9.m1.5.5.1.1.1"></eq><apply id="S3.E9.m1.5.5.1.1.2.cmml" xref="S3.E9.m1.5.5.1.1.2"><times id="S3.E9.m1.5.5.1.1.2.1.cmml" xref="S3.E9.m1.5.5.1.1.2.1"></times><ci id="S3.E9.m1.5.5.1.1.2.2.cmml" xref="S3.E9.m1.5.5.1.1.2.2">Δ</ci><apply id="S3.E9.m1.5.5.1.1.2.3.cmml" xref="S3.E9.m1.5.5.1.1.2.3"><csymbol cd="ambiguous" id="S3.E9.m1.5.5.1.1.2.3.1.cmml" xref="S3.E9.m1.5.5.1.1.2.3">subscript</csymbol><ci id="S3.E9.m1.5.5.1.1.2.3.2.cmml" xref="S3.E9.m1.5.5.1.1.2.3.2">𝒉</ci><ci id="S3.E9.m1.5.5.1.1.2.3.3.cmml" xref="S3.E9.m1.5.5.1.1.2.3.3">ℓ</ci></apply><ci id="S3.E9.m1.1.1.cmml" xref="S3.E9.m1.1.1">𝒙</ci></apply><apply id="S3.E9.m1.5.5.1.1.3.cmml" xref="S3.E9.m1.5.5.1.1.3"><plus id="S3.E9.m1.5.5.1.1.3.1.cmml" xref="S3.E9.m1.5.5.1.1.3.1"></plus><apply id="S3.E9.m1.5.5.1.1.3.2.cmml" xref="S3.E9.m1.5.5.1.1.3.2"><times id="S3.E9.m1.5.5.1.1.3.2.1.cmml" xref="S3.E9.m1.5.5.1.1.3.2.1"></times><ci id="S3.E9.m1.5.5.1.1.3.2.2.cmml" xref="S3.E9.m1.5.5.1.1.3.2.2">Δ</ci><apply id="S3.E9.m1.5.5.1.1.3.2.3.cmml" xref="S3.E9.m1.5.5.1.1.3.2.3"><csymbol cd="ambiguous" id="S3.E9.m1.5.5.1.1.3.2.3.1.cmml" xref="S3.E9.m1.5.5.1.1.3.2.3">subscript</csymbol><ci id="S3.E9.m1.5.5.1.1.3.2.3.2.cmml" xref="S3.E9.m1.5.5.1.1.3.2.3.2">𝑾</ci><ci id="S3.E9.m1.5.5.1.1.3.2.3.3.cmml" xref="S3.E9.m1.5.5.1.1.3.2.3.3">ℓ</ci></apply><apply id="S3.E9.m1.5.5.1.1.3.2.4.cmml" xref="S3.E9.m1.5.5.1.1.3.2.4"><csymbol cd="ambiguous" id="S3.E9.m1.5.5.1.1.3.2.4.1.cmml" xref="S3.E9.m1.5.5.1.1.3.2.4">subscript</csymbol><ci id="S3.E9.m1.5.5.1.1.3.2.4.2.cmml" xref="S3.E9.m1.5.5.1.1.3.2.4.2">𝒉</ci><apply id="S3.E9.m1.5.5.1.1.3.2.4.3.cmml" xref="S3.E9.m1.5.5.1.1.3.2.4.3"><minus id="S3.E9.m1.5.5.1.1.3.2.4.3.1.cmml" xref="S3.E9.m1.5.5.1.1.3.2.4.3.1"></minus><ci id="S3.E9.m1.5.5.1.1.3.2.4.3.2.cmml" xref="S3.E9.m1.5.5.1.1.3.2.4.3.2">ℓ</ci><cn type="integer" id="S3.E9.m1.5.5.1.1.3.2.4.3.3.cmml" xref="S3.E9.m1.5.5.1.1.3.2.4.3.3">1</cn></apply></apply><ci id="S3.E9.m1.2.2.cmml" xref="S3.E9.m1.2.2">𝒙</ci></apply><apply id="S3.E9.m1.5.5.1.1.3.3.cmml" xref="S3.E9.m1.5.5.1.1.3.3"><times id="S3.E9.m1.5.5.1.1.3.3.1.cmml" xref="S3.E9.m1.5.5.1.1.3.3.1"></times><apply id="S3.E9.m1.5.5.1.1.3.3.2.cmml" xref="S3.E9.m1.5.5.1.1.3.3.2"><csymbol cd="ambiguous" id="S3.E9.m1.5.5.1.1.3.3.2.1.cmml" xref="S3.E9.m1.5.5.1.1.3.3.2">subscript</csymbol><ci id="S3.E9.m1.5.5.1.1.3.3.2.2.cmml" xref="S3.E9.m1.5.5.1.1.3.3.2.2">𝑾</ci><ci id="S3.E9.m1.5.5.1.1.3.3.2.3.cmml" xref="S3.E9.m1.5.5.1.1.3.3.2.3">ℓ</ci></apply><ci id="S3.E9.m1.5.5.1.1.3.3.3.cmml" xref="S3.E9.m1.5.5.1.1.3.3.3">Δ</ci><apply id="S3.E9.m1.5.5.1.1.3.3.4.cmml" xref="S3.E9.m1.5.5.1.1.3.3.4"><csymbol cd="ambiguous" id="S3.E9.m1.5.5.1.1.3.3.4.1.cmml" xref="S3.E9.m1.5.5.1.1.3.3.4">subscript</csymbol><ci id="S3.E9.m1.5.5.1.1.3.3.4.2.cmml" xref="S3.E9.m1.5.5.1.1.3.3.4.2">𝒉</ci><apply id="S3.E9.m1.5.5.1.1.3.3.4.3.cmml" xref="S3.E9.m1.5.5.1.1.3.3.4.3"><minus id="S3.E9.m1.5.5.1.1.3.3.4.3.1.cmml" xref="S3.E9.m1.5.5.1.1.3.3.4.3.1"></minus><ci id="S3.E9.m1.5.5.1.1.3.3.4.3.2.cmml" xref="S3.E9.m1.5.5.1.1.3.3.4.3.2">ℓ</ci><cn type="integer" id="S3.E9.m1.5.5.1.1.3.3.4.3.3.cmml" xref="S3.E9.m1.5.5.1.1.3.3.4.3.3">1</cn></apply></apply><ci id="S3.E9.m1.3.3.cmml" xref="S3.E9.m1.3.3">𝒙</ci></apply><apply id="S3.E9.m1.5.5.1.1.3.4.cmml" xref="S3.E9.m1.5.5.1.1.3.4"><times id="S3.E9.m1.5.5.1.1.3.4.1.cmml" xref="S3.E9.m1.5.5.1.1.3.4.1"></times><ci id="S3.E9.m1.5.5.1.1.3.4.2.cmml" xref="S3.E9.m1.5.5.1.1.3.4.2">Δ</ci><apply id="S3.E9.m1.5.5.1.1.3.4.3.cmml" xref="S3.E9.m1.5.5.1.1.3.4.3"><csymbol cd="ambiguous" id="S3.E9.m1.5.5.1.1.3.4.3.1.cmml" xref="S3.E9.m1.5.5.1.1.3.4.3">subscript</csymbol><ci id="S3.E9.m1.5.5.1.1.3.4.3.2.cmml" xref="S3.E9.m1.5.5.1.1.3.4.3.2">𝑾</ci><ci id="S3.E9.m1.5.5.1.1.3.4.3.3.cmml" xref="S3.E9.m1.5.5.1.1.3.4.3.3">ℓ</ci></apply><ci id="S3.E9.m1.5.5.1.1.3.4.4.cmml" xref="S3.E9.m1.5.5.1.1.3.4.4">Δ</ci><apply id="S3.E9.m1.5.5.1.1.3.4.5.cmml" xref="S3.E9.m1.5.5.1.1.3.4.5"><csymbol cd="ambiguous" id="S3.E9.m1.5.5.1.1.3.4.5.1.cmml" xref="S3.E9.m1.5.5.1.1.3.4.5">subscript</csymbol><ci id="S3.E9.m1.5.5.1.1.3.4.5.2.cmml" xref="S3.E9.m1.5.5.1.1.3.4.5.2">𝒉</ci><apply id="S3.E9.m1.5.5.1.1.3.4.5.3.cmml" xref="S3.E9.m1.5.5.1.1.3.4.5.3"><minus id="S3.E9.m1.5.5.1.1.3.4.5.3.1.cmml" xref="S3.E9.m1.5.5.1.1.3.4.5.3.1"></minus><ci id="S3.E9.m1.5.5.1.1.3.4.5.3.2.cmml" xref="S3.E9.m1.5.5.1.1.3.4.5.3.2">ℓ</ci><cn type="integer" id="S3.E9.m1.5.5.1.1.3.4.5.3.3.cmml" xref="S3.E9.m1.5.5.1.1.3.4.5.3.3">1</cn></apply></apply><ci id="S3.E9.m1.4.4.cmml" xref="S3.E9.m1.4.4">𝒙</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E9.m1.5c">\Delta{\bm{h}}_{\ell}({\bm{x}})=\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})+{\bm{W}}_{\ell}\Delta{\bm{h}}_{\ell-1}({\bm{x}})+\Delta\!{\bm{W}}_{\ell}\Delta{\bm{h}}_{\ell-1}({\bm{x}}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(9)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p11.2" class="ltx_p">So long as the first term <math id="S3.SS1.p11.2.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})" display="inline"><semantics id="S3.SS1.p11.2.m1.1a"><mrow id="S3.SS1.p11.2.m1.1.2" xref="S3.SS1.p11.2.m1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS1.p11.2.m1.1.2.2" xref="S3.SS1.p11.2.m1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS1.p11.2.m1.1.2.1" xref="S3.SS1.p11.2.m1.1.2.1.cmml">​</mo><msub id="S3.SS1.p11.2.m1.1.2.3" xref="S3.SS1.p11.2.m1.1.2.3.cmml"><mi id="S3.SS1.p11.2.m1.1.2.3.2" xref="S3.SS1.p11.2.m1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.p11.2.m1.1.2.3.3" xref="S3.SS1.p11.2.m1.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p11.2.m1.1.2.1a" xref="S3.SS1.p11.2.m1.1.2.1.cmml">​</mo><msub id="S3.SS1.p11.2.m1.1.2.4" xref="S3.SS1.p11.2.m1.1.2.4.cmml"><mi id="S3.SS1.p11.2.m1.1.2.4.2" xref="S3.SS1.p11.2.m1.1.2.4.2.cmml">𝒉</mi><mrow id="S3.SS1.p11.2.m1.1.2.4.3" xref="S3.SS1.p11.2.m1.1.2.4.3.cmml"><mi mathvariant="normal" id="S3.SS1.p11.2.m1.1.2.4.3.2" xref="S3.SS1.p11.2.m1.1.2.4.3.2.cmml">ℓ</mi><mo id="S3.SS1.p11.2.m1.1.2.4.3.1" xref="S3.SS1.p11.2.m1.1.2.4.3.1.cmml">−</mo><mn id="S3.SS1.p11.2.m1.1.2.4.3.3" xref="S3.SS1.p11.2.m1.1.2.4.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p11.2.m1.1.2.1b" xref="S3.SS1.p11.2.m1.1.2.1.cmml">​</mo><mrow id="S3.SS1.p11.2.m1.1.2.5.2" xref="S3.SS1.p11.2.m1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p11.2.m1.1.2.5.2.1" xref="S3.SS1.p11.2.m1.1.2.cmml">(</mo><mi id="S3.SS1.p11.2.m1.1.1" xref="S3.SS1.p11.2.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p11.2.m1.1.2.5.2.2" xref="S3.SS1.p11.2.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p11.2.m1.1b"><apply id="S3.SS1.p11.2.m1.1.2.cmml" xref="S3.SS1.p11.2.m1.1.2"><times id="S3.SS1.p11.2.m1.1.2.1.cmml" xref="S3.SS1.p11.2.m1.1.2.1"></times><ci id="S3.SS1.p11.2.m1.1.2.2.cmml" xref="S3.SS1.p11.2.m1.1.2.2">Δ</ci><apply id="S3.SS1.p11.2.m1.1.2.3.cmml" xref="S3.SS1.p11.2.m1.1.2.3"><csymbol cd="ambiguous" id="S3.SS1.p11.2.m1.1.2.3.1.cmml" xref="S3.SS1.p11.2.m1.1.2.3">subscript</csymbol><ci id="S3.SS1.p11.2.m1.1.2.3.2.cmml" xref="S3.SS1.p11.2.m1.1.2.3.2">𝑾</ci><ci id="S3.SS1.p11.2.m1.1.2.3.3.cmml" xref="S3.SS1.p11.2.m1.1.2.3.3">ℓ</ci></apply><apply id="S3.SS1.p11.2.m1.1.2.4.cmml" xref="S3.SS1.p11.2.m1.1.2.4"><csymbol cd="ambiguous" id="S3.SS1.p11.2.m1.1.2.4.1.cmml" xref="S3.SS1.p11.2.m1.1.2.4">subscript</csymbol><ci id="S3.SS1.p11.2.m1.1.2.4.2.cmml" xref="S3.SS1.p11.2.m1.1.2.4.2">𝒉</ci><apply id="S3.SS1.p11.2.m1.1.2.4.3.cmml" xref="S3.SS1.p11.2.m1.1.2.4.3"><minus id="S3.SS1.p11.2.m1.1.2.4.3.1.cmml" xref="S3.SS1.p11.2.m1.1.2.4.3.1"></minus><ci id="S3.SS1.p11.2.m1.1.2.4.3.2.cmml" xref="S3.SS1.p11.2.m1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S3.SS1.p11.2.m1.1.2.4.3.3.cmml" xref="S3.SS1.p11.2.m1.1.2.4.3.3">1</cn></apply></apply><ci id="S3.SS1.p11.2.m1.1.1.cmml" xref="S3.SS1.p11.2.m1.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p11.2.m1.1c">\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})</annotation></semantics></math> does not perfectly cancel with the latter two, we have that:</p>
<table id="S3.E10" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E10.m1.3" class="ltx_Math" alttext="\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Omega(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell}\right|\!\right|_{2})=\Omega(\sqrt{0pt_{\ell}})," display="block"><semantics id="S3.E10.m1.3a"><mrow id="S3.E10.m1.3.3.1" xref="S3.E10.m1.3.3.1.1.cmml"><mrow id="S3.E10.m1.3.3.1.1" xref="S3.E10.m1.3.3.1.1.cmml"><msub id="S3.E10.m1.3.3.1.1.1" xref="S3.E10.m1.3.3.1.1.1.cmml"><mrow id="S3.E10.m1.3.3.1.1.1.1.1" xref="S3.E10.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E10.m1.3.3.1.1.1.1.1.2" xref="S3.E10.m1.3.3.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.E10.m1.3.3.1.1.1.1.1.1" xref="S3.E10.m1.3.3.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S3.E10.m1.3.3.1.1.1.1.1.1.2" xref="S3.E10.m1.3.3.1.1.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E10.m1.3.3.1.1.1.1.1.1.1" xref="S3.E10.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.E10.m1.3.3.1.1.1.1.1.1.3" xref="S3.E10.m1.3.3.1.1.1.1.1.1.3.cmml"><mi id="S3.E10.m1.3.3.1.1.1.1.1.1.3.2" xref="S3.E10.m1.3.3.1.1.1.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E10.m1.3.3.1.1.1.1.1.1.3.3" xref="S3.E10.m1.3.3.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E10.m1.3.3.1.1.1.1.1.1.1a" xref="S3.E10.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.E10.m1.3.3.1.1.1.1.1.1.4.2" xref="S3.E10.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E10.m1.3.3.1.1.1.1.1.1.4.2.1" xref="S3.E10.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mi id="S3.E10.m1.1.1" xref="S3.E10.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E10.m1.3.3.1.1.1.1.1.1.4.2.2" xref="S3.E10.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E10.m1.3.3.1.1.1.1.1.3" xref="S3.E10.m1.3.3.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.E10.m1.3.3.1.1.1.3" xref="S3.E10.m1.3.3.1.1.1.3.cmml">2</mn></msub><mo id="S3.E10.m1.3.3.1.1.4" xref="S3.E10.m1.3.3.1.1.4.cmml">=</mo><mrow id="S3.E10.m1.3.3.1.1.2" xref="S3.E10.m1.3.3.1.1.2.cmml"><mi mathvariant="normal" id="S3.E10.m1.3.3.1.1.2.3" xref="S3.E10.m1.3.3.1.1.2.3.cmml">Ω</mi><mo lspace="0em" rspace="0em" id="S3.E10.m1.3.3.1.1.2.2" xref="S3.E10.m1.3.3.1.1.2.2.cmml">​</mo><mrow id="S3.E10.m1.3.3.1.1.2.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S3.E10.m1.3.3.1.1.2.1.1.2" xref="S3.E10.m1.3.3.1.1.2.1.1.1.cmml">(</mo><mrow id="S3.E10.m1.3.3.1.1.2.1.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.cmml"><msub id="S3.E10.m1.3.3.1.1.2.1.1.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.cmml"><mrow id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.2" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.2" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.cmml"><mi id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.2" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E10.m1.3.3.1.1.2.1.1.1.1.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E10.m1.3.3.1.1.2.1.1.1.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.3.cmml">⋅</mo><msub id="S3.E10.m1.3.3.1.1.2.1.1.1.2" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.cmml"><mrow id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.2" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo><msub id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.cmml"><mi id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.2" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E10.m1.3.3.1.1.2.1.1.1.2.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.3.cmml">2</mn></msub></mrow><mo stretchy="false" id="S3.E10.m1.3.3.1.1.2.1.1.3" xref="S3.E10.m1.3.3.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="S3.E10.m1.3.3.1.1.5" xref="S3.E10.m1.3.3.1.1.5.cmml">=</mo><mrow id="S3.E10.m1.3.3.1.1.6" xref="S3.E10.m1.3.3.1.1.6.cmml"><mi mathvariant="normal" id="S3.E10.m1.3.3.1.1.6.2" xref="S3.E10.m1.3.3.1.1.6.2.cmml">Ω</mi><mo lspace="0em" rspace="0em" id="S3.E10.m1.3.3.1.1.6.1" xref="S3.E10.m1.3.3.1.1.6.1.cmml">​</mo><mrow id="S3.E10.m1.3.3.1.1.6.3.2" xref="S3.E10.m1.2.2.cmml"><mo stretchy="false" id="S3.E10.m1.3.3.1.1.6.3.2.1" xref="S3.E10.m1.2.2.cmml">(</mo><msqrt id="S3.E10.m1.2.2" xref="S3.E10.m1.2.2.cmml"><mrow id="S3.E10.m1.2.2.2" xref="S3.E10.m1.2.2.2.cmml"><mn id="S3.E10.m1.2.2.2.2" xref="S3.E10.m1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.E10.m1.2.2.2.1" xref="S3.E10.m1.2.2.2.1.cmml">​</mo><mi id="S3.E10.m1.2.2.2.3" xref="S3.E10.m1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.E10.m1.2.2.2.1a" xref="S3.E10.m1.2.2.2.1.cmml">​</mo><msub id="S3.E10.m1.2.2.2.4" xref="S3.E10.m1.2.2.2.4.cmml"><mi id="S3.E10.m1.2.2.2.4.2" xref="S3.E10.m1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.E10.m1.2.2.2.4.3" xref="S3.E10.m1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.E10.m1.3.3.1.1.6.3.2.2" xref="S3.E10.m1.2.2.cmml">)</mo></mrow></mrow></mrow><mo id="S3.E10.m1.3.3.1.2" xref="S3.E10.m1.3.3.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E10.m1.3b"><apply id="S3.E10.m1.3.3.1.1.cmml" xref="S3.E10.m1.3.3.1"><and id="S3.E10.m1.3.3.1.1a.cmml" xref="S3.E10.m1.3.3.1"></and><apply id="S3.E10.m1.3.3.1.1b.cmml" xref="S3.E10.m1.3.3.1"><eq id="S3.E10.m1.3.3.1.1.4.cmml" xref="S3.E10.m1.3.3.1.1.4"></eq><apply id="S3.E10.m1.3.3.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="S3.E10.m1.3.3.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.1">subscript</csymbol><apply id="S3.E10.m1.3.3.1.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="S3.E10.m1.3.3.1.1.1.1.2.1.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.2">norm</csymbol><apply id="S3.E10.m1.3.3.1.1.1.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.1"><times id="S3.E10.m1.3.3.1.1.1.1.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.1.1"></times><ci id="S3.E10.m1.3.3.1.1.1.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.1.2">Δ</ci><apply id="S3.E10.m1.3.3.1.1.1.1.1.1.3.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E10.m1.3.3.1.1.1.1.1.1.3.1.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.E10.m1.3.3.1.1.1.1.1.1.3.2.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.1.3.2">𝒉</ci><ci id="S3.E10.m1.3.3.1.1.1.1.1.1.3.3.cmml" xref="S3.E10.m1.3.3.1.1.1.1.1.1.3.3">ℓ</ci></apply><ci id="S3.E10.m1.1.1.cmml" xref="S3.E10.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E10.m1.3.3.1.1.1.3.cmml" xref="S3.E10.m1.3.3.1.1.1.3">2</cn></apply><apply id="S3.E10.m1.3.3.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.2"><times id="S3.E10.m1.3.3.1.1.2.2.cmml" xref="S3.E10.m1.3.3.1.1.2.2"></times><ci id="S3.E10.m1.3.3.1.1.2.3.cmml" xref="S3.E10.m1.3.3.1.1.2.3">Ω</ci><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1"><ci id="S3.E10.m1.3.3.1.1.2.1.1.1.3.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.3">⋅</ci><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1">subscript</csymbol><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.2.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1"><times id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.1"></times><ci id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.2">Δ</ci><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.3.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.E10.m1.3.3.1.1.2.1.1.1.1.3.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.1.3"></times></apply><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E10.m1.3.3.1.1.2.1.1.1.2.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2">subscript</csymbol><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1"><csymbol cd="latexml" id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.2.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.2">norm</csymbol><apply id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1"><csymbol cd="ambiguous" id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.1.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1">subscript</csymbol><ci id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.2.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.2">𝒉</ci><ci id="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.3.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.1.1.1.3">ℓ</ci></apply></apply><cn type="integer" id="S3.E10.m1.3.3.1.1.2.1.1.1.2.3.cmml" xref="S3.E10.m1.3.3.1.1.2.1.1.1.2.3">2</cn></apply></apply></apply></apply><apply id="S3.E10.m1.3.3.1.1c.cmml" xref="S3.E10.m1.3.3.1"><eq id="S3.E10.m1.3.3.1.1.5.cmml" xref="S3.E10.m1.3.3.1.1.5"></eq><share href="#S3.E10.m1.3.3.1.1.2.cmml" id="S3.E10.m1.3.3.1.1d.cmml" xref="S3.E10.m1.3.3.1"></share><apply id="S3.E10.m1.3.3.1.1.6.cmml" xref="S3.E10.m1.3.3.1.1.6"><times id="S3.E10.m1.3.3.1.1.6.1.cmml" xref="S3.E10.m1.3.3.1.1.6.1"></times><ci id="S3.E10.m1.3.3.1.1.6.2.cmml" xref="S3.E10.m1.3.3.1.1.6.2">Ω</ci><apply id="S3.E10.m1.2.2.cmml" xref="S3.E10.m1.3.3.1.1.6.3.2"><root id="S3.E10.m1.2.2a.cmml" xref="S3.E10.m1.3.3.1.1.6.3.2"></root><apply id="S3.E10.m1.2.2.2.cmml" xref="S3.E10.m1.2.2.2"><times id="S3.E10.m1.2.2.2.1.cmml" xref="S3.E10.m1.2.2.2.1"></times><cn type="integer" id="S3.E10.m1.2.2.2.2.cmml" xref="S3.E10.m1.2.2.2.2">0</cn><ci id="S3.E10.m1.2.2.2.3.cmml" xref="S3.E10.m1.2.2.2.3">𝑝</ci><apply id="S3.E10.m1.2.2.2.4.cmml" xref="S3.E10.m1.2.2.2.4"><csymbol cd="ambiguous" id="S3.E10.m1.2.2.2.4.1.cmml" xref="S3.E10.m1.2.2.2.4">subscript</csymbol><ci id="S3.E10.m1.2.2.2.4.2.cmml" xref="S3.E10.m1.2.2.2.4.2">𝑡</ci><ci id="S3.E10.m1.2.2.2.4.3.cmml" xref="S3.E10.m1.2.2.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E10.m1.3c">\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Omega(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell}\right|\!\right|_{2})=\Omega(\sqrt{0pt_{\ell}}),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(10)</span></td>
</tr></tbody>
</table>
<p id="S3.SS1.p11.3" class="ltx_p">where in the last step we have inserted <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
Combining <a href="#S3.E10" title="In 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">10</span></a> with our matching upper bound from <a href="#S3.E5" title="In 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">5</span></a>,
we conclude that <math id="S3.SS1.p11.3.m1.3" class="ltx_Math" alttext="\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})" display="inline"><semantics id="S3.SS1.p11.3.m1.3a"><mrow id="S3.SS1.p11.3.m1.3.3" xref="S3.SS1.p11.3.m1.3.3.cmml"><msub id="S3.SS1.p11.3.m1.3.3.1" xref="S3.SS1.p11.3.m1.3.3.1.cmml"><mrow id="S3.SS1.p11.3.m1.3.3.1.1.1" xref="S3.SS1.p11.3.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.p11.3.m1.3.3.1.1.1.2" xref="S3.SS1.p11.3.m1.3.3.1.1.2.1.cmml">‖</mo><mrow id="S3.SS1.p11.3.m1.3.3.1.1.1.1" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.cmml"><mi mathvariant="normal" id="S3.SS1.p11.3.m1.3.3.1.1.1.1.2" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p11.3.m1.3.3.1.1.1.1.1" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.1.cmml">​</mo><msub id="S3.SS1.p11.3.m1.3.3.1.1.1.1.3" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.cmml"><mi id="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.2" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.3" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS1.p11.3.m1.3.3.1.1.1.1.1a" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S3.SS1.p11.3.m1.3.3.1.1.1.1.4.2" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS1.p11.3.m1.3.3.1.1.1.1.4.2.1" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.cmml">(</mo><mi id="S3.SS1.p11.3.m1.1.1" xref="S3.SS1.p11.3.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS1.p11.3.m1.3.3.1.1.1.1.4.2.2" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS1.p11.3.m1.3.3.1.1.1.3" xref="S3.SS1.p11.3.m1.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS1.p11.3.m1.3.3.1.3" xref="S3.SS1.p11.3.m1.3.3.1.3.cmml">2</mn></msub><mo id="S3.SS1.p11.3.m1.3.3.2" xref="S3.SS1.p11.3.m1.3.3.2.cmml">=</mo><mrow id="S3.SS1.p11.3.m1.3.3.3" xref="S3.SS1.p11.3.m1.3.3.3.cmml"><mi mathvariant="normal" id="S3.SS1.p11.3.m1.3.3.3.2" xref="S3.SS1.p11.3.m1.3.3.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p11.3.m1.3.3.3.1" xref="S3.SS1.p11.3.m1.3.3.3.1.cmml">​</mo><mrow id="S3.SS1.p11.3.m1.3.3.3.3.2" xref="S3.SS1.p11.3.m1.2.2.cmml"><mo stretchy="false" id="S3.SS1.p11.3.m1.3.3.3.3.2.1" xref="S3.SS1.p11.3.m1.2.2.cmml">(</mo><msqrt id="S3.SS1.p11.3.m1.2.2" xref="S3.SS1.p11.3.m1.2.2.cmml"><mrow id="S3.SS1.p11.3.m1.2.2.2" xref="S3.SS1.p11.3.m1.2.2.2.cmml"><mn id="S3.SS1.p11.3.m1.2.2.2.2" xref="S3.SS1.p11.3.m1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS1.p11.3.m1.2.2.2.1" xref="S3.SS1.p11.3.m1.2.2.2.1.cmml">​</mo><mi id="S3.SS1.p11.3.m1.2.2.2.3" xref="S3.SS1.p11.3.m1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS1.p11.3.m1.2.2.2.1a" xref="S3.SS1.p11.3.m1.2.2.2.1.cmml">​</mo><msub id="S3.SS1.p11.3.m1.2.2.2.4" xref="S3.SS1.p11.3.m1.2.2.2.4.cmml"><mi id="S3.SS1.p11.3.m1.2.2.2.4.2" xref="S3.SS1.p11.3.m1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.SS1.p11.3.m1.2.2.2.4.3" xref="S3.SS1.p11.3.m1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.SS1.p11.3.m1.3.3.3.3.2.2" xref="S3.SS1.p11.3.m1.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p11.3.m1.3b"><apply id="S3.SS1.p11.3.m1.3.3.cmml" xref="S3.SS1.p11.3.m1.3.3"><eq id="S3.SS1.p11.3.m1.3.3.2.cmml" xref="S3.SS1.p11.3.m1.3.3.2"></eq><apply id="S3.SS1.p11.3.m1.3.3.1.cmml" xref="S3.SS1.p11.3.m1.3.3.1"><csymbol cd="ambiguous" id="S3.SS1.p11.3.m1.3.3.1.2.cmml" xref="S3.SS1.p11.3.m1.3.3.1">subscript</csymbol><apply id="S3.SS1.p11.3.m1.3.3.1.1.2.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1"><csymbol cd="latexml" id="S3.SS1.p11.3.m1.3.3.1.1.2.1.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.2">norm</csymbol><apply id="S3.SS1.p11.3.m1.3.3.1.1.1.1.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1"><times id="S3.SS1.p11.3.m1.3.3.1.1.1.1.1.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.1"></times><ci id="S3.SS1.p11.3.m1.3.3.1.1.1.1.2.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.2">Δ</ci><apply id="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.1.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.3">subscript</csymbol><ci id="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.2.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.2">𝒉</ci><ci id="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.3.cmml" xref="S3.SS1.p11.3.m1.3.3.1.1.1.1.3.3">ℓ</ci></apply><ci id="S3.SS1.p11.3.m1.1.1.cmml" xref="S3.SS1.p11.3.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.SS1.p11.3.m1.3.3.1.3.cmml" xref="S3.SS1.p11.3.m1.3.3.1.3">2</cn></apply><apply id="S3.SS1.p11.3.m1.3.3.3.cmml" xref="S3.SS1.p11.3.m1.3.3.3"><times id="S3.SS1.p11.3.m1.3.3.3.1.cmml" xref="S3.SS1.p11.3.m1.3.3.3.1"></times><ci id="S3.SS1.p11.3.m1.3.3.3.2.cmml" xref="S3.SS1.p11.3.m1.3.3.3.2">Θ</ci><apply id="S3.SS1.p11.3.m1.2.2.cmml" xref="S3.SS1.p11.3.m1.3.3.3.3.2"><root id="S3.SS1.p11.3.m1.2.2a.cmml" xref="S3.SS1.p11.3.m1.3.3.3.3.2"></root><apply id="S3.SS1.p11.3.m1.2.2.2.cmml" xref="S3.SS1.p11.3.m1.2.2.2"><times id="S3.SS1.p11.3.m1.2.2.2.1.cmml" xref="S3.SS1.p11.3.m1.2.2.2.1"></times><cn type="integer" id="S3.SS1.p11.3.m1.2.2.2.2.cmml" xref="S3.SS1.p11.3.m1.2.2.2.2">0</cn><ci id="S3.SS1.p11.3.m1.2.2.2.3.cmml" xref="S3.SS1.p11.3.m1.2.2.2.3">𝑝</ci><apply id="S3.SS1.p11.3.m1.2.2.2.4.cmml" xref="S3.SS1.p11.3.m1.2.2.2.4"><csymbol cd="ambiguous" id="S3.SS1.p11.3.m1.2.2.2.4.1.cmml" xref="S3.SS1.p11.3.m1.2.2.2.4">subscript</csymbol><ci id="S3.SS1.p11.3.m1.2.2.2.4.2.cmml" xref="S3.SS1.p11.3.m1.2.2.2.4.2">𝑡</ci><ci id="S3.SS1.p11.3.m1.2.2.2.4.3.cmml" xref="S3.SS1.p11.3.m1.2.2.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p11.3.m1.3c">\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})</annotation></semantics></math> as desired.</p>
</div>
<div id="S3.SS1.p12" class="ltx_para ltx_noindent">
<p id="S3.SS1.p12.3" class="ltx_p">We have achieved both clauses of Desideratum <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> at layer <math id="S3.SS1.p12.1.m1.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="S3.SS1.p12.1.m1.1a"><mi mathvariant="normal" id="S3.SS1.p12.1.m1.1.1" xref="S3.SS1.p12.1.m1.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p12.1.m1.1b"><ci id="S3.SS1.p12.1.m1.1.1.cmml" xref="S3.SS1.p12.1.m1.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p12.1.m1.1c">\ell</annotation></semantics></math>, completing a recursive step from layer <math id="S3.SS1.p12.2.m2.1" class="ltx_Math" alttext="\ell-1" display="inline"><semantics id="S3.SS1.p12.2.m2.1a"><mrow id="S3.SS1.p12.2.m2.1.1" xref="S3.SS1.p12.2.m2.1.1.cmml"><mi mathvariant="normal" id="S3.SS1.p12.2.m2.1.1.2" xref="S3.SS1.p12.2.m2.1.1.2.cmml">ℓ</mi><mo id="S3.SS1.p12.2.m2.1.1.1" xref="S3.SS1.p12.2.m2.1.1.1.cmml">−</mo><mn id="S3.SS1.p12.2.m2.1.1.3" xref="S3.SS1.p12.2.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.p12.2.m2.1b"><apply id="S3.SS1.p12.2.m2.1.1.cmml" xref="S3.SS1.p12.2.m2.1.1"><minus id="S3.SS1.p12.2.m2.1.1.1.cmml" xref="S3.SS1.p12.2.m2.1.1.1"></minus><ci id="S3.SS1.p12.2.m2.1.1.2.cmml" xref="S3.SS1.p12.2.m2.1.1.2">ℓ</ci><cn type="integer" id="S3.SS1.p12.2.m2.1.1.3.cmml" xref="S3.SS1.p12.2.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p12.2.m2.1c">\ell-1</annotation></semantics></math>.
The norm of the input <math id="S3.SS1.p12.3.m3.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="S3.SS1.p12.3.m3.1a"><mi id="S3.SS1.p12.3.m3.1.1" xref="S3.SS1.p12.3.m3.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="S3.SS1.p12.3.m3.1b"><ci id="S3.SS1.p12.3.m3.1.1.cmml" xref="S3.SS1.p12.3.m3.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.p12.3.m3.1c">{\bm{x}}</annotation></semantics></math> is by assumption the correct size to serve as a base case, and thus we recursively have the correct feature scaling at all layers.</p>
</div>
<section id="S3.SS1.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">3.1.1 </span>Key intuitions</h4>

<div id="S3.SS1.SSS1.p1" class="ltx_para ltx_noindent">
<p id="S3.SS1.SSS1.p1.1" class="ltx_p">We now pause to discuss key intuitions from the above argument which will carry through to the general case.</p>
</div>
<div id="S3.SS1.SSS1.p2" class="ltx_para ltx_noindent">
<p id="S3.SS1.SSS1.p2.1" class="ltx_p"><span id="S3.SS1.SSS1.p2.1.1" class="ltx_text ltx_font_bold">Weight updates are low-rank and aligned.</span>
An important observation is that weight updates are highly structured: they have low rank and align to incoming vectors.
This motivates the spectral norm (which is the degree by which a matrix scales a “perfectly aligned” vector) as the correct measure of size.</p>
</div>
<div id="S3.SS1.SSS1.p3" class="ltx_para ltx_noindent">
<p id="S3.SS1.SSS1.p3.8" class="ltx_p"><span id="S3.SS1.SSS1.p3.8.1" class="ltx_text ltx_font_bold">Spectral variables enable simpler scaling analysis.</span>
Most prior work on hyperparameter scaling <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Hu, <a href="#bib.bib46" title="" class="ltx_ref">2021b</a>, Yaida, <a href="#bib.bib44" title="" class="ltx_ref">2022</a>)</cite> discusses layerwise initialization scales <math id="S3.SS1.SSS1.p3.1.m1.1" class="ltx_Math" alttext="\{\sigma_{\ell}\}" display="inline"><semantics id="S3.SS1.SSS1.p3.1.m1.1a"><mrow id="S3.SS1.SSS1.p3.1.m1.1.1.1" xref="S3.SS1.SSS1.p3.1.m1.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.SSS1.p3.1.m1.1.1.1.2" xref="S3.SS1.SSS1.p3.1.m1.1.1.2.cmml">{</mo><msub id="S3.SS1.SSS1.p3.1.m1.1.1.1.1" xref="S3.SS1.SSS1.p3.1.m1.1.1.1.1.cmml"><mi id="S3.SS1.SSS1.p3.1.m1.1.1.1.1.2" xref="S3.SS1.SSS1.p3.1.m1.1.1.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.1.m1.1.1.1.1.3" xref="S3.SS1.SSS1.p3.1.m1.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S3.SS1.SSS1.p3.1.m1.1.1.1.3" xref="S3.SS1.SSS1.p3.1.m1.1.1.2.cmml">}</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.1.m1.1b"><set id="S3.SS1.SSS1.p3.1.m1.1.1.2.cmml" xref="S3.SS1.SSS1.p3.1.m1.1.1.1"><apply id="S3.SS1.SSS1.p3.1.m1.1.1.1.1.cmml" xref="S3.SS1.SSS1.p3.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.1.m1.1.1.1.1.1.cmml" xref="S3.SS1.SSS1.p3.1.m1.1.1.1.1">subscript</csymbol><ci id="S3.SS1.SSS1.p3.1.m1.1.1.1.1.2.cmml" xref="S3.SS1.SSS1.p3.1.m1.1.1.1.1.2">𝜎</ci><ci id="S3.SS1.SSS1.p3.1.m1.1.1.1.1.3.cmml" xref="S3.SS1.SSS1.p3.1.m1.1.1.1.1.3">ℓ</ci></apply></set></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.1.m1.1c">\{\sigma_{\ell}\}</annotation></semantics></math> and learning rates <math id="S3.SS1.SSS1.p3.2.m2.1" class="ltx_Math" alttext="\{\eta_{\ell}\}" display="inline"><semantics id="S3.SS1.SSS1.p3.2.m2.1a"><mrow id="S3.SS1.SSS1.p3.2.m2.1.1.1" xref="S3.SS1.SSS1.p3.2.m2.1.1.2.cmml"><mo stretchy="false" id="S3.SS1.SSS1.p3.2.m2.1.1.1.2" xref="S3.SS1.SSS1.p3.2.m2.1.1.2.cmml">{</mo><msub id="S3.SS1.SSS1.p3.2.m2.1.1.1.1" xref="S3.SS1.SSS1.p3.2.m2.1.1.1.1.cmml"><mi id="S3.SS1.SSS1.p3.2.m2.1.1.1.1.2" xref="S3.SS1.SSS1.p3.2.m2.1.1.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.2.m2.1.1.1.1.3" xref="S3.SS1.SSS1.p3.2.m2.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S3.SS1.SSS1.p3.2.m2.1.1.1.3" xref="S3.SS1.SSS1.p3.2.m2.1.1.2.cmml">}</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.2.m2.1b"><set id="S3.SS1.SSS1.p3.2.m2.1.1.2.cmml" xref="S3.SS1.SSS1.p3.2.m2.1.1.1"><apply id="S3.SS1.SSS1.p3.2.m2.1.1.1.1.cmml" xref="S3.SS1.SSS1.p3.2.m2.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.2.m2.1.1.1.1.1.cmml" xref="S3.SS1.SSS1.p3.2.m2.1.1.1.1">subscript</csymbol><ci id="S3.SS1.SSS1.p3.2.m2.1.1.1.1.2.cmml" xref="S3.SS1.SSS1.p3.2.m2.1.1.1.1.2">𝜂</ci><ci id="S3.SS1.SSS1.p3.2.m2.1.1.1.1.3.cmml" xref="S3.SS1.SSS1.p3.2.m2.1.1.1.1.3">ℓ</ci></apply></set></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.2.m2.1c">\{\eta_{\ell}\}</annotation></semantics></math> as the primary variables—although there are exceptions
<cite class="ltx_cite ltx_citemacro_citep">(Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>)</cite>.
By contrast, we work directly in terms of quantities that these hyperparameters regulate: the spectral norms of <math id="S3.SS1.SSS1.p3.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.SSS1.p3.3.m3.1a"><msub id="S3.SS1.SSS1.p3.3.m3.1.1" xref="S3.SS1.SSS1.p3.3.m3.1.1.cmml"><mi id="S3.SS1.SSS1.p3.3.m3.1.1.2" xref="S3.SS1.SSS1.p3.3.m3.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.3.m3.1.1.3" xref="S3.SS1.SSS1.p3.3.m3.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.3.m3.1b"><apply id="S3.SS1.SSS1.p3.3.m3.1.1.cmml" xref="S3.SS1.SSS1.p3.3.m3.1.1"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.3.m3.1.1.1.cmml" xref="S3.SS1.SSS1.p3.3.m3.1.1">subscript</csymbol><ci id="S3.SS1.SSS1.p3.3.m3.1.1.2.cmml" xref="S3.SS1.SSS1.p3.3.m3.1.1.2">𝑾</ci><ci id="S3.SS1.SSS1.p3.3.m3.1.1.3.cmml" xref="S3.SS1.SSS1.p3.3.m3.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.3.m3.1c">{\bm{W}}_{\ell}</annotation></semantics></math> and <math id="S3.SS1.SSS1.p3.4.m4.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS1.SSS1.p3.4.m4.1a"><mrow id="S3.SS1.SSS1.p3.4.m4.1.1" xref="S3.SS1.SSS1.p3.4.m4.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS1.SSS1.p3.4.m4.1.1.2" xref="S3.SS1.SSS1.p3.4.m4.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS1.SSS1.p3.4.m4.1.1.1" xref="S3.SS1.SSS1.p3.4.m4.1.1.1.cmml">​</mo><msub id="S3.SS1.SSS1.p3.4.m4.1.1.3" xref="S3.SS1.SSS1.p3.4.m4.1.1.3.cmml"><mi id="S3.SS1.SSS1.p3.4.m4.1.1.3.2" xref="S3.SS1.SSS1.p3.4.m4.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.4.m4.1.1.3.3" xref="S3.SS1.SSS1.p3.4.m4.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.4.m4.1b"><apply id="S3.SS1.SSS1.p3.4.m4.1.1.cmml" xref="S3.SS1.SSS1.p3.4.m4.1.1"><times id="S3.SS1.SSS1.p3.4.m4.1.1.1.cmml" xref="S3.SS1.SSS1.p3.4.m4.1.1.1"></times><ci id="S3.SS1.SSS1.p3.4.m4.1.1.2.cmml" xref="S3.SS1.SSS1.p3.4.m4.1.1.2">Δ</ci><apply id="S3.SS1.SSS1.p3.4.m4.1.1.3.cmml" xref="S3.SS1.SSS1.p3.4.m4.1.1.3"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.4.m4.1.1.3.1.cmml" xref="S3.SS1.SSS1.p3.4.m4.1.1.3">subscript</csymbol><ci id="S3.SS1.SSS1.p3.4.m4.1.1.3.2.cmml" xref="S3.SS1.SSS1.p3.4.m4.1.1.3.2">𝑾</ci><ci id="S3.SS1.SSS1.p3.4.m4.1.1.3.3.cmml" xref="S3.SS1.SSS1.p3.4.m4.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.4.m4.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math>.
This enables us to determine the sizes of hidden vectors and their updates quite easily, whereas the same calculation in terms of <math id="S3.SS1.SSS1.p3.5.m5.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S3.SS1.SSS1.p3.5.m5.1a"><msub id="S3.SS1.SSS1.p3.5.m5.1.1" xref="S3.SS1.SSS1.p3.5.m5.1.1.cmml"><mi id="S3.SS1.SSS1.p3.5.m5.1.1.2" xref="S3.SS1.SSS1.p3.5.m5.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.5.m5.1.1.3" xref="S3.SS1.SSS1.p3.5.m5.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.5.m5.1b"><apply id="S3.SS1.SSS1.p3.5.m5.1.1.cmml" xref="S3.SS1.SSS1.p3.5.m5.1.1"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.5.m5.1.1.1.cmml" xref="S3.SS1.SSS1.p3.5.m5.1.1">subscript</csymbol><ci id="S3.SS1.SSS1.p3.5.m5.1.1.2.cmml" xref="S3.SS1.SSS1.p3.5.m5.1.1.2">𝜎</ci><ci id="S3.SS1.SSS1.p3.5.m5.1.1.3.cmml" xref="S3.SS1.SSS1.p3.5.m5.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.5.m5.1c">\sigma_{\ell}</annotation></semantics></math> and <math id="S3.SS1.SSS1.p3.6.m6.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S3.SS1.SSS1.p3.6.m6.1a"><msub id="S3.SS1.SSS1.p3.6.m6.1.1" xref="S3.SS1.SSS1.p3.6.m6.1.1.cmml"><mi id="S3.SS1.SSS1.p3.6.m6.1.1.2" xref="S3.SS1.SSS1.p3.6.m6.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.6.m6.1.1.3" xref="S3.SS1.SSS1.p3.6.m6.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.6.m6.1b"><apply id="S3.SS1.SSS1.p3.6.m6.1.1.cmml" xref="S3.SS1.SSS1.p3.6.m6.1.1"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.6.m6.1.1.1.cmml" xref="S3.SS1.SSS1.p3.6.m6.1.1">subscript</csymbol><ci id="S3.SS1.SSS1.p3.6.m6.1.1.2.cmml" xref="S3.SS1.SSS1.p3.6.m6.1.1.2">𝜂</ci><ci id="S3.SS1.SSS1.p3.6.m6.1.1.3.cmml" xref="S3.SS1.SSS1.p3.6.m6.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.6.m6.1c">\eta_{\ell}</annotation></semantics></math> is more involved.
<a href="#S4" title="4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">4</span></a> shows how to recover <math id="S3.SS1.SSS1.p3.7.m7.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S3.SS1.SSS1.p3.7.m7.1a"><msub id="S3.SS1.SSS1.p3.7.m7.1.1" xref="S3.SS1.SSS1.p3.7.m7.1.1.cmml"><mi id="S3.SS1.SSS1.p3.7.m7.1.1.2" xref="S3.SS1.SSS1.p3.7.m7.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.7.m7.1.1.3" xref="S3.SS1.SSS1.p3.7.m7.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.7.m7.1b"><apply id="S3.SS1.SSS1.p3.7.m7.1.1.cmml" xref="S3.SS1.SSS1.p3.7.m7.1.1"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.7.m7.1.1.1.cmml" xref="S3.SS1.SSS1.p3.7.m7.1.1">subscript</csymbol><ci id="S3.SS1.SSS1.p3.7.m7.1.1.2.cmml" xref="S3.SS1.SSS1.p3.7.m7.1.1.2">𝜎</ci><ci id="S3.SS1.SSS1.p3.7.m7.1.1.3.cmml" xref="S3.SS1.SSS1.p3.7.m7.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.7.m7.1c">\sigma_{\ell}</annotation></semantics></math> and <math id="S3.SS1.SSS1.p3.8.m8.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S3.SS1.SSS1.p3.8.m8.1a"><msub id="S3.SS1.SSS1.p3.8.m8.1.1" xref="S3.SS1.SSS1.p3.8.m8.1.1.cmml"><mi id="S3.SS1.SSS1.p3.8.m8.1.1.2" xref="S3.SS1.SSS1.p3.8.m8.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S3.SS1.SSS1.p3.8.m8.1.1.3" xref="S3.SS1.SSS1.p3.8.m8.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS1.SSS1.p3.8.m8.1b"><apply id="S3.SS1.SSS1.p3.8.m8.1.1.cmml" xref="S3.SS1.SSS1.p3.8.m8.1.1"><csymbol cd="ambiguous" id="S3.SS1.SSS1.p3.8.m8.1.1.1.cmml" xref="S3.SS1.SSS1.p3.8.m8.1.1">subscript</csymbol><ci id="S3.SS1.SSS1.p3.8.m8.1.1.2.cmml" xref="S3.SS1.SSS1.p3.8.m8.1.1.2">𝜂</ci><ci id="S3.SS1.SSS1.p3.8.m8.1.1.3.cmml" xref="S3.SS1.SSS1.p3.8.m8.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS1.SSS1.p3.8.m8.1c">\eta_{\ell}</annotation></semantics></math> from our spectral scaling condition.</p>
</div>
</section>
</section>
<section id="S3.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.2 </span>Extensions: additional gradient steps, nonlinearities, and multiple examples</h3>

<div id="S3.SS2.p1" class="ltx_para ltx_noindent">
<p id="S3.SS2.p1.1" class="ltx_p">We now extend our warmup example to successively more complex settings, ultimately recovering the general case.
As we add back complexity, our spectral scaling condition will remain sufficient to achieve feature evolution of the proper size, and key intuitions from our warmup will continue to hold up to minor modifications.
Each extension requires making a natural assumption. We empirically verify these assumptions for a deep MLP in <a href="#A3" title="Appendix C Empirical checks of 1, 2 and 3 ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">C</span></a>.</p>
</div>
<section id="S3.SS2.SSS1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">3.2.1 </span>Additional gradient steps</h4>

<div id="S3.SS2.SSS1.p1" class="ltx_para">
<p id="S3.SS2.SSS1.p1.3" class="ltx_p">Our warmup argument relied on two properties of <math id="S3.SS2.SSS1.p1.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS2.SSS1.p1.1.m1.1a"><msub id="S3.SS2.SSS1.p1.1.m1.1.1" xref="S3.SS2.SSS1.p1.1.m1.1.1.cmml"><mi id="S3.SS2.SSS1.p1.1.m1.1.1.2" xref="S3.SS2.SSS1.p1.1.m1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p1.1.m1.1.1.3" xref="S3.SS2.SSS1.p1.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.1.m1.1b"><apply id="S3.SS2.SSS1.p1.1.m1.1.1.cmml" xref="S3.SS2.SSS1.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.1.m1.1.1.1.cmml" xref="S3.SS2.SSS1.p1.1.m1.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p1.1.m1.1.1.2.cmml" xref="S3.SS2.SSS1.p1.1.m1.1.1.2">𝑾</ci><ci id="S3.SS2.SSS1.p1.1.m1.1.1.3.cmml" xref="S3.SS2.SSS1.p1.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.1.m1.1c">{\bm{W}}_{\ell}</annotation></semantics></math> at initialization: its spectral norm being the correct size (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) and it passing forward features <math id="S3.SS2.SSS1.p1.2.m2.1" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="S3.SS2.SSS1.p1.2.m2.1a"><mrow id="S3.SS2.SSS1.p1.2.m2.1.2" xref="S3.SS2.SSS1.p1.2.m2.1.2.cmml"><msub id="S3.SS2.SSS1.p1.2.m2.1.2.2" xref="S3.SS2.SSS1.p1.2.m2.1.2.2.cmml"><mi id="S3.SS2.SSS1.p1.2.m2.1.2.2.2" xref="S3.SS2.SSS1.p1.2.m2.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p1.2.m2.1.2.2.3" xref="S3.SS2.SSS1.p1.2.m2.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p1.2.m2.1.2.1" xref="S3.SS2.SSS1.p1.2.m2.1.2.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p1.2.m2.1.2.3.2" xref="S3.SS2.SSS1.p1.2.m2.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p1.2.m2.1.2.3.2.1" xref="S3.SS2.SSS1.p1.2.m2.1.2.cmml">(</mo><mi id="S3.SS2.SSS1.p1.2.m2.1.1" xref="S3.SS2.SSS1.p1.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS1.p1.2.m2.1.2.3.2.2" xref="S3.SS2.SSS1.p1.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.2.m2.1b"><apply id="S3.SS2.SSS1.p1.2.m2.1.2.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.2"><times id="S3.SS2.SSS1.p1.2.m2.1.2.1.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.2.1"></times><apply id="S3.SS2.SSS1.p1.2.m2.1.2.2.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.2.m2.1.2.2.1.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.2.2">subscript</csymbol><ci id="S3.SS2.SSS1.p1.2.m2.1.2.2.2.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.2.2.2">𝒉</ci><ci id="S3.SS2.SSS1.p1.2.m2.1.2.2.3.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.2.2.3">ℓ</ci></apply><ci id="S3.SS2.SSS1.p1.2.m2.1.1.cmml" xref="S3.SS2.SSS1.p1.2.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.2.m2.1c">{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math> of the correct size (<a href="#Thmclaim2" title="Claim 2 (Alignment of updates). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>).
Fortunately, it is easily seen that these two properties remain true of <math id="S3.SS2.SSS1.p1.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS2.SSS1.p1.3.m3.1a"><msub id="S3.SS2.SSS1.p1.3.m3.1.1" xref="S3.SS2.SSS1.p1.3.m3.1.1.cmml"><mi id="S3.SS2.SSS1.p1.3.m3.1.1.2" xref="S3.SS2.SSS1.p1.3.m3.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p1.3.m3.1.1.3" xref="S3.SS2.SSS1.p1.3.m3.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p1.3.m3.1b"><apply id="S3.SS2.SSS1.p1.3.m3.1.1.cmml" xref="S3.SS2.SSS1.p1.3.m3.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p1.3.m3.1.1.1.cmml" xref="S3.SS2.SSS1.p1.3.m3.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p1.3.m3.1.1.2.cmml" xref="S3.SS2.SSS1.p1.3.m3.1.1.2">𝑾</ci><ci id="S3.SS2.SSS1.p1.3.m3.1.1.3.cmml" xref="S3.SS2.SSS1.p1.3.m3.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p1.3.m3.1c">{\bm{W}}_{\ell}</annotation></semantics></math> after a gradient step, and we can therefore treat the second (and later) steps exactly as we did the first.
This follows quickly given the following assumption.</p>
</div>
<div id="Thmassumption1" class="ltx_theorem ltx_theorem_assumption">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumption1.1.1.1" class="ltx_text ltx_font_bold">Assumption 1</span></span><span id="Thmassumption1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumption1.p1" class="ltx_para">
<p id="Thmassumption1.p1.1" class="ltx_p">Updates do not perfectly cancel initial quantities.
That is:</p>
<table id="A5.EGx4" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S3.E11"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E11.m1.1" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}" display="inline"><semantics id="S3.E11.m1.1a"><msub id="S3.E11.m1.1.1" xref="S3.E11.m1.1.1.cmml"><mrow id="S3.E11.m1.1.1.1.1" xref="S3.E11.m1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E11.m1.1.1.1.1.2" xref="S3.E11.m1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.E11.m1.1.1.1.1.1" xref="S3.E11.m1.1.1.1.1.1.cmml"><msub id="S3.E11.m1.1.1.1.1.1.2" xref="S3.E11.m1.1.1.1.1.1.2.cmml"><mi id="S3.E11.m1.1.1.1.1.1.2.2" xref="S3.E11.m1.1.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E11.m1.1.1.1.1.1.2.3" xref="S3.E11.m1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo id="S3.E11.m1.1.1.1.1.1.1" xref="S3.E11.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.E11.m1.1.1.1.1.1.3" xref="S3.E11.m1.1.1.1.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E11.m1.1.1.1.1.1.3.2" xref="S3.E11.m1.1.1.1.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E11.m1.1.1.1.1.1.3.1" xref="S3.E11.m1.1.1.1.1.1.3.1.cmml">​</mo><msub id="S3.E11.m1.1.1.1.1.1.3.3" xref="S3.E11.m1.1.1.1.1.1.3.3.cmml"><mi id="S3.E11.m1.1.1.1.1.1.3.3.2" xref="S3.E11.m1.1.1.1.1.1.3.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E11.m1.1.1.1.1.1.3.3.3" xref="S3.E11.m1.1.1.1.1.1.3.3.3.cmml">ℓ</mi></msub></mrow></mrow><mo stretchy="false" id="S3.E11.m1.1.1.1.1.3" xref="S3.E11.m1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E11.m1.1.1.3" xref="S3.E11.m1.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="S3.E11.m1.1b"><apply id="S3.E11.m1.1.1.cmml" xref="S3.E11.m1.1.1"><csymbol cd="ambiguous" id="S3.E11.m1.1.1.2.cmml" xref="S3.E11.m1.1.1">subscript</csymbol><apply id="S3.E11.m1.1.1.1.2.cmml" xref="S3.E11.m1.1.1.1.1"><csymbol cd="latexml" id="S3.E11.m1.1.1.1.2.1.cmml" xref="S3.E11.m1.1.1.1.1.2">norm</csymbol><apply id="S3.E11.m1.1.1.1.1.1.cmml" xref="S3.E11.m1.1.1.1.1.1"><plus id="S3.E11.m1.1.1.1.1.1.1.cmml" xref="S3.E11.m1.1.1.1.1.1.1"></plus><apply id="S3.E11.m1.1.1.1.1.1.2.cmml" xref="S3.E11.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E11.m1.1.1.1.1.1.2.1.cmml" xref="S3.E11.m1.1.1.1.1.1.2">subscript</csymbol><ci id="S3.E11.m1.1.1.1.1.1.2.2.cmml" xref="S3.E11.m1.1.1.1.1.1.2.2">𝑾</ci><ci id="S3.E11.m1.1.1.1.1.1.2.3.cmml" xref="S3.E11.m1.1.1.1.1.1.2.3">ℓ</ci></apply><apply id="S3.E11.m1.1.1.1.1.1.3.cmml" xref="S3.E11.m1.1.1.1.1.1.3"><times id="S3.E11.m1.1.1.1.1.1.3.1.cmml" xref="S3.E11.m1.1.1.1.1.1.3.1"></times><ci id="S3.E11.m1.1.1.1.1.1.3.2.cmml" xref="S3.E11.m1.1.1.1.1.1.3.2">Δ</ci><apply id="S3.E11.m1.1.1.1.1.1.3.3.cmml" xref="S3.E11.m1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.E11.m1.1.1.1.1.1.3.3.1.cmml" xref="S3.E11.m1.1.1.1.1.1.3.3">subscript</csymbol><ci id="S3.E11.m1.1.1.1.1.1.3.3.2.cmml" xref="S3.E11.m1.1.1.1.1.1.3.3.2">𝑾</ci><ci id="S3.E11.m1.1.1.1.1.1.3.3.3.cmml" xref="S3.E11.m1.1.1.1.1.1.3.3.3">ℓ</ci></apply></apply></apply></apply><times id="S3.E11.m1.1.1.3.cmml" xref="S3.E11.m1.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E11.m1.1c">\displaystyle\left|\!\left|{\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.E11.m2.1" class="ltx_Math" alttext="\displaystyle=\Theta\left(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}+\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\right)" display="inline"><semantics id="S3.E11.m2.1a"><mrow id="S3.E11.m2.1.1" xref="S3.E11.m2.1.1.cmml"><mi id="S3.E11.m2.1.1.3" xref="S3.E11.m2.1.1.3.cmml"></mi><mo id="S3.E11.m2.1.1.2" xref="S3.E11.m2.1.1.2.cmml">=</mo><mrow id="S3.E11.m2.1.1.1" xref="S3.E11.m2.1.1.1.cmml"><mi mathvariant="normal" id="S3.E11.m2.1.1.1.3" xref="S3.E11.m2.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.E11.m2.1.1.1.2" xref="S3.E11.m2.1.1.1.2.cmml">​</mo><mrow id="S3.E11.m2.1.1.1.1.1" xref="S3.E11.m2.1.1.1.1.1.1.cmml"><mo id="S3.E11.m2.1.1.1.1.1.2" xref="S3.E11.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.E11.m2.1.1.1.1.1.1" xref="S3.E11.m2.1.1.1.1.1.1.cmml"><msub id="S3.E11.m2.1.1.1.1.1.1.1" xref="S3.E11.m2.1.1.1.1.1.1.1.cmml"><mrow id="S3.E11.m2.1.1.1.1.1.1.1.1.1" xref="S3.E11.m2.1.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E11.m2.1.1.1.1.1.1.1.1.1.2" xref="S3.E11.m2.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="S3.E11.m2.1.1.1.1.1.1.1.1.1.1" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.2" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.3" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S3.E11.m2.1.1.1.1.1.1.1.1.1.3" xref="S3.E11.m2.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E11.m2.1.1.1.1.1.1.1.3" xref="S3.E11.m2.1.1.1.1.1.1.1.3.cmml">∗</mo></msub><mo id="S3.E11.m2.1.1.1.1.1.1.3" xref="S3.E11.m2.1.1.1.1.1.1.3.cmml">+</mo><msub id="S3.E11.m2.1.1.1.1.1.1.2" xref="S3.E11.m2.1.1.1.1.1.1.2.cmml"><mrow id="S3.E11.m2.1.1.1.1.1.1.2.1.1" xref="S3.E11.m2.1.1.1.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S3.E11.m2.1.1.1.1.1.1.2.1.1.2" xref="S3.E11.m2.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.2" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.1" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><msub id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.2" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.3" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S3.E11.m2.1.1.1.1.1.1.2.1.1.3" xref="S3.E11.m2.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mo id="S3.E11.m2.1.1.1.1.1.1.2.3" xref="S3.E11.m2.1.1.1.1.1.1.2.3.cmml">∗</mo></msub></mrow><mo id="S3.E11.m2.1.1.1.1.1.3" xref="S3.E11.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.E11.m2.1b"><apply id="S3.E11.m2.1.1.cmml" xref="S3.E11.m2.1.1"><eq id="S3.E11.m2.1.1.2.cmml" xref="S3.E11.m2.1.1.2"></eq><csymbol cd="latexml" id="S3.E11.m2.1.1.3.cmml" xref="S3.E11.m2.1.1.3">absent</csymbol><apply id="S3.E11.m2.1.1.1.cmml" xref="S3.E11.m2.1.1.1"><times id="S3.E11.m2.1.1.1.2.cmml" xref="S3.E11.m2.1.1.1.2"></times><ci id="S3.E11.m2.1.1.1.3.cmml" xref="S3.E11.m2.1.1.1.3">Θ</ci><apply id="S3.E11.m2.1.1.1.1.1.1.cmml" xref="S3.E11.m2.1.1.1.1.1"><plus id="S3.E11.m2.1.1.1.1.1.1.3.cmml" xref="S3.E11.m2.1.1.1.1.1.1.3"></plus><apply id="S3.E11.m2.1.1.1.1.1.1.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E11.m2.1.1.1.1.1.1.1.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1">subscript</csymbol><apply id="S3.E11.m2.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.E11.m2.1.1.1.1.1.1.1.1.2.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.2">𝑾</ci><ci id="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.E11.m2.1.1.1.1.1.1.1.3.cmml" xref="S3.E11.m2.1.1.1.1.1.1.1.3"></times></apply><apply id="S3.E11.m2.1.1.1.1.1.1.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E11.m2.1.1.1.1.1.1.2.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2">subscript</csymbol><apply id="S3.E11.m2.1.1.1.1.1.1.2.1.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1"><csymbol cd="latexml" id="S3.E11.m2.1.1.1.1.1.1.2.1.2.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.2">norm</csymbol><apply id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1"><times id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.1"></times><ci id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.2">Δ</ci><apply id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3">subscript</csymbol><ci id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.2">𝑾</ci><ci id="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.E11.m2.1.1.1.1.1.1.2.3.cmml" xref="S3.E11.m2.1.1.1.1.1.1.2.3"></times></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E11.m2.1c">\displaystyle=\Theta\left(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}+\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\right)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(11)</span></td>
</tr></tbody>
<tbody id="S3.E12"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S3.E12.m1.3" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="S3.E12.m1.3a"><msub id="S3.E12.m1.3.3" xref="S3.E12.m1.3.3.cmml"><mrow id="S3.E12.m1.3.3.1.1" xref="S3.E12.m1.3.3.1.2.cmml"><mo stretchy="false" id="S3.E12.m1.3.3.1.1.2" xref="S3.E12.m1.3.3.1.2.1.cmml">‖</mo><mrow id="S3.E12.m1.3.3.1.1.1" xref="S3.E12.m1.3.3.1.1.1.cmml"><mrow id="S3.E12.m1.3.3.1.1.1.2" xref="S3.E12.m1.3.3.1.1.1.2.cmml"><msub id="S3.E12.m1.3.3.1.1.1.2.2" xref="S3.E12.m1.3.3.1.1.1.2.2.cmml"><mi id="S3.E12.m1.3.3.1.1.1.2.2.2" xref="S3.E12.m1.3.3.1.1.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E12.m1.3.3.1.1.1.2.2.3" xref="S3.E12.m1.3.3.1.1.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E12.m1.3.3.1.1.1.2.1" xref="S3.E12.m1.3.3.1.1.1.2.1.cmml">​</mo><mrow id="S3.E12.m1.3.3.1.1.1.2.3.2" xref="S3.E12.m1.3.3.1.1.1.2.cmml"><mo stretchy="false" id="S3.E12.m1.3.3.1.1.1.2.3.2.1" xref="S3.E12.m1.3.3.1.1.1.2.cmml">(</mo><mi id="S3.E12.m1.1.1" xref="S3.E12.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E12.m1.3.3.1.1.1.2.3.2.2" xref="S3.E12.m1.3.3.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.E12.m1.3.3.1.1.1.1" xref="S3.E12.m1.3.3.1.1.1.1.cmml">+</mo><mrow id="S3.E12.m1.3.3.1.1.1.3" xref="S3.E12.m1.3.3.1.1.1.3.cmml"><mi mathvariant="normal" id="S3.E12.m1.3.3.1.1.1.3.2" xref="S3.E12.m1.3.3.1.1.1.3.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E12.m1.3.3.1.1.1.3.1" xref="S3.E12.m1.3.3.1.1.1.3.1.cmml">​</mo><msub id="S3.E12.m1.3.3.1.1.1.3.3" xref="S3.E12.m1.3.3.1.1.1.3.3.cmml"><mi id="S3.E12.m1.3.3.1.1.1.3.3.2" xref="S3.E12.m1.3.3.1.1.1.3.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E12.m1.3.3.1.1.1.3.3.3" xref="S3.E12.m1.3.3.1.1.1.3.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E12.m1.3.3.1.1.1.3.1a" xref="S3.E12.m1.3.3.1.1.1.3.1.cmml">​</mo><mrow id="S3.E12.m1.3.3.1.1.1.3.4.2" xref="S3.E12.m1.3.3.1.1.1.3.cmml"><mo stretchy="false" id="S3.E12.m1.3.3.1.1.1.3.4.2.1" xref="S3.E12.m1.3.3.1.1.1.3.cmml">(</mo><mi id="S3.E12.m1.2.2" xref="S3.E12.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E12.m1.3.3.1.1.1.3.4.2.2" xref="S3.E12.m1.3.3.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="S3.E12.m1.3.3.1.1.3" xref="S3.E12.m1.3.3.1.2.1.cmml">‖</mo></mrow><mn id="S3.E12.m1.3.3.3" xref="S3.E12.m1.3.3.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="S3.E12.m1.3b"><apply id="S3.E12.m1.3.3.cmml" xref="S3.E12.m1.3.3"><csymbol cd="ambiguous" id="S3.E12.m1.3.3.2.cmml" xref="S3.E12.m1.3.3">subscript</csymbol><apply id="S3.E12.m1.3.3.1.2.cmml" xref="S3.E12.m1.3.3.1.1"><csymbol cd="latexml" id="S3.E12.m1.3.3.1.2.1.cmml" xref="S3.E12.m1.3.3.1.1.2">norm</csymbol><apply id="S3.E12.m1.3.3.1.1.1.cmml" xref="S3.E12.m1.3.3.1.1.1"><plus id="S3.E12.m1.3.3.1.1.1.1.cmml" xref="S3.E12.m1.3.3.1.1.1.1"></plus><apply id="S3.E12.m1.3.3.1.1.1.2.cmml" xref="S3.E12.m1.3.3.1.1.1.2"><times id="S3.E12.m1.3.3.1.1.1.2.1.cmml" xref="S3.E12.m1.3.3.1.1.1.2.1"></times><apply id="S3.E12.m1.3.3.1.1.1.2.2.cmml" xref="S3.E12.m1.3.3.1.1.1.2.2"><csymbol cd="ambiguous" id="S3.E12.m1.3.3.1.1.1.2.2.1.cmml" xref="S3.E12.m1.3.3.1.1.1.2.2">subscript</csymbol><ci id="S3.E12.m1.3.3.1.1.1.2.2.2.cmml" xref="S3.E12.m1.3.3.1.1.1.2.2.2">𝒉</ci><ci id="S3.E12.m1.3.3.1.1.1.2.2.3.cmml" xref="S3.E12.m1.3.3.1.1.1.2.2.3">ℓ</ci></apply><ci id="S3.E12.m1.1.1.cmml" xref="S3.E12.m1.1.1">𝒙</ci></apply><apply id="S3.E12.m1.3.3.1.1.1.3.cmml" xref="S3.E12.m1.3.3.1.1.1.3"><times id="S3.E12.m1.3.3.1.1.1.3.1.cmml" xref="S3.E12.m1.3.3.1.1.1.3.1"></times><ci id="S3.E12.m1.3.3.1.1.1.3.2.cmml" xref="S3.E12.m1.3.3.1.1.1.3.2">Δ</ci><apply id="S3.E12.m1.3.3.1.1.1.3.3.cmml" xref="S3.E12.m1.3.3.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.E12.m1.3.3.1.1.1.3.3.1.cmml" xref="S3.E12.m1.3.3.1.1.1.3.3">subscript</csymbol><ci id="S3.E12.m1.3.3.1.1.1.3.3.2.cmml" xref="S3.E12.m1.3.3.1.1.1.3.3.2">𝒉</ci><ci id="S3.E12.m1.3.3.1.1.1.3.3.3.cmml" xref="S3.E12.m1.3.3.1.1.1.3.3.3">ℓ</ci></apply><ci id="S3.E12.m1.2.2.cmml" xref="S3.E12.m1.2.2">𝒙</ci></apply></apply></apply><cn type="integer" id="S3.E12.m1.3.3.3.cmml" xref="S3.E12.m1.3.3.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E12.m1.3c">\displaystyle\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="S3.E12.m2.3" class="ltx_Math" alttext="\displaystyle=\Theta(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2})." display="inline"><semantics id="S3.E12.m2.3a"><mrow id="S3.E12.m2.3.3.1" xref="S3.E12.m2.3.3.1.1.cmml"><mrow id="S3.E12.m2.3.3.1.1" xref="S3.E12.m2.3.3.1.1.cmml"><mi id="S3.E12.m2.3.3.1.1.3" xref="S3.E12.m2.3.3.1.1.3.cmml"></mi><mo id="S3.E12.m2.3.3.1.1.2" xref="S3.E12.m2.3.3.1.1.2.cmml">=</mo><mrow id="S3.E12.m2.3.3.1.1.1" xref="S3.E12.m2.3.3.1.1.1.cmml"><mi mathvariant="normal" id="S3.E12.m2.3.3.1.1.1.3" xref="S3.E12.m2.3.3.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.E12.m2.3.3.1.1.1.2" xref="S3.E12.m2.3.3.1.1.1.2.cmml">​</mo><mrow id="S3.E12.m2.3.3.1.1.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.E12.m2.3.3.1.1.1.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.cmml"><msub id="S3.E12.m2.3.3.1.1.1.1.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.cmml"><mrow id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><msub id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mi id="S3.E12.m2.1.1" xref="S3.E12.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.2.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.E12.m2.3.3.1.1.1.1.1.1.1.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.3.cmml">2</mn></msub><mo id="S3.E12.m2.3.3.1.1.1.1.1.1.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.3.cmml">+</mo><msub id="S3.E12.m2.3.3.1.1.1.1.1.1.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.cmml"><mrow id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml"><mi mathvariant="normal" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><msub id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.1a" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><mrow id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.4.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.4.2.1" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><mi id="S3.E12.m2.2.2" xref="S3.E12.m2.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.4.2.2" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E12.m2.3.3.1.1.1.1.1.1.2.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.3.cmml">2</mn></msub></mrow><mo stretchy="false" id="S3.E12.m2.3.3.1.1.1.1.1.3" xref="S3.E12.m2.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="S3.E12.m2.3.3.1.2" xref="S3.E12.m2.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E12.m2.3b"><apply id="S3.E12.m2.3.3.1.1.cmml" xref="S3.E12.m2.3.3.1"><eq id="S3.E12.m2.3.3.1.1.2.cmml" xref="S3.E12.m2.3.3.1.1.2"></eq><csymbol cd="latexml" id="S3.E12.m2.3.3.1.1.3.cmml" xref="S3.E12.m2.3.3.1.1.3">absent</csymbol><apply id="S3.E12.m2.3.3.1.1.1.cmml" xref="S3.E12.m2.3.3.1.1.1"><times id="S3.E12.m2.3.3.1.1.1.2.cmml" xref="S3.E12.m2.3.3.1.1.1.2"></times><ci id="S3.E12.m2.3.3.1.1.1.3.cmml" xref="S3.E12.m2.3.3.1.1.1.3">Θ</ci><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1"><plus id="S3.E12.m2.3.3.1.1.1.1.1.1.3.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.3"></plus><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1">subscript</csymbol><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.2.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1"><times id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2">𝒉</ci><ci id="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="S3.E12.m2.1.1.cmml" xref="S3.E12.m2.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E12.m2.3.3.1.1.1.1.1.1.1.3.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.1.3">2</cn></apply><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2">subscript</csymbol><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1"><csymbol cd="latexml" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.2.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.2">norm</csymbol><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1"><times id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.1"></times><ci id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.2">Δ</ci><apply id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3">subscript</csymbol><ci id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2">𝒉</ci><ci id="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3">ℓ</ci></apply><ci id="S3.E12.m2.2.2.cmml" xref="S3.E12.m2.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.E12.m2.3.3.1.1.1.1.1.1.2.3.cmml" xref="S3.E12.m2.3.3.1.1.1.1.1.1.2.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E12.m2.3c">\displaystyle=\Theta(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(12)</span></td>
</tr></tbody>
</table>
</div>
</div>
<div id="S3.SS2.SSS1.p2" class="ltx_para ltx_noindent">
<p id="S3.SS2.SSS1.p2.3" class="ltx_p">The sort of perfect cancellation required to violate this assumption will be rare in practice (and adding a small amount of randomness to the learning rate <math id="S3.SS2.SSS1.p2.1.m1.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S3.SS2.SSS1.p2.1.m1.1a"><msub id="S3.SS2.SSS1.p2.1.m1.1.1" xref="S3.SS2.SSS1.p2.1.m1.1.1.cmml"><mi id="S3.SS2.SSS1.p2.1.m1.1.1.2" xref="S3.SS2.SSS1.p2.1.m1.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p2.1.m1.1.1.3" xref="S3.SS2.SSS1.p2.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.1.m1.1b"><apply id="S3.SS2.SSS1.p2.1.m1.1.1.cmml" xref="S3.SS2.SSS1.p2.1.m1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.1.m1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.1.m1.1.1">subscript</csymbol><ci id="S3.SS2.SSS1.p2.1.m1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.1.m1.1.1.2">𝜂</ci><ci id="S3.SS2.SSS1.p2.1.m1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.1.m1.1c">\eta_{\ell}</annotation></semantics></math> will fix any occurrence with high probability).
It follows that
<math id="S3.SS2.SSS1.p2.2.m2.2" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})" display="inline"><semantics id="S3.SS2.SSS1.p2.2.m2.2a"><mrow id="S3.SS2.SSS1.p2.2.m2.2.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.cmml"><msub id="S3.SS2.SSS1.p2.2.m2.2.2.1" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.2.1.cmml">‖</mo><mrow id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.cmml"><msub id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.3" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.1" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.1.cmml">+</mo><mrow id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.1" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.1.cmml">​</mo><msub id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.3" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.3.cmml">ℓ</mi></msub></mrow></mrow><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.3" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.SS2.SSS1.p2.2.m2.2.2.1.3" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.3.cmml">∗</mo></msub><mo id="S3.SS2.SSS1.p2.2.m2.2.2.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.2.cmml">=</mo><mrow id="S3.SS2.SSS1.p2.2.m2.2.2.3" xref="S3.SS2.SSS1.p2.2.m2.2.2.3.cmml"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.2.m2.2.2.3.2" xref="S3.SS2.SSS1.p2.2.m2.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.2.2.3.1" xref="S3.SS2.SSS1.p2.2.m2.2.2.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.2.m2.2.2.3.3.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.2.2.3.3.2.1" xref="S3.SS2.SSS1.p2.2.m2.1.1.cmml">(</mo><msqrt id="S3.SS2.SSS1.p2.2.m2.1.1" xref="S3.SS2.SSS1.p2.2.m2.1.1.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.1.1.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.1.1.2.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.cmml"><mrow id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.cmml"><mn id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.1" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.1.cmml">​</mo><mi id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.3" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.1a" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.1.cmml">​</mo><msub id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.3" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.1" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.1.cmml">/</mo><mn id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.3" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.1.1.2.1" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.1.cmml">​</mo><mi id="S3.SS2.SSS1.p2.2.m2.1.1.2.3" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.2.m2.1.1.2.1a" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.1.cmml">​</mo><msub id="S3.SS2.SSS1.p2.2.m2.1.1.2.4" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.cmml"><mi id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.2.cmml">t</mi><mrow id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.1" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.1.cmml">−</mo><mn id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.3" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo stretchy="false" id="S3.SS2.SSS1.p2.2.m2.2.2.3.3.2.2" xref="S3.SS2.SSS1.p2.2.m2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.2.m2.2b"><apply id="S3.SS2.SSS1.p2.2.m2.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2"><eq id="S3.SS2.SSS1.p2.2.m2.2.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.2"></eq><apply id="S3.SS2.SSS1.p2.2.m2.2.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.2.2.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1">subscript</csymbol><apply id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.2">norm</csymbol><apply id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1"><plus id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.1"></plus><apply id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2">subscript</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.2">𝑾</ci><ci id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.2.3">ℓ</ci></apply><apply id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3"><times id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.1"></times><ci id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.2">Δ</ci><apply id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3">subscript</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.2">𝑾</ci><ci id="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.1.1.1.3.3.3">ℓ</ci></apply></apply></apply></apply><times id="S3.SS2.SSS1.p2.2.m2.2.2.1.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.1.3"></times></apply><apply id="S3.SS2.SSS1.p2.2.m2.2.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.3"><times id="S3.SS2.SSS1.p2.2.m2.2.2.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.3.1"></times><ci id="S3.SS2.SSS1.p2.2.m2.2.2.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.3.2">Θ</ci><apply id="S3.SS2.SSS1.p2.2.m2.1.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.3.3.2"><root id="S3.SS2.SSS1.p2.2.m2.1.1a.cmml" xref="S3.SS2.SSS1.p2.2.m2.2.2.3.3.2"></root><apply id="S3.SS2.SSS1.p2.2.m2.1.1.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2"><times id="S3.SS2.SSS1.p2.2.m2.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.1"></times><apply id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2"><divide id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.1"></divide><apply id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2"><times id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.1"></times><cn type="integer" id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.2">0</cn><ci id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.3">𝑝</ci><apply id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4">subscript</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.2">𝑡</ci><ci id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S3.SS2.SSS1.p2.2.m2.1.1.2.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.2.3">0</cn></apply><ci id="S3.SS2.SSS1.p2.2.m2.1.1.2.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.3">𝑝</ci><apply id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4">subscript</csymbol><ci id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.2">𝑡</ci><apply id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3"><minus id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.1.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.1"></minus><ci id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.2.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.3.cmml" xref="S3.SS2.SSS1.p2.2.m2.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.2.m2.2c">\left|\!\left|{\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})</annotation></semantics></math>
and
<math id="S3.SS2.SSS1.p2.3.m3.4" class="ltx_Math" alttext="\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})." display="inline"><semantics id="S3.SS2.SSS1.p2.3.m3.4a"><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.cmml"><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.cmml"><msub id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.cmml"><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.cmml"><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.cmml"><msub id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.cmml"><mi id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.3" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.3.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.3.2.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.cmml">(</mo><mi id="S3.SS2.SSS1.p2.3.m3.1.1" xref="S3.SS2.SSS1.p2.3.m3.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.3.2.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.1.cmml">+</mo><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.cmml"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.1.cmml">​</mo><msub id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.cmml"><mi id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.3" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.1a" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.4.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.4.2.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.cmml">(</mo><mi id="S3.SS2.SSS1.p2.3.m3.2.2" xref="S3.SS2.SSS1.p2.3.m3.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.4.2.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.3" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.3" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.3.cmml">2</mn></msub><mo id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.2.cmml">=</mo><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.cmml"><mi mathvariant="normal" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.1" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.1.cmml">​</mo><mrow id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.3.2" xref="S3.SS2.SSS1.p2.3.m3.3.3.cmml"><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.3.2.1" xref="S3.SS2.SSS1.p2.3.m3.3.3.cmml">(</mo><msqrt id="S3.SS2.SSS1.p2.3.m3.3.3" xref="S3.SS2.SSS1.p2.3.m3.3.3.cmml"><mrow id="S3.SS2.SSS1.p2.3.m3.3.3.2" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.cmml"><mn id="S3.SS2.SSS1.p2.3.m3.3.3.2.2" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.3.m3.3.3.2.1" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.1.cmml">​</mo><mi id="S3.SS2.SSS1.p2.3.m3.3.3.2.3" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS1.p2.3.m3.3.3.2.1a" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.1.cmml">​</mo><msub id="S3.SS2.SSS1.p2.3.m3.3.3.2.4" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.4.cmml"><mi id="S3.SS2.SSS1.p2.3.m3.3.3.2.4.2" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.SS2.SSS1.p2.3.m3.3.3.2.4.3" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.3.2.2" xref="S3.SS2.SSS1.p2.3.m3.3.3.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="S3.SS2.SSS1.p2.3.m3.4.4.1.2" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS1.p2.3.m3.4b"><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1"><eq id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.2"></eq><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1">subscript</csymbol><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.2">norm</csymbol><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1"><plus id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.1"></plus><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2"><times id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.1"></times><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2">subscript</csymbol><ci id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.2">𝒉</ci><ci id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.2.2.3">ℓ</ci></apply><ci id="S3.SS2.SSS1.p2.3.m3.1.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.1.1">𝒙</ci></apply><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3"><times id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.1"></times><ci id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.2">Δ</ci><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3">subscript</csymbol><ci id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.2">𝒉</ci><ci id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.1.1.1.3.3.3">ℓ</ci></apply><ci id="S3.SS2.SSS1.p2.3.m3.2.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.2.2">𝒙</ci></apply></apply></apply><cn type="integer" id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.1.3">2</cn></apply><apply id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3"><times id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.1"></times><ci id="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.2">Θ</ci><apply id="S3.SS2.SSS1.p2.3.m3.3.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.3.2"><root id="S3.SS2.SSS1.p2.3.m3.3.3a.cmml" xref="S3.SS2.SSS1.p2.3.m3.4.4.1.1.3.3.2"></root><apply id="S3.SS2.SSS1.p2.3.m3.3.3.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2"><times id="S3.SS2.SSS1.p2.3.m3.3.3.2.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.1"></times><cn type="integer" id="S3.SS2.SSS1.p2.3.m3.3.3.2.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.2">0</cn><ci id="S3.SS2.SSS1.p2.3.m3.3.3.2.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.3">𝑝</ci><apply id="S3.SS2.SSS1.p2.3.m3.3.3.2.4.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.4"><csymbol cd="ambiguous" id="S3.SS2.SSS1.p2.3.m3.3.3.2.4.1.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.4">subscript</csymbol><ci id="S3.SS2.SSS1.p2.3.m3.3.3.2.4.2.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.4.2">𝑡</ci><ci id="S3.SS2.SSS1.p2.3.m3.3.3.2.4.3.cmml" xref="S3.SS2.SSS1.p2.3.m3.3.3.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS1.p2.3.m3.4c">\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}}).</annotation></semantics></math>
With these facts in place, the same argument we used in <a href="#S3.SS1" title="3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">3.1</span></a> for the first step ensures that <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> also holds at later steps.</p>
</div>
</section>
<section id="S3.SS2.SSS2" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">3.2.2 </span>Nonlinearities</h4>

<div id="S3.SS2.SSS2.p1" class="ltx_para">
<p id="S3.SS2.SSS2.p1.1" class="ltx_p">We now add a nonlinearity <math id="S3.SS2.SSS2.p1.1.m1.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="S3.SS2.SSS2.p1.1.m1.1a"><mi id="S3.SS2.SSS2.p1.1.m1.1.1" xref="S3.SS2.SSS2.p1.1.m1.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS2.p1.1.m1.1b"><ci id="S3.SS2.SSS2.p1.1.m1.1.1.cmml" xref="S3.SS2.SSS2.p1.1.m1.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS2.p1.1.m1.1c">\phi</annotation></semantics></math> to each layer of our MLP.
The modified forward recursion relation is:</p>
<table id="S3.E13" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E13.m1.7" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}}),\qquad{\bm{h}}^{\prime}_{\ell}({\bm{x}})=\phi({\bm{h}}_{\ell}({\bm{x}}));\qquad\text{for }\ell=2,\ldots,L\!-\!1," display="block"><semantics id="S3.E13.m1.7a"><mrow id="S3.E13.m1.7.7.1"><mrow id="S3.E13.m1.7.7.1.1.2" xref="S3.E13.m1.7.7.1.1.3.cmml"><mrow id="S3.E13.m1.7.7.1.1.1.1" xref="S3.E13.m1.7.7.1.1.1.1.cmml"><mrow id="S3.E13.m1.7.7.1.1.1.1.2" xref="S3.E13.m1.7.7.1.1.1.1.2.cmml"><msub id="S3.E13.m1.7.7.1.1.1.1.2.2" xref="S3.E13.m1.7.7.1.1.1.1.2.2.cmml"><mi id="S3.E13.m1.7.7.1.1.1.1.2.2.2" xref="S3.E13.m1.7.7.1.1.1.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E13.m1.7.7.1.1.1.1.2.2.3" xref="S3.E13.m1.7.7.1.1.1.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E13.m1.7.7.1.1.1.1.2.1" xref="S3.E13.m1.7.7.1.1.1.1.2.1.cmml">​</mo><mrow id="S3.E13.m1.7.7.1.1.1.1.2.3.2" xref="S3.E13.m1.7.7.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.E13.m1.7.7.1.1.1.1.2.3.2.1" xref="S3.E13.m1.7.7.1.1.1.1.2.cmml">(</mo><mi id="S3.E13.m1.1.1" xref="S3.E13.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E13.m1.7.7.1.1.1.1.2.3.2.2" xref="S3.E13.m1.7.7.1.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="S3.E13.m1.7.7.1.1.1.1.1" xref="S3.E13.m1.7.7.1.1.1.1.1.cmml">=</mo><mrow id="S3.E13.m1.7.7.1.1.1.1.3" xref="S3.E13.m1.7.7.1.1.1.1.3.cmml"><msub id="S3.E13.m1.7.7.1.1.1.1.3.2" xref="S3.E13.m1.7.7.1.1.1.1.3.2.cmml"><mi id="S3.E13.m1.7.7.1.1.1.1.3.2.2" xref="S3.E13.m1.7.7.1.1.1.1.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E13.m1.7.7.1.1.1.1.3.2.3" xref="S3.E13.m1.7.7.1.1.1.1.3.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E13.m1.7.7.1.1.1.1.3.1" xref="S3.E13.m1.7.7.1.1.1.1.3.1.cmml">​</mo><msubsup id="S3.E13.m1.7.7.1.1.1.1.3.3" xref="S3.E13.m1.7.7.1.1.1.1.3.3.cmml"><mi id="S3.E13.m1.7.7.1.1.1.1.3.3.2.2" xref="S3.E13.m1.7.7.1.1.1.1.3.3.2.2.cmml">𝒉</mi><mrow id="S3.E13.m1.7.7.1.1.1.1.3.3.3" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3.cmml"><mi mathvariant="normal" id="S3.E13.m1.7.7.1.1.1.1.3.3.3.2" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3.2.cmml">ℓ</mi><mo id="S3.E13.m1.7.7.1.1.1.1.3.3.3.1" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3.1.cmml">−</mo><mn id="S3.E13.m1.7.7.1.1.1.1.3.3.3.3" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3.3.cmml">1</mn></mrow><mo id="S3.E13.m1.7.7.1.1.1.1.3.3.2.3" xref="S3.E13.m1.7.7.1.1.1.1.3.3.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.E13.m1.7.7.1.1.1.1.3.1a" xref="S3.E13.m1.7.7.1.1.1.1.3.1.cmml">​</mo><mrow id="S3.E13.m1.7.7.1.1.1.1.3.4.2" xref="S3.E13.m1.7.7.1.1.1.1.3.cmml"><mo stretchy="false" id="S3.E13.m1.7.7.1.1.1.1.3.4.2.1" xref="S3.E13.m1.7.7.1.1.1.1.3.cmml">(</mo><mi id="S3.E13.m1.2.2" xref="S3.E13.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E13.m1.7.7.1.1.1.1.3.4.2.2" xref="S3.E13.m1.7.7.1.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo rspace="2.167em" id="S3.E13.m1.7.7.1.1.2.3" xref="S3.E13.m1.7.7.1.1.3a.cmml">,</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.2" xref="S3.E13.m1.7.7.1.1.2.2.3.cmml"><mrow id="S3.E13.m1.7.7.1.1.2.2.1.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.cmml"><mrow id="S3.E13.m1.7.7.1.1.2.2.1.1.3" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.cmml"><msubsup id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.cmml"><mi id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.3" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.3.cmml">ℓ</mi><mo id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.3" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.E13.m1.7.7.1.1.2.2.1.1.3.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.1.cmml">​</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.1.1.3.3.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.cmml"><mo stretchy="false" id="S3.E13.m1.7.7.1.1.2.2.1.1.3.3.2.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.cmml">(</mo><mi id="S3.E13.m1.3.3" xref="S3.E13.m1.3.3.cmml">𝒙</mi><mo stretchy="false" id="S3.E13.m1.7.7.1.1.2.2.1.1.3.3.2.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.cmml">)</mo></mrow></mrow><mo id="S3.E13.m1.7.7.1.1.2.2.1.1.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.2.cmml">=</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.1.1.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.cmml"><mi id="S3.E13.m1.7.7.1.1.2.2.1.1.1.3" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.3.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.2.cmml">​</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml"><msub id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.cmml"><mi id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.3" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2.1" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml">(</mo><mi id="S3.E13.m1.4.4" xref="S3.E13.m1.4.4.cmml">𝒙</mi><mo stretchy="false" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2.2" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.3" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo rspace="2.167em" id="S3.E13.m1.7.7.1.1.2.2.2.3" xref="S3.E13.m1.7.7.1.1.2.2.3a.cmml">;</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.2.2" xref="S3.E13.m1.7.7.1.1.2.2.2.2.cmml"><mrow id="S3.E13.m1.7.7.1.1.2.2.2.2.3" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.cmml"><mtext id="S3.E13.m1.7.7.1.1.2.2.2.2.3.2" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.2a.cmml">for </mtext><mo lspace="0em" rspace="0em" id="S3.E13.m1.7.7.1.1.2.2.2.2.3.1" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.1.cmml">​</mo><mi mathvariant="normal" id="S3.E13.m1.7.7.1.1.2.2.2.2.3.3" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.3.cmml">ℓ</mi></mrow><mo id="S3.E13.m1.7.7.1.1.2.2.2.2.2" xref="S3.E13.m1.7.7.1.1.2.2.2.2.2.cmml">=</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.2.cmml"><mn id="S3.E13.m1.5.5" xref="S3.E13.m1.5.5.cmml">2</mn><mo id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.2" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.2.cmml">,</mo><mi mathvariant="normal" id="S3.E13.m1.6.6" xref="S3.E13.m1.6.6.cmml">…</mi><mo id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.3" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.2.cmml">,</mo><mrow id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.cmml"><mi id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.2" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.2.cmml">L</mi><mo lspace="0.052em" rspace="0.052em" id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.1" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.1.cmml">−</mo><mn id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.3" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.3.cmml">1</mn></mrow></mrow></mrow></mrow></mrow><mo id="S3.E13.m1.7.7.1.2">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E13.m1.7b"><apply id="S3.E13.m1.7.7.1.1.3.cmml" xref="S3.E13.m1.7.7.1.1.2"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.3a.cmml" xref="S3.E13.m1.7.7.1.1.2.3">formulae-sequence</csymbol><apply id="S3.E13.m1.7.7.1.1.1.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1"><eq id="S3.E13.m1.7.7.1.1.1.1.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.1"></eq><apply id="S3.E13.m1.7.7.1.1.1.1.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.2"><times id="S3.E13.m1.7.7.1.1.1.1.2.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.2.1"></times><apply id="S3.E13.m1.7.7.1.1.1.1.2.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.1.1.2.2.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.2.2">subscript</csymbol><ci id="S3.E13.m1.7.7.1.1.1.1.2.2.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.2.2.2">𝒉</ci><ci id="S3.E13.m1.7.7.1.1.1.1.2.2.3.cmml" xref="S3.E13.m1.7.7.1.1.1.1.2.2.3">ℓ</ci></apply><ci id="S3.E13.m1.1.1.cmml" xref="S3.E13.m1.1.1">𝒙</ci></apply><apply id="S3.E13.m1.7.7.1.1.1.1.3.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3"><times id="S3.E13.m1.7.7.1.1.1.1.3.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.1"></times><apply id="S3.E13.m1.7.7.1.1.1.1.3.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.2"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.1.1.3.2.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.2">subscript</csymbol><ci id="S3.E13.m1.7.7.1.1.1.1.3.2.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.2.2">𝑾</ci><ci id="S3.E13.m1.7.7.1.1.1.1.3.2.3.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.2.3">ℓ</ci></apply><apply id="S3.E13.m1.7.7.1.1.1.1.3.3.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.1.1.3.3.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3">subscript</csymbol><apply id="S3.E13.m1.7.7.1.1.1.1.3.3.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.1.1.3.3.2.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3">superscript</csymbol><ci id="S3.E13.m1.7.7.1.1.1.1.3.3.2.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3.2.2">𝒉</ci><ci id="S3.E13.m1.7.7.1.1.1.1.3.3.2.3.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3.2.3">′</ci></apply><apply id="S3.E13.m1.7.7.1.1.1.1.3.3.3.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3"><minus id="S3.E13.m1.7.7.1.1.1.1.3.3.3.1.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3.1"></minus><ci id="S3.E13.m1.7.7.1.1.1.1.3.3.3.2.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3.2">ℓ</ci><cn type="integer" id="S3.E13.m1.7.7.1.1.1.1.3.3.3.3.cmml" xref="S3.E13.m1.7.7.1.1.1.1.3.3.3.3">1</cn></apply></apply><ci id="S3.E13.m1.2.2.cmml" xref="S3.E13.m1.2.2">𝒙</ci></apply></apply><apply id="S3.E13.m1.7.7.1.1.2.2.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.2.2.3a.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.3">formulae-sequence</csymbol><apply id="S3.E13.m1.7.7.1.1.2.2.1.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1"><eq id="S3.E13.m1.7.7.1.1.2.2.1.1.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.2"></eq><apply id="S3.E13.m1.7.7.1.1.2.2.1.1.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3"><times id="S3.E13.m1.7.7.1.1.2.2.1.1.3.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.1"></times><apply id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2">subscript</csymbol><apply id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2">superscript</csymbol><ci id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.2">𝒉</ci><ci id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.2.3">′</ci></apply><ci id="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.3.2.3">ℓ</ci></apply><ci id="S3.E13.m1.3.3.cmml" xref="S3.E13.m1.3.3">𝒙</ci></apply><apply id="S3.E13.m1.7.7.1.1.2.2.1.1.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1"><times id="S3.E13.m1.7.7.1.1.2.2.1.1.1.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.2"></times><ci id="S3.E13.m1.7.7.1.1.2.2.1.1.1.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.3">italic-ϕ</ci><apply id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1"><times id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.1"></times><apply id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2">subscript</csymbol><ci id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.2">𝒉</ci><ci id="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="S3.E13.m1.4.4.cmml" xref="S3.E13.m1.4.4">𝒙</ci></apply></apply></apply><apply id="S3.E13.m1.7.7.1.1.2.2.2.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2"><eq id="S3.E13.m1.7.7.1.1.2.2.2.2.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.2"></eq><apply id="S3.E13.m1.7.7.1.1.2.2.2.2.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3"><times id="S3.E13.m1.7.7.1.1.2.2.2.2.3.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.1"></times><ci id="S3.E13.m1.7.7.1.1.2.2.2.2.3.2a.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.2"><mtext id="S3.E13.m1.7.7.1.1.2.2.2.2.3.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.2">for </mtext></ci><ci id="S3.E13.m1.7.7.1.1.2.2.2.2.3.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.3.3">ℓ</ci></apply><list id="S3.E13.m1.7.7.1.1.2.2.2.2.1.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1"><cn type="integer" id="S3.E13.m1.5.5.cmml" xref="S3.E13.m1.5.5">2</cn><ci id="S3.E13.m1.6.6.cmml" xref="S3.E13.m1.6.6">…</ci><apply id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1"><minus id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.1.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.1"></minus><ci id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.2.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.2">𝐿</ci><cn type="integer" id="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.3.cmml" xref="S3.E13.m1.7.7.1.1.2.2.2.2.1.1.1.3">1</cn></apply></list></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E13.m1.7c">{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}}),\qquad{\bm{h}}^{\prime}_{\ell}({\bm{x}})=\phi({\bm{h}}_{\ell}({\bm{x}}));\qquad\text{for }\ell=2,\ldots,L\!-\!1,</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(13)</span></td>
</tr></tbody>
</table>
<p id="S3.SS2.SSS2.p1.3" class="ltx_p">with base case <math id="S3.SS2.SSS2.p1.2.m1.1" class="ltx_Math" alttext="{\bm{h}}_{1}({\bm{x}})={\bm{W}}_{1}{\bm{x}}" display="inline"><semantics id="S3.SS2.SSS2.p1.2.m1.1a"><mrow id="S3.SS2.SSS2.p1.2.m1.1.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.cmml"><mrow id="S3.SS2.SSS2.p1.2.m1.1.2.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.cmml"><msub id="S3.SS2.SSS2.p1.2.m1.1.2.2.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.2.cmml"><mi id="S3.SS2.SSS2.p1.2.m1.1.2.2.2.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.2.2.cmml">𝒉</mi><mn id="S3.SS2.SSS2.p1.2.m1.1.2.2.2.3" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p1.2.m1.1.2.2.1" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.1.cmml">​</mo><mrow id="S3.SS2.SSS2.p1.2.m1.1.2.2.3.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.cmml"><mo stretchy="false" id="S3.SS2.SSS2.p1.2.m1.1.2.2.3.2.1" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.cmml">(</mo><mi id="S3.SS2.SSS2.p1.2.m1.1.1" xref="S3.SS2.SSS2.p1.2.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS2.p1.2.m1.1.2.2.3.2.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS2.p1.2.m1.1.2.1" xref="S3.SS2.SSS2.p1.2.m1.1.2.1.cmml">=</mo><mrow id="S3.SS2.SSS2.p1.2.m1.1.2.3" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.cmml"><msub id="S3.SS2.SSS2.p1.2.m1.1.2.3.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.2.cmml"><mi id="S3.SS2.SSS2.p1.2.m1.1.2.3.2.2" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.2.2.cmml">𝑾</mi><mn id="S3.SS2.SSS2.p1.2.m1.1.2.3.2.3" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.2.3.cmml">1</mn></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p1.2.m1.1.2.3.1" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.1.cmml">​</mo><mi id="S3.SS2.SSS2.p1.2.m1.1.2.3.3" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.3.cmml">𝒙</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS2.p1.2.m1.1b"><apply id="S3.SS2.SSS2.p1.2.m1.1.2.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2"><eq id="S3.SS2.SSS2.p1.2.m1.1.2.1.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.1"></eq><apply id="S3.SS2.SSS2.p1.2.m1.1.2.2.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.2"><times id="S3.SS2.SSS2.p1.2.m1.1.2.2.1.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.1"></times><apply id="S3.SS2.SSS2.p1.2.m1.1.2.2.2.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p1.2.m1.1.2.2.2.1.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.2">subscript</csymbol><ci id="S3.SS2.SSS2.p1.2.m1.1.2.2.2.2.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.2.2">𝒉</ci><cn type="integer" id="S3.SS2.SSS2.p1.2.m1.1.2.2.2.3.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.2.2.3">1</cn></apply><ci id="S3.SS2.SSS2.p1.2.m1.1.1.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.1">𝒙</ci></apply><apply id="S3.SS2.SSS2.p1.2.m1.1.2.3.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.3"><times id="S3.SS2.SSS2.p1.2.m1.1.2.3.1.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.1"></times><apply id="S3.SS2.SSS2.p1.2.m1.1.2.3.2.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p1.2.m1.1.2.3.2.1.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.2">subscript</csymbol><ci id="S3.SS2.SSS2.p1.2.m1.1.2.3.2.2.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.2.2">𝑾</ci><cn type="integer" id="S3.SS2.SSS2.p1.2.m1.1.2.3.2.3.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.2.3">1</cn></apply><ci id="S3.SS2.SSS2.p1.2.m1.1.2.3.3.cmml" xref="S3.SS2.SSS2.p1.2.m1.1.2.3.3">𝒙</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS2.p1.2.m1.1c">{\bm{h}}_{1}({\bm{x}})={\bm{W}}_{1}{\bm{x}}</annotation></semantics></math> and output <math id="S3.SS2.SSS2.p1.3.m2.2" class="ltx_Math" alttext="{\bm{h}}_{L}({\bm{x}})={\bm{W}}_{L}{\bm{h}}^{\prime}_{L-1}({\bm{x}})" display="inline"><semantics id="S3.SS2.SSS2.p1.3.m2.2a"><mrow id="S3.SS2.SSS2.p1.3.m2.2.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.cmml"><mrow id="S3.SS2.SSS2.p1.3.m2.2.3.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.cmml"><msub id="S3.SS2.SSS2.p1.3.m2.2.3.2.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.2.cmml"><mi id="S3.SS2.SSS2.p1.3.m2.2.3.2.2.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.2.2.cmml">𝒉</mi><mi id="S3.SS2.SSS2.p1.3.m2.2.3.2.2.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.2.3.cmml">L</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p1.3.m2.2.3.2.1" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.1.cmml">​</mo><mrow id="S3.SS2.SSS2.p1.3.m2.2.3.2.3.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.cmml"><mo stretchy="false" id="S3.SS2.SSS2.p1.3.m2.2.3.2.3.2.1" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.cmml">(</mo><mi id="S3.SS2.SSS2.p1.3.m2.1.1" xref="S3.SS2.SSS2.p1.3.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS2.p1.3.m2.2.3.2.3.2.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.cmml">)</mo></mrow></mrow><mo id="S3.SS2.SSS2.p1.3.m2.2.3.1" xref="S3.SS2.SSS2.p1.3.m2.2.3.1.cmml">=</mo><mrow id="S3.SS2.SSS2.p1.3.m2.2.3.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.cmml"><msub id="S3.SS2.SSS2.p1.3.m2.2.3.3.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.2.cmml"><mi id="S3.SS2.SSS2.p1.3.m2.2.3.3.2.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.2.2.cmml">𝑾</mi><mi id="S3.SS2.SSS2.p1.3.m2.2.3.3.2.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.2.3.cmml">L</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p1.3.m2.2.3.3.1" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.1.cmml">​</mo><msubsup id="S3.SS2.SSS2.p1.3.m2.2.3.3.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.cmml"><mi id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.2.cmml">𝒉</mi><mrow id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.cmml"><mi id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.2.cmml">L</mi><mo id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.1" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.1.cmml">−</mo><mn id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.3.cmml">1</mn></mrow><mo id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.3" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p1.3.m2.2.3.3.1a" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.1.cmml">​</mo><mrow id="S3.SS2.SSS2.p1.3.m2.2.3.3.4.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.cmml"><mo stretchy="false" id="S3.SS2.SSS2.p1.3.m2.2.3.3.4.2.1" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.cmml">(</mo><mi id="S3.SS2.SSS2.p1.3.m2.2.2" xref="S3.SS2.SSS2.p1.3.m2.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS2.p1.3.m2.2.3.3.4.2.2" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS2.p1.3.m2.2b"><apply id="S3.SS2.SSS2.p1.3.m2.2.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3"><eq id="S3.SS2.SSS2.p1.3.m2.2.3.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.1"></eq><apply id="S3.SS2.SSS2.p1.3.m2.2.3.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.2"><times id="S3.SS2.SSS2.p1.3.m2.2.3.2.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.1"></times><apply id="S3.SS2.SSS2.p1.3.m2.2.3.2.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p1.3.m2.2.3.2.2.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.2">subscript</csymbol><ci id="S3.SS2.SSS2.p1.3.m2.2.3.2.2.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.2.2">𝒉</ci><ci id="S3.SS2.SSS2.p1.3.m2.2.3.2.2.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.2.2.3">𝐿</ci></apply><ci id="S3.SS2.SSS2.p1.3.m2.1.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.1.1">𝒙</ci></apply><apply id="S3.SS2.SSS2.p1.3.m2.2.3.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3"><times id="S3.SS2.SSS2.p1.3.m2.2.3.3.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.1"></times><apply id="S3.SS2.SSS2.p1.3.m2.2.3.3.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.2"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p1.3.m2.2.3.3.2.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.2">subscript</csymbol><ci id="S3.SS2.SSS2.p1.3.m2.2.3.3.2.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.2.2">𝑾</ci><ci id="S3.SS2.SSS2.p1.3.m2.2.3.3.2.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.2.3">𝐿</ci></apply><apply id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3">subscript</csymbol><apply id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3">superscript</csymbol><ci id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.2">𝒉</ci><ci id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.2.3">′</ci></apply><apply id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3"><minus id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.1.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.1"></minus><ci id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.2">𝐿</ci><cn type="integer" id="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.3.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.3.3.3.3.3">1</cn></apply></apply><ci id="S3.SS2.SSS2.p1.3.m2.2.2.cmml" xref="S3.SS2.SSS2.p1.3.m2.2.2">𝒙</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS2.p1.3.m2.2c">{\bm{h}}_{L}({\bm{x}})={\bm{W}}_{L}{\bm{h}}^{\prime}_{L-1}({\bm{x}})</annotation></semantics></math>.
We assume that the hidden features before and after the application of the nonlinearity are of the same scale:</p>
</div>
<div id="Thmassumption2" class="ltx_theorem ltx_theorem_assumption">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumption2.1.1.1" class="ltx_text ltx_font_bold">Assumption 2</span></span><span id="Thmassumption2.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumption2.p1" class="ltx_para">
<p id="Thmassumption2.p1.1" class="ltx_p"><math id="Thmassumption2.p1.1.m1.3" class="ltx_Math" alttext="\left|\!\left|{\bm{h}}^{\prime}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta\left(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}\right)." display="inline"><semantics id="Thmassumption2.p1.1.m1.3a"><mrow id="Thmassumption2.p1.1.m1.3.3.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.cmml"><mrow id="Thmassumption2.p1.1.m1.3.3.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.cmml"><msub id="Thmassumption2.p1.1.m1.3.3.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.cmml"><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.cmml"><msubsup id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.cmml"><mi id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.3.cmml">ℓ</mi><mo id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.3.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.3.2.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mi id="Thmassumption2.p1.1.m1.1.1" xref="Thmassumption2.p1.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.3.2.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumption2.p1.1.m1.3.3.1.1.1.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.3.cmml">2</mn></msub><mo id="Thmassumption2.p1.1.m1.3.3.1.1.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.3.cmml">=</mo><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.cmml"><mi mathvariant="normal" id="Thmassumption2.p1.1.m1.3.3.1.1.2.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmassumption2.p1.1.m1.3.3.1.1.2.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.2.cmml">​</mo><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.cmml"><mo id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.cmml">(</mo><msub id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.cmml"><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml"><msub id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.cmml"><mi id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml">​</mo><mrow id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2.1" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml">(</mo><mi id="Thmassumption2.p1.1.m1.2.2" xref="Thmassumption2.p1.1.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.3.cmml">2</mn></msub><mo id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.3" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="Thmassumption2.p1.1.m1.3.3.1.2" xref="Thmassumption2.p1.1.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="Thmassumption2.p1.1.m1.3b"><apply id="Thmassumption2.p1.1.m1.3.3.1.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1"><eq id="Thmassumption2.p1.1.m1.3.3.1.1.3.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.3"></eq><apply id="Thmassumption2.p1.1.m1.3.3.1.1.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="Thmassumption2.p1.1.m1.3.3.1.1.1.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1">subscript</csymbol><apply id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.2.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.2">norm</csymbol><apply id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1"><times id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.1"></times><apply id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2">subscript</csymbol><apply id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2">superscript</csymbol><ci id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2">𝒉</ci><ci id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3">′</ci></apply><ci id="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.3.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="Thmassumption2.p1.1.m1.1.1.cmml" xref="Thmassumption2.p1.1.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="Thmassumption2.p1.1.m1.3.3.1.1.1.3.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.1.3">2</cn></apply><apply id="Thmassumption2.p1.1.m1.3.3.1.1.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2"><times id="Thmassumption2.p1.1.m1.3.3.1.1.2.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.2"></times><ci id="Thmassumption2.p1.1.m1.3.3.1.1.2.3.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.3">Θ</ci><apply id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1"><csymbol cd="ambiguous" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1">subscript</csymbol><apply id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1"><csymbol cd="latexml" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.2">norm</csymbol><apply id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1"><times id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1"></times><apply id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.1.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2">subscript</csymbol><ci id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2">𝒉</ci><ci id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="Thmassumption2.p1.1.m1.2.2.cmml" xref="Thmassumption2.p1.1.m1.2.2">𝒙</ci></apply></apply><cn type="integer" id="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.3.cmml" xref="Thmassumption2.p1.1.m1.3.3.1.1.2.1.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmassumption2.p1.1.m1.3c">\left|\!\left|{\bm{h}}^{\prime}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta\left(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}\right).</annotation></semantics></math></p>
</div>
</div>
<div id="S3.SS2.SSS2.p2" class="ltx_para ltx_noindent">
<p id="S3.SS2.SSS2.p2.1" class="ltx_p">This is the expected behavior for most activation functions (which are designed to take in order-one inputs and return outputs which neither explode nor uniformly vanish) and seems like a reasonable assumption.
As in the linear case, <math id="S3.SS2.SSS2.p2.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS2.SSS2.p2.1.m1.1a"><mrow id="S3.SS2.SSS2.p2.1.m1.1.1" xref="S3.SS2.SSS2.p2.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS2.SSS2.p2.1.m1.1.1.2" xref="S3.SS2.SSS2.p2.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.1.m1.1.1.1" xref="S3.SS2.SSS2.p2.1.m1.1.1.1.cmml">​</mo><msub id="S3.SS2.SSS2.p2.1.m1.1.1.3" xref="S3.SS2.SSS2.p2.1.m1.1.1.3.cmml"><mi id="S3.SS2.SSS2.p2.1.m1.1.1.3.2" xref="S3.SS2.SSS2.p2.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS2.p2.1.m1.1.1.3.3" xref="S3.SS2.SSS2.p2.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS2.p2.1.m1.1b"><apply id="S3.SS2.SSS2.p2.1.m1.1.1.cmml" xref="S3.SS2.SSS2.p2.1.m1.1.1"><times id="S3.SS2.SSS2.p2.1.m1.1.1.1.cmml" xref="S3.SS2.SSS2.p2.1.m1.1.1.1"></times><ci id="S3.SS2.SSS2.p2.1.m1.1.1.2.cmml" xref="S3.SS2.SSS2.p2.1.m1.1.1.2">Δ</ci><apply id="S3.SS2.SSS2.p2.1.m1.1.1.3.cmml" xref="S3.SS2.SSS2.p2.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p2.1.m1.1.1.3.1.cmml" xref="S3.SS2.SSS2.p2.1.m1.1.1.3">subscript</csymbol><ci id="S3.SS2.SSS2.p2.1.m1.1.1.3.2.cmml" xref="S3.SS2.SSS2.p2.1.m1.1.1.3.2">𝑾</ci><ci id="S3.SS2.SSS2.p2.1.m1.1.1.3.3.cmml" xref="S3.SS2.SSS2.p2.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS2.p2.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> will be rank-one and align to incoming signal as:</p>
<table id="S3.E14" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E14.m1.5" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})\right|\!\right|_{2}" display="block"><semantics id="S3.E14.m1.5a"><mrow id="S3.E14.m1.5.5" xref="S3.E14.m1.5.5.cmml"><msub id="S3.E14.m1.3.3.1" xref="S3.E14.m1.3.3.1.cmml"><mrow id="S3.E14.m1.3.3.1.1.1" xref="S3.E14.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="S3.E14.m1.3.3.1.1.1.2" xref="S3.E14.m1.3.3.1.1.2.1.cmml">‖</mo><mrow id="S3.E14.m1.3.3.1.1.1.1" xref="S3.E14.m1.3.3.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E14.m1.3.3.1.1.1.1.2" xref="S3.E14.m1.3.3.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E14.m1.3.3.1.1.1.1.1" xref="S3.E14.m1.3.3.1.1.1.1.1.cmml">​</mo><msub id="S3.E14.m1.3.3.1.1.1.1.3" xref="S3.E14.m1.3.3.1.1.1.1.3.cmml"><mi id="S3.E14.m1.3.3.1.1.1.1.3.2" xref="S3.E14.m1.3.3.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E14.m1.3.3.1.1.1.1.3.3" xref="S3.E14.m1.3.3.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.E14.m1.3.3.1.1.1.1.1a" xref="S3.E14.m1.3.3.1.1.1.1.1.cmml">​</mo><msubsup id="S3.E14.m1.3.3.1.1.1.1.4" xref="S3.E14.m1.3.3.1.1.1.1.4.cmml"><mi id="S3.E14.m1.3.3.1.1.1.1.4.2.2" xref="S3.E14.m1.3.3.1.1.1.1.4.2.2.cmml">𝒉</mi><mrow id="S3.E14.m1.3.3.1.1.1.1.4.3" xref="S3.E14.m1.3.3.1.1.1.1.4.3.cmml"><mi mathvariant="normal" id="S3.E14.m1.3.3.1.1.1.1.4.3.2" xref="S3.E14.m1.3.3.1.1.1.1.4.3.2.cmml">ℓ</mi><mo id="S3.E14.m1.3.3.1.1.1.1.4.3.1" xref="S3.E14.m1.3.3.1.1.1.1.4.3.1.cmml">−</mo><mn id="S3.E14.m1.3.3.1.1.1.1.4.3.3" xref="S3.E14.m1.3.3.1.1.1.1.4.3.3.cmml">1</mn></mrow><mo id="S3.E14.m1.3.3.1.1.1.1.4.2.3" xref="S3.E14.m1.3.3.1.1.1.1.4.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.E14.m1.3.3.1.1.1.1.1b" xref="S3.E14.m1.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S3.E14.m1.3.3.1.1.1.1.5.2" xref="S3.E14.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S3.E14.m1.3.3.1.1.1.1.5.2.1" xref="S3.E14.m1.3.3.1.1.1.1.cmml">(</mo><mi id="S3.E14.m1.1.1" xref="S3.E14.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.E14.m1.3.3.1.1.1.1.5.2.2" xref="S3.E14.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E14.m1.3.3.1.1.1.3" xref="S3.E14.m1.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.E14.m1.3.3.1.3" xref="S3.E14.m1.3.3.1.3.cmml">2</mn></msub><mo id="S3.E14.m1.5.5.4" xref="S3.E14.m1.5.5.4.cmml">=</mo><mrow id="S3.E14.m1.5.5.3" xref="S3.E14.m1.5.5.3.cmml"><msub id="S3.E14.m1.4.4.2.1" xref="S3.E14.m1.4.4.2.1.cmml"><mrow id="S3.E14.m1.4.4.2.1.1.1" xref="S3.E14.m1.4.4.2.1.1.2.cmml"><mo stretchy="false" id="S3.E14.m1.4.4.2.1.1.1.2" xref="S3.E14.m1.4.4.2.1.1.2.1.cmml">‖</mo><mrow id="S3.E14.m1.4.4.2.1.1.1.1" xref="S3.E14.m1.4.4.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E14.m1.4.4.2.1.1.1.1.2" xref="S3.E14.m1.4.4.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E14.m1.4.4.2.1.1.1.1.1" xref="S3.E14.m1.4.4.2.1.1.1.1.1.cmml">​</mo><msub id="S3.E14.m1.4.4.2.1.1.1.1.3" xref="S3.E14.m1.4.4.2.1.1.1.1.3.cmml"><mi id="S3.E14.m1.4.4.2.1.1.1.1.3.2" xref="S3.E14.m1.4.4.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E14.m1.4.4.2.1.1.1.1.3.3" xref="S3.E14.m1.4.4.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.E14.m1.4.4.2.1.1.1.3" xref="S3.E14.m1.4.4.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.E14.m1.4.4.2.1.3" xref="S3.E14.m1.4.4.2.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.E14.m1.5.5.3.3" xref="S3.E14.m1.5.5.3.3.cmml">⋅</mo><msub id="S3.E14.m1.5.5.3.2" xref="S3.E14.m1.5.5.3.2.cmml"><mrow id="S3.E14.m1.5.5.3.2.1.1" xref="S3.E14.m1.5.5.3.2.1.2.cmml"><mo stretchy="false" id="S3.E14.m1.5.5.3.2.1.1.2" xref="S3.E14.m1.5.5.3.2.1.2.1.cmml">‖</mo><mrow id="S3.E14.m1.5.5.3.2.1.1.1" xref="S3.E14.m1.5.5.3.2.1.1.1.cmml"><msubsup id="S3.E14.m1.5.5.3.2.1.1.1.2" xref="S3.E14.m1.5.5.3.2.1.1.1.2.cmml"><mi id="S3.E14.m1.5.5.3.2.1.1.1.2.2.2" xref="S3.E14.m1.5.5.3.2.1.1.1.2.2.2.cmml">𝒉</mi><mrow id="S3.E14.m1.5.5.3.2.1.1.1.2.3" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.E14.m1.5.5.3.2.1.1.1.2.3.2" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.E14.m1.5.5.3.2.1.1.1.2.3.1" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3.1.cmml">−</mo><mn id="S3.E14.m1.5.5.3.2.1.1.1.2.3.3" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3.3.cmml">1</mn></mrow><mo id="S3.E14.m1.5.5.3.2.1.1.1.2.2.3" xref="S3.E14.m1.5.5.3.2.1.1.1.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.E14.m1.5.5.3.2.1.1.1.1" xref="S3.E14.m1.5.5.3.2.1.1.1.1.cmml">​</mo><mrow id="S3.E14.m1.5.5.3.2.1.1.1.3.2" xref="S3.E14.m1.5.5.3.2.1.1.1.cmml"><mo stretchy="false" id="S3.E14.m1.5.5.3.2.1.1.1.3.2.1" xref="S3.E14.m1.5.5.3.2.1.1.1.cmml">(</mo><mi id="S3.E14.m1.2.2" xref="S3.E14.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.E14.m1.5.5.3.2.1.1.1.3.2.2" xref="S3.E14.m1.5.5.3.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.E14.m1.5.5.3.2.1.1.3" xref="S3.E14.m1.5.5.3.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.E14.m1.5.5.3.2.3" xref="S3.E14.m1.5.5.3.2.3.cmml">2</mn></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.E14.m1.5b"><apply id="S3.E14.m1.5.5.cmml" xref="S3.E14.m1.5.5"><eq id="S3.E14.m1.5.5.4.cmml" xref="S3.E14.m1.5.5.4"></eq><apply id="S3.E14.m1.3.3.1.cmml" xref="S3.E14.m1.3.3.1"><csymbol cd="ambiguous" id="S3.E14.m1.3.3.1.2.cmml" xref="S3.E14.m1.3.3.1">subscript</csymbol><apply id="S3.E14.m1.3.3.1.1.2.cmml" xref="S3.E14.m1.3.3.1.1.1"><csymbol cd="latexml" id="S3.E14.m1.3.3.1.1.2.1.cmml" xref="S3.E14.m1.3.3.1.1.1.2">norm</csymbol><apply id="S3.E14.m1.3.3.1.1.1.1.cmml" xref="S3.E14.m1.3.3.1.1.1.1"><times id="S3.E14.m1.3.3.1.1.1.1.1.cmml" xref="S3.E14.m1.3.3.1.1.1.1.1"></times><ci id="S3.E14.m1.3.3.1.1.1.1.2.cmml" xref="S3.E14.m1.3.3.1.1.1.1.2">Δ</ci><apply id="S3.E14.m1.3.3.1.1.1.1.3.cmml" xref="S3.E14.m1.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E14.m1.3.3.1.1.1.1.3.1.cmml" xref="S3.E14.m1.3.3.1.1.1.1.3">subscript</csymbol><ci id="S3.E14.m1.3.3.1.1.1.1.3.2.cmml" xref="S3.E14.m1.3.3.1.1.1.1.3.2">𝑾</ci><ci id="S3.E14.m1.3.3.1.1.1.1.3.3.cmml" xref="S3.E14.m1.3.3.1.1.1.1.3.3">ℓ</ci></apply><apply id="S3.E14.m1.3.3.1.1.1.1.4.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4"><csymbol cd="ambiguous" id="S3.E14.m1.3.3.1.1.1.1.4.1.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4">subscript</csymbol><apply id="S3.E14.m1.3.3.1.1.1.1.4.2.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4"><csymbol cd="ambiguous" id="S3.E14.m1.3.3.1.1.1.1.4.2.1.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4">superscript</csymbol><ci id="S3.E14.m1.3.3.1.1.1.1.4.2.2.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4.2.2">𝒉</ci><ci id="S3.E14.m1.3.3.1.1.1.1.4.2.3.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4.2.3">′</ci></apply><apply id="S3.E14.m1.3.3.1.1.1.1.4.3.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4.3"><minus id="S3.E14.m1.3.3.1.1.1.1.4.3.1.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4.3.1"></minus><ci id="S3.E14.m1.3.3.1.1.1.1.4.3.2.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S3.E14.m1.3.3.1.1.1.1.4.3.3.cmml" xref="S3.E14.m1.3.3.1.1.1.1.4.3.3">1</cn></apply></apply><ci id="S3.E14.m1.1.1.cmml" xref="S3.E14.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.E14.m1.3.3.1.3.cmml" xref="S3.E14.m1.3.3.1.3">2</cn></apply><apply id="S3.E14.m1.5.5.3.cmml" xref="S3.E14.m1.5.5.3"><ci id="S3.E14.m1.5.5.3.3.cmml" xref="S3.E14.m1.5.5.3.3">⋅</ci><apply id="S3.E14.m1.4.4.2.1.cmml" xref="S3.E14.m1.4.4.2.1"><csymbol cd="ambiguous" id="S3.E14.m1.4.4.2.1.2.cmml" xref="S3.E14.m1.4.4.2.1">subscript</csymbol><apply id="S3.E14.m1.4.4.2.1.1.2.cmml" xref="S3.E14.m1.4.4.2.1.1.1"><csymbol cd="latexml" id="S3.E14.m1.4.4.2.1.1.2.1.cmml" xref="S3.E14.m1.4.4.2.1.1.1.2">norm</csymbol><apply id="S3.E14.m1.4.4.2.1.1.1.1.cmml" xref="S3.E14.m1.4.4.2.1.1.1.1"><times id="S3.E14.m1.4.4.2.1.1.1.1.1.cmml" xref="S3.E14.m1.4.4.2.1.1.1.1.1"></times><ci id="S3.E14.m1.4.4.2.1.1.1.1.2.cmml" xref="S3.E14.m1.4.4.2.1.1.1.1.2">Δ</ci><apply id="S3.E14.m1.4.4.2.1.1.1.1.3.cmml" xref="S3.E14.m1.4.4.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.E14.m1.4.4.2.1.1.1.1.3.1.cmml" xref="S3.E14.m1.4.4.2.1.1.1.1.3">subscript</csymbol><ci id="S3.E14.m1.4.4.2.1.1.1.1.3.2.cmml" xref="S3.E14.m1.4.4.2.1.1.1.1.3.2">𝑾</ci><ci id="S3.E14.m1.4.4.2.1.1.1.1.3.3.cmml" xref="S3.E14.m1.4.4.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.E14.m1.4.4.2.1.3.cmml" xref="S3.E14.m1.4.4.2.1.3"></times></apply><apply id="S3.E14.m1.5.5.3.2.cmml" xref="S3.E14.m1.5.5.3.2"><csymbol cd="ambiguous" id="S3.E14.m1.5.5.3.2.2.cmml" xref="S3.E14.m1.5.5.3.2">subscript</csymbol><apply id="S3.E14.m1.5.5.3.2.1.2.cmml" xref="S3.E14.m1.5.5.3.2.1.1"><csymbol cd="latexml" id="S3.E14.m1.5.5.3.2.1.2.1.cmml" xref="S3.E14.m1.5.5.3.2.1.1.2">norm</csymbol><apply id="S3.E14.m1.5.5.3.2.1.1.1.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1"><times id="S3.E14.m1.5.5.3.2.1.1.1.1.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.1"></times><apply id="S3.E14.m1.5.5.3.2.1.1.1.2.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E14.m1.5.5.3.2.1.1.1.2.1.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2">subscript</csymbol><apply id="S3.E14.m1.5.5.3.2.1.1.1.2.2.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.E14.m1.5.5.3.2.1.1.1.2.2.1.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2">superscript</csymbol><ci id="S3.E14.m1.5.5.3.2.1.1.1.2.2.2.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2.2.2">𝒉</ci><ci id="S3.E14.m1.5.5.3.2.1.1.1.2.2.3.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2.2.3">′</ci></apply><apply id="S3.E14.m1.5.5.3.2.1.1.1.2.3.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3"><minus id="S3.E14.m1.5.5.3.2.1.1.1.2.3.1.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3.1"></minus><ci id="S3.E14.m1.5.5.3.2.1.1.1.2.3.2.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.E14.m1.5.5.3.2.1.1.1.2.3.3.cmml" xref="S3.E14.m1.5.5.3.2.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.E14.m1.2.2.cmml" xref="S3.E14.m1.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.E14.m1.5.5.3.2.3.cmml" xref="S3.E14.m1.5.5.3.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E14.m1.5c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})\right|\!\right|_{2}=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(14)</span></td>
</tr></tbody>
</table>
<p id="S3.SS2.SSS2.p2.4" class="ltx_p">at each step.
All our scaling arguments from the linear case therefore carry through:
the term <math id="S3.SS2.SSS2.p2.2.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})" display="inline"><semantics id="S3.SS2.SSS2.p2.2.m1.1a"><mrow id="S3.SS2.SSS2.p2.2.m1.1.2" xref="S3.SS2.SSS2.p2.2.m1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS2.SSS2.p2.2.m1.1.2.2" xref="S3.SS2.SSS2.p2.2.m1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.2.m1.1.2.1" xref="S3.SS2.SSS2.p2.2.m1.1.2.1.cmml">​</mo><msub id="S3.SS2.SSS2.p2.2.m1.1.2.3" xref="S3.SS2.SSS2.p2.2.m1.1.2.3.cmml"><mi id="S3.SS2.SSS2.p2.2.m1.1.2.3.2" xref="S3.SS2.SSS2.p2.2.m1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS2.p2.2.m1.1.2.3.3" xref="S3.SS2.SSS2.p2.2.m1.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.2.m1.1.2.1a" xref="S3.SS2.SSS2.p2.2.m1.1.2.1.cmml">​</mo><msubsup id="S3.SS2.SSS2.p2.2.m1.1.2.4" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.cmml"><mi id="S3.SS2.SSS2.p2.2.m1.1.2.4.2.2" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.2.2.cmml">𝒉</mi><mrow id="S3.SS2.SSS2.p2.2.m1.1.2.4.3" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3.cmml"><mi mathvariant="normal" id="S3.SS2.SSS2.p2.2.m1.1.2.4.3.2" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3.2.cmml">ℓ</mi><mo id="S3.SS2.SSS2.p2.2.m1.1.2.4.3.1" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3.1.cmml">−</mo><mn id="S3.SS2.SSS2.p2.2.m1.1.2.4.3.3" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3.3.cmml">1</mn></mrow><mo id="S3.SS2.SSS2.p2.2.m1.1.2.4.2.3" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.2.m1.1.2.1b" xref="S3.SS2.SSS2.p2.2.m1.1.2.1.cmml">​</mo><mrow id="S3.SS2.SSS2.p2.2.m1.1.2.5.2" xref="S3.SS2.SSS2.p2.2.m1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS2.p2.2.m1.1.2.5.2.1" xref="S3.SS2.SSS2.p2.2.m1.1.2.cmml">(</mo><mi id="S3.SS2.SSS2.p2.2.m1.1.1" xref="S3.SS2.SSS2.p2.2.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS2.p2.2.m1.1.2.5.2.2" xref="S3.SS2.SSS2.p2.2.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS2.p2.2.m1.1b"><apply id="S3.SS2.SSS2.p2.2.m1.1.2.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2"><times id="S3.SS2.SSS2.p2.2.m1.1.2.1.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.1"></times><ci id="S3.SS2.SSS2.p2.2.m1.1.2.2.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.2">Δ</ci><apply id="S3.SS2.SSS2.p2.2.m1.1.2.3.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p2.2.m1.1.2.3.1.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.3">subscript</csymbol><ci id="S3.SS2.SSS2.p2.2.m1.1.2.3.2.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.3.2">𝑾</ci><ci id="S3.SS2.SSS2.p2.2.m1.1.2.3.3.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.3.3">ℓ</ci></apply><apply id="S3.SS2.SSS2.p2.2.m1.1.2.4.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p2.2.m1.1.2.4.1.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4">subscript</csymbol><apply id="S3.SS2.SSS2.p2.2.m1.1.2.4.2.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p2.2.m1.1.2.4.2.1.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4">superscript</csymbol><ci id="S3.SS2.SSS2.p2.2.m1.1.2.4.2.2.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.2.2">𝒉</ci><ci id="S3.SS2.SSS2.p2.2.m1.1.2.4.2.3.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.2.3">′</ci></apply><apply id="S3.SS2.SSS2.p2.2.m1.1.2.4.3.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3"><minus id="S3.SS2.SSS2.p2.2.m1.1.2.4.3.1.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3.1"></minus><ci id="S3.SS2.SSS2.p2.2.m1.1.2.4.3.2.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S3.SS2.SSS2.p2.2.m1.1.2.4.3.3.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.2.4.3.3">1</cn></apply></apply><ci id="S3.SS2.SSS2.p2.2.m1.1.1.cmml" xref="S3.SS2.SSS2.p2.2.m1.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS2.p2.2.m1.1c">\Delta\!{\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})</annotation></semantics></math> is sufficient to induce a change <math id="S3.SS2.SSS2.p2.3.m2.1" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="S3.SS2.SSS2.p2.3.m2.1a"><mrow id="S3.SS2.SSS2.p2.3.m2.1.2" xref="S3.SS2.SSS2.p2.3.m2.1.2.cmml"><mi mathvariant="normal" id="S3.SS2.SSS2.p2.3.m2.1.2.2" xref="S3.SS2.SSS2.p2.3.m2.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.3.m2.1.2.1" xref="S3.SS2.SSS2.p2.3.m2.1.2.1.cmml">​</mo><msub id="S3.SS2.SSS2.p2.3.m2.1.2.3" xref="S3.SS2.SSS2.p2.3.m2.1.2.3.cmml"><mi id="S3.SS2.SSS2.p2.3.m2.1.2.3.2" xref="S3.SS2.SSS2.p2.3.m2.1.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS2.SSS2.p2.3.m2.1.2.3.3" xref="S3.SS2.SSS2.p2.3.m2.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.3.m2.1.2.1a" xref="S3.SS2.SSS2.p2.3.m2.1.2.1.cmml">​</mo><mrow id="S3.SS2.SSS2.p2.3.m2.1.2.4.2" xref="S3.SS2.SSS2.p2.3.m2.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS2.p2.3.m2.1.2.4.2.1" xref="S3.SS2.SSS2.p2.3.m2.1.2.cmml">(</mo><mi id="S3.SS2.SSS2.p2.3.m2.1.1" xref="S3.SS2.SSS2.p2.3.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS2.p2.3.m2.1.2.4.2.2" xref="S3.SS2.SSS2.p2.3.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS2.p2.3.m2.1b"><apply id="S3.SS2.SSS2.p2.3.m2.1.2.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.2"><times id="S3.SS2.SSS2.p2.3.m2.1.2.1.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.2.1"></times><ci id="S3.SS2.SSS2.p2.3.m2.1.2.2.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.2.2">Δ</ci><apply id="S3.SS2.SSS2.p2.3.m2.1.2.3.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p2.3.m2.1.2.3.1.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.2.3">subscript</csymbol><ci id="S3.SS2.SSS2.p2.3.m2.1.2.3.2.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.2.3.2">𝒉</ci><ci id="S3.SS2.SSS2.p2.3.m2.1.2.3.3.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.2.3.3">ℓ</ci></apply><ci id="S3.SS2.SSS2.p2.3.m2.1.1.cmml" xref="S3.SS2.SSS2.p2.3.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS2.p2.3.m2.1c">\Delta{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math> satisfying <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
(The other terms which depend on <math id="S3.SS2.SSS2.p2.4.m3.1" class="ltx_Math" alttext="\Delta{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})" display="inline"><semantics id="S3.SS2.SSS2.p2.4.m3.1a"><mrow id="S3.SS2.SSS2.p2.4.m3.1.2" xref="S3.SS2.SSS2.p2.4.m3.1.2.cmml"><mi mathvariant="normal" id="S3.SS2.SSS2.p2.4.m3.1.2.2" xref="S3.SS2.SSS2.p2.4.m3.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.4.m3.1.2.1" xref="S3.SS2.SSS2.p2.4.m3.1.2.1.cmml">​</mo><msubsup id="S3.SS2.SSS2.p2.4.m3.1.2.3" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.cmml"><mi id="S3.SS2.SSS2.p2.4.m3.1.2.3.2.2" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.2.2.cmml">𝒉</mi><mrow id="S3.SS2.SSS2.p2.4.m3.1.2.3.3" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3.cmml"><mi mathvariant="normal" id="S3.SS2.SSS2.p2.4.m3.1.2.3.3.2" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3.2.cmml">ℓ</mi><mo id="S3.SS2.SSS2.p2.4.m3.1.2.3.3.1" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3.1.cmml">−</mo><mn id="S3.SS2.SSS2.p2.4.m3.1.2.3.3.3" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3.3.cmml">1</mn></mrow><mo id="S3.SS2.SSS2.p2.4.m3.1.2.3.2.3" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.SS2.SSS2.p2.4.m3.1.2.1a" xref="S3.SS2.SSS2.p2.4.m3.1.2.1.cmml">​</mo><mrow id="S3.SS2.SSS2.p2.4.m3.1.2.4.2" xref="S3.SS2.SSS2.p2.4.m3.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS2.p2.4.m3.1.2.4.2.1" xref="S3.SS2.SSS2.p2.4.m3.1.2.cmml">(</mo><mi id="S3.SS2.SSS2.p2.4.m3.1.1" xref="S3.SS2.SSS2.p2.4.m3.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.SS2.SSS2.p2.4.m3.1.2.4.2.2" xref="S3.SS2.SSS2.p2.4.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS2.p2.4.m3.1b"><apply id="S3.SS2.SSS2.p2.4.m3.1.2.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2"><times id="S3.SS2.SSS2.p2.4.m3.1.2.1.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.1"></times><ci id="S3.SS2.SSS2.p2.4.m3.1.2.2.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.2">Δ</ci><apply id="S3.SS2.SSS2.p2.4.m3.1.2.3.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p2.4.m3.1.2.3.1.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3">subscript</csymbol><apply id="S3.SS2.SSS2.p2.4.m3.1.2.3.2.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS2.p2.4.m3.1.2.3.2.1.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3">superscript</csymbol><ci id="S3.SS2.SSS2.p2.4.m3.1.2.3.2.2.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.2.2">𝒉</ci><ci id="S3.SS2.SSS2.p2.4.m3.1.2.3.2.3.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.2.3">′</ci></apply><apply id="S3.SS2.SSS2.p2.4.m3.1.2.3.3.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3"><minus id="S3.SS2.SSS2.p2.4.m3.1.2.3.3.1.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3.1"></minus><ci id="S3.SS2.SSS2.p2.4.m3.1.2.3.3.2.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3.2">ℓ</ci><cn type="integer" id="S3.SS2.SSS2.p2.4.m3.1.2.3.3.3.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.2.3.3.3">1</cn></apply></apply><ci id="S3.SS2.SSS2.p2.4.m3.1.1.cmml" xref="S3.SS2.SSS2.p2.4.m3.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS2.p2.4.m3.1c">\Delta{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})</annotation></semantics></math> will be no larger.)
<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> therefore still achieves correctly-scaled feature evolution.</p>
</div>
</section>
<section id="S3.SS2.SSS3" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">
<span class="ltx_tag ltx_tag_subsubsection">3.2.3 </span>Batch size greater than one</h4>

<div id="S3.SS2.SSS3.p1" class="ltx_para">
<p id="S3.SS2.SSS3.p1.2" class="ltx_p">When training on a minibatch <math id="S3.SS2.SSS3.p1.1.m1.1" class="ltx_Math" alttext="\mathcal{D}=\{({\bm{x}}_{i},{\bm{y}}_{i})\}_{i=1}^{B}" display="inline"><semantics id="S3.SS2.SSS3.p1.1.m1.1a"><mrow id="S3.SS2.SSS3.p1.1.m1.1.1" xref="S3.SS2.SSS3.p1.1.m1.1.1.cmml"><mi class="ltx_font_mathcaligraphic" id="S3.SS2.SSS3.p1.1.m1.1.1.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.3.cmml">𝒟</mi><mo id="S3.SS2.SSS3.p1.1.m1.1.1.2" xref="S3.SS2.SSS3.p1.1.m1.1.1.2.cmml">=</mo><msubsup id="S3.SS2.SSS3.p1.1.m1.1.1.1" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.cmml"><mrow id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.2.cmml">{</mo><mrow id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.3.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.3.cmml">(</mo><msub id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.4" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.3.cmml">,</mo><msub id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.cmml"><mi id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.2" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.2.cmml">𝒚</mi><mi id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.3.cmml">i</mi></msub><mo stretchy="false" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.5" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.3.cmml">)</mo></mrow><mo stretchy="false" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.2.cmml">}</mo></mrow><mrow id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.cmml"><mi id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.2" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.2.cmml">i</mi><mo id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.1" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.1.cmml">=</mo><mn id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.3.cmml">1</mn></mrow><mi id="S3.SS2.SSS3.p1.1.m1.1.1.1.3" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.3.cmml">B</mi></msubsup></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p1.1.m1.1b"><apply id="S3.SS2.SSS3.p1.1.m1.1.1.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1"><eq id="S3.SS2.SSS3.p1.1.m1.1.1.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.2"></eq><ci id="S3.SS2.SSS3.p1.1.m1.1.1.3.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.3">𝒟</ci><apply id="S3.SS2.SSS3.p1.1.m1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.1.m1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1">superscript</csymbol><apply id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1">subscript</csymbol><set id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1"><interval closure="open" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2"><apply id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.2">𝒙</ci><ci id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply><apply id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.1.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2">subscript</csymbol><ci id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.2">𝒚</ci><ci id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.3.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.1.1.1.2.2.3">𝑖</ci></apply></interval></set><apply id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3"><eq id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.1"></eq><ci id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.2.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.2">𝑖</ci><cn type="integer" id="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.3.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.1.3.3">1</cn></apply></apply><ci id="S3.SS2.SSS3.p1.1.m1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p1.1.m1.1.1.1.3">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p1.1.m1.1c">\mathcal{D}=\{({\bm{x}}_{i},{\bm{y}}_{i})\}_{i=1}^{B}</annotation></semantics></math> with size <math id="S3.SS2.SSS3.p1.2.m2.1" class="ltx_Math" alttext="B&gt;1" display="inline"><semantics id="S3.SS2.SSS3.p1.2.m2.1a"><mrow id="S3.SS2.SSS3.p1.2.m2.1.1" xref="S3.SS2.SSS3.p1.2.m2.1.1.cmml"><mi id="S3.SS2.SSS3.p1.2.m2.1.1.2" xref="S3.SS2.SSS3.p1.2.m2.1.1.2.cmml">B</mi><mo id="S3.SS2.SSS3.p1.2.m2.1.1.1" xref="S3.SS2.SSS3.p1.2.m2.1.1.1.cmml">&gt;</mo><mn id="S3.SS2.SSS3.p1.2.m2.1.1.3" xref="S3.SS2.SSS3.p1.2.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p1.2.m2.1b"><apply id="S3.SS2.SSS3.p1.2.m2.1.1.cmml" xref="S3.SS2.SSS3.p1.2.m2.1.1"><gt id="S3.SS2.SSS3.p1.2.m2.1.1.1.cmml" xref="S3.SS2.SSS3.p1.2.m2.1.1.1"></gt><ci id="S3.SS2.SSS3.p1.2.m2.1.1.2.cmml" xref="S3.SS2.SSS3.p1.2.m2.1.1.2">𝐵</ci><cn type="integer" id="S3.SS2.SSS3.p1.2.m2.1.1.3.cmml" xref="S3.SS2.SSS3.p1.2.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p1.2.m2.1c">B&gt;1</annotation></semantics></math>, each gradient step is simply an average of the steps on each example:</p>
<table id="S3.E15" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S3.E15.m1.2" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}=\frac{1}{B}\sum_{i=1}^{B}\Delta\!{\bm{W}}_{\ell}^{(i)}," display="block"><semantics id="S3.E15.m1.2a"><mrow id="S3.E15.m1.2.2.1" xref="S3.E15.m1.2.2.1.1.cmml"><mrow id="S3.E15.m1.2.2.1.1" xref="S3.E15.m1.2.2.1.1.cmml"><mrow id="S3.E15.m1.2.2.1.1.2" xref="S3.E15.m1.2.2.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E15.m1.2.2.1.1.2.2" xref="S3.E15.m1.2.2.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E15.m1.2.2.1.1.2.1" xref="S3.E15.m1.2.2.1.1.2.1.cmml">​</mo><msub id="S3.E15.m1.2.2.1.1.2.3" xref="S3.E15.m1.2.2.1.1.2.3.cmml"><mi id="S3.E15.m1.2.2.1.1.2.3.2" xref="S3.E15.m1.2.2.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E15.m1.2.2.1.1.2.3.3" xref="S3.E15.m1.2.2.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="S3.E15.m1.2.2.1.1.1" xref="S3.E15.m1.2.2.1.1.1.cmml">=</mo><mrow id="S3.E15.m1.2.2.1.1.3" xref="S3.E15.m1.2.2.1.1.3.cmml"><mfrac id="S3.E15.m1.2.2.1.1.3.2" xref="S3.E15.m1.2.2.1.1.3.2.cmml"><mn id="S3.E15.m1.2.2.1.1.3.2.2" xref="S3.E15.m1.2.2.1.1.3.2.2.cmml">1</mn><mi id="S3.E15.m1.2.2.1.1.3.2.3" xref="S3.E15.m1.2.2.1.1.3.2.3.cmml">B</mi></mfrac><mo lspace="0em" rspace="0em" id="S3.E15.m1.2.2.1.1.3.1" xref="S3.E15.m1.2.2.1.1.3.1.cmml">​</mo><mrow id="S3.E15.m1.2.2.1.1.3.3" xref="S3.E15.m1.2.2.1.1.3.3.cmml"><munderover id="S3.E15.m1.2.2.1.1.3.3.1" xref="S3.E15.m1.2.2.1.1.3.3.1.cmml"><mo movablelimits="false" id="S3.E15.m1.2.2.1.1.3.3.1.2.2" xref="S3.E15.m1.2.2.1.1.3.3.1.2.2.cmml">∑</mo><mrow id="S3.E15.m1.2.2.1.1.3.3.1.2.3" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3.cmml"><mi id="S3.E15.m1.2.2.1.1.3.3.1.2.3.2" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3.2.cmml">i</mi><mo id="S3.E15.m1.2.2.1.1.3.3.1.2.3.1" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3.1.cmml">=</mo><mn id="S3.E15.m1.2.2.1.1.3.3.1.2.3.3" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3.3.cmml">1</mn></mrow><mi id="S3.E15.m1.2.2.1.1.3.3.1.3" xref="S3.E15.m1.2.2.1.1.3.3.1.3.cmml">B</mi></munderover><mrow id="S3.E15.m1.2.2.1.1.3.3.2" xref="S3.E15.m1.2.2.1.1.3.3.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.E15.m1.2.2.1.1.3.3.2.2" xref="S3.E15.m1.2.2.1.1.3.3.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.E15.m1.2.2.1.1.3.3.2.1" xref="S3.E15.m1.2.2.1.1.3.3.2.1.cmml">​</mo><msubsup id="S3.E15.m1.2.2.1.1.3.3.2.3" xref="S3.E15.m1.2.2.1.1.3.3.2.3.cmml"><mi id="S3.E15.m1.2.2.1.1.3.3.2.3.2.2" xref="S3.E15.m1.2.2.1.1.3.3.2.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.E15.m1.2.2.1.1.3.3.2.3.2.3" xref="S3.E15.m1.2.2.1.1.3.3.2.3.2.3.cmml">ℓ</mi><mrow id="S3.E15.m1.1.1.1.3" xref="S3.E15.m1.2.2.1.1.3.3.2.3.cmml"><mo stretchy="false" id="S3.E15.m1.1.1.1.3.1" xref="S3.E15.m1.2.2.1.1.3.3.2.3.cmml">(</mo><mi id="S3.E15.m1.1.1.1.1" xref="S3.E15.m1.1.1.1.1.cmml">i</mi><mo stretchy="false" id="S3.E15.m1.1.1.1.3.2" xref="S3.E15.m1.2.2.1.1.3.3.2.3.cmml">)</mo></mrow></msubsup></mrow></mrow></mrow></mrow><mo id="S3.E15.m1.2.2.1.2" xref="S3.E15.m1.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.E15.m1.2b"><apply id="S3.E15.m1.2.2.1.1.cmml" xref="S3.E15.m1.2.2.1"><eq id="S3.E15.m1.2.2.1.1.1.cmml" xref="S3.E15.m1.2.2.1.1.1"></eq><apply id="S3.E15.m1.2.2.1.1.2.cmml" xref="S3.E15.m1.2.2.1.1.2"><times id="S3.E15.m1.2.2.1.1.2.1.cmml" xref="S3.E15.m1.2.2.1.1.2.1"></times><ci id="S3.E15.m1.2.2.1.1.2.2.cmml" xref="S3.E15.m1.2.2.1.1.2.2">Δ</ci><apply id="S3.E15.m1.2.2.1.1.2.3.cmml" xref="S3.E15.m1.2.2.1.1.2.3"><csymbol cd="ambiguous" id="S3.E15.m1.2.2.1.1.2.3.1.cmml" xref="S3.E15.m1.2.2.1.1.2.3">subscript</csymbol><ci id="S3.E15.m1.2.2.1.1.2.3.2.cmml" xref="S3.E15.m1.2.2.1.1.2.3.2">𝑾</ci><ci id="S3.E15.m1.2.2.1.1.2.3.3.cmml" xref="S3.E15.m1.2.2.1.1.2.3.3">ℓ</ci></apply></apply><apply id="S3.E15.m1.2.2.1.1.3.cmml" xref="S3.E15.m1.2.2.1.1.3"><times id="S3.E15.m1.2.2.1.1.3.1.cmml" xref="S3.E15.m1.2.2.1.1.3.1"></times><apply id="S3.E15.m1.2.2.1.1.3.2.cmml" xref="S3.E15.m1.2.2.1.1.3.2"><divide id="S3.E15.m1.2.2.1.1.3.2.1.cmml" xref="S3.E15.m1.2.2.1.1.3.2"></divide><cn type="integer" id="S3.E15.m1.2.2.1.1.3.2.2.cmml" xref="S3.E15.m1.2.2.1.1.3.2.2">1</cn><ci id="S3.E15.m1.2.2.1.1.3.2.3.cmml" xref="S3.E15.m1.2.2.1.1.3.2.3">𝐵</ci></apply><apply id="S3.E15.m1.2.2.1.1.3.3.cmml" xref="S3.E15.m1.2.2.1.1.3.3"><apply id="S3.E15.m1.2.2.1.1.3.3.1.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1"><csymbol cd="ambiguous" id="S3.E15.m1.2.2.1.1.3.3.1.1.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1">superscript</csymbol><apply id="S3.E15.m1.2.2.1.1.3.3.1.2.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1"><csymbol cd="ambiguous" id="S3.E15.m1.2.2.1.1.3.3.1.2.1.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1">subscript</csymbol><sum id="S3.E15.m1.2.2.1.1.3.3.1.2.2.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1.2.2"></sum><apply id="S3.E15.m1.2.2.1.1.3.3.1.2.3.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3"><eq id="S3.E15.m1.2.2.1.1.3.3.1.2.3.1.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3.1"></eq><ci id="S3.E15.m1.2.2.1.1.3.3.1.2.3.2.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3.2">𝑖</ci><cn type="integer" id="S3.E15.m1.2.2.1.1.3.3.1.2.3.3.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1.2.3.3">1</cn></apply></apply><ci id="S3.E15.m1.2.2.1.1.3.3.1.3.cmml" xref="S3.E15.m1.2.2.1.1.3.3.1.3">𝐵</ci></apply><apply id="S3.E15.m1.2.2.1.1.3.3.2.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2"><times id="S3.E15.m1.2.2.1.1.3.3.2.1.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.1"></times><ci id="S3.E15.m1.2.2.1.1.3.3.2.2.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.2">Δ</ci><apply id="S3.E15.m1.2.2.1.1.3.3.2.3.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.3"><csymbol cd="ambiguous" id="S3.E15.m1.2.2.1.1.3.3.2.3.1.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.3">superscript</csymbol><apply id="S3.E15.m1.2.2.1.1.3.3.2.3.2.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.3"><csymbol cd="ambiguous" id="S3.E15.m1.2.2.1.1.3.3.2.3.2.1.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.3">subscript</csymbol><ci id="S3.E15.m1.2.2.1.1.3.3.2.3.2.2.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.3.2.2">𝑾</ci><ci id="S3.E15.m1.2.2.1.1.3.3.2.3.2.3.cmml" xref="S3.E15.m1.2.2.1.1.3.3.2.3.2.3">ℓ</ci></apply><ci id="S3.E15.m1.1.1.1.1.cmml" xref="S3.E15.m1.1.1.1.1">𝑖</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.E15.m1.2c">\Delta\!{\bm{W}}_{\ell}=\frac{1}{B}\sum_{i=1}^{B}\Delta\!{\bm{W}}_{\ell}^{(i)},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(15)</span></td>
</tr></tbody>
</table>
<p id="S3.SS2.SSS3.p1.7" class="ltx_p">where the sum runs over the minibatch index and <math id="S3.SS2.SSS3.p1.3.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}^{(i)}" display="inline"><semantics id="S3.SS2.SSS3.p1.3.m1.1a"><mrow id="S3.SS2.SSS3.p1.3.m1.1.2" xref="S3.SS2.SSS3.p1.3.m1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS2.SSS3.p1.3.m1.1.2.2" xref="S3.SS2.SSS3.p1.3.m1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p1.3.m1.1.2.1" xref="S3.SS2.SSS3.p1.3.m1.1.2.1.cmml">​</mo><msubsup id="S3.SS2.SSS3.p1.3.m1.1.2.3" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.cmml"><mi id="S3.SS2.SSS3.p1.3.m1.1.2.3.2.2" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS3.p1.3.m1.1.2.3.2.3" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.2.3.cmml">ℓ</mi><mrow id="S3.SS2.SSS3.p1.3.m1.1.1.1.3" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p1.3.m1.1.1.1.3.1" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.cmml">(</mo><mi id="S3.SS2.SSS3.p1.3.m1.1.1.1.1" xref="S3.SS2.SSS3.p1.3.m1.1.1.1.1.cmml">i</mi><mo stretchy="false" id="S3.SS2.SSS3.p1.3.m1.1.1.1.3.2" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.cmml">)</mo></mrow></msubsup></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p1.3.m1.1b"><apply id="S3.SS2.SSS3.p1.3.m1.1.2.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2"><times id="S3.SS2.SSS3.p1.3.m1.1.2.1.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.1"></times><ci id="S3.SS2.SSS3.p1.3.m1.1.2.2.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.2">Δ</ci><apply id="S3.SS2.SSS3.p1.3.m1.1.2.3.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.3.m1.1.2.3.1.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.3">superscript</csymbol><apply id="S3.SS2.SSS3.p1.3.m1.1.2.3.2.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.3"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.3.m1.1.2.3.2.1.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.3">subscript</csymbol><ci id="S3.SS2.SSS3.p1.3.m1.1.2.3.2.2.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.2.2">𝑾</ci><ci id="S3.SS2.SSS3.p1.3.m1.1.2.3.2.3.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.2.3.2.3">ℓ</ci></apply><ci id="S3.SS2.SSS3.p1.3.m1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.3.m1.1.1.1.1">𝑖</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p1.3.m1.1c">\Delta\!{\bm{W}}_{\ell}^{(i)}</annotation></semantics></math> denotes the update that would result from a step on the single example <math id="S3.SS2.SSS3.p1.4.m2.2" class="ltx_Math" alttext="({\bm{x}}_{i},{\bm{y}}_{i})" display="inline"><semantics id="S3.SS2.SSS3.p1.4.m2.2a"><mrow id="S3.SS2.SSS3.p1.4.m2.2.2.2" xref="S3.SS2.SSS3.p1.4.m2.2.2.3.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p1.4.m2.2.2.2.3" xref="S3.SS2.SSS3.p1.4.m2.2.2.3.cmml">(</mo><msub id="S3.SS2.SSS3.p1.4.m2.1.1.1.1" xref="S3.SS2.SSS3.p1.4.m2.1.1.1.1.cmml"><mi id="S3.SS2.SSS3.p1.4.m2.1.1.1.1.2" xref="S3.SS2.SSS3.p1.4.m2.1.1.1.1.2.cmml">𝒙</mi><mi id="S3.SS2.SSS3.p1.4.m2.1.1.1.1.3" xref="S3.SS2.SSS3.p1.4.m2.1.1.1.1.3.cmml">i</mi></msub><mo id="S3.SS2.SSS3.p1.4.m2.2.2.2.4" xref="S3.SS2.SSS3.p1.4.m2.2.2.3.cmml">,</mo><msub id="S3.SS2.SSS3.p1.4.m2.2.2.2.2" xref="S3.SS2.SSS3.p1.4.m2.2.2.2.2.cmml"><mi id="S3.SS2.SSS3.p1.4.m2.2.2.2.2.2" xref="S3.SS2.SSS3.p1.4.m2.2.2.2.2.2.cmml">𝒚</mi><mi id="S3.SS2.SSS3.p1.4.m2.2.2.2.2.3" xref="S3.SS2.SSS3.p1.4.m2.2.2.2.2.3.cmml">i</mi></msub><mo stretchy="false" id="S3.SS2.SSS3.p1.4.m2.2.2.2.5" xref="S3.SS2.SSS3.p1.4.m2.2.2.3.cmml">)</mo></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p1.4.m2.2b"><interval closure="open" id="S3.SS2.SSS3.p1.4.m2.2.2.3.cmml" xref="S3.SS2.SSS3.p1.4.m2.2.2.2"><apply id="S3.SS2.SSS3.p1.4.m2.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.4.m2.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.4.m2.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.4.m2.1.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS3.p1.4.m2.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p1.4.m2.1.1.1.1.2">𝒙</ci><ci id="S3.SS2.SSS3.p1.4.m2.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p1.4.m2.1.1.1.1.3">𝑖</ci></apply><apply id="S3.SS2.SSS3.p1.4.m2.2.2.2.2.cmml" xref="S3.SS2.SSS3.p1.4.m2.2.2.2.2"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.4.m2.2.2.2.2.1.cmml" xref="S3.SS2.SSS3.p1.4.m2.2.2.2.2">subscript</csymbol><ci id="S3.SS2.SSS3.p1.4.m2.2.2.2.2.2.cmml" xref="S3.SS2.SSS3.p1.4.m2.2.2.2.2.2">𝒚</ci><ci id="S3.SS2.SSS3.p1.4.m2.2.2.2.2.3.cmml" xref="S3.SS2.SSS3.p1.4.m2.2.2.2.2.3">𝑖</ci></apply></interval></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p1.4.m2.2c">({\bm{x}}_{i},{\bm{y}}_{i})</annotation></semantics></math>.
While <math id="S3.SS2.SSS3.p1.5.m3.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS2.SSS3.p1.5.m3.1a"><mrow id="S3.SS2.SSS3.p1.5.m3.1.1" xref="S3.SS2.SSS3.p1.5.m3.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS2.SSS3.p1.5.m3.1.1.2" xref="S3.SS2.SSS3.p1.5.m3.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p1.5.m3.1.1.1" xref="S3.SS2.SSS3.p1.5.m3.1.1.1.cmml">​</mo><msub id="S3.SS2.SSS3.p1.5.m3.1.1.3" xref="S3.SS2.SSS3.p1.5.m3.1.1.3.cmml"><mi id="S3.SS2.SSS3.p1.5.m3.1.1.3.2" xref="S3.SS2.SSS3.p1.5.m3.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS3.p1.5.m3.1.1.3.3" xref="S3.SS2.SSS3.p1.5.m3.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p1.5.m3.1b"><apply id="S3.SS2.SSS3.p1.5.m3.1.1.cmml" xref="S3.SS2.SSS3.p1.5.m3.1.1"><times id="S3.SS2.SSS3.p1.5.m3.1.1.1.cmml" xref="S3.SS2.SSS3.p1.5.m3.1.1.1"></times><ci id="S3.SS2.SSS3.p1.5.m3.1.1.2.cmml" xref="S3.SS2.SSS3.p1.5.m3.1.1.2">Δ</ci><apply id="S3.SS2.SSS3.p1.5.m3.1.1.3.cmml" xref="S3.SS2.SSS3.p1.5.m3.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.5.m3.1.1.3.1.cmml" xref="S3.SS2.SSS3.p1.5.m3.1.1.3">subscript</csymbol><ci id="S3.SS2.SSS3.p1.5.m3.1.1.3.2.cmml" xref="S3.SS2.SSS3.p1.5.m3.1.1.3.2">𝑾</ci><ci id="S3.SS2.SSS3.p1.5.m3.1.1.3.3.cmml" xref="S3.SS2.SSS3.p1.5.m3.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p1.5.m3.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> is generally no longer rank one and cannot perfectly align to all <math id="S3.SS2.SSS3.p1.6.m4.1" class="ltx_Math" alttext="B" display="inline"><semantics id="S3.SS2.SSS3.p1.6.m4.1a"><mi id="S3.SS2.SSS3.p1.6.m4.1.1" xref="S3.SS2.SSS3.p1.6.m4.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p1.6.m4.1b"><ci id="S3.SS2.SSS3.p1.6.m4.1.1.cmml" xref="S3.SS2.SSS3.p1.6.m4.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p1.6.m4.1c">B</annotation></semantics></math> incoming vectors, Equation <a href="#S3.E15" title="Equation 15 ‣ 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">15</span></a> makes it clear that at least one summand will align to each <math id="S3.SS2.SSS3.p1.7.m5.1" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}}_{i})" display="inline"><semantics id="S3.SS2.SSS3.p1.7.m5.1a"><mrow id="S3.SS2.SSS3.p1.7.m5.1.1" xref="S3.SS2.SSS3.p1.7.m5.1.1.cmml"><msub id="S3.SS2.SSS3.p1.7.m5.1.1.3" xref="S3.SS2.SSS3.p1.7.m5.1.1.3.cmml"><mi id="S3.SS2.SSS3.p1.7.m5.1.1.3.2" xref="S3.SS2.SSS3.p1.7.m5.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS2.SSS3.p1.7.m5.1.1.3.3" xref="S3.SS2.SSS3.p1.7.m5.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p1.7.m5.1.1.2" xref="S3.SS2.SSS3.p1.7.m5.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS3.p1.7.m5.1.1.1.1" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.2" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.cmml">(</mo><msub id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.2" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.2.cmml">𝒙</mi><mi id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.3" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.3" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p1.7.m5.1b"><apply id="S3.SS2.SSS3.p1.7.m5.1.1.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1"><times id="S3.SS2.SSS3.p1.7.m5.1.1.2.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.2"></times><apply id="S3.SS2.SSS3.p1.7.m5.1.1.3.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.7.m5.1.1.3.1.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.3">subscript</csymbol><ci id="S3.SS2.SSS3.p1.7.m5.1.1.3.2.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.3.2">𝒉</ci><ci id="S3.SS2.SSS3.p1.7.m5.1.1.3.3.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.3.3">ℓ</ci></apply><apply id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.2">𝒙</ci><ci id="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p1.7.m5.1.1.1.1.1.3">𝑖</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p1.7.m5.1c">{\bm{h}}_{\ell}({\bm{x}}_{i})</annotation></semantics></math> from the batch.
We first assume that this term is not perfectly cancelled by the others:</p>
</div>
<div id="Thmassumption3" class="ltx_theorem ltx_theorem_assumption">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumption3.1.1.1" class="ltx_text ltx_font_bold">Assumption 3</span></span><span id="Thmassumption3.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumption3.p1" class="ltx_para">
<p id="Thmassumption3.p1.1" class="ltx_p"><math id="Thmassumption3.p1.1.m1.3" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}=\Theta(|\!|\frac{1}{B}\Delta\!{\bm{W}}_{\ell}^{(i)}{\bm{h}}_{\ell}({\bm{x}}_{i})|\!|_{2})" display="inline"><semantics id="Thmassumption3.p1.1.m1.3a"><mrow id="Thmassumption3.p1.1.m1.3.3" xref="Thmassumption3.p1.1.m1.3.3.cmml"><msub id="Thmassumption3.p1.1.m1.2.2.1" xref="Thmassumption3.p1.1.m1.2.2.1.cmml"><mrow id="Thmassumption3.p1.1.m1.2.2.1.1.1" xref="Thmassumption3.p1.1.m1.2.2.1.1.2.cmml"><mo stretchy="false" id="Thmassumption3.p1.1.m1.2.2.1.1.1.2" xref="Thmassumption3.p1.1.m1.2.2.1.1.2.1.cmml">‖</mo><mrow id="Thmassumption3.p1.1.m1.2.2.1.1.1.1" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.3" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.3.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2.cmml">​</mo><msub id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.cmml"><mi id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.2" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.3" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2a" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2.cmml">​</mo><msub id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.cmml"><mi id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.2" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.3" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2b" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2.cmml">​</mo><mrow id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.2" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml">(</mo><msub id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml"><mi id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.2" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.3" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.3" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumption3.p1.1.m1.2.2.1.1.1.3" xref="Thmassumption3.p1.1.m1.2.2.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumption3.p1.1.m1.2.2.1.3" xref="Thmassumption3.p1.1.m1.2.2.1.3.cmml">2</mn></msub><mo id="Thmassumption3.p1.1.m1.3.3.3" xref="Thmassumption3.p1.1.m1.3.3.3.cmml">=</mo><mrow id="Thmassumption3.p1.1.m1.3.3.2" xref="Thmassumption3.p1.1.m1.3.3.2.cmml"><mi mathvariant="normal" id="Thmassumption3.p1.1.m1.3.3.2.3" xref="Thmassumption3.p1.1.m1.3.3.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.3.3.2.2" xref="Thmassumption3.p1.1.m1.3.3.2.2.cmml">​</mo><mrow id="Thmassumption3.p1.1.m1.3.3.2.1.1" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.cmml"><mo stretchy="false" id="Thmassumption3.p1.1.m1.3.3.2.1.1.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.cmml">(</mo><msub id="Thmassumption3.p1.1.m1.3.3.2.1.1.1" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.cmml"><mrow id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.cmml"><mfrac id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.cmml"><mn id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2.cmml">1</mn><mi id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3.cmml">B</mi></mfrac><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><mpadded width="0.663em"><mi mathvariant="normal" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.4" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.4.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2a" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><msubsup id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml"><mi id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3.cmml">ℓ</mi><mrow id="Thmassumption3.p1.1.m1.1.1.1.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml"><mo stretchy="false" id="Thmassumption3.p1.1.m1.1.1.1.3.1" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml">(</mo><mi id="Thmassumption3.p1.1.m1.1.1.1.1" xref="Thmassumption3.p1.1.m1.1.1.1.1.cmml">i</mi><mo stretchy="false" id="Thmassumption3.p1.1.m1.1.1.1.3.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml">)</mo></mrow></msubsup><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2b" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><msub id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.cmml"><mi id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2c" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><mrow id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml"><mi id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.3.cmml">2</mn></msub><mo stretchy="false" id="Thmassumption3.p1.1.m1.3.3.2.1.1.3" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmassumption3.p1.1.m1.3b"><apply id="Thmassumption3.p1.1.m1.3.3.cmml" xref="Thmassumption3.p1.1.m1.3.3"><eq id="Thmassumption3.p1.1.m1.3.3.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.3"></eq><apply id="Thmassumption3.p1.1.m1.2.2.1.cmml" xref="Thmassumption3.p1.1.m1.2.2.1"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.2.2.1.2.cmml" xref="Thmassumption3.p1.1.m1.2.2.1">subscript</csymbol><apply id="Thmassumption3.p1.1.m1.2.2.1.1.2.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1"><csymbol cd="latexml" id="Thmassumption3.p1.1.m1.2.2.1.1.2.1.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.2">norm</csymbol><apply id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1"><times id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.2"></times><ci id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.3.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.3">Δ</ci><apply id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.1.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4">subscript</csymbol><ci id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.2.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.2">𝑾</ci><ci id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.3.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.4.3">ℓ</ci></apply><apply id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.1.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5">subscript</csymbol><ci id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.2.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.2">𝒉</ci><ci id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.3.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.5.3">ℓ</ci></apply><apply id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.2.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.2">𝒙</ci><ci id="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.3.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="Thmassumption3.p1.1.m1.2.2.1.3.cmml" xref="Thmassumption3.p1.1.m1.2.2.1.3">2</cn></apply><apply id="Thmassumption3.p1.1.m1.3.3.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2"><times id="Thmassumption3.p1.1.m1.3.3.2.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.2"></times><ci id="Thmassumption3.p1.1.m1.3.3.2.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.3">Θ</ci><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1">subscript</csymbol><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1"><csymbol cd="latexml" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.2.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.2">norm</csymbol><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1"><times id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.2"></times><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3"><divide id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3"></divide><cn type="integer" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2">1</cn><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3">𝐵</ci></apply><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.4.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.4">Δ</ci><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5">superscript</csymbol><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5">subscript</csymbol><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2">𝑾</ci><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3">ℓ</ci></apply><ci id="Thmassumption3.p1.1.m1.1.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.1.1.1.1">𝑖</ci></apply><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6">subscript</csymbol><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2">𝒉</ci><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3">ℓ</ci></apply><apply id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.1.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2">𝒙</ci><ci id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="Thmassumption3.p1.1.m1.3.3.2.1.1.1.3.cmml" xref="Thmassumption3.p1.1.m1.3.3.2.1.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmassumption3.p1.1.m1.3c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}=\Theta(|\!|\frac{1}{B}\Delta\!{\bm{W}}_{\ell}^{(i)}{\bm{h}}_{\ell}({\bm{x}}_{i})|\!|_{2})</annotation></semantics></math>.</p>
</div>
</div>
<div id="S3.SS2.SSS3.p2" class="ltx_para">
<p id="S3.SS2.SSS3.p2.1" class="ltx_p">We additionally make the assumption that the batch size is fixed and independent of width:</p>
</div>
<div id="Thmassumption4" class="ltx_theorem ltx_theorem_assumption">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumption4.1.1.1" class="ltx_text ltx_font_bold">Assumption 4</span></span><span id="Thmassumption4.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumption4.p1" class="ltx_para">
<p id="Thmassumption4.p1.1" class="ltx_p">The batch size is width-independent: <math id="Thmassumption4.p1.1.m1.1" class="ltx_Math" alttext="B=\Theta(1)" display="inline"><semantics id="Thmassumption4.p1.1.m1.1a"><mrow id="Thmassumption4.p1.1.m1.1.2" xref="Thmassumption4.p1.1.m1.1.2.cmml"><mi id="Thmassumption4.p1.1.m1.1.2.2" xref="Thmassumption4.p1.1.m1.1.2.2.cmml">B</mi><mo id="Thmassumption4.p1.1.m1.1.2.1" xref="Thmassumption4.p1.1.m1.1.2.1.cmml">=</mo><mrow id="Thmassumption4.p1.1.m1.1.2.3" xref="Thmassumption4.p1.1.m1.1.2.3.cmml"><mi mathvariant="normal" id="Thmassumption4.p1.1.m1.1.2.3.2" xref="Thmassumption4.p1.1.m1.1.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmassumption4.p1.1.m1.1.2.3.1" xref="Thmassumption4.p1.1.m1.1.2.3.1.cmml">​</mo><mrow id="Thmassumption4.p1.1.m1.1.2.3.3.2" xref="Thmassumption4.p1.1.m1.1.2.3.cmml"><mo stretchy="false" id="Thmassumption4.p1.1.m1.1.2.3.3.2.1" xref="Thmassumption4.p1.1.m1.1.2.3.cmml">(</mo><mn id="Thmassumption4.p1.1.m1.1.1" xref="Thmassumption4.p1.1.m1.1.1.cmml">1</mn><mo stretchy="false" id="Thmassumption4.p1.1.m1.1.2.3.3.2.2" xref="Thmassumption4.p1.1.m1.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmassumption4.p1.1.m1.1b"><apply id="Thmassumption4.p1.1.m1.1.2.cmml" xref="Thmassumption4.p1.1.m1.1.2"><eq id="Thmassumption4.p1.1.m1.1.2.1.cmml" xref="Thmassumption4.p1.1.m1.1.2.1"></eq><ci id="Thmassumption4.p1.1.m1.1.2.2.cmml" xref="Thmassumption4.p1.1.m1.1.2.2">𝐵</ci><apply id="Thmassumption4.p1.1.m1.1.2.3.cmml" xref="Thmassumption4.p1.1.m1.1.2.3"><times id="Thmassumption4.p1.1.m1.1.2.3.1.cmml" xref="Thmassumption4.p1.1.m1.1.2.3.1"></times><ci id="Thmassumption4.p1.1.m1.1.2.3.2.cmml" xref="Thmassumption4.p1.1.m1.1.2.3.2">Θ</ci><cn type="integer" id="Thmassumption4.p1.1.m1.1.1.cmml" xref="Thmassumption4.p1.1.m1.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmassumption4.p1.1.m1.1c">B=\Theta(1)</annotation></semantics></math>.</p>
</div>
</div>
<div id="S3.SS2.SSS3.p3" class="ltx_para ltx_noindent">
<p id="S3.SS2.SSS3.p3.2" class="ltx_p">Combining these assumptions, we find that
<math id="S3.SS2.SSS3.p3.1.m1.2" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}=\Theta\left(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}\right)" display="inline"><semantics id="S3.SS2.SSS3.p3.1.m1.2a"><mrow id="S3.SS2.SSS3.p3.1.m1.2.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.cmml"><msub id="S3.SS2.SSS3.p3.1.m1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.cmml"><mrow id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.3.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2.cmml">​</mo><msub id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.cmml"><mi id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.2" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.3" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2a" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2.cmml">​</mo><msub id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.cmml"><mi id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.2" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.3" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2b" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS2.SSS3.p3.1.m1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.3.cmml">2</mn></msub><mo id="S3.SS2.SSS3.p3.1.m1.2.2.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.3.cmml">=</mo><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.cmml"><mi mathvariant="normal" id="S3.SS2.SSS3.p3.1.m1.2.2.2.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p3.1.m1.2.2.2.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.2.cmml">​</mo><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.cmml"><mo id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.cmml">(</mo><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.cmml"><msub id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.cmml"><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.cmml"><mi id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.3.cmml">⋅</mo><msub id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.cmml"><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.cmml"><msub id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.cmml"><mi id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.2.cmml">​</mo><mrow id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.cmml">(</mo><msub id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.cmml"><mi id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.2" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mn id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.3.cmml">2</mn></msub></mrow><mo id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.3" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p3.1.m1.2b"><apply id="S3.SS2.SSS3.p3.1.m1.2.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2"><eq id="S3.SS2.SSS3.p3.1.m1.2.2.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.3"></eq><apply id="S3.SS2.SSS3.p3.1.m1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1">subscript</csymbol><apply id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.2">norm</csymbol><apply id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1"><times id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.2"></times><ci id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.3">Δ</ci><apply id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4">subscript</csymbol><ci id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.2">𝑾</ci><ci id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.4.3">ℓ</ci></apply><apply id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5">subscript</csymbol><ci id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.2">𝒉</ci><ci id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.5.3">ℓ</ci></apply><apply id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.2">𝒙</ci><ci id="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="S3.SS2.SSS3.p3.1.m1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.1.1.1.3">2</cn></apply><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2"><times id="S3.SS2.SSS3.p3.1.m1.2.2.2.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.2"></times><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.3">Θ</ci><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1"><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.3">⋅</ci><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1">subscript</csymbol><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.2.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.2">norm</csymbol><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1"><times id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.1"></times><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.2">Δ</ci><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.1.3"></times></apply><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2">subscript</csymbol><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1"><csymbol cd="latexml" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.2.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.2">norm</csymbol><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1"><times id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.2"></times><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3">subscript</csymbol><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.2">𝒉</ci><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.3.3">ℓ</ci></apply><apply id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.1.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1">subscript</csymbol><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.2.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.2">𝒙</ci><ci id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.3.cmml" xref="S3.SS2.SSS3.p3.1.m1.2.2.2.1.1.1.2.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p3.1.m1.2c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}=\Theta\left(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}\right)</annotation></semantics></math>: the batch update is aligned with incoming signal in a scaling sense.
Our previous scaling arguments in fact needed only alignment in this “big-<math id="S3.SS2.SSS3.p3.2.m2.1" class="ltx_Math" alttext="\Theta" display="inline"><semantics id="S3.SS2.SSS3.p3.2.m2.1a"><mi mathvariant="normal" id="S3.SS2.SSS3.p3.2.m2.1.1" xref="S3.SS2.SSS3.p3.2.m2.1.1.cmml">Θ</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p3.2.m2.1b"><ci id="S3.SS2.SSS3.p3.2.m2.1.1.cmml" xref="S3.SS2.SSS3.p3.2.m2.1.1">Θ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p3.2.m2.1c">\Theta</annotation></semantics></math>” sense (as opposed to the perfect rank-one sense of <a href="#Thmclaim2" title="Claim 2 (Alignment of updates). ‣ 3.1 Warmup: deep linear MLP, one step of SGD, on a single example ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>), and thus they still carry through: our spectral scaling condition continues to suffice to achieve proper feature learning as per <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<div id="S3.SS2.SSS3.p4" class="ltx_para ltx_noindent">
<p id="S3.SS2.SSS3.p4.1" class="ltx_p"><span id="S3.SS2.SSS3.p4.1.1" class="ltx_text ltx_font_bold">Empirical observation: low-rank structure remains at large batch size.</span>
Surprisingly, we observe numerically that MLP updates remain low (effective) rank and aligned with incoming vectors <span id="S3.SS2.SSS3.p4.1.2" class="ltx_text ltx_font_italic">even at large batch size</span> <math id="S3.SS2.SSS3.p4.1.m1.1" class="ltx_Math" alttext="B" display="inline"><semantics id="S3.SS2.SSS3.p4.1.m1.1a"><mi id="S3.SS2.SSS3.p4.1.m1.1.1" xref="S3.SS2.SSS3.p4.1.m1.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="S3.SS2.SSS3.p4.1.m1.1b"><ci id="S3.SS2.SSS3.p4.1.m1.1.1.cmml" xref="S3.SS2.SSS3.p4.1.m1.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.SS2.SSS3.p4.1.m1.1c">B</annotation></semantics></math>.
This is demonstrated in Figure <a href="#S3.F1" title="Figure 1 ‣ 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<figure id="S3.F1" class="ltx_figure"><img src="/html/2310.17813/assets/x1.png" id="S3.F1.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="500" height="136" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 1: </span>
<span id="S3.F1.35.1" class="ltx_text ltx_font_bold">Gradient updates have low effective rank and high-alignment with incoming hidden vectors even at large batch size in MLPs on CIFAR-10.</span>
We randomly initialize MLPs with depth <math id="S3.F1.15.m1.1" class="ltx_Math" alttext="L=3" display="inline"><semantics id="S3.F1.15.m1.1b"><mrow id="S3.F1.15.m1.1.1" xref="S3.F1.15.m1.1.1.cmml"><mi id="S3.F1.15.m1.1.1.2" xref="S3.F1.15.m1.1.1.2.cmml">L</mi><mo id="S3.F1.15.m1.1.1.1" xref="S3.F1.15.m1.1.1.1.cmml">=</mo><mn id="S3.F1.15.m1.1.1.3" xref="S3.F1.15.m1.1.1.3.cmml">3</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.15.m1.1c"><apply id="S3.F1.15.m1.1.1.cmml" xref="S3.F1.15.m1.1.1"><eq id="S3.F1.15.m1.1.1.1.cmml" xref="S3.F1.15.m1.1.1.1"></eq><ci id="S3.F1.15.m1.1.1.2.cmml" xref="S3.F1.15.m1.1.1.2">𝐿</ci><cn type="integer" id="S3.F1.15.m1.1.1.3.cmml" xref="S3.F1.15.m1.1.1.3">3</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.15.m1.1d">L=3</annotation></semantics></math>, hidden widths <math id="S3.F1.16.m2.1" class="ltx_Math" alttext="0pt_{1}=0pt_{2}=300" display="inline"><semantics id="S3.F1.16.m2.1b"><mrow id="S3.F1.16.m2.1.1" xref="S3.F1.16.m2.1.1.cmml"><mrow id="S3.F1.16.m2.1.1.2" xref="S3.F1.16.m2.1.1.2.cmml"><mn id="S3.F1.16.m2.1.1.2.2" xref="S3.F1.16.m2.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.F1.16.m2.1.1.2.1" xref="S3.F1.16.m2.1.1.2.1.cmml">​</mo><mi id="S3.F1.16.m2.1.1.2.3" xref="S3.F1.16.m2.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.F1.16.m2.1.1.2.1b" xref="S3.F1.16.m2.1.1.2.1.cmml">​</mo><msub id="S3.F1.16.m2.1.1.2.4" xref="S3.F1.16.m2.1.1.2.4.cmml"><mi id="S3.F1.16.m2.1.1.2.4.2" xref="S3.F1.16.m2.1.1.2.4.2.cmml">t</mi><mn id="S3.F1.16.m2.1.1.2.4.3" xref="S3.F1.16.m2.1.1.2.4.3.cmml">1</mn></msub></mrow><mo id="S3.F1.16.m2.1.1.3" xref="S3.F1.16.m2.1.1.3.cmml">=</mo><mrow id="S3.F1.16.m2.1.1.4" xref="S3.F1.16.m2.1.1.4.cmml"><mn id="S3.F1.16.m2.1.1.4.2" xref="S3.F1.16.m2.1.1.4.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.F1.16.m2.1.1.4.1" xref="S3.F1.16.m2.1.1.4.1.cmml">​</mo><mi id="S3.F1.16.m2.1.1.4.3" xref="S3.F1.16.m2.1.1.4.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.F1.16.m2.1.1.4.1b" xref="S3.F1.16.m2.1.1.4.1.cmml">​</mo><msub id="S3.F1.16.m2.1.1.4.4" xref="S3.F1.16.m2.1.1.4.4.cmml"><mi id="S3.F1.16.m2.1.1.4.4.2" xref="S3.F1.16.m2.1.1.4.4.2.cmml">t</mi><mn id="S3.F1.16.m2.1.1.4.4.3" xref="S3.F1.16.m2.1.1.4.4.3.cmml">2</mn></msub></mrow><mo id="S3.F1.16.m2.1.1.5" xref="S3.F1.16.m2.1.1.5.cmml">=</mo><mn id="S3.F1.16.m2.1.1.6" xref="S3.F1.16.m2.1.1.6.cmml">300</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.16.m2.1c"><apply id="S3.F1.16.m2.1.1.cmml" xref="S3.F1.16.m2.1.1"><and id="S3.F1.16.m2.1.1a.cmml" xref="S3.F1.16.m2.1.1"></and><apply id="S3.F1.16.m2.1.1b.cmml" xref="S3.F1.16.m2.1.1"><eq id="S3.F1.16.m2.1.1.3.cmml" xref="S3.F1.16.m2.1.1.3"></eq><apply id="S3.F1.16.m2.1.1.2.cmml" xref="S3.F1.16.m2.1.1.2"><times id="S3.F1.16.m2.1.1.2.1.cmml" xref="S3.F1.16.m2.1.1.2.1"></times><cn type="integer" id="S3.F1.16.m2.1.1.2.2.cmml" xref="S3.F1.16.m2.1.1.2.2">0</cn><ci id="S3.F1.16.m2.1.1.2.3.cmml" xref="S3.F1.16.m2.1.1.2.3">𝑝</ci><apply id="S3.F1.16.m2.1.1.2.4.cmml" xref="S3.F1.16.m2.1.1.2.4"><csymbol cd="ambiguous" id="S3.F1.16.m2.1.1.2.4.1.cmml" xref="S3.F1.16.m2.1.1.2.4">subscript</csymbol><ci id="S3.F1.16.m2.1.1.2.4.2.cmml" xref="S3.F1.16.m2.1.1.2.4.2">𝑡</ci><cn type="integer" id="S3.F1.16.m2.1.1.2.4.3.cmml" xref="S3.F1.16.m2.1.1.2.4.3">1</cn></apply></apply><apply id="S3.F1.16.m2.1.1.4.cmml" xref="S3.F1.16.m2.1.1.4"><times id="S3.F1.16.m2.1.1.4.1.cmml" xref="S3.F1.16.m2.1.1.4.1"></times><cn type="integer" id="S3.F1.16.m2.1.1.4.2.cmml" xref="S3.F1.16.m2.1.1.4.2">0</cn><ci id="S3.F1.16.m2.1.1.4.3.cmml" xref="S3.F1.16.m2.1.1.4.3">𝑝</ci><apply id="S3.F1.16.m2.1.1.4.4.cmml" xref="S3.F1.16.m2.1.1.4.4"><csymbol cd="ambiguous" id="S3.F1.16.m2.1.1.4.4.1.cmml" xref="S3.F1.16.m2.1.1.4.4">subscript</csymbol><ci id="S3.F1.16.m2.1.1.4.4.2.cmml" xref="S3.F1.16.m2.1.1.4.4.2">𝑡</ci><cn type="integer" id="S3.F1.16.m2.1.1.4.4.3.cmml" xref="S3.F1.16.m2.1.1.4.4.3">2</cn></apply></apply></apply><apply id="S3.F1.16.m2.1.1c.cmml" xref="S3.F1.16.m2.1.1"><eq id="S3.F1.16.m2.1.1.5.cmml" xref="S3.F1.16.m2.1.1.5"></eq><share href="#S3.F1.16.m2.1.1.4.cmml" id="S3.F1.16.m2.1.1d.cmml" xref="S3.F1.16.m2.1.1"></share><cn type="integer" id="S3.F1.16.m2.1.1.6.cmml" xref="S3.F1.16.m2.1.1.6">300</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.16.m2.1d">0pt_{1}=0pt_{2}=300</annotation></semantics></math>, and <span id="S3.F1.36.2" class="ltx_text ltx_markedasmath">ReLU</span> and <span id="S3.F1.37.3" class="ltx_text ltx_markedasmath">tanh</span> activation functions.
We then compute gradient updates <math id="S3.F1.19.m5.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.F1.19.m5.1b"><mrow id="S3.F1.19.m5.1.1" xref="S3.F1.19.m5.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.F1.19.m5.1.1.2" xref="S3.F1.19.m5.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.F1.19.m5.1.1.1" xref="S3.F1.19.m5.1.1.1.cmml">​</mo><msub id="S3.F1.19.m5.1.1.3" xref="S3.F1.19.m5.1.1.3.cmml"><mi id="S3.F1.19.m5.1.1.3.2" xref="S3.F1.19.m5.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.F1.19.m5.1.1.3.3" xref="S3.F1.19.m5.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.19.m5.1c"><apply id="S3.F1.19.m5.1.1.cmml" xref="S3.F1.19.m5.1.1"><times id="S3.F1.19.m5.1.1.1.cmml" xref="S3.F1.19.m5.1.1.1"></times><ci id="S3.F1.19.m5.1.1.2.cmml" xref="S3.F1.19.m5.1.1.2">Δ</ci><apply id="S3.F1.19.m5.1.1.3.cmml" xref="S3.F1.19.m5.1.1.3"><csymbol cd="ambiguous" id="S3.F1.19.m5.1.1.3.1.cmml" xref="S3.F1.19.m5.1.1.3">subscript</csymbol><ci id="S3.F1.19.m5.1.1.3.2.cmml" xref="S3.F1.19.m5.1.1.3.2">𝑾</ci><ci id="S3.F1.19.m5.1.1.3.3.cmml" xref="S3.F1.19.m5.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.19.m5.1d">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> for layer <math id="S3.F1.20.m6.1" class="ltx_Math" alttext="\ell=2" display="inline"><semantics id="S3.F1.20.m6.1b"><mrow id="S3.F1.20.m6.1.1" xref="S3.F1.20.m6.1.1.cmml"><mi mathvariant="normal" id="S3.F1.20.m6.1.1.2" xref="S3.F1.20.m6.1.1.2.cmml">ℓ</mi><mo id="S3.F1.20.m6.1.1.1" xref="S3.F1.20.m6.1.1.1.cmml">=</mo><mn id="S3.F1.20.m6.1.1.3" xref="S3.F1.20.m6.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.20.m6.1c"><apply id="S3.F1.20.m6.1.1.cmml" xref="S3.F1.20.m6.1.1"><eq id="S3.F1.20.m6.1.1.1.cmml" xref="S3.F1.20.m6.1.1.1"></eq><ci id="S3.F1.20.m6.1.1.2.cmml" xref="S3.F1.20.m6.1.1.2">ℓ</ci><cn type="integer" id="S3.F1.20.m6.1.1.3.cmml" xref="S3.F1.20.m6.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.20.m6.1d">\ell=2</annotation></semantics></math> on randomly-sampled size-<math id="S3.F1.21.m7.1" class="ltx_Math" alttext="B" display="inline"><semantics id="S3.F1.21.m7.1b"><mi id="S3.F1.21.m7.1.1" xref="S3.F1.21.m7.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="S3.F1.21.m7.1c"><ci id="S3.F1.21.m7.1.1.cmml" xref="S3.F1.21.m7.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.21.m7.1d">B</annotation></semantics></math> subsets of CIFAR-10.
<span id="S3.F1.38.4" class="ltx_text ltx_font_bold">Left.</span>
As a measure of effective rank, we report the <span id="S3.F1.39.5" class="ltx_text ltx_font_italic">stable rank</span>
<math id="S3.F1.22.m8.3" class="ltx_Math" alttext="\textrm{srank}(\Delta\!{\bm{W}}_{\ell})\vcentcolon=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}^{2}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}^{2}" display="inline"><semantics id="S3.F1.22.m8.3b"><mrow id="S3.F1.22.m8.3.3" xref="S3.F1.22.m8.3.3.cmml"><mrow id="S3.F1.22.m8.1.1.1" xref="S3.F1.22.m8.1.1.1.cmml"><mtext id="S3.F1.22.m8.1.1.1.3" xref="S3.F1.22.m8.1.1.1.3a.cmml">srank</mtext><mo lspace="0em" rspace="0em" id="S3.F1.22.m8.1.1.1.2" xref="S3.F1.22.m8.1.1.1.2.cmml">​</mo><mrow id="S3.F1.22.m8.1.1.1.1.1" xref="S3.F1.22.m8.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.F1.22.m8.1.1.1.1.1.2" xref="S3.F1.22.m8.1.1.1.1.1.1.cmml">(</mo><mrow id="S3.F1.22.m8.1.1.1.1.1.1" xref="S3.F1.22.m8.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.F1.22.m8.1.1.1.1.1.1.2" xref="S3.F1.22.m8.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.F1.22.m8.1.1.1.1.1.1.1" xref="S3.F1.22.m8.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.F1.22.m8.1.1.1.1.1.1.3" xref="S3.F1.22.m8.1.1.1.1.1.1.3.cmml"><mi id="S3.F1.22.m8.1.1.1.1.1.1.3.2" xref="S3.F1.22.m8.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.F1.22.m8.1.1.1.1.1.1.3.3" xref="S3.F1.22.m8.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.278em" stretchy="false" id="S3.F1.22.m8.1.1.1.1.1.3" xref="S3.F1.22.m8.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo rspace="0.278em" id="S3.F1.22.m8.3.3.4" xref="S3.F1.22.m8.3.3.4.cmml">:=</mo><mrow id="S3.F1.22.m8.3.3.3" xref="S3.F1.22.m8.3.3.3.cmml"><msubsup id="S3.F1.22.m8.2.2.2.1" xref="S3.F1.22.m8.2.2.2.1.cmml"><mrow id="S3.F1.22.m8.2.2.2.1.1.1.1" xref="S3.F1.22.m8.2.2.2.1.1.1.2.cmml"><mo stretchy="false" id="S3.F1.22.m8.2.2.2.1.1.1.1.2" xref="S3.F1.22.m8.2.2.2.1.1.1.2.1.cmml">‖</mo><mrow id="S3.F1.22.m8.2.2.2.1.1.1.1.1" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.F1.22.m8.2.2.2.1.1.1.1.1.2" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.F1.22.m8.2.2.2.1.1.1.1.1.1" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.1.cmml">​</mo><msub id="S3.F1.22.m8.2.2.2.1.1.1.1.1.3" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.cmml"><mi id="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.2" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.3" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S3.F1.22.m8.2.2.2.1.1.1.1.3" xref="S3.F1.22.m8.2.2.2.1.1.1.2.1.cmml">‖</mo></mrow><mi id="S3.F1.22.m8.2.2.2.1.1.3" xref="S3.F1.22.m8.2.2.2.1.1.3.cmml">F</mi><mn id="S3.F1.22.m8.2.2.2.1.3" xref="S3.F1.22.m8.2.2.2.1.3.cmml">2</mn></msubsup><mo id="S3.F1.22.m8.3.3.3.3" xref="S3.F1.22.m8.3.3.3.3.cmml">/</mo><msubsup id="S3.F1.22.m8.3.3.3.2" xref="S3.F1.22.m8.3.3.3.2.cmml"><mrow id="S3.F1.22.m8.3.3.3.2.1.1.1" xref="S3.F1.22.m8.3.3.3.2.1.1.2.cmml"><mo stretchy="false" id="S3.F1.22.m8.3.3.3.2.1.1.1.2" xref="S3.F1.22.m8.3.3.3.2.1.1.2.1.cmml">‖</mo><mrow id="S3.F1.22.m8.3.3.3.2.1.1.1.1" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.F1.22.m8.3.3.3.2.1.1.1.1.2" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.F1.22.m8.3.3.3.2.1.1.1.1.1" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.1.cmml">​</mo><msub id="S3.F1.22.m8.3.3.3.2.1.1.1.1.3" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.cmml"><mi id="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.2" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.3" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S3.F1.22.m8.3.3.3.2.1.1.1.3" xref="S3.F1.22.m8.3.3.3.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.F1.22.m8.3.3.3.2.1.3" xref="S3.F1.22.m8.3.3.3.2.1.3.cmml">∗</mo><mn id="S3.F1.22.m8.3.3.3.2.3" xref="S3.F1.22.m8.3.3.3.2.3.cmml">2</mn></msubsup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.22.m8.3c"><apply id="S3.F1.22.m8.3.3.cmml" xref="S3.F1.22.m8.3.3"><csymbol cd="latexml" id="S3.F1.22.m8.3.3.4.cmml" xref="S3.F1.22.m8.3.3.4">assign</csymbol><apply id="S3.F1.22.m8.1.1.1.cmml" xref="S3.F1.22.m8.1.1.1"><times id="S3.F1.22.m8.1.1.1.2.cmml" xref="S3.F1.22.m8.1.1.1.2"></times><ci id="S3.F1.22.m8.1.1.1.3a.cmml" xref="S3.F1.22.m8.1.1.1.3"><mtext id="S3.F1.22.m8.1.1.1.3.cmml" xref="S3.F1.22.m8.1.1.1.3">srank</mtext></ci><apply id="S3.F1.22.m8.1.1.1.1.1.1.cmml" xref="S3.F1.22.m8.1.1.1.1.1"><times id="S3.F1.22.m8.1.1.1.1.1.1.1.cmml" xref="S3.F1.22.m8.1.1.1.1.1.1.1"></times><ci id="S3.F1.22.m8.1.1.1.1.1.1.2.cmml" xref="S3.F1.22.m8.1.1.1.1.1.1.2">Δ</ci><apply id="S3.F1.22.m8.1.1.1.1.1.1.3.cmml" xref="S3.F1.22.m8.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.F1.22.m8.1.1.1.1.1.1.3.1.cmml" xref="S3.F1.22.m8.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.F1.22.m8.1.1.1.1.1.1.3.2.cmml" xref="S3.F1.22.m8.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.F1.22.m8.1.1.1.1.1.1.3.3.cmml" xref="S3.F1.22.m8.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><apply id="S3.F1.22.m8.3.3.3.cmml" xref="S3.F1.22.m8.3.3.3"><divide id="S3.F1.22.m8.3.3.3.3.cmml" xref="S3.F1.22.m8.3.3.3.3"></divide><apply id="S3.F1.22.m8.2.2.2.1.cmml" xref="S3.F1.22.m8.2.2.2.1"><csymbol cd="ambiguous" id="S3.F1.22.m8.2.2.2.1.2.cmml" xref="S3.F1.22.m8.2.2.2.1">superscript</csymbol><apply id="S3.F1.22.m8.2.2.2.1.1.cmml" xref="S3.F1.22.m8.2.2.2.1"><csymbol cd="ambiguous" id="S3.F1.22.m8.2.2.2.1.1.2.cmml" xref="S3.F1.22.m8.2.2.2.1">subscript</csymbol><apply id="S3.F1.22.m8.2.2.2.1.1.1.2.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1"><csymbol cd="latexml" id="S3.F1.22.m8.2.2.2.1.1.1.2.1.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.2">norm</csymbol><apply id="S3.F1.22.m8.2.2.2.1.1.1.1.1.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1"><times id="S3.F1.22.m8.2.2.2.1.1.1.1.1.1.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.1"></times><ci id="S3.F1.22.m8.2.2.2.1.1.1.1.1.2.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.2">Δ</ci><apply id="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.1.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.3">subscript</csymbol><ci id="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.2.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.3.cmml" xref="S3.F1.22.m8.2.2.2.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><ci id="S3.F1.22.m8.2.2.2.1.1.3.cmml" xref="S3.F1.22.m8.2.2.2.1.1.3">𝐹</ci></apply><cn type="integer" id="S3.F1.22.m8.2.2.2.1.3.cmml" xref="S3.F1.22.m8.2.2.2.1.3">2</cn></apply><apply id="S3.F1.22.m8.3.3.3.2.cmml" xref="S3.F1.22.m8.3.3.3.2"><csymbol cd="ambiguous" id="S3.F1.22.m8.3.3.3.2.2.cmml" xref="S3.F1.22.m8.3.3.3.2">superscript</csymbol><apply id="S3.F1.22.m8.3.3.3.2.1.cmml" xref="S3.F1.22.m8.3.3.3.2"><csymbol cd="ambiguous" id="S3.F1.22.m8.3.3.3.2.1.2.cmml" xref="S3.F1.22.m8.3.3.3.2">subscript</csymbol><apply id="S3.F1.22.m8.3.3.3.2.1.1.2.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1"><csymbol cd="latexml" id="S3.F1.22.m8.3.3.3.2.1.1.2.1.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.2">norm</csymbol><apply id="S3.F1.22.m8.3.3.3.2.1.1.1.1.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1"><times id="S3.F1.22.m8.3.3.3.2.1.1.1.1.1.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.1"></times><ci id="S3.F1.22.m8.3.3.3.2.1.1.1.1.2.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.2">Δ</ci><apply id="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.1.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.3">subscript</csymbol><ci id="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.2.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.2">𝑾</ci><ci id="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.3.cmml" xref="S3.F1.22.m8.3.3.3.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.F1.22.m8.3.3.3.2.1.3.cmml" xref="S3.F1.22.m8.3.3.3.2.1.3"></times></apply><cn type="integer" id="S3.F1.22.m8.3.3.3.2.3.cmml" xref="S3.F1.22.m8.3.3.3.2.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.22.m8.3d">\textrm{srank}(\Delta\!{\bm{W}}_{\ell})\vcentcolon=\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}^{2}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}^{2}</annotation></semantics></math>
of gradient updates.
The stable rank remains less than 10 even when <math id="S3.F1.23.m9.1" class="ltx_Math" alttext="B" display="inline"><semantics id="S3.F1.23.m9.1b"><mi id="S3.F1.23.m9.1.1" xref="S3.F1.23.m9.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="S3.F1.23.m9.1c"><ci id="S3.F1.23.m9.1.1.cmml" xref="S3.F1.23.m9.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.23.m9.1d">B</annotation></semantics></math> is large, which is much less than its maximal possible value of <math id="S3.F1.24.m10.3" class="ltx_Math" alttext="\min(0pt_{1},0pt_{2})=300" display="inline"><semantics id="S3.F1.24.m10.3b"><mrow id="S3.F1.24.m10.3.3" xref="S3.F1.24.m10.3.3.cmml"><mrow id="S3.F1.24.m10.3.3.2.2" xref="S3.F1.24.m10.3.3.2.3.cmml"><mi id="S3.F1.24.m10.1.1" xref="S3.F1.24.m10.1.1.cmml">min</mi><mo id="S3.F1.24.m10.3.3.2.2b" xref="S3.F1.24.m10.3.3.2.3.cmml">⁡</mo><mrow id="S3.F1.24.m10.3.3.2.2.2" xref="S3.F1.24.m10.3.3.2.3.cmml"><mo stretchy="false" id="S3.F1.24.m10.3.3.2.2.2.3" xref="S3.F1.24.m10.3.3.2.3.cmml">(</mo><mrow id="S3.F1.24.m10.2.2.1.1.1.1" xref="S3.F1.24.m10.2.2.1.1.1.1.cmml"><mn id="S3.F1.24.m10.2.2.1.1.1.1.2" xref="S3.F1.24.m10.2.2.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.F1.24.m10.2.2.1.1.1.1.1" xref="S3.F1.24.m10.2.2.1.1.1.1.1.cmml">​</mo><mi id="S3.F1.24.m10.2.2.1.1.1.1.3" xref="S3.F1.24.m10.2.2.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.F1.24.m10.2.2.1.1.1.1.1b" xref="S3.F1.24.m10.2.2.1.1.1.1.1.cmml">​</mo><msub id="S3.F1.24.m10.2.2.1.1.1.1.4" xref="S3.F1.24.m10.2.2.1.1.1.1.4.cmml"><mi id="S3.F1.24.m10.2.2.1.1.1.1.4.2" xref="S3.F1.24.m10.2.2.1.1.1.1.4.2.cmml">t</mi><mn id="S3.F1.24.m10.2.2.1.1.1.1.4.3" xref="S3.F1.24.m10.2.2.1.1.1.1.4.3.cmml">1</mn></msub></mrow><mo id="S3.F1.24.m10.3.3.2.2.2.4" xref="S3.F1.24.m10.3.3.2.3.cmml">,</mo><mrow id="S3.F1.24.m10.3.3.2.2.2.2" xref="S3.F1.24.m10.3.3.2.2.2.2.cmml"><mn id="S3.F1.24.m10.3.3.2.2.2.2.2" xref="S3.F1.24.m10.3.3.2.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.F1.24.m10.3.3.2.2.2.2.1" xref="S3.F1.24.m10.3.3.2.2.2.2.1.cmml">​</mo><mi id="S3.F1.24.m10.3.3.2.2.2.2.3" xref="S3.F1.24.m10.3.3.2.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.F1.24.m10.3.3.2.2.2.2.1b" xref="S3.F1.24.m10.3.3.2.2.2.2.1.cmml">​</mo><msub id="S3.F1.24.m10.3.3.2.2.2.2.4" xref="S3.F1.24.m10.3.3.2.2.2.2.4.cmml"><mi id="S3.F1.24.m10.3.3.2.2.2.2.4.2" xref="S3.F1.24.m10.3.3.2.2.2.2.4.2.cmml">t</mi><mn id="S3.F1.24.m10.3.3.2.2.2.2.4.3" xref="S3.F1.24.m10.3.3.2.2.2.2.4.3.cmml">2</mn></msub></mrow><mo stretchy="false" id="S3.F1.24.m10.3.3.2.2.2.5" xref="S3.F1.24.m10.3.3.2.3.cmml">)</mo></mrow></mrow><mo id="S3.F1.24.m10.3.3.3" xref="S3.F1.24.m10.3.3.3.cmml">=</mo><mn id="S3.F1.24.m10.3.3.4" xref="S3.F1.24.m10.3.3.4.cmml">300</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.24.m10.3c"><apply id="S3.F1.24.m10.3.3.cmml" xref="S3.F1.24.m10.3.3"><eq id="S3.F1.24.m10.3.3.3.cmml" xref="S3.F1.24.m10.3.3.3"></eq><apply id="S3.F1.24.m10.3.3.2.3.cmml" xref="S3.F1.24.m10.3.3.2.2"><min id="S3.F1.24.m10.1.1.cmml" xref="S3.F1.24.m10.1.1"></min><apply id="S3.F1.24.m10.2.2.1.1.1.1.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1"><times id="S3.F1.24.m10.2.2.1.1.1.1.1.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1.1"></times><cn type="integer" id="S3.F1.24.m10.2.2.1.1.1.1.2.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1.2">0</cn><ci id="S3.F1.24.m10.2.2.1.1.1.1.3.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1.3">𝑝</ci><apply id="S3.F1.24.m10.2.2.1.1.1.1.4.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1.4"><csymbol cd="ambiguous" id="S3.F1.24.m10.2.2.1.1.1.1.4.1.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1.4">subscript</csymbol><ci id="S3.F1.24.m10.2.2.1.1.1.1.4.2.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1.4.2">𝑡</ci><cn type="integer" id="S3.F1.24.m10.2.2.1.1.1.1.4.3.cmml" xref="S3.F1.24.m10.2.2.1.1.1.1.4.3">1</cn></apply></apply><apply id="S3.F1.24.m10.3.3.2.2.2.2.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2"><times id="S3.F1.24.m10.3.3.2.2.2.2.1.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2.1"></times><cn type="integer" id="S3.F1.24.m10.3.3.2.2.2.2.2.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2.2">0</cn><ci id="S3.F1.24.m10.3.3.2.2.2.2.3.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2.3">𝑝</ci><apply id="S3.F1.24.m10.3.3.2.2.2.2.4.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2.4"><csymbol cd="ambiguous" id="S3.F1.24.m10.3.3.2.2.2.2.4.1.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2.4">subscript</csymbol><ci id="S3.F1.24.m10.3.3.2.2.2.2.4.2.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2.4.2">𝑡</ci><cn type="integer" id="S3.F1.24.m10.3.3.2.2.2.2.4.3.cmml" xref="S3.F1.24.m10.3.3.2.2.2.2.4.3">2</cn></apply></apply></apply><cn type="integer" id="S3.F1.24.m10.3.3.4.cmml" xref="S3.F1.24.m10.3.3.4">300</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.24.m10.3d">\min(0pt_{1},0pt_{2})=300</annotation></semantics></math>.
<span id="S3.F1.40.6" class="ltx_text ltx_font_bold">Right.</span>
We report the average alignment <math id="S3.F1.25.m11.5" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\left|\!\left|{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="S3.F1.25.m11.5b"><mrow id="S3.F1.25.m11.5.5" xref="S3.F1.25.m11.5.5.cmml"><mrow id="S3.F1.25.m11.4.4.2" xref="S3.F1.25.m11.4.4.2.cmml"><msub id="S3.F1.25.m11.3.3.1.1" xref="S3.F1.25.m11.3.3.1.1.cmml"><mrow id="S3.F1.25.m11.3.3.1.1.1.1" xref="S3.F1.25.m11.3.3.1.1.1.2.cmml"><mo stretchy="false" id="S3.F1.25.m11.3.3.1.1.1.1.2" xref="S3.F1.25.m11.3.3.1.1.1.2.1.cmml">‖</mo><mrow id="S3.F1.25.m11.3.3.1.1.1.1.1" xref="S3.F1.25.m11.3.3.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.F1.25.m11.3.3.1.1.1.1.1.2" xref="S3.F1.25.m11.3.3.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.F1.25.m11.3.3.1.1.1.1.1.1" xref="S3.F1.25.m11.3.3.1.1.1.1.1.1.cmml">​</mo><msub id="S3.F1.25.m11.3.3.1.1.1.1.1.3" xref="S3.F1.25.m11.3.3.1.1.1.1.1.3.cmml"><mi id="S3.F1.25.m11.3.3.1.1.1.1.1.3.2" xref="S3.F1.25.m11.3.3.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.F1.25.m11.3.3.1.1.1.1.1.3.3" xref="S3.F1.25.m11.3.3.1.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="S3.F1.25.m11.3.3.1.1.1.1.1.1b" xref="S3.F1.25.m11.3.3.1.1.1.1.1.1.cmml">​</mo><msub id="S3.F1.25.m11.3.3.1.1.1.1.1.4" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.cmml"><mi id="S3.F1.25.m11.3.3.1.1.1.1.1.4.2" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.2.cmml">𝒉</mi><mrow id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.cmml"><mi mathvariant="normal" id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.2" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.2.cmml">ℓ</mi><mo id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.1" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.1.cmml">−</mo><mn id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.3" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="S3.F1.25.m11.3.3.1.1.1.1.1.1c" xref="S3.F1.25.m11.3.3.1.1.1.1.1.1.cmml">​</mo><mrow id="S3.F1.25.m11.3.3.1.1.1.1.1.5.2" xref="S3.F1.25.m11.3.3.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.F1.25.m11.3.3.1.1.1.1.1.5.2.1" xref="S3.F1.25.m11.3.3.1.1.1.1.1.cmml">(</mo><mi id="S3.F1.25.m11.1.1" xref="S3.F1.25.m11.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.F1.25.m11.3.3.1.1.1.1.1.5.2.2" xref="S3.F1.25.m11.3.3.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.F1.25.m11.3.3.1.1.1.1.3" xref="S3.F1.25.m11.3.3.1.1.1.2.1.cmml">‖</mo></mrow><mn id="S3.F1.25.m11.3.3.1.1.3" xref="S3.F1.25.m11.3.3.1.1.3.cmml">2</mn></msub><mo id="S3.F1.25.m11.4.4.2.3" xref="S3.F1.25.m11.4.4.2.3.cmml">/</mo><msub id="S3.F1.25.m11.4.4.2.2" xref="S3.F1.25.m11.4.4.2.2.cmml"><mrow id="S3.F1.25.m11.4.4.2.2.1.1" xref="S3.F1.25.m11.4.4.2.2.1.2.cmml"><mo stretchy="false" id="S3.F1.25.m11.4.4.2.2.1.1.2" xref="S3.F1.25.m11.4.4.2.2.1.2.1.cmml">‖</mo><mrow id="S3.F1.25.m11.4.4.2.2.1.1.1" xref="S3.F1.25.m11.4.4.2.2.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.F1.25.m11.4.4.2.2.1.1.1.2" xref="S3.F1.25.m11.4.4.2.2.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.F1.25.m11.4.4.2.2.1.1.1.1" xref="S3.F1.25.m11.4.4.2.2.1.1.1.1.cmml">​</mo><msub id="S3.F1.25.m11.4.4.2.2.1.1.1.3" xref="S3.F1.25.m11.4.4.2.2.1.1.1.3.cmml"><mi id="S3.F1.25.m11.4.4.2.2.1.1.1.3.2" xref="S3.F1.25.m11.4.4.2.2.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.F1.25.m11.4.4.2.2.1.1.1.3.3" xref="S3.F1.25.m11.4.4.2.2.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S3.F1.25.m11.4.4.2.2.1.1.3" xref="S3.F1.25.m11.4.4.2.2.1.2.1.cmml">‖</mo></mrow><mo id="S3.F1.25.m11.4.4.2.2.3" xref="S3.F1.25.m11.4.4.2.2.3.cmml">∗</mo></msub></mrow><mo lspace="0em" rspace="0em" id="S3.F1.25.m11.5.5.4" xref="S3.F1.25.m11.5.5.4.cmml">​</mo><msub id="S3.F1.25.m11.5.5.3" xref="S3.F1.25.m11.5.5.3.cmml"><mrow id="S3.F1.25.m11.5.5.3.1.1" xref="S3.F1.25.m11.5.5.3.1.2.cmml"><mo stretchy="false" id="S3.F1.25.m11.5.5.3.1.1.2" xref="S3.F1.25.m11.5.5.3.1.2.1.cmml">‖</mo><mrow id="S3.F1.25.m11.5.5.3.1.1.1" xref="S3.F1.25.m11.5.5.3.1.1.1.cmml"><msubsup id="S3.F1.25.m11.5.5.3.1.1.1.2" xref="S3.F1.25.m11.5.5.3.1.1.1.2.cmml"><mi id="S3.F1.25.m11.5.5.3.1.1.1.2.2.2" xref="S3.F1.25.m11.5.5.3.1.1.1.2.2.2.cmml">𝒉</mi><mrow id="S3.F1.25.m11.5.5.3.1.1.1.2.3" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3.cmml"><mi mathvariant="normal" id="S3.F1.25.m11.5.5.3.1.1.1.2.3.2" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3.2.cmml">ℓ</mi><mo id="S3.F1.25.m11.5.5.3.1.1.1.2.3.1" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3.1.cmml">−</mo><mn id="S3.F1.25.m11.5.5.3.1.1.1.2.3.3" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3.3.cmml">1</mn></mrow><mo id="S3.F1.25.m11.5.5.3.1.1.1.2.2.3" xref="S3.F1.25.m11.5.5.3.1.1.1.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.F1.25.m11.5.5.3.1.1.1.1" xref="S3.F1.25.m11.5.5.3.1.1.1.1.cmml">​</mo><mrow id="S3.F1.25.m11.5.5.3.1.1.1.3.2" xref="S3.F1.25.m11.5.5.3.1.1.1.cmml"><mo stretchy="false" id="S3.F1.25.m11.5.5.3.1.1.1.3.2.1" xref="S3.F1.25.m11.5.5.3.1.1.1.cmml">(</mo><mi id="S3.F1.25.m11.2.2" xref="S3.F1.25.m11.2.2.cmml">𝒙</mi><mo stretchy="false" id="S3.F1.25.m11.5.5.3.1.1.1.3.2.2" xref="S3.F1.25.m11.5.5.3.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S3.F1.25.m11.5.5.3.1.1.3" xref="S3.F1.25.m11.5.5.3.1.2.1.cmml">‖</mo></mrow><mn id="S3.F1.25.m11.5.5.3.3" xref="S3.F1.25.m11.5.5.3.3.cmml">2</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.25.m11.5c"><apply id="S3.F1.25.m11.5.5.cmml" xref="S3.F1.25.m11.5.5"><times id="S3.F1.25.m11.5.5.4.cmml" xref="S3.F1.25.m11.5.5.4"></times><apply id="S3.F1.25.m11.4.4.2.cmml" xref="S3.F1.25.m11.4.4.2"><divide id="S3.F1.25.m11.4.4.2.3.cmml" xref="S3.F1.25.m11.4.4.2.3"></divide><apply id="S3.F1.25.m11.3.3.1.1.cmml" xref="S3.F1.25.m11.3.3.1.1"><csymbol cd="ambiguous" id="S3.F1.25.m11.3.3.1.1.2.cmml" xref="S3.F1.25.m11.3.3.1.1">subscript</csymbol><apply id="S3.F1.25.m11.3.3.1.1.1.2.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1"><csymbol cd="latexml" id="S3.F1.25.m11.3.3.1.1.1.2.1.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.2">norm</csymbol><apply id="S3.F1.25.m11.3.3.1.1.1.1.1.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1"><times id="S3.F1.25.m11.3.3.1.1.1.1.1.1.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.1"></times><ci id="S3.F1.25.m11.3.3.1.1.1.1.1.2.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.2">Δ</ci><apply id="S3.F1.25.m11.3.3.1.1.1.1.1.3.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.F1.25.m11.3.3.1.1.1.1.1.3.1.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.3">subscript</csymbol><ci id="S3.F1.25.m11.3.3.1.1.1.1.1.3.2.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.F1.25.m11.3.3.1.1.1.1.1.3.3.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.3.3">ℓ</ci></apply><apply id="S3.F1.25.m11.3.3.1.1.1.1.1.4.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S3.F1.25.m11.3.3.1.1.1.1.1.4.1.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4">subscript</csymbol><ci id="S3.F1.25.m11.3.3.1.1.1.1.1.4.2.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.2">𝒉</ci><apply id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3"><minus id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.1.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.1"></minus><ci id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.2.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.3.cmml" xref="S3.F1.25.m11.3.3.1.1.1.1.1.4.3.3">1</cn></apply></apply><ci id="S3.F1.25.m11.1.1.cmml" xref="S3.F1.25.m11.1.1">𝒙</ci></apply></apply><cn type="integer" id="S3.F1.25.m11.3.3.1.1.3.cmml" xref="S3.F1.25.m11.3.3.1.1.3">2</cn></apply><apply id="S3.F1.25.m11.4.4.2.2.cmml" xref="S3.F1.25.m11.4.4.2.2"><csymbol cd="ambiguous" id="S3.F1.25.m11.4.4.2.2.2.cmml" xref="S3.F1.25.m11.4.4.2.2">subscript</csymbol><apply id="S3.F1.25.m11.4.4.2.2.1.2.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1"><csymbol cd="latexml" id="S3.F1.25.m11.4.4.2.2.1.2.1.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.2">norm</csymbol><apply id="S3.F1.25.m11.4.4.2.2.1.1.1.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.1"><times id="S3.F1.25.m11.4.4.2.2.1.1.1.1.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.1.1"></times><ci id="S3.F1.25.m11.4.4.2.2.1.1.1.2.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.1.2">Δ</ci><apply id="S3.F1.25.m11.4.4.2.2.1.1.1.3.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.1.3"><csymbol cd="ambiguous" id="S3.F1.25.m11.4.4.2.2.1.1.1.3.1.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.1.3">subscript</csymbol><ci id="S3.F1.25.m11.4.4.2.2.1.1.1.3.2.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.1.3.2">𝑾</ci><ci id="S3.F1.25.m11.4.4.2.2.1.1.1.3.3.cmml" xref="S3.F1.25.m11.4.4.2.2.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.F1.25.m11.4.4.2.2.3.cmml" xref="S3.F1.25.m11.4.4.2.2.3"></times></apply></apply><apply id="S3.F1.25.m11.5.5.3.cmml" xref="S3.F1.25.m11.5.5.3"><csymbol cd="ambiguous" id="S3.F1.25.m11.5.5.3.2.cmml" xref="S3.F1.25.m11.5.5.3">subscript</csymbol><apply id="S3.F1.25.m11.5.5.3.1.2.cmml" xref="S3.F1.25.m11.5.5.3.1.1"><csymbol cd="latexml" id="S3.F1.25.m11.5.5.3.1.2.1.cmml" xref="S3.F1.25.m11.5.5.3.1.1.2">norm</csymbol><apply id="S3.F1.25.m11.5.5.3.1.1.1.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1"><times id="S3.F1.25.m11.5.5.3.1.1.1.1.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.1"></times><apply id="S3.F1.25.m11.5.5.3.1.1.1.2.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2"><csymbol cd="ambiguous" id="S3.F1.25.m11.5.5.3.1.1.1.2.1.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2">subscript</csymbol><apply id="S3.F1.25.m11.5.5.3.1.1.1.2.2.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2"><csymbol cd="ambiguous" id="S3.F1.25.m11.5.5.3.1.1.1.2.2.1.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2">superscript</csymbol><ci id="S3.F1.25.m11.5.5.3.1.1.1.2.2.2.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2.2.2">𝒉</ci><ci id="S3.F1.25.m11.5.5.3.1.1.1.2.2.3.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2.2.3">′</ci></apply><apply id="S3.F1.25.m11.5.5.3.1.1.1.2.3.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3"><minus id="S3.F1.25.m11.5.5.3.1.1.1.2.3.1.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3.1"></minus><ci id="S3.F1.25.m11.5.5.3.1.1.1.2.3.2.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3.2">ℓ</ci><cn type="integer" id="S3.F1.25.m11.5.5.3.1.1.1.2.3.3.cmml" xref="S3.F1.25.m11.5.5.3.1.1.1.2.3.3">1</cn></apply></apply><ci id="S3.F1.25.m11.2.2.cmml" xref="S3.F1.25.m11.2.2">𝒙</ci></apply></apply><cn type="integer" id="S3.F1.25.m11.5.5.3.3.cmml" xref="S3.F1.25.m11.5.5.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.25.m11.5d">\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}})\right|\!\right|_{2}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\left|\!\left|{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math> of the weight update <math id="S3.F1.26.m12.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.F1.26.m12.1b"><mrow id="S3.F1.26.m12.1.1" xref="S3.F1.26.m12.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.F1.26.m12.1.1.2" xref="S3.F1.26.m12.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.F1.26.m12.1.1.1" xref="S3.F1.26.m12.1.1.1.cmml">​</mo><msub id="S3.F1.26.m12.1.1.3" xref="S3.F1.26.m12.1.1.3.cmml"><mi id="S3.F1.26.m12.1.1.3.2" xref="S3.F1.26.m12.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.F1.26.m12.1.1.3.3" xref="S3.F1.26.m12.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.26.m12.1c"><apply id="S3.F1.26.m12.1.1.cmml" xref="S3.F1.26.m12.1.1"><times id="S3.F1.26.m12.1.1.1.cmml" xref="S3.F1.26.m12.1.1.1"></times><ci id="S3.F1.26.m12.1.1.2.cmml" xref="S3.F1.26.m12.1.1.2">Δ</ci><apply id="S3.F1.26.m12.1.1.3.cmml" xref="S3.F1.26.m12.1.1.3"><csymbol cd="ambiguous" id="S3.F1.26.m12.1.1.3.1.cmml" xref="S3.F1.26.m12.1.1.3">subscript</csymbol><ci id="S3.F1.26.m12.1.1.3.2.cmml" xref="S3.F1.26.m12.1.1.3.2">𝑾</ci><ci id="S3.F1.26.m12.1.1.3.3.cmml" xref="S3.F1.26.m12.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.26.m12.1d">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> to the incoming vector <math id="S3.F1.27.m13.1" class="ltx_Math" alttext="{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})" display="inline"><semantics id="S3.F1.27.m13.1b"><mrow id="S3.F1.27.m13.1.2" xref="S3.F1.27.m13.1.2.cmml"><msubsup id="S3.F1.27.m13.1.2.2" xref="S3.F1.27.m13.1.2.2.cmml"><mi id="S3.F1.27.m13.1.2.2.2.2" xref="S3.F1.27.m13.1.2.2.2.2.cmml">𝒉</mi><mrow id="S3.F1.27.m13.1.2.2.3" xref="S3.F1.27.m13.1.2.2.3.cmml"><mi mathvariant="normal" id="S3.F1.27.m13.1.2.2.3.2" xref="S3.F1.27.m13.1.2.2.3.2.cmml">ℓ</mi><mo id="S3.F1.27.m13.1.2.2.3.1" xref="S3.F1.27.m13.1.2.2.3.1.cmml">−</mo><mn id="S3.F1.27.m13.1.2.2.3.3" xref="S3.F1.27.m13.1.2.2.3.3.cmml">1</mn></mrow><mo id="S3.F1.27.m13.1.2.2.2.3" xref="S3.F1.27.m13.1.2.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S3.F1.27.m13.1.2.1" xref="S3.F1.27.m13.1.2.1.cmml">​</mo><mrow id="S3.F1.27.m13.1.2.3.2" xref="S3.F1.27.m13.1.2.cmml"><mo stretchy="false" id="S3.F1.27.m13.1.2.3.2.1" xref="S3.F1.27.m13.1.2.cmml">(</mo><mi id="S3.F1.27.m13.1.1" xref="S3.F1.27.m13.1.1.cmml">𝒙</mi><mo stretchy="false" id="S3.F1.27.m13.1.2.3.2.2" xref="S3.F1.27.m13.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.F1.27.m13.1c"><apply id="S3.F1.27.m13.1.2.cmml" xref="S3.F1.27.m13.1.2"><times id="S3.F1.27.m13.1.2.1.cmml" xref="S3.F1.27.m13.1.2.1"></times><apply id="S3.F1.27.m13.1.2.2.cmml" xref="S3.F1.27.m13.1.2.2"><csymbol cd="ambiguous" id="S3.F1.27.m13.1.2.2.1.cmml" xref="S3.F1.27.m13.1.2.2">subscript</csymbol><apply id="S3.F1.27.m13.1.2.2.2.cmml" xref="S3.F1.27.m13.1.2.2"><csymbol cd="ambiguous" id="S3.F1.27.m13.1.2.2.2.1.cmml" xref="S3.F1.27.m13.1.2.2">superscript</csymbol><ci id="S3.F1.27.m13.1.2.2.2.2.cmml" xref="S3.F1.27.m13.1.2.2.2.2">𝒉</ci><ci id="S3.F1.27.m13.1.2.2.2.3.cmml" xref="S3.F1.27.m13.1.2.2.2.3">′</ci></apply><apply id="S3.F1.27.m13.1.2.2.3.cmml" xref="S3.F1.27.m13.1.2.2.3"><minus id="S3.F1.27.m13.1.2.2.3.1.cmml" xref="S3.F1.27.m13.1.2.2.3.1"></minus><ci id="S3.F1.27.m13.1.2.2.3.2.cmml" xref="S3.F1.27.m13.1.2.2.3.2">ℓ</ci><cn type="integer" id="S3.F1.27.m13.1.2.2.3.3.cmml" xref="S3.F1.27.m13.1.2.2.3.3">1</cn></apply></apply><ci id="S3.F1.27.m13.1.1.cmml" xref="S3.F1.27.m13.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.27.m13.1d">{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})</annotation></semantics></math>, averaged over <math id="S3.F1.28.m14.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="S3.F1.28.m14.1b"><mi id="S3.F1.28.m14.1.1" xref="S3.F1.28.m14.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="S3.F1.28.m14.1c"><ci id="S3.F1.28.m14.1.1.cmml" xref="S3.F1.28.m14.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.F1.28.m14.1d">{\bm{x}}</annotation></semantics></math> from the batch.
Observe that alignment does not decay substantially with large batch size.
Dashed lines on both axes in both subplots show the network width.
Shaded regions denote one standard deviation of variation over random initializations and batches.
Curves look similar after training.
See <a href="#A1" title="Appendix A Experimental details ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">A</span></a> for experimental details.
</figcaption>
</figure>
</section>
</section>
<section id="S3.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.3 </span>Adam and other adaptive optimizers</h3>

<div id="S3.SS3.p1" class="ltx_para ltx_noindent">
<p id="S3.SS3.p1.1" class="ltx_p">Adam (like most adaptive optimizers in deep learning) processes gradients into updates via an entrywise function.
For example, the momentum-less version of Adam is SignSGD <cite class="ltx_cite ltx_citemacro_citep">(Bernstein et al., <a href="#bib.bib5" title="" class="ltx_ref">2018</a>)</cite> which just applies the sign function to each gradient entry.
Via less elementary arguments detailed in <a href="#A2" title="Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">B</span></a>, all the above discussion holds for <math id="S3.SS3.p1.1.m1.1" class="ltx_Math" alttext="\Delta{\bm{W}}_{\ell}" display="inline"><semantics id="S3.SS3.p1.1.m1.1a"><mrow id="S3.SS3.p1.1.m1.1.1" xref="S3.SS3.p1.1.m1.1.1.cmml"><mi mathvariant="normal" id="S3.SS3.p1.1.m1.1.1.2" xref="S3.SS3.p1.1.m1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S3.SS3.p1.1.m1.1.1.1" xref="S3.SS3.p1.1.m1.1.1.1.cmml">​</mo><msub id="S3.SS3.p1.1.m1.1.1.3" xref="S3.SS3.p1.1.m1.1.1.3.cmml"><mi id="S3.SS3.p1.1.m1.1.1.3.2" xref="S3.SS3.p1.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS3.p1.1.m1.1.1.3.3" xref="S3.SS3.p1.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.SS3.p1.1.m1.1b"><apply id="S3.SS3.p1.1.m1.1.1.cmml" xref="S3.SS3.p1.1.m1.1.1"><times id="S3.SS3.p1.1.m1.1.1.1.cmml" xref="S3.SS3.p1.1.m1.1.1.1"></times><ci id="S3.SS3.p1.1.m1.1.1.2.cmml" xref="S3.SS3.p1.1.m1.1.1.2">Δ</ci><apply id="S3.SS3.p1.1.m1.1.1.3.cmml" xref="S3.SS3.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.SS3.p1.1.m1.1.1.3.1.cmml" xref="S3.SS3.p1.1.m1.1.1.3">subscript</csymbol><ci id="S3.SS3.p1.1.m1.1.1.3.2.cmml" xref="S3.SS3.p1.1.m1.1.1.3.2">𝑾</ci><ci id="S3.SS3.p1.1.m1.1.1.3.3.cmml" xref="S3.SS3.p1.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS3.p1.1.m1.1c">\Delta{\bm{W}}_{\ell}</annotation></semantics></math> calculated from these optimizers.
In a gist, the main ingredients are 1) the nontrivial insight from <em id="S3.SS3.p1.1.1" class="ltx_emph ltx_font_italic">Tensor Programs</em> that gradients look like outer products of iid vectors, and 2) the fact that entrywise processing preserves the Frobenius norm of such a matrix up to multiplicative constants when width is large.</p>
</div>
</section>
<section id="S3.SS4" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">3.4 </span>Uniqueness of spectral scaling condition</h3>

<div id="S3.SS4.p1" class="ltx_para ltx_noindent">
<p id="S3.SS4.p1.4" class="ltx_p">Technically, <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> can be satisfied by scalings other than <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
For example, if one implements <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> at the first layer but sets <math id="S3.SS4.p1.1.m1.1" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=0" display="inline"><semantics id="S3.SS4.p1.1.m1.1a"><mrow id="S3.SS4.p1.1.m1.1.1" xref="S3.SS4.p1.1.m1.1.1.cmml"><msub id="S3.SS4.p1.1.m1.1.1.1" xref="S3.SS4.p1.1.m1.1.1.1.cmml"><mrow id="S3.SS4.p1.1.m1.1.1.1.1.1" xref="S3.SS4.p1.1.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS4.p1.1.m1.1.1.1.1.1.2" xref="S3.SS4.p1.1.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S3.SS4.p1.1.m1.1.1.1.1.1.1" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS4.p1.1.m1.1.1.1.1.1.1.2" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS4.p1.1.m1.1.1.1.1.1.1.1" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.1.cmml">​</mo><msub id="S3.SS4.p1.1.m1.1.1.1.1.1.1.3" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.cmml"><mi id="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.2" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.3" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S3.SS4.p1.1.m1.1.1.1.1.1.3" xref="S3.SS4.p1.1.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.SS4.p1.1.m1.1.1.1.3" xref="S3.SS4.p1.1.m1.1.1.1.3.cmml">∗</mo></msub><mo id="S3.SS4.p1.1.m1.1.1.2" xref="S3.SS4.p1.1.m1.1.1.2.cmml">=</mo><mn id="S3.SS4.p1.1.m1.1.1.3" xref="S3.SS4.p1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="S3.SS4.p1.1.m1.1b"><apply id="S3.SS4.p1.1.m1.1.1.cmml" xref="S3.SS4.p1.1.m1.1.1"><eq id="S3.SS4.p1.1.m1.1.1.2.cmml" xref="S3.SS4.p1.1.m1.1.1.2"></eq><apply id="S3.SS4.p1.1.m1.1.1.1.cmml" xref="S3.SS4.p1.1.m1.1.1.1"><csymbol cd="ambiguous" id="S3.SS4.p1.1.m1.1.1.1.2.cmml" xref="S3.SS4.p1.1.m1.1.1.1">subscript</csymbol><apply id="S3.SS4.p1.1.m1.1.1.1.1.2.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1"><csymbol cd="latexml" id="S3.SS4.p1.1.m1.1.1.1.1.2.1.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.2">norm</csymbol><apply id="S3.SS4.p1.1.m1.1.1.1.1.1.1.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1"><times id="S3.SS4.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.1"></times><ci id="S3.SS4.p1.1.m1.1.1.1.1.1.1.2.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.2">Δ</ci><apply id="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.1.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.2.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.3.cmml" xref="S3.SS4.p1.1.m1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.SS4.p1.1.m1.1.1.1.3.cmml" xref="S3.SS4.p1.1.m1.1.1.1.3"></times></apply><cn type="integer" id="S3.SS4.p1.1.m1.1.1.3.cmml" xref="S3.SS4.p1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS4.p1.1.m1.1c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=0</annotation></semantics></math> for layers <math id="S3.SS4.p1.2.m2.3" class="ltx_Math" alttext="\ell=2,\ldots,L" display="inline"><semantics id="S3.SS4.p1.2.m2.3a"><mrow id="S3.SS4.p1.2.m2.3.4" xref="S3.SS4.p1.2.m2.3.4.cmml"><mi mathvariant="normal" id="S3.SS4.p1.2.m2.3.4.2" xref="S3.SS4.p1.2.m2.3.4.2.cmml">ℓ</mi><mo id="S3.SS4.p1.2.m2.3.4.1" xref="S3.SS4.p1.2.m2.3.4.1.cmml">=</mo><mrow id="S3.SS4.p1.2.m2.3.4.3.2" xref="S3.SS4.p1.2.m2.3.4.3.1.cmml"><mn id="S3.SS4.p1.2.m2.1.1" xref="S3.SS4.p1.2.m2.1.1.cmml">2</mn><mo id="S3.SS4.p1.2.m2.3.4.3.2.1" xref="S3.SS4.p1.2.m2.3.4.3.1.cmml">,</mo><mi mathvariant="normal" id="S3.SS4.p1.2.m2.2.2" xref="S3.SS4.p1.2.m2.2.2.cmml">…</mi><mo id="S3.SS4.p1.2.m2.3.4.3.2.2" xref="S3.SS4.p1.2.m2.3.4.3.1.cmml">,</mo><mi id="S3.SS4.p1.2.m2.3.3" xref="S3.SS4.p1.2.m2.3.3.cmml">L</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.SS4.p1.2.m2.3b"><apply id="S3.SS4.p1.2.m2.3.4.cmml" xref="S3.SS4.p1.2.m2.3.4"><eq id="S3.SS4.p1.2.m2.3.4.1.cmml" xref="S3.SS4.p1.2.m2.3.4.1"></eq><ci id="S3.SS4.p1.2.m2.3.4.2.cmml" xref="S3.SS4.p1.2.m2.3.4.2">ℓ</ci><list id="S3.SS4.p1.2.m2.3.4.3.1.cmml" xref="S3.SS4.p1.2.m2.3.4.3.2"><cn type="integer" id="S3.SS4.p1.2.m2.1.1.cmml" xref="S3.SS4.p1.2.m2.1.1">2</cn><ci id="S3.SS4.p1.2.m2.2.2.cmml" xref="S3.SS4.p1.2.m2.2.2">…</ci><ci id="S3.SS4.p1.2.m2.3.3.cmml" xref="S3.SS4.p1.2.m2.3.3">𝐿</ci></list></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS4.p1.2.m2.3c">\ell=2,\ldots,L</annotation></semantics></math>, then <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> still holds.
However, <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> is the unique <em id="S3.SS4.p1.4.1" class="ltx_emph ltx_font_italic">maximal</em> scaling: if any of <math id="S3.SS4.p1.3.m3.1" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}" display="inline"><semantics id="S3.SS4.p1.3.m3.1a"><msub id="S3.SS4.p1.3.m3.1.1" xref="S3.SS4.p1.3.m3.1.1.cmml"><mrow id="S3.SS4.p1.3.m3.1.1.1.1" xref="S3.SS4.p1.3.m3.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS4.p1.3.m3.1.1.1.1.2" xref="S3.SS4.p1.3.m3.1.1.1.2.1.cmml">‖</mo><mrow id="S3.SS4.p1.3.m3.1.1.1.1.1" xref="S3.SS4.p1.3.m3.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.SS4.p1.3.m3.1.1.1.1.1.2" xref="S3.SS4.p1.3.m3.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.SS4.p1.3.m3.1.1.1.1.1.1" xref="S3.SS4.p1.3.m3.1.1.1.1.1.1.cmml">​</mo><msub id="S3.SS4.p1.3.m3.1.1.1.1.1.3" xref="S3.SS4.p1.3.m3.1.1.1.1.1.3.cmml"><mi id="S3.SS4.p1.3.m3.1.1.1.1.1.3.2" xref="S3.SS4.p1.3.m3.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS4.p1.3.m3.1.1.1.1.1.3.3" xref="S3.SS4.p1.3.m3.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S3.SS4.p1.3.m3.1.1.1.1.3" xref="S3.SS4.p1.3.m3.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.SS4.p1.3.m3.1.1.3" xref="S3.SS4.p1.3.m3.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="S3.SS4.p1.3.m3.1b"><apply id="S3.SS4.p1.3.m3.1.1.cmml" xref="S3.SS4.p1.3.m3.1.1"><csymbol cd="ambiguous" id="S3.SS4.p1.3.m3.1.1.2.cmml" xref="S3.SS4.p1.3.m3.1.1">subscript</csymbol><apply id="S3.SS4.p1.3.m3.1.1.1.2.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1"><csymbol cd="latexml" id="S3.SS4.p1.3.m3.1.1.1.2.1.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.2">norm</csymbol><apply id="S3.SS4.p1.3.m3.1.1.1.1.1.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.1"><times id="S3.SS4.p1.3.m3.1.1.1.1.1.1.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.1.1"></times><ci id="S3.SS4.p1.3.m3.1.1.1.1.1.2.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.1.2">Δ</ci><apply id="S3.SS4.p1.3.m3.1.1.1.1.1.3.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S3.SS4.p1.3.m3.1.1.1.1.1.3.1.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.1.3">subscript</csymbol><ci id="S3.SS4.p1.3.m3.1.1.1.1.1.3.2.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.1.3.2">𝑾</ci><ci id="S3.SS4.p1.3.m3.1.1.1.1.1.3.3.cmml" xref="S3.SS4.p1.3.m3.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S3.SS4.p1.3.m3.1.1.3.cmml" xref="S3.SS4.p1.3.m3.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS4.p1.3.m3.1c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}</annotation></semantics></math> or <math id="S3.SS4.p1.4.m4.1" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}" display="inline"><semantics id="S3.SS4.p1.4.m4.1a"><msub id="S3.SS4.p1.4.m4.1.1" xref="S3.SS4.p1.4.m4.1.1.cmml"><mrow id="S3.SS4.p1.4.m4.1.1.1.1" xref="S3.SS4.p1.4.m4.1.1.1.2.cmml"><mo stretchy="false" id="S3.SS4.p1.4.m4.1.1.1.1.2" xref="S3.SS4.p1.4.m4.1.1.1.2.1.cmml">‖</mo><msub id="S3.SS4.p1.4.m4.1.1.1.1.1" xref="S3.SS4.p1.4.m4.1.1.1.1.1.cmml"><mi id="S3.SS4.p1.4.m4.1.1.1.1.1.2" xref="S3.SS4.p1.4.m4.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.SS4.p1.4.m4.1.1.1.1.1.3" xref="S3.SS4.p1.4.m4.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S3.SS4.p1.4.m4.1.1.1.1.3" xref="S3.SS4.p1.4.m4.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S3.SS4.p1.4.m4.1.1.3" xref="S3.SS4.p1.4.m4.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="S3.SS4.p1.4.m4.1b"><apply id="S3.SS4.p1.4.m4.1.1.cmml" xref="S3.SS4.p1.4.m4.1.1"><csymbol cd="ambiguous" id="S3.SS4.p1.4.m4.1.1.2.cmml" xref="S3.SS4.p1.4.m4.1.1">subscript</csymbol><apply id="S3.SS4.p1.4.m4.1.1.1.2.cmml" xref="S3.SS4.p1.4.m4.1.1.1.1"><csymbol cd="latexml" id="S3.SS4.p1.4.m4.1.1.1.2.1.cmml" xref="S3.SS4.p1.4.m4.1.1.1.1.2">norm</csymbol><apply id="S3.SS4.p1.4.m4.1.1.1.1.1.cmml" xref="S3.SS4.p1.4.m4.1.1.1.1.1"><csymbol cd="ambiguous" id="S3.SS4.p1.4.m4.1.1.1.1.1.1.cmml" xref="S3.SS4.p1.4.m4.1.1.1.1.1">subscript</csymbol><ci id="S3.SS4.p1.4.m4.1.1.1.1.1.2.cmml" xref="S3.SS4.p1.4.m4.1.1.1.1.1.2">𝑾</ci><ci id="S3.SS4.p1.4.m4.1.1.1.1.1.3.cmml" xref="S3.SS4.p1.4.m4.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S3.SS4.p1.4.m4.1.1.3.cmml" xref="S3.SS4.p1.4.m4.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.SS4.p1.4.m4.1c">\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}</annotation></semantics></math> exceeds <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, then training will blow up as width is increased.
See <a href="#A2" title="Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">B</span></a> for a proof.</p>
</div>
<figure id="S3.T1" class="ltx_table">
<table id="S3.T1.36" class="ltx_tabular ltx_centering ltx_guessed_headers ltx_align_middle">
<thead class="ltx_thead">
<tr id="S3.T1.36.37.1" class="ltx_tr">
<th id="S3.T1.36.37.1.1" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" style="padding-bottom:1.07639pt;padding-top:2.5pt;padding-bottom:2.5pt;"><span id="S3.T1.36.37.1.1.1" class="ltx_text ltx_font_bold">Matrix</span></th>
<th id="S3.T1.36.37.1.2" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" style="padding-bottom:1.07639pt;padding-top:2.5pt;padding-bottom:2.5pt;"><span id="S3.T1.36.37.1.2.1" class="ltx_text ltx_font_bold">Shape</span></th>
<th id="S3.T1.36.37.1.3" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" style="padding-bottom:1.07639pt;padding-top:2.5pt;padding-bottom:2.5pt;"><span id="S3.T1.36.37.1.3.1" class="ltx_text ltx_font_bold">Stable Rank</span></th>
<th id="S3.T1.36.37.1.4" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" style="padding-bottom:1.07639pt;padding-top:2.5pt;padding-bottom:2.5pt;"><span id="S3.T1.36.37.1.4.1" class="ltx_text ltx_font_bold">Spectral Norm</span></th>
<th id="S3.T1.36.37.1.5" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" style="padding-bottom:1.07639pt;padding-top:2.5pt;padding-bottom:2.5pt;"><span id="S3.T1.36.37.1.5.1" class="ltx_text ltx_font_bold">Frobenius Norm</span></th>
<th id="S3.T1.36.37.1.6" class="ltx_td ltx_align_center ltx_th ltx_th_column ltx_border_tt" style="padding-bottom:1.07639pt;padding-top:2.5pt;padding-bottom:2.5pt;"><span id="S3.T1.36.37.1.6.1" class="ltx_text ltx_font_bold">RMS Entry Size</span></th>
</tr>
</thead>
<tbody class="ltx_tbody">
<tr id="S3.T1.6.6" class="ltx_tr">
<td id="S3.T1.1.1.1" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.1.1.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.1.1.1.m1.1a"><msub id="S3.T1.1.1.1.m1.1.1" xref="S3.T1.1.1.1.m1.1.1.cmml"><mi id="S3.T1.1.1.1.m1.1.1.2" xref="S3.T1.1.1.1.m1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.1.1.1.m1.1.1.3" xref="S3.T1.1.1.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.T1.1.1.1.m1.1b"><apply id="S3.T1.1.1.1.m1.1.1.cmml" xref="S3.T1.1.1.1.m1.1.1"><csymbol cd="ambiguous" id="S3.T1.1.1.1.m1.1.1.1.cmml" xref="S3.T1.1.1.1.m1.1.1">subscript</csymbol><ci id="S3.T1.1.1.1.m1.1.1.2.cmml" xref="S3.T1.1.1.1.m1.1.1.2">𝑾</ci><ci id="S3.T1.1.1.1.m1.1.1.3.cmml" xref="S3.T1.1.1.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.1.1.1.m1.1c">{\bm{W}}_{\ell}</annotation></semantics></math></td>
<td id="S3.T1.2.2.2" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.2.2.2.m1.1" class="ltx_Math" alttext="0pt\times 0pt" display="inline"><semantics id="S3.T1.2.2.2.m1.1a"><mrow id="S3.T1.2.2.2.m1.1.1" xref="S3.T1.2.2.2.m1.1.1.cmml"><mrow id="S3.T1.2.2.2.m1.1.1.2" xref="S3.T1.2.2.2.m1.1.1.2.cmml"><mrow id="S3.T1.2.2.2.m1.1.1.2.2" xref="S3.T1.2.2.2.m1.1.1.2.2.cmml"><mn id="S3.T1.2.2.2.m1.1.1.2.2.2" xref="S3.T1.2.2.2.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.2.2.2.m1.1.1.2.2.1" xref="S3.T1.2.2.2.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.2.2.2.m1.1.1.2.2.3" xref="S3.T1.2.2.2.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.2.2.2.m1.1.1.2.2.1a" xref="S3.T1.2.2.2.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.2.2.2.m1.1.1.2.2.4" xref="S3.T1.2.2.2.m1.1.1.2.2.4.cmml">t</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="S3.T1.2.2.2.m1.1.1.2.1" xref="S3.T1.2.2.2.m1.1.1.2.1.cmml">×</mo><mn id="S3.T1.2.2.2.m1.1.1.2.3" xref="S3.T1.2.2.2.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.2.2.2.m1.1.1.1" xref="S3.T1.2.2.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.2.2.2.m1.1.1.3" xref="S3.T1.2.2.2.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.2.2.2.m1.1.1.1a" xref="S3.T1.2.2.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.2.2.2.m1.1.1.4" xref="S3.T1.2.2.2.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.2.2.2.m1.1b"><apply id="S3.T1.2.2.2.m1.1.1.cmml" xref="S3.T1.2.2.2.m1.1.1"><times id="S3.T1.2.2.2.m1.1.1.1.cmml" xref="S3.T1.2.2.2.m1.1.1.1"></times><apply id="S3.T1.2.2.2.m1.1.1.2.cmml" xref="S3.T1.2.2.2.m1.1.1.2"><times id="S3.T1.2.2.2.m1.1.1.2.1.cmml" xref="S3.T1.2.2.2.m1.1.1.2.1"></times><apply id="S3.T1.2.2.2.m1.1.1.2.2.cmml" xref="S3.T1.2.2.2.m1.1.1.2.2"><times id="S3.T1.2.2.2.m1.1.1.2.2.1.cmml" xref="S3.T1.2.2.2.m1.1.1.2.2.1"></times><cn type="integer" id="S3.T1.2.2.2.m1.1.1.2.2.2.cmml" xref="S3.T1.2.2.2.m1.1.1.2.2.2">0</cn><ci id="S3.T1.2.2.2.m1.1.1.2.2.3.cmml" xref="S3.T1.2.2.2.m1.1.1.2.2.3">𝑝</ci><ci id="S3.T1.2.2.2.m1.1.1.2.2.4.cmml" xref="S3.T1.2.2.2.m1.1.1.2.2.4">𝑡</ci></apply><cn type="integer" id="S3.T1.2.2.2.m1.1.1.2.3.cmml" xref="S3.T1.2.2.2.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.2.2.2.m1.1.1.3.cmml" xref="S3.T1.2.2.2.m1.1.1.3">𝑝</ci><ci id="S3.T1.2.2.2.m1.1.1.4.cmml" xref="S3.T1.2.2.2.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.2.2.2.m1.1c">0pt\times 0pt</annotation></semantics></math></td>
<td id="S3.T1.3.3.3" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.3.3.3.m1.1" class="ltx_Math" alttext="0pt" display="inline"><semantics id="S3.T1.3.3.3.m1.1a"><mrow id="S3.T1.3.3.3.m1.1.1" xref="S3.T1.3.3.3.m1.1.1.cmml"><mn id="S3.T1.3.3.3.m1.1.1.2" xref="S3.T1.3.3.3.m1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.3.3.3.m1.1.1.1" xref="S3.T1.3.3.3.m1.1.1.1.cmml">​</mo><mi id="S3.T1.3.3.3.m1.1.1.3" xref="S3.T1.3.3.3.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.3.3.3.m1.1.1.1a" xref="S3.T1.3.3.3.m1.1.1.1.cmml">​</mo><mi id="S3.T1.3.3.3.m1.1.1.4" xref="S3.T1.3.3.3.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.3.3.3.m1.1b"><apply id="S3.T1.3.3.3.m1.1.1.cmml" xref="S3.T1.3.3.3.m1.1.1"><times id="S3.T1.3.3.3.m1.1.1.1.cmml" xref="S3.T1.3.3.3.m1.1.1.1"></times><cn type="integer" id="S3.T1.3.3.3.m1.1.1.2.cmml" xref="S3.T1.3.3.3.m1.1.1.2">0</cn><ci id="S3.T1.3.3.3.m1.1.1.3.cmml" xref="S3.T1.3.3.3.m1.1.1.3">𝑝</ci><ci id="S3.T1.3.3.3.m1.1.1.4.cmml" xref="S3.T1.3.3.3.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.3.3.3.m1.1c">0pt</annotation></semantics></math></td>
<td id="S3.T1.4.4.4" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.4.4.4.m1.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S3.T1.4.4.4.m1.1a"><mn id="S3.T1.4.4.4.m1.1.1" xref="S3.T1.4.4.4.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.T1.4.4.4.m1.1b"><cn type="integer" id="S3.T1.4.4.4.m1.1.1.cmml" xref="S3.T1.4.4.4.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.4.4.4.m1.1c">1</annotation></semantics></math></td>
<td id="S3.T1.5.5.5" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.5.5.5.m1.1" class="ltx_Math" alttext="\sqrt{0pt}" display="inline"><semantics id="S3.T1.5.5.5.m1.1a"><msqrt id="S3.T1.5.5.5.m1.1.1" xref="S3.T1.5.5.5.m1.1.1.cmml"><mrow id="S3.T1.5.5.5.m1.1.1.2" xref="S3.T1.5.5.5.m1.1.1.2.cmml"><mn id="S3.T1.5.5.5.m1.1.1.2.2" xref="S3.T1.5.5.5.m1.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.5.5.5.m1.1.1.2.1" xref="S3.T1.5.5.5.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.5.5.5.m1.1.1.2.3" xref="S3.T1.5.5.5.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.5.5.5.m1.1.1.2.1a" xref="S3.T1.5.5.5.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.5.5.5.m1.1.1.2.4" xref="S3.T1.5.5.5.m1.1.1.2.4.cmml">t</mi></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.5.5.5.m1.1b"><apply id="S3.T1.5.5.5.m1.1.1.cmml" xref="S3.T1.5.5.5.m1.1.1"><root id="S3.T1.5.5.5.m1.1.1a.cmml" xref="S3.T1.5.5.5.m1.1.1"></root><apply id="S3.T1.5.5.5.m1.1.1.2.cmml" xref="S3.T1.5.5.5.m1.1.1.2"><times id="S3.T1.5.5.5.m1.1.1.2.1.cmml" xref="S3.T1.5.5.5.m1.1.1.2.1"></times><cn type="integer" id="S3.T1.5.5.5.m1.1.1.2.2.cmml" xref="S3.T1.5.5.5.m1.1.1.2.2">0</cn><ci id="S3.T1.5.5.5.m1.1.1.2.3.cmml" xref="S3.T1.5.5.5.m1.1.1.2.3">𝑝</ci><ci id="S3.T1.5.5.5.m1.1.1.2.4.cmml" xref="S3.T1.5.5.5.m1.1.1.2.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.5.5.5.m1.1c">\sqrt{0pt}</annotation></semantics></math></td>
<td id="S3.T1.6.6.6" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.6.6.6.m1.1" class="ltx_Math" alttext="\sqrt{1/0pt}" display="inline"><semantics id="S3.T1.6.6.6.m1.1a"><msqrt id="S3.T1.6.6.6.m1.1.1" xref="S3.T1.6.6.6.m1.1.1.cmml"><mrow id="S3.T1.6.6.6.m1.1.1.2" xref="S3.T1.6.6.6.m1.1.1.2.cmml"><mrow id="S3.T1.6.6.6.m1.1.1.2.2" xref="S3.T1.6.6.6.m1.1.1.2.2.cmml"><mn id="S3.T1.6.6.6.m1.1.1.2.2.2" xref="S3.T1.6.6.6.m1.1.1.2.2.2.cmml">1</mn><mo id="S3.T1.6.6.6.m1.1.1.2.2.1" xref="S3.T1.6.6.6.m1.1.1.2.2.1.cmml">/</mo><mn id="S3.T1.6.6.6.m1.1.1.2.2.3" xref="S3.T1.6.6.6.m1.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.6.6.6.m1.1.1.2.1" xref="S3.T1.6.6.6.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.6.6.6.m1.1.1.2.3" xref="S3.T1.6.6.6.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.6.6.6.m1.1.1.2.1a" xref="S3.T1.6.6.6.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.6.6.6.m1.1.1.2.4" xref="S3.T1.6.6.6.m1.1.1.2.4.cmml">t</mi></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.6.6.6.m1.1b"><apply id="S3.T1.6.6.6.m1.1.1.cmml" xref="S3.T1.6.6.6.m1.1.1"><root id="S3.T1.6.6.6.m1.1.1a.cmml" xref="S3.T1.6.6.6.m1.1.1"></root><apply id="S3.T1.6.6.6.m1.1.1.2.cmml" xref="S3.T1.6.6.6.m1.1.1.2"><times id="S3.T1.6.6.6.m1.1.1.2.1.cmml" xref="S3.T1.6.6.6.m1.1.1.2.1"></times><apply id="S3.T1.6.6.6.m1.1.1.2.2.cmml" xref="S3.T1.6.6.6.m1.1.1.2.2"><divide id="S3.T1.6.6.6.m1.1.1.2.2.1.cmml" xref="S3.T1.6.6.6.m1.1.1.2.2.1"></divide><cn type="integer" id="S3.T1.6.6.6.m1.1.1.2.2.2.cmml" xref="S3.T1.6.6.6.m1.1.1.2.2.2">1</cn><cn type="integer" id="S3.T1.6.6.6.m1.1.1.2.2.3.cmml" xref="S3.T1.6.6.6.m1.1.1.2.2.3">0</cn></apply><ci id="S3.T1.6.6.6.m1.1.1.2.3.cmml" xref="S3.T1.6.6.6.m1.1.1.2.3">𝑝</ci><ci id="S3.T1.6.6.6.m1.1.1.2.4.cmml" xref="S3.T1.6.6.6.m1.1.1.2.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.6.6.6.m1.1c">\sqrt{1/0pt}</annotation></semantics></math></td>
</tr>
<tr id="S3.T1.12.12" class="ltx_tr">
<td id="S3.T1.7.7.1" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.7.7.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.7.7.1.m1.1a"><mrow id="S3.T1.7.7.1.m1.1.1" xref="S3.T1.7.7.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.T1.7.7.1.m1.1.1.2" xref="S3.T1.7.7.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.T1.7.7.1.m1.1.1.1" xref="S3.T1.7.7.1.m1.1.1.1.cmml">​</mo><msub id="S3.T1.7.7.1.m1.1.1.3" xref="S3.T1.7.7.1.m1.1.1.3.cmml"><mi id="S3.T1.7.7.1.m1.1.1.3.2" xref="S3.T1.7.7.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.7.7.1.m1.1.1.3.3" xref="S3.T1.7.7.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.7.7.1.m1.1b"><apply id="S3.T1.7.7.1.m1.1.1.cmml" xref="S3.T1.7.7.1.m1.1.1"><times id="S3.T1.7.7.1.m1.1.1.1.cmml" xref="S3.T1.7.7.1.m1.1.1.1"></times><ci id="S3.T1.7.7.1.m1.1.1.2.cmml" xref="S3.T1.7.7.1.m1.1.1.2">Δ</ci><apply id="S3.T1.7.7.1.m1.1.1.3.cmml" xref="S3.T1.7.7.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.T1.7.7.1.m1.1.1.3.1.cmml" xref="S3.T1.7.7.1.m1.1.1.3">subscript</csymbol><ci id="S3.T1.7.7.1.m1.1.1.3.2.cmml" xref="S3.T1.7.7.1.m1.1.1.3.2">𝑾</ci><ci id="S3.T1.7.7.1.m1.1.1.3.3.cmml" xref="S3.T1.7.7.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.7.7.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math></td>
<td id="S3.T1.8.8.2" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.8.8.2.m1.1" class="ltx_Math" alttext="0pt\times 0pt" display="inline"><semantics id="S3.T1.8.8.2.m1.1a"><mrow id="S3.T1.8.8.2.m1.1.1" xref="S3.T1.8.8.2.m1.1.1.cmml"><mrow id="S3.T1.8.8.2.m1.1.1.2" xref="S3.T1.8.8.2.m1.1.1.2.cmml"><mrow id="S3.T1.8.8.2.m1.1.1.2.2" xref="S3.T1.8.8.2.m1.1.1.2.2.cmml"><mn id="S3.T1.8.8.2.m1.1.1.2.2.2" xref="S3.T1.8.8.2.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.8.8.2.m1.1.1.2.2.1" xref="S3.T1.8.8.2.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.8.8.2.m1.1.1.2.2.3" xref="S3.T1.8.8.2.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.8.8.2.m1.1.1.2.2.1a" xref="S3.T1.8.8.2.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.8.8.2.m1.1.1.2.2.4" xref="S3.T1.8.8.2.m1.1.1.2.2.4.cmml">t</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="S3.T1.8.8.2.m1.1.1.2.1" xref="S3.T1.8.8.2.m1.1.1.2.1.cmml">×</mo><mn id="S3.T1.8.8.2.m1.1.1.2.3" xref="S3.T1.8.8.2.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.8.8.2.m1.1.1.1" xref="S3.T1.8.8.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.8.8.2.m1.1.1.3" xref="S3.T1.8.8.2.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.8.8.2.m1.1.1.1a" xref="S3.T1.8.8.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.8.8.2.m1.1.1.4" xref="S3.T1.8.8.2.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.8.8.2.m1.1b"><apply id="S3.T1.8.8.2.m1.1.1.cmml" xref="S3.T1.8.8.2.m1.1.1"><times id="S3.T1.8.8.2.m1.1.1.1.cmml" xref="S3.T1.8.8.2.m1.1.1.1"></times><apply id="S3.T1.8.8.2.m1.1.1.2.cmml" xref="S3.T1.8.8.2.m1.1.1.2"><times id="S3.T1.8.8.2.m1.1.1.2.1.cmml" xref="S3.T1.8.8.2.m1.1.1.2.1"></times><apply id="S3.T1.8.8.2.m1.1.1.2.2.cmml" xref="S3.T1.8.8.2.m1.1.1.2.2"><times id="S3.T1.8.8.2.m1.1.1.2.2.1.cmml" xref="S3.T1.8.8.2.m1.1.1.2.2.1"></times><cn type="integer" id="S3.T1.8.8.2.m1.1.1.2.2.2.cmml" xref="S3.T1.8.8.2.m1.1.1.2.2.2">0</cn><ci id="S3.T1.8.8.2.m1.1.1.2.2.3.cmml" xref="S3.T1.8.8.2.m1.1.1.2.2.3">𝑝</ci><ci id="S3.T1.8.8.2.m1.1.1.2.2.4.cmml" xref="S3.T1.8.8.2.m1.1.1.2.2.4">𝑡</ci></apply><cn type="integer" id="S3.T1.8.8.2.m1.1.1.2.3.cmml" xref="S3.T1.8.8.2.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.8.8.2.m1.1.1.3.cmml" xref="S3.T1.8.8.2.m1.1.1.3">𝑝</ci><ci id="S3.T1.8.8.2.m1.1.1.4.cmml" xref="S3.T1.8.8.2.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.8.8.2.m1.1c">0pt\times 0pt</annotation></semantics></math></td>
<td id="S3.T1.9.9.3" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.9.9.3.m1.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S3.T1.9.9.3.m1.1a"><mn id="S3.T1.9.9.3.m1.1.1" xref="S3.T1.9.9.3.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.T1.9.9.3.m1.1b"><cn type="integer" id="S3.T1.9.9.3.m1.1.1.cmml" xref="S3.T1.9.9.3.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.9.9.3.m1.1c">1</annotation></semantics></math></td>
<td id="S3.T1.10.10.4" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.10.10.4.m1.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S3.T1.10.10.4.m1.1a"><mn id="S3.T1.10.10.4.m1.1.1" xref="S3.T1.10.10.4.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.T1.10.10.4.m1.1b"><cn type="integer" id="S3.T1.10.10.4.m1.1.1.cmml" xref="S3.T1.10.10.4.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.10.10.4.m1.1c">1</annotation></semantics></math></td>
<td id="S3.T1.11.11.5" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.11.11.5.m1.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S3.T1.11.11.5.m1.1a"><mn id="S3.T1.11.11.5.m1.1.1" xref="S3.T1.11.11.5.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.T1.11.11.5.m1.1b"><cn type="integer" id="S3.T1.11.11.5.m1.1.1.cmml" xref="S3.T1.11.11.5.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.11.11.5.m1.1c">1</annotation></semantics></math></td>
<td id="S3.T1.12.12.6" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.12.12.6.m1.1" class="ltx_Math" alttext="1/0pt" display="inline"><semantics id="S3.T1.12.12.6.m1.1a"><mrow id="S3.T1.12.12.6.m1.1.1" xref="S3.T1.12.12.6.m1.1.1.cmml"><mrow id="S3.T1.12.12.6.m1.1.1.2" xref="S3.T1.12.12.6.m1.1.1.2.cmml"><mn id="S3.T1.12.12.6.m1.1.1.2.2" xref="S3.T1.12.12.6.m1.1.1.2.2.cmml">1</mn><mo id="S3.T1.12.12.6.m1.1.1.2.1" xref="S3.T1.12.12.6.m1.1.1.2.1.cmml">/</mo><mn id="S3.T1.12.12.6.m1.1.1.2.3" xref="S3.T1.12.12.6.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.12.12.6.m1.1.1.1" xref="S3.T1.12.12.6.m1.1.1.1.cmml">​</mo><mi id="S3.T1.12.12.6.m1.1.1.3" xref="S3.T1.12.12.6.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.12.12.6.m1.1.1.1a" xref="S3.T1.12.12.6.m1.1.1.1.cmml">​</mo><mi id="S3.T1.12.12.6.m1.1.1.4" xref="S3.T1.12.12.6.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.12.12.6.m1.1b"><apply id="S3.T1.12.12.6.m1.1.1.cmml" xref="S3.T1.12.12.6.m1.1.1"><times id="S3.T1.12.12.6.m1.1.1.1.cmml" xref="S3.T1.12.12.6.m1.1.1.1"></times><apply id="S3.T1.12.12.6.m1.1.1.2.cmml" xref="S3.T1.12.12.6.m1.1.1.2"><divide id="S3.T1.12.12.6.m1.1.1.2.1.cmml" xref="S3.T1.12.12.6.m1.1.1.2.1"></divide><cn type="integer" id="S3.T1.12.12.6.m1.1.1.2.2.cmml" xref="S3.T1.12.12.6.m1.1.1.2.2">1</cn><cn type="integer" id="S3.T1.12.12.6.m1.1.1.2.3.cmml" xref="S3.T1.12.12.6.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.12.12.6.m1.1.1.3.cmml" xref="S3.T1.12.12.6.m1.1.1.3">𝑝</ci><ci id="S3.T1.12.12.6.m1.1.1.4.cmml" xref="S3.T1.12.12.6.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.12.12.6.m1.1c">1/0pt</annotation></semantics></math></td>
</tr>
<tr id="S3.T1.18.18" class="ltx_tr">
<td id="S3.T1.13.13.1" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.13.13.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.13.13.1.m1.1a"><msub id="S3.T1.13.13.1.m1.1.1" xref="S3.T1.13.13.1.m1.1.1.cmml"><mi id="S3.T1.13.13.1.m1.1.1.2" xref="S3.T1.13.13.1.m1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.13.13.1.m1.1.1.3" xref="S3.T1.13.13.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.T1.13.13.1.m1.1b"><apply id="S3.T1.13.13.1.m1.1.1.cmml" xref="S3.T1.13.13.1.m1.1.1"><csymbol cd="ambiguous" id="S3.T1.13.13.1.m1.1.1.1.cmml" xref="S3.T1.13.13.1.m1.1.1">subscript</csymbol><ci id="S3.T1.13.13.1.m1.1.1.2.cmml" xref="S3.T1.13.13.1.m1.1.1.2">𝑾</ci><ci id="S3.T1.13.13.1.m1.1.1.3.cmml" xref="S3.T1.13.13.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.13.13.1.m1.1c">{\bm{W}}_{\ell}</annotation></semantics></math></td>
<td id="S3.T1.14.14.2" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.14.14.2.m1.1" class="ltx_Math" alttext="1\times 0pt" display="inline"><semantics id="S3.T1.14.14.2.m1.1a"><mrow id="S3.T1.14.14.2.m1.1.1" xref="S3.T1.14.14.2.m1.1.1.cmml"><mrow id="S3.T1.14.14.2.m1.1.1.2" xref="S3.T1.14.14.2.m1.1.1.2.cmml"><mn id="S3.T1.14.14.2.m1.1.1.2.2" xref="S3.T1.14.14.2.m1.1.1.2.2.cmml">1</mn><mo lspace="0.222em" rspace="0.222em" id="S3.T1.14.14.2.m1.1.1.2.1" xref="S3.T1.14.14.2.m1.1.1.2.1.cmml">×</mo><mn id="S3.T1.14.14.2.m1.1.1.2.3" xref="S3.T1.14.14.2.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.14.14.2.m1.1.1.1" xref="S3.T1.14.14.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.14.14.2.m1.1.1.3" xref="S3.T1.14.14.2.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.14.14.2.m1.1.1.1a" xref="S3.T1.14.14.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.14.14.2.m1.1.1.4" xref="S3.T1.14.14.2.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.14.14.2.m1.1b"><apply id="S3.T1.14.14.2.m1.1.1.cmml" xref="S3.T1.14.14.2.m1.1.1"><times id="S3.T1.14.14.2.m1.1.1.1.cmml" xref="S3.T1.14.14.2.m1.1.1.1"></times><apply id="S3.T1.14.14.2.m1.1.1.2.cmml" xref="S3.T1.14.14.2.m1.1.1.2"><times id="S3.T1.14.14.2.m1.1.1.2.1.cmml" xref="S3.T1.14.14.2.m1.1.1.2.1"></times><cn type="integer" id="S3.T1.14.14.2.m1.1.1.2.2.cmml" xref="S3.T1.14.14.2.m1.1.1.2.2">1</cn><cn type="integer" id="S3.T1.14.14.2.m1.1.1.2.3.cmml" xref="S3.T1.14.14.2.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.14.14.2.m1.1.1.3.cmml" xref="S3.T1.14.14.2.m1.1.1.3">𝑝</ci><ci id="S3.T1.14.14.2.m1.1.1.4.cmml" xref="S3.T1.14.14.2.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.14.14.2.m1.1c">1\times 0pt</annotation></semantics></math></td>
<td id="S3.T1.15.15.3" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.15.15.3.m1.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S3.T1.15.15.3.m1.1a"><mn id="S3.T1.15.15.3.m1.1.1" xref="S3.T1.15.15.3.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.T1.15.15.3.m1.1b"><cn type="integer" id="S3.T1.15.15.3.m1.1.1.cmml" xref="S3.T1.15.15.3.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.15.15.3.m1.1c">1</annotation></semantics></math></td>
<td id="S3.T1.16.16.4" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.16.16.4.m1.1" class="ltx_Math" alttext="\sqrt{1/0pt}" display="inline"><semantics id="S3.T1.16.16.4.m1.1a"><msqrt id="S3.T1.16.16.4.m1.1.1" xref="S3.T1.16.16.4.m1.1.1.cmml"><mrow id="S3.T1.16.16.4.m1.1.1.2" xref="S3.T1.16.16.4.m1.1.1.2.cmml"><mrow id="S3.T1.16.16.4.m1.1.1.2.2" xref="S3.T1.16.16.4.m1.1.1.2.2.cmml"><mn id="S3.T1.16.16.4.m1.1.1.2.2.2" xref="S3.T1.16.16.4.m1.1.1.2.2.2.cmml">1</mn><mo id="S3.T1.16.16.4.m1.1.1.2.2.1" xref="S3.T1.16.16.4.m1.1.1.2.2.1.cmml">/</mo><mn id="S3.T1.16.16.4.m1.1.1.2.2.3" xref="S3.T1.16.16.4.m1.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.16.16.4.m1.1.1.2.1" xref="S3.T1.16.16.4.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.16.16.4.m1.1.1.2.3" xref="S3.T1.16.16.4.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.16.16.4.m1.1.1.2.1a" xref="S3.T1.16.16.4.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.16.16.4.m1.1.1.2.4" xref="S3.T1.16.16.4.m1.1.1.2.4.cmml">t</mi></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.16.16.4.m1.1b"><apply id="S3.T1.16.16.4.m1.1.1.cmml" xref="S3.T1.16.16.4.m1.1.1"><root id="S3.T1.16.16.4.m1.1.1a.cmml" xref="S3.T1.16.16.4.m1.1.1"></root><apply id="S3.T1.16.16.4.m1.1.1.2.cmml" xref="S3.T1.16.16.4.m1.1.1.2"><times id="S3.T1.16.16.4.m1.1.1.2.1.cmml" xref="S3.T1.16.16.4.m1.1.1.2.1"></times><apply id="S3.T1.16.16.4.m1.1.1.2.2.cmml" xref="S3.T1.16.16.4.m1.1.1.2.2"><divide id="S3.T1.16.16.4.m1.1.1.2.2.1.cmml" xref="S3.T1.16.16.4.m1.1.1.2.2.1"></divide><cn type="integer" id="S3.T1.16.16.4.m1.1.1.2.2.2.cmml" xref="S3.T1.16.16.4.m1.1.1.2.2.2">1</cn><cn type="integer" id="S3.T1.16.16.4.m1.1.1.2.2.3.cmml" xref="S3.T1.16.16.4.m1.1.1.2.2.3">0</cn></apply><ci id="S3.T1.16.16.4.m1.1.1.2.3.cmml" xref="S3.T1.16.16.4.m1.1.1.2.3">𝑝</ci><ci id="S3.T1.16.16.4.m1.1.1.2.4.cmml" xref="S3.T1.16.16.4.m1.1.1.2.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.16.16.4.m1.1c">\sqrt{1/0pt}</annotation></semantics></math></td>
<td id="S3.T1.17.17.5" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.17.17.5.m1.1" class="ltx_Math" alttext="\sqrt{1/0pt}" display="inline"><semantics id="S3.T1.17.17.5.m1.1a"><msqrt id="S3.T1.17.17.5.m1.1.1" xref="S3.T1.17.17.5.m1.1.1.cmml"><mrow id="S3.T1.17.17.5.m1.1.1.2" xref="S3.T1.17.17.5.m1.1.1.2.cmml"><mrow id="S3.T1.17.17.5.m1.1.1.2.2" xref="S3.T1.17.17.5.m1.1.1.2.2.cmml"><mn id="S3.T1.17.17.5.m1.1.1.2.2.2" xref="S3.T1.17.17.5.m1.1.1.2.2.2.cmml">1</mn><mo id="S3.T1.17.17.5.m1.1.1.2.2.1" xref="S3.T1.17.17.5.m1.1.1.2.2.1.cmml">/</mo><mn id="S3.T1.17.17.5.m1.1.1.2.2.3" xref="S3.T1.17.17.5.m1.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.17.17.5.m1.1.1.2.1" xref="S3.T1.17.17.5.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.17.17.5.m1.1.1.2.3" xref="S3.T1.17.17.5.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.17.17.5.m1.1.1.2.1a" xref="S3.T1.17.17.5.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.17.17.5.m1.1.1.2.4" xref="S3.T1.17.17.5.m1.1.1.2.4.cmml">t</mi></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.17.17.5.m1.1b"><apply id="S3.T1.17.17.5.m1.1.1.cmml" xref="S3.T1.17.17.5.m1.1.1"><root id="S3.T1.17.17.5.m1.1.1a.cmml" xref="S3.T1.17.17.5.m1.1.1"></root><apply id="S3.T1.17.17.5.m1.1.1.2.cmml" xref="S3.T1.17.17.5.m1.1.1.2"><times id="S3.T1.17.17.5.m1.1.1.2.1.cmml" xref="S3.T1.17.17.5.m1.1.1.2.1"></times><apply id="S3.T1.17.17.5.m1.1.1.2.2.cmml" xref="S3.T1.17.17.5.m1.1.1.2.2"><divide id="S3.T1.17.17.5.m1.1.1.2.2.1.cmml" xref="S3.T1.17.17.5.m1.1.1.2.2.1"></divide><cn type="integer" id="S3.T1.17.17.5.m1.1.1.2.2.2.cmml" xref="S3.T1.17.17.5.m1.1.1.2.2.2">1</cn><cn type="integer" id="S3.T1.17.17.5.m1.1.1.2.2.3.cmml" xref="S3.T1.17.17.5.m1.1.1.2.2.3">0</cn></apply><ci id="S3.T1.17.17.5.m1.1.1.2.3.cmml" xref="S3.T1.17.17.5.m1.1.1.2.3">𝑝</ci><ci id="S3.T1.17.17.5.m1.1.1.2.4.cmml" xref="S3.T1.17.17.5.m1.1.1.2.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.17.17.5.m1.1c">\sqrt{1/0pt}</annotation></semantics></math></td>
<td id="S3.T1.18.18.6" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.18.18.6.m1.1" class="ltx_Math" alttext="1/0pt" display="inline"><semantics id="S3.T1.18.18.6.m1.1a"><mrow id="S3.T1.18.18.6.m1.1.1" xref="S3.T1.18.18.6.m1.1.1.cmml"><mrow id="S3.T1.18.18.6.m1.1.1.2" xref="S3.T1.18.18.6.m1.1.1.2.cmml"><mn id="S3.T1.18.18.6.m1.1.1.2.2" xref="S3.T1.18.18.6.m1.1.1.2.2.cmml">1</mn><mo id="S3.T1.18.18.6.m1.1.1.2.1" xref="S3.T1.18.18.6.m1.1.1.2.1.cmml">/</mo><mn id="S3.T1.18.18.6.m1.1.1.2.3" xref="S3.T1.18.18.6.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.18.18.6.m1.1.1.1" xref="S3.T1.18.18.6.m1.1.1.1.cmml">​</mo><mi id="S3.T1.18.18.6.m1.1.1.3" xref="S3.T1.18.18.6.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.18.18.6.m1.1.1.1a" xref="S3.T1.18.18.6.m1.1.1.1.cmml">​</mo><mi id="S3.T1.18.18.6.m1.1.1.4" xref="S3.T1.18.18.6.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.18.18.6.m1.1b"><apply id="S3.T1.18.18.6.m1.1.1.cmml" xref="S3.T1.18.18.6.m1.1.1"><times id="S3.T1.18.18.6.m1.1.1.1.cmml" xref="S3.T1.18.18.6.m1.1.1.1"></times><apply id="S3.T1.18.18.6.m1.1.1.2.cmml" xref="S3.T1.18.18.6.m1.1.1.2"><divide id="S3.T1.18.18.6.m1.1.1.2.1.cmml" xref="S3.T1.18.18.6.m1.1.1.2.1"></divide><cn type="integer" id="S3.T1.18.18.6.m1.1.1.2.2.cmml" xref="S3.T1.18.18.6.m1.1.1.2.2">1</cn><cn type="integer" id="S3.T1.18.18.6.m1.1.1.2.3.cmml" xref="S3.T1.18.18.6.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.18.18.6.m1.1.1.3.cmml" xref="S3.T1.18.18.6.m1.1.1.3">𝑝</ci><ci id="S3.T1.18.18.6.m1.1.1.4.cmml" xref="S3.T1.18.18.6.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.18.18.6.m1.1c">1/0pt</annotation></semantics></math></td>
</tr>
<tr id="S3.T1.24.24" class="ltx_tr">
<td id="S3.T1.19.19.1" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.19.19.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.19.19.1.m1.1a"><mrow id="S3.T1.19.19.1.m1.1.1" xref="S3.T1.19.19.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.T1.19.19.1.m1.1.1.2" xref="S3.T1.19.19.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.T1.19.19.1.m1.1.1.1" xref="S3.T1.19.19.1.m1.1.1.1.cmml">​</mo><msub id="S3.T1.19.19.1.m1.1.1.3" xref="S3.T1.19.19.1.m1.1.1.3.cmml"><mi id="S3.T1.19.19.1.m1.1.1.3.2" xref="S3.T1.19.19.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.19.19.1.m1.1.1.3.3" xref="S3.T1.19.19.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.19.19.1.m1.1b"><apply id="S3.T1.19.19.1.m1.1.1.cmml" xref="S3.T1.19.19.1.m1.1.1"><times id="S3.T1.19.19.1.m1.1.1.1.cmml" xref="S3.T1.19.19.1.m1.1.1.1"></times><ci id="S3.T1.19.19.1.m1.1.1.2.cmml" xref="S3.T1.19.19.1.m1.1.1.2">Δ</ci><apply id="S3.T1.19.19.1.m1.1.1.3.cmml" xref="S3.T1.19.19.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.T1.19.19.1.m1.1.1.3.1.cmml" xref="S3.T1.19.19.1.m1.1.1.3">subscript</csymbol><ci id="S3.T1.19.19.1.m1.1.1.3.2.cmml" xref="S3.T1.19.19.1.m1.1.1.3.2">𝑾</ci><ci id="S3.T1.19.19.1.m1.1.1.3.3.cmml" xref="S3.T1.19.19.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.19.19.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math></td>
<td id="S3.T1.20.20.2" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.20.20.2.m1.1" class="ltx_Math" alttext="1\times 0pt" display="inline"><semantics id="S3.T1.20.20.2.m1.1a"><mrow id="S3.T1.20.20.2.m1.1.1" xref="S3.T1.20.20.2.m1.1.1.cmml"><mrow id="S3.T1.20.20.2.m1.1.1.2" xref="S3.T1.20.20.2.m1.1.1.2.cmml"><mn id="S3.T1.20.20.2.m1.1.1.2.2" xref="S3.T1.20.20.2.m1.1.1.2.2.cmml">1</mn><mo lspace="0.222em" rspace="0.222em" id="S3.T1.20.20.2.m1.1.1.2.1" xref="S3.T1.20.20.2.m1.1.1.2.1.cmml">×</mo><mn id="S3.T1.20.20.2.m1.1.1.2.3" xref="S3.T1.20.20.2.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.20.20.2.m1.1.1.1" xref="S3.T1.20.20.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.20.20.2.m1.1.1.3" xref="S3.T1.20.20.2.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.20.20.2.m1.1.1.1a" xref="S3.T1.20.20.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.20.20.2.m1.1.1.4" xref="S3.T1.20.20.2.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.20.20.2.m1.1b"><apply id="S3.T1.20.20.2.m1.1.1.cmml" xref="S3.T1.20.20.2.m1.1.1"><times id="S3.T1.20.20.2.m1.1.1.1.cmml" xref="S3.T1.20.20.2.m1.1.1.1"></times><apply id="S3.T1.20.20.2.m1.1.1.2.cmml" xref="S3.T1.20.20.2.m1.1.1.2"><times id="S3.T1.20.20.2.m1.1.1.2.1.cmml" xref="S3.T1.20.20.2.m1.1.1.2.1"></times><cn type="integer" id="S3.T1.20.20.2.m1.1.1.2.2.cmml" xref="S3.T1.20.20.2.m1.1.1.2.2">1</cn><cn type="integer" id="S3.T1.20.20.2.m1.1.1.2.3.cmml" xref="S3.T1.20.20.2.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.20.20.2.m1.1.1.3.cmml" xref="S3.T1.20.20.2.m1.1.1.3">𝑝</ci><ci id="S3.T1.20.20.2.m1.1.1.4.cmml" xref="S3.T1.20.20.2.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.20.20.2.m1.1c">1\times 0pt</annotation></semantics></math></td>
<td id="S3.T1.21.21.3" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.21.21.3.m1.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S3.T1.21.21.3.m1.1a"><mn id="S3.T1.21.21.3.m1.1.1" xref="S3.T1.21.21.3.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.T1.21.21.3.m1.1b"><cn type="integer" id="S3.T1.21.21.3.m1.1.1.cmml" xref="S3.T1.21.21.3.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.21.21.3.m1.1c">1</annotation></semantics></math></td>
<td id="S3.T1.22.22.4" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.22.22.4.m1.1" class="ltx_Math" alttext="\sqrt{1/0pt}" display="inline"><semantics id="S3.T1.22.22.4.m1.1a"><msqrt id="S3.T1.22.22.4.m1.1.1" xref="S3.T1.22.22.4.m1.1.1.cmml"><mrow id="S3.T1.22.22.4.m1.1.1.2" xref="S3.T1.22.22.4.m1.1.1.2.cmml"><mrow id="S3.T1.22.22.4.m1.1.1.2.2" xref="S3.T1.22.22.4.m1.1.1.2.2.cmml"><mn id="S3.T1.22.22.4.m1.1.1.2.2.2" xref="S3.T1.22.22.4.m1.1.1.2.2.2.cmml">1</mn><mo id="S3.T1.22.22.4.m1.1.1.2.2.1" xref="S3.T1.22.22.4.m1.1.1.2.2.1.cmml">/</mo><mn id="S3.T1.22.22.4.m1.1.1.2.2.3" xref="S3.T1.22.22.4.m1.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.22.22.4.m1.1.1.2.1" xref="S3.T1.22.22.4.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.22.22.4.m1.1.1.2.3" xref="S3.T1.22.22.4.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.22.22.4.m1.1.1.2.1a" xref="S3.T1.22.22.4.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.22.22.4.m1.1.1.2.4" xref="S3.T1.22.22.4.m1.1.1.2.4.cmml">t</mi></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.22.22.4.m1.1b"><apply id="S3.T1.22.22.4.m1.1.1.cmml" xref="S3.T1.22.22.4.m1.1.1"><root id="S3.T1.22.22.4.m1.1.1a.cmml" xref="S3.T1.22.22.4.m1.1.1"></root><apply id="S3.T1.22.22.4.m1.1.1.2.cmml" xref="S3.T1.22.22.4.m1.1.1.2"><times id="S3.T1.22.22.4.m1.1.1.2.1.cmml" xref="S3.T1.22.22.4.m1.1.1.2.1"></times><apply id="S3.T1.22.22.4.m1.1.1.2.2.cmml" xref="S3.T1.22.22.4.m1.1.1.2.2"><divide id="S3.T1.22.22.4.m1.1.1.2.2.1.cmml" xref="S3.T1.22.22.4.m1.1.1.2.2.1"></divide><cn type="integer" id="S3.T1.22.22.4.m1.1.1.2.2.2.cmml" xref="S3.T1.22.22.4.m1.1.1.2.2.2">1</cn><cn type="integer" id="S3.T1.22.22.4.m1.1.1.2.2.3.cmml" xref="S3.T1.22.22.4.m1.1.1.2.2.3">0</cn></apply><ci id="S3.T1.22.22.4.m1.1.1.2.3.cmml" xref="S3.T1.22.22.4.m1.1.1.2.3">𝑝</ci><ci id="S3.T1.22.22.4.m1.1.1.2.4.cmml" xref="S3.T1.22.22.4.m1.1.1.2.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.22.22.4.m1.1c">\sqrt{1/0pt}</annotation></semantics></math></td>
<td id="S3.T1.23.23.5" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.23.23.5.m1.1" class="ltx_Math" alttext="\sqrt{1/0pt}" display="inline"><semantics id="S3.T1.23.23.5.m1.1a"><msqrt id="S3.T1.23.23.5.m1.1.1" xref="S3.T1.23.23.5.m1.1.1.cmml"><mrow id="S3.T1.23.23.5.m1.1.1.2" xref="S3.T1.23.23.5.m1.1.1.2.cmml"><mrow id="S3.T1.23.23.5.m1.1.1.2.2" xref="S3.T1.23.23.5.m1.1.1.2.2.cmml"><mn id="S3.T1.23.23.5.m1.1.1.2.2.2" xref="S3.T1.23.23.5.m1.1.1.2.2.2.cmml">1</mn><mo id="S3.T1.23.23.5.m1.1.1.2.2.1" xref="S3.T1.23.23.5.m1.1.1.2.2.1.cmml">/</mo><mn id="S3.T1.23.23.5.m1.1.1.2.2.3" xref="S3.T1.23.23.5.m1.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.23.23.5.m1.1.1.2.1" xref="S3.T1.23.23.5.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.23.23.5.m1.1.1.2.3" xref="S3.T1.23.23.5.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.23.23.5.m1.1.1.2.1a" xref="S3.T1.23.23.5.m1.1.1.2.1.cmml">​</mo><mi id="S3.T1.23.23.5.m1.1.1.2.4" xref="S3.T1.23.23.5.m1.1.1.2.4.cmml">t</mi></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.23.23.5.m1.1b"><apply id="S3.T1.23.23.5.m1.1.1.cmml" xref="S3.T1.23.23.5.m1.1.1"><root id="S3.T1.23.23.5.m1.1.1a.cmml" xref="S3.T1.23.23.5.m1.1.1"></root><apply id="S3.T1.23.23.5.m1.1.1.2.cmml" xref="S3.T1.23.23.5.m1.1.1.2"><times id="S3.T1.23.23.5.m1.1.1.2.1.cmml" xref="S3.T1.23.23.5.m1.1.1.2.1"></times><apply id="S3.T1.23.23.5.m1.1.1.2.2.cmml" xref="S3.T1.23.23.5.m1.1.1.2.2"><divide id="S3.T1.23.23.5.m1.1.1.2.2.1.cmml" xref="S3.T1.23.23.5.m1.1.1.2.2.1"></divide><cn type="integer" id="S3.T1.23.23.5.m1.1.1.2.2.2.cmml" xref="S3.T1.23.23.5.m1.1.1.2.2.2">1</cn><cn type="integer" id="S3.T1.23.23.5.m1.1.1.2.2.3.cmml" xref="S3.T1.23.23.5.m1.1.1.2.2.3">0</cn></apply><ci id="S3.T1.23.23.5.m1.1.1.2.3.cmml" xref="S3.T1.23.23.5.m1.1.1.2.3">𝑝</ci><ci id="S3.T1.23.23.5.m1.1.1.2.4.cmml" xref="S3.T1.23.23.5.m1.1.1.2.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.23.23.5.m1.1c">\sqrt{1/0pt}</annotation></semantics></math></td>
<td id="S3.T1.24.24.6" class="ltx_td ltx_align_center" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.24.24.6.m1.1" class="ltx_Math" alttext="1/0pt" display="inline"><semantics id="S3.T1.24.24.6.m1.1a"><mrow id="S3.T1.24.24.6.m1.1.1" xref="S3.T1.24.24.6.m1.1.1.cmml"><mrow id="S3.T1.24.24.6.m1.1.1.2" xref="S3.T1.24.24.6.m1.1.1.2.cmml"><mn id="S3.T1.24.24.6.m1.1.1.2.2" xref="S3.T1.24.24.6.m1.1.1.2.2.cmml">1</mn><mo id="S3.T1.24.24.6.m1.1.1.2.1" xref="S3.T1.24.24.6.m1.1.1.2.1.cmml">/</mo><mn id="S3.T1.24.24.6.m1.1.1.2.3" xref="S3.T1.24.24.6.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.24.24.6.m1.1.1.1" xref="S3.T1.24.24.6.m1.1.1.1.cmml">​</mo><mi id="S3.T1.24.24.6.m1.1.1.3" xref="S3.T1.24.24.6.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.24.24.6.m1.1.1.1a" xref="S3.T1.24.24.6.m1.1.1.1.cmml">​</mo><mi id="S3.T1.24.24.6.m1.1.1.4" xref="S3.T1.24.24.6.m1.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.24.24.6.m1.1b"><apply id="S3.T1.24.24.6.m1.1.1.cmml" xref="S3.T1.24.24.6.m1.1.1"><times id="S3.T1.24.24.6.m1.1.1.1.cmml" xref="S3.T1.24.24.6.m1.1.1.1"></times><apply id="S3.T1.24.24.6.m1.1.1.2.cmml" xref="S3.T1.24.24.6.m1.1.1.2"><divide id="S3.T1.24.24.6.m1.1.1.2.1.cmml" xref="S3.T1.24.24.6.m1.1.1.2.1"></divide><cn type="integer" id="S3.T1.24.24.6.m1.1.1.2.2.cmml" xref="S3.T1.24.24.6.m1.1.1.2.2">1</cn><cn type="integer" id="S3.T1.24.24.6.m1.1.1.2.3.cmml" xref="S3.T1.24.24.6.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.24.24.6.m1.1.1.3.cmml" xref="S3.T1.24.24.6.m1.1.1.3">𝑝</ci><ci id="S3.T1.24.24.6.m1.1.1.4.cmml" xref="S3.T1.24.24.6.m1.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.24.24.6.m1.1c">1/0pt</annotation></semantics></math></td>
</tr>
<tr id="S3.T1.30.30" class="ltx_tr">
<td id="S3.T1.25.25.1" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.25.25.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.25.25.1.m1.1a"><msub id="S3.T1.25.25.1.m1.1.1" xref="S3.T1.25.25.1.m1.1.1.cmml"><mi id="S3.T1.25.25.1.m1.1.1.2" xref="S3.T1.25.25.1.m1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.25.25.1.m1.1.1.3" xref="S3.T1.25.25.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.T1.25.25.1.m1.1b"><apply id="S3.T1.25.25.1.m1.1.1.cmml" xref="S3.T1.25.25.1.m1.1.1"><csymbol cd="ambiguous" id="S3.T1.25.25.1.m1.1.1.1.cmml" xref="S3.T1.25.25.1.m1.1.1">subscript</csymbol><ci id="S3.T1.25.25.1.m1.1.1.2.cmml" xref="S3.T1.25.25.1.m1.1.1.2">𝑾</ci><ci id="S3.T1.25.25.1.m1.1.1.3.cmml" xref="S3.T1.25.25.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.25.25.1.m1.1c">{\bm{W}}_{\ell}</annotation></semantics></math></td>
<td id="S3.T1.26.26.2" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.26.26.2.m1.1" class="ltx_Math" alttext="0pt_{\ell}\times 0pt_{\ell-1}" display="inline"><semantics id="S3.T1.26.26.2.m1.1a"><mrow id="S3.T1.26.26.2.m1.1.1" xref="S3.T1.26.26.2.m1.1.1.cmml"><mrow id="S3.T1.26.26.2.m1.1.1.2" xref="S3.T1.26.26.2.m1.1.1.2.cmml"><mrow id="S3.T1.26.26.2.m1.1.1.2.2" xref="S3.T1.26.26.2.m1.1.1.2.2.cmml"><mn id="S3.T1.26.26.2.m1.1.1.2.2.2" xref="S3.T1.26.26.2.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.26.26.2.m1.1.1.2.2.1" xref="S3.T1.26.26.2.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.26.26.2.m1.1.1.2.2.3" xref="S3.T1.26.26.2.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.26.26.2.m1.1.1.2.2.1a" xref="S3.T1.26.26.2.m1.1.1.2.2.1.cmml">​</mo><msub id="S3.T1.26.26.2.m1.1.1.2.2.4" xref="S3.T1.26.26.2.m1.1.1.2.2.4.cmml"><mi id="S3.T1.26.26.2.m1.1.1.2.2.4.2" xref="S3.T1.26.26.2.m1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.26.26.2.m1.1.1.2.2.4.3" xref="S3.T1.26.26.2.m1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="S3.T1.26.26.2.m1.1.1.2.1" xref="S3.T1.26.26.2.m1.1.1.2.1.cmml">×</mo><mn id="S3.T1.26.26.2.m1.1.1.2.3" xref="S3.T1.26.26.2.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.26.26.2.m1.1.1.1" xref="S3.T1.26.26.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.26.26.2.m1.1.1.3" xref="S3.T1.26.26.2.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.26.26.2.m1.1.1.1a" xref="S3.T1.26.26.2.m1.1.1.1.cmml">​</mo><msub id="S3.T1.26.26.2.m1.1.1.4" xref="S3.T1.26.26.2.m1.1.1.4.cmml"><mi id="S3.T1.26.26.2.m1.1.1.4.2" xref="S3.T1.26.26.2.m1.1.1.4.2.cmml">t</mi><mrow id="S3.T1.26.26.2.m1.1.1.4.3" xref="S3.T1.26.26.2.m1.1.1.4.3.cmml"><mi mathvariant="normal" id="S3.T1.26.26.2.m1.1.1.4.3.2" xref="S3.T1.26.26.2.m1.1.1.4.3.2.cmml">ℓ</mi><mo id="S3.T1.26.26.2.m1.1.1.4.3.1" xref="S3.T1.26.26.2.m1.1.1.4.3.1.cmml">−</mo><mn id="S3.T1.26.26.2.m1.1.1.4.3.3" xref="S3.T1.26.26.2.m1.1.1.4.3.3.cmml">1</mn></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.26.26.2.m1.1b"><apply id="S3.T1.26.26.2.m1.1.1.cmml" xref="S3.T1.26.26.2.m1.1.1"><times id="S3.T1.26.26.2.m1.1.1.1.cmml" xref="S3.T1.26.26.2.m1.1.1.1"></times><apply id="S3.T1.26.26.2.m1.1.1.2.cmml" xref="S3.T1.26.26.2.m1.1.1.2"><times id="S3.T1.26.26.2.m1.1.1.2.1.cmml" xref="S3.T1.26.26.2.m1.1.1.2.1"></times><apply id="S3.T1.26.26.2.m1.1.1.2.2.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2"><times id="S3.T1.26.26.2.m1.1.1.2.2.1.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2.1"></times><cn type="integer" id="S3.T1.26.26.2.m1.1.1.2.2.2.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2.2">0</cn><ci id="S3.T1.26.26.2.m1.1.1.2.2.3.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2.3">𝑝</ci><apply id="S3.T1.26.26.2.m1.1.1.2.2.4.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2.4"><csymbol cd="ambiguous" id="S3.T1.26.26.2.m1.1.1.2.2.4.1.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2.4">subscript</csymbol><ci id="S3.T1.26.26.2.m1.1.1.2.2.4.2.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2.4.2">𝑡</ci><ci id="S3.T1.26.26.2.m1.1.1.2.2.4.3.cmml" xref="S3.T1.26.26.2.m1.1.1.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S3.T1.26.26.2.m1.1.1.2.3.cmml" xref="S3.T1.26.26.2.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.26.26.2.m1.1.1.3.cmml" xref="S3.T1.26.26.2.m1.1.1.3">𝑝</ci><apply id="S3.T1.26.26.2.m1.1.1.4.cmml" xref="S3.T1.26.26.2.m1.1.1.4"><csymbol cd="ambiguous" id="S3.T1.26.26.2.m1.1.1.4.1.cmml" xref="S3.T1.26.26.2.m1.1.1.4">subscript</csymbol><ci id="S3.T1.26.26.2.m1.1.1.4.2.cmml" xref="S3.T1.26.26.2.m1.1.1.4.2">𝑡</ci><apply id="S3.T1.26.26.2.m1.1.1.4.3.cmml" xref="S3.T1.26.26.2.m1.1.1.4.3"><minus id="S3.T1.26.26.2.m1.1.1.4.3.1.cmml" xref="S3.T1.26.26.2.m1.1.1.4.3.1"></minus><ci id="S3.T1.26.26.2.m1.1.1.4.3.2.cmml" xref="S3.T1.26.26.2.m1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.26.26.2.m1.1.1.4.3.3.cmml" xref="S3.T1.26.26.2.m1.1.1.4.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.26.26.2.m1.1c">0pt_{\ell}\times 0pt_{\ell-1}</annotation></semantics></math></td>
<td id="S3.T1.27.27.3" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.27.27.3.m1.3" class="ltx_Math" alttext="\min(0pt_{\ell},0pt_{\ell-1})" display="inline"><semantics id="S3.T1.27.27.3.m1.3a"><mrow id="S3.T1.27.27.3.m1.3.3.2" xref="S3.T1.27.27.3.m1.3.3.3.cmml"><mi id="S3.T1.27.27.3.m1.1.1" xref="S3.T1.27.27.3.m1.1.1.cmml">min</mi><mo id="S3.T1.27.27.3.m1.3.3.2a" xref="S3.T1.27.27.3.m1.3.3.3.cmml">⁡</mo><mrow id="S3.T1.27.27.3.m1.3.3.2.2" xref="S3.T1.27.27.3.m1.3.3.3.cmml"><mo stretchy="false" id="S3.T1.27.27.3.m1.3.3.2.2.3" xref="S3.T1.27.27.3.m1.3.3.3.cmml">(</mo><mrow id="S3.T1.27.27.3.m1.2.2.1.1.1" xref="S3.T1.27.27.3.m1.2.2.1.1.1.cmml"><mn id="S3.T1.27.27.3.m1.2.2.1.1.1.2" xref="S3.T1.27.27.3.m1.2.2.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.27.27.3.m1.2.2.1.1.1.1" xref="S3.T1.27.27.3.m1.2.2.1.1.1.1.cmml">​</mo><mi id="S3.T1.27.27.3.m1.2.2.1.1.1.3" xref="S3.T1.27.27.3.m1.2.2.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.27.27.3.m1.2.2.1.1.1.1a" xref="S3.T1.27.27.3.m1.2.2.1.1.1.1.cmml">​</mo><msub id="S3.T1.27.27.3.m1.2.2.1.1.1.4" xref="S3.T1.27.27.3.m1.2.2.1.1.1.4.cmml"><mi id="S3.T1.27.27.3.m1.2.2.1.1.1.4.2" xref="S3.T1.27.27.3.m1.2.2.1.1.1.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.27.27.3.m1.2.2.1.1.1.4.3" xref="S3.T1.27.27.3.m1.2.2.1.1.1.4.3.cmml">ℓ</mi></msub></mrow><mo id="S3.T1.27.27.3.m1.3.3.2.2.4" xref="S3.T1.27.27.3.m1.3.3.3.cmml">,</mo><mrow id="S3.T1.27.27.3.m1.3.3.2.2.2" xref="S3.T1.27.27.3.m1.3.3.2.2.2.cmml"><mn id="S3.T1.27.27.3.m1.3.3.2.2.2.2" xref="S3.T1.27.27.3.m1.3.3.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.27.27.3.m1.3.3.2.2.2.1" xref="S3.T1.27.27.3.m1.3.3.2.2.2.1.cmml">​</mo><mi id="S3.T1.27.27.3.m1.3.3.2.2.2.3" xref="S3.T1.27.27.3.m1.3.3.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.27.27.3.m1.3.3.2.2.2.1a" xref="S3.T1.27.27.3.m1.3.3.2.2.2.1.cmml">​</mo><msub id="S3.T1.27.27.3.m1.3.3.2.2.2.4" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.cmml"><mi id="S3.T1.27.27.3.m1.3.3.2.2.2.4.2" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.2.cmml">t</mi><mrow id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.cmml"><mi mathvariant="normal" id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.2" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.2.cmml">ℓ</mi><mo id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.1" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.1.cmml">−</mo><mn id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.3" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow><mo stretchy="false" id="S3.T1.27.27.3.m1.3.3.2.2.5" xref="S3.T1.27.27.3.m1.3.3.3.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.27.27.3.m1.3b"><apply id="S3.T1.27.27.3.m1.3.3.3.cmml" xref="S3.T1.27.27.3.m1.3.3.2"><min id="S3.T1.27.27.3.m1.1.1.cmml" xref="S3.T1.27.27.3.m1.1.1"></min><apply id="S3.T1.27.27.3.m1.2.2.1.1.1.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1"><times id="S3.T1.27.27.3.m1.2.2.1.1.1.1.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1.1"></times><cn type="integer" id="S3.T1.27.27.3.m1.2.2.1.1.1.2.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1.2">0</cn><ci id="S3.T1.27.27.3.m1.2.2.1.1.1.3.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1.3">𝑝</ci><apply id="S3.T1.27.27.3.m1.2.2.1.1.1.4.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1.4"><csymbol cd="ambiguous" id="S3.T1.27.27.3.m1.2.2.1.1.1.4.1.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1.4">subscript</csymbol><ci id="S3.T1.27.27.3.m1.2.2.1.1.1.4.2.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1.4.2">𝑡</ci><ci id="S3.T1.27.27.3.m1.2.2.1.1.1.4.3.cmml" xref="S3.T1.27.27.3.m1.2.2.1.1.1.4.3">ℓ</ci></apply></apply><apply id="S3.T1.27.27.3.m1.3.3.2.2.2.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2"><times id="S3.T1.27.27.3.m1.3.3.2.2.2.1.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.1"></times><cn type="integer" id="S3.T1.27.27.3.m1.3.3.2.2.2.2.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.2">0</cn><ci id="S3.T1.27.27.3.m1.3.3.2.2.2.3.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.3">𝑝</ci><apply id="S3.T1.27.27.3.m1.3.3.2.2.2.4.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4"><csymbol cd="ambiguous" id="S3.T1.27.27.3.m1.3.3.2.2.2.4.1.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4">subscript</csymbol><ci id="S3.T1.27.27.3.m1.3.3.2.2.2.4.2.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.2">𝑡</ci><apply id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3"><minus id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.1.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.1"></minus><ci id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.2.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.3.cmml" xref="S3.T1.27.27.3.m1.3.3.2.2.2.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.27.27.3.m1.3c">\min(0pt_{\ell},0pt_{\ell-1})</annotation></semantics></math></td>
<td id="S3.T1.28.28.4" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.28.28.4.m1.1" class="ltx_Math" alttext="\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}" display="inline"><semantics id="S3.T1.28.28.4.m1.1a"><msqrt id="S3.T1.28.28.4.m1.1.1" xref="S3.T1.28.28.4.m1.1.1.cmml"><mfrac id="S3.T1.28.28.4.m1.1.1.2" xref="S3.T1.28.28.4.m1.1.1.2.cmml"><mrow id="S3.T1.28.28.4.m1.1.1.2.2" xref="S3.T1.28.28.4.m1.1.1.2.2.cmml"><mn id="S3.T1.28.28.4.m1.1.1.2.2.2" xref="S3.T1.28.28.4.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.28.28.4.m1.1.1.2.2.1" xref="S3.T1.28.28.4.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.28.28.4.m1.1.1.2.2.3" xref="S3.T1.28.28.4.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.28.28.4.m1.1.1.2.2.1a" xref="S3.T1.28.28.4.m1.1.1.2.2.1.cmml">​</mo><msub id="S3.T1.28.28.4.m1.1.1.2.2.4" xref="S3.T1.28.28.4.m1.1.1.2.2.4.cmml"><mi id="S3.T1.28.28.4.m1.1.1.2.2.4.2" xref="S3.T1.28.28.4.m1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.28.28.4.m1.1.1.2.2.4.3" xref="S3.T1.28.28.4.m1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S3.T1.28.28.4.m1.1.1.2.3" xref="S3.T1.28.28.4.m1.1.1.2.3.cmml"><mn id="S3.T1.28.28.4.m1.1.1.2.3.2" xref="S3.T1.28.28.4.m1.1.1.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.28.28.4.m1.1.1.2.3.1" xref="S3.T1.28.28.4.m1.1.1.2.3.1.cmml">​</mo><mi id="S3.T1.28.28.4.m1.1.1.2.3.3" xref="S3.T1.28.28.4.m1.1.1.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.28.28.4.m1.1.1.2.3.1a" xref="S3.T1.28.28.4.m1.1.1.2.3.1.cmml">​</mo><msub id="S3.T1.28.28.4.m1.1.1.2.3.4" xref="S3.T1.28.28.4.m1.1.1.2.3.4.cmml"><mi id="S3.T1.28.28.4.m1.1.1.2.3.4.2" xref="S3.T1.28.28.4.m1.1.1.2.3.4.2.cmml">t</mi><mrow id="S3.T1.28.28.4.m1.1.1.2.3.4.3" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3.cmml"><mi mathvariant="normal" id="S3.T1.28.28.4.m1.1.1.2.3.4.3.2" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3.2.cmml">ℓ</mi><mo id="S3.T1.28.28.4.m1.1.1.2.3.4.3.1" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3.1.cmml">−</mo><mn id="S3.T1.28.28.4.m1.1.1.2.3.4.3.3" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.28.28.4.m1.1b"><apply id="S3.T1.28.28.4.m1.1.1.cmml" xref="S3.T1.28.28.4.m1.1.1"><root id="S3.T1.28.28.4.m1.1.1a.cmml" xref="S3.T1.28.28.4.m1.1.1"></root><apply id="S3.T1.28.28.4.m1.1.1.2.cmml" xref="S3.T1.28.28.4.m1.1.1.2"><divide id="S3.T1.28.28.4.m1.1.1.2.1.cmml" xref="S3.T1.28.28.4.m1.1.1.2"></divide><apply id="S3.T1.28.28.4.m1.1.1.2.2.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2"><times id="S3.T1.28.28.4.m1.1.1.2.2.1.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2.1"></times><cn type="integer" id="S3.T1.28.28.4.m1.1.1.2.2.2.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2.2">0</cn><ci id="S3.T1.28.28.4.m1.1.1.2.2.3.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2.3">𝑝</ci><apply id="S3.T1.28.28.4.m1.1.1.2.2.4.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2.4"><csymbol cd="ambiguous" id="S3.T1.28.28.4.m1.1.1.2.2.4.1.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2.4">subscript</csymbol><ci id="S3.T1.28.28.4.m1.1.1.2.2.4.2.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2.4.2">𝑡</ci><ci id="S3.T1.28.28.4.m1.1.1.2.2.4.3.cmml" xref="S3.T1.28.28.4.m1.1.1.2.2.4.3">ℓ</ci></apply></apply><apply id="S3.T1.28.28.4.m1.1.1.2.3.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3"><times id="S3.T1.28.28.4.m1.1.1.2.3.1.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.1"></times><cn type="integer" id="S3.T1.28.28.4.m1.1.1.2.3.2.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.2">0</cn><ci id="S3.T1.28.28.4.m1.1.1.2.3.3.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.3">𝑝</ci><apply id="S3.T1.28.28.4.m1.1.1.2.3.4.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.4"><csymbol cd="ambiguous" id="S3.T1.28.28.4.m1.1.1.2.3.4.1.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.4">subscript</csymbol><ci id="S3.T1.28.28.4.m1.1.1.2.3.4.2.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.4.2">𝑡</ci><apply id="S3.T1.28.28.4.m1.1.1.2.3.4.3.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3"><minus id="S3.T1.28.28.4.m1.1.1.2.3.4.3.1.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3.1"></minus><ci id="S3.T1.28.28.4.m1.1.1.2.3.4.3.2.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.28.28.4.m1.1.1.2.3.4.3.3.cmml" xref="S3.T1.28.28.4.m1.1.1.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.28.28.4.m1.1c">\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}</annotation></semantics></math></td>
<td id="S3.T1.29.29.5" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.29.29.5.m1.3" class="ltx_Math" alttext="\sqrt{\min(0pt_{\ell},0pt_{\ell-1})\cdot\frac{0pt_{\ell}}{0pt_{\ell-1}}}" display="inline"><semantics id="S3.T1.29.29.5.m1.3a"><msqrt id="S3.T1.29.29.5.m1.3.3" xref="S3.T1.29.29.5.m1.3.3.cmml"><mrow id="S3.T1.29.29.5.m1.3.3.3" xref="S3.T1.29.29.5.m1.3.3.3.cmml"><mrow id="S3.T1.29.29.5.m1.3.3.3.3.2" xref="S3.T1.29.29.5.m1.3.3.3.3.3.cmml"><mi id="S3.T1.29.29.5.m1.1.1.1.1" xref="S3.T1.29.29.5.m1.1.1.1.1.cmml">min</mi><mo id="S3.T1.29.29.5.m1.3.3.3.3.2a" xref="S3.T1.29.29.5.m1.3.3.3.3.3.cmml">⁡</mo><mrow id="S3.T1.29.29.5.m1.3.3.3.3.2.2" xref="S3.T1.29.29.5.m1.3.3.3.3.3.cmml"><mo stretchy="false" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.3" xref="S3.T1.29.29.5.m1.3.3.3.3.3.cmml">(</mo><mrow id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.cmml"><mn id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.2" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.1" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.1.cmml">​</mo><mi id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.3" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.1a" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.1.cmml">​</mo><msub id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.cmml"><mi id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.2" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.3" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.3.cmml">ℓ</mi></msub></mrow><mo id="S3.T1.29.29.5.m1.3.3.3.3.2.2.4" xref="S3.T1.29.29.5.m1.3.3.3.3.3.cmml">,</mo><mrow id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.cmml"><mn id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.2" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.1" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.1.cmml">​</mo><mi id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.3" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.1a" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.1.cmml">​</mo><msub id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.cmml"><mi id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.2" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.2.cmml">t</mi><mrow id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.cmml"><mi mathvariant="normal" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.2" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.2.cmml">ℓ</mi><mo id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.1" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.1.cmml">−</mo><mn id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.3" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow><mo rspace="0.055em" stretchy="false" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.5" xref="S3.T1.29.29.5.m1.3.3.3.3.3.cmml">)</mo></mrow></mrow><mo rspace="0.222em" id="S3.T1.29.29.5.m1.3.3.3.4" xref="S3.T1.29.29.5.m1.3.3.3.4.cmml">⋅</mo><mfrac id="S3.T1.29.29.5.m1.3.3.3.5" xref="S3.T1.29.29.5.m1.3.3.3.5.cmml"><mrow id="S3.T1.29.29.5.m1.3.3.3.5.2" xref="S3.T1.29.29.5.m1.3.3.3.5.2.cmml"><mn id="S3.T1.29.29.5.m1.3.3.3.5.2.2" xref="S3.T1.29.29.5.m1.3.3.3.5.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.3.3.3.5.2.1" xref="S3.T1.29.29.5.m1.3.3.3.5.2.1.cmml">​</mo><mi id="S3.T1.29.29.5.m1.3.3.3.5.2.3" xref="S3.T1.29.29.5.m1.3.3.3.5.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.3.3.3.5.2.1a" xref="S3.T1.29.29.5.m1.3.3.3.5.2.1.cmml">​</mo><msub id="S3.T1.29.29.5.m1.3.3.3.5.2.4" xref="S3.T1.29.29.5.m1.3.3.3.5.2.4.cmml"><mi id="S3.T1.29.29.5.m1.3.3.3.5.2.4.2" xref="S3.T1.29.29.5.m1.3.3.3.5.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.29.29.5.m1.3.3.3.5.2.4.3" xref="S3.T1.29.29.5.m1.3.3.3.5.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S3.T1.29.29.5.m1.3.3.3.5.3" xref="S3.T1.29.29.5.m1.3.3.3.5.3.cmml"><mn id="S3.T1.29.29.5.m1.3.3.3.5.3.2" xref="S3.T1.29.29.5.m1.3.3.3.5.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.3.3.3.5.3.1" xref="S3.T1.29.29.5.m1.3.3.3.5.3.1.cmml">​</mo><mi id="S3.T1.29.29.5.m1.3.3.3.5.3.3" xref="S3.T1.29.29.5.m1.3.3.3.5.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.29.29.5.m1.3.3.3.5.3.1a" xref="S3.T1.29.29.5.m1.3.3.3.5.3.1.cmml">​</mo><msub id="S3.T1.29.29.5.m1.3.3.3.5.3.4" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.cmml"><mi id="S3.T1.29.29.5.m1.3.3.3.5.3.4.2" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.2.cmml">t</mi><mrow id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.cmml"><mi mathvariant="normal" id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.2" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.2.cmml">ℓ</mi><mo id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.1" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.1.cmml">−</mo><mn id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.3" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.29.29.5.m1.3b"><apply id="S3.T1.29.29.5.m1.3.3.cmml" xref="S3.T1.29.29.5.m1.3.3"><root id="S3.T1.29.29.5.m1.3.3a.cmml" xref="S3.T1.29.29.5.m1.3.3"></root><apply id="S3.T1.29.29.5.m1.3.3.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3"><ci id="S3.T1.29.29.5.m1.3.3.3.4.cmml" xref="S3.T1.29.29.5.m1.3.3.3.4">⋅</ci><apply id="S3.T1.29.29.5.m1.3.3.3.3.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2"><min id="S3.T1.29.29.5.m1.1.1.1.1.cmml" xref="S3.T1.29.29.5.m1.1.1.1.1"></min><apply id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1"><times id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.1.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.1"></times><cn type="integer" id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.2.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.2">0</cn><ci id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.3.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.3">𝑝</ci><apply id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4"><csymbol cd="ambiguous" id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.1.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4">subscript</csymbol><ci id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.2.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.2">𝑡</ci><ci id="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.3.cmml" xref="S3.T1.29.29.5.m1.2.2.2.2.1.1.1.4.3">ℓ</ci></apply></apply><apply id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2"><times id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.1"></times><cn type="integer" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.2">0</cn><ci id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.3">𝑝</ci><apply id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4"><csymbol cd="ambiguous" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4">subscript</csymbol><ci id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.2">𝑡</ci><apply id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3"><minus id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.1"></minus><ci id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.3.2.2.2.4.3.3">1</cn></apply></apply></apply></apply><apply id="S3.T1.29.29.5.m1.3.3.3.5.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5"><divide id="S3.T1.29.29.5.m1.3.3.3.5.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5"></divide><apply id="S3.T1.29.29.5.m1.3.3.3.5.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2"><times id="S3.T1.29.29.5.m1.3.3.3.5.2.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2.1"></times><cn type="integer" id="S3.T1.29.29.5.m1.3.3.3.5.2.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2.2">0</cn><ci id="S3.T1.29.29.5.m1.3.3.3.5.2.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2.3">𝑝</ci><apply id="S3.T1.29.29.5.m1.3.3.3.5.2.4.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2.4"><csymbol cd="ambiguous" id="S3.T1.29.29.5.m1.3.3.3.5.2.4.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2.4">subscript</csymbol><ci id="S3.T1.29.29.5.m1.3.3.3.5.2.4.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2.4.2">𝑡</ci><ci id="S3.T1.29.29.5.m1.3.3.3.5.2.4.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.2.4.3">ℓ</ci></apply></apply><apply id="S3.T1.29.29.5.m1.3.3.3.5.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3"><times id="S3.T1.29.29.5.m1.3.3.3.5.3.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.1"></times><cn type="integer" id="S3.T1.29.29.5.m1.3.3.3.5.3.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.2">0</cn><ci id="S3.T1.29.29.5.m1.3.3.3.5.3.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.3">𝑝</ci><apply id="S3.T1.29.29.5.m1.3.3.3.5.3.4.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4"><csymbol cd="ambiguous" id="S3.T1.29.29.5.m1.3.3.3.5.3.4.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4">subscript</csymbol><ci id="S3.T1.29.29.5.m1.3.3.3.5.3.4.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.2">𝑡</ci><apply id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3"><minus id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.1.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.1"></minus><ci id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.2.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.3.cmml" xref="S3.T1.29.29.5.m1.3.3.3.5.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.29.29.5.m1.3c">\sqrt{\min(0pt_{\ell},0pt_{\ell-1})\cdot\frac{0pt_{\ell}}{0pt_{\ell-1}}}</annotation></semantics></math></td>
<td id="S3.T1.30.30.6" class="ltx_td ltx_align_center ltx_border_t" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.30.30.6.m1.3" class="ltx_Math" alttext="\sqrt{\frac{\min(0pt_{\ell},0pt_{\ell-1})}{0pt_{\ell}\times 0pt_{\ell-1}}\cdot\frac{0pt_{\ell}}{0pt_{\ell-1}}}" display="inline"><semantics id="S3.T1.30.30.6.m1.3a"><msqrt id="S3.T1.30.30.6.m1.3.3" xref="S3.T1.30.30.6.m1.3.3.cmml"><mrow id="S3.T1.30.30.6.m1.3.3.3" xref="S3.T1.30.30.6.m1.3.3.3.cmml"><mfrac id="S3.T1.30.30.6.m1.3.3.3.3" xref="S3.T1.30.30.6.m1.3.3.3.3.cmml"><mrow id="S3.T1.30.30.6.m1.3.3.3.3.3.3" xref="S3.T1.30.30.6.m1.3.3.3.3.3.4.cmml"><mi id="S3.T1.30.30.6.m1.1.1.1.1.1.1" xref="S3.T1.30.30.6.m1.1.1.1.1.1.1.cmml">min</mi><mo id="S3.T1.30.30.6.m1.3.3.3.3.3.3a" xref="S3.T1.30.30.6.m1.3.3.3.3.3.4.cmml">⁡</mo><mrow id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2" xref="S3.T1.30.30.6.m1.3.3.3.3.3.4.cmml"><mo stretchy="false" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.3" xref="S3.T1.30.30.6.m1.3.3.3.3.3.4.cmml">(</mo><mrow id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.cmml"><mn id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.2" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.1" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.1.cmml">​</mo><mi id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.3" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.1a" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.1.cmml">​</mo><msub id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.cmml"><mi id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.2" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.3" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.3.cmml">ℓ</mi></msub></mrow><mo id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.4" xref="S3.T1.30.30.6.m1.3.3.3.3.3.4.cmml">,</mo><mrow id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.cmml"><mn id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.2" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.1" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.1.cmml">​</mo><mi id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.3" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.1a" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.1.cmml">​</mo><msub id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.cmml"><mi id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.2" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.2.cmml">t</mi><mrow id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.cmml"><mi mathvariant="normal" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.2" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.2.cmml">ℓ</mi><mo id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.1" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.1.cmml">−</mo><mn id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.3" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow><mo stretchy="false" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.5" xref="S3.T1.30.30.6.m1.3.3.3.3.3.4.cmml">)</mo></mrow></mrow><mrow id="S3.T1.30.30.6.m1.3.3.3.3.5" xref="S3.T1.30.30.6.m1.3.3.3.3.5.cmml"><mrow id="S3.T1.30.30.6.m1.3.3.3.3.5.2" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.cmml"><mrow id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.cmml"><mn id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.2" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.1" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.1.cmml">​</mo><mi id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.3" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.1a" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.1.cmml">​</mo><msub id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.cmml"><mi id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.2" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.3" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="S3.T1.30.30.6.m1.3.3.3.3.5.2.1" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.1.cmml">×</mo><mn id="S3.T1.30.30.6.m1.3.3.3.3.5.2.3" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.3.5.1" xref="S3.T1.30.30.6.m1.3.3.3.3.5.1.cmml">​</mo><mi id="S3.T1.30.30.6.m1.3.3.3.3.5.3" xref="S3.T1.30.30.6.m1.3.3.3.3.5.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.3.5.1a" xref="S3.T1.30.30.6.m1.3.3.3.3.5.1.cmml">​</mo><msub id="S3.T1.30.30.6.m1.3.3.3.3.5.4" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.cmml"><mi id="S3.T1.30.30.6.m1.3.3.3.3.5.4.2" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.2.cmml">t</mi><mrow id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.cmml"><mi mathvariant="normal" id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.2" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.2.cmml">ℓ</mi><mo id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.1" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.1.cmml">−</mo><mn id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.3" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac><mo lspace="0.222em" rspace="0.222em" id="S3.T1.30.30.6.m1.3.3.3.4" xref="S3.T1.30.30.6.m1.3.3.3.4.cmml">⋅</mo><mfrac id="S3.T1.30.30.6.m1.3.3.3.5" xref="S3.T1.30.30.6.m1.3.3.3.5.cmml"><mrow id="S3.T1.30.30.6.m1.3.3.3.5.2" xref="S3.T1.30.30.6.m1.3.3.3.5.2.cmml"><mn id="S3.T1.30.30.6.m1.3.3.3.5.2.2" xref="S3.T1.30.30.6.m1.3.3.3.5.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.5.2.1" xref="S3.T1.30.30.6.m1.3.3.3.5.2.1.cmml">​</mo><mi id="S3.T1.30.30.6.m1.3.3.3.5.2.3" xref="S3.T1.30.30.6.m1.3.3.3.5.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.5.2.1a" xref="S3.T1.30.30.6.m1.3.3.3.5.2.1.cmml">​</mo><msub id="S3.T1.30.30.6.m1.3.3.3.5.2.4" xref="S3.T1.30.30.6.m1.3.3.3.5.2.4.cmml"><mi id="S3.T1.30.30.6.m1.3.3.3.5.2.4.2" xref="S3.T1.30.30.6.m1.3.3.3.5.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.30.30.6.m1.3.3.3.5.2.4.3" xref="S3.T1.30.30.6.m1.3.3.3.5.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S3.T1.30.30.6.m1.3.3.3.5.3" xref="S3.T1.30.30.6.m1.3.3.3.5.3.cmml"><mn id="S3.T1.30.30.6.m1.3.3.3.5.3.2" xref="S3.T1.30.30.6.m1.3.3.3.5.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.5.3.1" xref="S3.T1.30.30.6.m1.3.3.3.5.3.1.cmml">​</mo><mi id="S3.T1.30.30.6.m1.3.3.3.5.3.3" xref="S3.T1.30.30.6.m1.3.3.3.5.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.30.30.6.m1.3.3.3.5.3.1a" xref="S3.T1.30.30.6.m1.3.3.3.5.3.1.cmml">​</mo><msub id="S3.T1.30.30.6.m1.3.3.3.5.3.4" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.cmml"><mi id="S3.T1.30.30.6.m1.3.3.3.5.3.4.2" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.2.cmml">t</mi><mrow id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.cmml"><mi mathvariant="normal" id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.2" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.2.cmml">ℓ</mi><mo id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.1" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.1.cmml">−</mo><mn id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.3" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.30.30.6.m1.3b"><apply id="S3.T1.30.30.6.m1.3.3.cmml" xref="S3.T1.30.30.6.m1.3.3"><root id="S3.T1.30.30.6.m1.3.3a.cmml" xref="S3.T1.30.30.6.m1.3.3"></root><apply id="S3.T1.30.30.6.m1.3.3.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3"><ci id="S3.T1.30.30.6.m1.3.3.3.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.4">⋅</ci><apply id="S3.T1.30.30.6.m1.3.3.3.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3"><divide id="S3.T1.30.30.6.m1.3.3.3.3.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3"></divide><apply id="S3.T1.30.30.6.m1.3.3.3.3.3.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3"><min id="S3.T1.30.30.6.m1.1.1.1.1.1.1.cmml" xref="S3.T1.30.30.6.m1.1.1.1.1.1.1"></min><apply id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1"><times id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.1.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.1"></times><cn type="integer" id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.2.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.2">0</cn><ci id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.3.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.3">𝑝</ci><apply id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4"><csymbol cd="ambiguous" id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.1.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4">subscript</csymbol><ci id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.2.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.2">𝑡</ci><ci id="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.3.cmml" xref="S3.T1.30.30.6.m1.2.2.2.2.2.2.1.1.4.3">ℓ</ci></apply></apply><apply id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2"><times id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.1"></times><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.2">0</cn><ci id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.3">𝑝</ci><apply id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4"><csymbol cd="ambiguous" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4">subscript</csymbol><ci id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.2">𝑡</ci><apply id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3"><minus id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.1"></minus><ci id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.3.3.2.2.4.3.3">1</cn></apply></apply></apply></apply><apply id="S3.T1.30.30.6.m1.3.3.3.3.5.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5"><times id="S3.T1.30.30.6.m1.3.3.3.3.5.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.1"></times><apply id="S3.T1.30.30.6.m1.3.3.3.3.5.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2"><times id="S3.T1.30.30.6.m1.3.3.3.3.5.2.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.1"></times><apply id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2"><times id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.1"></times><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.2">0</cn><ci id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.3">𝑝</ci><apply id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4"><csymbol cd="ambiguous" id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4">subscript</csymbol><ci id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.2">𝑡</ci><ci id="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.3.5.2.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.2.3">0</cn></apply><ci id="S3.T1.30.30.6.m1.3.3.3.3.5.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.3">𝑝</ci><apply id="S3.T1.30.30.6.m1.3.3.3.3.5.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4"><csymbol cd="ambiguous" id="S3.T1.30.30.6.m1.3.3.3.3.5.4.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4">subscript</csymbol><ci id="S3.T1.30.30.6.m1.3.3.3.3.5.4.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.2">𝑡</ci><apply id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3"><minus id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.1"></minus><ci id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.3.5.4.3.3">1</cn></apply></apply></apply></apply><apply id="S3.T1.30.30.6.m1.3.3.3.5.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5"><divide id="S3.T1.30.30.6.m1.3.3.3.5.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5"></divide><apply id="S3.T1.30.30.6.m1.3.3.3.5.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2"><times id="S3.T1.30.30.6.m1.3.3.3.5.2.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2.1"></times><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.5.2.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2.2">0</cn><ci id="S3.T1.30.30.6.m1.3.3.3.5.2.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2.3">𝑝</ci><apply id="S3.T1.30.30.6.m1.3.3.3.5.2.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2.4"><csymbol cd="ambiguous" id="S3.T1.30.30.6.m1.3.3.3.5.2.4.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2.4">subscript</csymbol><ci id="S3.T1.30.30.6.m1.3.3.3.5.2.4.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2.4.2">𝑡</ci><ci id="S3.T1.30.30.6.m1.3.3.3.5.2.4.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.2.4.3">ℓ</ci></apply></apply><apply id="S3.T1.30.30.6.m1.3.3.3.5.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3"><times id="S3.T1.30.30.6.m1.3.3.3.5.3.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.1"></times><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.5.3.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.2">0</cn><ci id="S3.T1.30.30.6.m1.3.3.3.5.3.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.3">𝑝</ci><apply id="S3.T1.30.30.6.m1.3.3.3.5.3.4.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4"><csymbol cd="ambiguous" id="S3.T1.30.30.6.m1.3.3.3.5.3.4.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4">subscript</csymbol><ci id="S3.T1.30.30.6.m1.3.3.3.5.3.4.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.2">𝑡</ci><apply id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3"><minus id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.1.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.1"></minus><ci id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.2.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.3.cmml" xref="S3.T1.30.30.6.m1.3.3.3.5.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.30.30.6.m1.3c">\sqrt{\frac{\min(0pt_{\ell},0pt_{\ell-1})}{0pt_{\ell}\times 0pt_{\ell-1}}\cdot\frac{0pt_{\ell}}{0pt_{\ell-1}}}</annotation></semantics></math></td>
</tr>
<tr id="S3.T1.36.36" class="ltx_tr">
<td id="S3.T1.31.31.1" class="ltx_td ltx_align_center ltx_border_bb" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.31.31.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.31.31.1.m1.1a"><mrow id="S3.T1.31.31.1.m1.1.1" xref="S3.T1.31.31.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.T1.31.31.1.m1.1.1.2" xref="S3.T1.31.31.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.T1.31.31.1.m1.1.1.1" xref="S3.T1.31.31.1.m1.1.1.1.cmml">​</mo><msub id="S3.T1.31.31.1.m1.1.1.3" xref="S3.T1.31.31.1.m1.1.1.3.cmml"><mi id="S3.T1.31.31.1.m1.1.1.3.2" xref="S3.T1.31.31.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.31.31.1.m1.1.1.3.3" xref="S3.T1.31.31.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.31.31.1.m1.1b"><apply id="S3.T1.31.31.1.m1.1.1.cmml" xref="S3.T1.31.31.1.m1.1.1"><times id="S3.T1.31.31.1.m1.1.1.1.cmml" xref="S3.T1.31.31.1.m1.1.1.1"></times><ci id="S3.T1.31.31.1.m1.1.1.2.cmml" xref="S3.T1.31.31.1.m1.1.1.2">Δ</ci><apply id="S3.T1.31.31.1.m1.1.1.3.cmml" xref="S3.T1.31.31.1.m1.1.1.3"><csymbol cd="ambiguous" id="S3.T1.31.31.1.m1.1.1.3.1.cmml" xref="S3.T1.31.31.1.m1.1.1.3">subscript</csymbol><ci id="S3.T1.31.31.1.m1.1.1.3.2.cmml" xref="S3.T1.31.31.1.m1.1.1.3.2">𝑾</ci><ci id="S3.T1.31.31.1.m1.1.1.3.3.cmml" xref="S3.T1.31.31.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.31.31.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math></td>
<td id="S3.T1.32.32.2" class="ltx_td ltx_align_center ltx_border_bb" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.32.32.2.m1.1" class="ltx_Math" alttext="0pt_{\ell}\times 0pt_{\ell-1}" display="inline"><semantics id="S3.T1.32.32.2.m1.1a"><mrow id="S3.T1.32.32.2.m1.1.1" xref="S3.T1.32.32.2.m1.1.1.cmml"><mrow id="S3.T1.32.32.2.m1.1.1.2" xref="S3.T1.32.32.2.m1.1.1.2.cmml"><mrow id="S3.T1.32.32.2.m1.1.1.2.2" xref="S3.T1.32.32.2.m1.1.1.2.2.cmml"><mn id="S3.T1.32.32.2.m1.1.1.2.2.2" xref="S3.T1.32.32.2.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.32.32.2.m1.1.1.2.2.1" xref="S3.T1.32.32.2.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.32.32.2.m1.1.1.2.2.3" xref="S3.T1.32.32.2.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.32.32.2.m1.1.1.2.2.1a" xref="S3.T1.32.32.2.m1.1.1.2.2.1.cmml">​</mo><msub id="S3.T1.32.32.2.m1.1.1.2.2.4" xref="S3.T1.32.32.2.m1.1.1.2.2.4.cmml"><mi id="S3.T1.32.32.2.m1.1.1.2.2.4.2" xref="S3.T1.32.32.2.m1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.32.32.2.m1.1.1.2.2.4.3" xref="S3.T1.32.32.2.m1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="S3.T1.32.32.2.m1.1.1.2.1" xref="S3.T1.32.32.2.m1.1.1.2.1.cmml">×</mo><mn id="S3.T1.32.32.2.m1.1.1.2.3" xref="S3.T1.32.32.2.m1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.32.32.2.m1.1.1.1" xref="S3.T1.32.32.2.m1.1.1.1.cmml">​</mo><mi id="S3.T1.32.32.2.m1.1.1.3" xref="S3.T1.32.32.2.m1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.32.32.2.m1.1.1.1a" xref="S3.T1.32.32.2.m1.1.1.1.cmml">​</mo><msub id="S3.T1.32.32.2.m1.1.1.4" xref="S3.T1.32.32.2.m1.1.1.4.cmml"><mi id="S3.T1.32.32.2.m1.1.1.4.2" xref="S3.T1.32.32.2.m1.1.1.4.2.cmml">t</mi><mrow id="S3.T1.32.32.2.m1.1.1.4.3" xref="S3.T1.32.32.2.m1.1.1.4.3.cmml"><mi mathvariant="normal" id="S3.T1.32.32.2.m1.1.1.4.3.2" xref="S3.T1.32.32.2.m1.1.1.4.3.2.cmml">ℓ</mi><mo id="S3.T1.32.32.2.m1.1.1.4.3.1" xref="S3.T1.32.32.2.m1.1.1.4.3.1.cmml">−</mo><mn id="S3.T1.32.32.2.m1.1.1.4.3.3" xref="S3.T1.32.32.2.m1.1.1.4.3.3.cmml">1</mn></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.32.32.2.m1.1b"><apply id="S3.T1.32.32.2.m1.1.1.cmml" xref="S3.T1.32.32.2.m1.1.1"><times id="S3.T1.32.32.2.m1.1.1.1.cmml" xref="S3.T1.32.32.2.m1.1.1.1"></times><apply id="S3.T1.32.32.2.m1.1.1.2.cmml" xref="S3.T1.32.32.2.m1.1.1.2"><times id="S3.T1.32.32.2.m1.1.1.2.1.cmml" xref="S3.T1.32.32.2.m1.1.1.2.1"></times><apply id="S3.T1.32.32.2.m1.1.1.2.2.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2"><times id="S3.T1.32.32.2.m1.1.1.2.2.1.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2.1"></times><cn type="integer" id="S3.T1.32.32.2.m1.1.1.2.2.2.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2.2">0</cn><ci id="S3.T1.32.32.2.m1.1.1.2.2.3.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2.3">𝑝</ci><apply id="S3.T1.32.32.2.m1.1.1.2.2.4.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2.4"><csymbol cd="ambiguous" id="S3.T1.32.32.2.m1.1.1.2.2.4.1.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2.4">subscript</csymbol><ci id="S3.T1.32.32.2.m1.1.1.2.2.4.2.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2.4.2">𝑡</ci><ci id="S3.T1.32.32.2.m1.1.1.2.2.4.3.cmml" xref="S3.T1.32.32.2.m1.1.1.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S3.T1.32.32.2.m1.1.1.2.3.cmml" xref="S3.T1.32.32.2.m1.1.1.2.3">0</cn></apply><ci id="S3.T1.32.32.2.m1.1.1.3.cmml" xref="S3.T1.32.32.2.m1.1.1.3">𝑝</ci><apply id="S3.T1.32.32.2.m1.1.1.4.cmml" xref="S3.T1.32.32.2.m1.1.1.4"><csymbol cd="ambiguous" id="S3.T1.32.32.2.m1.1.1.4.1.cmml" xref="S3.T1.32.32.2.m1.1.1.4">subscript</csymbol><ci id="S3.T1.32.32.2.m1.1.1.4.2.cmml" xref="S3.T1.32.32.2.m1.1.1.4.2">𝑡</ci><apply id="S3.T1.32.32.2.m1.1.1.4.3.cmml" xref="S3.T1.32.32.2.m1.1.1.4.3"><minus id="S3.T1.32.32.2.m1.1.1.4.3.1.cmml" xref="S3.T1.32.32.2.m1.1.1.4.3.1"></minus><ci id="S3.T1.32.32.2.m1.1.1.4.3.2.cmml" xref="S3.T1.32.32.2.m1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.32.32.2.m1.1.1.4.3.3.cmml" xref="S3.T1.32.32.2.m1.1.1.4.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.32.32.2.m1.1c">0pt_{\ell}\times 0pt_{\ell-1}</annotation></semantics></math></td>
<td id="S3.T1.33.33.3" class="ltx_td ltx_align_center ltx_border_bb" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.33.33.3.m1.1" class="ltx_Math" alttext="1" display="inline"><semantics id="S3.T1.33.33.3.m1.1a"><mn id="S3.T1.33.33.3.m1.1.1" xref="S3.T1.33.33.3.m1.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="S3.T1.33.33.3.m1.1b"><cn type="integer" id="S3.T1.33.33.3.m1.1.1.cmml" xref="S3.T1.33.33.3.m1.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.33.33.3.m1.1c">1</annotation></semantics></math></td>
<td id="S3.T1.34.34.4" class="ltx_td ltx_align_center ltx_border_bb" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.34.34.4.m1.1" class="ltx_Math" alttext="\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}" display="inline"><semantics id="S3.T1.34.34.4.m1.1a"><msqrt id="S3.T1.34.34.4.m1.1.1" xref="S3.T1.34.34.4.m1.1.1.cmml"><mfrac id="S3.T1.34.34.4.m1.1.1.2" xref="S3.T1.34.34.4.m1.1.1.2.cmml"><mrow id="S3.T1.34.34.4.m1.1.1.2.2" xref="S3.T1.34.34.4.m1.1.1.2.2.cmml"><mn id="S3.T1.34.34.4.m1.1.1.2.2.2" xref="S3.T1.34.34.4.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.34.34.4.m1.1.1.2.2.1" xref="S3.T1.34.34.4.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.34.34.4.m1.1.1.2.2.3" xref="S3.T1.34.34.4.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.34.34.4.m1.1.1.2.2.1a" xref="S3.T1.34.34.4.m1.1.1.2.2.1.cmml">​</mo><msub id="S3.T1.34.34.4.m1.1.1.2.2.4" xref="S3.T1.34.34.4.m1.1.1.2.2.4.cmml"><mi id="S3.T1.34.34.4.m1.1.1.2.2.4.2" xref="S3.T1.34.34.4.m1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.34.34.4.m1.1.1.2.2.4.3" xref="S3.T1.34.34.4.m1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S3.T1.34.34.4.m1.1.1.2.3" xref="S3.T1.34.34.4.m1.1.1.2.3.cmml"><mn id="S3.T1.34.34.4.m1.1.1.2.3.2" xref="S3.T1.34.34.4.m1.1.1.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.34.34.4.m1.1.1.2.3.1" xref="S3.T1.34.34.4.m1.1.1.2.3.1.cmml">​</mo><mi id="S3.T1.34.34.4.m1.1.1.2.3.3" xref="S3.T1.34.34.4.m1.1.1.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.34.34.4.m1.1.1.2.3.1a" xref="S3.T1.34.34.4.m1.1.1.2.3.1.cmml">​</mo><msub id="S3.T1.34.34.4.m1.1.1.2.3.4" xref="S3.T1.34.34.4.m1.1.1.2.3.4.cmml"><mi id="S3.T1.34.34.4.m1.1.1.2.3.4.2" xref="S3.T1.34.34.4.m1.1.1.2.3.4.2.cmml">t</mi><mrow id="S3.T1.34.34.4.m1.1.1.2.3.4.3" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3.cmml"><mi mathvariant="normal" id="S3.T1.34.34.4.m1.1.1.2.3.4.3.2" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3.2.cmml">ℓ</mi><mo id="S3.T1.34.34.4.m1.1.1.2.3.4.3.1" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3.1.cmml">−</mo><mn id="S3.T1.34.34.4.m1.1.1.2.3.4.3.3" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.34.34.4.m1.1b"><apply id="S3.T1.34.34.4.m1.1.1.cmml" xref="S3.T1.34.34.4.m1.1.1"><root id="S3.T1.34.34.4.m1.1.1a.cmml" xref="S3.T1.34.34.4.m1.1.1"></root><apply id="S3.T1.34.34.4.m1.1.1.2.cmml" xref="S3.T1.34.34.4.m1.1.1.2"><divide id="S3.T1.34.34.4.m1.1.1.2.1.cmml" xref="S3.T1.34.34.4.m1.1.1.2"></divide><apply id="S3.T1.34.34.4.m1.1.1.2.2.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2"><times id="S3.T1.34.34.4.m1.1.1.2.2.1.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2.1"></times><cn type="integer" id="S3.T1.34.34.4.m1.1.1.2.2.2.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2.2">0</cn><ci id="S3.T1.34.34.4.m1.1.1.2.2.3.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2.3">𝑝</ci><apply id="S3.T1.34.34.4.m1.1.1.2.2.4.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2.4"><csymbol cd="ambiguous" id="S3.T1.34.34.4.m1.1.1.2.2.4.1.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2.4">subscript</csymbol><ci id="S3.T1.34.34.4.m1.1.1.2.2.4.2.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2.4.2">𝑡</ci><ci id="S3.T1.34.34.4.m1.1.1.2.2.4.3.cmml" xref="S3.T1.34.34.4.m1.1.1.2.2.4.3">ℓ</ci></apply></apply><apply id="S3.T1.34.34.4.m1.1.1.2.3.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3"><times id="S3.T1.34.34.4.m1.1.1.2.3.1.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.1"></times><cn type="integer" id="S3.T1.34.34.4.m1.1.1.2.3.2.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.2">0</cn><ci id="S3.T1.34.34.4.m1.1.1.2.3.3.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.3">𝑝</ci><apply id="S3.T1.34.34.4.m1.1.1.2.3.4.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.4"><csymbol cd="ambiguous" id="S3.T1.34.34.4.m1.1.1.2.3.4.1.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.4">subscript</csymbol><ci id="S3.T1.34.34.4.m1.1.1.2.3.4.2.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.4.2">𝑡</ci><apply id="S3.T1.34.34.4.m1.1.1.2.3.4.3.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3"><minus id="S3.T1.34.34.4.m1.1.1.2.3.4.3.1.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3.1"></minus><ci id="S3.T1.34.34.4.m1.1.1.2.3.4.3.2.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.34.34.4.m1.1.1.2.3.4.3.3.cmml" xref="S3.T1.34.34.4.m1.1.1.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.34.34.4.m1.1c">\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}</annotation></semantics></math></td>
<td id="S3.T1.35.35.5" class="ltx_td ltx_align_center ltx_border_bb" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.35.35.5.m1.1" class="ltx_Math" alttext="\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}" display="inline"><semantics id="S3.T1.35.35.5.m1.1a"><msqrt id="S3.T1.35.35.5.m1.1.1" xref="S3.T1.35.35.5.m1.1.1.cmml"><mfrac id="S3.T1.35.35.5.m1.1.1.2" xref="S3.T1.35.35.5.m1.1.1.2.cmml"><mrow id="S3.T1.35.35.5.m1.1.1.2.2" xref="S3.T1.35.35.5.m1.1.1.2.2.cmml"><mn id="S3.T1.35.35.5.m1.1.1.2.2.2" xref="S3.T1.35.35.5.m1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.35.35.5.m1.1.1.2.2.1" xref="S3.T1.35.35.5.m1.1.1.2.2.1.cmml">​</mo><mi id="S3.T1.35.35.5.m1.1.1.2.2.3" xref="S3.T1.35.35.5.m1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.35.35.5.m1.1.1.2.2.1a" xref="S3.T1.35.35.5.m1.1.1.2.2.1.cmml">​</mo><msub id="S3.T1.35.35.5.m1.1.1.2.2.4" xref="S3.T1.35.35.5.m1.1.1.2.2.4.cmml"><mi id="S3.T1.35.35.5.m1.1.1.2.2.4.2" xref="S3.T1.35.35.5.m1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.35.35.5.m1.1.1.2.2.4.3" xref="S3.T1.35.35.5.m1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S3.T1.35.35.5.m1.1.1.2.3" xref="S3.T1.35.35.5.m1.1.1.2.3.cmml"><mn id="S3.T1.35.35.5.m1.1.1.2.3.2" xref="S3.T1.35.35.5.m1.1.1.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.35.35.5.m1.1.1.2.3.1" xref="S3.T1.35.35.5.m1.1.1.2.3.1.cmml">​</mo><mi id="S3.T1.35.35.5.m1.1.1.2.3.3" xref="S3.T1.35.35.5.m1.1.1.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.35.35.5.m1.1.1.2.3.1a" xref="S3.T1.35.35.5.m1.1.1.2.3.1.cmml">​</mo><msub id="S3.T1.35.35.5.m1.1.1.2.3.4" xref="S3.T1.35.35.5.m1.1.1.2.3.4.cmml"><mi id="S3.T1.35.35.5.m1.1.1.2.3.4.2" xref="S3.T1.35.35.5.m1.1.1.2.3.4.2.cmml">t</mi><mrow id="S3.T1.35.35.5.m1.1.1.2.3.4.3" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3.cmml"><mi mathvariant="normal" id="S3.T1.35.35.5.m1.1.1.2.3.4.3.2" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3.2.cmml">ℓ</mi><mo id="S3.T1.35.35.5.m1.1.1.2.3.4.3.1" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3.1.cmml">−</mo><mn id="S3.T1.35.35.5.m1.1.1.2.3.4.3.3" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.35.35.5.m1.1b"><apply id="S3.T1.35.35.5.m1.1.1.cmml" xref="S3.T1.35.35.5.m1.1.1"><root id="S3.T1.35.35.5.m1.1.1a.cmml" xref="S3.T1.35.35.5.m1.1.1"></root><apply id="S3.T1.35.35.5.m1.1.1.2.cmml" xref="S3.T1.35.35.5.m1.1.1.2"><divide id="S3.T1.35.35.5.m1.1.1.2.1.cmml" xref="S3.T1.35.35.5.m1.1.1.2"></divide><apply id="S3.T1.35.35.5.m1.1.1.2.2.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2"><times id="S3.T1.35.35.5.m1.1.1.2.2.1.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2.1"></times><cn type="integer" id="S3.T1.35.35.5.m1.1.1.2.2.2.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2.2">0</cn><ci id="S3.T1.35.35.5.m1.1.1.2.2.3.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2.3">𝑝</ci><apply id="S3.T1.35.35.5.m1.1.1.2.2.4.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2.4"><csymbol cd="ambiguous" id="S3.T1.35.35.5.m1.1.1.2.2.4.1.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2.4">subscript</csymbol><ci id="S3.T1.35.35.5.m1.1.1.2.2.4.2.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2.4.2">𝑡</ci><ci id="S3.T1.35.35.5.m1.1.1.2.2.4.3.cmml" xref="S3.T1.35.35.5.m1.1.1.2.2.4.3">ℓ</ci></apply></apply><apply id="S3.T1.35.35.5.m1.1.1.2.3.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3"><times id="S3.T1.35.35.5.m1.1.1.2.3.1.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.1"></times><cn type="integer" id="S3.T1.35.35.5.m1.1.1.2.3.2.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.2">0</cn><ci id="S3.T1.35.35.5.m1.1.1.2.3.3.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.3">𝑝</ci><apply id="S3.T1.35.35.5.m1.1.1.2.3.4.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.4"><csymbol cd="ambiguous" id="S3.T1.35.35.5.m1.1.1.2.3.4.1.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.4">subscript</csymbol><ci id="S3.T1.35.35.5.m1.1.1.2.3.4.2.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.4.2">𝑡</ci><apply id="S3.T1.35.35.5.m1.1.1.2.3.4.3.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3"><minus id="S3.T1.35.35.5.m1.1.1.2.3.4.3.1.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3.1"></minus><ci id="S3.T1.35.35.5.m1.1.1.2.3.4.3.2.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.35.35.5.m1.1.1.2.3.4.3.3.cmml" xref="S3.T1.35.35.5.m1.1.1.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.35.35.5.m1.1c">\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}</annotation></semantics></math></td>
<td id="S3.T1.36.36.6" class="ltx_td ltx_align_center ltx_border_bb" style="padding-top:2.5pt;padding-bottom:2.5pt;"><math id="S3.T1.36.36.6.m1.1" class="ltx_Math" alttext="\sqrt{\frac{1}{0pt_{\ell}\times 0pt_{\ell-1}}\cdot\frac{0pt_{\ell}}{0pt_{\ell-1}}}" display="inline"><semantics id="S3.T1.36.36.6.m1.1a"><msqrt id="S3.T1.36.36.6.m1.1.1" xref="S3.T1.36.36.6.m1.1.1.cmml"><mrow id="S3.T1.36.36.6.m1.1.1.2" xref="S3.T1.36.36.6.m1.1.1.2.cmml"><mfrac id="S3.T1.36.36.6.m1.1.1.2.2" xref="S3.T1.36.36.6.m1.1.1.2.2.cmml"><mn id="S3.T1.36.36.6.m1.1.1.2.2.2" xref="S3.T1.36.36.6.m1.1.1.2.2.2.cmml">1</mn><mrow id="S3.T1.36.36.6.m1.1.1.2.2.3" xref="S3.T1.36.36.6.m1.1.1.2.2.3.cmml"><mrow id="S3.T1.36.36.6.m1.1.1.2.2.3.2" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.cmml"><mrow id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.cmml"><mn id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.2" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.1" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.1.cmml">​</mo><mi id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.3" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.1a" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.1.cmml">​</mo><msub id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.cmml"><mi id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.2" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.3" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="S3.T1.36.36.6.m1.1.1.2.2.3.2.1" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.1.cmml">×</mo><mn id="S3.T1.36.36.6.m1.1.1.2.2.3.2.3" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.2.3.1" xref="S3.T1.36.36.6.m1.1.1.2.2.3.1.cmml">​</mo><mi id="S3.T1.36.36.6.m1.1.1.2.2.3.3" xref="S3.T1.36.36.6.m1.1.1.2.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.2.3.1a" xref="S3.T1.36.36.6.m1.1.1.2.2.3.1.cmml">​</mo><msub id="S3.T1.36.36.6.m1.1.1.2.2.3.4" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.cmml"><mi id="S3.T1.36.36.6.m1.1.1.2.2.3.4.2" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.2.cmml">t</mi><mrow id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.cmml"><mi mathvariant="normal" id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.2" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.2.cmml">ℓ</mi><mo id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.1" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.1.cmml">−</mo><mn id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.3" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac><mo lspace="0.222em" rspace="0.222em" id="S3.T1.36.36.6.m1.1.1.2.1" xref="S3.T1.36.36.6.m1.1.1.2.1.cmml">⋅</mo><mfrac id="S3.T1.36.36.6.m1.1.1.2.3" xref="S3.T1.36.36.6.m1.1.1.2.3.cmml"><mrow id="S3.T1.36.36.6.m1.1.1.2.3.2" xref="S3.T1.36.36.6.m1.1.1.2.3.2.cmml"><mn id="S3.T1.36.36.6.m1.1.1.2.3.2.2" xref="S3.T1.36.36.6.m1.1.1.2.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.3.2.1" xref="S3.T1.36.36.6.m1.1.1.2.3.2.1.cmml">​</mo><mi id="S3.T1.36.36.6.m1.1.1.2.3.2.3" xref="S3.T1.36.36.6.m1.1.1.2.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.3.2.1a" xref="S3.T1.36.36.6.m1.1.1.2.3.2.1.cmml">​</mo><msub id="S3.T1.36.36.6.m1.1.1.2.3.2.4" xref="S3.T1.36.36.6.m1.1.1.2.3.2.4.cmml"><mi id="S3.T1.36.36.6.m1.1.1.2.3.2.4.2" xref="S3.T1.36.36.6.m1.1.1.2.3.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S3.T1.36.36.6.m1.1.1.2.3.2.4.3" xref="S3.T1.36.36.6.m1.1.1.2.3.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S3.T1.36.36.6.m1.1.1.2.3.3" xref="S3.T1.36.36.6.m1.1.1.2.3.3.cmml"><mn id="S3.T1.36.36.6.m1.1.1.2.3.3.2" xref="S3.T1.36.36.6.m1.1.1.2.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.3.3.1" xref="S3.T1.36.36.6.m1.1.1.2.3.3.1.cmml">​</mo><mi id="S3.T1.36.36.6.m1.1.1.2.3.3.3" xref="S3.T1.36.36.6.m1.1.1.2.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.36.36.6.m1.1.1.2.3.3.1a" xref="S3.T1.36.36.6.m1.1.1.2.3.3.1.cmml">​</mo><msub id="S3.T1.36.36.6.m1.1.1.2.3.3.4" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.cmml"><mi id="S3.T1.36.36.6.m1.1.1.2.3.3.4.2" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.2.cmml">t</mi><mrow id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.cmml"><mi mathvariant="normal" id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.2" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.2.cmml">ℓ</mi><mo id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.1" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.1.cmml">−</mo><mn id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.3" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.36.36.6.m1.1b"><apply id="S3.T1.36.36.6.m1.1.1.cmml" xref="S3.T1.36.36.6.m1.1.1"><root id="S3.T1.36.36.6.m1.1.1a.cmml" xref="S3.T1.36.36.6.m1.1.1"></root><apply id="S3.T1.36.36.6.m1.1.1.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2"><ci id="S3.T1.36.36.6.m1.1.1.2.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.1">⋅</ci><apply id="S3.T1.36.36.6.m1.1.1.2.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2"><divide id="S3.T1.36.36.6.m1.1.1.2.2.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2"></divide><cn type="integer" id="S3.T1.36.36.6.m1.1.1.2.2.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.2">1</cn><apply id="S3.T1.36.36.6.m1.1.1.2.2.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3"><times id="S3.T1.36.36.6.m1.1.1.2.2.3.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.1"></times><apply id="S3.T1.36.36.6.m1.1.1.2.2.3.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2"><times id="S3.T1.36.36.6.m1.1.1.2.2.3.2.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.1"></times><apply id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2"><times id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.1"></times><cn type="integer" id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.2">0</cn><ci id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.3">𝑝</ci><apply id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4"><csymbol cd="ambiguous" id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4">subscript</csymbol><ci id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.2">𝑡</ci><ci id="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S3.T1.36.36.6.m1.1.1.2.2.3.2.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.2.3">0</cn></apply><ci id="S3.T1.36.36.6.m1.1.1.2.2.3.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.3">𝑝</ci><apply id="S3.T1.36.36.6.m1.1.1.2.2.3.4.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4"><csymbol cd="ambiguous" id="S3.T1.36.36.6.m1.1.1.2.2.3.4.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4">subscript</csymbol><ci id="S3.T1.36.36.6.m1.1.1.2.2.3.4.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.2">𝑡</ci><apply id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3"><minus id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.1"></minus><ci id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.2.3.4.3.3">1</cn></apply></apply></apply></apply><apply id="S3.T1.36.36.6.m1.1.1.2.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3"><divide id="S3.T1.36.36.6.m1.1.1.2.3.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3"></divide><apply id="S3.T1.36.36.6.m1.1.1.2.3.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2"><times id="S3.T1.36.36.6.m1.1.1.2.3.2.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2.1"></times><cn type="integer" id="S3.T1.36.36.6.m1.1.1.2.3.2.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2.2">0</cn><ci id="S3.T1.36.36.6.m1.1.1.2.3.2.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2.3">𝑝</ci><apply id="S3.T1.36.36.6.m1.1.1.2.3.2.4.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2.4"><csymbol cd="ambiguous" id="S3.T1.36.36.6.m1.1.1.2.3.2.4.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2.4">subscript</csymbol><ci id="S3.T1.36.36.6.m1.1.1.2.3.2.4.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2.4.2">𝑡</ci><ci id="S3.T1.36.36.6.m1.1.1.2.3.2.4.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.2.4.3">ℓ</ci></apply></apply><apply id="S3.T1.36.36.6.m1.1.1.2.3.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3"><times id="S3.T1.36.36.6.m1.1.1.2.3.3.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.1"></times><cn type="integer" id="S3.T1.36.36.6.m1.1.1.2.3.3.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.2">0</cn><ci id="S3.T1.36.36.6.m1.1.1.2.3.3.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.3">𝑝</ci><apply id="S3.T1.36.36.6.m1.1.1.2.3.3.4.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4"><csymbol cd="ambiguous" id="S3.T1.36.36.6.m1.1.1.2.3.3.4.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4">subscript</csymbol><ci id="S3.T1.36.36.6.m1.1.1.2.3.3.4.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.2">𝑡</ci><apply id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3"><minus id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.1.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.1"></minus><ci id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.2.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.2">ℓ</ci><cn type="integer" id="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.3.cmml" xref="S3.T1.36.36.6.m1.1.1.2.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.36.36.6.m1.1c">\sqrt{\frac{1}{0pt_{\ell}\times 0pt_{\ell-1}}\cdot\frac{0pt_{\ell}}{0pt_{\ell-1}}}</annotation></semantics></math></td>
</tr>
</tbody>
</table>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_table">Table 1: </span><span id="S3.T1.50.2" class="ltx_text ltx_font_bold">Conversion between matrix norms for initial weights <math id="S3.T1.49.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.49.1.m1.1b"><msub id="S3.T1.49.1.m1.1.1" xref="S3.T1.49.1.m1.1.1.cmml"><mi id="S3.T1.49.1.m1.1.1.2" xref="S3.T1.49.1.m1.1.1.2.cmml">W</mi><mi mathvariant="normal" id="S3.T1.49.1.m1.1.1.3" xref="S3.T1.49.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.T1.49.1.m1.1c"><apply id="S3.T1.49.1.m1.1.1.cmml" xref="S3.T1.49.1.m1.1.1"><csymbol cd="ambiguous" id="S3.T1.49.1.m1.1.1.1.cmml" xref="S3.T1.49.1.m1.1.1">subscript</csymbol><ci id="S3.T1.49.1.m1.1.1.2.cmml" xref="S3.T1.49.1.m1.1.1.2">𝑊</ci><ci id="S3.T1.49.1.m1.1.1.3.cmml" xref="S3.T1.49.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.49.1.m1.1d">{\bm{W}}_{\ell}</annotation></semantics></math> and updates <math id="S3.T1.50.2.m2.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.50.2.m2.1b"><mrow id="S3.T1.50.2.m2.1.1" xref="S3.T1.50.2.m2.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.T1.50.2.m2.1.1.2" xref="S3.T1.50.2.m2.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.T1.50.2.m2.1.1.1" xref="S3.T1.50.2.m2.1.1.1.cmml">​</mo><msub id="S3.T1.50.2.m2.1.1.3" xref="S3.T1.50.2.m2.1.1.3.cmml"><mi id="S3.T1.50.2.m2.1.1.3.2" xref="S3.T1.50.2.m2.1.1.3.2.cmml">W</mi><mi mathvariant="normal" id="S3.T1.50.2.m2.1.1.3.3" xref="S3.T1.50.2.m2.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.50.2.m2.1c"><apply id="S3.T1.50.2.m2.1.1.cmml" xref="S3.T1.50.2.m2.1.1"><times id="S3.T1.50.2.m2.1.1.1.cmml" xref="S3.T1.50.2.m2.1.1.1"></times><ci id="S3.T1.50.2.m2.1.1.2.cmml" xref="S3.T1.50.2.m2.1.1.2">Δ</ci><apply id="S3.T1.50.2.m2.1.1.3.cmml" xref="S3.T1.50.2.m2.1.1.3"><csymbol cd="ambiguous" id="S3.T1.50.2.m2.1.1.3.1.cmml" xref="S3.T1.50.2.m2.1.1.3">subscript</csymbol><ci id="S3.T1.50.2.m2.1.1.3.2.cmml" xref="S3.T1.50.2.m2.1.1.3.2">𝑊</ci><ci id="S3.T1.50.2.m2.1.1.3.3.cmml" xref="S3.T1.50.2.m2.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.50.2.m2.1d">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math></span>. Results are first given for square matrices and vectors, then finally generalized to matrices of all shapes. Table entries denote the <math id="S3.T1.51.m1.1" class="ltx_Math" alttext="\Theta" display="inline"><semantics id="S3.T1.51.m1.1b"><mi mathvariant="normal" id="S3.T1.51.m1.1.1" xref="S3.T1.51.m1.1.1.cmml">Θ</mi><annotation-xml encoding="MathML-Content" id="S3.T1.51.m1.1c"><ci id="S3.T1.51.m1.1.1.cmml" xref="S3.T1.51.m1.1.1">Θ</ci></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.51.m1.1d">\Theta</annotation></semantics></math>-scaling of each quantity. To obtain the Frobenius norm, one multiplies the spectral norm by the square root of the stable rank. To obtain the root-mean-square entry size, one divides the Frobenius norm by the square root of the number of entries. Notice that a <math id="S3.T1.52.m2.1" class="ltx_Math" alttext="n\times 0pt" display="inline"><semantics id="S3.T1.52.m2.1b"><mrow id="S3.T1.52.m2.1.1" xref="S3.T1.52.m2.1.1.cmml"><mrow id="S3.T1.52.m2.1.1.2" xref="S3.T1.52.m2.1.1.2.cmml"><mi id="S3.T1.52.m2.1.1.2.2" xref="S3.T1.52.m2.1.1.2.2.cmml">n</mi><mo lspace="0.222em" rspace="0.222em" id="S3.T1.52.m2.1.1.2.1" xref="S3.T1.52.m2.1.1.2.1.cmml">×</mo><mn id="S3.T1.52.m2.1.1.2.3" xref="S3.T1.52.m2.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.52.m2.1.1.1" xref="S3.T1.52.m2.1.1.1.cmml">​</mo><mi id="S3.T1.52.m2.1.1.3" xref="S3.T1.52.m2.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.52.m2.1.1.1b" xref="S3.T1.52.m2.1.1.1.cmml">​</mo><mi id="S3.T1.52.m2.1.1.4" xref="S3.T1.52.m2.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.52.m2.1c"><apply id="S3.T1.52.m2.1.1.cmml" xref="S3.T1.52.m2.1.1"><times id="S3.T1.52.m2.1.1.1.cmml" xref="S3.T1.52.m2.1.1.1"></times><apply id="S3.T1.52.m2.1.1.2.cmml" xref="S3.T1.52.m2.1.1.2"><times id="S3.T1.52.m2.1.1.2.1.cmml" xref="S3.T1.52.m2.1.1.2.1"></times><ci id="S3.T1.52.m2.1.1.2.2.cmml" xref="S3.T1.52.m2.1.1.2.2">𝑛</ci><cn type="integer" id="S3.T1.52.m2.1.1.2.3.cmml" xref="S3.T1.52.m2.1.1.2.3">0</cn></apply><ci id="S3.T1.52.m2.1.1.3.cmml" xref="S3.T1.52.m2.1.1.3">𝑝</ci><ci id="S3.T1.52.m2.1.1.4.cmml" xref="S3.T1.52.m2.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.52.m2.1d">n\times 0pt</annotation></semantics></math> initial matrix <math id="S3.T1.53.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.53.m3.1b"><msub id="S3.T1.53.m3.1.1" xref="S3.T1.53.m3.1.1.cmml"><mi id="S3.T1.53.m3.1.1.2" xref="S3.T1.53.m3.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.53.m3.1.1.3" xref="S3.T1.53.m3.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S3.T1.53.m3.1c"><apply id="S3.T1.53.m3.1.1.cmml" xref="S3.T1.53.m3.1.1"><csymbol cd="ambiguous" id="S3.T1.53.m3.1.1.1.cmml" xref="S3.T1.53.m3.1.1">subscript</csymbol><ci id="S3.T1.53.m3.1.1.2.cmml" xref="S3.T1.53.m3.1.1.2">𝑾</ci><ci id="S3.T1.53.m3.1.1.3.cmml" xref="S3.T1.53.m3.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.53.m3.1d">{\bm{W}}_{\ell}</annotation></semantics></math> with <math id="S3.T1.54.m4.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S3.T1.54.m4.1b"><mrow id="S3.T1.54.m4.1.2" xref="S3.T1.54.m4.1.2.cmml"><mi mathvariant="normal" id="S3.T1.54.m4.1.2.2" xref="S3.T1.54.m4.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.T1.54.m4.1.2.1" xref="S3.T1.54.m4.1.2.1.cmml">​</mo><mrow id="S3.T1.54.m4.1.2.3.2" xref="S3.T1.54.m4.1.2.cmml"><mo stretchy="false" id="S3.T1.54.m4.1.2.3.2.1" xref="S3.T1.54.m4.1.2.cmml">(</mo><mn id="S3.T1.54.m4.1.1" xref="S3.T1.54.m4.1.1.cmml">1</mn><mo stretchy="false" id="S3.T1.54.m4.1.2.3.2.2" xref="S3.T1.54.m4.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.54.m4.1c"><apply id="S3.T1.54.m4.1.2.cmml" xref="S3.T1.54.m4.1.2"><times id="S3.T1.54.m4.1.2.1.cmml" xref="S3.T1.54.m4.1.2.1"></times><ci id="S3.T1.54.m4.1.2.2.cmml" xref="S3.T1.54.m4.1.2.2">Θ</ci><cn type="integer" id="S3.T1.54.m4.1.1.cmml" xref="S3.T1.54.m4.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.54.m4.1d">\Theta(1)</annotation></semantics></math> spectral norm has <math id="S3.T1.55.m5.1" class="ltx_Math" alttext="\Theta(\sqrt{1/0pt})" display="inline"><semantics id="S3.T1.55.m5.1b"><mrow id="S3.T1.55.m5.1.2" xref="S3.T1.55.m5.1.2.cmml"><mi mathvariant="normal" id="S3.T1.55.m5.1.2.2" xref="S3.T1.55.m5.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.T1.55.m5.1.2.1" xref="S3.T1.55.m5.1.2.1.cmml">​</mo><mrow id="S3.T1.55.m5.1.2.3.2" xref="S3.T1.55.m5.1.1.cmml"><mo stretchy="false" id="S3.T1.55.m5.1.2.3.2.1" xref="S3.T1.55.m5.1.1.cmml">(</mo><msqrt id="S3.T1.55.m5.1.1" xref="S3.T1.55.m5.1.1.cmml"><mrow id="S3.T1.55.m5.1.1.2" xref="S3.T1.55.m5.1.1.2.cmml"><mrow id="S3.T1.55.m5.1.1.2.2" xref="S3.T1.55.m5.1.1.2.2.cmml"><mn id="S3.T1.55.m5.1.1.2.2.2" xref="S3.T1.55.m5.1.1.2.2.2.cmml">1</mn><mo id="S3.T1.55.m5.1.1.2.2.1" xref="S3.T1.55.m5.1.1.2.2.1.cmml">/</mo><mn id="S3.T1.55.m5.1.1.2.2.3" xref="S3.T1.55.m5.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.55.m5.1.1.2.1" xref="S3.T1.55.m5.1.1.2.1.cmml">​</mo><mi id="S3.T1.55.m5.1.1.2.3" xref="S3.T1.55.m5.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.55.m5.1.1.2.1b" xref="S3.T1.55.m5.1.1.2.1.cmml">​</mo><mi id="S3.T1.55.m5.1.1.2.4" xref="S3.T1.55.m5.1.1.2.4.cmml">t</mi></mrow></msqrt><mo stretchy="false" id="S3.T1.55.m5.1.2.3.2.2" xref="S3.T1.55.m5.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.55.m5.1c"><apply id="S3.T1.55.m5.1.2.cmml" xref="S3.T1.55.m5.1.2"><times id="S3.T1.55.m5.1.2.1.cmml" xref="S3.T1.55.m5.1.2.1"></times><ci id="S3.T1.55.m5.1.2.2.cmml" xref="S3.T1.55.m5.1.2.2">Θ</ci><apply id="S3.T1.55.m5.1.1.cmml" xref="S3.T1.55.m5.1.2.3.2"><root id="S3.T1.55.m5.1.1a.cmml" xref="S3.T1.55.m5.1.2.3.2"></root><apply id="S3.T1.55.m5.1.1.2.cmml" xref="S3.T1.55.m5.1.1.2"><times id="S3.T1.55.m5.1.1.2.1.cmml" xref="S3.T1.55.m5.1.1.2.1"></times><apply id="S3.T1.55.m5.1.1.2.2.cmml" xref="S3.T1.55.m5.1.1.2.2"><divide id="S3.T1.55.m5.1.1.2.2.1.cmml" xref="S3.T1.55.m5.1.1.2.2.1"></divide><cn type="integer" id="S3.T1.55.m5.1.1.2.2.2.cmml" xref="S3.T1.55.m5.1.1.2.2.2">1</cn><cn type="integer" id="S3.T1.55.m5.1.1.2.2.3.cmml" xref="S3.T1.55.m5.1.1.2.2.3">0</cn></apply><ci id="S3.T1.55.m5.1.1.2.3.cmml" xref="S3.T1.55.m5.1.1.2.3">𝑝</ci><ci id="S3.T1.55.m5.1.1.2.4.cmml" xref="S3.T1.55.m5.1.1.2.4">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.55.m5.1d">\Theta(\sqrt{1/0pt})</annotation></semantics></math> entry size, whereas a <math id="S3.T1.56.m6.1" class="ltx_Math" alttext="n\times 0pt" display="inline"><semantics id="S3.T1.56.m6.1b"><mrow id="S3.T1.56.m6.1.1" xref="S3.T1.56.m6.1.1.cmml"><mrow id="S3.T1.56.m6.1.1.2" xref="S3.T1.56.m6.1.1.2.cmml"><mi id="S3.T1.56.m6.1.1.2.2" xref="S3.T1.56.m6.1.1.2.2.cmml">n</mi><mo lspace="0.222em" rspace="0.222em" id="S3.T1.56.m6.1.1.2.1" xref="S3.T1.56.m6.1.1.2.1.cmml">×</mo><mn id="S3.T1.56.m6.1.1.2.3" xref="S3.T1.56.m6.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.56.m6.1.1.1" xref="S3.T1.56.m6.1.1.1.cmml">​</mo><mi id="S3.T1.56.m6.1.1.3" xref="S3.T1.56.m6.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.56.m6.1.1.1b" xref="S3.T1.56.m6.1.1.1.cmml">​</mo><mi id="S3.T1.56.m6.1.1.4" xref="S3.T1.56.m6.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.56.m6.1c"><apply id="S3.T1.56.m6.1.1.cmml" xref="S3.T1.56.m6.1.1"><times id="S3.T1.56.m6.1.1.1.cmml" xref="S3.T1.56.m6.1.1.1"></times><apply id="S3.T1.56.m6.1.1.2.cmml" xref="S3.T1.56.m6.1.1.2"><times id="S3.T1.56.m6.1.1.2.1.cmml" xref="S3.T1.56.m6.1.1.2.1"></times><ci id="S3.T1.56.m6.1.1.2.2.cmml" xref="S3.T1.56.m6.1.1.2.2">𝑛</ci><cn type="integer" id="S3.T1.56.m6.1.1.2.3.cmml" xref="S3.T1.56.m6.1.1.2.3">0</cn></apply><ci id="S3.T1.56.m6.1.1.3.cmml" xref="S3.T1.56.m6.1.1.3">𝑝</ci><ci id="S3.T1.56.m6.1.1.4.cmml" xref="S3.T1.56.m6.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.56.m6.1d">n\times 0pt</annotation></semantics></math> update <math id="S3.T1.57.m7.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S3.T1.57.m7.1b"><mrow id="S3.T1.57.m7.1.1" xref="S3.T1.57.m7.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S3.T1.57.m7.1.1.2" xref="S3.T1.57.m7.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S3.T1.57.m7.1.1.1" xref="S3.T1.57.m7.1.1.1.cmml">​</mo><msub id="S3.T1.57.m7.1.1.3" xref="S3.T1.57.m7.1.1.3.cmml"><mi id="S3.T1.57.m7.1.1.3.2" xref="S3.T1.57.m7.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S3.T1.57.m7.1.1.3.3" xref="S3.T1.57.m7.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.57.m7.1c"><apply id="S3.T1.57.m7.1.1.cmml" xref="S3.T1.57.m7.1.1"><times id="S3.T1.57.m7.1.1.1.cmml" xref="S3.T1.57.m7.1.1.1"></times><ci id="S3.T1.57.m7.1.1.2.cmml" xref="S3.T1.57.m7.1.1.2">Δ</ci><apply id="S3.T1.57.m7.1.1.3.cmml" xref="S3.T1.57.m7.1.1.3"><csymbol cd="ambiguous" id="S3.T1.57.m7.1.1.3.1.cmml" xref="S3.T1.57.m7.1.1.3">subscript</csymbol><ci id="S3.T1.57.m7.1.1.3.2.cmml" xref="S3.T1.57.m7.1.1.3.2">𝑾</ci><ci id="S3.T1.57.m7.1.1.3.3.cmml" xref="S3.T1.57.m7.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.57.m7.1d">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> with <math id="S3.T1.58.m8.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S3.T1.58.m8.1b"><mrow id="S3.T1.58.m8.1.2" xref="S3.T1.58.m8.1.2.cmml"><mi mathvariant="normal" id="S3.T1.58.m8.1.2.2" xref="S3.T1.58.m8.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.T1.58.m8.1.2.1" xref="S3.T1.58.m8.1.2.1.cmml">​</mo><mrow id="S3.T1.58.m8.1.2.3.2" xref="S3.T1.58.m8.1.2.cmml"><mo stretchy="false" id="S3.T1.58.m8.1.2.3.2.1" xref="S3.T1.58.m8.1.2.cmml">(</mo><mn id="S3.T1.58.m8.1.1" xref="S3.T1.58.m8.1.1.cmml">1</mn><mo stretchy="false" id="S3.T1.58.m8.1.2.3.2.2" xref="S3.T1.58.m8.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.58.m8.1c"><apply id="S3.T1.58.m8.1.2.cmml" xref="S3.T1.58.m8.1.2"><times id="S3.T1.58.m8.1.2.1.cmml" xref="S3.T1.58.m8.1.2.1"></times><ci id="S3.T1.58.m8.1.2.2.cmml" xref="S3.T1.58.m8.1.2.2">Θ</ci><cn type="integer" id="S3.T1.58.m8.1.1.cmml" xref="S3.T1.58.m8.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.58.m8.1d">\Theta(1)</annotation></semantics></math> spectral norm has only <math id="S3.T1.59.m9.1" class="ltx_Math" alttext="\Theta(1/0pt)" display="inline"><semantics id="S3.T1.59.m9.1b"><mrow id="S3.T1.59.m9.1.1" xref="S3.T1.59.m9.1.1.cmml"><mi mathvariant="normal" id="S3.T1.59.m9.1.1.3" xref="S3.T1.59.m9.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S3.T1.59.m9.1.1.2" xref="S3.T1.59.m9.1.1.2.cmml">​</mo><mrow id="S3.T1.59.m9.1.1.1.1" xref="S3.T1.59.m9.1.1.1.1.1.cmml"><mo stretchy="false" id="S3.T1.59.m9.1.1.1.1.2" xref="S3.T1.59.m9.1.1.1.1.1.cmml">(</mo><mrow id="S3.T1.59.m9.1.1.1.1.1" xref="S3.T1.59.m9.1.1.1.1.1.cmml"><mrow id="S3.T1.59.m9.1.1.1.1.1.2" xref="S3.T1.59.m9.1.1.1.1.1.2.cmml"><mn id="S3.T1.59.m9.1.1.1.1.1.2.2" xref="S3.T1.59.m9.1.1.1.1.1.2.2.cmml">1</mn><mo id="S3.T1.59.m9.1.1.1.1.1.2.1" xref="S3.T1.59.m9.1.1.1.1.1.2.1.cmml">/</mo><mn id="S3.T1.59.m9.1.1.1.1.1.2.3" xref="S3.T1.59.m9.1.1.1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S3.T1.59.m9.1.1.1.1.1.1" xref="S3.T1.59.m9.1.1.1.1.1.1.cmml">​</mo><mi id="S3.T1.59.m9.1.1.1.1.1.3" xref="S3.T1.59.m9.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.59.m9.1.1.1.1.1.1b" xref="S3.T1.59.m9.1.1.1.1.1.1.cmml">​</mo><mi id="S3.T1.59.m9.1.1.1.1.1.4" xref="S3.T1.59.m9.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="S3.T1.59.m9.1.1.1.1.3" xref="S3.T1.59.m9.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S3.T1.59.m9.1c"><apply id="S3.T1.59.m9.1.1.cmml" xref="S3.T1.59.m9.1.1"><times id="S3.T1.59.m9.1.1.2.cmml" xref="S3.T1.59.m9.1.1.2"></times><ci id="S3.T1.59.m9.1.1.3.cmml" xref="S3.T1.59.m9.1.1.3">Θ</ci><apply id="S3.T1.59.m9.1.1.1.1.1.cmml" xref="S3.T1.59.m9.1.1.1.1"><times id="S3.T1.59.m9.1.1.1.1.1.1.cmml" xref="S3.T1.59.m9.1.1.1.1.1.1"></times><apply id="S3.T1.59.m9.1.1.1.1.1.2.cmml" xref="S3.T1.59.m9.1.1.1.1.1.2"><divide id="S3.T1.59.m9.1.1.1.1.1.2.1.cmml" xref="S3.T1.59.m9.1.1.1.1.1.2.1"></divide><cn type="integer" id="S3.T1.59.m9.1.1.1.1.1.2.2.cmml" xref="S3.T1.59.m9.1.1.1.1.1.2.2">1</cn><cn type="integer" id="S3.T1.59.m9.1.1.1.1.1.2.3.cmml" xref="S3.T1.59.m9.1.1.1.1.1.2.3">0</cn></apply><ci id="S3.T1.59.m9.1.1.1.1.1.3.cmml" xref="S3.T1.59.m9.1.1.1.1.1.3">𝑝</ci><ci id="S3.T1.59.m9.1.1.1.1.1.4.cmml" xref="S3.T1.59.m9.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.59.m9.1d">\Theta(1/0pt)</annotation></semantics></math> entry size, which is a factor <math id="S3.T1.60.m10.1" class="ltx_Math" alttext="\sqrt{0pt}" display="inline"><semantics id="S3.T1.60.m10.1b"><msqrt id="S3.T1.60.m10.1.1" xref="S3.T1.60.m10.1.1.cmml"><mrow id="S3.T1.60.m10.1.1.2" xref="S3.T1.60.m10.1.1.2.cmml"><mn id="S3.T1.60.m10.1.1.2.2" xref="S3.T1.60.m10.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S3.T1.60.m10.1.1.2.1" xref="S3.T1.60.m10.1.1.2.1.cmml">​</mo><mi id="S3.T1.60.m10.1.1.2.3" xref="S3.T1.60.m10.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S3.T1.60.m10.1.1.2.1b" xref="S3.T1.60.m10.1.1.2.1.cmml">​</mo><mi id="S3.T1.60.m10.1.1.2.4" xref="S3.T1.60.m10.1.1.2.4.cmml">t</mi></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S3.T1.60.m10.1c"><apply id="S3.T1.60.m10.1.1.cmml" xref="S3.T1.60.m10.1.1"><root id="S3.T1.60.m10.1.1a.cmml" xref="S3.T1.60.m10.1.1"></root><apply id="S3.T1.60.m10.1.1.2.cmml" xref="S3.T1.60.m10.1.1.2"><times id="S3.T1.60.m10.1.1.2.1.cmml" xref="S3.T1.60.m10.1.1.2.1"></times><cn type="integer" id="S3.T1.60.m10.1.1.2.2.cmml" xref="S3.T1.60.m10.1.1.2.2">0</cn><ci id="S3.T1.60.m10.1.1.2.3.cmml" xref="S3.T1.60.m10.1.1.2.3">𝑝</ci><ci id="S3.T1.60.m10.1.1.2.4.cmml" xref="S3.T1.60.m10.1.1.2.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S3.T1.60.m10.1d">\sqrt{0pt}</annotation></semantics></math> smaller! The truth of the statement “the weights move only a negligible amount in wide neural networks” thus depends on whether this change is measured in entry size or spectral norm.</figcaption>
</figure>
</section>
</section>
<section id="S4" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">4 </span>Efficient implementation of the spectral scaling condition</h2>

<div id="S4.p1" class="ltx_para ltx_noindent">
<p id="S4.p1.2" class="ltx_p">We have thus far proposed the <span id="S4.p1.2.1" class="ltx_text ltx_font_italic">spectral scaling condition</span> (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) and argued in <a href="#S3" title="3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">3</span></a> that this condition induces feature learning.
We now explain how this condition can be implemented in practice. Several implementation strategies are possible because relations exist between different notions of matrix norm (<a href="#S3.T1" title="In 3.4 Uniqueness of spectral scaling condition ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Table</span> <span class="ltx_text ltx_ref_tag">1</span></a> provides a summary).
In this section, we first discuss an implementation via direct spectral normalization, and ultimately recover a more standard setup in which each layer’s weight matrix is controlled by an initialization scale <math id="S4.p1.1.m1.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S4.p1.1.m1.1a"><msub id="S4.p1.1.m1.1.1" xref="S4.p1.1.m1.1.1.cmml"><mi id="S4.p1.1.m1.1.1.2" xref="S4.p1.1.m1.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p1.1.m1.1.1.3" xref="S4.p1.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p1.1.m1.1b"><apply id="S4.p1.1.m1.1.1.cmml" xref="S4.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p1.1.m1.1.1.1.cmml" xref="S4.p1.1.m1.1.1">subscript</csymbol><ci id="S4.p1.1.m1.1.1.2.cmml" xref="S4.p1.1.m1.1.1.2">𝜎</ci><ci id="S4.p1.1.m1.1.1.3.cmml" xref="S4.p1.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.1.m1.1c">\sigma_{\ell}</annotation></semantics></math> and a (SGD) learning rate <math id="S4.p1.2.m2.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S4.p1.2.m2.1a"><msub id="S4.p1.2.m2.1.1" xref="S4.p1.2.m2.1.1.cmml"><mi id="S4.p1.2.m2.1.1.2" xref="S4.p1.2.m2.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S4.p1.2.m2.1.1.3" xref="S4.p1.2.m2.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p1.2.m2.1b"><apply id="S4.p1.2.m2.1.1.cmml" xref="S4.p1.2.m2.1.1"><csymbol cd="ambiguous" id="S4.p1.2.m2.1.1.1.cmml" xref="S4.p1.2.m2.1.1">subscript</csymbol><ci id="S4.p1.2.m2.1.1.2.cmml" xref="S4.p1.2.m2.1.1.2">𝜂</ci><ci id="S4.p1.2.m2.1.1.3.cmml" xref="S4.p1.2.m2.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p1.2.m2.1c">\eta_{\ell}</annotation></semantics></math> as follows:</p>
</div>
<div id="S4.p2" class="ltx_para ltx_noindent">
<svg id="S4.p2.pic1" class="ltx_picture" height="84.2" overflow="visible" version="1.1" width="600"><g transform="translate(0,84.2) matrix(1 0 0 -1 0 0)" fill="#000000" stroke="#000000" stroke-width="0.4pt"><g fill="#000000" fill-opacity="1.0"><path d="M 0 1.38 L 0 82.81 C 0 83.58 0.62 84.2 1.38 84.2 L 598.62 84.2 C 599.38 84.2 600 83.58 600 82.81 L 600 1.38 C 600 0.62 599.38 0 598.62 0 L 1.38 0 C 0.62 0 0 0.62 0 1.38 Z" style="stroke:none"></path></g><g fill="#FFFFFF" fill-opacity="1.0"><path d="M 1.38 1.38 L 1.38 82.81 L 598.62 82.81 L 598.62 1.38 Z" style="stroke:none"></path></g><g fill-opacity="1.0" transform="matrix(1.0 0.0 0.0 1.0 21.07 13.19)"><foreignObject width="557.86" height="57.81" transform="matrix(1 0 0 -1 0 16.6)" overflow="visible" color="#000000"><span id="S4.p2.pic1.1.1.1.1.1" class="ltx_inline-logical-block ltx_minipage ltx_align_bottom" style="width:403.2pt;">
<span id="Thmparametrization1" class="ltx_theorem ltx_theorem_parametrization">
<h6 class="ltx_title ltx_runin ltx_title_theorem" style="color:#000000;">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmparametrization1.1.1.1" class="ltx_text ltx_font_bold" style="color:#000000;">Parametrization 1</span></span><span id="Thmparametrization1.2.2" class="ltx_text ltx_font_bold" style="color:#000000;"> <span id="Thmparametrization1.2.2.1" class="ltx_text ltx_font_medium">(Spectral parametrization)</span>.</span>
</h6>
<span id="Thmparametrization1.p1" class="ltx_para">
<span id="Thmparametrization1.p1.1" class="ltx_p"><span id="Thmparametrization1.p1.1.1" class="ltx_text ltx_font_italic">We claim that the spectral scaling condition (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) is satisfied and feature learning is achieved (as per <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) if the initialization scale and learning rate of each layer <math id="Thmparametrization1.p1.1.1.m1.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="Thmparametrization1.p1.1.1.m1.1a"><mi mathvariant="normal" id="Thmparametrization1.p1.1.1.m1.1.1" xref="Thmparametrization1.p1.1.1.m1.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="Thmparametrization1.p1.1.1.m1.1b"><ci id="Thmparametrization1.p1.1.1.m1.1.1.cmml" xref="Thmparametrization1.p1.1.1.m1.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmparametrization1.p1.1.1.m1.1c">\ell</annotation></semantics></math> are chosen according to:</span></span>
<span id="S4.Ex5" class="ltx_equation ltx_eqn_table">

<span><span class="ltx_equation ltx_eqn_row ltx_align_baseline">
<span class="ltx_eqn_cell ltx_eqn_center_padleft"></span>
<span class="ltx_eqn_cell ltx_align_center"><math id="S4.Ex5.m1.5" class="ltx_Math" alttext="\sigma_{\ell}=\Theta\left(\frac{1}{\sqrt{0pt_{\ell-1}}}\min\left\{1,\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\right\}\right);\qquad\qquad\eta_{\ell}=\Theta\left(\frac{0pt_{\ell}}{0pt_{\ell-1}}\right)." display="block"><semantics id="S4.Ex5.m1.5a"><mrow id="S4.Ex5.m1.5.5.1"><mrow id="S4.Ex5.m1.5.5.1.1.2" xref="S4.Ex5.m1.5.5.1.1.3.cmml"><mrow id="S4.Ex5.m1.5.5.1.1.1.1" xref="S4.Ex5.m1.5.5.1.1.1.1.cmml"><msub id="S4.Ex5.m1.5.5.1.1.1.1.3" xref="S4.Ex5.m1.5.5.1.1.1.1.3.cmml"><mi id="S4.Ex5.m1.5.5.1.1.1.1.3.2" xref="S4.Ex5.m1.5.5.1.1.1.1.3.2.cmml">σ</mi><mi mathvariant="normal" id="S4.Ex5.m1.5.5.1.1.1.1.3.3" xref="S4.Ex5.m1.5.5.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo id="S4.Ex5.m1.5.5.1.1.1.1.2" xref="S4.Ex5.m1.5.5.1.1.1.1.2.cmml">=</mo><mrow id="S4.Ex5.m1.5.5.1.1.1.1.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.Ex5.m1.5.5.1.1.1.1.1.3" xref="S4.Ex5.m1.5.5.1.1.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.5.5.1.1.1.1.1.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.2.cmml">​</mo><mrow id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.cmml"><mo id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.cmml"><mfrac id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.cmml"><mn id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.2.cmml">1</mn><msqrt id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.cmml"><mrow id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.cmml"><mn id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.1.cmml">​</mo><mi id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.3" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.1a" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.1.cmml">​</mo><msub id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.cmml"><mi id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.2.cmml">t</mi><mrow id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.cmml"><mi mathvariant="normal" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.2.cmml">ℓ</mi><mo id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.1.cmml">−</mo><mn id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.3" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt></mfrac><mo lspace="0.167em" rspace="0em" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.1.cmml"><mi id="S4.Ex5.m1.1.1" xref="S4.Ex5.m1.1.1.cmml">min</mi><mo id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.2a" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.1.cmml">⁡</mo><mrow id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.2.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.1.cmml"><mo id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.2.1.1" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.1.cmml">{</mo><mn id="S4.Ex5.m1.2.2" xref="S4.Ex5.m1.2.2.cmml">1</mn><mo id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.2.1.2" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.1.cmml">,</mo><msqrt id="S4.Ex5.m1.3.3" xref="S4.Ex5.m1.3.3.cmml"><mfrac id="S4.Ex5.m1.3.3.2" xref="S4.Ex5.m1.3.3.2.cmml"><mrow id="S4.Ex5.m1.3.3.2.2" xref="S4.Ex5.m1.3.3.2.2.cmml"><mn id="S4.Ex5.m1.3.3.2.2.2" xref="S4.Ex5.m1.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.3.3.2.2.1" xref="S4.Ex5.m1.3.3.2.2.1.cmml">​</mo><mi id="S4.Ex5.m1.3.3.2.2.3" xref="S4.Ex5.m1.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.3.3.2.2.1a" xref="S4.Ex5.m1.3.3.2.2.1.cmml">​</mo><msub id="S4.Ex5.m1.3.3.2.2.4" xref="S4.Ex5.m1.3.3.2.2.4.cmml"><mi id="S4.Ex5.m1.3.3.2.2.4.2" xref="S4.Ex5.m1.3.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.Ex5.m1.3.3.2.2.4.3" xref="S4.Ex5.m1.3.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S4.Ex5.m1.3.3.2.3" xref="S4.Ex5.m1.3.3.2.3.cmml"><mn id="S4.Ex5.m1.3.3.2.3.2" xref="S4.Ex5.m1.3.3.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.3.3.2.3.1" xref="S4.Ex5.m1.3.3.2.3.1.cmml">​</mo><mi id="S4.Ex5.m1.3.3.2.3.3" xref="S4.Ex5.m1.3.3.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.3.3.2.3.1a" xref="S4.Ex5.m1.3.3.2.3.1.cmml">​</mo><msub id="S4.Ex5.m1.3.3.2.3.4" xref="S4.Ex5.m1.3.3.2.3.4.cmml"><mi id="S4.Ex5.m1.3.3.2.3.4.2" xref="S4.Ex5.m1.3.3.2.3.4.2.cmml">t</mi><mrow id="S4.Ex5.m1.3.3.2.3.4.3" xref="S4.Ex5.m1.3.3.2.3.4.3.cmml"><mi mathvariant="normal" id="S4.Ex5.m1.3.3.2.3.4.3.2" xref="S4.Ex5.m1.3.3.2.3.4.3.2.cmml">ℓ</mi><mo id="S4.Ex5.m1.3.3.2.3.4.3.1" xref="S4.Ex5.m1.3.3.2.3.4.3.1.cmml">−</mo><mn id="S4.Ex5.m1.3.3.2.3.4.3.3" xref="S4.Ex5.m1.3.3.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></msqrt><mo id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.2.1.3" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.1.cmml">}</mo></mrow></mrow></mrow><mo id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.3" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo rspace="4.167em" id="S4.Ex5.m1.5.5.1.1.2.3" xref="S4.Ex5.m1.5.5.1.1.3a.cmml">;</mo><mrow id="S4.Ex5.m1.5.5.1.1.2.2" xref="S4.Ex5.m1.5.5.1.1.2.2.cmml"><msub id="S4.Ex5.m1.5.5.1.1.2.2.2" xref="S4.Ex5.m1.5.5.1.1.2.2.2.cmml"><mi id="S4.Ex5.m1.5.5.1.1.2.2.2.2" xref="S4.Ex5.m1.5.5.1.1.2.2.2.2.cmml">η</mi><mi mathvariant="normal" id="S4.Ex5.m1.5.5.1.1.2.2.2.3" xref="S4.Ex5.m1.5.5.1.1.2.2.2.3.cmml">ℓ</mi></msub><mo id="S4.Ex5.m1.5.5.1.1.2.2.1" xref="S4.Ex5.m1.5.5.1.1.2.2.1.cmml">=</mo><mrow id="S4.Ex5.m1.5.5.1.1.2.2.3" xref="S4.Ex5.m1.5.5.1.1.2.2.3.cmml"><mi mathvariant="normal" id="S4.Ex5.m1.5.5.1.1.2.2.3.2" xref="S4.Ex5.m1.5.5.1.1.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.5.5.1.1.2.2.3.1" xref="S4.Ex5.m1.5.5.1.1.2.2.3.1.cmml">​</mo><mrow id="S4.Ex5.m1.5.5.1.1.2.2.3.3.2" xref="S4.Ex5.m1.4.4.cmml"><mo id="S4.Ex5.m1.5.5.1.1.2.2.3.3.2.1" xref="S4.Ex5.m1.4.4.cmml">(</mo><mfrac id="S4.Ex5.m1.4.4" xref="S4.Ex5.m1.4.4.cmml"><mrow id="S4.Ex5.m1.4.4.2" xref="S4.Ex5.m1.4.4.2.cmml"><mn id="S4.Ex5.m1.4.4.2.2" xref="S4.Ex5.m1.4.4.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.4.4.2.1" xref="S4.Ex5.m1.4.4.2.1.cmml">​</mo><mi id="S4.Ex5.m1.4.4.2.3" xref="S4.Ex5.m1.4.4.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.4.4.2.1a" xref="S4.Ex5.m1.4.4.2.1.cmml">​</mo><msub id="S4.Ex5.m1.4.4.2.4" xref="S4.Ex5.m1.4.4.2.4.cmml"><mi id="S4.Ex5.m1.4.4.2.4.2" xref="S4.Ex5.m1.4.4.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.Ex5.m1.4.4.2.4.3" xref="S4.Ex5.m1.4.4.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S4.Ex5.m1.4.4.3" xref="S4.Ex5.m1.4.4.3.cmml"><mn id="S4.Ex5.m1.4.4.3.2" xref="S4.Ex5.m1.4.4.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.4.4.3.1" xref="S4.Ex5.m1.4.4.3.1.cmml">​</mo><mi id="S4.Ex5.m1.4.4.3.3" xref="S4.Ex5.m1.4.4.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.Ex5.m1.4.4.3.1a" xref="S4.Ex5.m1.4.4.3.1.cmml">​</mo><msub id="S4.Ex5.m1.4.4.3.4" xref="S4.Ex5.m1.4.4.3.4.cmml"><mi id="S4.Ex5.m1.4.4.3.4.2" xref="S4.Ex5.m1.4.4.3.4.2.cmml">t</mi><mrow id="S4.Ex5.m1.4.4.3.4.3" xref="S4.Ex5.m1.4.4.3.4.3.cmml"><mi mathvariant="normal" id="S4.Ex5.m1.4.4.3.4.3.2" xref="S4.Ex5.m1.4.4.3.4.3.2.cmml">ℓ</mi><mo id="S4.Ex5.m1.4.4.3.4.3.1" xref="S4.Ex5.m1.4.4.3.4.3.1.cmml">−</mo><mn id="S4.Ex5.m1.4.4.3.4.3.3" xref="S4.Ex5.m1.4.4.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac><mo id="S4.Ex5.m1.5.5.1.1.2.2.3.3.2.2" xref="S4.Ex5.m1.4.4.cmml">)</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="S4.Ex5.m1.5.5.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.Ex5.m1.5b"><apply id="S4.Ex5.m1.5.5.1.1.3.cmml" xref="S4.Ex5.m1.5.5.1.1.2"><csymbol cd="ambiguous" id="S4.Ex5.m1.5.5.1.1.3a.cmml" xref="S4.Ex5.m1.5.5.1.1.2.3">formulae-sequence</csymbol><apply id="S4.Ex5.m1.5.5.1.1.1.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1"><eq id="S4.Ex5.m1.5.5.1.1.1.1.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.2"></eq><apply id="S4.Ex5.m1.5.5.1.1.1.1.3.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.Ex5.m1.5.5.1.1.1.1.3.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.3">subscript</csymbol><ci id="S4.Ex5.m1.5.5.1.1.1.1.3.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.3.2">𝜎</ci><ci id="S4.Ex5.m1.5.5.1.1.1.1.3.3.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.3.3">ℓ</ci></apply><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1"><times id="S4.Ex5.m1.5.5.1.1.1.1.1.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.2"></times><ci id="S4.Ex5.m1.5.5.1.1.1.1.1.3.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.3">Θ</ci><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1"><times id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.1"></times><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2"><divide id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2"></divide><cn type="integer" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.2">1</cn><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3"><root id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3a.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3"></root><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2"><times id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.1"></times><cn type="integer" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.2">0</cn><ci id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.3.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.3">𝑝</ci><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4"><csymbol cd="ambiguous" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4">subscript</csymbol><ci id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.2">𝑡</ci><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3"><minus id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.1"></minus><ci id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.2.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.2">ℓ</ci><cn type="integer" id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.3.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.2.3.2.4.3.3">1</cn></apply></apply></apply></apply></apply><apply id="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.Ex5.m1.5.5.1.1.1.1.1.1.1.1.3.2"><min id="S4.Ex5.m1.1.1.cmml" xref="S4.Ex5.m1.1.1"></min><cn type="integer" id="S4.Ex5.m1.2.2.cmml" xref="S4.Ex5.m1.2.2">1</cn><apply id="S4.Ex5.m1.3.3.cmml" xref="S4.Ex5.m1.3.3"><root id="S4.Ex5.m1.3.3a.cmml" xref="S4.Ex5.m1.3.3"></root><apply id="S4.Ex5.m1.3.3.2.cmml" xref="S4.Ex5.m1.3.3.2"><divide id="S4.Ex5.m1.3.3.2.1.cmml" xref="S4.Ex5.m1.3.3.2"></divide><apply id="S4.Ex5.m1.3.3.2.2.cmml" xref="S4.Ex5.m1.3.3.2.2"><times id="S4.Ex5.m1.3.3.2.2.1.cmml" xref="S4.Ex5.m1.3.3.2.2.1"></times><cn type="integer" id="S4.Ex5.m1.3.3.2.2.2.cmml" xref="S4.Ex5.m1.3.3.2.2.2">0</cn><ci id="S4.Ex5.m1.3.3.2.2.3.cmml" xref="S4.Ex5.m1.3.3.2.2.3">𝑝</ci><apply id="S4.Ex5.m1.3.3.2.2.4.cmml" xref="S4.Ex5.m1.3.3.2.2.4"><csymbol cd="ambiguous" id="S4.Ex5.m1.3.3.2.2.4.1.cmml" xref="S4.Ex5.m1.3.3.2.2.4">subscript</csymbol><ci id="S4.Ex5.m1.3.3.2.2.4.2.cmml" xref="S4.Ex5.m1.3.3.2.2.4.2">𝑡</ci><ci id="S4.Ex5.m1.3.3.2.2.4.3.cmml" xref="S4.Ex5.m1.3.3.2.2.4.3">ℓ</ci></apply></apply><apply id="S4.Ex5.m1.3.3.2.3.cmml" xref="S4.Ex5.m1.3.3.2.3"><times id="S4.Ex5.m1.3.3.2.3.1.cmml" xref="S4.Ex5.m1.3.3.2.3.1"></times><cn type="integer" id="S4.Ex5.m1.3.3.2.3.2.cmml" xref="S4.Ex5.m1.3.3.2.3.2">0</cn><ci id="S4.Ex5.m1.3.3.2.3.3.cmml" xref="S4.Ex5.m1.3.3.2.3.3">𝑝</ci><apply id="S4.Ex5.m1.3.3.2.3.4.cmml" xref="S4.Ex5.m1.3.3.2.3.4"><csymbol cd="ambiguous" id="S4.Ex5.m1.3.3.2.3.4.1.cmml" xref="S4.Ex5.m1.3.3.2.3.4">subscript</csymbol><ci id="S4.Ex5.m1.3.3.2.3.4.2.cmml" xref="S4.Ex5.m1.3.3.2.3.4.2">𝑡</ci><apply id="S4.Ex5.m1.3.3.2.3.4.3.cmml" xref="S4.Ex5.m1.3.3.2.3.4.3"><minus id="S4.Ex5.m1.3.3.2.3.4.3.1.cmml" xref="S4.Ex5.m1.3.3.2.3.4.3.1"></minus><ci id="S4.Ex5.m1.3.3.2.3.4.3.2.cmml" xref="S4.Ex5.m1.3.3.2.3.4.3.2">ℓ</ci><cn type="integer" id="S4.Ex5.m1.3.3.2.3.4.3.3.cmml" xref="S4.Ex5.m1.3.3.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply></apply></apply><apply id="S4.Ex5.m1.5.5.1.1.2.2.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2"><eq id="S4.Ex5.m1.5.5.1.1.2.2.1.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.1"></eq><apply id="S4.Ex5.m1.5.5.1.1.2.2.2.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.2"><csymbol cd="ambiguous" id="S4.Ex5.m1.5.5.1.1.2.2.2.1.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.2">subscript</csymbol><ci id="S4.Ex5.m1.5.5.1.1.2.2.2.2.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.2.2">𝜂</ci><ci id="S4.Ex5.m1.5.5.1.1.2.2.2.3.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.2.3">ℓ</ci></apply><apply id="S4.Ex5.m1.5.5.1.1.2.2.3.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.3"><times id="S4.Ex5.m1.5.5.1.1.2.2.3.1.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.3.1"></times><ci id="S4.Ex5.m1.5.5.1.1.2.2.3.2.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.3.2">Θ</ci><apply id="S4.Ex5.m1.4.4.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.3.3.2"><divide id="S4.Ex5.m1.4.4.1.cmml" xref="S4.Ex5.m1.5.5.1.1.2.2.3.3.2"></divide><apply id="S4.Ex5.m1.4.4.2.cmml" xref="S4.Ex5.m1.4.4.2"><times id="S4.Ex5.m1.4.4.2.1.cmml" xref="S4.Ex5.m1.4.4.2.1"></times><cn type="integer" id="S4.Ex5.m1.4.4.2.2.cmml" xref="S4.Ex5.m1.4.4.2.2">0</cn><ci id="S4.Ex5.m1.4.4.2.3.cmml" xref="S4.Ex5.m1.4.4.2.3">𝑝</ci><apply id="S4.Ex5.m1.4.4.2.4.cmml" xref="S4.Ex5.m1.4.4.2.4"><csymbol cd="ambiguous" id="S4.Ex5.m1.4.4.2.4.1.cmml" xref="S4.Ex5.m1.4.4.2.4">subscript</csymbol><ci id="S4.Ex5.m1.4.4.2.4.2.cmml" xref="S4.Ex5.m1.4.4.2.4.2">𝑡</ci><ci id="S4.Ex5.m1.4.4.2.4.3.cmml" xref="S4.Ex5.m1.4.4.2.4.3">ℓ</ci></apply></apply><apply id="S4.Ex5.m1.4.4.3.cmml" xref="S4.Ex5.m1.4.4.3"><times id="S4.Ex5.m1.4.4.3.1.cmml" xref="S4.Ex5.m1.4.4.3.1"></times><cn type="integer" id="S4.Ex5.m1.4.4.3.2.cmml" xref="S4.Ex5.m1.4.4.3.2">0</cn><ci id="S4.Ex5.m1.4.4.3.3.cmml" xref="S4.Ex5.m1.4.4.3.3">𝑝</ci><apply id="S4.Ex5.m1.4.4.3.4.cmml" xref="S4.Ex5.m1.4.4.3.4"><csymbol cd="ambiguous" id="S4.Ex5.m1.4.4.3.4.1.cmml" xref="S4.Ex5.m1.4.4.3.4">subscript</csymbol><ci id="S4.Ex5.m1.4.4.3.4.2.cmml" xref="S4.Ex5.m1.4.4.3.4.2">𝑡</ci><apply id="S4.Ex5.m1.4.4.3.4.3.cmml" xref="S4.Ex5.m1.4.4.3.4.3"><minus id="S4.Ex5.m1.4.4.3.4.3.1.cmml" xref="S4.Ex5.m1.4.4.3.4.3.1"></minus><ci id="S4.Ex5.m1.4.4.3.4.3.2.cmml" xref="S4.Ex5.m1.4.4.3.4.3.2">ℓ</ci><cn type="integer" id="S4.Ex5.m1.4.4.3.4.3.3.cmml" xref="S4.Ex5.m1.4.4.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.Ex5.m1.5c">\sigma_{\ell}=\Theta\left(\frac{1}{\sqrt{0pt_{\ell-1}}}\min\left\{1,\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\right\}\right);\qquad\qquad\eta_{\ell}=\Theta\left(\frac{0pt_{\ell}}{0pt_{\ell-1}}\right).</annotation></semantics></math></span>
<span class="ltx_eqn_cell ltx_eqn_center_padright"></span></span></span>
</span>
</span>
</span></span></foreignObject></g></g></svg>
</div>
<div id="S4.p3" class="ltx_para ltx_noindent">
<p id="S4.p3.4" class="ltx_p"><span id="S4.p3.4.1" class="ltx_text ltx_font_bold">Naïve method: direct spectral normalization.</span>
The most naïve way to impose <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> is to directly normalize the relevant quantities by their spectral norm.
For instance, to initialize the weight matrix <math id="S4.p3.1.m1.1" class="ltx_Math" alttext="\smash{{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}}" display="inline"><semantics id="S4.p3.1.m1.1a"><mrow id="S4.p3.1.m1.1.1" xref="S4.p3.1.m1.1.1.cmml"><msub id="S4.p3.1.m1.1.1.2" xref="S4.p3.1.m1.1.1.2.cmml"><mi id="S4.p3.1.m1.1.1.2.2" xref="S4.p3.1.m1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p3.1.m1.1.1.2.3" xref="S4.p3.1.m1.1.1.2.3.cmml">ℓ</mi></msub><mo id="S4.p3.1.m1.1.1.1" xref="S4.p3.1.m1.1.1.1.cmml">∈</mo><msup id="S4.p3.1.m1.1.1.3" xref="S4.p3.1.m1.1.1.3.cmml"><mi id="S4.p3.1.m1.1.1.3.2" xref="S4.p3.1.m1.1.1.3.2.cmml">ℝ</mi><mrow id="S4.p3.1.m1.1.1.3.3" xref="S4.p3.1.m1.1.1.3.3.cmml"><mrow id="S4.p3.1.m1.1.1.3.3.2" xref="S4.p3.1.m1.1.1.3.3.2.cmml"><mrow id="S4.p3.1.m1.1.1.3.3.2.2" xref="S4.p3.1.m1.1.1.3.3.2.2.cmml"><mn id="S4.p3.1.m1.1.1.3.3.2.2.2" xref="S4.p3.1.m1.1.1.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p3.1.m1.1.1.3.3.2.2.1" xref="S4.p3.1.m1.1.1.3.3.2.2.1.cmml">​</mo><mi id="S4.p3.1.m1.1.1.3.3.2.2.3" xref="S4.p3.1.m1.1.1.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p3.1.m1.1.1.3.3.2.2.1a" xref="S4.p3.1.m1.1.1.3.3.2.2.1.cmml">​</mo><msub id="S4.p3.1.m1.1.1.3.3.2.2.4" xref="S4.p3.1.m1.1.1.3.3.2.2.4.cmml"><mi id="S4.p3.1.m1.1.1.3.3.2.2.4.2" xref="S4.p3.1.m1.1.1.3.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p3.1.m1.1.1.3.3.2.2.4.3" xref="S4.p3.1.m1.1.1.3.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="S4.p3.1.m1.1.1.3.3.2.1" xref="S4.p3.1.m1.1.1.3.3.2.1.cmml">×</mo><mn id="S4.p3.1.m1.1.1.3.3.2.3" xref="S4.p3.1.m1.1.1.3.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p3.1.m1.1.1.3.3.1" xref="S4.p3.1.m1.1.1.3.3.1.cmml">​</mo><mi id="S4.p3.1.m1.1.1.3.3.3" xref="S4.p3.1.m1.1.1.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p3.1.m1.1.1.3.3.1a" xref="S4.p3.1.m1.1.1.3.3.1.cmml">​</mo><msub id="S4.p3.1.m1.1.1.3.3.4" xref="S4.p3.1.m1.1.1.3.3.4.cmml"><mi id="S4.p3.1.m1.1.1.3.3.4.2" xref="S4.p3.1.m1.1.1.3.3.4.2.cmml">t</mi><mrow id="S4.p3.1.m1.1.1.3.3.4.3" xref="S4.p3.1.m1.1.1.3.3.4.3.cmml"><mi mathvariant="normal" id="S4.p3.1.m1.1.1.3.3.4.3.2" xref="S4.p3.1.m1.1.1.3.3.4.3.2.cmml">ℓ</mi><mo id="S4.p3.1.m1.1.1.3.3.4.3.1" xref="S4.p3.1.m1.1.1.3.3.4.3.1.cmml">−</mo><mn id="S4.p3.1.m1.1.1.3.3.4.3.3" xref="S4.p3.1.m1.1.1.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="S4.p3.1.m1.1b"><apply id="S4.p3.1.m1.1.1.cmml" xref="S4.p3.1.m1.1.1"><in id="S4.p3.1.m1.1.1.1.cmml" xref="S4.p3.1.m1.1.1.1"></in><apply id="S4.p3.1.m1.1.1.2.cmml" xref="S4.p3.1.m1.1.1.2"><csymbol cd="ambiguous" id="S4.p3.1.m1.1.1.2.1.cmml" xref="S4.p3.1.m1.1.1.2">subscript</csymbol><ci id="S4.p3.1.m1.1.1.2.2.cmml" xref="S4.p3.1.m1.1.1.2.2">𝑾</ci><ci id="S4.p3.1.m1.1.1.2.3.cmml" xref="S4.p3.1.m1.1.1.2.3">ℓ</ci></apply><apply id="S4.p3.1.m1.1.1.3.cmml" xref="S4.p3.1.m1.1.1.3"><csymbol cd="ambiguous" id="S4.p3.1.m1.1.1.3.1.cmml" xref="S4.p3.1.m1.1.1.3">superscript</csymbol><ci id="S4.p3.1.m1.1.1.3.2.cmml" xref="S4.p3.1.m1.1.1.3.2">ℝ</ci><apply id="S4.p3.1.m1.1.1.3.3.cmml" xref="S4.p3.1.m1.1.1.3.3"><times id="S4.p3.1.m1.1.1.3.3.1.cmml" xref="S4.p3.1.m1.1.1.3.3.1"></times><apply id="S4.p3.1.m1.1.1.3.3.2.cmml" xref="S4.p3.1.m1.1.1.3.3.2"><times id="S4.p3.1.m1.1.1.3.3.2.1.cmml" xref="S4.p3.1.m1.1.1.3.3.2.1"></times><apply id="S4.p3.1.m1.1.1.3.3.2.2.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2"><times id="S4.p3.1.m1.1.1.3.3.2.2.1.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2.1"></times><cn type="integer" id="S4.p3.1.m1.1.1.3.3.2.2.2.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2.2">0</cn><ci id="S4.p3.1.m1.1.1.3.3.2.2.3.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2.3">𝑝</ci><apply id="S4.p3.1.m1.1.1.3.3.2.2.4.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2.4"><csymbol cd="ambiguous" id="S4.p3.1.m1.1.1.3.3.2.2.4.1.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2.4">subscript</csymbol><ci id="S4.p3.1.m1.1.1.3.3.2.2.4.2.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2.4.2">𝑡</ci><ci id="S4.p3.1.m1.1.1.3.3.2.2.4.3.cmml" xref="S4.p3.1.m1.1.1.3.3.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p3.1.m1.1.1.3.3.2.3.cmml" xref="S4.p3.1.m1.1.1.3.3.2.3">0</cn></apply><ci id="S4.p3.1.m1.1.1.3.3.3.cmml" xref="S4.p3.1.m1.1.1.3.3.3">𝑝</ci><apply id="S4.p3.1.m1.1.1.3.3.4.cmml" xref="S4.p3.1.m1.1.1.3.3.4"><csymbol cd="ambiguous" id="S4.p3.1.m1.1.1.3.3.4.1.cmml" xref="S4.p3.1.m1.1.1.3.3.4">subscript</csymbol><ci id="S4.p3.1.m1.1.1.3.3.4.2.cmml" xref="S4.p3.1.m1.1.1.3.3.4.2">𝑡</ci><apply id="S4.p3.1.m1.1.1.3.3.4.3.cmml" xref="S4.p3.1.m1.1.1.3.3.4.3"><minus id="S4.p3.1.m1.1.1.3.3.4.3.1.cmml" xref="S4.p3.1.m1.1.1.3.3.4.3.1"></minus><ci id="S4.p3.1.m1.1.1.3.3.4.3.2.cmml" xref="S4.p3.1.m1.1.1.3.3.4.3.2">ℓ</ci><cn type="integer" id="S4.p3.1.m1.1.1.3.3.4.3.3.cmml" xref="S4.p3.1.m1.1.1.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.1.m1.1c">\smash{{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}}</annotation></semantics></math> at the <math id="S4.p3.2.m2.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="S4.p3.2.m2.1a"><mi mathvariant="normal" id="S4.p3.2.m2.1.1" xref="S4.p3.2.m2.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S4.p3.2.m2.1b"><ci id="S4.p3.2.m2.1.1.cmml" xref="S4.p3.2.m2.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.2.m2.1c">\ell</annotation></semantics></math>th layer to have spectral norm <math id="S4.p3.3.m3.1" class="ltx_Math" alttext="\smash{\sqrt{0pt_{\ell}/0pt_{\ell-1}}}" display="inline"><semantics id="S4.p3.3.m3.1a"><msqrt id="S4.p3.3.m3.1.1" xref="S4.p3.3.m3.1.1.cmml"><mrow id="S4.p3.3.m3.1.1.2" xref="S4.p3.3.m3.1.1.2.cmml"><mrow id="S4.p3.3.m3.1.1.2.2" xref="S4.p3.3.m3.1.1.2.2.cmml"><mrow id="S4.p3.3.m3.1.1.2.2.2" xref="S4.p3.3.m3.1.1.2.2.2.cmml"><mn id="S4.p3.3.m3.1.1.2.2.2.2" xref="S4.p3.3.m3.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p3.3.m3.1.1.2.2.2.1" xref="S4.p3.3.m3.1.1.2.2.2.1.cmml">​</mo><mi id="S4.p3.3.m3.1.1.2.2.2.3" xref="S4.p3.3.m3.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p3.3.m3.1.1.2.2.2.1a" xref="S4.p3.3.m3.1.1.2.2.2.1.cmml">​</mo><msub id="S4.p3.3.m3.1.1.2.2.2.4" xref="S4.p3.3.m3.1.1.2.2.2.4.cmml"><mi id="S4.p3.3.m3.1.1.2.2.2.4.2" xref="S4.p3.3.m3.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p3.3.m3.1.1.2.2.2.4.3" xref="S4.p3.3.m3.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p3.3.m3.1.1.2.2.1" xref="S4.p3.3.m3.1.1.2.2.1.cmml">/</mo><mn id="S4.p3.3.m3.1.1.2.2.3" xref="S4.p3.3.m3.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p3.3.m3.1.1.2.1" xref="S4.p3.3.m3.1.1.2.1.cmml">​</mo><mi id="S4.p3.3.m3.1.1.2.3" xref="S4.p3.3.m3.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p3.3.m3.1.1.2.1a" xref="S4.p3.3.m3.1.1.2.1.cmml">​</mo><msub id="S4.p3.3.m3.1.1.2.4" xref="S4.p3.3.m3.1.1.2.4.cmml"><mi id="S4.p3.3.m3.1.1.2.4.2" xref="S4.p3.3.m3.1.1.2.4.2.cmml">t</mi><mrow id="S4.p3.3.m3.1.1.2.4.3" xref="S4.p3.3.m3.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S4.p3.3.m3.1.1.2.4.3.2" xref="S4.p3.3.m3.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S4.p3.3.m3.1.1.2.4.3.1" xref="S4.p3.3.m3.1.1.2.4.3.1.cmml">−</mo><mn id="S4.p3.3.m3.1.1.2.4.3.3" xref="S4.p3.3.m3.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S4.p3.3.m3.1b"><apply id="S4.p3.3.m3.1.1.cmml" xref="S4.p3.3.m3.1.1"><root id="S4.p3.3.m3.1.1a.cmml" xref="S4.p3.3.m3.1.1"></root><apply id="S4.p3.3.m3.1.1.2.cmml" xref="S4.p3.3.m3.1.1.2"><times id="S4.p3.3.m3.1.1.2.1.cmml" xref="S4.p3.3.m3.1.1.2.1"></times><apply id="S4.p3.3.m3.1.1.2.2.cmml" xref="S4.p3.3.m3.1.1.2.2"><divide id="S4.p3.3.m3.1.1.2.2.1.cmml" xref="S4.p3.3.m3.1.1.2.2.1"></divide><apply id="S4.p3.3.m3.1.1.2.2.2.cmml" xref="S4.p3.3.m3.1.1.2.2.2"><times id="S4.p3.3.m3.1.1.2.2.2.1.cmml" xref="S4.p3.3.m3.1.1.2.2.2.1"></times><cn type="integer" id="S4.p3.3.m3.1.1.2.2.2.2.cmml" xref="S4.p3.3.m3.1.1.2.2.2.2">0</cn><ci id="S4.p3.3.m3.1.1.2.2.2.3.cmml" xref="S4.p3.3.m3.1.1.2.2.2.3">𝑝</ci><apply id="S4.p3.3.m3.1.1.2.2.2.4.cmml" xref="S4.p3.3.m3.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S4.p3.3.m3.1.1.2.2.2.4.1.cmml" xref="S4.p3.3.m3.1.1.2.2.2.4">subscript</csymbol><ci id="S4.p3.3.m3.1.1.2.2.2.4.2.cmml" xref="S4.p3.3.m3.1.1.2.2.2.4.2">𝑡</ci><ci id="S4.p3.3.m3.1.1.2.2.2.4.3.cmml" xref="S4.p3.3.m3.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p3.3.m3.1.1.2.2.3.cmml" xref="S4.p3.3.m3.1.1.2.2.3">0</cn></apply><ci id="S4.p3.3.m3.1.1.2.3.cmml" xref="S4.p3.3.m3.1.1.2.3">𝑝</ci><apply id="S4.p3.3.m3.1.1.2.4.cmml" xref="S4.p3.3.m3.1.1.2.4"><csymbol cd="ambiguous" id="S4.p3.3.m3.1.1.2.4.1.cmml" xref="S4.p3.3.m3.1.1.2.4">subscript</csymbol><ci id="S4.p3.3.m3.1.1.2.4.2.cmml" xref="S4.p3.3.m3.1.1.2.4.2">𝑡</ci><apply id="S4.p3.3.m3.1.1.2.4.3.cmml" xref="S4.p3.3.m3.1.1.2.4.3"><minus id="S4.p3.3.m3.1.1.2.4.3.1.cmml" xref="S4.p3.3.m3.1.1.2.4.3.1"></minus><ci id="S4.p3.3.m3.1.1.2.4.3.2.cmml" xref="S4.p3.3.m3.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p3.3.m3.1.1.2.4.3.3.cmml" xref="S4.p3.3.m3.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.3.m3.1c">\smash{\sqrt{0pt_{\ell}/0pt_{\ell-1}}}</annotation></semantics></math>, one could sample a temporary matrix <math id="S4.p3.4.m4.1" class="ltx_Math" alttext="{\bm{W}}^{\prime}_{\ell}" display="inline"><semantics id="S4.p3.4.m4.1a"><msubsup id="S4.p3.4.m4.1.1" xref="S4.p3.4.m4.1.1.cmml"><mi id="S4.p3.4.m4.1.1.2.2" xref="S4.p3.4.m4.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p3.4.m4.1.1.3" xref="S4.p3.4.m4.1.1.3.cmml">ℓ</mi><mo id="S4.p3.4.m4.1.1.2.3" xref="S4.p3.4.m4.1.1.2.3.cmml">′</mo></msubsup><annotation-xml encoding="MathML-Content" id="S4.p3.4.m4.1b"><apply id="S4.p3.4.m4.1.1.cmml" xref="S4.p3.4.m4.1.1"><csymbol cd="ambiguous" id="S4.p3.4.m4.1.1.1.cmml" xref="S4.p3.4.m4.1.1">subscript</csymbol><apply id="S4.p3.4.m4.1.1.2.cmml" xref="S4.p3.4.m4.1.1"><csymbol cd="ambiguous" id="S4.p3.4.m4.1.1.2.1.cmml" xref="S4.p3.4.m4.1.1">superscript</csymbol><ci id="S4.p3.4.m4.1.1.2.2.cmml" xref="S4.p3.4.m4.1.1.2.2">𝑾</ci><ci id="S4.p3.4.m4.1.1.2.3.cmml" xref="S4.p3.4.m4.1.1.2.3">′</ci></apply><ci id="S4.p3.4.m4.1.1.3.cmml" xref="S4.p3.4.m4.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.4.m4.1c">{\bm{W}}^{\prime}_{\ell}</annotation></semantics></math> using any standard initializer and then re-normalize according to:</p>
<table id="A5.EGx5" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="S4.E16"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="S4.E16.m1.2" class="ltx_Math" alttext="\displaystyle{\bm{W}}_{\ell}=\sigma\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\times\frac{{\bm{W}}^{\prime}_{\ell}}{\left|\!\left|{\bm{W}}^{\prime}_{\ell}\right|\!\right|_{*}}," display="inline"><semantics id="S4.E16.m1.2a"><mrow id="S4.E16.m1.2.2.1" xref="S4.E16.m1.2.2.1.1.cmml"><mrow id="S4.E16.m1.2.2.1.1" xref="S4.E16.m1.2.2.1.1.cmml"><msub id="S4.E16.m1.2.2.1.1.2" xref="S4.E16.m1.2.2.1.1.2.cmml"><mi id="S4.E16.m1.2.2.1.1.2.2" xref="S4.E16.m1.2.2.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E16.m1.2.2.1.1.2.3" xref="S4.E16.m1.2.2.1.1.2.3.cmml">ℓ</mi></msub><mo id="S4.E16.m1.2.2.1.1.1" xref="S4.E16.m1.2.2.1.1.1.cmml">=</mo><mrow id="S4.E16.m1.2.2.1.1.3" xref="S4.E16.m1.2.2.1.1.3.cmml"><mrow id="S4.E16.m1.2.2.1.1.3.2" xref="S4.E16.m1.2.2.1.1.3.2.cmml"><mi id="S4.E16.m1.2.2.1.1.3.2.2" xref="S4.E16.m1.2.2.1.1.3.2.2.cmml">σ</mi><mo lspace="0em" rspace="0em" id="S4.E16.m1.2.2.1.1.3.2.1" xref="S4.E16.m1.2.2.1.1.3.2.1.cmml">​</mo><msqrt id="S4.E16.m1.2.2.1.1.3.2.3" xref="S4.E16.m1.2.2.1.1.3.2.3.cmml"><mstyle displaystyle="true" id="S4.E16.m1.2.2.1.1.3.2.3.2" xref="S4.E16.m1.2.2.1.1.3.2.3.2.cmml"><mfrac id="S4.E16.m1.2.2.1.1.3.2.3.2a" xref="S4.E16.m1.2.2.1.1.3.2.3.2.cmml"><mrow id="S4.E16.m1.2.2.1.1.3.2.3.2.2" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.cmml"><mn id="S4.E16.m1.2.2.1.1.3.2.3.2.2.2" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.E16.m1.2.2.1.1.3.2.3.2.2.1" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.1.cmml">​</mo><mi id="S4.E16.m1.2.2.1.1.3.2.3.2.2.3" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.E16.m1.2.2.1.1.3.2.3.2.2.1a" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.1.cmml">​</mo><msub id="S4.E16.m1.2.2.1.1.3.2.3.2.2.4" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.cmml"><mi id="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.2" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.3" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S4.E16.m1.2.2.1.1.3.2.3.2.3" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.cmml"><mn id="S4.E16.m1.2.2.1.1.3.2.3.2.3.2" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.E16.m1.2.2.1.1.3.2.3.2.3.1" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.1.cmml">​</mo><mi id="S4.E16.m1.2.2.1.1.3.2.3.2.3.3" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.E16.m1.2.2.1.1.3.2.3.2.3.1a" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.1.cmml">​</mo><msub id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.cmml"><mi id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.2" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.2.cmml">t</mi><mrow id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.cmml"><mi mathvariant="normal" id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.2" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.2.cmml">ℓ</mi><mo id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.1" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.1.cmml">−</mo><mn id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.3" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></mstyle></msqrt></mrow><mo lspace="0.222em" rspace="0.222em" id="S4.E16.m1.2.2.1.1.3.1" xref="S4.E16.m1.2.2.1.1.3.1.cmml">×</mo><mstyle displaystyle="true" id="S4.E16.m1.1.1" xref="S4.E16.m1.1.1.cmml"><mfrac id="S4.E16.m1.1.1a" xref="S4.E16.m1.1.1.cmml"><msubsup id="S4.E16.m1.1.1.3" xref="S4.E16.m1.1.1.3.cmml"><mi id="S4.E16.m1.1.1.3.2.2" xref="S4.E16.m1.1.1.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E16.m1.1.1.3.3" xref="S4.E16.m1.1.1.3.3.cmml">ℓ</mi><mo id="S4.E16.m1.1.1.3.2.3" xref="S4.E16.m1.1.1.3.2.3.cmml">′</mo></msubsup><msub id="S4.E16.m1.1.1.1" xref="S4.E16.m1.1.1.1.cmml"><mrow id="S4.E16.m1.1.1.1.1.1" xref="S4.E16.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.E16.m1.1.1.1.1.1.2" xref="S4.E16.m1.1.1.1.1.2.1.cmml">‖</mo><msubsup id="S4.E16.m1.1.1.1.1.1.1" xref="S4.E16.m1.1.1.1.1.1.1.cmml"><mi id="S4.E16.m1.1.1.1.1.1.1.2.2" xref="S4.E16.m1.1.1.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E16.m1.1.1.1.1.1.1.3" xref="S4.E16.m1.1.1.1.1.1.1.3.cmml">ℓ</mi><mo id="S4.E16.m1.1.1.1.1.1.1.2.3" xref="S4.E16.m1.1.1.1.1.1.1.2.3.cmml">′</mo></msubsup><mo stretchy="false" id="S4.E16.m1.1.1.1.1.1.3" xref="S4.E16.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.E16.m1.1.1.1.3" xref="S4.E16.m1.1.1.1.3.cmml">∗</mo></msub></mfrac></mstyle></mrow></mrow><mo id="S4.E16.m1.2.2.1.2" xref="S4.E16.m1.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E16.m1.2b"><apply id="S4.E16.m1.2.2.1.1.cmml" xref="S4.E16.m1.2.2.1"><eq id="S4.E16.m1.2.2.1.1.1.cmml" xref="S4.E16.m1.2.2.1.1.1"></eq><apply id="S4.E16.m1.2.2.1.1.2.cmml" xref="S4.E16.m1.2.2.1.1.2"><csymbol cd="ambiguous" id="S4.E16.m1.2.2.1.1.2.1.cmml" xref="S4.E16.m1.2.2.1.1.2">subscript</csymbol><ci id="S4.E16.m1.2.2.1.1.2.2.cmml" xref="S4.E16.m1.2.2.1.1.2.2">𝑾</ci><ci id="S4.E16.m1.2.2.1.1.2.3.cmml" xref="S4.E16.m1.2.2.1.1.2.3">ℓ</ci></apply><apply id="S4.E16.m1.2.2.1.1.3.cmml" xref="S4.E16.m1.2.2.1.1.3"><times id="S4.E16.m1.2.2.1.1.3.1.cmml" xref="S4.E16.m1.2.2.1.1.3.1"></times><apply id="S4.E16.m1.2.2.1.1.3.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2"><times id="S4.E16.m1.2.2.1.1.3.2.1.cmml" xref="S4.E16.m1.2.2.1.1.3.2.1"></times><ci id="S4.E16.m1.2.2.1.1.3.2.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.2">𝜎</ci><apply id="S4.E16.m1.2.2.1.1.3.2.3.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3"><root id="S4.E16.m1.2.2.1.1.3.2.3a.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3"></root><apply id="S4.E16.m1.2.2.1.1.3.2.3.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2"><divide id="S4.E16.m1.2.2.1.1.3.2.3.2.1.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2"></divide><apply id="S4.E16.m1.2.2.1.1.3.2.3.2.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2"><times id="S4.E16.m1.2.2.1.1.3.2.3.2.2.1.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.1"></times><cn type="integer" id="S4.E16.m1.2.2.1.1.3.2.3.2.2.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.2">0</cn><ci id="S4.E16.m1.2.2.1.1.3.2.3.2.2.3.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.3">𝑝</ci><apply id="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.4"><csymbol cd="ambiguous" id="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.1.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.4">subscript</csymbol><ci id="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.2">𝑡</ci><ci id="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.3.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.2.4.3">ℓ</ci></apply></apply><apply id="S4.E16.m1.2.2.1.1.3.2.3.2.3.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3"><times id="S4.E16.m1.2.2.1.1.3.2.3.2.3.1.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.1"></times><cn type="integer" id="S4.E16.m1.2.2.1.1.3.2.3.2.3.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.2">0</cn><ci id="S4.E16.m1.2.2.1.1.3.2.3.2.3.3.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.3">𝑝</ci><apply id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4"><csymbol cd="ambiguous" id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.1.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4">subscript</csymbol><ci id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.2">𝑡</ci><apply id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3"><minus id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.1.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.1"></minus><ci id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.2.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.2">ℓ</ci><cn type="integer" id="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.3.cmml" xref="S4.E16.m1.2.2.1.1.3.2.3.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply><apply id="S4.E16.m1.1.1.cmml" xref="S4.E16.m1.1.1"><divide id="S4.E16.m1.1.1.2.cmml" xref="S4.E16.m1.1.1"></divide><apply id="S4.E16.m1.1.1.3.cmml" xref="S4.E16.m1.1.1.3"><csymbol cd="ambiguous" id="S4.E16.m1.1.1.3.1.cmml" xref="S4.E16.m1.1.1.3">subscript</csymbol><apply id="S4.E16.m1.1.1.3.2.cmml" xref="S4.E16.m1.1.1.3"><csymbol cd="ambiguous" id="S4.E16.m1.1.1.3.2.1.cmml" xref="S4.E16.m1.1.1.3">superscript</csymbol><ci id="S4.E16.m1.1.1.3.2.2.cmml" xref="S4.E16.m1.1.1.3.2.2">𝑾</ci><ci id="S4.E16.m1.1.1.3.2.3.cmml" xref="S4.E16.m1.1.1.3.2.3">′</ci></apply><ci id="S4.E16.m1.1.1.3.3.cmml" xref="S4.E16.m1.1.1.3.3">ℓ</ci></apply><apply id="S4.E16.m1.1.1.1.cmml" xref="S4.E16.m1.1.1.1"><csymbol cd="ambiguous" id="S4.E16.m1.1.1.1.2.cmml" xref="S4.E16.m1.1.1.1">subscript</csymbol><apply id="S4.E16.m1.1.1.1.1.2.cmml" xref="S4.E16.m1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E16.m1.1.1.1.1.2.1.cmml" xref="S4.E16.m1.1.1.1.1.1.2">norm</csymbol><apply id="S4.E16.m1.1.1.1.1.1.1.cmml" xref="S4.E16.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E16.m1.1.1.1.1.1.1.1.cmml" xref="S4.E16.m1.1.1.1.1.1.1">subscript</csymbol><apply id="S4.E16.m1.1.1.1.1.1.1.2.cmml" xref="S4.E16.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E16.m1.1.1.1.1.1.1.2.1.cmml" xref="S4.E16.m1.1.1.1.1.1.1">superscript</csymbol><ci id="S4.E16.m1.1.1.1.1.1.1.2.2.cmml" xref="S4.E16.m1.1.1.1.1.1.1.2.2">𝑾</ci><ci id="S4.E16.m1.1.1.1.1.1.1.2.3.cmml" xref="S4.E16.m1.1.1.1.1.1.1.2.3">′</ci></apply><ci id="S4.E16.m1.1.1.1.1.1.1.3.cmml" xref="S4.E16.m1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S4.E16.m1.1.1.1.3.cmml" xref="S4.E16.m1.1.1.1.3"></times></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E16.m1.2c">\displaystyle{\bm{W}}_{\ell}=\sigma\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\times\frac{{\bm{W}}^{\prime}_{\ell}}{\left|\!\left|{\bm{W}}^{\prime}_{\ell}\right|\!\right|_{*}},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(16)</span></td>
</tr></tbody>
</table>
<p id="S4.p3.6" class="ltx_p">where <math id="S4.p3.5.m1.1" class="ltx_Math" alttext="\sigma=\Theta(1)" display="inline"><semantics id="S4.p3.5.m1.1a"><mrow id="S4.p3.5.m1.1.2" xref="S4.p3.5.m1.1.2.cmml"><mi id="S4.p3.5.m1.1.2.2" xref="S4.p3.5.m1.1.2.2.cmml">σ</mi><mo id="S4.p3.5.m1.1.2.1" xref="S4.p3.5.m1.1.2.1.cmml">=</mo><mrow id="S4.p3.5.m1.1.2.3" xref="S4.p3.5.m1.1.2.3.cmml"><mi mathvariant="normal" id="S4.p3.5.m1.1.2.3.2" xref="S4.p3.5.m1.1.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p3.5.m1.1.2.3.1" xref="S4.p3.5.m1.1.2.3.1.cmml">​</mo><mrow id="S4.p3.5.m1.1.2.3.3.2" xref="S4.p3.5.m1.1.2.3.cmml"><mo stretchy="false" id="S4.p3.5.m1.1.2.3.3.2.1" xref="S4.p3.5.m1.1.2.3.cmml">(</mo><mn id="S4.p3.5.m1.1.1" xref="S4.p3.5.m1.1.1.cmml">1</mn><mo stretchy="false" id="S4.p3.5.m1.1.2.3.3.2.2" xref="S4.p3.5.m1.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p3.5.m1.1b"><apply id="S4.p3.5.m1.1.2.cmml" xref="S4.p3.5.m1.1.2"><eq id="S4.p3.5.m1.1.2.1.cmml" xref="S4.p3.5.m1.1.2.1"></eq><ci id="S4.p3.5.m1.1.2.2.cmml" xref="S4.p3.5.m1.1.2.2">𝜎</ci><apply id="S4.p3.5.m1.1.2.3.cmml" xref="S4.p3.5.m1.1.2.3"><times id="S4.p3.5.m1.1.2.3.1.cmml" xref="S4.p3.5.m1.1.2.3.1"></times><ci id="S4.p3.5.m1.1.2.3.2.cmml" xref="S4.p3.5.m1.1.2.3.2">Θ</ci><cn type="integer" id="S4.p3.5.m1.1.1.cmml" xref="S4.p3.5.m1.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.5.m1.1c">\sigma=\Theta(1)</annotation></semantics></math> is a width-independent prefactor.
Similarly, to ensure that the gradient step <math id="S4.p3.6.m2.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S4.p3.6.m2.1a"><mrow id="S4.p3.6.m2.1.1" xref="S4.p3.6.m2.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.p3.6.m2.1.1.2" xref="S4.p3.6.m2.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.p3.6.m2.1.1.1" xref="S4.p3.6.m2.1.1.1.cmml">​</mo><msub id="S4.p3.6.m2.1.1.3" xref="S4.p3.6.m2.1.1.3.cmml"><mi id="S4.p3.6.m2.1.1.3.2" xref="S4.p3.6.m2.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p3.6.m2.1.1.3.3" xref="S4.p3.6.m2.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.p3.6.m2.1b"><apply id="S4.p3.6.m2.1.1.cmml" xref="S4.p3.6.m2.1.1"><times id="S4.p3.6.m2.1.1.1.cmml" xref="S4.p3.6.m2.1.1.1"></times><ci id="S4.p3.6.m2.1.1.2.cmml" xref="S4.p3.6.m2.1.1.2">Δ</ci><apply id="S4.p3.6.m2.1.1.3.cmml" xref="S4.p3.6.m2.1.1.3"><csymbol cd="ambiguous" id="S4.p3.6.m2.1.1.3.1.cmml" xref="S4.p3.6.m2.1.1.3">subscript</csymbol><ci id="S4.p3.6.m2.1.1.3.2.cmml" xref="S4.p3.6.m2.1.1.3.2">𝑾</ci><ci id="S4.p3.6.m2.1.1.3.3.cmml" xref="S4.p3.6.m2.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.6.m2.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> also has a spectral norm of the proper size, one might spectrally normalize the gradient according to:</p>
<table id="S4.E17" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S4.E17.m1.2" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}=-\eta\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\times\frac{\nabla_{{\bm{W}}_{\ell}}\mathcal{L}}{\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}}," display="block"><semantics id="S4.E17.m1.2a"><mrow id="S4.E17.m1.2.2.1" xref="S4.E17.m1.2.2.1.1.cmml"><mrow id="S4.E17.m1.2.2.1.1" xref="S4.E17.m1.2.2.1.1.cmml"><mrow id="S4.E17.m1.2.2.1.1.2" xref="S4.E17.m1.2.2.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.E17.m1.2.2.1.1.2.2" xref="S4.E17.m1.2.2.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.E17.m1.2.2.1.1.2.1" xref="S4.E17.m1.2.2.1.1.2.1.cmml">​</mo><msub id="S4.E17.m1.2.2.1.1.2.3" xref="S4.E17.m1.2.2.1.1.2.3.cmml"><mi id="S4.E17.m1.2.2.1.1.2.3.2" xref="S4.E17.m1.2.2.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E17.m1.2.2.1.1.2.3.3" xref="S4.E17.m1.2.2.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="S4.E17.m1.2.2.1.1.1" xref="S4.E17.m1.2.2.1.1.1.cmml">=</mo><mrow id="S4.E17.m1.2.2.1.1.3" xref="S4.E17.m1.2.2.1.1.3.cmml"><mo id="S4.E17.m1.2.2.1.1.3a" xref="S4.E17.m1.2.2.1.1.3.cmml">−</mo><mrow id="S4.E17.m1.2.2.1.1.3.2" xref="S4.E17.m1.2.2.1.1.3.2.cmml"><mrow id="S4.E17.m1.2.2.1.1.3.2.2" xref="S4.E17.m1.2.2.1.1.3.2.2.cmml"><mi id="S4.E17.m1.2.2.1.1.3.2.2.2" xref="S4.E17.m1.2.2.1.1.3.2.2.2.cmml">η</mi><mo lspace="0em" rspace="0em" id="S4.E17.m1.2.2.1.1.3.2.2.1" xref="S4.E17.m1.2.2.1.1.3.2.2.1.cmml">​</mo><msqrt id="S4.E17.m1.2.2.1.1.3.2.2.3" xref="S4.E17.m1.2.2.1.1.3.2.2.3.cmml"><mfrac id="S4.E17.m1.2.2.1.1.3.2.2.3.2" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.cmml"><mrow id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.cmml"><mn id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.2" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.1" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.1.cmml">​</mo><mi id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.3" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.1a" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.1.cmml">​</mo><msub id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.cmml"><mi id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.2" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.3" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mrow id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.cmml"><mn id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.2" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.1" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.1.cmml">​</mo><mi id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.3" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.1a" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.1.cmml">​</mo><msub id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.cmml"><mi id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.2" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.2.cmml">t</mi><mrow id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.cmml"><mi mathvariant="normal" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.2" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.2.cmml">ℓ</mi><mo id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.1" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.1.cmml">−</mo><mn id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.3" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></msqrt></mrow><mo lspace="0.222em" rspace="0.222em" id="S4.E17.m1.2.2.1.1.3.2.1" xref="S4.E17.m1.2.2.1.1.3.2.1.cmml">×</mo><mfrac id="S4.E17.m1.1.1" xref="S4.E17.m1.1.1.cmml"><mrow id="S4.E17.m1.1.1.3" xref="S4.E17.m1.1.1.3.cmml"><msub id="S4.E17.m1.1.1.3.1" xref="S4.E17.m1.1.1.3.1.cmml"><mo id="S4.E17.m1.1.1.3.1.2" xref="S4.E17.m1.1.1.3.1.2.cmml">∇</mo><msub id="S4.E17.m1.1.1.3.1.3" xref="S4.E17.m1.1.1.3.1.3.cmml"><mi id="S4.E17.m1.1.1.3.1.3.2" xref="S4.E17.m1.1.1.3.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E17.m1.1.1.3.1.3.3" xref="S4.E17.m1.1.1.3.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.E17.m1.1.1.3.2" xref="S4.E17.m1.1.1.3.2.cmml">ℒ</mi></mrow><msub id="S4.E17.m1.1.1.1" xref="S4.E17.m1.1.1.1.cmml"><mrow id="S4.E17.m1.1.1.1.1.1" xref="S4.E17.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.E17.m1.1.1.1.1.1.2" xref="S4.E17.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S4.E17.m1.1.1.1.1.1.1" xref="S4.E17.m1.1.1.1.1.1.1.cmml"><msub id="S4.E17.m1.1.1.1.1.1.1.1" xref="S4.E17.m1.1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.E17.m1.1.1.1.1.1.1.1.2" xref="S4.E17.m1.1.1.1.1.1.1.1.2.cmml">∇</mo><msub id="S4.E17.m1.1.1.1.1.1.1.1.3" xref="S4.E17.m1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E17.m1.1.1.1.1.1.1.1.3.2" xref="S4.E17.m1.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E17.m1.1.1.1.1.1.1.1.3.3" xref="S4.E17.m1.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.E17.m1.1.1.1.1.1.1.2" xref="S4.E17.m1.1.1.1.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.E17.m1.1.1.1.1.1.3" xref="S4.E17.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.E17.m1.1.1.1.3" xref="S4.E17.m1.1.1.1.3.cmml">∗</mo></msub></mfrac></mrow></mrow></mrow><mo id="S4.E17.m1.2.2.1.2" xref="S4.E17.m1.2.2.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E17.m1.2b"><apply id="S4.E17.m1.2.2.1.1.cmml" xref="S4.E17.m1.2.2.1"><eq id="S4.E17.m1.2.2.1.1.1.cmml" xref="S4.E17.m1.2.2.1.1.1"></eq><apply id="S4.E17.m1.2.2.1.1.2.cmml" xref="S4.E17.m1.2.2.1.1.2"><times id="S4.E17.m1.2.2.1.1.2.1.cmml" xref="S4.E17.m1.2.2.1.1.2.1"></times><ci id="S4.E17.m1.2.2.1.1.2.2.cmml" xref="S4.E17.m1.2.2.1.1.2.2">Δ</ci><apply id="S4.E17.m1.2.2.1.1.2.3.cmml" xref="S4.E17.m1.2.2.1.1.2.3"><csymbol cd="ambiguous" id="S4.E17.m1.2.2.1.1.2.3.1.cmml" xref="S4.E17.m1.2.2.1.1.2.3">subscript</csymbol><ci id="S4.E17.m1.2.2.1.1.2.3.2.cmml" xref="S4.E17.m1.2.2.1.1.2.3.2">𝑾</ci><ci id="S4.E17.m1.2.2.1.1.2.3.3.cmml" xref="S4.E17.m1.2.2.1.1.2.3.3">ℓ</ci></apply></apply><apply id="S4.E17.m1.2.2.1.1.3.cmml" xref="S4.E17.m1.2.2.1.1.3"><minus id="S4.E17.m1.2.2.1.1.3.1.cmml" xref="S4.E17.m1.2.2.1.1.3"></minus><apply id="S4.E17.m1.2.2.1.1.3.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2"><times id="S4.E17.m1.2.2.1.1.3.2.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.1"></times><apply id="S4.E17.m1.2.2.1.1.3.2.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2"><times id="S4.E17.m1.2.2.1.1.3.2.2.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.1"></times><ci id="S4.E17.m1.2.2.1.1.3.2.2.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.2">𝜂</ci><apply id="S4.E17.m1.2.2.1.1.3.2.2.3.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3"><root id="S4.E17.m1.2.2.1.1.3.2.2.3a.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3"></root><apply id="S4.E17.m1.2.2.1.1.3.2.2.3.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2"><divide id="S4.E17.m1.2.2.1.1.3.2.2.3.2.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2"></divide><apply id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2"><times id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.1"></times><cn type="integer" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.2">0</cn><ci id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.3.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.3">𝑝</ci><apply id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4"><csymbol cd="ambiguous" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4">subscript</csymbol><ci id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.2">𝑡</ci><ci id="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.3.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.2.4.3">ℓ</ci></apply></apply><apply id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3"><times id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.1"></times><cn type="integer" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.2">0</cn><ci id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.3.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.3">𝑝</ci><apply id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4"><csymbol cd="ambiguous" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4">subscript</csymbol><ci id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.2">𝑡</ci><apply id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3"><minus id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.1.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.1"></minus><ci id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.2.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.2">ℓ</ci><cn type="integer" id="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.3.cmml" xref="S4.E17.m1.2.2.1.1.3.2.2.3.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply><apply id="S4.E17.m1.1.1.cmml" xref="S4.E17.m1.1.1"><divide id="S4.E17.m1.1.1.2.cmml" xref="S4.E17.m1.1.1"></divide><apply id="S4.E17.m1.1.1.3.cmml" xref="S4.E17.m1.1.1.3"><apply id="S4.E17.m1.1.1.3.1.cmml" xref="S4.E17.m1.1.1.3.1"><csymbol cd="ambiguous" id="S4.E17.m1.1.1.3.1.1.cmml" xref="S4.E17.m1.1.1.3.1">subscript</csymbol><ci id="S4.E17.m1.1.1.3.1.2.cmml" xref="S4.E17.m1.1.1.3.1.2">∇</ci><apply id="S4.E17.m1.1.1.3.1.3.cmml" xref="S4.E17.m1.1.1.3.1.3"><csymbol cd="ambiguous" id="S4.E17.m1.1.1.3.1.3.1.cmml" xref="S4.E17.m1.1.1.3.1.3">subscript</csymbol><ci id="S4.E17.m1.1.1.3.1.3.2.cmml" xref="S4.E17.m1.1.1.3.1.3.2">𝑾</ci><ci id="S4.E17.m1.1.1.3.1.3.3.cmml" xref="S4.E17.m1.1.1.3.1.3.3">ℓ</ci></apply></apply><ci id="S4.E17.m1.1.1.3.2.cmml" xref="S4.E17.m1.1.1.3.2">ℒ</ci></apply><apply id="S4.E17.m1.1.1.1.cmml" xref="S4.E17.m1.1.1.1"><csymbol cd="ambiguous" id="S4.E17.m1.1.1.1.2.cmml" xref="S4.E17.m1.1.1.1">subscript</csymbol><apply id="S4.E17.m1.1.1.1.1.2.cmml" xref="S4.E17.m1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E17.m1.1.1.1.1.2.1.cmml" xref="S4.E17.m1.1.1.1.1.1.2">norm</csymbol><apply id="S4.E17.m1.1.1.1.1.1.1.cmml" xref="S4.E17.m1.1.1.1.1.1.1"><apply id="S4.E17.m1.1.1.1.1.1.1.1.cmml" xref="S4.E17.m1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E17.m1.1.1.1.1.1.1.1.1.cmml" xref="S4.E17.m1.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.E17.m1.1.1.1.1.1.1.1.2.cmml" xref="S4.E17.m1.1.1.1.1.1.1.1.2">∇</ci><apply id="S4.E17.m1.1.1.1.1.1.1.1.3.cmml" xref="S4.E17.m1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E17.m1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E17.m1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E17.m1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E17.m1.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.E17.m1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E17.m1.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.E17.m1.1.1.1.1.1.1.2.cmml" xref="S4.E17.m1.1.1.1.1.1.1.2">ℒ</ci></apply></apply><times id="S4.E17.m1.1.1.1.3.cmml" xref="S4.E17.m1.1.1.1.3"></times></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E17.m1.2c">\Delta\!{\bm{W}}_{\ell}=-\eta\sqrt{\frac{0pt_{\ell}}{0pt_{\ell-1}}}\times\frac{\nabla_{{\bm{W}}_{\ell}}\mathcal{L}}{\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(17)</span></td>
</tr></tbody>
</table>
<p id="S4.p3.7" class="ltx_p">where <math id="S4.p3.7.m1.1" class="ltx_Math" alttext="\eta=\Theta(1)" display="inline"><semantics id="S4.p3.7.m1.1a"><mrow id="S4.p3.7.m1.1.2" xref="S4.p3.7.m1.1.2.cmml"><mi id="S4.p3.7.m1.1.2.2" xref="S4.p3.7.m1.1.2.2.cmml">η</mi><mo id="S4.p3.7.m1.1.2.1" xref="S4.p3.7.m1.1.2.1.cmml">=</mo><mrow id="S4.p3.7.m1.1.2.3" xref="S4.p3.7.m1.1.2.3.cmml"><mi mathvariant="normal" id="S4.p3.7.m1.1.2.3.2" xref="S4.p3.7.m1.1.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p3.7.m1.1.2.3.1" xref="S4.p3.7.m1.1.2.3.1.cmml">​</mo><mrow id="S4.p3.7.m1.1.2.3.3.2" xref="S4.p3.7.m1.1.2.3.cmml"><mo stretchy="false" id="S4.p3.7.m1.1.2.3.3.2.1" xref="S4.p3.7.m1.1.2.3.cmml">(</mo><mn id="S4.p3.7.m1.1.1" xref="S4.p3.7.m1.1.1.cmml">1</mn><mo stretchy="false" id="S4.p3.7.m1.1.2.3.3.2.2" xref="S4.p3.7.m1.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p3.7.m1.1b"><apply id="S4.p3.7.m1.1.2.cmml" xref="S4.p3.7.m1.1.2"><eq id="S4.p3.7.m1.1.2.1.cmml" xref="S4.p3.7.m1.1.2.1"></eq><ci id="S4.p3.7.m1.1.2.2.cmml" xref="S4.p3.7.m1.1.2.2">𝜂</ci><apply id="S4.p3.7.m1.1.2.3.cmml" xref="S4.p3.7.m1.1.2.3"><times id="S4.p3.7.m1.1.2.3.1.cmml" xref="S4.p3.7.m1.1.2.3.1"></times><ci id="S4.p3.7.m1.1.2.3.2.cmml" xref="S4.p3.7.m1.1.2.3.2">Θ</ci><cn type="integer" id="S4.p3.7.m1.1.1.cmml" xref="S4.p3.7.m1.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p3.7.m1.1c">\eta=\Theta(1)</annotation></semantics></math> is a width-independent prefactor.</p>
</div>
<div id="S4.p4" class="ltx_para ltx_noindent">
<p id="S4.p4.2" class="ltx_p">It is quick to check that normalizing as in <a href="#S4.E16" title="In 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equations</span> <span class="ltx_text ltx_ref_tag">16</span></a> and <a href="#S4.E17" title="Equation 17 ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">17</span></a> will satisfy <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, but computing spectral norms is expensive and (as we will now show) can be avoided entirely by working out how <math id="S4.p4.1.m1.1" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}^{\prime}\right|\!\right|_{*}" display="inline"><semantics id="S4.p4.1.m1.1a"><msub id="S4.p4.1.m1.1.1" xref="S4.p4.1.m1.1.1.cmml"><mrow id="S4.p4.1.m1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.2.cmml"><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.2" xref="S4.p4.1.m1.1.1.1.2.1.cmml">‖</mo><msubsup id="S4.p4.1.m1.1.1.1.1.1" xref="S4.p4.1.m1.1.1.1.1.1.cmml"><mi id="S4.p4.1.m1.1.1.1.1.1.2.2" xref="S4.p4.1.m1.1.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p4.1.m1.1.1.1.1.1.2.3" xref="S4.p4.1.m1.1.1.1.1.1.2.3.cmml">ℓ</mi><mo id="S4.p4.1.m1.1.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.1.1.3.cmml">′</mo></msubsup><mo stretchy="false" id="S4.p4.1.m1.1.1.1.1.3" xref="S4.p4.1.m1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p4.1.m1.1.1.3" xref="S4.p4.1.m1.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="S4.p4.1.m1.1b"><apply id="S4.p4.1.m1.1.1.cmml" xref="S4.p4.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p4.1.m1.1.1.2.cmml" xref="S4.p4.1.m1.1.1">subscript</csymbol><apply id="S4.p4.1.m1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1"><csymbol cd="latexml" id="S4.p4.1.m1.1.1.1.2.1.cmml" xref="S4.p4.1.m1.1.1.1.1.2">norm</csymbol><apply id="S4.p4.1.m1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p4.1.m1.1.1.1.1.1.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1">superscript</csymbol><apply id="S4.p4.1.m1.1.1.1.1.1.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p4.1.m1.1.1.1.1.1.2.1.cmml" xref="S4.p4.1.m1.1.1.1.1.1">subscript</csymbol><ci id="S4.p4.1.m1.1.1.1.1.1.2.2.cmml" xref="S4.p4.1.m1.1.1.1.1.1.2.2">𝑾</ci><ci id="S4.p4.1.m1.1.1.1.1.1.2.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="S4.p4.1.m1.1.1.1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.1.1.1.3">′</ci></apply></apply><times id="S4.p4.1.m1.1.1.3.cmml" xref="S4.p4.1.m1.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.1.m1.1c">\left|\!\left|{\bm{W}}_{\ell}^{\prime}\right|\!\right|_{*}</annotation></semantics></math> and <math id="S4.p4.2.m2.1" class="ltx_Math" alttext="\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}" display="inline"><semantics id="S4.p4.2.m2.1a"><msub id="S4.p4.2.m2.1.1" xref="S4.p4.2.m2.1.1.cmml"><mrow id="S4.p4.2.m2.1.1.1.1" xref="S4.p4.2.m2.1.1.1.2.cmml"><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.2.1.cmml">‖</mo><mrow id="S4.p4.2.m2.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.cmml"><msub id="S4.p4.2.m2.1.1.1.1.1.1" xref="S4.p4.2.m2.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.p4.2.m2.1.1.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.1.2.cmml">∇</mo><msub id="S4.p4.2.m2.1.1.1.1.1.1.3" xref="S4.p4.2.m2.1.1.1.1.1.1.3.cmml"><mi id="S4.p4.2.m2.1.1.1.1.1.1.3.2" xref="S4.p4.2.m2.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p4.2.m2.1.1.1.1.1.1.3.3" xref="S4.p4.2.m2.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.p4.2.m2.1.1.1.1.1.2" xref="S4.p4.2.m2.1.1.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.p4.2.m2.1.1.1.1.3" xref="S4.p4.2.m2.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p4.2.m2.1.1.3" xref="S4.p4.2.m2.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="S4.p4.2.m2.1b"><apply id="S4.p4.2.m2.1.1.cmml" xref="S4.p4.2.m2.1.1"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.2.cmml" xref="S4.p4.2.m2.1.1">subscript</csymbol><apply id="S4.p4.2.m2.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1"><csymbol cd="latexml" id="S4.p4.2.m2.1.1.1.2.1.cmml" xref="S4.p4.2.m2.1.1.1.1.2">norm</csymbol><apply id="S4.p4.2.m2.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1"><apply id="S4.p4.2.m2.1.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.1.1.1.1.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1">subscript</csymbol><ci id="S4.p4.2.m2.1.1.1.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.2">∇</ci><apply id="S4.p4.2.m2.1.1.1.1.1.1.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p4.2.m2.1.1.1.1.1.1.3.1.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.p4.2.m2.1.1.1.1.1.1.3.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.p4.2.m2.1.1.1.1.1.1.3.3.cmml" xref="S4.p4.2.m2.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.p4.2.m2.1.1.1.1.1.2.cmml" xref="S4.p4.2.m2.1.1.1.1.1.2">ℒ</ci></apply></apply><times id="S4.p4.2.m2.1.1.3.cmml" xref="S4.p4.2.m2.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p4.2.m2.1c">\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}</annotation></semantics></math> will scale and dividing by the appropriate factor.</p>
</div>
<div id="S4.p5" class="ltx_para ltx_noindent">
<p id="S4.p5.14" class="ltx_p"><span id="S4.p5.14.1" class="ltx_text ltx_font_bold">Random initialization.</span>
Let us suppose that, as is common practice, <math id="S4.p5.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S4.p5.1.m1.1a"><msub id="S4.p5.1.m1.1.1" xref="S4.p5.1.m1.1.1.cmml"><mi id="S4.p5.1.m1.1.1.2" xref="S4.p5.1.m1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.1.m1.1.1.3" xref="S4.p5.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p5.1.m1.1b"><apply id="S4.p5.1.m1.1.1.cmml" xref="S4.p5.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p5.1.m1.1.1.1.cmml" xref="S4.p5.1.m1.1.1">subscript</csymbol><ci id="S4.p5.1.m1.1.1.2.cmml" xref="S4.p5.1.m1.1.1.2">𝑾</ci><ci id="S4.p5.1.m1.1.1.3.cmml" xref="S4.p5.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.1.m1.1c">{\bm{W}}_{\ell}</annotation></semantics></math> is initialized as <math id="S4.p5.2.m2.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}=\sigma_{\ell}\cdot{\bm{W}}^{\prime}_{\ell}" display="inline"><semantics id="S4.p5.2.m2.1a"><mrow id="S4.p5.2.m2.1.1" xref="S4.p5.2.m2.1.1.cmml"><msub id="S4.p5.2.m2.1.1.2" xref="S4.p5.2.m2.1.1.2.cmml"><mi id="S4.p5.2.m2.1.1.2.2" xref="S4.p5.2.m2.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.2.m2.1.1.2.3" xref="S4.p5.2.m2.1.1.2.3.cmml">ℓ</mi></msub><mo id="S4.p5.2.m2.1.1.1" xref="S4.p5.2.m2.1.1.1.cmml">=</mo><mrow id="S4.p5.2.m2.1.1.3" xref="S4.p5.2.m2.1.1.3.cmml"><msub id="S4.p5.2.m2.1.1.3.2" xref="S4.p5.2.m2.1.1.3.2.cmml"><mi id="S4.p5.2.m2.1.1.3.2.2" xref="S4.p5.2.m2.1.1.3.2.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p5.2.m2.1.1.3.2.3" xref="S4.p5.2.m2.1.1.3.2.3.cmml">ℓ</mi></msub><mo lspace="0.222em" rspace="0.222em" id="S4.p5.2.m2.1.1.3.1" xref="S4.p5.2.m2.1.1.3.1.cmml">⋅</mo><msubsup id="S4.p5.2.m2.1.1.3.3" xref="S4.p5.2.m2.1.1.3.3.cmml"><mi id="S4.p5.2.m2.1.1.3.3.2.2" xref="S4.p5.2.m2.1.1.3.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.2.m2.1.1.3.3.3" xref="S4.p5.2.m2.1.1.3.3.3.cmml">ℓ</mi><mo id="S4.p5.2.m2.1.1.3.3.2.3" xref="S4.p5.2.m2.1.1.3.3.2.3.cmml">′</mo></msubsup></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.2.m2.1b"><apply id="S4.p5.2.m2.1.1.cmml" xref="S4.p5.2.m2.1.1"><eq id="S4.p5.2.m2.1.1.1.cmml" xref="S4.p5.2.m2.1.1.1"></eq><apply id="S4.p5.2.m2.1.1.2.cmml" xref="S4.p5.2.m2.1.1.2"><csymbol cd="ambiguous" id="S4.p5.2.m2.1.1.2.1.cmml" xref="S4.p5.2.m2.1.1.2">subscript</csymbol><ci id="S4.p5.2.m2.1.1.2.2.cmml" xref="S4.p5.2.m2.1.1.2.2">𝑾</ci><ci id="S4.p5.2.m2.1.1.2.3.cmml" xref="S4.p5.2.m2.1.1.2.3">ℓ</ci></apply><apply id="S4.p5.2.m2.1.1.3.cmml" xref="S4.p5.2.m2.1.1.3"><ci id="S4.p5.2.m2.1.1.3.1.cmml" xref="S4.p5.2.m2.1.1.3.1">⋅</ci><apply id="S4.p5.2.m2.1.1.3.2.cmml" xref="S4.p5.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="S4.p5.2.m2.1.1.3.2.1.cmml" xref="S4.p5.2.m2.1.1.3.2">subscript</csymbol><ci id="S4.p5.2.m2.1.1.3.2.2.cmml" xref="S4.p5.2.m2.1.1.3.2.2">𝜎</ci><ci id="S4.p5.2.m2.1.1.3.2.3.cmml" xref="S4.p5.2.m2.1.1.3.2.3">ℓ</ci></apply><apply id="S4.p5.2.m2.1.1.3.3.cmml" xref="S4.p5.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S4.p5.2.m2.1.1.3.3.1.cmml" xref="S4.p5.2.m2.1.1.3.3">subscript</csymbol><apply id="S4.p5.2.m2.1.1.3.3.2.cmml" xref="S4.p5.2.m2.1.1.3.3"><csymbol cd="ambiguous" id="S4.p5.2.m2.1.1.3.3.2.1.cmml" xref="S4.p5.2.m2.1.1.3.3">superscript</csymbol><ci id="S4.p5.2.m2.1.1.3.3.2.2.cmml" xref="S4.p5.2.m2.1.1.3.3.2.2">𝑾</ci><ci id="S4.p5.2.m2.1.1.3.3.2.3.cmml" xref="S4.p5.2.m2.1.1.3.3.2.3">′</ci></apply><ci id="S4.p5.2.m2.1.1.3.3.3.cmml" xref="S4.p5.2.m2.1.1.3.3.3">ℓ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.2.m2.1c">{\bm{W}}_{\ell}=\sigma_{\ell}\cdot{\bm{W}}^{\prime}_{\ell}</annotation></semantics></math>, where all elements of <math id="S4.p5.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}^{\prime}" display="inline"><semantics id="S4.p5.3.m3.1a"><msubsup id="S4.p5.3.m3.1.1" xref="S4.p5.3.m3.1.1.cmml"><mi id="S4.p5.3.m3.1.1.2.2" xref="S4.p5.3.m3.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.3.m3.1.1.2.3" xref="S4.p5.3.m3.1.1.2.3.cmml">ℓ</mi><mo id="S4.p5.3.m3.1.1.3" xref="S4.p5.3.m3.1.1.3.cmml">′</mo></msubsup><annotation-xml encoding="MathML-Content" id="S4.p5.3.m3.1b"><apply id="S4.p5.3.m3.1.1.cmml" xref="S4.p5.3.m3.1.1"><csymbol cd="ambiguous" id="S4.p5.3.m3.1.1.1.cmml" xref="S4.p5.3.m3.1.1">superscript</csymbol><apply id="S4.p5.3.m3.1.1.2.cmml" xref="S4.p5.3.m3.1.1"><csymbol cd="ambiguous" id="S4.p5.3.m3.1.1.2.1.cmml" xref="S4.p5.3.m3.1.1">subscript</csymbol><ci id="S4.p5.3.m3.1.1.2.2.cmml" xref="S4.p5.3.m3.1.1.2.2">𝑾</ci><ci id="S4.p5.3.m3.1.1.2.3.cmml" xref="S4.p5.3.m3.1.1.2.3">ℓ</ci></apply><ci id="S4.p5.3.m3.1.1.3.cmml" xref="S4.p5.3.m3.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.3.m3.1c">{\bm{W}}_{\ell}^{\prime}</annotation></semantics></math> are initialized i.i.d. from a normal distribution with mean zero and unit variance.
The spectral norm of a matrix thus constructed is roughly <math id="S4.p5.4.m4.2" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\approx\sigma_{\ell}\cdot(\sqrt{0pt_{\ell}}+\sqrt{0pt_{\ell-1}})" display="inline"><semantics id="S4.p5.4.m4.2a"><mrow id="S4.p5.4.m4.2.2" xref="S4.p5.4.m4.2.2.cmml"><msub id="S4.p5.4.m4.1.1.1" xref="S4.p5.4.m4.1.1.1.cmml"><mrow id="S4.p5.4.m4.1.1.1.1.1" xref="S4.p5.4.m4.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.p5.4.m4.1.1.1.1.1.2" xref="S4.p5.4.m4.1.1.1.1.2.1.cmml">‖</mo><msub id="S4.p5.4.m4.1.1.1.1.1.1" xref="S4.p5.4.m4.1.1.1.1.1.1.cmml"><mi id="S4.p5.4.m4.1.1.1.1.1.1.2" xref="S4.p5.4.m4.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.4.m4.1.1.1.1.1.1.3" xref="S4.p5.4.m4.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S4.p5.4.m4.1.1.1.1.1.3" xref="S4.p5.4.m4.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p5.4.m4.1.1.1.3" xref="S4.p5.4.m4.1.1.1.3.cmml">∗</mo></msub><mo id="S4.p5.4.m4.2.2.3" xref="S4.p5.4.m4.2.2.3.cmml">≈</mo><mrow id="S4.p5.4.m4.2.2.2" xref="S4.p5.4.m4.2.2.2.cmml"><msub id="S4.p5.4.m4.2.2.2.3" xref="S4.p5.4.m4.2.2.2.3.cmml"><mi id="S4.p5.4.m4.2.2.2.3.2" xref="S4.p5.4.m4.2.2.2.3.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p5.4.m4.2.2.2.3.3" xref="S4.p5.4.m4.2.2.2.3.3.cmml">ℓ</mi></msub><mo lspace="0.222em" rspace="0.222em" id="S4.p5.4.m4.2.2.2.2" xref="S4.p5.4.m4.2.2.2.2.cmml">⋅</mo><mrow id="S4.p5.4.m4.2.2.2.1.1" xref="S4.p5.4.m4.2.2.2.1.1.1.cmml"><mo stretchy="false" id="S4.p5.4.m4.2.2.2.1.1.2" xref="S4.p5.4.m4.2.2.2.1.1.1.cmml">(</mo><mrow id="S4.p5.4.m4.2.2.2.1.1.1" xref="S4.p5.4.m4.2.2.2.1.1.1.cmml"><msqrt id="S4.p5.4.m4.2.2.2.1.1.1.2" xref="S4.p5.4.m4.2.2.2.1.1.1.2.cmml"><mrow id="S4.p5.4.m4.2.2.2.1.1.1.2.2" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.cmml"><mn id="S4.p5.4.m4.2.2.2.1.1.1.2.2.2" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p5.4.m4.2.2.2.1.1.1.2.2.1" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.1.cmml">​</mo><mi id="S4.p5.4.m4.2.2.2.1.1.1.2.2.3" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.4.m4.2.2.2.1.1.1.2.2.1a" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.1.cmml">​</mo><msub id="S4.p5.4.m4.2.2.2.1.1.1.2.2.4" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.cmml"><mi id="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.2" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.3" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo id="S4.p5.4.m4.2.2.2.1.1.1.1" xref="S4.p5.4.m4.2.2.2.1.1.1.1.cmml">+</mo><msqrt id="S4.p5.4.m4.2.2.2.1.1.1.3" xref="S4.p5.4.m4.2.2.2.1.1.1.3.cmml"><mrow id="S4.p5.4.m4.2.2.2.1.1.1.3.2" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.cmml"><mn id="S4.p5.4.m4.2.2.2.1.1.1.3.2.2" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p5.4.m4.2.2.2.1.1.1.3.2.1" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.1.cmml">​</mo><mi id="S4.p5.4.m4.2.2.2.1.1.1.3.2.3" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.4.m4.2.2.2.1.1.1.3.2.1a" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.1.cmml">​</mo><msub id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.cmml"><mi id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.2" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.2.cmml">t</mi><mrow id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.cmml"><mi mathvariant="normal" id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.2" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.2.cmml">ℓ</mi><mo id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.1" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.1.cmml">−</mo><mn id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.3" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt></mrow><mo stretchy="false" id="S4.p5.4.m4.2.2.2.1.1.3" xref="S4.p5.4.m4.2.2.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.4.m4.2b"><apply id="S4.p5.4.m4.2.2.cmml" xref="S4.p5.4.m4.2.2"><approx id="S4.p5.4.m4.2.2.3.cmml" xref="S4.p5.4.m4.2.2.3"></approx><apply id="S4.p5.4.m4.1.1.1.cmml" xref="S4.p5.4.m4.1.1.1"><csymbol cd="ambiguous" id="S4.p5.4.m4.1.1.1.2.cmml" xref="S4.p5.4.m4.1.1.1">subscript</csymbol><apply id="S4.p5.4.m4.1.1.1.1.2.cmml" xref="S4.p5.4.m4.1.1.1.1.1"><csymbol cd="latexml" id="S4.p5.4.m4.1.1.1.1.2.1.cmml" xref="S4.p5.4.m4.1.1.1.1.1.2">norm</csymbol><apply id="S4.p5.4.m4.1.1.1.1.1.1.cmml" xref="S4.p5.4.m4.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p5.4.m4.1.1.1.1.1.1.1.cmml" xref="S4.p5.4.m4.1.1.1.1.1.1">subscript</csymbol><ci id="S4.p5.4.m4.1.1.1.1.1.1.2.cmml" xref="S4.p5.4.m4.1.1.1.1.1.1.2">𝑾</ci><ci id="S4.p5.4.m4.1.1.1.1.1.1.3.cmml" xref="S4.p5.4.m4.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="S4.p5.4.m4.1.1.1.3.cmml" xref="S4.p5.4.m4.1.1.1.3"></times></apply><apply id="S4.p5.4.m4.2.2.2.cmml" xref="S4.p5.4.m4.2.2.2"><ci id="S4.p5.4.m4.2.2.2.2.cmml" xref="S4.p5.4.m4.2.2.2.2">⋅</ci><apply id="S4.p5.4.m4.2.2.2.3.cmml" xref="S4.p5.4.m4.2.2.2.3"><csymbol cd="ambiguous" id="S4.p5.4.m4.2.2.2.3.1.cmml" xref="S4.p5.4.m4.2.2.2.3">subscript</csymbol><ci id="S4.p5.4.m4.2.2.2.3.2.cmml" xref="S4.p5.4.m4.2.2.2.3.2">𝜎</ci><ci id="S4.p5.4.m4.2.2.2.3.3.cmml" xref="S4.p5.4.m4.2.2.2.3.3">ℓ</ci></apply><apply id="S4.p5.4.m4.2.2.2.1.1.1.cmml" xref="S4.p5.4.m4.2.2.2.1.1"><plus id="S4.p5.4.m4.2.2.2.1.1.1.1.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.1"></plus><apply id="S4.p5.4.m4.2.2.2.1.1.1.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2"><root id="S4.p5.4.m4.2.2.2.1.1.1.2a.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2"></root><apply id="S4.p5.4.m4.2.2.2.1.1.1.2.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2"><times id="S4.p5.4.m4.2.2.2.1.1.1.2.2.1.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.1"></times><cn type="integer" id="S4.p5.4.m4.2.2.2.1.1.1.2.2.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.2">0</cn><ci id="S4.p5.4.m4.2.2.2.1.1.1.2.2.3.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.3">𝑝</ci><apply id="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.4"><csymbol cd="ambiguous" id="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.1.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.4">subscript</csymbol><ci id="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.2">𝑡</ci><ci id="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.3.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.2.2.4.3">ℓ</ci></apply></apply></apply><apply id="S4.p5.4.m4.2.2.2.1.1.1.3.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3"><root id="S4.p5.4.m4.2.2.2.1.1.1.3a.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3"></root><apply id="S4.p5.4.m4.2.2.2.1.1.1.3.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2"><times id="S4.p5.4.m4.2.2.2.1.1.1.3.2.1.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.1"></times><cn type="integer" id="S4.p5.4.m4.2.2.2.1.1.1.3.2.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.2">0</cn><ci id="S4.p5.4.m4.2.2.2.1.1.1.3.2.3.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.3">𝑝</ci><apply id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4"><csymbol cd="ambiguous" id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.1.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4">subscript</csymbol><ci id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.2">𝑡</ci><apply id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3"><minus id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.1.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.1"></minus><ci id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.2.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.3.cmml" xref="S4.p5.4.m4.2.2.2.1.1.1.3.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.4.m4.2c">\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}\approx\sigma_{\ell}\cdot(\sqrt{0pt_{\ell}}+\sqrt{0pt_{\ell-1}})</annotation></semantics></math> <cite class="ltx_cite ltx_citemacro_citep">(Rudelson &amp; Vershynin, <a href="#bib.bib37" title="" class="ltx_ref">2010</a>, Vershynin, <a href="#bib.bib42" title="" class="ltx_ref">2018</a>)</cite>.
To get the desired scaling <math id="S4.p5.5.m5.2" class="ltx_Math" alttext="\smash{\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})}" display="inline"><semantics id="S4.p5.5.m5.2a"><mrow id="S4.p5.5.m5.2.2" xref="S4.p5.5.m5.2.2.cmml"><msub id="S4.p5.5.m5.2.2.1" xref="S4.p5.5.m5.2.2.1.cmml"><mrow id="S4.p5.5.m5.2.2.1.1.1" xref="S4.p5.5.m5.2.2.1.1.2.cmml"><mo stretchy="false" id="S4.p5.5.m5.2.2.1.1.1.2" xref="S4.p5.5.m5.2.2.1.1.2.1.cmml">‖</mo><msub id="S4.p5.5.m5.2.2.1.1.1.1" xref="S4.p5.5.m5.2.2.1.1.1.1.cmml"><mi id="S4.p5.5.m5.2.2.1.1.1.1.2" xref="S4.p5.5.m5.2.2.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.5.m5.2.2.1.1.1.1.3" xref="S4.p5.5.m5.2.2.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S4.p5.5.m5.2.2.1.1.1.3" xref="S4.p5.5.m5.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p5.5.m5.2.2.1.3" xref="S4.p5.5.m5.2.2.1.3.cmml">∗</mo></msub><mo id="S4.p5.5.m5.2.2.2" xref="S4.p5.5.m5.2.2.2.cmml">=</mo><mrow id="S4.p5.5.m5.2.2.3" xref="S4.p5.5.m5.2.2.3.cmml"><mi mathvariant="normal" id="S4.p5.5.m5.2.2.3.2" xref="S4.p5.5.m5.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p5.5.m5.2.2.3.1" xref="S4.p5.5.m5.2.2.3.1.cmml">​</mo><mrow id="S4.p5.5.m5.2.2.3.3.2" xref="S4.p5.5.m5.1.1.cmml"><mo stretchy="false" id="S4.p5.5.m5.2.2.3.3.2.1" xref="S4.p5.5.m5.1.1.cmml">(</mo><msqrt id="S4.p5.5.m5.1.1" xref="S4.p5.5.m5.1.1.cmml"><mrow id="S4.p5.5.m5.1.1.2" xref="S4.p5.5.m5.1.1.2.cmml"><mrow id="S4.p5.5.m5.1.1.2.2" xref="S4.p5.5.m5.1.1.2.2.cmml"><mrow id="S4.p5.5.m5.1.1.2.2.2" xref="S4.p5.5.m5.1.1.2.2.2.cmml"><mn id="S4.p5.5.m5.1.1.2.2.2.2" xref="S4.p5.5.m5.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p5.5.m5.1.1.2.2.2.1" xref="S4.p5.5.m5.1.1.2.2.2.1.cmml">​</mo><mi id="S4.p5.5.m5.1.1.2.2.2.3" xref="S4.p5.5.m5.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.5.m5.1.1.2.2.2.1a" xref="S4.p5.5.m5.1.1.2.2.2.1.cmml">​</mo><msub id="S4.p5.5.m5.1.1.2.2.2.4" xref="S4.p5.5.m5.1.1.2.2.2.4.cmml"><mi id="S4.p5.5.m5.1.1.2.2.2.4.2" xref="S4.p5.5.m5.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p5.5.m5.1.1.2.2.2.4.3" xref="S4.p5.5.m5.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p5.5.m5.1.1.2.2.1" xref="S4.p5.5.m5.1.1.2.2.1.cmml">/</mo><mn id="S4.p5.5.m5.1.1.2.2.3" xref="S4.p5.5.m5.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p5.5.m5.1.1.2.1" xref="S4.p5.5.m5.1.1.2.1.cmml">​</mo><mi id="S4.p5.5.m5.1.1.2.3" xref="S4.p5.5.m5.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.5.m5.1.1.2.1a" xref="S4.p5.5.m5.1.1.2.1.cmml">​</mo><msub id="S4.p5.5.m5.1.1.2.4" xref="S4.p5.5.m5.1.1.2.4.cmml"><mi id="S4.p5.5.m5.1.1.2.4.2" xref="S4.p5.5.m5.1.1.2.4.2.cmml">t</mi><mrow id="S4.p5.5.m5.1.1.2.4.3" xref="S4.p5.5.m5.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S4.p5.5.m5.1.1.2.4.3.2" xref="S4.p5.5.m5.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S4.p5.5.m5.1.1.2.4.3.1" xref="S4.p5.5.m5.1.1.2.4.3.1.cmml">−</mo><mn id="S4.p5.5.m5.1.1.2.4.3.3" xref="S4.p5.5.m5.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo stretchy="false" id="S4.p5.5.m5.2.2.3.3.2.2" xref="S4.p5.5.m5.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.5.m5.2b"><apply id="S4.p5.5.m5.2.2.cmml" xref="S4.p5.5.m5.2.2"><eq id="S4.p5.5.m5.2.2.2.cmml" xref="S4.p5.5.m5.2.2.2"></eq><apply id="S4.p5.5.m5.2.2.1.cmml" xref="S4.p5.5.m5.2.2.1"><csymbol cd="ambiguous" id="S4.p5.5.m5.2.2.1.2.cmml" xref="S4.p5.5.m5.2.2.1">subscript</csymbol><apply id="S4.p5.5.m5.2.2.1.1.2.cmml" xref="S4.p5.5.m5.2.2.1.1.1"><csymbol cd="latexml" id="S4.p5.5.m5.2.2.1.1.2.1.cmml" xref="S4.p5.5.m5.2.2.1.1.1.2">norm</csymbol><apply id="S4.p5.5.m5.2.2.1.1.1.1.cmml" xref="S4.p5.5.m5.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.p5.5.m5.2.2.1.1.1.1.1.cmml" xref="S4.p5.5.m5.2.2.1.1.1.1">subscript</csymbol><ci id="S4.p5.5.m5.2.2.1.1.1.1.2.cmml" xref="S4.p5.5.m5.2.2.1.1.1.1.2">𝑾</ci><ci id="S4.p5.5.m5.2.2.1.1.1.1.3.cmml" xref="S4.p5.5.m5.2.2.1.1.1.1.3">ℓ</ci></apply></apply><times id="S4.p5.5.m5.2.2.1.3.cmml" xref="S4.p5.5.m5.2.2.1.3"></times></apply><apply id="S4.p5.5.m5.2.2.3.cmml" xref="S4.p5.5.m5.2.2.3"><times id="S4.p5.5.m5.2.2.3.1.cmml" xref="S4.p5.5.m5.2.2.3.1"></times><ci id="S4.p5.5.m5.2.2.3.2.cmml" xref="S4.p5.5.m5.2.2.3.2">Θ</ci><apply id="S4.p5.5.m5.1.1.cmml" xref="S4.p5.5.m5.2.2.3.3.2"><root id="S4.p5.5.m5.1.1a.cmml" xref="S4.p5.5.m5.2.2.3.3.2"></root><apply id="S4.p5.5.m5.1.1.2.cmml" xref="S4.p5.5.m5.1.1.2"><times id="S4.p5.5.m5.1.1.2.1.cmml" xref="S4.p5.5.m5.1.1.2.1"></times><apply id="S4.p5.5.m5.1.1.2.2.cmml" xref="S4.p5.5.m5.1.1.2.2"><divide id="S4.p5.5.m5.1.1.2.2.1.cmml" xref="S4.p5.5.m5.1.1.2.2.1"></divide><apply id="S4.p5.5.m5.1.1.2.2.2.cmml" xref="S4.p5.5.m5.1.1.2.2.2"><times id="S4.p5.5.m5.1.1.2.2.2.1.cmml" xref="S4.p5.5.m5.1.1.2.2.2.1"></times><cn type="integer" id="S4.p5.5.m5.1.1.2.2.2.2.cmml" xref="S4.p5.5.m5.1.1.2.2.2.2">0</cn><ci id="S4.p5.5.m5.1.1.2.2.2.3.cmml" xref="S4.p5.5.m5.1.1.2.2.2.3">𝑝</ci><apply id="S4.p5.5.m5.1.1.2.2.2.4.cmml" xref="S4.p5.5.m5.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S4.p5.5.m5.1.1.2.2.2.4.1.cmml" xref="S4.p5.5.m5.1.1.2.2.2.4">subscript</csymbol><ci id="S4.p5.5.m5.1.1.2.2.2.4.2.cmml" xref="S4.p5.5.m5.1.1.2.2.2.4.2">𝑡</ci><ci id="S4.p5.5.m5.1.1.2.2.2.4.3.cmml" xref="S4.p5.5.m5.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p5.5.m5.1.1.2.2.3.cmml" xref="S4.p5.5.m5.1.1.2.2.3">0</cn></apply><ci id="S4.p5.5.m5.1.1.2.3.cmml" xref="S4.p5.5.m5.1.1.2.3">𝑝</ci><apply id="S4.p5.5.m5.1.1.2.4.cmml" xref="S4.p5.5.m5.1.1.2.4"><csymbol cd="ambiguous" id="S4.p5.5.m5.1.1.2.4.1.cmml" xref="S4.p5.5.m5.1.1.2.4">subscript</csymbol><ci id="S4.p5.5.m5.1.1.2.4.2.cmml" xref="S4.p5.5.m5.1.1.2.4.2">𝑡</ci><apply id="S4.p5.5.m5.1.1.2.4.3.cmml" xref="S4.p5.5.m5.1.1.2.4.3"><minus id="S4.p5.5.m5.1.1.2.4.3.1.cmml" xref="S4.p5.5.m5.1.1.2.4.3.1"></minus><ci id="S4.p5.5.m5.1.1.2.4.3.2.cmml" xref="S4.p5.5.m5.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p5.5.m5.1.1.2.4.3.3.cmml" xref="S4.p5.5.m5.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.5.m5.2c">\smash{\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})}</annotation></semantics></math>, we need merely choose
<math id="S4.p5.6.m6.1" class="ltx_Math" alttext="\sigma_{\ell}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}}\cdot(\sqrt{0pt_{\ell}}+\sqrt{0pt_{\ell-1}})^{-1})" display="inline"><semantics id="S4.p5.6.m6.1a"><mrow id="S4.p5.6.m6.1.1" xref="S4.p5.6.m6.1.1.cmml"><msub id="S4.p5.6.m6.1.1.3" xref="S4.p5.6.m6.1.1.3.cmml"><mi id="S4.p5.6.m6.1.1.3.2" xref="S4.p5.6.m6.1.1.3.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p5.6.m6.1.1.3.3" xref="S4.p5.6.m6.1.1.3.3.cmml">ℓ</mi></msub><mo id="S4.p5.6.m6.1.1.2" xref="S4.p5.6.m6.1.1.2.cmml">=</mo><mrow id="S4.p5.6.m6.1.1.1" xref="S4.p5.6.m6.1.1.1.cmml"><mi mathvariant="normal" id="S4.p5.6.m6.1.1.1.3" xref="S4.p5.6.m6.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.2" xref="S4.p5.6.m6.1.1.1.2.cmml">​</mo><mrow id="S4.p5.6.m6.1.1.1.1.1" xref="S4.p5.6.m6.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p5.6.m6.1.1.1.1.1.2" xref="S4.p5.6.m6.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p5.6.m6.1.1.1.1.1.1" xref="S4.p5.6.m6.1.1.1.1.1.1.cmml"><msqrt id="S4.p5.6.m6.1.1.1.1.1.1.3" xref="S4.p5.6.m6.1.1.1.1.1.1.3.cmml"><mrow id="S4.p5.6.m6.1.1.1.1.1.1.3.2" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.cmml"><mrow id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.cmml"><mrow id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.cmml"><mn id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.2" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.1" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.1.cmml">​</mo><mi id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.3" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.1a" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.1.cmml">​</mo><msub id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.cmml"><mi id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.2" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.3" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.1" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.1.cmml">/</mo><mn id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.3" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.1" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S4.p5.6.m6.1.1.1.1.1.1.3.2.3" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.1a" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.1.cmml">​</mo><msub id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.cmml"><mi id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.2" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.2.cmml">t</mi><mrow id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.cmml"><mi mathvariant="normal" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.2" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.2.cmml">ℓ</mi><mo id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.1" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.1.cmml">−</mo><mn id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.3" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo lspace="0.222em" rspace="0.222em" id="S4.p5.6.m6.1.1.1.1.1.1.2" xref="S4.p5.6.m6.1.1.1.1.1.1.2.cmml">⋅</mo><msup id="S4.p5.6.m6.1.1.1.1.1.1.1" xref="S4.p5.6.m6.1.1.1.1.1.1.1.cmml"><mrow id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.cmml"><msqrt id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.cmml"><mrow id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.cmml"><mn id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.1" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml">​</mo><mi id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.1a" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml">​</mo><msub id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.cmml"><mi id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.1" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.1.cmml">+</mo><msqrt id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.cmml"><mrow id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.cmml"><mn id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.1" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.1a" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml">​</mo><msub id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.cmml"><mi id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.2.cmml">t</mi><mrow id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.cmml"><mi mathvariant="normal" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2.cmml">ℓ</mi><mo id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1.cmml">−</mo><mn id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt></mrow><mo stretchy="false" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mrow id="S4.p5.6.m6.1.1.1.1.1.1.1.3" xref="S4.p5.6.m6.1.1.1.1.1.1.1.3.cmml"><mo id="S4.p5.6.m6.1.1.1.1.1.1.1.3a" xref="S4.p5.6.m6.1.1.1.1.1.1.1.3.cmml">−</mo><mn id="S4.p5.6.m6.1.1.1.1.1.1.1.3.2" xref="S4.p5.6.m6.1.1.1.1.1.1.1.3.2.cmml">1</mn></mrow></msup></mrow><mo stretchy="false" id="S4.p5.6.m6.1.1.1.1.1.3" xref="S4.p5.6.m6.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.6.m6.1b"><apply id="S4.p5.6.m6.1.1.cmml" xref="S4.p5.6.m6.1.1"><eq id="S4.p5.6.m6.1.1.2.cmml" xref="S4.p5.6.m6.1.1.2"></eq><apply id="S4.p5.6.m6.1.1.3.cmml" xref="S4.p5.6.m6.1.1.3"><csymbol cd="ambiguous" id="S4.p5.6.m6.1.1.3.1.cmml" xref="S4.p5.6.m6.1.1.3">subscript</csymbol><ci id="S4.p5.6.m6.1.1.3.2.cmml" xref="S4.p5.6.m6.1.1.3.2">𝜎</ci><ci id="S4.p5.6.m6.1.1.3.3.cmml" xref="S4.p5.6.m6.1.1.3.3">ℓ</ci></apply><apply id="S4.p5.6.m6.1.1.1.cmml" xref="S4.p5.6.m6.1.1.1"><times id="S4.p5.6.m6.1.1.1.2.cmml" xref="S4.p5.6.m6.1.1.1.2"></times><ci id="S4.p5.6.m6.1.1.1.3.cmml" xref="S4.p5.6.m6.1.1.1.3">Θ</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1"><ci id="S4.p5.6.m6.1.1.1.1.1.1.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.2">⋅</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3"><root id="S4.p5.6.m6.1.1.1.1.1.1.3a.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3"></root><apply id="S4.p5.6.m6.1.1.1.1.1.1.3.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2"><times id="S4.p5.6.m6.1.1.1.1.1.1.3.2.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.1"></times><apply id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2"><divide id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.1"></divide><apply id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2"><times id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.1"></times><cn type="integer" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.2">0</cn><ci id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.3">𝑝</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4"><csymbol cd="ambiguous" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4">subscript</csymbol><ci id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.2">𝑡</ci><ci id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.2.3">0</cn></apply><ci id="S4.p5.6.m6.1.1.1.1.1.1.3.2.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.3">𝑝</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4"><csymbol cd="ambiguous" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4">subscript</csymbol><ci id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.2">𝑡</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3"><minus id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.1"></minus><ci id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.3.2.4.3.3">1</cn></apply></apply></apply></apply><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p5.6.m6.1.1.1.1.1.1.1.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1">superscript</csymbol><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1"><plus id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.1"></plus><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2"><root id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2a.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2"></root><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2"><times id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.1"></times><cn type="integer" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.2">0</cn><ci id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.3">𝑝</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4"><csymbol cd="ambiguous" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4">subscript</csymbol><ci id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.2">𝑡</ci><ci id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.2.2.4.3">ℓ</ci></apply></apply></apply><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3"><root id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3a.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3"></root><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2"><times id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.1"></times><cn type="integer" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.2">0</cn><ci id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.3">𝑝</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4"><csymbol cd="ambiguous" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4">subscript</csymbol><ci id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.2">𝑡</ci><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3"><minus id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1"></minus><ci id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3">1</cn></apply></apply></apply></apply></apply><apply id="S4.p5.6.m6.1.1.1.1.1.1.1.3.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.3"><minus id="S4.p5.6.m6.1.1.1.1.1.1.1.3.1.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.3"></minus><cn type="integer" id="S4.p5.6.m6.1.1.1.1.1.1.1.3.2.cmml" xref="S4.p5.6.m6.1.1.1.1.1.1.1.3.2">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.6.m6.1c">\sigma_{\ell}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}}\cdot(\sqrt{0pt_{\ell}}+\sqrt{0pt_{\ell-1}})^{-1})</annotation></semantics></math>.
Simplifying within the <math id="S4.p5.7.m7.1" class="ltx_Math" alttext="\Theta(\cdot)" display="inline"><semantics id="S4.p5.7.m7.1a"><mrow id="S4.p5.7.m7.1.2" xref="S4.p5.7.m7.1.2.cmml"><mi mathvariant="normal" id="S4.p5.7.m7.1.2.2" xref="S4.p5.7.m7.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p5.7.m7.1.2.1" xref="S4.p5.7.m7.1.2.1.cmml">​</mo><mrow id="S4.p5.7.m7.1.2.3.2" xref="S4.p5.7.m7.1.2.cmml"><mo stretchy="false" id="S4.p5.7.m7.1.2.3.2.1" xref="S4.p5.7.m7.1.2.cmml">(</mo><mo lspace="0em" rspace="0em" id="S4.p5.7.m7.1.1" xref="S4.p5.7.m7.1.1.cmml">⋅</mo><mo stretchy="false" id="S4.p5.7.m7.1.2.3.2.2" xref="S4.p5.7.m7.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.7.m7.1b"><apply id="S4.p5.7.m7.1.2.cmml" xref="S4.p5.7.m7.1.2"><times id="S4.p5.7.m7.1.2.1.cmml" xref="S4.p5.7.m7.1.2.1"></times><ci id="S4.p5.7.m7.1.2.2.cmml" xref="S4.p5.7.m7.1.2.2">Θ</ci><ci id="S4.p5.7.m7.1.1.cmml" xref="S4.p5.7.m7.1.1">⋅</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.7.m7.1c">\Theta(\cdot)</annotation></semantics></math>, we arrive at <math id="S4.p5.8.m8.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S4.p5.8.m8.1a"><msub id="S4.p5.8.m8.1.1" xref="S4.p5.8.m8.1.1.cmml"><mi id="S4.p5.8.m8.1.1.2" xref="S4.p5.8.m8.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p5.8.m8.1.1.3" xref="S4.p5.8.m8.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p5.8.m8.1b"><apply id="S4.p5.8.m8.1.1.cmml" xref="S4.p5.8.m8.1.1"><csymbol cd="ambiguous" id="S4.p5.8.m8.1.1.1.cmml" xref="S4.p5.8.m8.1.1">subscript</csymbol><ci id="S4.p5.8.m8.1.1.2.cmml" xref="S4.p5.8.m8.1.1.2">𝜎</ci><ci id="S4.p5.8.m8.1.1.3.cmml" xref="S4.p5.8.m8.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.8.m8.1c">\sigma_{\ell}</annotation></semantics></math> scaled as in the spectral parametrization (<a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>).
Initializing weights with a prefactor <math id="S4.p5.9.m9.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S4.p5.9.m9.1a"><msub id="S4.p5.9.m9.1.1" xref="S4.p5.9.m9.1.1.cmml"><mi id="S4.p5.9.m9.1.1.2" xref="S4.p5.9.m9.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p5.9.m9.1.1.3" xref="S4.p5.9.m9.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p5.9.m9.1b"><apply id="S4.p5.9.m9.1.1.cmml" xref="S4.p5.9.m9.1.1"><csymbol cd="ambiguous" id="S4.p5.9.m9.1.1.1.cmml" xref="S4.p5.9.m9.1.1">subscript</csymbol><ci id="S4.p5.9.m9.1.1.2.cmml" xref="S4.p5.9.m9.1.1.2">𝜎</ci><ci id="S4.p5.9.m9.1.1.3.cmml" xref="S4.p5.9.m9.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.9.m9.1c">\sigma_{\ell}</annotation></semantics></math> scaling in this manner achieves the correct spectral norm of <math id="S4.p5.10.m10.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S4.p5.10.m10.1a"><msub id="S4.p5.10.m10.1.1" xref="S4.p5.10.m10.1.1.cmml"><mi id="S4.p5.10.m10.1.1.2" xref="S4.p5.10.m10.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.10.m10.1.1.3" xref="S4.p5.10.m10.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p5.10.m10.1b"><apply id="S4.p5.10.m10.1.1.cmml" xref="S4.p5.10.m10.1.1"><csymbol cd="ambiguous" id="S4.p5.10.m10.1.1.1.cmml" xref="S4.p5.10.m10.1.1">subscript</csymbol><ci id="S4.p5.10.m10.1.1.2.cmml" xref="S4.p5.10.m10.1.1.2">𝑾</ci><ci id="S4.p5.10.m10.1.1.3.cmml" xref="S4.p5.10.m10.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.10.m10.1c">{\bm{W}}_{\ell}</annotation></semantics></math>.
We note that the constant factor suppressed by the <math id="S4.p5.11.m11.1" class="ltx_Math" alttext="\Theta(\cdot)" display="inline"><semantics id="S4.p5.11.m11.1a"><mrow id="S4.p5.11.m11.1.2" xref="S4.p5.11.m11.1.2.cmml"><mi mathvariant="normal" id="S4.p5.11.m11.1.2.2" xref="S4.p5.11.m11.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p5.11.m11.1.2.1" xref="S4.p5.11.m11.1.2.1.cmml">​</mo><mrow id="S4.p5.11.m11.1.2.3.2" xref="S4.p5.11.m11.1.2.cmml"><mo stretchy="false" id="S4.p5.11.m11.1.2.3.2.1" xref="S4.p5.11.m11.1.2.cmml">(</mo><mo lspace="0em" rspace="0em" id="S4.p5.11.m11.1.1" xref="S4.p5.11.m11.1.1.cmml">⋅</mo><mo stretchy="false" id="S4.p5.11.m11.1.2.3.2.2" xref="S4.p5.11.m11.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.11.m11.1b"><apply id="S4.p5.11.m11.1.2.cmml" xref="S4.p5.11.m11.1.2"><times id="S4.p5.11.m11.1.2.1.cmml" xref="S4.p5.11.m11.1.2.1"></times><ci id="S4.p5.11.m11.1.2.2.cmml" xref="S4.p5.11.m11.1.2.2">Θ</ci><ci id="S4.p5.11.m11.1.1.cmml" xref="S4.p5.11.m11.1.1">⋅</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.11.m11.1c">\Theta(\cdot)</annotation></semantics></math> here will usually be small—for example, a prefactor of <math id="S4.p5.12.m12.1" class="ltx_Math" alttext="\sqrt{2}" display="inline"><semantics id="S4.p5.12.m12.1a"><msqrt id="S4.p5.12.m12.1.1" xref="S4.p5.12.m12.1.1.cmml"><mn id="S4.p5.12.m12.1.1.2" xref="S4.p5.12.m12.1.1.2.cmml">2</mn></msqrt><annotation-xml encoding="MathML-Content" id="S4.p5.12.m12.1b"><apply id="S4.p5.12.m12.1.1.cmml" xref="S4.p5.12.m12.1.1"><root id="S4.p5.12.m12.1.1a.cmml" xref="S4.p5.12.m12.1.1"></root><cn type="integer" id="S4.p5.12.m12.1.1.2.cmml" xref="S4.p5.12.m12.1.1.2">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.12.m12.1c">\sqrt{2}</annotation></semantics></math> agrees with typical practice for ReLU networks at most layers.
If <math id="S4.p5.13.m13.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}^{\prime}" display="inline"><semantics id="S4.p5.13.m13.1a"><msubsup id="S4.p5.13.m13.1.1" xref="S4.p5.13.m13.1.1.cmml"><mi id="S4.p5.13.m13.1.1.2.2" xref="S4.p5.13.m13.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p5.13.m13.1.1.2.3" xref="S4.p5.13.m13.1.1.2.3.cmml">ℓ</mi><mo id="S4.p5.13.m13.1.1.3" xref="S4.p5.13.m13.1.1.3.cmml">′</mo></msubsup><annotation-xml encoding="MathML-Content" id="S4.p5.13.m13.1b"><apply id="S4.p5.13.m13.1.1.cmml" xref="S4.p5.13.m13.1.1"><csymbol cd="ambiguous" id="S4.p5.13.m13.1.1.1.cmml" xref="S4.p5.13.m13.1.1">superscript</csymbol><apply id="S4.p5.13.m13.1.1.2.cmml" xref="S4.p5.13.m13.1.1"><csymbol cd="ambiguous" id="S4.p5.13.m13.1.1.2.1.cmml" xref="S4.p5.13.m13.1.1">subscript</csymbol><ci id="S4.p5.13.m13.1.1.2.2.cmml" xref="S4.p5.13.m13.1.1.2.2">𝑾</ci><ci id="S4.p5.13.m13.1.1.2.3.cmml" xref="S4.p5.13.m13.1.1.2.3">ℓ</ci></apply><ci id="S4.p5.13.m13.1.1.3.cmml" xref="S4.p5.13.m13.1.1.3">′</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.13.m13.1c">{\bm{W}}_{\ell}^{\prime}</annotation></semantics></math> is instead a random semi-orthogonal matrix, then we can simply use a prefactor <math id="S4.p5.14.m14.1" class="ltx_Math" alttext="\sigma_{\ell}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})" display="inline"><semantics id="S4.p5.14.m14.1a"><mrow id="S4.p5.14.m14.1.2" xref="S4.p5.14.m14.1.2.cmml"><msub id="S4.p5.14.m14.1.2.2" xref="S4.p5.14.m14.1.2.2.cmml"><mi id="S4.p5.14.m14.1.2.2.2" xref="S4.p5.14.m14.1.2.2.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p5.14.m14.1.2.2.3" xref="S4.p5.14.m14.1.2.2.3.cmml">ℓ</mi></msub><mo id="S4.p5.14.m14.1.2.1" xref="S4.p5.14.m14.1.2.1.cmml">=</mo><mrow id="S4.p5.14.m14.1.2.3" xref="S4.p5.14.m14.1.2.3.cmml"><mi mathvariant="normal" id="S4.p5.14.m14.1.2.3.2" xref="S4.p5.14.m14.1.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p5.14.m14.1.2.3.1" xref="S4.p5.14.m14.1.2.3.1.cmml">​</mo><mrow id="S4.p5.14.m14.1.2.3.3.2" xref="S4.p5.14.m14.1.1.cmml"><mo stretchy="false" id="S4.p5.14.m14.1.2.3.3.2.1" xref="S4.p5.14.m14.1.1.cmml">(</mo><msqrt id="S4.p5.14.m14.1.1" xref="S4.p5.14.m14.1.1.cmml"><mrow id="S4.p5.14.m14.1.1.2" xref="S4.p5.14.m14.1.1.2.cmml"><mrow id="S4.p5.14.m14.1.1.2.2" xref="S4.p5.14.m14.1.1.2.2.cmml"><mrow id="S4.p5.14.m14.1.1.2.2.2" xref="S4.p5.14.m14.1.1.2.2.2.cmml"><mn id="S4.p5.14.m14.1.1.2.2.2.2" xref="S4.p5.14.m14.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p5.14.m14.1.1.2.2.2.1" xref="S4.p5.14.m14.1.1.2.2.2.1.cmml">​</mo><mi id="S4.p5.14.m14.1.1.2.2.2.3" xref="S4.p5.14.m14.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.14.m14.1.1.2.2.2.1a" xref="S4.p5.14.m14.1.1.2.2.2.1.cmml">​</mo><msub id="S4.p5.14.m14.1.1.2.2.2.4" xref="S4.p5.14.m14.1.1.2.2.2.4.cmml"><mi id="S4.p5.14.m14.1.1.2.2.2.4.2" xref="S4.p5.14.m14.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p5.14.m14.1.1.2.2.2.4.3" xref="S4.p5.14.m14.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p5.14.m14.1.1.2.2.1" xref="S4.p5.14.m14.1.1.2.2.1.cmml">/</mo><mn id="S4.p5.14.m14.1.1.2.2.3" xref="S4.p5.14.m14.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p5.14.m14.1.1.2.1" xref="S4.p5.14.m14.1.1.2.1.cmml">​</mo><mi id="S4.p5.14.m14.1.1.2.3" xref="S4.p5.14.m14.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p5.14.m14.1.1.2.1a" xref="S4.p5.14.m14.1.1.2.1.cmml">​</mo><msub id="S4.p5.14.m14.1.1.2.4" xref="S4.p5.14.m14.1.1.2.4.cmml"><mi id="S4.p5.14.m14.1.1.2.4.2" xref="S4.p5.14.m14.1.1.2.4.2.cmml">t</mi><mrow id="S4.p5.14.m14.1.1.2.4.3" xref="S4.p5.14.m14.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S4.p5.14.m14.1.1.2.4.3.2" xref="S4.p5.14.m14.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S4.p5.14.m14.1.1.2.4.3.1" xref="S4.p5.14.m14.1.1.2.4.3.1.cmml">−</mo><mn id="S4.p5.14.m14.1.1.2.4.3.3" xref="S4.p5.14.m14.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo stretchy="false" id="S4.p5.14.m14.1.2.3.3.2.2" xref="S4.p5.14.m14.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p5.14.m14.1b"><apply id="S4.p5.14.m14.1.2.cmml" xref="S4.p5.14.m14.1.2"><eq id="S4.p5.14.m14.1.2.1.cmml" xref="S4.p5.14.m14.1.2.1"></eq><apply id="S4.p5.14.m14.1.2.2.cmml" xref="S4.p5.14.m14.1.2.2"><csymbol cd="ambiguous" id="S4.p5.14.m14.1.2.2.1.cmml" xref="S4.p5.14.m14.1.2.2">subscript</csymbol><ci id="S4.p5.14.m14.1.2.2.2.cmml" xref="S4.p5.14.m14.1.2.2.2">𝜎</ci><ci id="S4.p5.14.m14.1.2.2.3.cmml" xref="S4.p5.14.m14.1.2.2.3">ℓ</ci></apply><apply id="S4.p5.14.m14.1.2.3.cmml" xref="S4.p5.14.m14.1.2.3"><times id="S4.p5.14.m14.1.2.3.1.cmml" xref="S4.p5.14.m14.1.2.3.1"></times><ci id="S4.p5.14.m14.1.2.3.2.cmml" xref="S4.p5.14.m14.1.2.3.2">Θ</ci><apply id="S4.p5.14.m14.1.1.cmml" xref="S4.p5.14.m14.1.2.3.3.2"><root id="S4.p5.14.m14.1.1a.cmml" xref="S4.p5.14.m14.1.2.3.3.2"></root><apply id="S4.p5.14.m14.1.1.2.cmml" xref="S4.p5.14.m14.1.1.2"><times id="S4.p5.14.m14.1.1.2.1.cmml" xref="S4.p5.14.m14.1.1.2.1"></times><apply id="S4.p5.14.m14.1.1.2.2.cmml" xref="S4.p5.14.m14.1.1.2.2"><divide id="S4.p5.14.m14.1.1.2.2.1.cmml" xref="S4.p5.14.m14.1.1.2.2.1"></divide><apply id="S4.p5.14.m14.1.1.2.2.2.cmml" xref="S4.p5.14.m14.1.1.2.2.2"><times id="S4.p5.14.m14.1.1.2.2.2.1.cmml" xref="S4.p5.14.m14.1.1.2.2.2.1"></times><cn type="integer" id="S4.p5.14.m14.1.1.2.2.2.2.cmml" xref="S4.p5.14.m14.1.1.2.2.2.2">0</cn><ci id="S4.p5.14.m14.1.1.2.2.2.3.cmml" xref="S4.p5.14.m14.1.1.2.2.2.3">𝑝</ci><apply id="S4.p5.14.m14.1.1.2.2.2.4.cmml" xref="S4.p5.14.m14.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S4.p5.14.m14.1.1.2.2.2.4.1.cmml" xref="S4.p5.14.m14.1.1.2.2.2.4">subscript</csymbol><ci id="S4.p5.14.m14.1.1.2.2.2.4.2.cmml" xref="S4.p5.14.m14.1.1.2.2.2.4.2">𝑡</ci><ci id="S4.p5.14.m14.1.1.2.2.2.4.3.cmml" xref="S4.p5.14.m14.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p5.14.m14.1.1.2.2.3.cmml" xref="S4.p5.14.m14.1.1.2.2.3">0</cn></apply><ci id="S4.p5.14.m14.1.1.2.3.cmml" xref="S4.p5.14.m14.1.1.2.3">𝑝</ci><apply id="S4.p5.14.m14.1.1.2.4.cmml" xref="S4.p5.14.m14.1.1.2.4"><csymbol cd="ambiguous" id="S4.p5.14.m14.1.1.2.4.1.cmml" xref="S4.p5.14.m14.1.1.2.4">subscript</csymbol><ci id="S4.p5.14.m14.1.1.2.4.2.cmml" xref="S4.p5.14.m14.1.1.2.4.2">𝑡</ci><apply id="S4.p5.14.m14.1.1.2.4.3.cmml" xref="S4.p5.14.m14.1.1.2.4.3"><minus id="S4.p5.14.m14.1.1.2.4.3.1.cmml" xref="S4.p5.14.m14.1.1.2.4.3.1"></minus><ci id="S4.p5.14.m14.1.1.2.4.3.2.cmml" xref="S4.p5.14.m14.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p5.14.m14.1.1.2.4.3.3.cmml" xref="S4.p5.14.m14.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p5.14.m14.1c">\sigma_{\ell}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})</annotation></semantics></math>.</p>
</div>
<div id="S4.p6" class="ltx_para ltx_noindent">
<p id="S4.p6.2" class="ltx_p"><span id="S4.p6.2.1" class="ltx_text ltx_font_bold">Gradient updates.</span>
Here we give two methods for obtaining weight updates <math id="S4.p6.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S4.p6.1.m1.1a"><mrow id="S4.p6.1.m1.1.1" xref="S4.p6.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.p6.1.m1.1.1.2" xref="S4.p6.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.p6.1.m1.1.1.1" xref="S4.p6.1.m1.1.1.1.cmml">​</mo><msub id="S4.p6.1.m1.1.1.3" xref="S4.p6.1.m1.1.1.3.cmml"><mi id="S4.p6.1.m1.1.1.3.2" xref="S4.p6.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p6.1.m1.1.1.3.3" xref="S4.p6.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.1.m1.1b"><apply id="S4.p6.1.m1.1.1.cmml" xref="S4.p6.1.m1.1.1"><times id="S4.p6.1.m1.1.1.1.cmml" xref="S4.p6.1.m1.1.1.1"></times><ci id="S4.p6.1.m1.1.1.2.cmml" xref="S4.p6.1.m1.1.1.2">Δ</ci><apply id="S4.p6.1.m1.1.1.3.cmml" xref="S4.p6.1.m1.1.1.3"><csymbol cd="ambiguous" id="S4.p6.1.m1.1.1.3.1.cmml" xref="S4.p6.1.m1.1.1.3">subscript</csymbol><ci id="S4.p6.1.m1.1.1.3.2.cmml" xref="S4.p6.1.m1.1.1.3.2">𝑾</ci><ci id="S4.p6.1.m1.1.1.3.3.cmml" xref="S4.p6.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> with the correct spectral norm.
The first method is to note that, for a matrix with low stable rank, the Frobenius norm scales like the spectral norm (and is cheap to compute), so we may simply approximate <math id="S4.p6.2.m2.2" class="ltx_Math" alttext="\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}\approx\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{F}" display="inline"><semantics id="S4.p6.2.m2.2a"><mrow id="S4.p6.2.m2.2.2" xref="S4.p6.2.m2.2.2.cmml"><msub id="S4.p6.2.m2.1.1.1" xref="S4.p6.2.m2.1.1.1.cmml"><mrow id="S4.p6.2.m2.1.1.1.1.1" xref="S4.p6.2.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.p6.2.m2.1.1.1.1.1.2" xref="S4.p6.2.m2.1.1.1.1.2.1.cmml">‖</mo><mrow id="S4.p6.2.m2.1.1.1.1.1.1" xref="S4.p6.2.m2.1.1.1.1.1.1.cmml"><msub id="S4.p6.2.m2.1.1.1.1.1.1.1" xref="S4.p6.2.m2.1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.p6.2.m2.1.1.1.1.1.1.1.2" xref="S4.p6.2.m2.1.1.1.1.1.1.1.2.cmml">∇</mo><msub id="S4.p6.2.m2.1.1.1.1.1.1.1.3" xref="S4.p6.2.m2.1.1.1.1.1.1.1.3.cmml"><mi id="S4.p6.2.m2.1.1.1.1.1.1.1.3.2" xref="S4.p6.2.m2.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p6.2.m2.1.1.1.1.1.1.1.3.3" xref="S4.p6.2.m2.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.p6.2.m2.1.1.1.1.1.1.2" xref="S4.p6.2.m2.1.1.1.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.p6.2.m2.1.1.1.1.1.3" xref="S4.p6.2.m2.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p6.2.m2.1.1.1.3" xref="S4.p6.2.m2.1.1.1.3.cmml">∗</mo></msub><mo id="S4.p6.2.m2.2.2.3" xref="S4.p6.2.m2.2.2.3.cmml">≈</mo><msub id="S4.p6.2.m2.2.2.2" xref="S4.p6.2.m2.2.2.2.cmml"><mrow id="S4.p6.2.m2.2.2.2.1.1" xref="S4.p6.2.m2.2.2.2.1.2.cmml"><mo stretchy="false" id="S4.p6.2.m2.2.2.2.1.1.2" xref="S4.p6.2.m2.2.2.2.1.2.1.cmml">‖</mo><mrow id="S4.p6.2.m2.2.2.2.1.1.1" xref="S4.p6.2.m2.2.2.2.1.1.1.cmml"><msub id="S4.p6.2.m2.2.2.2.1.1.1.1" xref="S4.p6.2.m2.2.2.2.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.p6.2.m2.2.2.2.1.1.1.1.2" xref="S4.p6.2.m2.2.2.2.1.1.1.1.2.cmml">∇</mo><msub id="S4.p6.2.m2.2.2.2.1.1.1.1.3" xref="S4.p6.2.m2.2.2.2.1.1.1.1.3.cmml"><mi id="S4.p6.2.m2.2.2.2.1.1.1.1.3.2" xref="S4.p6.2.m2.2.2.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p6.2.m2.2.2.2.1.1.1.1.3.3" xref="S4.p6.2.m2.2.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.p6.2.m2.2.2.2.1.1.1.2" xref="S4.p6.2.m2.2.2.2.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.p6.2.m2.2.2.2.1.1.3" xref="S4.p6.2.m2.2.2.2.1.2.1.cmml">‖</mo></mrow><mi id="S4.p6.2.m2.2.2.2.3" xref="S4.p6.2.m2.2.2.2.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.2.m2.2b"><apply id="S4.p6.2.m2.2.2.cmml" xref="S4.p6.2.m2.2.2"><approx id="S4.p6.2.m2.2.2.3.cmml" xref="S4.p6.2.m2.2.2.3"></approx><apply id="S4.p6.2.m2.1.1.1.cmml" xref="S4.p6.2.m2.1.1.1"><csymbol cd="ambiguous" id="S4.p6.2.m2.1.1.1.2.cmml" xref="S4.p6.2.m2.1.1.1">subscript</csymbol><apply id="S4.p6.2.m2.1.1.1.1.2.cmml" xref="S4.p6.2.m2.1.1.1.1.1"><csymbol cd="latexml" id="S4.p6.2.m2.1.1.1.1.2.1.cmml" xref="S4.p6.2.m2.1.1.1.1.1.2">norm</csymbol><apply id="S4.p6.2.m2.1.1.1.1.1.1.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1"><apply id="S4.p6.2.m2.1.1.1.1.1.1.1.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p6.2.m2.1.1.1.1.1.1.1.1.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.p6.2.m2.1.1.1.1.1.1.1.2.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.1.2">∇</ci><apply id="S4.p6.2.m2.1.1.1.1.1.1.1.3.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p6.2.m2.1.1.1.1.1.1.1.3.1.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.p6.2.m2.1.1.1.1.1.1.1.3.2.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.p6.2.m2.1.1.1.1.1.1.1.3.3.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.p6.2.m2.1.1.1.1.1.1.2.cmml" xref="S4.p6.2.m2.1.1.1.1.1.1.2">ℒ</ci></apply></apply><times id="S4.p6.2.m2.1.1.1.3.cmml" xref="S4.p6.2.m2.1.1.1.3"></times></apply><apply id="S4.p6.2.m2.2.2.2.cmml" xref="S4.p6.2.m2.2.2.2"><csymbol cd="ambiguous" id="S4.p6.2.m2.2.2.2.2.cmml" xref="S4.p6.2.m2.2.2.2">subscript</csymbol><apply id="S4.p6.2.m2.2.2.2.1.2.cmml" xref="S4.p6.2.m2.2.2.2.1.1"><csymbol cd="latexml" id="S4.p6.2.m2.2.2.2.1.2.1.cmml" xref="S4.p6.2.m2.2.2.2.1.1.2">norm</csymbol><apply id="S4.p6.2.m2.2.2.2.1.1.1.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1"><apply id="S4.p6.2.m2.2.2.2.1.1.1.1.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.p6.2.m2.2.2.2.1.1.1.1.1.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.1">subscript</csymbol><ci id="S4.p6.2.m2.2.2.2.1.1.1.1.2.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.1.2">∇</ci><apply id="S4.p6.2.m2.2.2.2.1.1.1.1.3.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p6.2.m2.2.2.2.1.1.1.1.3.1.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.1.3">subscript</csymbol><ci id="S4.p6.2.m2.2.2.2.1.1.1.1.3.2.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.1.3.2">𝑾</ci><ci id="S4.p6.2.m2.2.2.2.1.1.1.1.3.3.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.p6.2.m2.2.2.2.1.1.1.2.cmml" xref="S4.p6.2.m2.2.2.2.1.1.1.2">ℒ</ci></apply></apply><ci id="S4.p6.2.m2.2.2.2.3.cmml" xref="S4.p6.2.m2.2.2.2.3">𝐹</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.2.m2.2c">\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}\approx\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{F}</annotation></semantics></math> and use <a href="#S4.E17" title="In 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">17</span></a> directly.
This approach is useful if one wants to avoid worrying about width-scaling pre-factors entirely.
The second method—on which we will spend more time—is to make standard updates</p>
<table id="S4.E18" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S4.E18.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}=-\eta_{\ell}\nabla_{{\bm{W}}_{\ell}}\mathcal{L}" display="block"><semantics id="S4.E18.m1.1a"><mrow id="S4.E18.m1.1.1" xref="S4.E18.m1.1.1.cmml"><mrow id="S4.E18.m1.1.1.2" xref="S4.E18.m1.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.E18.m1.1.1.2.2" xref="S4.E18.m1.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.E18.m1.1.1.2.1" xref="S4.E18.m1.1.1.2.1.cmml">​</mo><msub id="S4.E18.m1.1.1.2.3" xref="S4.E18.m1.1.1.2.3.cmml"><mi id="S4.E18.m1.1.1.2.3.2" xref="S4.E18.m1.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E18.m1.1.1.2.3.3" xref="S4.E18.m1.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="S4.E18.m1.1.1.1" xref="S4.E18.m1.1.1.1.cmml">=</mo><mrow id="S4.E18.m1.1.1.3" xref="S4.E18.m1.1.1.3.cmml"><mo id="S4.E18.m1.1.1.3a" xref="S4.E18.m1.1.1.3.cmml">−</mo><mrow id="S4.E18.m1.1.1.3.2" xref="S4.E18.m1.1.1.3.2.cmml"><msub id="S4.E18.m1.1.1.3.2.2" xref="S4.E18.m1.1.1.3.2.2.cmml"><mi id="S4.E18.m1.1.1.3.2.2.2" xref="S4.E18.m1.1.1.3.2.2.2.cmml">η</mi><mi mathvariant="normal" id="S4.E18.m1.1.1.3.2.2.3" xref="S4.E18.m1.1.1.3.2.2.3.cmml">ℓ</mi></msub><mo lspace="0.167em" rspace="0em" id="S4.E18.m1.1.1.3.2.1" xref="S4.E18.m1.1.1.3.2.1.cmml">​</mo><mrow id="S4.E18.m1.1.1.3.2.3" xref="S4.E18.m1.1.1.3.2.3.cmml"><msub id="S4.E18.m1.1.1.3.2.3.1" xref="S4.E18.m1.1.1.3.2.3.1.cmml"><mo rspace="0.167em" id="S4.E18.m1.1.1.3.2.3.1.2" xref="S4.E18.m1.1.1.3.2.3.1.2.cmml">∇</mo><msub id="S4.E18.m1.1.1.3.2.3.1.3" xref="S4.E18.m1.1.1.3.2.3.1.3.cmml"><mi id="S4.E18.m1.1.1.3.2.3.1.3.2" xref="S4.E18.m1.1.1.3.2.3.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E18.m1.1.1.3.2.3.1.3.3" xref="S4.E18.m1.1.1.3.2.3.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.E18.m1.1.1.3.2.3.2" xref="S4.E18.m1.1.1.3.2.3.2.cmml">ℒ</mi></mrow></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.E18.m1.1b"><apply id="S4.E18.m1.1.1.cmml" xref="S4.E18.m1.1.1"><eq id="S4.E18.m1.1.1.1.cmml" xref="S4.E18.m1.1.1.1"></eq><apply id="S4.E18.m1.1.1.2.cmml" xref="S4.E18.m1.1.1.2"><times id="S4.E18.m1.1.1.2.1.cmml" xref="S4.E18.m1.1.1.2.1"></times><ci id="S4.E18.m1.1.1.2.2.cmml" xref="S4.E18.m1.1.1.2.2">Δ</ci><apply id="S4.E18.m1.1.1.2.3.cmml" xref="S4.E18.m1.1.1.2.3"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.2.3.1.cmml" xref="S4.E18.m1.1.1.2.3">subscript</csymbol><ci id="S4.E18.m1.1.1.2.3.2.cmml" xref="S4.E18.m1.1.1.2.3.2">𝑾</ci><ci id="S4.E18.m1.1.1.2.3.3.cmml" xref="S4.E18.m1.1.1.2.3.3">ℓ</ci></apply></apply><apply id="S4.E18.m1.1.1.3.cmml" xref="S4.E18.m1.1.1.3"><minus id="S4.E18.m1.1.1.3.1.cmml" xref="S4.E18.m1.1.1.3"></minus><apply id="S4.E18.m1.1.1.3.2.cmml" xref="S4.E18.m1.1.1.3.2"><times id="S4.E18.m1.1.1.3.2.1.cmml" xref="S4.E18.m1.1.1.3.2.1"></times><apply id="S4.E18.m1.1.1.3.2.2.cmml" xref="S4.E18.m1.1.1.3.2.2"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.3.2.2.1.cmml" xref="S4.E18.m1.1.1.3.2.2">subscript</csymbol><ci id="S4.E18.m1.1.1.3.2.2.2.cmml" xref="S4.E18.m1.1.1.3.2.2.2">𝜂</ci><ci id="S4.E18.m1.1.1.3.2.2.3.cmml" xref="S4.E18.m1.1.1.3.2.2.3">ℓ</ci></apply><apply id="S4.E18.m1.1.1.3.2.3.cmml" xref="S4.E18.m1.1.1.3.2.3"><apply id="S4.E18.m1.1.1.3.2.3.1.cmml" xref="S4.E18.m1.1.1.3.2.3.1"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.3.2.3.1.1.cmml" xref="S4.E18.m1.1.1.3.2.3.1">subscript</csymbol><ci id="S4.E18.m1.1.1.3.2.3.1.2.cmml" xref="S4.E18.m1.1.1.3.2.3.1.2">∇</ci><apply id="S4.E18.m1.1.1.3.2.3.1.3.cmml" xref="S4.E18.m1.1.1.3.2.3.1.3"><csymbol cd="ambiguous" id="S4.E18.m1.1.1.3.2.3.1.3.1.cmml" xref="S4.E18.m1.1.1.3.2.3.1.3">subscript</csymbol><ci id="S4.E18.m1.1.1.3.2.3.1.3.2.cmml" xref="S4.E18.m1.1.1.3.2.3.1.3.2">𝑾</ci><ci id="S4.E18.m1.1.1.3.2.3.1.3.3.cmml" xref="S4.E18.m1.1.1.3.2.3.1.3.3">ℓ</ci></apply></apply><ci id="S4.E18.m1.1.1.3.2.3.2.cmml" xref="S4.E18.m1.1.1.3.2.3.2">ℒ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E18.m1.1c">\Delta\!{\bm{W}}_{\ell}=-\eta_{\ell}\nabla_{{\bm{W}}_{\ell}}\mathcal{L}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(18)</span></td>
</tr></tbody>
</table>
<p id="S4.p6.4" class="ltx_p">and find a scaling of <math id="S4.p6.3.m1.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S4.p6.3.m1.1a"><msub id="S4.p6.3.m1.1.1" xref="S4.p6.3.m1.1.1.cmml"><mi id="S4.p6.3.m1.1.1.2" xref="S4.p6.3.m1.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S4.p6.3.m1.1.1.3" xref="S4.p6.3.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p6.3.m1.1b"><apply id="S4.p6.3.m1.1.1.cmml" xref="S4.p6.3.m1.1.1"><csymbol cd="ambiguous" id="S4.p6.3.m1.1.1.1.cmml" xref="S4.p6.3.m1.1.1">subscript</csymbol><ci id="S4.p6.3.m1.1.1.2.cmml" xref="S4.p6.3.m1.1.1.2">𝜂</ci><ci id="S4.p6.3.m1.1.1.3.cmml" xref="S4.p6.3.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.3.m1.1c">\eta_{\ell}</annotation></semantics></math> such that <math id="S4.p6.4.m2.2" class="ltx_Math" alttext="\smash{\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})}" display="inline"><semantics id="S4.p6.4.m2.2a"><mrow id="S4.p6.4.m2.2.2" xref="S4.p6.4.m2.2.2.cmml"><msub id="S4.p6.4.m2.2.2.1" xref="S4.p6.4.m2.2.2.1.cmml"><mrow id="S4.p6.4.m2.2.2.1.1.1" xref="S4.p6.4.m2.2.2.1.1.2.cmml"><mo stretchy="false" id="S4.p6.4.m2.2.2.1.1.1.2" xref="S4.p6.4.m2.2.2.1.1.2.1.cmml">‖</mo><mrow id="S4.p6.4.m2.2.2.1.1.1.1" xref="S4.p6.4.m2.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.p6.4.m2.2.2.1.1.1.1.2" xref="S4.p6.4.m2.2.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.p6.4.m2.2.2.1.1.1.1.1" xref="S4.p6.4.m2.2.2.1.1.1.1.1.cmml">​</mo><msub id="S4.p6.4.m2.2.2.1.1.1.1.3" xref="S4.p6.4.m2.2.2.1.1.1.1.3.cmml"><mi id="S4.p6.4.m2.2.2.1.1.1.1.3.2" xref="S4.p6.4.m2.2.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p6.4.m2.2.2.1.1.1.1.3.3" xref="S4.p6.4.m2.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S4.p6.4.m2.2.2.1.1.1.3" xref="S4.p6.4.m2.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p6.4.m2.2.2.1.3" xref="S4.p6.4.m2.2.2.1.3.cmml">∗</mo></msub><mo id="S4.p6.4.m2.2.2.2" xref="S4.p6.4.m2.2.2.2.cmml">=</mo><mrow id="S4.p6.4.m2.2.2.3" xref="S4.p6.4.m2.2.2.3.cmml"><mi mathvariant="normal" id="S4.p6.4.m2.2.2.3.2" xref="S4.p6.4.m2.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p6.4.m2.2.2.3.1" xref="S4.p6.4.m2.2.2.3.1.cmml">​</mo><mrow id="S4.p6.4.m2.2.2.3.3.2" xref="S4.p6.4.m2.1.1.cmml"><mo stretchy="false" id="S4.p6.4.m2.2.2.3.3.2.1" xref="S4.p6.4.m2.1.1.cmml">(</mo><msqrt id="S4.p6.4.m2.1.1" xref="S4.p6.4.m2.1.1.cmml"><mrow id="S4.p6.4.m2.1.1.2" xref="S4.p6.4.m2.1.1.2.cmml"><mrow id="S4.p6.4.m2.1.1.2.2" xref="S4.p6.4.m2.1.1.2.2.cmml"><mrow id="S4.p6.4.m2.1.1.2.2.2" xref="S4.p6.4.m2.1.1.2.2.2.cmml"><mn id="S4.p6.4.m2.1.1.2.2.2.2" xref="S4.p6.4.m2.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p6.4.m2.1.1.2.2.2.1" xref="S4.p6.4.m2.1.1.2.2.2.1.cmml">​</mo><mi id="S4.p6.4.m2.1.1.2.2.2.3" xref="S4.p6.4.m2.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p6.4.m2.1.1.2.2.2.1a" xref="S4.p6.4.m2.1.1.2.2.2.1.cmml">​</mo><msub id="S4.p6.4.m2.1.1.2.2.2.4" xref="S4.p6.4.m2.1.1.2.2.2.4.cmml"><mi id="S4.p6.4.m2.1.1.2.2.2.4.2" xref="S4.p6.4.m2.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p6.4.m2.1.1.2.2.2.4.3" xref="S4.p6.4.m2.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p6.4.m2.1.1.2.2.1" xref="S4.p6.4.m2.1.1.2.2.1.cmml">/</mo><mn id="S4.p6.4.m2.1.1.2.2.3" xref="S4.p6.4.m2.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p6.4.m2.1.1.2.1" xref="S4.p6.4.m2.1.1.2.1.cmml">​</mo><mi id="S4.p6.4.m2.1.1.2.3" xref="S4.p6.4.m2.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p6.4.m2.1.1.2.1a" xref="S4.p6.4.m2.1.1.2.1.cmml">​</mo><msub id="S4.p6.4.m2.1.1.2.4" xref="S4.p6.4.m2.1.1.2.4.cmml"><mi id="S4.p6.4.m2.1.1.2.4.2" xref="S4.p6.4.m2.1.1.2.4.2.cmml">t</mi><mrow id="S4.p6.4.m2.1.1.2.4.3" xref="S4.p6.4.m2.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S4.p6.4.m2.1.1.2.4.3.2" xref="S4.p6.4.m2.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S4.p6.4.m2.1.1.2.4.3.1" xref="S4.p6.4.m2.1.1.2.4.3.1.cmml">−</mo><mn id="S4.p6.4.m2.1.1.2.4.3.3" xref="S4.p6.4.m2.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo stretchy="false" id="S4.p6.4.m2.2.2.3.3.2.2" xref="S4.p6.4.m2.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p6.4.m2.2b"><apply id="S4.p6.4.m2.2.2.cmml" xref="S4.p6.4.m2.2.2"><eq id="S4.p6.4.m2.2.2.2.cmml" xref="S4.p6.4.m2.2.2.2"></eq><apply id="S4.p6.4.m2.2.2.1.cmml" xref="S4.p6.4.m2.2.2.1"><csymbol cd="ambiguous" id="S4.p6.4.m2.2.2.1.2.cmml" xref="S4.p6.4.m2.2.2.1">subscript</csymbol><apply id="S4.p6.4.m2.2.2.1.1.2.cmml" xref="S4.p6.4.m2.2.2.1.1.1"><csymbol cd="latexml" id="S4.p6.4.m2.2.2.1.1.2.1.cmml" xref="S4.p6.4.m2.2.2.1.1.1.2">norm</csymbol><apply id="S4.p6.4.m2.2.2.1.1.1.1.cmml" xref="S4.p6.4.m2.2.2.1.1.1.1"><times id="S4.p6.4.m2.2.2.1.1.1.1.1.cmml" xref="S4.p6.4.m2.2.2.1.1.1.1.1"></times><ci id="S4.p6.4.m2.2.2.1.1.1.1.2.cmml" xref="S4.p6.4.m2.2.2.1.1.1.1.2">Δ</ci><apply id="S4.p6.4.m2.2.2.1.1.1.1.3.cmml" xref="S4.p6.4.m2.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p6.4.m2.2.2.1.1.1.1.3.1.cmml" xref="S4.p6.4.m2.2.2.1.1.1.1.3">subscript</csymbol><ci id="S4.p6.4.m2.2.2.1.1.1.1.3.2.cmml" xref="S4.p6.4.m2.2.2.1.1.1.1.3.2">𝑾</ci><ci id="S4.p6.4.m2.2.2.1.1.1.1.3.3.cmml" xref="S4.p6.4.m2.2.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S4.p6.4.m2.2.2.1.3.cmml" xref="S4.p6.4.m2.2.2.1.3"></times></apply><apply id="S4.p6.4.m2.2.2.3.cmml" xref="S4.p6.4.m2.2.2.3"><times id="S4.p6.4.m2.2.2.3.1.cmml" xref="S4.p6.4.m2.2.2.3.1"></times><ci id="S4.p6.4.m2.2.2.3.2.cmml" xref="S4.p6.4.m2.2.2.3.2">Θ</ci><apply id="S4.p6.4.m2.1.1.cmml" xref="S4.p6.4.m2.2.2.3.3.2"><root id="S4.p6.4.m2.1.1a.cmml" xref="S4.p6.4.m2.2.2.3.3.2"></root><apply id="S4.p6.4.m2.1.1.2.cmml" xref="S4.p6.4.m2.1.1.2"><times id="S4.p6.4.m2.1.1.2.1.cmml" xref="S4.p6.4.m2.1.1.2.1"></times><apply id="S4.p6.4.m2.1.1.2.2.cmml" xref="S4.p6.4.m2.1.1.2.2"><divide id="S4.p6.4.m2.1.1.2.2.1.cmml" xref="S4.p6.4.m2.1.1.2.2.1"></divide><apply id="S4.p6.4.m2.1.1.2.2.2.cmml" xref="S4.p6.4.m2.1.1.2.2.2"><times id="S4.p6.4.m2.1.1.2.2.2.1.cmml" xref="S4.p6.4.m2.1.1.2.2.2.1"></times><cn type="integer" id="S4.p6.4.m2.1.1.2.2.2.2.cmml" xref="S4.p6.4.m2.1.1.2.2.2.2">0</cn><ci id="S4.p6.4.m2.1.1.2.2.2.3.cmml" xref="S4.p6.4.m2.1.1.2.2.2.3">𝑝</ci><apply id="S4.p6.4.m2.1.1.2.2.2.4.cmml" xref="S4.p6.4.m2.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S4.p6.4.m2.1.1.2.2.2.4.1.cmml" xref="S4.p6.4.m2.1.1.2.2.2.4">subscript</csymbol><ci id="S4.p6.4.m2.1.1.2.2.2.4.2.cmml" xref="S4.p6.4.m2.1.1.2.2.2.4.2">𝑡</ci><ci id="S4.p6.4.m2.1.1.2.2.2.4.3.cmml" xref="S4.p6.4.m2.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p6.4.m2.1.1.2.2.3.cmml" xref="S4.p6.4.m2.1.1.2.2.3">0</cn></apply><ci id="S4.p6.4.m2.1.1.2.3.cmml" xref="S4.p6.4.m2.1.1.2.3">𝑝</ci><apply id="S4.p6.4.m2.1.1.2.4.cmml" xref="S4.p6.4.m2.1.1.2.4"><csymbol cd="ambiguous" id="S4.p6.4.m2.1.1.2.4.1.cmml" xref="S4.p6.4.m2.1.1.2.4">subscript</csymbol><ci id="S4.p6.4.m2.1.1.2.4.2.cmml" xref="S4.p6.4.m2.1.1.2.4.2">𝑡</ci><apply id="S4.p6.4.m2.1.1.2.4.3.cmml" xref="S4.p6.4.m2.1.1.2.4.3"><minus id="S4.p6.4.m2.1.1.2.4.3.1.cmml" xref="S4.p6.4.m2.1.1.2.4.3.1"></minus><ci id="S4.p6.4.m2.1.1.2.4.3.2.cmml" xref="S4.p6.4.m2.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p6.4.m2.1.1.2.4.3.3.cmml" xref="S4.p6.4.m2.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p6.4.m2.2c">\smash{\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})}</annotation></semantics></math>.</p>
</div>
<div id="S4.p7" class="ltx_para ltx_noindent">
<p id="S4.p7.5" class="ltx_p">The main challenge lies in finding the scaling of the gradient <math id="S4.p7.1.m1.1" class="ltx_Math" alttext="\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}" display="inline"><semantics id="S4.p7.1.m1.1a"><msub id="S4.p7.1.m1.1.1" xref="S4.p7.1.m1.1.1.cmml"><mrow id="S4.p7.1.m1.1.1.1.1" xref="S4.p7.1.m1.1.1.1.2.cmml"><mo stretchy="false" id="S4.p7.1.m1.1.1.1.1.2" xref="S4.p7.1.m1.1.1.1.2.1.cmml">‖</mo><mrow id="S4.p7.1.m1.1.1.1.1.1" xref="S4.p7.1.m1.1.1.1.1.1.cmml"><msub id="S4.p7.1.m1.1.1.1.1.1.1" xref="S4.p7.1.m1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.p7.1.m1.1.1.1.1.1.1.2" xref="S4.p7.1.m1.1.1.1.1.1.1.2.cmml">∇</mo><msub id="S4.p7.1.m1.1.1.1.1.1.1.3" xref="S4.p7.1.m1.1.1.1.1.1.1.3.cmml"><mi id="S4.p7.1.m1.1.1.1.1.1.1.3.2" xref="S4.p7.1.m1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p7.1.m1.1.1.1.1.1.1.3.3" xref="S4.p7.1.m1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.p7.1.m1.1.1.1.1.1.2" xref="S4.p7.1.m1.1.1.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.p7.1.m1.1.1.1.1.3" xref="S4.p7.1.m1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p7.1.m1.1.1.3" xref="S4.p7.1.m1.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="S4.p7.1.m1.1b"><apply id="S4.p7.1.m1.1.1.cmml" xref="S4.p7.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p7.1.m1.1.1.2.cmml" xref="S4.p7.1.m1.1.1">subscript</csymbol><apply id="S4.p7.1.m1.1.1.1.2.cmml" xref="S4.p7.1.m1.1.1.1.1"><csymbol cd="latexml" id="S4.p7.1.m1.1.1.1.2.1.cmml" xref="S4.p7.1.m1.1.1.1.1.2">norm</csymbol><apply id="S4.p7.1.m1.1.1.1.1.1.cmml" xref="S4.p7.1.m1.1.1.1.1.1"><apply id="S4.p7.1.m1.1.1.1.1.1.1.cmml" xref="S4.p7.1.m1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.p7.1.m1.1.1.1.1.1.1.1.cmml" xref="S4.p7.1.m1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.p7.1.m1.1.1.1.1.1.1.2.cmml" xref="S4.p7.1.m1.1.1.1.1.1.1.2">∇</ci><apply id="S4.p7.1.m1.1.1.1.1.1.1.3.cmml" xref="S4.p7.1.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p7.1.m1.1.1.1.1.1.1.3.1.cmml" xref="S4.p7.1.m1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.p7.1.m1.1.1.1.1.1.1.3.2.cmml" xref="S4.p7.1.m1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.p7.1.m1.1.1.1.1.1.1.3.3.cmml" xref="S4.p7.1.m1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.p7.1.m1.1.1.1.1.1.2.cmml" xref="S4.p7.1.m1.1.1.1.1.1.2">ℒ</ci></apply></apply><times id="S4.p7.1.m1.1.1.3.cmml" xref="S4.p7.1.m1.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.1.m1.1c">\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}</annotation></semantics></math>.
Note that we expect each gradient update <math id="S4.p7.2.m2.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S4.p7.2.m2.1a"><mrow id="S4.p7.2.m2.1.1" xref="S4.p7.2.m2.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.p7.2.m2.1.1.2" xref="S4.p7.2.m2.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.p7.2.m2.1.1.1" xref="S4.p7.2.m2.1.1.1.cmml">​</mo><msub id="S4.p7.2.m2.1.1.3" xref="S4.p7.2.m2.1.1.3.cmml"><mi id="S4.p7.2.m2.1.1.3.2" xref="S4.p7.2.m2.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p7.2.m2.1.1.3.3" xref="S4.p7.2.m2.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S4.p7.2.m2.1b"><apply id="S4.p7.2.m2.1.1.cmml" xref="S4.p7.2.m2.1.1"><times id="S4.p7.2.m2.1.1.1.cmml" xref="S4.p7.2.m2.1.1.1"></times><ci id="S4.p7.2.m2.1.1.2.cmml" xref="S4.p7.2.m2.1.1.2">Δ</ci><apply id="S4.p7.2.m2.1.1.3.cmml" xref="S4.p7.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.p7.2.m2.1.1.3.1.cmml" xref="S4.p7.2.m2.1.1.3">subscript</csymbol><ci id="S4.p7.2.m2.1.1.3.2.cmml" xref="S4.p7.2.m2.1.1.3.2">𝑾</ci><ci id="S4.p7.2.m2.1.1.3.3.cmml" xref="S4.p7.2.m2.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.2.m2.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> to induce a change <math id="S4.p7.3.m3.3" class="ltx_Math" alttext="\left|\!\left|\Delta{\bm{h}}_{L}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{L}})" display="inline"><semantics id="S4.p7.3.m3.3a"><mrow id="S4.p7.3.m3.3.3" xref="S4.p7.3.m3.3.3.cmml"><msub id="S4.p7.3.m3.3.3.1" xref="S4.p7.3.m3.3.3.1.cmml"><mrow id="S4.p7.3.m3.3.3.1.1.1" xref="S4.p7.3.m3.3.3.1.1.2.cmml"><mo stretchy="false" id="S4.p7.3.m3.3.3.1.1.1.2" xref="S4.p7.3.m3.3.3.1.1.2.1.cmml">‖</mo><mrow id="S4.p7.3.m3.3.3.1.1.1.1" xref="S4.p7.3.m3.3.3.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.p7.3.m3.3.3.1.1.1.1.2" xref="S4.p7.3.m3.3.3.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S4.p7.3.m3.3.3.1.1.1.1.1" xref="S4.p7.3.m3.3.3.1.1.1.1.1.cmml">​</mo><msub id="S4.p7.3.m3.3.3.1.1.1.1.3" xref="S4.p7.3.m3.3.3.1.1.1.1.3.cmml"><mi id="S4.p7.3.m3.3.3.1.1.1.1.3.2" xref="S4.p7.3.m3.3.3.1.1.1.1.3.2.cmml">𝒉</mi><mi id="S4.p7.3.m3.3.3.1.1.1.1.3.3" xref="S4.p7.3.m3.3.3.1.1.1.1.3.3.cmml">L</mi></msub><mo lspace="0em" rspace="0em" id="S4.p7.3.m3.3.3.1.1.1.1.1a" xref="S4.p7.3.m3.3.3.1.1.1.1.1.cmml">​</mo><mrow id="S4.p7.3.m3.3.3.1.1.1.1.4.2" xref="S4.p7.3.m3.3.3.1.1.1.1.cmml"><mo stretchy="false" id="S4.p7.3.m3.3.3.1.1.1.1.4.2.1" xref="S4.p7.3.m3.3.3.1.1.1.1.cmml">(</mo><mi id="S4.p7.3.m3.1.1" xref="S4.p7.3.m3.1.1.cmml">𝒙</mi><mo stretchy="false" id="S4.p7.3.m3.3.3.1.1.1.1.4.2.2" xref="S4.p7.3.m3.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S4.p7.3.m3.3.3.1.1.1.3" xref="S4.p7.3.m3.3.3.1.1.2.1.cmml">‖</mo></mrow><mn id="S4.p7.3.m3.3.3.1.3" xref="S4.p7.3.m3.3.3.1.3.cmml">2</mn></msub><mo id="S4.p7.3.m3.3.3.2" xref="S4.p7.3.m3.3.3.2.cmml">=</mo><mrow id="S4.p7.3.m3.3.3.3" xref="S4.p7.3.m3.3.3.3.cmml"><mi mathvariant="normal" id="S4.p7.3.m3.3.3.3.2" xref="S4.p7.3.m3.3.3.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p7.3.m3.3.3.3.1" xref="S4.p7.3.m3.3.3.3.1.cmml">​</mo><mrow id="S4.p7.3.m3.3.3.3.3.2" xref="S4.p7.3.m3.2.2.cmml"><mo stretchy="false" id="S4.p7.3.m3.3.3.3.3.2.1" xref="S4.p7.3.m3.2.2.cmml">(</mo><msqrt id="S4.p7.3.m3.2.2" xref="S4.p7.3.m3.2.2.cmml"><mrow id="S4.p7.3.m3.2.2.2" xref="S4.p7.3.m3.2.2.2.cmml"><mn id="S4.p7.3.m3.2.2.2.2" xref="S4.p7.3.m3.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p7.3.m3.2.2.2.1" xref="S4.p7.3.m3.2.2.2.1.cmml">​</mo><mi id="S4.p7.3.m3.2.2.2.3" xref="S4.p7.3.m3.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p7.3.m3.2.2.2.1a" xref="S4.p7.3.m3.2.2.2.1.cmml">​</mo><msub id="S4.p7.3.m3.2.2.2.4" xref="S4.p7.3.m3.2.2.2.4.cmml"><mi id="S4.p7.3.m3.2.2.2.4.2" xref="S4.p7.3.m3.2.2.2.4.2.cmml">t</mi><mi id="S4.p7.3.m3.2.2.2.4.3" xref="S4.p7.3.m3.2.2.2.4.3.cmml">L</mi></msub></mrow></msqrt><mo stretchy="false" id="S4.p7.3.m3.3.3.3.3.2.2" xref="S4.p7.3.m3.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p7.3.m3.3b"><apply id="S4.p7.3.m3.3.3.cmml" xref="S4.p7.3.m3.3.3"><eq id="S4.p7.3.m3.3.3.2.cmml" xref="S4.p7.3.m3.3.3.2"></eq><apply id="S4.p7.3.m3.3.3.1.cmml" xref="S4.p7.3.m3.3.3.1"><csymbol cd="ambiguous" id="S4.p7.3.m3.3.3.1.2.cmml" xref="S4.p7.3.m3.3.3.1">subscript</csymbol><apply id="S4.p7.3.m3.3.3.1.1.2.cmml" xref="S4.p7.3.m3.3.3.1.1.1"><csymbol cd="latexml" id="S4.p7.3.m3.3.3.1.1.2.1.cmml" xref="S4.p7.3.m3.3.3.1.1.1.2">norm</csymbol><apply id="S4.p7.3.m3.3.3.1.1.1.1.cmml" xref="S4.p7.3.m3.3.3.1.1.1.1"><times id="S4.p7.3.m3.3.3.1.1.1.1.1.cmml" xref="S4.p7.3.m3.3.3.1.1.1.1.1"></times><ci id="S4.p7.3.m3.3.3.1.1.1.1.2.cmml" xref="S4.p7.3.m3.3.3.1.1.1.1.2">Δ</ci><apply id="S4.p7.3.m3.3.3.1.1.1.1.3.cmml" xref="S4.p7.3.m3.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p7.3.m3.3.3.1.1.1.1.3.1.cmml" xref="S4.p7.3.m3.3.3.1.1.1.1.3">subscript</csymbol><ci id="S4.p7.3.m3.3.3.1.1.1.1.3.2.cmml" xref="S4.p7.3.m3.3.3.1.1.1.1.3.2">𝒉</ci><ci id="S4.p7.3.m3.3.3.1.1.1.1.3.3.cmml" xref="S4.p7.3.m3.3.3.1.1.1.1.3.3">𝐿</ci></apply><ci id="S4.p7.3.m3.1.1.cmml" xref="S4.p7.3.m3.1.1">𝒙</ci></apply></apply><cn type="integer" id="S4.p7.3.m3.3.3.1.3.cmml" xref="S4.p7.3.m3.3.3.1.3">2</cn></apply><apply id="S4.p7.3.m3.3.3.3.cmml" xref="S4.p7.3.m3.3.3.3"><times id="S4.p7.3.m3.3.3.3.1.cmml" xref="S4.p7.3.m3.3.3.3.1"></times><ci id="S4.p7.3.m3.3.3.3.2.cmml" xref="S4.p7.3.m3.3.3.3.2">Θ</ci><apply id="S4.p7.3.m3.2.2.cmml" xref="S4.p7.3.m3.3.3.3.3.2"><root id="S4.p7.3.m3.2.2a.cmml" xref="S4.p7.3.m3.3.3.3.3.2"></root><apply id="S4.p7.3.m3.2.2.2.cmml" xref="S4.p7.3.m3.2.2.2"><times id="S4.p7.3.m3.2.2.2.1.cmml" xref="S4.p7.3.m3.2.2.2.1"></times><cn type="integer" id="S4.p7.3.m3.2.2.2.2.cmml" xref="S4.p7.3.m3.2.2.2.2">0</cn><ci id="S4.p7.3.m3.2.2.2.3.cmml" xref="S4.p7.3.m3.2.2.2.3">𝑝</ci><apply id="S4.p7.3.m3.2.2.2.4.cmml" xref="S4.p7.3.m3.2.2.2.4"><csymbol cd="ambiguous" id="S4.p7.3.m3.2.2.2.4.1.cmml" xref="S4.p7.3.m3.2.2.2.4">subscript</csymbol><ci id="S4.p7.3.m3.2.2.2.4.2.cmml" xref="S4.p7.3.m3.2.2.2.4.2">𝑡</ci><ci id="S4.p7.3.m3.2.2.2.4.3.cmml" xref="S4.p7.3.m3.2.2.2.4.3">𝐿</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.3.m3.3c">\left|\!\left|\Delta{\bm{h}}_{L}({\bm{x}})\right|\!\right|_{2}=\Theta(\sqrt{0pt_{L}})</annotation></semantics></math> in the output which induces a change <math id="S4.p7.4.m4.1" class="ltx_Math" alttext="\Delta\mathcal{L}=\Theta(1)" display="inline"><semantics id="S4.p7.4.m4.1a"><mrow id="S4.p7.4.m4.1.2" xref="S4.p7.4.m4.1.2.cmml"><mrow id="S4.p7.4.m4.1.2.2" xref="S4.p7.4.m4.1.2.2.cmml"><mi mathvariant="normal" id="S4.p7.4.m4.1.2.2.2" xref="S4.p7.4.m4.1.2.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S4.p7.4.m4.1.2.2.1" xref="S4.p7.4.m4.1.2.2.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="S4.p7.4.m4.1.2.2.3" xref="S4.p7.4.m4.1.2.2.3.cmml">ℒ</mi></mrow><mo id="S4.p7.4.m4.1.2.1" xref="S4.p7.4.m4.1.2.1.cmml">=</mo><mrow id="S4.p7.4.m4.1.2.3" xref="S4.p7.4.m4.1.2.3.cmml"><mi mathvariant="normal" id="S4.p7.4.m4.1.2.3.2" xref="S4.p7.4.m4.1.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p7.4.m4.1.2.3.1" xref="S4.p7.4.m4.1.2.3.1.cmml">​</mo><mrow id="S4.p7.4.m4.1.2.3.3.2" xref="S4.p7.4.m4.1.2.3.cmml"><mo stretchy="false" id="S4.p7.4.m4.1.2.3.3.2.1" xref="S4.p7.4.m4.1.2.3.cmml">(</mo><mn id="S4.p7.4.m4.1.1" xref="S4.p7.4.m4.1.1.cmml">1</mn><mo stretchy="false" id="S4.p7.4.m4.1.2.3.3.2.2" xref="S4.p7.4.m4.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p7.4.m4.1b"><apply id="S4.p7.4.m4.1.2.cmml" xref="S4.p7.4.m4.1.2"><eq id="S4.p7.4.m4.1.2.1.cmml" xref="S4.p7.4.m4.1.2.1"></eq><apply id="S4.p7.4.m4.1.2.2.cmml" xref="S4.p7.4.m4.1.2.2"><times id="S4.p7.4.m4.1.2.2.1.cmml" xref="S4.p7.4.m4.1.2.2.1"></times><ci id="S4.p7.4.m4.1.2.2.2.cmml" xref="S4.p7.4.m4.1.2.2.2">Δ</ci><ci id="S4.p7.4.m4.1.2.2.3.cmml" xref="S4.p7.4.m4.1.2.2.3">ℒ</ci></apply><apply id="S4.p7.4.m4.1.2.3.cmml" xref="S4.p7.4.m4.1.2.3"><times id="S4.p7.4.m4.1.2.3.1.cmml" xref="S4.p7.4.m4.1.2.3.1"></times><ci id="S4.p7.4.m4.1.2.3.2.cmml" xref="S4.p7.4.m4.1.2.3.2">Θ</ci><cn type="integer" id="S4.p7.4.m4.1.1.cmml" xref="S4.p7.4.m4.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.4.m4.1c">\Delta\mathcal{L}=\Theta(1)</annotation></semantics></math> for common loss functions <math id="S4.p7.5.m5.1" class="ltx_Math" alttext="\mathcal{L}" display="inline"><semantics id="S4.p7.5.m5.1a"><mi class="ltx_font_mathcaligraphic" id="S4.p7.5.m5.1.1" xref="S4.p7.5.m5.1.1.cmml">ℒ</mi><annotation-xml encoding="MathML-Content" id="S4.p7.5.m5.1b"><ci id="S4.p7.5.m5.1.1.cmml" xref="S4.p7.5.m5.1.1">ℒ</ci></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.5.m5.1c">\mathcal{L}</annotation></semantics></math>. Taylor expanding the loss to first order, we also expect that</p>
<table id="S4.E19" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S4.E19.m1.1" class="ltx_Math" alttext="\Delta\mathcal{L}=\Theta(\langle\Delta\!{\bm{W}}_{\ell},\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\rangle)=\Theta(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}\cdot\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{F})=\Theta\left(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}\right)," display="block"><semantics id="S4.E19.m1.1a"><mrow id="S4.E19.m1.1.1.1" xref="S4.E19.m1.1.1.1.1.cmml"><mrow id="S4.E19.m1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.cmml"><mrow id="S4.E19.m1.1.1.1.1.5" xref="S4.E19.m1.1.1.1.1.5.cmml"><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.5.2" xref="S4.E19.m1.1.1.1.1.5.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S4.E19.m1.1.1.1.1.5.1" xref="S4.E19.m1.1.1.1.1.5.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="S4.E19.m1.1.1.1.1.5.3" xref="S4.E19.m1.1.1.1.1.5.3.cmml">ℒ</mi></mrow><mo id="S4.E19.m1.1.1.1.1.6" xref="S4.E19.m1.1.1.1.1.6.cmml">=</mo><mrow id="S4.E19.m1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.E19.m1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.1.2.cmml">​</mo><mrow id="S4.E19.m1.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S4.E19.m1.1.1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.1.cmml">(</mo><mrow id="S4.E19.m1.1.1.1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.cmml"><mo stretchy="false" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.cmml">⟨</mo><mrow id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><msub id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo id="S4.E19.m1.1.1.1.1.1.1.1.1.2.4" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.cmml">,</mo><mrow id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.cmml"><msub id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.cmml"><mo rspace="0.167em" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.2.cmml">∇</mo><msub id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.3" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.5" xref="S4.E19.m1.1.1.1.1.1.1.1.1.3.cmml">⟩</mo></mrow><mo stretchy="false" id="S4.E19.m1.1.1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E19.m1.1.1.1.1.7" xref="S4.E19.m1.1.1.1.1.7.cmml">=</mo><mrow id="S4.E19.m1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.2.cmml"><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.2.3" xref="S4.E19.m1.1.1.1.1.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.E19.m1.1.1.1.1.2.2" xref="S4.E19.m1.1.1.1.1.2.2.cmml">​</mo><mrow id="S4.E19.m1.1.1.1.1.2.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="S4.E19.m1.1.1.1.1.2.1.1.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.cmml">(</mo><mrow id="S4.E19.m1.1.1.1.1.2.1.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.cmml"><msub id="S4.E19.m1.1.1.1.1.2.1.1.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.cmml"><mrow id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.1.cmml">​</mo><msub id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="S4.E19.m1.1.1.1.1.2.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.3.cmml">F</mi></msub><mo rspace="0.222em" id="S4.E19.m1.1.1.1.1.2.1.1.1.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.3.cmml">⋅</mo><msub id="S4.E19.m1.1.1.1.1.2.1.1.1.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.cmml"><mrow id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.cmml"><msub id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.2.cmml">∇</mo><msub id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.2" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mi id="S4.E19.m1.1.1.1.1.2.1.1.1.2.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.3.cmml">F</mi></msub></mrow><mo stretchy="false" id="S4.E19.m1.1.1.1.1.2.1.1.3" xref="S4.E19.m1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo id="S4.E19.m1.1.1.1.1.8" xref="S4.E19.m1.1.1.1.1.8.cmml">=</mo><mrow id="S4.E19.m1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.3.cmml"><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.3.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.E19.m1.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.3.2.cmml">​</mo><mrow id="S4.E19.m1.1.1.1.1.3.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.cmml"><mo id="S4.E19.m1.1.1.1.1.3.1.1.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.cmml">(</mo><mrow id="S4.E19.m1.1.1.1.1.3.1.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.cmml"><msub id="S4.E19.m1.1.1.1.1.3.1.1.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.cmml"><mrow id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.1.cmml">​</mo><msub id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo rspace="0.055em" stretchy="false" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.E19.m1.1.1.1.1.3.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.3.cmml">∗</mo></msub><mo rspace="0.222em" id="S4.E19.m1.1.1.1.1.3.1.1.1.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.3.cmml">⋅</mo><msub id="S4.E19.m1.1.1.1.1.3.1.1.1.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.cmml"><mrow id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.2.cmml"><mo stretchy="false" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.cmml"><msub id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.2.cmml">∇</mo><msub id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.cmml"><mi id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.2" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mo id="S4.E19.m1.1.1.1.1.3.1.1.1.2.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.3.cmml">∗</mo></msub></mrow><mo id="S4.E19.m1.1.1.1.1.3.1.1.3" xref="S4.E19.m1.1.1.1.1.3.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo id="S4.E19.m1.1.1.1.2" xref="S4.E19.m1.1.1.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E19.m1.1b"><apply id="S4.E19.m1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1"><and id="S4.E19.m1.1.1.1.1a.cmml" xref="S4.E19.m1.1.1.1"></and><apply id="S4.E19.m1.1.1.1.1b.cmml" xref="S4.E19.m1.1.1.1"><eq id="S4.E19.m1.1.1.1.1.6.cmml" xref="S4.E19.m1.1.1.1.1.6"></eq><apply id="S4.E19.m1.1.1.1.1.5.cmml" xref="S4.E19.m1.1.1.1.1.5"><times id="S4.E19.m1.1.1.1.1.5.1.cmml" xref="S4.E19.m1.1.1.1.1.5.1"></times><ci id="S4.E19.m1.1.1.1.1.5.2.cmml" xref="S4.E19.m1.1.1.1.1.5.2">Δ</ci><ci id="S4.E19.m1.1.1.1.1.5.3.cmml" xref="S4.E19.m1.1.1.1.1.5.3">ℒ</ci></apply><apply id="S4.E19.m1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.1"><times id="S4.E19.m1.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.1.2"></times><ci id="S4.E19.m1.1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.1.3">Θ</ci><list id="S4.E19.m1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2"><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1"><times id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.1"></times><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.2">Δ</ci><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2"><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.2">∇</ci><apply id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.2">𝑾</ci><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.1.3.3">ℓ</ci></apply></apply><ci id="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2.cmml" xref="S4.E19.m1.1.1.1.1.1.1.1.1.2.2.2">ℒ</ci></apply></list></apply></apply><apply id="S4.E19.m1.1.1.1.1c.cmml" xref="S4.E19.m1.1.1.1"><eq id="S4.E19.m1.1.1.1.1.7.cmml" xref="S4.E19.m1.1.1.1.1.7"></eq><share href="#S4.E19.m1.1.1.1.1.1.cmml" id="S4.E19.m1.1.1.1.1d.cmml" xref="S4.E19.m1.1.1.1"></share><apply id="S4.E19.m1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2"><times id="S4.E19.m1.1.1.1.1.2.2.cmml" xref="S4.E19.m1.1.1.1.1.2.2"></times><ci id="S4.E19.m1.1.1.1.1.2.3.cmml" xref="S4.E19.m1.1.1.1.1.2.3">Θ</ci><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1"><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.3">⋅</ci><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1">subscript</csymbol><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.2.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.2">norm</csymbol><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1"><times id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.1"></times><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.2">Δ</ci><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.1.3">𝐹</ci></apply><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2">subscript</csymbol><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1"><csymbol cd="latexml" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.2.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.2">norm</csymbol><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1"><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.2">∇</ci><apply id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.2">𝑾</ci><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.1.1.1.2">ℒ</ci></apply></apply><ci id="S4.E19.m1.1.1.1.1.2.1.1.1.2.3.cmml" xref="S4.E19.m1.1.1.1.1.2.1.1.1.2.3">𝐹</ci></apply></apply></apply></apply><apply id="S4.E19.m1.1.1.1.1e.cmml" xref="S4.E19.m1.1.1.1"><eq id="S4.E19.m1.1.1.1.1.8.cmml" xref="S4.E19.m1.1.1.1.1.8"></eq><share href="#S4.E19.m1.1.1.1.1.2.cmml" id="S4.E19.m1.1.1.1.1f.cmml" xref="S4.E19.m1.1.1.1"></share><apply id="S4.E19.m1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.3"><times id="S4.E19.m1.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.3.2"></times><ci id="S4.E19.m1.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.3.3">Θ</ci><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1"><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.3">⋅</ci><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1">subscript</csymbol><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1"><csymbol cd="latexml" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.2.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.2">norm</csymbol><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1"><times id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.1"></times><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.2">Δ</ci><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S4.E19.m1.1.1.1.1.3.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.1.3"></times></apply><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2">subscript</csymbol><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1"><csymbol cd="latexml" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.2.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.2">norm</csymbol><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1"><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.2">∇</ci><apply id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.1.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3">subscript</csymbol><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.2">𝑾</ci><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.3.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.2.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.1.1.1.2">ℒ</ci></apply></apply><times id="S4.E19.m1.1.1.1.1.3.1.1.1.2.3.cmml" xref="S4.E19.m1.1.1.1.1.3.1.1.1.2.3"></times></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E19.m1.1c">\Delta\mathcal{L}=\Theta(\langle\Delta\!{\bm{W}}_{\ell},\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\rangle)=\Theta(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}\cdot\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{F})=\Theta\left(\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\cdot\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}\right),</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(19)</span></td>
</tr></tbody>
</table>
<p id="S4.p7.8" class="ltx_p">where <math id="S4.p7.6.m1.2" class="ltx_Math" alttext="\langle\cdot,\cdot\rangle" display="inline"><semantics id="S4.p7.6.m1.2a"><mrow id="S4.p7.6.m1.2.3.2" xref="S4.p7.6.m1.2.3.1.cmml"><mo stretchy="false" id="S4.p7.6.m1.2.3.2.1" xref="S4.p7.6.m1.2.3.1.cmml">⟨</mo><mo lspace="0em" rspace="0em" id="S4.p7.6.m1.1.1" xref="S4.p7.6.m1.1.1.cmml">⋅</mo><mo rspace="0em" id="S4.p7.6.m1.2.3.2.2" xref="S4.p7.6.m1.2.3.1.cmml">,</mo><mo lspace="0em" rspace="0em" id="S4.p7.6.m1.2.2" xref="S4.p7.6.m1.2.2.cmml">⋅</mo><mo stretchy="false" id="S4.p7.6.m1.2.3.2.3" xref="S4.p7.6.m1.2.3.1.cmml">⟩</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.p7.6.m1.2b"><list id="S4.p7.6.m1.2.3.1.cmml" xref="S4.p7.6.m1.2.3.2"><ci id="S4.p7.6.m1.1.1.cmml" xref="S4.p7.6.m1.1.1">⋅</ci><ci id="S4.p7.6.m1.2.2.cmml" xref="S4.p7.6.m1.2.2">⋅</ci></list></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.6.m1.2c">\langle\cdot,\cdot\rangle</annotation></semantics></math> denotes the trace inner product and we have used the facts that the two arguments of the inner product are (a) proportional to each other and (b) low-rank.
Inserting <math id="S4.p7.7.m2.1" class="ltx_Math" alttext="\Delta\mathcal{L}=\Theta(1)" display="inline"><semantics id="S4.p7.7.m2.1a"><mrow id="S4.p7.7.m2.1.2" xref="S4.p7.7.m2.1.2.cmml"><mrow id="S4.p7.7.m2.1.2.2" xref="S4.p7.7.m2.1.2.2.cmml"><mi mathvariant="normal" id="S4.p7.7.m2.1.2.2.2" xref="S4.p7.7.m2.1.2.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S4.p7.7.m2.1.2.2.1" xref="S4.p7.7.m2.1.2.2.1.cmml">​</mo><mi class="ltx_font_mathcaligraphic" id="S4.p7.7.m2.1.2.2.3" xref="S4.p7.7.m2.1.2.2.3.cmml">ℒ</mi></mrow><mo id="S4.p7.7.m2.1.2.1" xref="S4.p7.7.m2.1.2.1.cmml">=</mo><mrow id="S4.p7.7.m2.1.2.3" xref="S4.p7.7.m2.1.2.3.cmml"><mi mathvariant="normal" id="S4.p7.7.m2.1.2.3.2" xref="S4.p7.7.m2.1.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p7.7.m2.1.2.3.1" xref="S4.p7.7.m2.1.2.3.1.cmml">​</mo><mrow id="S4.p7.7.m2.1.2.3.3.2" xref="S4.p7.7.m2.1.2.3.cmml"><mo stretchy="false" id="S4.p7.7.m2.1.2.3.3.2.1" xref="S4.p7.7.m2.1.2.3.cmml">(</mo><mn id="S4.p7.7.m2.1.1" xref="S4.p7.7.m2.1.1.cmml">1</mn><mo stretchy="false" id="S4.p7.7.m2.1.2.3.3.2.2" xref="S4.p7.7.m2.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p7.7.m2.1b"><apply id="S4.p7.7.m2.1.2.cmml" xref="S4.p7.7.m2.1.2"><eq id="S4.p7.7.m2.1.2.1.cmml" xref="S4.p7.7.m2.1.2.1"></eq><apply id="S4.p7.7.m2.1.2.2.cmml" xref="S4.p7.7.m2.1.2.2"><times id="S4.p7.7.m2.1.2.2.1.cmml" xref="S4.p7.7.m2.1.2.2.1"></times><ci id="S4.p7.7.m2.1.2.2.2.cmml" xref="S4.p7.7.m2.1.2.2.2">Δ</ci><ci id="S4.p7.7.m2.1.2.2.3.cmml" xref="S4.p7.7.m2.1.2.2.3">ℒ</ci></apply><apply id="S4.p7.7.m2.1.2.3.cmml" xref="S4.p7.7.m2.1.2.3"><times id="S4.p7.7.m2.1.2.3.1.cmml" xref="S4.p7.7.m2.1.2.3.1"></times><ci id="S4.p7.7.m2.1.2.3.2.cmml" xref="S4.p7.7.m2.1.2.3.2">Θ</ci><cn type="integer" id="S4.p7.7.m2.1.1.cmml" xref="S4.p7.7.m2.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.7.m2.1c">\Delta\mathcal{L}=\Theta(1)</annotation></semantics></math> and the spectral scaling condition <math id="S4.p7.8.m3.2" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})" display="inline"><semantics id="S4.p7.8.m3.2a"><mrow id="S4.p7.8.m3.2.2" xref="S4.p7.8.m3.2.2.cmml"><msub id="S4.p7.8.m3.2.2.1" xref="S4.p7.8.m3.2.2.1.cmml"><mrow id="S4.p7.8.m3.2.2.1.1.1" xref="S4.p7.8.m3.2.2.1.1.2.cmml"><mo stretchy="false" id="S4.p7.8.m3.2.2.1.1.1.2" xref="S4.p7.8.m3.2.2.1.1.2.1.cmml">‖</mo><mrow id="S4.p7.8.m3.2.2.1.1.1.1" xref="S4.p7.8.m3.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.p7.8.m3.2.2.1.1.1.1.2" xref="S4.p7.8.m3.2.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.p7.8.m3.2.2.1.1.1.1.1" xref="S4.p7.8.m3.2.2.1.1.1.1.1.cmml">​</mo><msub id="S4.p7.8.m3.2.2.1.1.1.1.3" xref="S4.p7.8.m3.2.2.1.1.1.1.3.cmml"><mi id="S4.p7.8.m3.2.2.1.1.1.1.3.2" xref="S4.p7.8.m3.2.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p7.8.m3.2.2.1.1.1.1.3.3" xref="S4.p7.8.m3.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S4.p7.8.m3.2.2.1.1.1.3" xref="S4.p7.8.m3.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p7.8.m3.2.2.1.3" xref="S4.p7.8.m3.2.2.1.3.cmml">∗</mo></msub><mo id="S4.p7.8.m3.2.2.2" xref="S4.p7.8.m3.2.2.2.cmml">=</mo><mrow id="S4.p7.8.m3.2.2.3" xref="S4.p7.8.m3.2.2.3.cmml"><mi mathvariant="normal" id="S4.p7.8.m3.2.2.3.2" xref="S4.p7.8.m3.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p7.8.m3.2.2.3.1" xref="S4.p7.8.m3.2.2.3.1.cmml">​</mo><mrow id="S4.p7.8.m3.2.2.3.3.2" xref="S4.p7.8.m3.1.1.cmml"><mo stretchy="false" id="S4.p7.8.m3.2.2.3.3.2.1" xref="S4.p7.8.m3.1.1.cmml">(</mo><msqrt id="S4.p7.8.m3.1.1" xref="S4.p7.8.m3.1.1.cmml"><mrow id="S4.p7.8.m3.1.1.2" xref="S4.p7.8.m3.1.1.2.cmml"><mrow id="S4.p7.8.m3.1.1.2.2" xref="S4.p7.8.m3.1.1.2.2.cmml"><mrow id="S4.p7.8.m3.1.1.2.2.2" xref="S4.p7.8.m3.1.1.2.2.2.cmml"><mn id="S4.p7.8.m3.1.1.2.2.2.2" xref="S4.p7.8.m3.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p7.8.m3.1.1.2.2.2.1" xref="S4.p7.8.m3.1.1.2.2.2.1.cmml">​</mo><mi id="S4.p7.8.m3.1.1.2.2.2.3" xref="S4.p7.8.m3.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p7.8.m3.1.1.2.2.2.1a" xref="S4.p7.8.m3.1.1.2.2.2.1.cmml">​</mo><msub id="S4.p7.8.m3.1.1.2.2.2.4" xref="S4.p7.8.m3.1.1.2.2.2.4.cmml"><mi id="S4.p7.8.m3.1.1.2.2.2.4.2" xref="S4.p7.8.m3.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p7.8.m3.1.1.2.2.2.4.3" xref="S4.p7.8.m3.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p7.8.m3.1.1.2.2.1" xref="S4.p7.8.m3.1.1.2.2.1.cmml">/</mo><mn id="S4.p7.8.m3.1.1.2.2.3" xref="S4.p7.8.m3.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p7.8.m3.1.1.2.1" xref="S4.p7.8.m3.1.1.2.1.cmml">​</mo><mi id="S4.p7.8.m3.1.1.2.3" xref="S4.p7.8.m3.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p7.8.m3.1.1.2.1a" xref="S4.p7.8.m3.1.1.2.1.cmml">​</mo><msub id="S4.p7.8.m3.1.1.2.4" xref="S4.p7.8.m3.1.1.2.4.cmml"><mi id="S4.p7.8.m3.1.1.2.4.2" xref="S4.p7.8.m3.1.1.2.4.2.cmml">t</mi><mrow id="S4.p7.8.m3.1.1.2.4.3" xref="S4.p7.8.m3.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S4.p7.8.m3.1.1.2.4.3.2" xref="S4.p7.8.m3.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S4.p7.8.m3.1.1.2.4.3.1" xref="S4.p7.8.m3.1.1.2.4.3.1.cmml">−</mo><mn id="S4.p7.8.m3.1.1.2.4.3.3" xref="S4.p7.8.m3.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo stretchy="false" id="S4.p7.8.m3.2.2.3.3.2.2" xref="S4.p7.8.m3.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p7.8.m3.2b"><apply id="S4.p7.8.m3.2.2.cmml" xref="S4.p7.8.m3.2.2"><eq id="S4.p7.8.m3.2.2.2.cmml" xref="S4.p7.8.m3.2.2.2"></eq><apply id="S4.p7.8.m3.2.2.1.cmml" xref="S4.p7.8.m3.2.2.1"><csymbol cd="ambiguous" id="S4.p7.8.m3.2.2.1.2.cmml" xref="S4.p7.8.m3.2.2.1">subscript</csymbol><apply id="S4.p7.8.m3.2.2.1.1.2.cmml" xref="S4.p7.8.m3.2.2.1.1.1"><csymbol cd="latexml" id="S4.p7.8.m3.2.2.1.1.2.1.cmml" xref="S4.p7.8.m3.2.2.1.1.1.2">norm</csymbol><apply id="S4.p7.8.m3.2.2.1.1.1.1.cmml" xref="S4.p7.8.m3.2.2.1.1.1.1"><times id="S4.p7.8.m3.2.2.1.1.1.1.1.cmml" xref="S4.p7.8.m3.2.2.1.1.1.1.1"></times><ci id="S4.p7.8.m3.2.2.1.1.1.1.2.cmml" xref="S4.p7.8.m3.2.2.1.1.1.1.2">Δ</ci><apply id="S4.p7.8.m3.2.2.1.1.1.1.3.cmml" xref="S4.p7.8.m3.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p7.8.m3.2.2.1.1.1.1.3.1.cmml" xref="S4.p7.8.m3.2.2.1.1.1.1.3">subscript</csymbol><ci id="S4.p7.8.m3.2.2.1.1.1.1.3.2.cmml" xref="S4.p7.8.m3.2.2.1.1.1.1.3.2">𝑾</ci><ci id="S4.p7.8.m3.2.2.1.1.1.1.3.3.cmml" xref="S4.p7.8.m3.2.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S4.p7.8.m3.2.2.1.3.cmml" xref="S4.p7.8.m3.2.2.1.3"></times></apply><apply id="S4.p7.8.m3.2.2.3.cmml" xref="S4.p7.8.m3.2.2.3"><times id="S4.p7.8.m3.2.2.3.1.cmml" xref="S4.p7.8.m3.2.2.3.1"></times><ci id="S4.p7.8.m3.2.2.3.2.cmml" xref="S4.p7.8.m3.2.2.3.2">Θ</ci><apply id="S4.p7.8.m3.1.1.cmml" xref="S4.p7.8.m3.2.2.3.3.2"><root id="S4.p7.8.m3.1.1a.cmml" xref="S4.p7.8.m3.2.2.3.3.2"></root><apply id="S4.p7.8.m3.1.1.2.cmml" xref="S4.p7.8.m3.1.1.2"><times id="S4.p7.8.m3.1.1.2.1.cmml" xref="S4.p7.8.m3.1.1.2.1"></times><apply id="S4.p7.8.m3.1.1.2.2.cmml" xref="S4.p7.8.m3.1.1.2.2"><divide id="S4.p7.8.m3.1.1.2.2.1.cmml" xref="S4.p7.8.m3.1.1.2.2.1"></divide><apply id="S4.p7.8.m3.1.1.2.2.2.cmml" xref="S4.p7.8.m3.1.1.2.2.2"><times id="S4.p7.8.m3.1.1.2.2.2.1.cmml" xref="S4.p7.8.m3.1.1.2.2.2.1"></times><cn type="integer" id="S4.p7.8.m3.1.1.2.2.2.2.cmml" xref="S4.p7.8.m3.1.1.2.2.2.2">0</cn><ci id="S4.p7.8.m3.1.1.2.2.2.3.cmml" xref="S4.p7.8.m3.1.1.2.2.2.3">𝑝</ci><apply id="S4.p7.8.m3.1.1.2.2.2.4.cmml" xref="S4.p7.8.m3.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S4.p7.8.m3.1.1.2.2.2.4.1.cmml" xref="S4.p7.8.m3.1.1.2.2.2.4">subscript</csymbol><ci id="S4.p7.8.m3.1.1.2.2.2.4.2.cmml" xref="S4.p7.8.m3.1.1.2.2.2.4.2">𝑡</ci><ci id="S4.p7.8.m3.1.1.2.2.2.4.3.cmml" xref="S4.p7.8.m3.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p7.8.m3.1.1.2.2.3.cmml" xref="S4.p7.8.m3.1.1.2.2.3">0</cn></apply><ci id="S4.p7.8.m3.1.1.2.3.cmml" xref="S4.p7.8.m3.1.1.2.3">𝑝</ci><apply id="S4.p7.8.m3.1.1.2.4.cmml" xref="S4.p7.8.m3.1.1.2.4"><csymbol cd="ambiguous" id="S4.p7.8.m3.1.1.2.4.1.cmml" xref="S4.p7.8.m3.1.1.2.4">subscript</csymbol><ci id="S4.p7.8.m3.1.1.2.4.2.cmml" xref="S4.p7.8.m3.1.1.2.4.2">𝑡</ci><apply id="S4.p7.8.m3.1.1.2.4.3.cmml" xref="S4.p7.8.m3.1.1.2.4.3"><minus id="S4.p7.8.m3.1.1.2.4.3.1.cmml" xref="S4.p7.8.m3.1.1.2.4.3.1"></minus><ci id="S4.p7.8.m3.1.1.2.4.3.2.cmml" xref="S4.p7.8.m3.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p7.8.m3.1.1.2.4.3.3.cmml" xref="S4.p7.8.m3.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p7.8.m3.2c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})</annotation></semantics></math>, we can conclude that</p>
<table id="S4.E20" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S4.E20.m1.2" class="ltx_Math" alttext="\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell-1}/0pt_{\ell}})." display="block"><semantics id="S4.E20.m1.2a"><mrow id="S4.E20.m1.2.2.1" xref="S4.E20.m1.2.2.1.1.cmml"><mrow id="S4.E20.m1.2.2.1.1" xref="S4.E20.m1.2.2.1.1.cmml"><msub id="S4.E20.m1.2.2.1.1.1" xref="S4.E20.m1.2.2.1.1.1.cmml"><mrow id="S4.E20.m1.2.2.1.1.1.1.1" xref="S4.E20.m1.2.2.1.1.1.1.2.cmml"><mo stretchy="false" id="S4.E20.m1.2.2.1.1.1.1.1.2" xref="S4.E20.m1.2.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="S4.E20.m1.2.2.1.1.1.1.1.1" xref="S4.E20.m1.2.2.1.1.1.1.1.1.cmml"><msub id="S4.E20.m1.2.2.1.1.1.1.1.1.1" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.cmml"><mo rspace="0.167em" id="S4.E20.m1.2.2.1.1.1.1.1.1.1.2" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.2.cmml">∇</mo><msub id="S4.E20.m1.2.2.1.1.1.1.1.1.1.3" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.cmml"><mi id="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.2" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.3" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></msub><mi class="ltx_font_mathcaligraphic" id="S4.E20.m1.2.2.1.1.1.1.1.1.2" xref="S4.E20.m1.2.2.1.1.1.1.1.1.2.cmml">ℒ</mi></mrow><mo stretchy="false" id="S4.E20.m1.2.2.1.1.1.1.1.3" xref="S4.E20.m1.2.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.E20.m1.2.2.1.1.1.3" xref="S4.E20.m1.2.2.1.1.1.3.cmml">∗</mo></msub><mo id="S4.E20.m1.2.2.1.1.2" xref="S4.E20.m1.2.2.1.1.2.cmml">=</mo><mrow id="S4.E20.m1.2.2.1.1.3" xref="S4.E20.m1.2.2.1.1.3.cmml"><mi mathvariant="normal" id="S4.E20.m1.2.2.1.1.3.2" xref="S4.E20.m1.2.2.1.1.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.E20.m1.2.2.1.1.3.1" xref="S4.E20.m1.2.2.1.1.3.1.cmml">​</mo><mrow id="S4.E20.m1.2.2.1.1.3.3.2" xref="S4.E20.m1.1.1.cmml"><mo stretchy="false" id="S4.E20.m1.2.2.1.1.3.3.2.1" xref="S4.E20.m1.1.1.cmml">(</mo><msqrt id="S4.E20.m1.1.1" xref="S4.E20.m1.1.1.cmml"><mrow id="S4.E20.m1.1.1.2" xref="S4.E20.m1.1.1.2.cmml"><mrow id="S4.E20.m1.1.1.2.2" xref="S4.E20.m1.1.1.2.2.cmml"><mrow id="S4.E20.m1.1.1.2.2.2" xref="S4.E20.m1.1.1.2.2.2.cmml"><mn id="S4.E20.m1.1.1.2.2.2.2" xref="S4.E20.m1.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.E20.m1.1.1.2.2.2.1" xref="S4.E20.m1.1.1.2.2.2.1.cmml">​</mo><mi id="S4.E20.m1.1.1.2.2.2.3" xref="S4.E20.m1.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.E20.m1.1.1.2.2.2.1a" xref="S4.E20.m1.1.1.2.2.2.1.cmml">​</mo><msub id="S4.E20.m1.1.1.2.2.2.4" xref="S4.E20.m1.1.1.2.2.2.4.cmml"><mi id="S4.E20.m1.1.1.2.2.2.4.2" xref="S4.E20.m1.1.1.2.2.2.4.2.cmml">t</mi><mrow id="S4.E20.m1.1.1.2.2.2.4.3" xref="S4.E20.m1.1.1.2.2.2.4.3.cmml"><mi mathvariant="normal" id="S4.E20.m1.1.1.2.2.2.4.3.2" xref="S4.E20.m1.1.1.2.2.2.4.3.2.cmml">ℓ</mi><mo id="S4.E20.m1.1.1.2.2.2.4.3.1" xref="S4.E20.m1.1.1.2.2.2.4.3.1.cmml">−</mo><mn id="S4.E20.m1.1.1.2.2.2.4.3.3" xref="S4.E20.m1.1.1.2.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow><mo id="S4.E20.m1.1.1.2.2.1" xref="S4.E20.m1.1.1.2.2.1.cmml">/</mo><mn id="S4.E20.m1.1.1.2.2.3" xref="S4.E20.m1.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.E20.m1.1.1.2.1" xref="S4.E20.m1.1.1.2.1.cmml">​</mo><mi id="S4.E20.m1.1.1.2.3" xref="S4.E20.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.E20.m1.1.1.2.1a" xref="S4.E20.m1.1.1.2.1.cmml">​</mo><msub id="S4.E20.m1.1.1.2.4" xref="S4.E20.m1.1.1.2.4.cmml"><mi id="S4.E20.m1.1.1.2.4.2" xref="S4.E20.m1.1.1.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.E20.m1.1.1.2.4.3" xref="S4.E20.m1.1.1.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="S4.E20.m1.2.2.1.1.3.3.2.2" xref="S4.E20.m1.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="S4.E20.m1.2.2.1.2" xref="S4.E20.m1.2.2.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S4.E20.m1.2b"><apply id="S4.E20.m1.2.2.1.1.cmml" xref="S4.E20.m1.2.2.1"><eq id="S4.E20.m1.2.2.1.1.2.cmml" xref="S4.E20.m1.2.2.1.1.2"></eq><apply id="S4.E20.m1.2.2.1.1.1.cmml" xref="S4.E20.m1.2.2.1.1.1"><csymbol cd="ambiguous" id="S4.E20.m1.2.2.1.1.1.2.cmml" xref="S4.E20.m1.2.2.1.1.1">subscript</csymbol><apply id="S4.E20.m1.2.2.1.1.1.1.2.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1"><csymbol cd="latexml" id="S4.E20.m1.2.2.1.1.1.1.2.1.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.2">norm</csymbol><apply id="S4.E20.m1.2.2.1.1.1.1.1.1.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1"><apply id="S4.E20.m1.2.2.1.1.1.1.1.1.1.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="S4.E20.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1">subscript</csymbol><ci id="S4.E20.m1.2.2.1.1.1.1.1.1.1.2.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.2">∇</ci><apply id="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.1.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.2.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.3.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply><ci id="S4.E20.m1.2.2.1.1.1.1.1.1.2.cmml" xref="S4.E20.m1.2.2.1.1.1.1.1.1.2">ℒ</ci></apply></apply><times id="S4.E20.m1.2.2.1.1.1.3.cmml" xref="S4.E20.m1.2.2.1.1.1.3"></times></apply><apply id="S4.E20.m1.2.2.1.1.3.cmml" xref="S4.E20.m1.2.2.1.1.3"><times id="S4.E20.m1.2.2.1.1.3.1.cmml" xref="S4.E20.m1.2.2.1.1.3.1"></times><ci id="S4.E20.m1.2.2.1.1.3.2.cmml" xref="S4.E20.m1.2.2.1.1.3.2">Θ</ci><apply id="S4.E20.m1.1.1.cmml" xref="S4.E20.m1.2.2.1.1.3.3.2"><root id="S4.E20.m1.1.1a.cmml" xref="S4.E20.m1.2.2.1.1.3.3.2"></root><apply id="S4.E20.m1.1.1.2.cmml" xref="S4.E20.m1.1.1.2"><times id="S4.E20.m1.1.1.2.1.cmml" xref="S4.E20.m1.1.1.2.1"></times><apply id="S4.E20.m1.1.1.2.2.cmml" xref="S4.E20.m1.1.1.2.2"><divide id="S4.E20.m1.1.1.2.2.1.cmml" xref="S4.E20.m1.1.1.2.2.1"></divide><apply id="S4.E20.m1.1.1.2.2.2.cmml" xref="S4.E20.m1.1.1.2.2.2"><times id="S4.E20.m1.1.1.2.2.2.1.cmml" xref="S4.E20.m1.1.1.2.2.2.1"></times><cn type="integer" id="S4.E20.m1.1.1.2.2.2.2.cmml" xref="S4.E20.m1.1.1.2.2.2.2">0</cn><ci id="S4.E20.m1.1.1.2.2.2.3.cmml" xref="S4.E20.m1.1.1.2.2.2.3">𝑝</ci><apply id="S4.E20.m1.1.1.2.2.2.4.cmml" xref="S4.E20.m1.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S4.E20.m1.1.1.2.2.2.4.1.cmml" xref="S4.E20.m1.1.1.2.2.2.4">subscript</csymbol><ci id="S4.E20.m1.1.1.2.2.2.4.2.cmml" xref="S4.E20.m1.1.1.2.2.2.4.2">𝑡</ci><apply id="S4.E20.m1.1.1.2.2.2.4.3.cmml" xref="S4.E20.m1.1.1.2.2.2.4.3"><minus id="S4.E20.m1.1.1.2.2.2.4.3.1.cmml" xref="S4.E20.m1.1.1.2.2.2.4.3.1"></minus><ci id="S4.E20.m1.1.1.2.2.2.4.3.2.cmml" xref="S4.E20.m1.1.1.2.2.2.4.3.2">ℓ</ci><cn type="integer" id="S4.E20.m1.1.1.2.2.2.4.3.3.cmml" xref="S4.E20.m1.1.1.2.2.2.4.3.3">1</cn></apply></apply></apply><cn type="integer" id="S4.E20.m1.1.1.2.2.3.cmml" xref="S4.E20.m1.1.1.2.2.3">0</cn></apply><ci id="S4.E20.m1.1.1.2.3.cmml" xref="S4.E20.m1.1.1.2.3">𝑝</ci><apply id="S4.E20.m1.1.1.2.4.cmml" xref="S4.E20.m1.1.1.2.4"><csymbol cd="ambiguous" id="S4.E20.m1.1.1.2.4.1.cmml" xref="S4.E20.m1.1.1.2.4">subscript</csymbol><ci id="S4.E20.m1.1.1.2.4.2.cmml" xref="S4.E20.m1.1.1.2.4.2">𝑡</ci><ci id="S4.E20.m1.1.1.2.4.3.cmml" xref="S4.E20.m1.1.1.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.E20.m1.2c">\left|\!\left|\nabla_{{\bm{W}}_{\ell}}\mathcal{L}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell-1}/0pt_{\ell}}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(20)</span></td>
</tr></tbody>
</table>
</div>
<div id="S4.p8" class="ltx_para ltx_noindent">
<p id="S4.p8.2" class="ltx_p">This result may also be reached via direct layerwise-recursive analysis of the size of the gradient.
Returning to <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:eqn:gra\width_update</span>, we now see that we achieve a properly-scaled update <math id="S4.p8.1.m1.2" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})" display="inline"><semantics id="S4.p8.1.m1.2a"><mrow id="S4.p8.1.m1.2.2" xref="S4.p8.1.m1.2.2.cmml"><msub id="S4.p8.1.m1.2.2.1" xref="S4.p8.1.m1.2.2.1.cmml"><mrow id="S4.p8.1.m1.2.2.1.1.1" xref="S4.p8.1.m1.2.2.1.1.2.cmml"><mo stretchy="false" id="S4.p8.1.m1.2.2.1.1.1.2" xref="S4.p8.1.m1.2.2.1.1.2.1.cmml">‖</mo><mrow id="S4.p8.1.m1.2.2.1.1.1.1" xref="S4.p8.1.m1.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S4.p8.1.m1.2.2.1.1.1.1.2" xref="S4.p8.1.m1.2.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S4.p8.1.m1.2.2.1.1.1.1.1" xref="S4.p8.1.m1.2.2.1.1.1.1.1.cmml">​</mo><msub id="S4.p8.1.m1.2.2.1.1.1.1.3" xref="S4.p8.1.m1.2.2.1.1.1.1.3.cmml"><mi id="S4.p8.1.m1.2.2.1.1.1.1.3.2" xref="S4.p8.1.m1.2.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S4.p8.1.m1.2.2.1.1.1.1.3.3" xref="S4.p8.1.m1.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S4.p8.1.m1.2.2.1.1.1.3" xref="S4.p8.1.m1.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S4.p8.1.m1.2.2.1.3" xref="S4.p8.1.m1.2.2.1.3.cmml">∗</mo></msub><mo id="S4.p8.1.m1.2.2.2" xref="S4.p8.1.m1.2.2.2.cmml">=</mo><mrow id="S4.p8.1.m1.2.2.3" xref="S4.p8.1.m1.2.2.3.cmml"><mi mathvariant="normal" id="S4.p8.1.m1.2.2.3.2" xref="S4.p8.1.m1.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p8.1.m1.2.2.3.1" xref="S4.p8.1.m1.2.2.3.1.cmml">​</mo><mrow id="S4.p8.1.m1.2.2.3.3.2" xref="S4.p8.1.m1.1.1.cmml"><mo stretchy="false" id="S4.p8.1.m1.2.2.3.3.2.1" xref="S4.p8.1.m1.1.1.cmml">(</mo><msqrt id="S4.p8.1.m1.1.1" xref="S4.p8.1.m1.1.1.cmml"><mrow id="S4.p8.1.m1.1.1.2" xref="S4.p8.1.m1.1.1.2.cmml"><mrow id="S4.p8.1.m1.1.1.2.2" xref="S4.p8.1.m1.1.1.2.2.cmml"><mrow id="S4.p8.1.m1.1.1.2.2.2" xref="S4.p8.1.m1.1.1.2.2.2.cmml"><mn id="S4.p8.1.m1.1.1.2.2.2.2" xref="S4.p8.1.m1.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p8.1.m1.1.1.2.2.2.1" xref="S4.p8.1.m1.1.1.2.2.2.1.cmml">​</mo><mi id="S4.p8.1.m1.1.1.2.2.2.3" xref="S4.p8.1.m1.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p8.1.m1.1.1.2.2.2.1a" xref="S4.p8.1.m1.1.1.2.2.2.1.cmml">​</mo><msub id="S4.p8.1.m1.1.1.2.2.2.4" xref="S4.p8.1.m1.1.1.2.2.2.4.cmml"><mi id="S4.p8.1.m1.1.1.2.2.2.4.2" xref="S4.p8.1.m1.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p8.1.m1.1.1.2.2.2.4.3" xref="S4.p8.1.m1.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p8.1.m1.1.1.2.2.1" xref="S4.p8.1.m1.1.1.2.2.1.cmml">/</mo><mn id="S4.p8.1.m1.1.1.2.2.3" xref="S4.p8.1.m1.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p8.1.m1.1.1.2.1" xref="S4.p8.1.m1.1.1.2.1.cmml">​</mo><mi id="S4.p8.1.m1.1.1.2.3" xref="S4.p8.1.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p8.1.m1.1.1.2.1a" xref="S4.p8.1.m1.1.1.2.1.cmml">​</mo><msub id="S4.p8.1.m1.1.1.2.4" xref="S4.p8.1.m1.1.1.2.4.cmml"><mi id="S4.p8.1.m1.1.1.2.4.2" xref="S4.p8.1.m1.1.1.2.4.2.cmml">t</mi><mrow id="S4.p8.1.m1.1.1.2.4.3" xref="S4.p8.1.m1.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S4.p8.1.m1.1.1.2.4.3.2" xref="S4.p8.1.m1.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S4.p8.1.m1.1.1.2.4.3.1" xref="S4.p8.1.m1.1.1.2.4.3.1.cmml">−</mo><mn id="S4.p8.1.m1.1.1.2.4.3.3" xref="S4.p8.1.m1.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo stretchy="false" id="S4.p8.1.m1.2.2.3.3.2.2" xref="S4.p8.1.m1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p8.1.m1.2b"><apply id="S4.p8.1.m1.2.2.cmml" xref="S4.p8.1.m1.2.2"><eq id="S4.p8.1.m1.2.2.2.cmml" xref="S4.p8.1.m1.2.2.2"></eq><apply id="S4.p8.1.m1.2.2.1.cmml" xref="S4.p8.1.m1.2.2.1"><csymbol cd="ambiguous" id="S4.p8.1.m1.2.2.1.2.cmml" xref="S4.p8.1.m1.2.2.1">subscript</csymbol><apply id="S4.p8.1.m1.2.2.1.1.2.cmml" xref="S4.p8.1.m1.2.2.1.1.1"><csymbol cd="latexml" id="S4.p8.1.m1.2.2.1.1.2.1.cmml" xref="S4.p8.1.m1.2.2.1.1.1.2">norm</csymbol><apply id="S4.p8.1.m1.2.2.1.1.1.1.cmml" xref="S4.p8.1.m1.2.2.1.1.1.1"><times id="S4.p8.1.m1.2.2.1.1.1.1.1.cmml" xref="S4.p8.1.m1.2.2.1.1.1.1.1"></times><ci id="S4.p8.1.m1.2.2.1.1.1.1.2.cmml" xref="S4.p8.1.m1.2.2.1.1.1.1.2">Δ</ci><apply id="S4.p8.1.m1.2.2.1.1.1.1.3.cmml" xref="S4.p8.1.m1.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S4.p8.1.m1.2.2.1.1.1.1.3.1.cmml" xref="S4.p8.1.m1.2.2.1.1.1.1.3">subscript</csymbol><ci id="S4.p8.1.m1.2.2.1.1.1.1.3.2.cmml" xref="S4.p8.1.m1.2.2.1.1.1.1.3.2">𝑾</ci><ci id="S4.p8.1.m1.2.2.1.1.1.1.3.3.cmml" xref="S4.p8.1.m1.2.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S4.p8.1.m1.2.2.1.3.cmml" xref="S4.p8.1.m1.2.2.1.3"></times></apply><apply id="S4.p8.1.m1.2.2.3.cmml" xref="S4.p8.1.m1.2.2.3"><times id="S4.p8.1.m1.2.2.3.1.cmml" xref="S4.p8.1.m1.2.2.3.1"></times><ci id="S4.p8.1.m1.2.2.3.2.cmml" xref="S4.p8.1.m1.2.2.3.2">Θ</ci><apply id="S4.p8.1.m1.1.1.cmml" xref="S4.p8.1.m1.2.2.3.3.2"><root id="S4.p8.1.m1.1.1a.cmml" xref="S4.p8.1.m1.2.2.3.3.2"></root><apply id="S4.p8.1.m1.1.1.2.cmml" xref="S4.p8.1.m1.1.1.2"><times id="S4.p8.1.m1.1.1.2.1.cmml" xref="S4.p8.1.m1.1.1.2.1"></times><apply id="S4.p8.1.m1.1.1.2.2.cmml" xref="S4.p8.1.m1.1.1.2.2"><divide id="S4.p8.1.m1.1.1.2.2.1.cmml" xref="S4.p8.1.m1.1.1.2.2.1"></divide><apply id="S4.p8.1.m1.1.1.2.2.2.cmml" xref="S4.p8.1.m1.1.1.2.2.2"><times id="S4.p8.1.m1.1.1.2.2.2.1.cmml" xref="S4.p8.1.m1.1.1.2.2.2.1"></times><cn type="integer" id="S4.p8.1.m1.1.1.2.2.2.2.cmml" xref="S4.p8.1.m1.1.1.2.2.2.2">0</cn><ci id="S4.p8.1.m1.1.1.2.2.2.3.cmml" xref="S4.p8.1.m1.1.1.2.2.2.3">𝑝</ci><apply id="S4.p8.1.m1.1.1.2.2.2.4.cmml" xref="S4.p8.1.m1.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S4.p8.1.m1.1.1.2.2.2.4.1.cmml" xref="S4.p8.1.m1.1.1.2.2.2.4">subscript</csymbol><ci id="S4.p8.1.m1.1.1.2.2.2.4.2.cmml" xref="S4.p8.1.m1.1.1.2.2.2.4.2">𝑡</ci><ci id="S4.p8.1.m1.1.1.2.2.2.4.3.cmml" xref="S4.p8.1.m1.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p8.1.m1.1.1.2.2.3.cmml" xref="S4.p8.1.m1.1.1.2.2.3">0</cn></apply><ci id="S4.p8.1.m1.1.1.2.3.cmml" xref="S4.p8.1.m1.1.1.2.3">𝑝</ci><apply id="S4.p8.1.m1.1.1.2.4.cmml" xref="S4.p8.1.m1.1.1.2.4"><csymbol cd="ambiguous" id="S4.p8.1.m1.1.1.2.4.1.cmml" xref="S4.p8.1.m1.1.1.2.4">subscript</csymbol><ci id="S4.p8.1.m1.1.1.2.4.2.cmml" xref="S4.p8.1.m1.1.1.2.4.2">𝑡</ci><apply id="S4.p8.1.m1.1.1.2.4.3.cmml" xref="S4.p8.1.m1.1.1.2.4.3"><minus id="S4.p8.1.m1.1.1.2.4.3.1.cmml" xref="S4.p8.1.m1.1.1.2.4.3.1"></minus><ci id="S4.p8.1.m1.1.1.2.4.3.2.cmml" xref="S4.p8.1.m1.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S4.p8.1.m1.1.1.2.4.3.3.cmml" xref="S4.p8.1.m1.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p8.1.m1.2c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(\sqrt{0pt_{\ell}/0pt_{\ell-1}})</annotation></semantics></math> if we take
<math id="S4.p8.2.m2.1" class="ltx_Math" alttext="\eta_{\ell}=\Theta\left(0pt_{\ell}/0pt_{\ell-1}\right)" display="inline"><semantics id="S4.p8.2.m2.1a"><mrow id="S4.p8.2.m2.1.1" xref="S4.p8.2.m2.1.1.cmml"><msub id="S4.p8.2.m2.1.1.3" xref="S4.p8.2.m2.1.1.3.cmml"><mi id="S4.p8.2.m2.1.1.3.2" xref="S4.p8.2.m2.1.1.3.2.cmml">η</mi><mi mathvariant="normal" id="S4.p8.2.m2.1.1.3.3" xref="S4.p8.2.m2.1.1.3.3.cmml">ℓ</mi></msub><mo id="S4.p8.2.m2.1.1.2" xref="S4.p8.2.m2.1.1.2.cmml">=</mo><mrow id="S4.p8.2.m2.1.1.1" xref="S4.p8.2.m2.1.1.1.cmml"><mi mathvariant="normal" id="S4.p8.2.m2.1.1.1.3" xref="S4.p8.2.m2.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S4.p8.2.m2.1.1.1.2" xref="S4.p8.2.m2.1.1.1.2.cmml">​</mo><mrow id="S4.p8.2.m2.1.1.1.1.1" xref="S4.p8.2.m2.1.1.1.1.1.1.cmml"><mo id="S4.p8.2.m2.1.1.1.1.1.2" xref="S4.p8.2.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="S4.p8.2.m2.1.1.1.1.1.1" xref="S4.p8.2.m2.1.1.1.1.1.1.cmml"><mrow id="S4.p8.2.m2.1.1.1.1.1.1.2" xref="S4.p8.2.m2.1.1.1.1.1.1.2.cmml"><mrow id="S4.p8.2.m2.1.1.1.1.1.1.2.2" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.cmml"><mn id="S4.p8.2.m2.1.1.1.1.1.1.2.2.2" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S4.p8.2.m2.1.1.1.1.1.1.2.2.1" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.1.cmml">​</mo><mi id="S4.p8.2.m2.1.1.1.1.1.1.2.2.3" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p8.2.m2.1.1.1.1.1.1.2.2.1a" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.1.cmml">​</mo><msub id="S4.p8.2.m2.1.1.1.1.1.1.2.2.4" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.cmml"><mi id="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.2" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.3" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S4.p8.2.m2.1.1.1.1.1.1.2.1" xref="S4.p8.2.m2.1.1.1.1.1.1.2.1.cmml">/</mo><mn id="S4.p8.2.m2.1.1.1.1.1.1.2.3" xref="S4.p8.2.m2.1.1.1.1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S4.p8.2.m2.1.1.1.1.1.1.1" xref="S4.p8.2.m2.1.1.1.1.1.1.1.cmml">​</mo><mi id="S4.p8.2.m2.1.1.1.1.1.1.3" xref="S4.p8.2.m2.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S4.p8.2.m2.1.1.1.1.1.1.1a" xref="S4.p8.2.m2.1.1.1.1.1.1.1.cmml">​</mo><msub id="S4.p8.2.m2.1.1.1.1.1.1.4" xref="S4.p8.2.m2.1.1.1.1.1.1.4.cmml"><mi id="S4.p8.2.m2.1.1.1.1.1.1.4.2" xref="S4.p8.2.m2.1.1.1.1.1.1.4.2.cmml">t</mi><mrow id="S4.p8.2.m2.1.1.1.1.1.1.4.3" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3.cmml"><mi mathvariant="normal" id="S4.p8.2.m2.1.1.1.1.1.1.4.3.2" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3.2.cmml">ℓ</mi><mo id="S4.p8.2.m2.1.1.1.1.1.1.4.3.1" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3.1.cmml">−</mo><mn id="S4.p8.2.m2.1.1.1.1.1.1.4.3.3" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3.3.cmml">1</mn></mrow></msub></mrow><mo id="S4.p8.2.m2.1.1.1.1.1.3" xref="S4.p8.2.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S4.p8.2.m2.1b"><apply id="S4.p8.2.m2.1.1.cmml" xref="S4.p8.2.m2.1.1"><eq id="S4.p8.2.m2.1.1.2.cmml" xref="S4.p8.2.m2.1.1.2"></eq><apply id="S4.p8.2.m2.1.1.3.cmml" xref="S4.p8.2.m2.1.1.3"><csymbol cd="ambiguous" id="S4.p8.2.m2.1.1.3.1.cmml" xref="S4.p8.2.m2.1.1.3">subscript</csymbol><ci id="S4.p8.2.m2.1.1.3.2.cmml" xref="S4.p8.2.m2.1.1.3.2">𝜂</ci><ci id="S4.p8.2.m2.1.1.3.3.cmml" xref="S4.p8.2.m2.1.1.3.3">ℓ</ci></apply><apply id="S4.p8.2.m2.1.1.1.cmml" xref="S4.p8.2.m2.1.1.1"><times id="S4.p8.2.m2.1.1.1.2.cmml" xref="S4.p8.2.m2.1.1.1.2"></times><ci id="S4.p8.2.m2.1.1.1.3.cmml" xref="S4.p8.2.m2.1.1.1.3">Θ</ci><apply id="S4.p8.2.m2.1.1.1.1.1.1.cmml" xref="S4.p8.2.m2.1.1.1.1.1"><times id="S4.p8.2.m2.1.1.1.1.1.1.1.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.1"></times><apply id="S4.p8.2.m2.1.1.1.1.1.1.2.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2"><divide id="S4.p8.2.m2.1.1.1.1.1.1.2.1.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.1"></divide><apply id="S4.p8.2.m2.1.1.1.1.1.1.2.2.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2"><times id="S4.p8.2.m2.1.1.1.1.1.1.2.2.1.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.1"></times><cn type="integer" id="S4.p8.2.m2.1.1.1.1.1.1.2.2.2.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.2">0</cn><ci id="S4.p8.2.m2.1.1.1.1.1.1.2.2.3.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.3">𝑝</ci><apply id="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.4"><csymbol cd="ambiguous" id="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.1.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.4">subscript</csymbol><ci id="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.2.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.2">𝑡</ci><ci id="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.3.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S4.p8.2.m2.1.1.1.1.1.1.2.3.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.2.3">0</cn></apply><ci id="S4.p8.2.m2.1.1.1.1.1.1.3.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.3">𝑝</ci><apply id="S4.p8.2.m2.1.1.1.1.1.1.4.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S4.p8.2.m2.1.1.1.1.1.1.4.1.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.4">subscript</csymbol><ci id="S4.p8.2.m2.1.1.1.1.1.1.4.2.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.4.2">𝑡</ci><apply id="S4.p8.2.m2.1.1.1.1.1.1.4.3.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3"><minus id="S4.p8.2.m2.1.1.1.1.1.1.4.3.1.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3.1"></minus><ci id="S4.p8.2.m2.1.1.1.1.1.1.4.3.2.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S4.p8.2.m2.1.1.1.1.1.1.4.3.3.cmml" xref="S4.p8.2.m2.1.1.1.1.1.1.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p8.2.m2.1c">\eta_{\ell}=\Theta\left(0pt_{\ell}/0pt_{\ell-1}\right)</annotation></semantics></math> as prescribed by <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<div id="S4.p9" class="ltx_para ltx_noindent">
<p id="S4.p9.2" class="ltx_p">In summary: training with layerwise initialization <math id="S4.p9.1.m1.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S4.p9.1.m1.1a"><msub id="S4.p9.1.m1.1.1" xref="S4.p9.1.m1.1.1.cmml"><mi id="S4.p9.1.m1.1.1.2" xref="S4.p9.1.m1.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S4.p9.1.m1.1.1.3" xref="S4.p9.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p9.1.m1.1b"><apply id="S4.p9.1.m1.1.1.cmml" xref="S4.p9.1.m1.1.1"><csymbol cd="ambiguous" id="S4.p9.1.m1.1.1.1.cmml" xref="S4.p9.1.m1.1.1">subscript</csymbol><ci id="S4.p9.1.m1.1.1.2.cmml" xref="S4.p9.1.m1.1.1.2">𝜎</ci><ci id="S4.p9.1.m1.1.1.3.cmml" xref="S4.p9.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p9.1.m1.1c">\sigma_{\ell}</annotation></semantics></math> and learning rate <math id="S4.p9.2.m2.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S4.p9.2.m2.1a"><msub id="S4.p9.2.m2.1.1" xref="S4.p9.2.m2.1.1.cmml"><mi id="S4.p9.2.m2.1.1.2" xref="S4.p9.2.m2.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S4.p9.2.m2.1.1.3" xref="S4.p9.2.m2.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S4.p9.2.m2.1b"><apply id="S4.p9.2.m2.1.1.cmml" xref="S4.p9.2.m2.1.1"><csymbol cd="ambiguous" id="S4.p9.2.m2.1.1.1.cmml" xref="S4.p9.2.m2.1.1">subscript</csymbol><ci id="S4.p9.2.m2.1.1.2.cmml" xref="S4.p9.2.m2.1.1.2">𝜂</ci><ci id="S4.p9.2.m2.1.1.3.cmml" xref="S4.p9.2.m2.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S4.p9.2.m2.1c">\eta_{\ell}</annotation></semantics></math> scaled as in our <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> will implement the spectral scaling condition
and give features and feature evolution of the correct size.</p>
</div>
</section>
<section id="S5" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">5 </span>Comparisons to existing parametrizations</h2>

<div id="S5.p1" class="ltx_para ltx_noindent">
<p id="S5.p1.3" class="ltx_p">We have shown that training in accordance with our <span id="S5.p1.3.1" class="ltx_text ltx_font_italic">spectral scaling condition</span> (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) at every layer suffices to achieve correctly-scaled feature evolution, and we have given width scalings for layerwise hyperparameters <math id="S5.p1.1.m1.1" class="ltx_Math" alttext="\sigma_{\ell}" display="inline"><semantics id="S5.p1.1.m1.1a"><msub id="S5.p1.1.m1.1.1" xref="S5.p1.1.m1.1.1.cmml"><mi id="S5.p1.1.m1.1.1.2" xref="S5.p1.1.m1.1.1.2.cmml">σ</mi><mi mathvariant="normal" id="S5.p1.1.m1.1.1.3" xref="S5.p1.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S5.p1.1.m1.1b"><apply id="S5.p1.1.m1.1.1.cmml" xref="S5.p1.1.m1.1.1"><csymbol cd="ambiguous" id="S5.p1.1.m1.1.1.1.cmml" xref="S5.p1.1.m1.1.1">subscript</csymbol><ci id="S5.p1.1.m1.1.1.2.cmml" xref="S5.p1.1.m1.1.1.2">𝜎</ci><ci id="S5.p1.1.m1.1.1.3.cmml" xref="S5.p1.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.1.m1.1c">\sigma_{\ell}</annotation></semantics></math> and <math id="S5.p1.2.m2.1" class="ltx_Math" alttext="\eta_{\ell}" display="inline"><semantics id="S5.p1.2.m2.1a"><msub id="S5.p1.2.m2.1.1" xref="S5.p1.2.m2.1.1.cmml"><mi id="S5.p1.2.m2.1.1.2" xref="S5.p1.2.m2.1.1.2.cmml">η</mi><mi mathvariant="normal" id="S5.p1.2.m2.1.1.3" xref="S5.p1.2.m2.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S5.p1.2.m2.1b"><apply id="S5.p1.2.m2.1.1.cmml" xref="S5.p1.2.m2.1.1"><csymbol cd="ambiguous" id="S5.p1.2.m2.1.1.1.cmml" xref="S5.p1.2.m2.1.1">subscript</csymbol><ci id="S5.p1.2.m2.1.1.2.cmml" xref="S5.p1.2.m2.1.1.2">𝜂</ci><ci id="S5.p1.2.m2.1.1.3.cmml" xref="S5.p1.2.m2.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.2.m2.1c">\eta_{\ell}</annotation></semantics></math> that suffice to put this condition into action in a standard deep learning paradigm (<a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>).
Here we compare this “spectral parametrization” with popular parametrizations.
We find that our parametrization recovers the “maximal update parametrization” (<math id="S5.p1.3.m3.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S5.p1.3.m3.1a"><mi id="S5.p1.3.m3.1.1" xref="S5.p1.3.m3.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S5.p1.3.m3.1b"><ci id="S5.p1.3.m3.1.1.cmml" xref="S5.p1.3.m3.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.p1.3.m3.1c">\mu</annotation></semantics></math>P) at all layers and is different to other parametrizations.</p>
</div>
<section id="S5.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.1 </span>Comparison with “maximal update parametrization”</h3>

<div id="S5.SS1.p1" class="ltx_para ltx_noindent">
<p id="S5.SS1.p1.9" class="ltx_p">Maximal update parametrization (<math id="S5.SS1.p1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S5.SS1.p1.1.m1.1a"><mi id="S5.SS1.p1.1.m1.1.1" xref="S5.SS1.p1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.1.m1.1b"><ci id="S5.SS1.p1.1.m1.1.1.cmml" xref="S5.SS1.p1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.1.m1.1c">\mu</annotation></semantics></math>P) was recently proposed as a scaling rule that retains feature learning even at infinite width. <math id="S5.SS1.p1.2.m2.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S5.SS1.p1.2.m2.1a"><mi id="S5.SS1.p1.2.m2.1.1" xref="S5.SS1.p1.2.m2.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.2.m2.1b"><ci id="S5.SS1.p1.2.m2.1.1.cmml" xref="S5.SS1.p1.2.m2.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.2.m2.1c">\mu</annotation></semantics></math>P as given in Table 3 of <cite class="ltx_cite ltx_citemacro_citet">Yang et al. (<a href="#bib.bib48" title="" class="ltx_ref">2021</a>)</cite> may be recovered from
our <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> by setting <math id="S5.SS1.p1.3.m3.1" class="ltx_Math" alttext="0pt_{0}=0pt_{L}=1" display="inline"><semantics id="S5.SS1.p1.3.m3.1a"><mrow id="S5.SS1.p1.3.m3.1.1" xref="S5.SS1.p1.3.m3.1.1.cmml"><mrow id="S5.SS1.p1.3.m3.1.1.2" xref="S5.SS1.p1.3.m3.1.1.2.cmml"><mn id="S5.SS1.p1.3.m3.1.1.2.2" xref="S5.SS1.p1.3.m3.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.3.m3.1.1.2.1" xref="S5.SS1.p1.3.m3.1.1.2.1.cmml">​</mo><mi id="S5.SS1.p1.3.m3.1.1.2.3" xref="S5.SS1.p1.3.m3.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.3.m3.1.1.2.1a" xref="S5.SS1.p1.3.m3.1.1.2.1.cmml">​</mo><msub id="S5.SS1.p1.3.m3.1.1.2.4" xref="S5.SS1.p1.3.m3.1.1.2.4.cmml"><mi id="S5.SS1.p1.3.m3.1.1.2.4.2" xref="S5.SS1.p1.3.m3.1.1.2.4.2.cmml">t</mi><mn id="S5.SS1.p1.3.m3.1.1.2.4.3" xref="S5.SS1.p1.3.m3.1.1.2.4.3.cmml">0</mn></msub></mrow><mo id="S5.SS1.p1.3.m3.1.1.3" xref="S5.SS1.p1.3.m3.1.1.3.cmml">=</mo><mrow id="S5.SS1.p1.3.m3.1.1.4" xref="S5.SS1.p1.3.m3.1.1.4.cmml"><mn id="S5.SS1.p1.3.m3.1.1.4.2" xref="S5.SS1.p1.3.m3.1.1.4.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.3.m3.1.1.4.1" xref="S5.SS1.p1.3.m3.1.1.4.1.cmml">​</mo><mi id="S5.SS1.p1.3.m3.1.1.4.3" xref="S5.SS1.p1.3.m3.1.1.4.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.3.m3.1.1.4.1a" xref="S5.SS1.p1.3.m3.1.1.4.1.cmml">​</mo><msub id="S5.SS1.p1.3.m3.1.1.4.4" xref="S5.SS1.p1.3.m3.1.1.4.4.cmml"><mi id="S5.SS1.p1.3.m3.1.1.4.4.2" xref="S5.SS1.p1.3.m3.1.1.4.4.2.cmml">t</mi><mi id="S5.SS1.p1.3.m3.1.1.4.4.3" xref="S5.SS1.p1.3.m3.1.1.4.4.3.cmml">L</mi></msub></mrow><mo id="S5.SS1.p1.3.m3.1.1.5" xref="S5.SS1.p1.3.m3.1.1.5.cmml">=</mo><mn id="S5.SS1.p1.3.m3.1.1.6" xref="S5.SS1.p1.3.m3.1.1.6.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.3.m3.1b"><apply id="S5.SS1.p1.3.m3.1.1.cmml" xref="S5.SS1.p1.3.m3.1.1"><and id="S5.SS1.p1.3.m3.1.1a.cmml" xref="S5.SS1.p1.3.m3.1.1"></and><apply id="S5.SS1.p1.3.m3.1.1b.cmml" xref="S5.SS1.p1.3.m3.1.1"><eq id="S5.SS1.p1.3.m3.1.1.3.cmml" xref="S5.SS1.p1.3.m3.1.1.3"></eq><apply id="S5.SS1.p1.3.m3.1.1.2.cmml" xref="S5.SS1.p1.3.m3.1.1.2"><times id="S5.SS1.p1.3.m3.1.1.2.1.cmml" xref="S5.SS1.p1.3.m3.1.1.2.1"></times><cn type="integer" id="S5.SS1.p1.3.m3.1.1.2.2.cmml" xref="S5.SS1.p1.3.m3.1.1.2.2">0</cn><ci id="S5.SS1.p1.3.m3.1.1.2.3.cmml" xref="S5.SS1.p1.3.m3.1.1.2.3">𝑝</ci><apply id="S5.SS1.p1.3.m3.1.1.2.4.cmml" xref="S5.SS1.p1.3.m3.1.1.2.4"><csymbol cd="ambiguous" id="S5.SS1.p1.3.m3.1.1.2.4.1.cmml" xref="S5.SS1.p1.3.m3.1.1.2.4">subscript</csymbol><ci id="S5.SS1.p1.3.m3.1.1.2.4.2.cmml" xref="S5.SS1.p1.3.m3.1.1.2.4.2">𝑡</ci><cn type="integer" id="S5.SS1.p1.3.m3.1.1.2.4.3.cmml" xref="S5.SS1.p1.3.m3.1.1.2.4.3">0</cn></apply></apply><apply id="S5.SS1.p1.3.m3.1.1.4.cmml" xref="S5.SS1.p1.3.m3.1.1.4"><times id="S5.SS1.p1.3.m3.1.1.4.1.cmml" xref="S5.SS1.p1.3.m3.1.1.4.1"></times><cn type="integer" id="S5.SS1.p1.3.m3.1.1.4.2.cmml" xref="S5.SS1.p1.3.m3.1.1.4.2">0</cn><ci id="S5.SS1.p1.3.m3.1.1.4.3.cmml" xref="S5.SS1.p1.3.m3.1.1.4.3">𝑝</ci><apply id="S5.SS1.p1.3.m3.1.1.4.4.cmml" xref="S5.SS1.p1.3.m3.1.1.4.4"><csymbol cd="ambiguous" id="S5.SS1.p1.3.m3.1.1.4.4.1.cmml" xref="S5.SS1.p1.3.m3.1.1.4.4">subscript</csymbol><ci id="S5.SS1.p1.3.m3.1.1.4.4.2.cmml" xref="S5.SS1.p1.3.m3.1.1.4.4.2">𝑡</ci><ci id="S5.SS1.p1.3.m3.1.1.4.4.3.cmml" xref="S5.SS1.p1.3.m3.1.1.4.4.3">𝐿</ci></apply></apply></apply><apply id="S5.SS1.p1.3.m3.1.1c.cmml" xref="S5.SS1.p1.3.m3.1.1"><eq id="S5.SS1.p1.3.m3.1.1.5.cmml" xref="S5.SS1.p1.3.m3.1.1.5"></eq><share href="#S5.SS1.p1.3.m3.1.1.4.cmml" id="S5.SS1.p1.3.m3.1.1d.cmml" xref="S5.SS1.p1.3.m3.1.1"></share><cn type="integer" id="S5.SS1.p1.3.m3.1.1.6.cmml" xref="S5.SS1.p1.3.m3.1.1.6">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.3.m3.1c">0pt_{0}=0pt_{L}=1</annotation></semantics></math> and <math id="S5.SS1.p1.4.m4.1" class="ltx_Math" alttext="0pt_{1}=0pt_{2}=...=0pt_{L-1}" display="inline"><semantics id="S5.SS1.p1.4.m4.1a"><mrow id="S5.SS1.p1.4.m4.1.1" xref="S5.SS1.p1.4.m4.1.1.cmml"><mrow id="S5.SS1.p1.4.m4.1.1.2" xref="S5.SS1.p1.4.m4.1.1.2.cmml"><mn id="S5.SS1.p1.4.m4.1.1.2.2" xref="S5.SS1.p1.4.m4.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.4.m4.1.1.2.1" xref="S5.SS1.p1.4.m4.1.1.2.1.cmml">​</mo><mi id="S5.SS1.p1.4.m4.1.1.2.3" xref="S5.SS1.p1.4.m4.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.4.m4.1.1.2.1a" xref="S5.SS1.p1.4.m4.1.1.2.1.cmml">​</mo><msub id="S5.SS1.p1.4.m4.1.1.2.4" xref="S5.SS1.p1.4.m4.1.1.2.4.cmml"><mi id="S5.SS1.p1.4.m4.1.1.2.4.2" xref="S5.SS1.p1.4.m4.1.1.2.4.2.cmml">t</mi><mn id="S5.SS1.p1.4.m4.1.1.2.4.3" xref="S5.SS1.p1.4.m4.1.1.2.4.3.cmml">1</mn></msub></mrow><mo id="S5.SS1.p1.4.m4.1.1.3" xref="S5.SS1.p1.4.m4.1.1.3.cmml">=</mo><mrow id="S5.SS1.p1.4.m4.1.1.4" xref="S5.SS1.p1.4.m4.1.1.4.cmml"><mn id="S5.SS1.p1.4.m4.1.1.4.2" xref="S5.SS1.p1.4.m4.1.1.4.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.4.m4.1.1.4.1" xref="S5.SS1.p1.4.m4.1.1.4.1.cmml">​</mo><mi id="S5.SS1.p1.4.m4.1.1.4.3" xref="S5.SS1.p1.4.m4.1.1.4.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.4.m4.1.1.4.1a" xref="S5.SS1.p1.4.m4.1.1.4.1.cmml">​</mo><msub id="S5.SS1.p1.4.m4.1.1.4.4" xref="S5.SS1.p1.4.m4.1.1.4.4.cmml"><mi id="S5.SS1.p1.4.m4.1.1.4.4.2" xref="S5.SS1.p1.4.m4.1.1.4.4.2.cmml">t</mi><mn id="S5.SS1.p1.4.m4.1.1.4.4.3" xref="S5.SS1.p1.4.m4.1.1.4.4.3.cmml">2</mn></msub></mrow><mo id="S5.SS1.p1.4.m4.1.1.5" xref="S5.SS1.p1.4.m4.1.1.5.cmml">=</mo><mi mathvariant="normal" id="S5.SS1.p1.4.m4.1.1.6" xref="S5.SS1.p1.4.m4.1.1.6.cmml">…</mi><mo id="S5.SS1.p1.4.m4.1.1.7" xref="S5.SS1.p1.4.m4.1.1.7.cmml">=</mo><mrow id="S5.SS1.p1.4.m4.1.1.8" xref="S5.SS1.p1.4.m4.1.1.8.cmml"><mn id="S5.SS1.p1.4.m4.1.1.8.2" xref="S5.SS1.p1.4.m4.1.1.8.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.4.m4.1.1.8.1" xref="S5.SS1.p1.4.m4.1.1.8.1.cmml">​</mo><mi id="S5.SS1.p1.4.m4.1.1.8.3" xref="S5.SS1.p1.4.m4.1.1.8.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.4.m4.1.1.8.1a" xref="S5.SS1.p1.4.m4.1.1.8.1.cmml">​</mo><msub id="S5.SS1.p1.4.m4.1.1.8.4" xref="S5.SS1.p1.4.m4.1.1.8.4.cmml"><mi id="S5.SS1.p1.4.m4.1.1.8.4.2" xref="S5.SS1.p1.4.m4.1.1.8.4.2.cmml">t</mi><mrow id="S5.SS1.p1.4.m4.1.1.8.4.3" xref="S5.SS1.p1.4.m4.1.1.8.4.3.cmml"><mi id="S5.SS1.p1.4.m4.1.1.8.4.3.2" xref="S5.SS1.p1.4.m4.1.1.8.4.3.2.cmml">L</mi><mo id="S5.SS1.p1.4.m4.1.1.8.4.3.1" xref="S5.SS1.p1.4.m4.1.1.8.4.3.1.cmml">−</mo><mn id="S5.SS1.p1.4.m4.1.1.8.4.3.3" xref="S5.SS1.p1.4.m4.1.1.8.4.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.4.m4.1b"><apply id="S5.SS1.p1.4.m4.1.1.cmml" xref="S5.SS1.p1.4.m4.1.1"><and id="S5.SS1.p1.4.m4.1.1a.cmml" xref="S5.SS1.p1.4.m4.1.1"></and><apply id="S5.SS1.p1.4.m4.1.1b.cmml" xref="S5.SS1.p1.4.m4.1.1"><eq id="S5.SS1.p1.4.m4.1.1.3.cmml" xref="S5.SS1.p1.4.m4.1.1.3"></eq><apply id="S5.SS1.p1.4.m4.1.1.2.cmml" xref="S5.SS1.p1.4.m4.1.1.2"><times id="S5.SS1.p1.4.m4.1.1.2.1.cmml" xref="S5.SS1.p1.4.m4.1.1.2.1"></times><cn type="integer" id="S5.SS1.p1.4.m4.1.1.2.2.cmml" xref="S5.SS1.p1.4.m4.1.1.2.2">0</cn><ci id="S5.SS1.p1.4.m4.1.1.2.3.cmml" xref="S5.SS1.p1.4.m4.1.1.2.3">𝑝</ci><apply id="S5.SS1.p1.4.m4.1.1.2.4.cmml" xref="S5.SS1.p1.4.m4.1.1.2.4"><csymbol cd="ambiguous" id="S5.SS1.p1.4.m4.1.1.2.4.1.cmml" xref="S5.SS1.p1.4.m4.1.1.2.4">subscript</csymbol><ci id="S5.SS1.p1.4.m4.1.1.2.4.2.cmml" xref="S5.SS1.p1.4.m4.1.1.2.4.2">𝑡</ci><cn type="integer" id="S5.SS1.p1.4.m4.1.1.2.4.3.cmml" xref="S5.SS1.p1.4.m4.1.1.2.4.3">1</cn></apply></apply><apply id="S5.SS1.p1.4.m4.1.1.4.cmml" xref="S5.SS1.p1.4.m4.1.1.4"><times id="S5.SS1.p1.4.m4.1.1.4.1.cmml" xref="S5.SS1.p1.4.m4.1.1.4.1"></times><cn type="integer" id="S5.SS1.p1.4.m4.1.1.4.2.cmml" xref="S5.SS1.p1.4.m4.1.1.4.2">0</cn><ci id="S5.SS1.p1.4.m4.1.1.4.3.cmml" xref="S5.SS1.p1.4.m4.1.1.4.3">𝑝</ci><apply id="S5.SS1.p1.4.m4.1.1.4.4.cmml" xref="S5.SS1.p1.4.m4.1.1.4.4"><csymbol cd="ambiguous" id="S5.SS1.p1.4.m4.1.1.4.4.1.cmml" xref="S5.SS1.p1.4.m4.1.1.4.4">subscript</csymbol><ci id="S5.SS1.p1.4.m4.1.1.4.4.2.cmml" xref="S5.SS1.p1.4.m4.1.1.4.4.2">𝑡</ci><cn type="integer" id="S5.SS1.p1.4.m4.1.1.4.4.3.cmml" xref="S5.SS1.p1.4.m4.1.1.4.4.3">2</cn></apply></apply></apply><apply id="S5.SS1.p1.4.m4.1.1c.cmml" xref="S5.SS1.p1.4.m4.1.1"><eq id="S5.SS1.p1.4.m4.1.1.5.cmml" xref="S5.SS1.p1.4.m4.1.1.5"></eq><share href="#S5.SS1.p1.4.m4.1.1.4.cmml" id="S5.SS1.p1.4.m4.1.1d.cmml" xref="S5.SS1.p1.4.m4.1.1"></share><ci id="S5.SS1.p1.4.m4.1.1.6.cmml" xref="S5.SS1.p1.4.m4.1.1.6">…</ci></apply><apply id="S5.SS1.p1.4.m4.1.1e.cmml" xref="S5.SS1.p1.4.m4.1.1"><eq id="S5.SS1.p1.4.m4.1.1.7.cmml" xref="S5.SS1.p1.4.m4.1.1.7"></eq><share href="#S5.SS1.p1.4.m4.1.1.6.cmml" id="S5.SS1.p1.4.m4.1.1f.cmml" xref="S5.SS1.p1.4.m4.1.1"></share><apply id="S5.SS1.p1.4.m4.1.1.8.cmml" xref="S5.SS1.p1.4.m4.1.1.8"><times id="S5.SS1.p1.4.m4.1.1.8.1.cmml" xref="S5.SS1.p1.4.m4.1.1.8.1"></times><cn type="integer" id="S5.SS1.p1.4.m4.1.1.8.2.cmml" xref="S5.SS1.p1.4.m4.1.1.8.2">0</cn><ci id="S5.SS1.p1.4.m4.1.1.8.3.cmml" xref="S5.SS1.p1.4.m4.1.1.8.3">𝑝</ci><apply id="S5.SS1.p1.4.m4.1.1.8.4.cmml" xref="S5.SS1.p1.4.m4.1.1.8.4"><csymbol cd="ambiguous" id="S5.SS1.p1.4.m4.1.1.8.4.1.cmml" xref="S5.SS1.p1.4.m4.1.1.8.4">subscript</csymbol><ci id="S5.SS1.p1.4.m4.1.1.8.4.2.cmml" xref="S5.SS1.p1.4.m4.1.1.8.4.2">𝑡</ci><apply id="S5.SS1.p1.4.m4.1.1.8.4.3.cmml" xref="S5.SS1.p1.4.m4.1.1.8.4.3"><minus id="S5.SS1.p1.4.m4.1.1.8.4.3.1.cmml" xref="S5.SS1.p1.4.m4.1.1.8.4.3.1"></minus><ci id="S5.SS1.p1.4.m4.1.1.8.4.3.2.cmml" xref="S5.SS1.p1.4.m4.1.1.8.4.3.2">𝐿</ci><cn type="integer" id="S5.SS1.p1.4.m4.1.1.8.4.3.3.cmml" xref="S5.SS1.p1.4.m4.1.1.8.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.4.m4.1c">0pt_{1}=0pt_{2}=...=0pt_{L-1}</annotation></semantics></math>. Our <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> actually streamlines and generalizes <math id="S5.SS1.p1.5.m5.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S5.SS1.p1.5.m5.1a"><mi id="S5.SS1.p1.5.m5.1.1" xref="S5.SS1.p1.5.m5.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.5.m5.1b"><ci id="S5.SS1.p1.5.m5.1.1.cmml" xref="S5.SS1.p1.5.m5.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.5.m5.1c">\mu</annotation></semantics></math>P: we provide a unifying treatment for any rectangular matrix, rather than treating input, hidden and output layers separately. In other words, from a spectral point of view, no layer is special. Our parametrization also includes scaling with respect to the input dimension <math id="S5.SS1.p1.6.m6.1" class="ltx_Math" alttext="0pt_{0}" display="inline"><semantics id="S5.SS1.p1.6.m6.1a"><mrow id="S5.SS1.p1.6.m6.1.1" xref="S5.SS1.p1.6.m6.1.1.cmml"><mn id="S5.SS1.p1.6.m6.1.1.2" xref="S5.SS1.p1.6.m6.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.6.m6.1.1.1" xref="S5.SS1.p1.6.m6.1.1.1.cmml">​</mo><mi id="S5.SS1.p1.6.m6.1.1.3" xref="S5.SS1.p1.6.m6.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.6.m6.1.1.1a" xref="S5.SS1.p1.6.m6.1.1.1.cmml">​</mo><msub id="S5.SS1.p1.6.m6.1.1.4" xref="S5.SS1.p1.6.m6.1.1.4.cmml"><mi id="S5.SS1.p1.6.m6.1.1.4.2" xref="S5.SS1.p1.6.m6.1.1.4.2.cmml">t</mi><mn id="S5.SS1.p1.6.m6.1.1.4.3" xref="S5.SS1.p1.6.m6.1.1.4.3.cmml">0</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.6.m6.1b"><apply id="S5.SS1.p1.6.m6.1.1.cmml" xref="S5.SS1.p1.6.m6.1.1"><times id="S5.SS1.p1.6.m6.1.1.1.cmml" xref="S5.SS1.p1.6.m6.1.1.1"></times><cn type="integer" id="S5.SS1.p1.6.m6.1.1.2.cmml" xref="S5.SS1.p1.6.m6.1.1.2">0</cn><ci id="S5.SS1.p1.6.m6.1.1.3.cmml" xref="S5.SS1.p1.6.m6.1.1.3">𝑝</ci><apply id="S5.SS1.p1.6.m6.1.1.4.cmml" xref="S5.SS1.p1.6.m6.1.1.4"><csymbol cd="ambiguous" id="S5.SS1.p1.6.m6.1.1.4.1.cmml" xref="S5.SS1.p1.6.m6.1.1.4">subscript</csymbol><ci id="S5.SS1.p1.6.m6.1.1.4.2.cmml" xref="S5.SS1.p1.6.m6.1.1.4.2">𝑡</ci><cn type="integer" id="S5.SS1.p1.6.m6.1.1.4.3.cmml" xref="S5.SS1.p1.6.m6.1.1.4.3">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.6.m6.1c">0pt_{0}</annotation></semantics></math> and output dimension <math id="S5.SS1.p1.7.m7.1" class="ltx_Math" alttext="0pt_{L}" display="inline"><semantics id="S5.SS1.p1.7.m7.1a"><mrow id="S5.SS1.p1.7.m7.1.1" xref="S5.SS1.p1.7.m7.1.1.cmml"><mn id="S5.SS1.p1.7.m7.1.1.2" xref="S5.SS1.p1.7.m7.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.7.m7.1.1.1" xref="S5.SS1.p1.7.m7.1.1.1.cmml">​</mo><mi id="S5.SS1.p1.7.m7.1.1.3" xref="S5.SS1.p1.7.m7.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.7.m7.1.1.1a" xref="S5.SS1.p1.7.m7.1.1.1.cmml">​</mo><msub id="S5.SS1.p1.7.m7.1.1.4" xref="S5.SS1.p1.7.m7.1.1.4.cmml"><mi id="S5.SS1.p1.7.m7.1.1.4.2" xref="S5.SS1.p1.7.m7.1.1.4.2.cmml">t</mi><mi id="S5.SS1.p1.7.m7.1.1.4.3" xref="S5.SS1.p1.7.m7.1.1.4.3.cmml">L</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.7.m7.1b"><apply id="S5.SS1.p1.7.m7.1.1.cmml" xref="S5.SS1.p1.7.m7.1.1"><times id="S5.SS1.p1.7.m7.1.1.1.cmml" xref="S5.SS1.p1.7.m7.1.1.1"></times><cn type="integer" id="S5.SS1.p1.7.m7.1.1.2.cmml" xref="S5.SS1.p1.7.m7.1.1.2">0</cn><ci id="S5.SS1.p1.7.m7.1.1.3.cmml" xref="S5.SS1.p1.7.m7.1.1.3">𝑝</ci><apply id="S5.SS1.p1.7.m7.1.1.4.cmml" xref="S5.SS1.p1.7.m7.1.1.4"><csymbol cd="ambiguous" id="S5.SS1.p1.7.m7.1.1.4.1.cmml" xref="S5.SS1.p1.7.m7.1.1.4">subscript</csymbol><ci id="S5.SS1.p1.7.m7.1.1.4.2.cmml" xref="S5.SS1.p1.7.m7.1.1.4.2">𝑡</ci><ci id="S5.SS1.p1.7.m7.1.1.4.3.cmml" xref="S5.SS1.p1.7.m7.1.1.4.3">𝐿</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.7.m7.1c">0pt_{L}</annotation></semantics></math> (as opposed to neglecting them as agnostic <math id="S5.SS1.p1.8.m8.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S5.SS1.p1.8.m8.1a"><mrow id="S5.SS1.p1.8.m8.1.2" xref="S5.SS1.p1.8.m8.1.2.cmml"><mi mathvariant="normal" id="S5.SS1.p1.8.m8.1.2.2" xref="S5.SS1.p1.8.m8.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.8.m8.1.2.1" xref="S5.SS1.p1.8.m8.1.2.1.cmml">​</mo><mrow id="S5.SS1.p1.8.m8.1.2.3.2" xref="S5.SS1.p1.8.m8.1.2.cmml"><mo stretchy="false" id="S5.SS1.p1.8.m8.1.2.3.2.1" xref="S5.SS1.p1.8.m8.1.2.cmml">(</mo><mn id="S5.SS1.p1.8.m8.1.1" xref="S5.SS1.p1.8.m8.1.1.cmml">1</mn><mo stretchy="false" id="S5.SS1.p1.8.m8.1.2.3.2.2" xref="S5.SS1.p1.8.m8.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.8.m8.1b"><apply id="S5.SS1.p1.8.m8.1.2.cmml" xref="S5.SS1.p1.8.m8.1.2"><times id="S5.SS1.p1.8.m8.1.2.1.cmml" xref="S5.SS1.p1.8.m8.1.2.1"></times><ci id="S5.SS1.p1.8.m8.1.2.2.cmml" xref="S5.SS1.p1.8.m8.1.2.2">Θ</ci><cn type="integer" id="S5.SS1.p1.8.m8.1.1.cmml" xref="S5.SS1.p1.8.m8.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.8.m8.1c">\Theta(1)</annotation></semantics></math> quantities) and treats hidden widths of unequal dimension (<math id="S5.SS1.p1.9.m9.1" class="ltx_Math" alttext="0pt_{\ell-1}\neq 0pt_{\ell}" display="inline"><semantics id="S5.SS1.p1.9.m9.1a"><mrow id="S5.SS1.p1.9.m9.1.1" xref="S5.SS1.p1.9.m9.1.1.cmml"><mrow id="S5.SS1.p1.9.m9.1.1.2" xref="S5.SS1.p1.9.m9.1.1.2.cmml"><mn id="S5.SS1.p1.9.m9.1.1.2.2" xref="S5.SS1.p1.9.m9.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.9.m9.1.1.2.1" xref="S5.SS1.p1.9.m9.1.1.2.1.cmml">​</mo><mi id="S5.SS1.p1.9.m9.1.1.2.3" xref="S5.SS1.p1.9.m9.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.9.m9.1.1.2.1a" xref="S5.SS1.p1.9.m9.1.1.2.1.cmml">​</mo><msub id="S5.SS1.p1.9.m9.1.1.2.4" xref="S5.SS1.p1.9.m9.1.1.2.4.cmml"><mi id="S5.SS1.p1.9.m9.1.1.2.4.2" xref="S5.SS1.p1.9.m9.1.1.2.4.2.cmml">t</mi><mrow id="S5.SS1.p1.9.m9.1.1.2.4.3" xref="S5.SS1.p1.9.m9.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S5.SS1.p1.9.m9.1.1.2.4.3.2" xref="S5.SS1.p1.9.m9.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S5.SS1.p1.9.m9.1.1.2.4.3.1" xref="S5.SS1.p1.9.m9.1.1.2.4.3.1.cmml">−</mo><mn id="S5.SS1.p1.9.m9.1.1.2.4.3.3" xref="S5.SS1.p1.9.m9.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow><mo id="S5.SS1.p1.9.m9.1.1.1" xref="S5.SS1.p1.9.m9.1.1.1.cmml">≠</mo><mrow id="S5.SS1.p1.9.m9.1.1.3" xref="S5.SS1.p1.9.m9.1.1.3.cmml"><mn id="S5.SS1.p1.9.m9.1.1.3.2" xref="S5.SS1.p1.9.m9.1.1.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS1.p1.9.m9.1.1.3.1" xref="S5.SS1.p1.9.m9.1.1.3.1.cmml">​</mo><mi id="S5.SS1.p1.9.m9.1.1.3.3" xref="S5.SS1.p1.9.m9.1.1.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS1.p1.9.m9.1.1.3.1a" xref="S5.SS1.p1.9.m9.1.1.3.1.cmml">​</mo><msub id="S5.SS1.p1.9.m9.1.1.3.4" xref="S5.SS1.p1.9.m9.1.1.3.4.cmml"><mi id="S5.SS1.p1.9.m9.1.1.3.4.2" xref="S5.SS1.p1.9.m9.1.1.3.4.2.cmml">t</mi><mi mathvariant="normal" id="S5.SS1.p1.9.m9.1.1.3.4.3" xref="S5.SS1.p1.9.m9.1.1.3.4.3.cmml">ℓ</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS1.p1.9.m9.1b"><apply id="S5.SS1.p1.9.m9.1.1.cmml" xref="S5.SS1.p1.9.m9.1.1"><neq id="S5.SS1.p1.9.m9.1.1.1.cmml" xref="S5.SS1.p1.9.m9.1.1.1"></neq><apply id="S5.SS1.p1.9.m9.1.1.2.cmml" xref="S5.SS1.p1.9.m9.1.1.2"><times id="S5.SS1.p1.9.m9.1.1.2.1.cmml" xref="S5.SS1.p1.9.m9.1.1.2.1"></times><cn type="integer" id="S5.SS1.p1.9.m9.1.1.2.2.cmml" xref="S5.SS1.p1.9.m9.1.1.2.2">0</cn><ci id="S5.SS1.p1.9.m9.1.1.2.3.cmml" xref="S5.SS1.p1.9.m9.1.1.2.3">𝑝</ci><apply id="S5.SS1.p1.9.m9.1.1.2.4.cmml" xref="S5.SS1.p1.9.m9.1.1.2.4"><csymbol cd="ambiguous" id="S5.SS1.p1.9.m9.1.1.2.4.1.cmml" xref="S5.SS1.p1.9.m9.1.1.2.4">subscript</csymbol><ci id="S5.SS1.p1.9.m9.1.1.2.4.2.cmml" xref="S5.SS1.p1.9.m9.1.1.2.4.2">𝑡</ci><apply id="S5.SS1.p1.9.m9.1.1.2.4.3.cmml" xref="S5.SS1.p1.9.m9.1.1.2.4.3"><minus id="S5.SS1.p1.9.m9.1.1.2.4.3.1.cmml" xref="S5.SS1.p1.9.m9.1.1.2.4.3.1"></minus><ci id="S5.SS1.p1.9.m9.1.1.2.4.3.2.cmml" xref="S5.SS1.p1.9.m9.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S5.SS1.p1.9.m9.1.1.2.4.3.3.cmml" xref="S5.SS1.p1.9.m9.1.1.2.4.3.3">1</cn></apply></apply></apply><apply id="S5.SS1.p1.9.m9.1.1.3.cmml" xref="S5.SS1.p1.9.m9.1.1.3"><times id="S5.SS1.p1.9.m9.1.1.3.1.cmml" xref="S5.SS1.p1.9.m9.1.1.3.1"></times><cn type="integer" id="S5.SS1.p1.9.m9.1.1.3.2.cmml" xref="S5.SS1.p1.9.m9.1.1.3.2">0</cn><ci id="S5.SS1.p1.9.m9.1.1.3.3.cmml" xref="S5.SS1.p1.9.m9.1.1.3.3">𝑝</ci><apply id="S5.SS1.p1.9.m9.1.1.3.4.cmml" xref="S5.SS1.p1.9.m9.1.1.3.4"><csymbol cd="ambiguous" id="S5.SS1.p1.9.m9.1.1.3.4.1.cmml" xref="S5.SS1.p1.9.m9.1.1.3.4">subscript</csymbol><ci id="S5.SS1.p1.9.m9.1.1.3.4.2.cmml" xref="S5.SS1.p1.9.m9.1.1.3.4.2">𝑡</ci><ci id="S5.SS1.p1.9.m9.1.1.3.4.3.cmml" xref="S5.SS1.p1.9.m9.1.1.3.4.3">ℓ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS1.p1.9.m9.1c">0pt_{\ell-1}\neq 0pt_{\ell}</annotation></semantics></math>).</p>
</div>
</section>
<section id="S5.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.2 </span>Contrast to “standard parametrization”</h3>

<div id="S5.SS2.p1" class="ltx_para ltx_noindent">
<p id="S5.SS2.p1.2" class="ltx_p">At present, the vast majority of deep learning systems use either “Kaiming,” “Xavier,” or “LeCun” initialization <cite class="ltx_cite ltx_citemacro_citep">(He et al., <a href="#bib.bib20" title="" class="ltx_ref">2015</a>, Glorot &amp; Bengio, <a href="#bib.bib19" title="" class="ltx_ref">2010</a>, LeCun et al., <a href="#bib.bib25" title="" class="ltx_ref">2002</a>)</cite> with layer-independent learning rates. Generically, we refer to this as “standard parametrization” (SP), where layerwise initialization and learning rates scale as:</p>
<table id="S5.E21" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S5.E21.m1.3" class="ltx_Math" alttext="\sigma_{\ell}=\Theta(1/\sqrt{0pt_{\ell-1}})\qquad\text{and}\qquad\eta_{\ell}=\Theta(1)." display="block"><semantics id="S5.E21.m1.3a"><mrow id="S5.E21.m1.3.3.1"><mrow id="S5.E21.m1.3.3.1.1.2" xref="S5.E21.m1.3.3.1.1.3.cmml"><mrow id="S5.E21.m1.3.3.1.1.1.1" xref="S5.E21.m1.3.3.1.1.1.1.cmml"><msub id="S5.E21.m1.3.3.1.1.1.1.3" xref="S5.E21.m1.3.3.1.1.1.1.3.cmml"><mi id="S5.E21.m1.3.3.1.1.1.1.3.2" xref="S5.E21.m1.3.3.1.1.1.1.3.2.cmml">σ</mi><mi mathvariant="normal" id="S5.E21.m1.3.3.1.1.1.1.3.3" xref="S5.E21.m1.3.3.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo id="S5.E21.m1.3.3.1.1.1.1.2" xref="S5.E21.m1.3.3.1.1.1.1.2.cmml">=</mo><mrow id="S5.E21.m1.3.3.1.1.1.1.1.1" xref="S5.E21.m1.3.3.1.1.1.1.1.2.cmml"><mrow id="S5.E21.m1.3.3.1.1.1.1.1.1.1" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.3" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.2" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.2" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><mn id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.2" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.1" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml">/</mo><msqrt id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml"><mrow id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.cmml"><mn id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.2" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.3" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1a" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml">​</mo><msub id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.cmml"><mi id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.2" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.2.cmml">t</mi><mrow id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.cmml"><mi mathvariant="normal" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2.cmml">ℓ</mi><mo id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1.cmml">−</mo><mn id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt></mrow><mo stretchy="false" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.3" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mspace width="2em" id="S5.E21.m1.3.3.1.1.1.1.1.1.2" xref="S5.E21.m1.3.3.1.1.1.1.1.2.cmml"></mspace><mtext id="S5.E21.m1.2.2" xref="S5.E21.m1.2.2a.cmml">and</mtext></mrow></mrow><mspace width="2em" id="S5.E21.m1.3.3.1.1.2.3" xref="S5.E21.m1.3.3.1.1.3a.cmml"></mspace><mrow id="S5.E21.m1.3.3.1.1.2.2" xref="S5.E21.m1.3.3.1.1.2.2.cmml"><msub id="S5.E21.m1.3.3.1.1.2.2.2" xref="S5.E21.m1.3.3.1.1.2.2.2.cmml"><mi id="S5.E21.m1.3.3.1.1.2.2.2.2" xref="S5.E21.m1.3.3.1.1.2.2.2.2.cmml">η</mi><mi mathvariant="normal" id="S5.E21.m1.3.3.1.1.2.2.2.3" xref="S5.E21.m1.3.3.1.1.2.2.2.3.cmml">ℓ</mi></msub><mo id="S5.E21.m1.3.3.1.1.2.2.1" xref="S5.E21.m1.3.3.1.1.2.2.1.cmml">=</mo><mrow id="S5.E21.m1.3.3.1.1.2.2.3" xref="S5.E21.m1.3.3.1.1.2.2.3.cmml"><mi mathvariant="normal" id="S5.E21.m1.3.3.1.1.2.2.3.2" xref="S5.E21.m1.3.3.1.1.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.E21.m1.3.3.1.1.2.2.3.1" xref="S5.E21.m1.3.3.1.1.2.2.3.1.cmml">​</mo><mrow id="S5.E21.m1.3.3.1.1.2.2.3.3.2" xref="S5.E21.m1.3.3.1.1.2.2.3.cmml"><mo stretchy="false" id="S5.E21.m1.3.3.1.1.2.2.3.3.2.1" xref="S5.E21.m1.3.3.1.1.2.2.3.cmml">(</mo><mn id="S5.E21.m1.1.1" xref="S5.E21.m1.1.1.cmml">1</mn><mo stretchy="false" id="S5.E21.m1.3.3.1.1.2.2.3.3.2.2" xref="S5.E21.m1.3.3.1.1.2.2.3.cmml">)</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="S5.E21.m1.3.3.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.E21.m1.3b"><apply id="S5.E21.m1.3.3.1.1.3.cmml" xref="S5.E21.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="S5.E21.m1.3.3.1.1.3a.cmml" xref="S5.E21.m1.3.3.1.1.2.3">formulae-sequence</csymbol><apply id="S5.E21.m1.3.3.1.1.1.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1"><eq id="S5.E21.m1.3.3.1.1.1.1.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.2"></eq><apply id="S5.E21.m1.3.3.1.1.1.1.3.cmml" xref="S5.E21.m1.3.3.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.E21.m1.3.3.1.1.1.1.3.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1.3">subscript</csymbol><ci id="S5.E21.m1.3.3.1.1.1.1.3.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.3.2">𝜎</ci><ci id="S5.E21.m1.3.3.1.1.1.1.3.3.cmml" xref="S5.E21.m1.3.3.1.1.1.1.3.3">ℓ</ci></apply><list id="S5.E21.m1.3.3.1.1.1.1.1.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1"><apply id="S5.E21.m1.3.3.1.1.1.1.1.1.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1"><times id="S5.E21.m1.3.3.1.1.1.1.1.1.1.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.2"></times><ci id="S5.E21.m1.3.3.1.1.1.1.1.1.1.3.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.3">Θ</ci><apply id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1"><divide id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.1"></divide><cn type="integer" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.2">1</cn><apply id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3"><root id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3a.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3"></root><apply id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2"><times id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1"></times><cn type="integer" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.2">0</cn><ci id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.3">𝑝</ci><apply id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4"><csymbol cd="ambiguous" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4">subscript</csymbol><ci id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.2">𝑡</ci><apply id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3"><minus id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1"></minus><ci id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2">ℓ</ci><cn type="integer" id="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3.cmml" xref="S5.E21.m1.3.3.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply><ci id="S5.E21.m1.2.2a.cmml" xref="S5.E21.m1.2.2"><mtext id="S5.E21.m1.2.2.cmml" xref="S5.E21.m1.2.2">and</mtext></ci></list></apply><apply id="S5.E21.m1.3.3.1.1.2.2.cmml" xref="S5.E21.m1.3.3.1.1.2.2"><eq id="S5.E21.m1.3.3.1.1.2.2.1.cmml" xref="S5.E21.m1.3.3.1.1.2.2.1"></eq><apply id="S5.E21.m1.3.3.1.1.2.2.2.cmml" xref="S5.E21.m1.3.3.1.1.2.2.2"><csymbol cd="ambiguous" id="S5.E21.m1.3.3.1.1.2.2.2.1.cmml" xref="S5.E21.m1.3.3.1.1.2.2.2">subscript</csymbol><ci id="S5.E21.m1.3.3.1.1.2.2.2.2.cmml" xref="S5.E21.m1.3.3.1.1.2.2.2.2">𝜂</ci><ci id="S5.E21.m1.3.3.1.1.2.2.2.3.cmml" xref="S5.E21.m1.3.3.1.1.2.2.2.3">ℓ</ci></apply><apply id="S5.E21.m1.3.3.1.1.2.2.3.cmml" xref="S5.E21.m1.3.3.1.1.2.2.3"><times id="S5.E21.m1.3.3.1.1.2.2.3.1.cmml" xref="S5.E21.m1.3.3.1.1.2.2.3.1"></times><ci id="S5.E21.m1.3.3.1.1.2.2.3.2.cmml" xref="S5.E21.m1.3.3.1.1.2.2.3.2">Θ</ci><cn type="integer" id="S5.E21.m1.1.1.cmml" xref="S5.E21.m1.1.1">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E21.m1.3c">\sigma_{\ell}=\Theta(1/\sqrt{0pt_{\ell-1}})\qquad\text{and}\qquad\eta_{\ell}=\Theta(1).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(21)</span></td>
</tr></tbody>
</table>
<p id="S5.SS2.p1.1" class="ltx_p">Notice that SP initialization exceeds <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> in any layer with fan-out smaller than fan-in. This includes the final layer in sufficiently wide networks. So, while <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> implies that weight matrices have spectral norm <math id="S5.SS2.p1.1.m1.1" class="ltx_Math" alttext="\Theta(\sqrt{\texttt{fan-out}/\texttt{fan-in}})" display="inline"><semantics id="S5.SS2.p1.1.m1.1a"><mrow id="S5.SS2.p1.1.m1.1.2" xref="S5.SS2.p1.1.m1.1.2.cmml"><mi mathvariant="normal" id="S5.SS2.p1.1.m1.1.2.2" xref="S5.SS2.p1.1.m1.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.SS2.p1.1.m1.1.2.1" xref="S5.SS2.p1.1.m1.1.2.1.cmml">​</mo><mrow id="S5.SS2.p1.1.m1.1.2.3.2" xref="S5.SS2.p1.1.m1.1.1.cmml"><mo stretchy="false" id="S5.SS2.p1.1.m1.1.2.3.2.1" xref="S5.SS2.p1.1.m1.1.1.cmml">(</mo><msqrt id="S5.SS2.p1.1.m1.1.1" xref="S5.SS2.p1.1.m1.1.1.cmml"><mrow id="S5.SS2.p1.1.m1.1.1.2" xref="S5.SS2.p1.1.m1.1.1.2.cmml"><mtext class="ltx_mathvariant_monospace" id="S5.SS2.p1.1.m1.1.1.2.2" xref="S5.SS2.p1.1.m1.1.1.2.2a.cmml">fan-out</mtext><mo id="S5.SS2.p1.1.m1.1.1.2.1" xref="S5.SS2.p1.1.m1.1.1.2.1.cmml">/</mo><mtext class="ltx_mathvariant_monospace" id="S5.SS2.p1.1.m1.1.1.2.3" xref="S5.SS2.p1.1.m1.1.1.2.3a.cmml">fan-in</mtext></mrow></msqrt><mo stretchy="false" id="S5.SS2.p1.1.m1.1.2.3.2.2" xref="S5.SS2.p1.1.m1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS2.p1.1.m1.1b"><apply id="S5.SS2.p1.1.m1.1.2.cmml" xref="S5.SS2.p1.1.m1.1.2"><times id="S5.SS2.p1.1.m1.1.2.1.cmml" xref="S5.SS2.p1.1.m1.1.2.1"></times><ci id="S5.SS2.p1.1.m1.1.2.2.cmml" xref="S5.SS2.p1.1.m1.1.2.2">Θ</ci><apply id="S5.SS2.p1.1.m1.1.1.cmml" xref="S5.SS2.p1.1.m1.1.2.3.2"><root id="S5.SS2.p1.1.m1.1.1a.cmml" xref="S5.SS2.p1.1.m1.1.2.3.2"></root><apply id="S5.SS2.p1.1.m1.1.1.2.cmml" xref="S5.SS2.p1.1.m1.1.1.2"><divide id="S5.SS2.p1.1.m1.1.1.2.1.cmml" xref="S5.SS2.p1.1.m1.1.1.2.1"></divide><ci id="S5.SS2.p1.1.m1.1.1.2.2a.cmml" xref="S5.SS2.p1.1.m1.1.1.2.2"><mtext class="ltx_mathvariant_monospace" id="S5.SS2.p1.1.m1.1.1.2.2.cmml" xref="S5.SS2.p1.1.m1.1.1.2.2">fan-out</mtext></ci><ci id="S5.SS2.p1.1.m1.1.1.2.3a.cmml" xref="S5.SS2.p1.1.m1.1.1.2.3"><mtext class="ltx_mathvariant_monospace" id="S5.SS2.p1.1.m1.1.1.2.3.cmml" xref="S5.SS2.p1.1.m1.1.1.2.3">fan-in</mtext></ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS2.p1.1.m1.1c">\Theta(\sqrt{\texttt{fan-out}/\texttt{fan-in}})</annotation></semantics></math> at initialization, under SP the spectral norms of certain layers are initialized larger than this. This means that, under SP, network outputs can blow up if training aligns the layer inputs with the top singular subspaces (and in fact this alignment generally occurs).</p>
</div>
</section>
<section id="S5.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.3 </span>Contrast to “neural tangent parametrization”</h3>

<div id="S5.SS3.p1" class="ltx_para ltx_noindent">
<p id="S5.SS3.p1.3" class="ltx_p">The neural tangent parametrization (NTP) of <cite class="ltx_cite ltx_citemacro_citet">Jacot et al. (<a href="#bib.bib22" title="" class="ltx_ref">2018</a>)</cite> parameterizes a weight matrix as <math id="S5.SS3.p1.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}/\sqrt{0pt_{\ell-1}}" display="inline"><semantics id="S5.SS3.p1.1.m1.1a"><mrow id="S5.SS3.p1.1.m1.1.1" xref="S5.SS3.p1.1.m1.1.1.cmml"><msub id="S5.SS3.p1.1.m1.1.1.2" xref="S5.SS3.p1.1.m1.1.1.2.cmml"><mi id="S5.SS3.p1.1.m1.1.1.2.2" xref="S5.SS3.p1.1.m1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS3.p1.1.m1.1.1.2.3" xref="S5.SS3.p1.1.m1.1.1.2.3.cmml">ℓ</mi></msub><mo id="S5.SS3.p1.1.m1.1.1.1" xref="S5.SS3.p1.1.m1.1.1.1.cmml">/</mo><msqrt id="S5.SS3.p1.1.m1.1.1.3" xref="S5.SS3.p1.1.m1.1.1.3.cmml"><mrow id="S5.SS3.p1.1.m1.1.1.3.2" xref="S5.SS3.p1.1.m1.1.1.3.2.cmml"><mn id="S5.SS3.p1.1.m1.1.1.3.2.2" xref="S5.SS3.p1.1.m1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS3.p1.1.m1.1.1.3.2.1" xref="S5.SS3.p1.1.m1.1.1.3.2.1.cmml">​</mo><mi id="S5.SS3.p1.1.m1.1.1.3.2.3" xref="S5.SS3.p1.1.m1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.1.m1.1.1.3.2.1a" xref="S5.SS3.p1.1.m1.1.1.3.2.1.cmml">​</mo><msub id="S5.SS3.p1.1.m1.1.1.3.2.4" xref="S5.SS3.p1.1.m1.1.1.3.2.4.cmml"><mi id="S5.SS3.p1.1.m1.1.1.3.2.4.2" xref="S5.SS3.p1.1.m1.1.1.3.2.4.2.cmml">t</mi><mrow id="S5.SS3.p1.1.m1.1.1.3.2.4.3" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3.cmml"><mi mathvariant="normal" id="S5.SS3.p1.1.m1.1.1.3.2.4.3.2" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3.2.cmml">ℓ</mi><mo id="S5.SS3.p1.1.m1.1.1.3.2.4.3.1" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.1.m1.1.1.3.2.4.3.3" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.1.m1.1b"><apply id="S5.SS3.p1.1.m1.1.1.cmml" xref="S5.SS3.p1.1.m1.1.1"><divide id="S5.SS3.p1.1.m1.1.1.1.cmml" xref="S5.SS3.p1.1.m1.1.1.1"></divide><apply id="S5.SS3.p1.1.m1.1.1.2.cmml" xref="S5.SS3.p1.1.m1.1.1.2"><csymbol cd="ambiguous" id="S5.SS3.p1.1.m1.1.1.2.1.cmml" xref="S5.SS3.p1.1.m1.1.1.2">subscript</csymbol><ci id="S5.SS3.p1.1.m1.1.1.2.2.cmml" xref="S5.SS3.p1.1.m1.1.1.2.2">𝑾</ci><ci id="S5.SS3.p1.1.m1.1.1.2.3.cmml" xref="S5.SS3.p1.1.m1.1.1.2.3">ℓ</ci></apply><apply id="S5.SS3.p1.1.m1.1.1.3.cmml" xref="S5.SS3.p1.1.m1.1.1.3"><root id="S5.SS3.p1.1.m1.1.1.3a.cmml" xref="S5.SS3.p1.1.m1.1.1.3"></root><apply id="S5.SS3.p1.1.m1.1.1.3.2.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2"><times id="S5.SS3.p1.1.m1.1.1.3.2.1.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.1"></times><cn type="integer" id="S5.SS3.p1.1.m1.1.1.3.2.2.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.2">0</cn><ci id="S5.SS3.p1.1.m1.1.1.3.2.3.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.3">𝑝</ci><apply id="S5.SS3.p1.1.m1.1.1.3.2.4.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.4"><csymbol cd="ambiguous" id="S5.SS3.p1.1.m1.1.1.3.2.4.1.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.4">subscript</csymbol><ci id="S5.SS3.p1.1.m1.1.1.3.2.4.2.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.4.2">𝑡</ci><apply id="S5.SS3.p1.1.m1.1.1.3.2.4.3.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3"><minus id="S5.SS3.p1.1.m1.1.1.3.2.4.3.1.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3.1"></minus><ci id="S5.SS3.p1.1.m1.1.1.3.2.4.3.2.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3.2">ℓ</ci><cn type="integer" id="S5.SS3.p1.1.m1.1.1.3.2.4.3.3.cmml" xref="S5.SS3.p1.1.m1.1.1.3.2.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.1.m1.1c">{\bm{W}}_{\ell}/\sqrt{0pt_{\ell-1}}</annotation></semantics></math> where the entries of <math id="S5.SS3.p1.2.m2.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S5.SS3.p1.2.m2.1a"><msub id="S5.SS3.p1.2.m2.1.1" xref="S5.SS3.p1.2.m2.1.1.cmml"><mi id="S5.SS3.p1.2.m2.1.1.2" xref="S5.SS3.p1.2.m2.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS3.p1.2.m2.1.1.3" xref="S5.SS3.p1.2.m2.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.2.m2.1b"><apply id="S5.SS3.p1.2.m2.1.1.cmml" xref="S5.SS3.p1.2.m2.1.1"><csymbol cd="ambiguous" id="S5.SS3.p1.2.m2.1.1.1.cmml" xref="S5.SS3.p1.2.m2.1.1">subscript</csymbol><ci id="S5.SS3.p1.2.m2.1.1.2.cmml" xref="S5.SS3.p1.2.m2.1.1.2">𝑾</ci><ci id="S5.SS3.p1.2.m2.1.1.3.cmml" xref="S5.SS3.p1.2.m2.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.2.m2.1c">{\bm{W}}_{\ell}</annotation></semantics></math> are sampled iid standard normal, and applies gradient descent with a layer-independent step-size. Since dividing a weight matrix by <math id="S5.SS3.p1.3.m3.1" class="ltx_Math" alttext="\sqrt{0pt_{\ell-1}}" display="inline"><semantics id="S5.SS3.p1.3.m3.1a"><msqrt id="S5.SS3.p1.3.m3.1.1" xref="S5.SS3.p1.3.m3.1.1.cmml"><mrow id="S5.SS3.p1.3.m3.1.1.2" xref="S5.SS3.p1.3.m3.1.1.2.cmml"><mn id="S5.SS3.p1.3.m3.1.1.2.2" xref="S5.SS3.p1.3.m3.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS3.p1.3.m3.1.1.2.1" xref="S5.SS3.p1.3.m3.1.1.2.1.cmml">​</mo><mi id="S5.SS3.p1.3.m3.1.1.2.3" xref="S5.SS3.p1.3.m3.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.3.m3.1.1.2.1a" xref="S5.SS3.p1.3.m3.1.1.2.1.cmml">​</mo><msub id="S5.SS3.p1.3.m3.1.1.2.4" xref="S5.SS3.p1.3.m3.1.1.2.4.cmml"><mi id="S5.SS3.p1.3.m3.1.1.2.4.2" xref="S5.SS3.p1.3.m3.1.1.2.4.2.cmml">t</mi><mrow id="S5.SS3.p1.3.m3.1.1.2.4.3" xref="S5.SS3.p1.3.m3.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S5.SS3.p1.3.m3.1.1.2.4.3.2" xref="S5.SS3.p1.3.m3.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S5.SS3.p1.3.m3.1.1.2.4.3.1" xref="S5.SS3.p1.3.m3.1.1.2.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.3.m3.1.1.2.4.3.3" xref="S5.SS3.p1.3.m3.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.3.m3.1b"><apply id="S5.SS3.p1.3.m3.1.1.cmml" xref="S5.SS3.p1.3.m3.1.1"><root id="S5.SS3.p1.3.m3.1.1a.cmml" xref="S5.SS3.p1.3.m3.1.1"></root><apply id="S5.SS3.p1.3.m3.1.1.2.cmml" xref="S5.SS3.p1.3.m3.1.1.2"><times id="S5.SS3.p1.3.m3.1.1.2.1.cmml" xref="S5.SS3.p1.3.m3.1.1.2.1"></times><cn type="integer" id="S5.SS3.p1.3.m3.1.1.2.2.cmml" xref="S5.SS3.p1.3.m3.1.1.2.2">0</cn><ci id="S5.SS3.p1.3.m3.1.1.2.3.cmml" xref="S5.SS3.p1.3.m3.1.1.2.3">𝑝</ci><apply id="S5.SS3.p1.3.m3.1.1.2.4.cmml" xref="S5.SS3.p1.3.m3.1.1.2.4"><csymbol cd="ambiguous" id="S5.SS3.p1.3.m3.1.1.2.4.1.cmml" xref="S5.SS3.p1.3.m3.1.1.2.4">subscript</csymbol><ci id="S5.SS3.p1.3.m3.1.1.2.4.2.cmml" xref="S5.SS3.p1.3.m3.1.1.2.4.2">𝑡</ci><apply id="S5.SS3.p1.3.m3.1.1.2.4.3.cmml" xref="S5.SS3.p1.3.m3.1.1.2.4.3"><minus id="S5.SS3.p1.3.m3.1.1.2.4.3.1.cmml" xref="S5.SS3.p1.3.m3.1.1.2.4.3.1"></minus><ci id="S5.SS3.p1.3.m3.1.1.2.4.3.2.cmml" xref="S5.SS3.p1.3.m3.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S5.SS3.p1.3.m3.1.1.2.4.3.3.cmml" xref="S5.SS3.p1.3.m3.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.3.m3.1c">\sqrt{0pt_{\ell-1}}</annotation></semantics></math> also divides the gradient of that layer by the same factor, NTP is equivalent to training in our setup with a layer-wise standard deviation and learning rate:</p>
<table id="S5.E22" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S5.E22.m1.2" class="ltx_Math" alttext="\sigma_{\ell}=\Theta(1/\sqrt{0pt_{\ell-1}})\qquad\text{and}\qquad\eta_{\ell}=\Theta(1/0pt_{\ell-1})." display="block"><semantics id="S5.E22.m1.2a"><mrow id="S5.E22.m1.2.2.1"><mrow id="S5.E22.m1.2.2.1.1.2" xref="S5.E22.m1.2.2.1.1.3.cmml"><mrow id="S5.E22.m1.2.2.1.1.1.1" xref="S5.E22.m1.2.2.1.1.1.1.cmml"><msub id="S5.E22.m1.2.2.1.1.1.1.3" xref="S5.E22.m1.2.2.1.1.1.1.3.cmml"><mi id="S5.E22.m1.2.2.1.1.1.1.3.2" xref="S5.E22.m1.2.2.1.1.1.1.3.2.cmml">σ</mi><mi mathvariant="normal" id="S5.E22.m1.2.2.1.1.1.1.3.3" xref="S5.E22.m1.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub><mo id="S5.E22.m1.2.2.1.1.1.1.2" xref="S5.E22.m1.2.2.1.1.1.1.2.cmml">=</mo><mrow id="S5.E22.m1.2.2.1.1.1.1.1.1" xref="S5.E22.m1.2.2.1.1.1.1.1.2.cmml"><mrow id="S5.E22.m1.2.2.1.1.1.1.1.1.1" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.3" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.2" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.2" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mrow id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.cmml"><mn id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.2" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.2.cmml">1</mn><mo id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.1" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml">/</mo><msqrt id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.cmml"><mrow id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.cmml"><mn id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.2" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.1" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.3" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.1a" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml">​</mo><msub id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.cmml"><mi id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.2" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.2.cmml">t</mi><mrow id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.cmml"><mi mathvariant="normal" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2.cmml">ℓ</mi><mo id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1.cmml">−</mo><mn id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt></mrow><mo stretchy="false" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.3" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mspace width="2em" id="S5.E22.m1.2.2.1.1.1.1.1.1.2" xref="S5.E22.m1.2.2.1.1.1.1.1.2.cmml"></mspace><mtext id="S5.E22.m1.1.1" xref="S5.E22.m1.1.1a.cmml">and</mtext></mrow></mrow><mspace width="2em" id="S5.E22.m1.2.2.1.1.2.3" xref="S5.E22.m1.2.2.1.1.3a.cmml"></mspace><mrow id="S5.E22.m1.2.2.1.1.2.2" xref="S5.E22.m1.2.2.1.1.2.2.cmml"><msub id="S5.E22.m1.2.2.1.1.2.2.3" xref="S5.E22.m1.2.2.1.1.2.2.3.cmml"><mi id="S5.E22.m1.2.2.1.1.2.2.3.2" xref="S5.E22.m1.2.2.1.1.2.2.3.2.cmml">η</mi><mi mathvariant="normal" id="S5.E22.m1.2.2.1.1.2.2.3.3" xref="S5.E22.m1.2.2.1.1.2.2.3.3.cmml">ℓ</mi></msub><mo id="S5.E22.m1.2.2.1.1.2.2.2" xref="S5.E22.m1.2.2.1.1.2.2.2.cmml">=</mo><mrow id="S5.E22.m1.2.2.1.1.2.2.1" xref="S5.E22.m1.2.2.1.1.2.2.1.cmml"><mi mathvariant="normal" id="S5.E22.m1.2.2.1.1.2.2.1.3" xref="S5.E22.m1.2.2.1.1.2.2.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.E22.m1.2.2.1.1.2.2.1.2" xref="S5.E22.m1.2.2.1.1.2.2.1.2.cmml">​</mo><mrow id="S5.E22.m1.2.2.1.1.2.2.1.1.1" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.cmml"><mo stretchy="false" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.2" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.cmml">(</mo><mrow id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.cmml"><mrow id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.cmml"><mn id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.2" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.2.cmml">1</mn><mo id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.1" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.1.cmml">/</mo><mn id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.3" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.1" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.1.cmml">​</mo><mi id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.3" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.1a" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.1.cmml">​</mo><msub id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.cmml"><mi id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.2" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.2.cmml">t</mi><mrow id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.cmml"><mi mathvariant="normal" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.2" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.2.cmml">ℓ</mi><mo id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.1" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.1.cmml">−</mo><mn id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.3" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.3.cmml">1</mn></mrow></msub></mrow><mo stretchy="false" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.3" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.cmml">)</mo></mrow></mrow></mrow></mrow><mo lspace="0em" id="S5.E22.m1.2.2.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S5.E22.m1.2b"><apply id="S5.E22.m1.2.2.1.1.3.cmml" xref="S5.E22.m1.2.2.1.1.2"><csymbol cd="ambiguous" id="S5.E22.m1.2.2.1.1.3a.cmml" xref="S5.E22.m1.2.2.1.1.2.3">formulae-sequence</csymbol><apply id="S5.E22.m1.2.2.1.1.1.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1"><eq id="S5.E22.m1.2.2.1.1.1.1.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.2"></eq><apply id="S5.E22.m1.2.2.1.1.1.1.3.cmml" xref="S5.E22.m1.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.E22.m1.2.2.1.1.1.1.3.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1.3">subscript</csymbol><ci id="S5.E22.m1.2.2.1.1.1.1.3.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.3.2">𝜎</ci><ci id="S5.E22.m1.2.2.1.1.1.1.3.3.cmml" xref="S5.E22.m1.2.2.1.1.1.1.3.3">ℓ</ci></apply><list id="S5.E22.m1.2.2.1.1.1.1.1.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1"><apply id="S5.E22.m1.2.2.1.1.1.1.1.1.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1"><times id="S5.E22.m1.2.2.1.1.1.1.1.1.1.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.2"></times><ci id="S5.E22.m1.2.2.1.1.1.1.1.1.1.3.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.3">Θ</ci><apply id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1"><divide id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.1"></divide><cn type="integer" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.2">1</cn><apply id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3"><root id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3a.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3"></root><apply id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2"><times id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.1"></times><cn type="integer" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.2">0</cn><ci id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.3.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.3">𝑝</ci><apply id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4"><csymbol cd="ambiguous" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4">subscript</csymbol><ci id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.2">𝑡</ci><apply id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3"><minus id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.1"></minus><ci id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.2">ℓ</ci><cn type="integer" id="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3.cmml" xref="S5.E22.m1.2.2.1.1.1.1.1.1.1.1.1.1.3.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply><ci id="S5.E22.m1.1.1a.cmml" xref="S5.E22.m1.1.1"><mtext id="S5.E22.m1.1.1.cmml" xref="S5.E22.m1.1.1">and</mtext></ci></list></apply><apply id="S5.E22.m1.2.2.1.1.2.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2"><eq id="S5.E22.m1.2.2.1.1.2.2.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2.2"></eq><apply id="S5.E22.m1.2.2.1.1.2.2.3.cmml" xref="S5.E22.m1.2.2.1.1.2.2.3"><csymbol cd="ambiguous" id="S5.E22.m1.2.2.1.1.2.2.3.1.cmml" xref="S5.E22.m1.2.2.1.1.2.2.3">subscript</csymbol><ci id="S5.E22.m1.2.2.1.1.2.2.3.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2.3.2">𝜂</ci><ci id="S5.E22.m1.2.2.1.1.2.2.3.3.cmml" xref="S5.E22.m1.2.2.1.1.2.2.3.3">ℓ</ci></apply><apply id="S5.E22.m1.2.2.1.1.2.2.1.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1"><times id="S5.E22.m1.2.2.1.1.2.2.1.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.2"></times><ci id="S5.E22.m1.2.2.1.1.2.2.1.3.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.3">Θ</ci><apply id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1"><times id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.1.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.1"></times><apply id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2"><divide id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.1.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.1"></divide><cn type="integer" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.2">1</cn><cn type="integer" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.3.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.2.3">0</cn></apply><ci id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.3.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.3">𝑝</ci><apply id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4"><csymbol cd="ambiguous" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.1.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4">subscript</csymbol><ci id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.2">𝑡</ci><apply id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3"><minus id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.1.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.1"></minus><ci id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.2.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.3.cmml" xref="S5.E22.m1.2.2.1.1.2.2.1.1.1.1.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.E22.m1.2c">\sigma_{\ell}=\Theta(1/\sqrt{0pt_{\ell-1}})\qquad\text{and}\qquad\eta_{\ell}=\Theta(1/0pt_{\ell-1}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(22)</span></td>
</tr></tbody>
</table>
<p id="S5.SS3.p1.14" class="ltx_p">Comparing <a href="#S5.E21" title="In 5.2 Contrast to “standard parametrization” ‣ 5 Comparisons to existing parametrizations ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equations</span> <span class="ltx_text ltx_ref_tag">21</span></a> and <a href="#S5.E22" title="Equation 22 ‣ 5.3 Contrast to “neural tangent parametrization” ‣ 5 Comparisons to existing parametrizations ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">22</span></a>, we see that NTP shares the same initialization scaling as SP but uses a smaller step-size. To see the deficiency of NTP, notice the output layer <math id="S5.SS3.p1.4.m1.1" class="ltx_Math" alttext="\sigma_{L}" display="inline"><semantics id="S5.SS3.p1.4.m1.1a"><msub id="S5.SS3.p1.4.m1.1.1" xref="S5.SS3.p1.4.m1.1.1.cmml"><mi id="S5.SS3.p1.4.m1.1.1.2" xref="S5.SS3.p1.4.m1.1.1.2.cmml">σ</mi><mi id="S5.SS3.p1.4.m1.1.1.3" xref="S5.SS3.p1.4.m1.1.1.3.cmml">L</mi></msub><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.4.m1.1b"><apply id="S5.SS3.p1.4.m1.1.1.cmml" xref="S5.SS3.p1.4.m1.1.1"><csymbol cd="ambiguous" id="S5.SS3.p1.4.m1.1.1.1.cmml" xref="S5.SS3.p1.4.m1.1.1">subscript</csymbol><ci id="S5.SS3.p1.4.m1.1.1.2.cmml" xref="S5.SS3.p1.4.m1.1.1.2">𝜎</ci><ci id="S5.SS3.p1.4.m1.1.1.3.cmml" xref="S5.SS3.p1.4.m1.1.1.3">𝐿</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.4.m1.1c">\sigma_{L}</annotation></semantics></math> is <math id="S5.SS3.p1.5.m2.1" class="ltx_Math" alttext="\sqrt{0pt_{L-1}}" display="inline"><semantics id="S5.SS3.p1.5.m2.1a"><msqrt id="S5.SS3.p1.5.m2.1.1" xref="S5.SS3.p1.5.m2.1.1.cmml"><mrow id="S5.SS3.p1.5.m2.1.1.2" xref="S5.SS3.p1.5.m2.1.1.2.cmml"><mn id="S5.SS3.p1.5.m2.1.1.2.2" xref="S5.SS3.p1.5.m2.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS3.p1.5.m2.1.1.2.1" xref="S5.SS3.p1.5.m2.1.1.2.1.cmml">​</mo><mi id="S5.SS3.p1.5.m2.1.1.2.3" xref="S5.SS3.p1.5.m2.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.5.m2.1.1.2.1a" xref="S5.SS3.p1.5.m2.1.1.2.1.cmml">​</mo><msub id="S5.SS3.p1.5.m2.1.1.2.4" xref="S5.SS3.p1.5.m2.1.1.2.4.cmml"><mi id="S5.SS3.p1.5.m2.1.1.2.4.2" xref="S5.SS3.p1.5.m2.1.1.2.4.2.cmml">t</mi><mrow id="S5.SS3.p1.5.m2.1.1.2.4.3" xref="S5.SS3.p1.5.m2.1.1.2.4.3.cmml"><mi id="S5.SS3.p1.5.m2.1.1.2.4.3.2" xref="S5.SS3.p1.5.m2.1.1.2.4.3.2.cmml">L</mi><mo id="S5.SS3.p1.5.m2.1.1.2.4.3.1" xref="S5.SS3.p1.5.m2.1.1.2.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.5.m2.1.1.2.4.3.3" xref="S5.SS3.p1.5.m2.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.5.m2.1b"><apply id="S5.SS3.p1.5.m2.1.1.cmml" xref="S5.SS3.p1.5.m2.1.1"><root id="S5.SS3.p1.5.m2.1.1a.cmml" xref="S5.SS3.p1.5.m2.1.1"></root><apply id="S5.SS3.p1.5.m2.1.1.2.cmml" xref="S5.SS3.p1.5.m2.1.1.2"><times id="S5.SS3.p1.5.m2.1.1.2.1.cmml" xref="S5.SS3.p1.5.m2.1.1.2.1"></times><cn type="integer" id="S5.SS3.p1.5.m2.1.1.2.2.cmml" xref="S5.SS3.p1.5.m2.1.1.2.2">0</cn><ci id="S5.SS3.p1.5.m2.1.1.2.3.cmml" xref="S5.SS3.p1.5.m2.1.1.2.3">𝑝</ci><apply id="S5.SS3.p1.5.m2.1.1.2.4.cmml" xref="S5.SS3.p1.5.m2.1.1.2.4"><csymbol cd="ambiguous" id="S5.SS3.p1.5.m2.1.1.2.4.1.cmml" xref="S5.SS3.p1.5.m2.1.1.2.4">subscript</csymbol><ci id="S5.SS3.p1.5.m2.1.1.2.4.2.cmml" xref="S5.SS3.p1.5.m2.1.1.2.4.2">𝑡</ci><apply id="S5.SS3.p1.5.m2.1.1.2.4.3.cmml" xref="S5.SS3.p1.5.m2.1.1.2.4.3"><minus id="S5.SS3.p1.5.m2.1.1.2.4.3.1.cmml" xref="S5.SS3.p1.5.m2.1.1.2.4.3.1"></minus><ci id="S5.SS3.p1.5.m2.1.1.2.4.3.2.cmml" xref="S5.SS3.p1.5.m2.1.1.2.4.3.2">𝐿</ci><cn type="integer" id="S5.SS3.p1.5.m2.1.1.2.4.3.3.cmml" xref="S5.SS3.p1.5.m2.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.5.m2.1c">\sqrt{0pt_{L-1}}</annotation></semantics></math> larger than <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, so that by the linearity of backpropagation, the gradient to any middle layer <math id="S5.SS3.p1.6.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S5.SS3.p1.6.m3.1a"><msub id="S5.SS3.p1.6.m3.1.1" xref="S5.SS3.p1.6.m3.1.1.cmml"><mi id="S5.SS3.p1.6.m3.1.1.2" xref="S5.SS3.p1.6.m3.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS3.p1.6.m3.1.1.3" xref="S5.SS3.p1.6.m3.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.6.m3.1b"><apply id="S5.SS3.p1.6.m3.1.1.cmml" xref="S5.SS3.p1.6.m3.1.1"><csymbol cd="ambiguous" id="S5.SS3.p1.6.m3.1.1.1.cmml" xref="S5.SS3.p1.6.m3.1.1">subscript</csymbol><ci id="S5.SS3.p1.6.m3.1.1.2.cmml" xref="S5.SS3.p1.6.m3.1.1.2">𝑾</ci><ci id="S5.SS3.p1.6.m3.1.1.3.cmml" xref="S5.SS3.p1.6.m3.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.6.m3.1c">{\bm{W}}_{\ell}</annotation></semantics></math> is also <math id="S5.SS3.p1.7.m4.1" class="ltx_Math" alttext="\sqrt{0pt_{L-1}}" display="inline"><semantics id="S5.SS3.p1.7.m4.1a"><msqrt id="S5.SS3.p1.7.m4.1.1" xref="S5.SS3.p1.7.m4.1.1.cmml"><mrow id="S5.SS3.p1.7.m4.1.1.2" xref="S5.SS3.p1.7.m4.1.1.2.cmml"><mn id="S5.SS3.p1.7.m4.1.1.2.2" xref="S5.SS3.p1.7.m4.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS3.p1.7.m4.1.1.2.1" xref="S5.SS3.p1.7.m4.1.1.2.1.cmml">​</mo><mi id="S5.SS3.p1.7.m4.1.1.2.3" xref="S5.SS3.p1.7.m4.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.7.m4.1.1.2.1a" xref="S5.SS3.p1.7.m4.1.1.2.1.cmml">​</mo><msub id="S5.SS3.p1.7.m4.1.1.2.4" xref="S5.SS3.p1.7.m4.1.1.2.4.cmml"><mi id="S5.SS3.p1.7.m4.1.1.2.4.2" xref="S5.SS3.p1.7.m4.1.1.2.4.2.cmml">t</mi><mrow id="S5.SS3.p1.7.m4.1.1.2.4.3" xref="S5.SS3.p1.7.m4.1.1.2.4.3.cmml"><mi id="S5.SS3.p1.7.m4.1.1.2.4.3.2" xref="S5.SS3.p1.7.m4.1.1.2.4.3.2.cmml">L</mi><mo id="S5.SS3.p1.7.m4.1.1.2.4.3.1" xref="S5.SS3.p1.7.m4.1.1.2.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.7.m4.1.1.2.4.3.3" xref="S5.SS3.p1.7.m4.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.7.m4.1b"><apply id="S5.SS3.p1.7.m4.1.1.cmml" xref="S5.SS3.p1.7.m4.1.1"><root id="S5.SS3.p1.7.m4.1.1a.cmml" xref="S5.SS3.p1.7.m4.1.1"></root><apply id="S5.SS3.p1.7.m4.1.1.2.cmml" xref="S5.SS3.p1.7.m4.1.1.2"><times id="S5.SS3.p1.7.m4.1.1.2.1.cmml" xref="S5.SS3.p1.7.m4.1.1.2.1"></times><cn type="integer" id="S5.SS3.p1.7.m4.1.1.2.2.cmml" xref="S5.SS3.p1.7.m4.1.1.2.2">0</cn><ci id="S5.SS3.p1.7.m4.1.1.2.3.cmml" xref="S5.SS3.p1.7.m4.1.1.2.3">𝑝</ci><apply id="S5.SS3.p1.7.m4.1.1.2.4.cmml" xref="S5.SS3.p1.7.m4.1.1.2.4"><csymbol cd="ambiguous" id="S5.SS3.p1.7.m4.1.1.2.4.1.cmml" xref="S5.SS3.p1.7.m4.1.1.2.4">subscript</csymbol><ci id="S5.SS3.p1.7.m4.1.1.2.4.2.cmml" xref="S5.SS3.p1.7.m4.1.1.2.4.2">𝑡</ci><apply id="S5.SS3.p1.7.m4.1.1.2.4.3.cmml" xref="S5.SS3.p1.7.m4.1.1.2.4.3"><minus id="S5.SS3.p1.7.m4.1.1.2.4.3.1.cmml" xref="S5.SS3.p1.7.m4.1.1.2.4.3.1"></minus><ci id="S5.SS3.p1.7.m4.1.1.2.4.3.2.cmml" xref="S5.SS3.p1.7.m4.1.1.2.4.3.2">𝐿</ci><cn type="integer" id="S5.SS3.p1.7.m4.1.1.2.4.3.3.cmml" xref="S5.SS3.p1.7.m4.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.7.m4.1c">\sqrt{0pt_{L-1}}</annotation></semantics></math> larger.
Then the <math id="S5.SS3.p1.8.m5.1" class="ltx_Math" alttext="1/0pt_{\ell-1}" display="inline"><semantics id="S5.SS3.p1.8.m5.1a"><mrow id="S5.SS3.p1.8.m5.1.1" xref="S5.SS3.p1.8.m5.1.1.cmml"><mrow id="S5.SS3.p1.8.m5.1.1.2" xref="S5.SS3.p1.8.m5.1.1.2.cmml"><mn id="S5.SS3.p1.8.m5.1.1.2.2" xref="S5.SS3.p1.8.m5.1.1.2.2.cmml">1</mn><mo id="S5.SS3.p1.8.m5.1.1.2.1" xref="S5.SS3.p1.8.m5.1.1.2.1.cmml">/</mo><mn id="S5.SS3.p1.8.m5.1.1.2.3" xref="S5.SS3.p1.8.m5.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S5.SS3.p1.8.m5.1.1.1" xref="S5.SS3.p1.8.m5.1.1.1.cmml">​</mo><mi id="S5.SS3.p1.8.m5.1.1.3" xref="S5.SS3.p1.8.m5.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.8.m5.1.1.1a" xref="S5.SS3.p1.8.m5.1.1.1.cmml">​</mo><msub id="S5.SS3.p1.8.m5.1.1.4" xref="S5.SS3.p1.8.m5.1.1.4.cmml"><mi id="S5.SS3.p1.8.m5.1.1.4.2" xref="S5.SS3.p1.8.m5.1.1.4.2.cmml">t</mi><mrow id="S5.SS3.p1.8.m5.1.1.4.3" xref="S5.SS3.p1.8.m5.1.1.4.3.cmml"><mi mathvariant="normal" id="S5.SS3.p1.8.m5.1.1.4.3.2" xref="S5.SS3.p1.8.m5.1.1.4.3.2.cmml">ℓ</mi><mo id="S5.SS3.p1.8.m5.1.1.4.3.1" xref="S5.SS3.p1.8.m5.1.1.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.8.m5.1.1.4.3.3" xref="S5.SS3.p1.8.m5.1.1.4.3.3.cmml">1</mn></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.8.m5.1b"><apply id="S5.SS3.p1.8.m5.1.1.cmml" xref="S5.SS3.p1.8.m5.1.1"><times id="S5.SS3.p1.8.m5.1.1.1.cmml" xref="S5.SS3.p1.8.m5.1.1.1"></times><apply id="S5.SS3.p1.8.m5.1.1.2.cmml" xref="S5.SS3.p1.8.m5.1.1.2"><divide id="S5.SS3.p1.8.m5.1.1.2.1.cmml" xref="S5.SS3.p1.8.m5.1.1.2.1"></divide><cn type="integer" id="S5.SS3.p1.8.m5.1.1.2.2.cmml" xref="S5.SS3.p1.8.m5.1.1.2.2">1</cn><cn type="integer" id="S5.SS3.p1.8.m5.1.1.2.3.cmml" xref="S5.SS3.p1.8.m5.1.1.2.3">0</cn></apply><ci id="S5.SS3.p1.8.m5.1.1.3.cmml" xref="S5.SS3.p1.8.m5.1.1.3">𝑝</ci><apply id="S5.SS3.p1.8.m5.1.1.4.cmml" xref="S5.SS3.p1.8.m5.1.1.4"><csymbol cd="ambiguous" id="S5.SS3.p1.8.m5.1.1.4.1.cmml" xref="S5.SS3.p1.8.m5.1.1.4">subscript</csymbol><ci id="S5.SS3.p1.8.m5.1.1.4.2.cmml" xref="S5.SS3.p1.8.m5.1.1.4.2">𝑡</ci><apply id="S5.SS3.p1.8.m5.1.1.4.3.cmml" xref="S5.SS3.p1.8.m5.1.1.4.3"><minus id="S5.SS3.p1.8.m5.1.1.4.3.1.cmml" xref="S5.SS3.p1.8.m5.1.1.4.3.1"></minus><ci id="S5.SS3.p1.8.m5.1.1.4.3.2.cmml" xref="S5.SS3.p1.8.m5.1.1.4.3.2">ℓ</ci><cn type="integer" id="S5.SS3.p1.8.m5.1.1.4.3.3.cmml" xref="S5.SS3.p1.8.m5.1.1.4.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.8.m5.1c">1/0pt_{\ell-1}</annotation></semantics></math> learning rate in NTP induces a change <math id="S5.SS3.p1.9.m6.1" class="ltx_Math" alttext="\Delta{\bm{W}}_{\ell}" display="inline"><semantics id="S5.SS3.p1.9.m6.1a"><mrow id="S5.SS3.p1.9.m6.1.1" xref="S5.SS3.p1.9.m6.1.1.cmml"><mi mathvariant="normal" id="S5.SS3.p1.9.m6.1.1.2" xref="S5.SS3.p1.9.m6.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.9.m6.1.1.1" xref="S5.SS3.p1.9.m6.1.1.1.cmml">​</mo><msub id="S5.SS3.p1.9.m6.1.1.3" xref="S5.SS3.p1.9.m6.1.1.3.cmml"><mi id="S5.SS3.p1.9.m6.1.1.3.2" xref="S5.SS3.p1.9.m6.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS3.p1.9.m6.1.1.3.3" xref="S5.SS3.p1.9.m6.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.9.m6.1b"><apply id="S5.SS3.p1.9.m6.1.1.cmml" xref="S5.SS3.p1.9.m6.1.1"><times id="S5.SS3.p1.9.m6.1.1.1.cmml" xref="S5.SS3.p1.9.m6.1.1.1"></times><ci id="S5.SS3.p1.9.m6.1.1.2.cmml" xref="S5.SS3.p1.9.m6.1.1.2">Δ</ci><apply id="S5.SS3.p1.9.m6.1.1.3.cmml" xref="S5.SS3.p1.9.m6.1.1.3"><csymbol cd="ambiguous" id="S5.SS3.p1.9.m6.1.1.3.1.cmml" xref="S5.SS3.p1.9.m6.1.1.3">subscript</csymbol><ci id="S5.SS3.p1.9.m6.1.1.3.2.cmml" xref="S5.SS3.p1.9.m6.1.1.3.2">𝑾</ci><ci id="S5.SS3.p1.9.m6.1.1.3.3.cmml" xref="S5.SS3.p1.9.m6.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.9.m6.1c">\Delta{\bm{W}}_{\ell}</annotation></semantics></math> that is <math id="S5.SS3.p1.10.m7.1" class="ltx_Math" alttext="\sqrt{0pt_{L-1}}/0pt_{\ell-1}" display="inline"><semantics id="S5.SS3.p1.10.m7.1a"><mrow id="S5.SS3.p1.10.m7.1.1" xref="S5.SS3.p1.10.m7.1.1.cmml"><mrow id="S5.SS3.p1.10.m7.1.1.2" xref="S5.SS3.p1.10.m7.1.1.2.cmml"><msqrt id="S5.SS3.p1.10.m7.1.1.2.2" xref="S5.SS3.p1.10.m7.1.1.2.2.cmml"><mrow id="S5.SS3.p1.10.m7.1.1.2.2.2" xref="S5.SS3.p1.10.m7.1.1.2.2.2.cmml"><mn id="S5.SS3.p1.10.m7.1.1.2.2.2.2" xref="S5.SS3.p1.10.m7.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS3.p1.10.m7.1.1.2.2.2.1" xref="S5.SS3.p1.10.m7.1.1.2.2.2.1.cmml">​</mo><mi id="S5.SS3.p1.10.m7.1.1.2.2.2.3" xref="S5.SS3.p1.10.m7.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.10.m7.1.1.2.2.2.1a" xref="S5.SS3.p1.10.m7.1.1.2.2.2.1.cmml">​</mo><msub id="S5.SS3.p1.10.m7.1.1.2.2.2.4" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.cmml"><mi id="S5.SS3.p1.10.m7.1.1.2.2.2.4.2" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.2.cmml">t</mi><mrow id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.cmml"><mi id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.2" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.2.cmml">L</mi><mo id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.1" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.3" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><mo id="S5.SS3.p1.10.m7.1.1.2.1" xref="S5.SS3.p1.10.m7.1.1.2.1.cmml">/</mo><mn id="S5.SS3.p1.10.m7.1.1.2.3" xref="S5.SS3.p1.10.m7.1.1.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S5.SS3.p1.10.m7.1.1.1" xref="S5.SS3.p1.10.m7.1.1.1.cmml">​</mo><mi id="S5.SS3.p1.10.m7.1.1.3" xref="S5.SS3.p1.10.m7.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.10.m7.1.1.1a" xref="S5.SS3.p1.10.m7.1.1.1.cmml">​</mo><msub id="S5.SS3.p1.10.m7.1.1.4" xref="S5.SS3.p1.10.m7.1.1.4.cmml"><mi id="S5.SS3.p1.10.m7.1.1.4.2" xref="S5.SS3.p1.10.m7.1.1.4.2.cmml">t</mi><mrow id="S5.SS3.p1.10.m7.1.1.4.3" xref="S5.SS3.p1.10.m7.1.1.4.3.cmml"><mi mathvariant="normal" id="S5.SS3.p1.10.m7.1.1.4.3.2" xref="S5.SS3.p1.10.m7.1.1.4.3.2.cmml">ℓ</mi><mo id="S5.SS3.p1.10.m7.1.1.4.3.1" xref="S5.SS3.p1.10.m7.1.1.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.10.m7.1.1.4.3.3" xref="S5.SS3.p1.10.m7.1.1.4.3.3.cmml">1</mn></mrow></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.10.m7.1b"><apply id="S5.SS3.p1.10.m7.1.1.cmml" xref="S5.SS3.p1.10.m7.1.1"><times id="S5.SS3.p1.10.m7.1.1.1.cmml" xref="S5.SS3.p1.10.m7.1.1.1"></times><apply id="S5.SS3.p1.10.m7.1.1.2.cmml" xref="S5.SS3.p1.10.m7.1.1.2"><divide id="S5.SS3.p1.10.m7.1.1.2.1.cmml" xref="S5.SS3.p1.10.m7.1.1.2.1"></divide><apply id="S5.SS3.p1.10.m7.1.1.2.2.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2"><root id="S5.SS3.p1.10.m7.1.1.2.2a.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2"></root><apply id="S5.SS3.p1.10.m7.1.1.2.2.2.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2"><times id="S5.SS3.p1.10.m7.1.1.2.2.2.1.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.1"></times><cn type="integer" id="S5.SS3.p1.10.m7.1.1.2.2.2.2.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.2">0</cn><ci id="S5.SS3.p1.10.m7.1.1.2.2.2.3.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.3">𝑝</ci><apply id="S5.SS3.p1.10.m7.1.1.2.2.2.4.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S5.SS3.p1.10.m7.1.1.2.2.2.4.1.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4">subscript</csymbol><ci id="S5.SS3.p1.10.m7.1.1.2.2.2.4.2.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.2">𝑡</ci><apply id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3"><minus id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.1.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.1"></minus><ci id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.2.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.2">𝐿</ci><cn type="integer" id="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.3.cmml" xref="S5.SS3.p1.10.m7.1.1.2.2.2.4.3.3">1</cn></apply></apply></apply></apply><cn type="integer" id="S5.SS3.p1.10.m7.1.1.2.3.cmml" xref="S5.SS3.p1.10.m7.1.1.2.3">0</cn></apply><ci id="S5.SS3.p1.10.m7.1.1.3.cmml" xref="S5.SS3.p1.10.m7.1.1.3">𝑝</ci><apply id="S5.SS3.p1.10.m7.1.1.4.cmml" xref="S5.SS3.p1.10.m7.1.1.4"><csymbol cd="ambiguous" id="S5.SS3.p1.10.m7.1.1.4.1.cmml" xref="S5.SS3.p1.10.m7.1.1.4">subscript</csymbol><ci id="S5.SS3.p1.10.m7.1.1.4.2.cmml" xref="S5.SS3.p1.10.m7.1.1.4.2">𝑡</ci><apply id="S5.SS3.p1.10.m7.1.1.4.3.cmml" xref="S5.SS3.p1.10.m7.1.1.4.3"><minus id="S5.SS3.p1.10.m7.1.1.4.3.1.cmml" xref="S5.SS3.p1.10.m7.1.1.4.3.1"></minus><ci id="S5.SS3.p1.10.m7.1.1.4.3.2.cmml" xref="S5.SS3.p1.10.m7.1.1.4.3.2">ℓ</ci><cn type="integer" id="S5.SS3.p1.10.m7.1.1.4.3.3.cmml" xref="S5.SS3.p1.10.m7.1.1.4.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.10.m7.1c">\sqrt{0pt_{L-1}}/0pt_{\ell-1}</annotation></semantics></math> (smaller) compared to <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, which prescribes a learning rate of <math id="S5.SS3.p1.11.m8.1" class="ltx_Math" alttext="\eta_{\ell}=1" display="inline"><semantics id="S5.SS3.p1.11.m8.1a"><mrow id="S5.SS3.p1.11.m8.1.1" xref="S5.SS3.p1.11.m8.1.1.cmml"><msub id="S5.SS3.p1.11.m8.1.1.2" xref="S5.SS3.p1.11.m8.1.1.2.cmml"><mi id="S5.SS3.p1.11.m8.1.1.2.2" xref="S5.SS3.p1.11.m8.1.1.2.2.cmml">η</mi><mi mathvariant="normal" id="S5.SS3.p1.11.m8.1.1.2.3" xref="S5.SS3.p1.11.m8.1.1.2.3.cmml">ℓ</mi></msub><mo id="S5.SS3.p1.11.m8.1.1.1" xref="S5.SS3.p1.11.m8.1.1.1.cmml">=</mo><mn id="S5.SS3.p1.11.m8.1.1.3" xref="S5.SS3.p1.11.m8.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.11.m8.1b"><apply id="S5.SS3.p1.11.m8.1.1.cmml" xref="S5.SS3.p1.11.m8.1.1"><eq id="S5.SS3.p1.11.m8.1.1.1.cmml" xref="S5.SS3.p1.11.m8.1.1.1"></eq><apply id="S5.SS3.p1.11.m8.1.1.2.cmml" xref="S5.SS3.p1.11.m8.1.1.2"><csymbol cd="ambiguous" id="S5.SS3.p1.11.m8.1.1.2.1.cmml" xref="S5.SS3.p1.11.m8.1.1.2">subscript</csymbol><ci id="S5.SS3.p1.11.m8.1.1.2.2.cmml" xref="S5.SS3.p1.11.m8.1.1.2.2">𝜂</ci><ci id="S5.SS3.p1.11.m8.1.1.2.3.cmml" xref="S5.SS3.p1.11.m8.1.1.2.3">ℓ</ci></apply><cn type="integer" id="S5.SS3.p1.11.m8.1.1.3.cmml" xref="S5.SS3.p1.11.m8.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.11.m8.1c">\eta_{\ell}=1</annotation></semantics></math>.
Because <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> guarantees <math id="S5.SS3.p1.12.m9.2" class="ltx_Math" alttext="\left|\!\left|\Delta{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(1)" display="inline"><semantics id="S5.SS3.p1.12.m9.2a"><mrow id="S5.SS3.p1.12.m9.2.2" xref="S5.SS3.p1.12.m9.2.2.cmml"><msub id="S5.SS3.p1.12.m9.2.2.1" xref="S5.SS3.p1.12.m9.2.2.1.cmml"><mrow id="S5.SS3.p1.12.m9.2.2.1.1.1" xref="S5.SS3.p1.12.m9.2.2.1.1.2.cmml"><mo stretchy="false" id="S5.SS3.p1.12.m9.2.2.1.1.1.2" xref="S5.SS3.p1.12.m9.2.2.1.1.2.1.cmml">‖</mo><mrow id="S5.SS3.p1.12.m9.2.2.1.1.1.1" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.cmml"><mi mathvariant="normal" id="S5.SS3.p1.12.m9.2.2.1.1.1.1.2" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.12.m9.2.2.1.1.1.1.1" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.1.cmml">​</mo><msub id="S5.SS3.p1.12.m9.2.2.1.1.1.1.3" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.cmml"><mi id="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.2" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.3" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S5.SS3.p1.12.m9.2.2.1.1.1.3" xref="S5.SS3.p1.12.m9.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="S5.SS3.p1.12.m9.2.2.1.3" xref="S5.SS3.p1.12.m9.2.2.1.3.cmml">∗</mo></msub><mo id="S5.SS3.p1.12.m9.2.2.2" xref="S5.SS3.p1.12.m9.2.2.2.cmml">=</mo><mrow id="S5.SS3.p1.12.m9.2.2.3" xref="S5.SS3.p1.12.m9.2.2.3.cmml"><mi mathvariant="normal" id="S5.SS3.p1.12.m9.2.2.3.2" xref="S5.SS3.p1.12.m9.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.12.m9.2.2.3.1" xref="S5.SS3.p1.12.m9.2.2.3.1.cmml">​</mo><mrow id="S5.SS3.p1.12.m9.2.2.3.3.2" xref="S5.SS3.p1.12.m9.2.2.3.cmml"><mo stretchy="false" id="S5.SS3.p1.12.m9.2.2.3.3.2.1" xref="S5.SS3.p1.12.m9.2.2.3.cmml">(</mo><mn id="S5.SS3.p1.12.m9.1.1" xref="S5.SS3.p1.12.m9.1.1.cmml">1</mn><mo stretchy="false" id="S5.SS3.p1.12.m9.2.2.3.3.2.2" xref="S5.SS3.p1.12.m9.2.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.12.m9.2b"><apply id="S5.SS3.p1.12.m9.2.2.cmml" xref="S5.SS3.p1.12.m9.2.2"><eq id="S5.SS3.p1.12.m9.2.2.2.cmml" xref="S5.SS3.p1.12.m9.2.2.2"></eq><apply id="S5.SS3.p1.12.m9.2.2.1.cmml" xref="S5.SS3.p1.12.m9.2.2.1"><csymbol cd="ambiguous" id="S5.SS3.p1.12.m9.2.2.1.2.cmml" xref="S5.SS3.p1.12.m9.2.2.1">subscript</csymbol><apply id="S5.SS3.p1.12.m9.2.2.1.1.2.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1"><csymbol cd="latexml" id="S5.SS3.p1.12.m9.2.2.1.1.2.1.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.2">norm</csymbol><apply id="S5.SS3.p1.12.m9.2.2.1.1.1.1.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1"><times id="S5.SS3.p1.12.m9.2.2.1.1.1.1.1.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.1"></times><ci id="S5.SS3.p1.12.m9.2.2.1.1.1.1.2.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.2">Δ</ci><apply id="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.1.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.3">subscript</csymbol><ci id="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.2.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.2">𝑾</ci><ci id="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.3.cmml" xref="S5.SS3.p1.12.m9.2.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S5.SS3.p1.12.m9.2.2.1.3.cmml" xref="S5.SS3.p1.12.m9.2.2.1.3"></times></apply><apply id="S5.SS3.p1.12.m9.2.2.3.cmml" xref="S5.SS3.p1.12.m9.2.2.3"><times id="S5.SS3.p1.12.m9.2.2.3.1.cmml" xref="S5.SS3.p1.12.m9.2.2.3.1"></times><ci id="S5.SS3.p1.12.m9.2.2.3.2.cmml" xref="S5.SS3.p1.12.m9.2.2.3.2">Θ</ci><cn type="integer" id="S5.SS3.p1.12.m9.1.1.cmml" xref="S5.SS3.p1.12.m9.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.12.m9.2c">\left|\!\left|\Delta{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(1)</annotation></semantics></math>, NTP causes <math id="S5.SS3.p1.13.m10.1" class="ltx_Math" alttext="\Delta{\bm{W}}_{\ell}" display="inline"><semantics id="S5.SS3.p1.13.m10.1a"><mrow id="S5.SS3.p1.13.m10.1.1" xref="S5.SS3.p1.13.m10.1.1.cmml"><mi mathvariant="normal" id="S5.SS3.p1.13.m10.1.1.2" xref="S5.SS3.p1.13.m10.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.13.m10.1.1.1" xref="S5.SS3.p1.13.m10.1.1.1.cmml">​</mo><msub id="S5.SS3.p1.13.m10.1.1.3" xref="S5.SS3.p1.13.m10.1.1.3.cmml"><mi id="S5.SS3.p1.13.m10.1.1.3.2" xref="S5.SS3.p1.13.m10.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS3.p1.13.m10.1.1.3.3" xref="S5.SS3.p1.13.m10.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.13.m10.1b"><apply id="S5.SS3.p1.13.m10.1.1.cmml" xref="S5.SS3.p1.13.m10.1.1"><times id="S5.SS3.p1.13.m10.1.1.1.cmml" xref="S5.SS3.p1.13.m10.1.1.1"></times><ci id="S5.SS3.p1.13.m10.1.1.2.cmml" xref="S5.SS3.p1.13.m10.1.1.2">Δ</ci><apply id="S5.SS3.p1.13.m10.1.1.3.cmml" xref="S5.SS3.p1.13.m10.1.1.3"><csymbol cd="ambiguous" id="S5.SS3.p1.13.m10.1.1.3.1.cmml" xref="S5.SS3.p1.13.m10.1.1.3">subscript</csymbol><ci id="S5.SS3.p1.13.m10.1.1.3.2.cmml" xref="S5.SS3.p1.13.m10.1.1.3.2">𝑾</ci><ci id="S5.SS3.p1.13.m10.1.1.3.3.cmml" xref="S5.SS3.p1.13.m10.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.13.m10.1c">\Delta{\bm{W}}_{\ell}</annotation></semantics></math> to vanish in spectral norm as hidden widths <math id="S5.SS3.p1.14.m11.2" class="ltx_Math" alttext="0pt_{\ell-1},0pt_{L}\to\infty" display="inline"><semantics id="S5.SS3.p1.14.m11.2a"><mrow id="S5.SS3.p1.14.m11.2.2" xref="S5.SS3.p1.14.m11.2.2.cmml"><mrow id="S5.SS3.p1.14.m11.2.2.2.2" xref="S5.SS3.p1.14.m11.2.2.2.3.cmml"><mrow id="S5.SS3.p1.14.m11.1.1.1.1.1" xref="S5.SS3.p1.14.m11.1.1.1.1.1.cmml"><mn id="S5.SS3.p1.14.m11.1.1.1.1.1.2" xref="S5.SS3.p1.14.m11.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS3.p1.14.m11.1.1.1.1.1.1" xref="S5.SS3.p1.14.m11.1.1.1.1.1.1.cmml">​</mo><mi id="S5.SS3.p1.14.m11.1.1.1.1.1.3" xref="S5.SS3.p1.14.m11.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.14.m11.1.1.1.1.1.1a" xref="S5.SS3.p1.14.m11.1.1.1.1.1.1.cmml">​</mo><msub id="S5.SS3.p1.14.m11.1.1.1.1.1.4" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.cmml"><mi id="S5.SS3.p1.14.m11.1.1.1.1.1.4.2" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.2.cmml">t</mi><mrow id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.cmml"><mi mathvariant="normal" id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.2" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.2.cmml">ℓ</mi><mo id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.1" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.1.cmml">−</mo><mn id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.3" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.3.cmml">1</mn></mrow></msub></mrow><mo id="S5.SS3.p1.14.m11.2.2.2.2.3" xref="S5.SS3.p1.14.m11.2.2.2.3.cmml">,</mo><mrow id="S5.SS3.p1.14.m11.2.2.2.2.2" xref="S5.SS3.p1.14.m11.2.2.2.2.2.cmml"><mn id="S5.SS3.p1.14.m11.2.2.2.2.2.2" xref="S5.SS3.p1.14.m11.2.2.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS3.p1.14.m11.2.2.2.2.2.1" xref="S5.SS3.p1.14.m11.2.2.2.2.2.1.cmml">​</mo><mi id="S5.SS3.p1.14.m11.2.2.2.2.2.3" xref="S5.SS3.p1.14.m11.2.2.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS3.p1.14.m11.2.2.2.2.2.1a" xref="S5.SS3.p1.14.m11.2.2.2.2.2.1.cmml">​</mo><msub id="S5.SS3.p1.14.m11.2.2.2.2.2.4" xref="S5.SS3.p1.14.m11.2.2.2.2.2.4.cmml"><mi id="S5.SS3.p1.14.m11.2.2.2.2.2.4.2" xref="S5.SS3.p1.14.m11.2.2.2.2.2.4.2.cmml">t</mi><mi id="S5.SS3.p1.14.m11.2.2.2.2.2.4.3" xref="S5.SS3.p1.14.m11.2.2.2.2.2.4.3.cmml">L</mi></msub></mrow></mrow><mo stretchy="false" id="S5.SS3.p1.14.m11.2.2.3" xref="S5.SS3.p1.14.m11.2.2.3.cmml">→</mo><mi mathvariant="normal" id="S5.SS3.p1.14.m11.2.2.4" xref="S5.SS3.p1.14.m11.2.2.4.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="S5.SS3.p1.14.m11.2b"><apply id="S5.SS3.p1.14.m11.2.2.cmml" xref="S5.SS3.p1.14.m11.2.2"><ci id="S5.SS3.p1.14.m11.2.2.3.cmml" xref="S5.SS3.p1.14.m11.2.2.3">→</ci><list id="S5.SS3.p1.14.m11.2.2.2.3.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2"><apply id="S5.SS3.p1.14.m11.1.1.1.1.1.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1"><times id="S5.SS3.p1.14.m11.1.1.1.1.1.1.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.1"></times><cn type="integer" id="S5.SS3.p1.14.m11.1.1.1.1.1.2.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.2">0</cn><ci id="S5.SS3.p1.14.m11.1.1.1.1.1.3.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.3">𝑝</ci><apply id="S5.SS3.p1.14.m11.1.1.1.1.1.4.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4"><csymbol cd="ambiguous" id="S5.SS3.p1.14.m11.1.1.1.1.1.4.1.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4">subscript</csymbol><ci id="S5.SS3.p1.14.m11.1.1.1.1.1.4.2.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.2">𝑡</ci><apply id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3"><minus id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.1.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.1"></minus><ci id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.2.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.2">ℓ</ci><cn type="integer" id="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.3.cmml" xref="S5.SS3.p1.14.m11.1.1.1.1.1.4.3.3">1</cn></apply></apply></apply><apply id="S5.SS3.p1.14.m11.2.2.2.2.2.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2"><times id="S5.SS3.p1.14.m11.2.2.2.2.2.1.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2.1"></times><cn type="integer" id="S5.SS3.p1.14.m11.2.2.2.2.2.2.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2.2">0</cn><ci id="S5.SS3.p1.14.m11.2.2.2.2.2.3.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2.3">𝑝</ci><apply id="S5.SS3.p1.14.m11.2.2.2.2.2.4.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2.4"><csymbol cd="ambiguous" id="S5.SS3.p1.14.m11.2.2.2.2.2.4.1.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2.4">subscript</csymbol><ci id="S5.SS3.p1.14.m11.2.2.2.2.2.4.2.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2.4.2">𝑡</ci><ci id="S5.SS3.p1.14.m11.2.2.2.2.2.4.3.cmml" xref="S5.SS3.p1.14.m11.2.2.2.2.2.4.3">𝐿</ci></apply></apply></list><infinity id="S5.SS3.p1.14.m11.2.2.4.cmml" xref="S5.SS3.p1.14.m11.2.2.4"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p1.14.m11.2c">0pt_{\ell-1},0pt_{L}\to\infty</annotation></semantics></math>.</p>
</div>
<div id="S5.SS3.p2" class="ltx_para ltx_noindent">
<p id="S5.SS3.p2.1" class="ltx_p">It bears noting that an MLP parameterized with the NTP can be made to undergo feature evolution by simply rescaling the network output (and appropriately scaling down the global learning rate) <cite class="ltx_cite ltx_citemacro_citep">(Chizat et al., <a href="#bib.bib13" title="" class="ltx_ref">2019</a>, Bordelon &amp; Pehlevan, <a href="#bib.bib9" title="" class="ltx_ref">2022</a>)</cite>.
This operation transforms the NTP into <math id="S5.SS3.p2.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S5.SS3.p2.1.m1.1a"><mi id="S5.SS3.p2.1.m1.1.1" xref="S5.SS3.p2.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S5.SS3.p2.1.m1.1b"><ci id="S5.SS3.p2.1.m1.1.1.cmml" xref="S5.SS3.p2.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS3.p2.1.m1.1c">\mu</annotation></semantics></math>P.</p>
</div>
</section>
<section id="S5.SS4" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">5.4 </span>Contrast to “Frobenius-normalized updates”</h3>

<div id="S5.SS4.p1" class="ltx_para ltx_noindent">
<p id="S5.SS4.p1.6" class="ltx_p"><a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> mandates that the spectral norm of the update at layer <math id="S5.SS4.p1.1.m1.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="S5.SS4.p1.1.m1.1a"><mi mathvariant="normal" id="S5.SS4.p1.1.m1.1.1" xref="S5.SS4.p1.1.m1.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S5.SS4.p1.1.m1.1b"><ci id="S5.SS4.p1.1.m1.1.1.cmml" xref="S5.SS4.p1.1.m1.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS4.p1.1.m1.1c">\ell</annotation></semantics></math> be proportional to the spectral norm of the weight matrix to which it is applied: <math id="S5.SS4.p1.2.m2.2" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\propto\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}" display="inline"><semantics id="S5.SS4.p1.2.m2.2a"><mrow id="S5.SS4.p1.2.m2.2.2" xref="S5.SS4.p1.2.m2.2.2.cmml"><msub id="S5.SS4.p1.2.m2.1.1.1" xref="S5.SS4.p1.2.m2.1.1.1.cmml"><mrow id="S5.SS4.p1.2.m2.1.1.1.1.1" xref="S5.SS4.p1.2.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="S5.SS4.p1.2.m2.1.1.1.1.1.2" xref="S5.SS4.p1.2.m2.1.1.1.1.2.1.cmml">‖</mo><mrow id="S5.SS4.p1.2.m2.1.1.1.1.1.1" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S5.SS4.p1.2.m2.1.1.1.1.1.1.2" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S5.SS4.p1.2.m2.1.1.1.1.1.1.1" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.1.cmml">​</mo><msub id="S5.SS4.p1.2.m2.1.1.1.1.1.1.3" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.cmml"><mi id="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.2" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.3" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S5.SS4.p1.2.m2.1.1.1.1.1.3" xref="S5.SS4.p1.2.m2.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S5.SS4.p1.2.m2.1.1.1.3" xref="S5.SS4.p1.2.m2.1.1.1.3.cmml">∗</mo></msub><mo id="S5.SS4.p1.2.m2.2.2.3" xref="S5.SS4.p1.2.m2.2.2.3.cmml">∝</mo><msub id="S5.SS4.p1.2.m2.2.2.2" xref="S5.SS4.p1.2.m2.2.2.2.cmml"><mrow id="S5.SS4.p1.2.m2.2.2.2.1.1" xref="S5.SS4.p1.2.m2.2.2.2.1.2.cmml"><mo stretchy="false" id="S5.SS4.p1.2.m2.2.2.2.1.1.2" xref="S5.SS4.p1.2.m2.2.2.2.1.2.1.cmml">‖</mo><msub id="S5.SS4.p1.2.m2.2.2.2.1.1.1" xref="S5.SS4.p1.2.m2.2.2.2.1.1.1.cmml"><mi id="S5.SS4.p1.2.m2.2.2.2.1.1.1.2" xref="S5.SS4.p1.2.m2.2.2.2.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS4.p1.2.m2.2.2.2.1.1.1.3" xref="S5.SS4.p1.2.m2.2.2.2.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S5.SS4.p1.2.m2.2.2.2.1.1.3" xref="S5.SS4.p1.2.m2.2.2.2.1.2.1.cmml">‖</mo></mrow><mo id="S5.SS4.p1.2.m2.2.2.2.3" xref="S5.SS4.p1.2.m2.2.2.2.3.cmml">∗</mo></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS4.p1.2.m2.2b"><apply id="S5.SS4.p1.2.m2.2.2.cmml" xref="S5.SS4.p1.2.m2.2.2"><csymbol cd="latexml" id="S5.SS4.p1.2.m2.2.2.3.cmml" xref="S5.SS4.p1.2.m2.2.2.3">proportional-to</csymbol><apply id="S5.SS4.p1.2.m2.1.1.1.cmml" xref="S5.SS4.p1.2.m2.1.1.1"><csymbol cd="ambiguous" id="S5.SS4.p1.2.m2.1.1.1.2.cmml" xref="S5.SS4.p1.2.m2.1.1.1">subscript</csymbol><apply id="S5.SS4.p1.2.m2.1.1.1.1.2.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1"><csymbol cd="latexml" id="S5.SS4.p1.2.m2.1.1.1.1.2.1.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.2">norm</csymbol><apply id="S5.SS4.p1.2.m2.1.1.1.1.1.1.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1"><times id="S5.SS4.p1.2.m2.1.1.1.1.1.1.1.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.1"></times><ci id="S5.SS4.p1.2.m2.1.1.1.1.1.1.2.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.2">Δ</ci><apply id="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.1.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.3">subscript</csymbol><ci id="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.2.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.3.cmml" xref="S5.SS4.p1.2.m2.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="S5.SS4.p1.2.m2.1.1.1.3.cmml" xref="S5.SS4.p1.2.m2.1.1.1.3"></times></apply><apply id="S5.SS4.p1.2.m2.2.2.2.cmml" xref="S5.SS4.p1.2.m2.2.2.2"><csymbol cd="ambiguous" id="S5.SS4.p1.2.m2.2.2.2.2.cmml" xref="S5.SS4.p1.2.m2.2.2.2">subscript</csymbol><apply id="S5.SS4.p1.2.m2.2.2.2.1.2.cmml" xref="S5.SS4.p1.2.m2.2.2.2.1.1"><csymbol cd="latexml" id="S5.SS4.p1.2.m2.2.2.2.1.2.1.cmml" xref="S5.SS4.p1.2.m2.2.2.2.1.1.2">norm</csymbol><apply id="S5.SS4.p1.2.m2.2.2.2.1.1.1.cmml" xref="S5.SS4.p1.2.m2.2.2.2.1.1.1"><csymbol cd="ambiguous" id="S5.SS4.p1.2.m2.2.2.2.1.1.1.1.cmml" xref="S5.SS4.p1.2.m2.2.2.2.1.1.1">subscript</csymbol><ci id="S5.SS4.p1.2.m2.2.2.2.1.1.1.2.cmml" xref="S5.SS4.p1.2.m2.2.2.2.1.1.1.2">𝑾</ci><ci id="S5.SS4.p1.2.m2.2.2.2.1.1.1.3.cmml" xref="S5.SS4.p1.2.m2.2.2.2.1.1.1.3">ℓ</ci></apply></apply><times id="S5.SS4.p1.2.m2.2.2.2.3.cmml" xref="S5.SS4.p1.2.m2.2.2.2.3"></times></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS4.p1.2.m2.2c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\propto\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}</annotation></semantics></math>. This contrasts with a body of optimization work <cite class="ltx_cite ltx_citemacro_citep">(You et al., <a href="#bib.bib49" title="" class="ltx_ref">2017</a>, Shazeer &amp; Stern, <a href="#bib.bib38" title="" class="ltx_ref">2018</a>, Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>; <a href="#bib.bib7" title="" class="ltx_ref">b</a>, Liu et al., <a href="#bib.bib29" title="" class="ltx_ref">2021</a>)</cite> that has suggested instead that the <span id="S5.SS4.p1.6.1" class="ltx_text ltx_font_italic">Frobenius norm</span> of the update at layer <math id="S5.SS4.p1.3.m3.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="S5.SS4.p1.3.m3.1a"><mi mathvariant="normal" id="S5.SS4.p1.3.m3.1.1" xref="S5.SS4.p1.3.m3.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="S5.SS4.p1.3.m3.1b"><ci id="S5.SS4.p1.3.m3.1.1.cmml" xref="S5.SS4.p1.3.m3.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="S5.SS4.p1.3.m3.1c">\ell</annotation></semantics></math> be proportional to the <span id="S5.SS4.p1.6.2" class="ltx_text ltx_font_italic">Frobenius norm</span> of the weight matrix to which it is applied: <math id="S5.SS4.p1.4.m4.2" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}\propto\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{F}" display="inline"><semantics id="S5.SS4.p1.4.m4.2a"><mrow id="S5.SS4.p1.4.m4.2.2" xref="S5.SS4.p1.4.m4.2.2.cmml"><msub id="S5.SS4.p1.4.m4.1.1.1" xref="S5.SS4.p1.4.m4.1.1.1.cmml"><mrow id="S5.SS4.p1.4.m4.1.1.1.1.1" xref="S5.SS4.p1.4.m4.1.1.1.1.2.cmml"><mo stretchy="false" id="S5.SS4.p1.4.m4.1.1.1.1.1.2" xref="S5.SS4.p1.4.m4.1.1.1.1.2.1.cmml">‖</mo><mrow id="S5.SS4.p1.4.m4.1.1.1.1.1.1" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S5.SS4.p1.4.m4.1.1.1.1.1.1.2" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S5.SS4.p1.4.m4.1.1.1.1.1.1.1" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.1.cmml">​</mo><msub id="S5.SS4.p1.4.m4.1.1.1.1.1.1.3" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.cmml"><mi id="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.2" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.3" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S5.SS4.p1.4.m4.1.1.1.1.1.3" xref="S5.SS4.p1.4.m4.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="S5.SS4.p1.4.m4.1.1.1.3" xref="S5.SS4.p1.4.m4.1.1.1.3.cmml">F</mi></msub><mo id="S5.SS4.p1.4.m4.2.2.3" xref="S5.SS4.p1.4.m4.2.2.3.cmml">∝</mo><msub id="S5.SS4.p1.4.m4.2.2.2" xref="S5.SS4.p1.4.m4.2.2.2.cmml"><mrow id="S5.SS4.p1.4.m4.2.2.2.1.1" xref="S5.SS4.p1.4.m4.2.2.2.1.2.cmml"><mo stretchy="false" id="S5.SS4.p1.4.m4.2.2.2.1.1.2" xref="S5.SS4.p1.4.m4.2.2.2.1.2.1.cmml">‖</mo><msub id="S5.SS4.p1.4.m4.2.2.2.1.1.1" xref="S5.SS4.p1.4.m4.2.2.2.1.1.1.cmml"><mi id="S5.SS4.p1.4.m4.2.2.2.1.1.1.2" xref="S5.SS4.p1.4.m4.2.2.2.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS4.p1.4.m4.2.2.2.1.1.1.3" xref="S5.SS4.p1.4.m4.2.2.2.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S5.SS4.p1.4.m4.2.2.2.1.1.3" xref="S5.SS4.p1.4.m4.2.2.2.1.2.1.cmml">‖</mo></mrow><mi id="S5.SS4.p1.4.m4.2.2.2.3" xref="S5.SS4.p1.4.m4.2.2.2.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S5.SS4.p1.4.m4.2b"><apply id="S5.SS4.p1.4.m4.2.2.cmml" xref="S5.SS4.p1.4.m4.2.2"><csymbol cd="latexml" id="S5.SS4.p1.4.m4.2.2.3.cmml" xref="S5.SS4.p1.4.m4.2.2.3">proportional-to</csymbol><apply id="S5.SS4.p1.4.m4.1.1.1.cmml" xref="S5.SS4.p1.4.m4.1.1.1"><csymbol cd="ambiguous" id="S5.SS4.p1.4.m4.1.1.1.2.cmml" xref="S5.SS4.p1.4.m4.1.1.1">subscript</csymbol><apply id="S5.SS4.p1.4.m4.1.1.1.1.2.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1"><csymbol cd="latexml" id="S5.SS4.p1.4.m4.1.1.1.1.2.1.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.2">norm</csymbol><apply id="S5.SS4.p1.4.m4.1.1.1.1.1.1.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1"><times id="S5.SS4.p1.4.m4.1.1.1.1.1.1.1.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.1"></times><ci id="S5.SS4.p1.4.m4.1.1.1.1.1.1.2.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.2">Δ</ci><apply id="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.1.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.3">subscript</csymbol><ci id="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.2.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.2">𝑾</ci><ci id="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.3.cmml" xref="S5.SS4.p1.4.m4.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><ci id="S5.SS4.p1.4.m4.1.1.1.3.cmml" xref="S5.SS4.p1.4.m4.1.1.1.3">𝐹</ci></apply><apply id="S5.SS4.p1.4.m4.2.2.2.cmml" xref="S5.SS4.p1.4.m4.2.2.2"><csymbol cd="ambiguous" id="S5.SS4.p1.4.m4.2.2.2.2.cmml" xref="S5.SS4.p1.4.m4.2.2.2">subscript</csymbol><apply id="S5.SS4.p1.4.m4.2.2.2.1.2.cmml" xref="S5.SS4.p1.4.m4.2.2.2.1.1"><csymbol cd="latexml" id="S5.SS4.p1.4.m4.2.2.2.1.2.1.cmml" xref="S5.SS4.p1.4.m4.2.2.2.1.1.2">norm</csymbol><apply id="S5.SS4.p1.4.m4.2.2.2.1.1.1.cmml" xref="S5.SS4.p1.4.m4.2.2.2.1.1.1"><csymbol cd="ambiguous" id="S5.SS4.p1.4.m4.2.2.2.1.1.1.1.cmml" xref="S5.SS4.p1.4.m4.2.2.2.1.1.1">subscript</csymbol><ci id="S5.SS4.p1.4.m4.2.2.2.1.1.1.2.cmml" xref="S5.SS4.p1.4.m4.2.2.2.1.1.1.2">𝑾</ci><ci id="S5.SS4.p1.4.m4.2.2.2.1.1.1.3.cmml" xref="S5.SS4.p1.4.m4.2.2.2.1.1.1.3">ℓ</ci></apply></apply><ci id="S5.SS4.p1.4.m4.2.2.2.3.cmml" xref="S5.SS4.p1.4.m4.2.2.2.3">𝐹</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS4.p1.4.m4.2c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}\propto\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{F}</annotation></semantics></math>. For instance, <cite class="ltx_cite ltx_citemacro_citet">Bernstein et al. (<a href="#bib.bib6" title="" class="ltx_ref">2020a</a>)</cite> analysed the operator structure of deep neural networks and wrote down perturbation bounds on network activations in terms of perturbations to the weight matrices at each layer, and used these perturbation bounds to motivate making updates that are small in Frobenius norm.
The flaw in that analysis is the assumption that weight matrices and their perturbations have identical conditioning structure <cite class="ltx_cite ltx_citemacro_citep">(Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>, Condition 2 of Theorem 1)</cite>, when in reality weight matrices have high stable rank and updates have <math id="S5.SS4.p1.5.m5.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S5.SS4.p1.5.m5.1a"><mrow id="S5.SS4.p1.5.m5.1.2" xref="S5.SS4.p1.5.m5.1.2.cmml"><mi mathvariant="normal" id="S5.SS4.p1.5.m5.1.2.2" xref="S5.SS4.p1.5.m5.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S5.SS4.p1.5.m5.1.2.1" xref="S5.SS4.p1.5.m5.1.2.1.cmml">​</mo><mrow id="S5.SS4.p1.5.m5.1.2.3.2" xref="S5.SS4.p1.5.m5.1.2.cmml"><mo stretchy="false" id="S5.SS4.p1.5.m5.1.2.3.2.1" xref="S5.SS4.p1.5.m5.1.2.cmml">(</mo><mn id="S5.SS4.p1.5.m5.1.1" xref="S5.SS4.p1.5.m5.1.1.cmml">1</mn><mo stretchy="false" id="S5.SS4.p1.5.m5.1.2.3.2.2" xref="S5.SS4.p1.5.m5.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS4.p1.5.m5.1b"><apply id="S5.SS4.p1.5.m5.1.2.cmml" xref="S5.SS4.p1.5.m5.1.2"><times id="S5.SS4.p1.5.m5.1.2.1.cmml" xref="S5.SS4.p1.5.m5.1.2.1"></times><ci id="S5.SS4.p1.5.m5.1.2.2.cmml" xref="S5.SS4.p1.5.m5.1.2.2">Θ</ci><cn type="integer" id="S5.SS4.p1.5.m5.1.1.cmml" xref="S5.SS4.p1.5.m5.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS4.p1.5.m5.1c">\Theta(1)</annotation></semantics></math> stable rank.
In light of this fact, the Frobenius-normalized proportionality rule should be modified to <math id="S5.SS4.p1.6.m6.5" class="ltx_Math" alttext="\smash{\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}\propto\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{F}/\sqrt{\min(0pt_{\ell},0pt_{\ell-1})}}" display="inline"><semantics id="S5.SS4.p1.6.m6.5a"><mrow id="S5.SS4.p1.6.m6.5.5" xref="S5.SS4.p1.6.m6.5.5.cmml"><msub id="S5.SS4.p1.6.m6.4.4.1" xref="S5.SS4.p1.6.m6.4.4.1.cmml"><mrow id="S5.SS4.p1.6.m6.4.4.1.1.1" xref="S5.SS4.p1.6.m6.4.4.1.1.2.cmml"><mo stretchy="false" id="S5.SS4.p1.6.m6.4.4.1.1.1.2" xref="S5.SS4.p1.6.m6.4.4.1.1.2.1.cmml">‖</mo><mrow id="S5.SS4.p1.6.m6.4.4.1.1.1.1" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S5.SS4.p1.6.m6.4.4.1.1.1.1.2" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S5.SS4.p1.6.m6.4.4.1.1.1.1.1" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.1.cmml">​</mo><msub id="S5.SS4.p1.6.m6.4.4.1.1.1.1.3" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.cmml"><mi id="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.2" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.3" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="S5.SS4.p1.6.m6.4.4.1.1.1.3" xref="S5.SS4.p1.6.m6.4.4.1.1.2.1.cmml">‖</mo></mrow><mi id="S5.SS4.p1.6.m6.4.4.1.3" xref="S5.SS4.p1.6.m6.4.4.1.3.cmml">F</mi></msub><mo id="S5.SS4.p1.6.m6.5.5.3" xref="S5.SS4.p1.6.m6.5.5.3.cmml">∝</mo><mrow id="S5.SS4.p1.6.m6.5.5.2" xref="S5.SS4.p1.6.m6.5.5.2.cmml"><msub id="S5.SS4.p1.6.m6.5.5.2.1" xref="S5.SS4.p1.6.m6.5.5.2.1.cmml"><mrow id="S5.SS4.p1.6.m6.5.5.2.1.1.1" xref="S5.SS4.p1.6.m6.5.5.2.1.1.2.cmml"><mo stretchy="false" id="S5.SS4.p1.6.m6.5.5.2.1.1.1.2" xref="S5.SS4.p1.6.m6.5.5.2.1.1.2.1.cmml">‖</mo><msub id="S5.SS4.p1.6.m6.5.5.2.1.1.1.1" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.cmml"><mi id="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.2" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.3" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="S5.SS4.p1.6.m6.5.5.2.1.1.1.3" xref="S5.SS4.p1.6.m6.5.5.2.1.1.2.1.cmml">‖</mo></mrow><mi id="S5.SS4.p1.6.m6.5.5.2.1.3" xref="S5.SS4.p1.6.m6.5.5.2.1.3.cmml">F</mi></msub><mo id="S5.SS4.p1.6.m6.5.5.2.2" xref="S5.SS4.p1.6.m6.5.5.2.2.cmml">/</mo><msqrt id="S5.SS4.p1.6.m6.3.3" xref="S5.SS4.p1.6.m6.3.3.cmml"><mrow id="S5.SS4.p1.6.m6.3.3.3.3" xref="S5.SS4.p1.6.m6.3.3.3.4.cmml"><mi id="S5.SS4.p1.6.m6.1.1.1.1" xref="S5.SS4.p1.6.m6.1.1.1.1.cmml">min</mi><mo id="S5.SS4.p1.6.m6.3.3.3.3a" xref="S5.SS4.p1.6.m6.3.3.3.4.cmml">⁡</mo><mrow id="S5.SS4.p1.6.m6.3.3.3.3.2" xref="S5.SS4.p1.6.m6.3.3.3.4.cmml"><mo stretchy="false" id="S5.SS4.p1.6.m6.3.3.3.3.2.3" xref="S5.SS4.p1.6.m6.3.3.3.4.cmml">(</mo><mrow id="S5.SS4.p1.6.m6.2.2.2.2.1.1" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.cmml"><mn id="S5.SS4.p1.6.m6.2.2.2.2.1.1.2" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS4.p1.6.m6.2.2.2.2.1.1.1" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.1.cmml">​</mo><mi id="S5.SS4.p1.6.m6.2.2.2.2.1.1.3" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS4.p1.6.m6.2.2.2.2.1.1.1a" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.1.cmml">​</mo><msub id="S5.SS4.p1.6.m6.2.2.2.2.1.1.4" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.cmml"><mi id="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.2" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.2.cmml">t</mi><mi mathvariant="normal" id="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.3" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.3.cmml">ℓ</mi></msub></mrow><mo id="S5.SS4.p1.6.m6.3.3.3.3.2.4" xref="S5.SS4.p1.6.m6.3.3.3.4.cmml">,</mo><mrow id="S5.SS4.p1.6.m6.3.3.3.3.2.2" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.cmml"><mn id="S5.SS4.p1.6.m6.3.3.3.3.2.2.2" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S5.SS4.p1.6.m6.3.3.3.3.2.2.1" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.1.cmml">​</mo><mi id="S5.SS4.p1.6.m6.3.3.3.3.2.2.3" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S5.SS4.p1.6.m6.3.3.3.3.2.2.1a" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.1.cmml">​</mo><msub id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.cmml"><mi id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.2" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.2.cmml">t</mi><mrow id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.cmml"><mi mathvariant="normal" id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.2" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.2.cmml">ℓ</mi><mo id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.1" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.1.cmml">−</mo><mn id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.3" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.3.cmml">1</mn></mrow></msub></mrow><mo stretchy="false" id="S5.SS4.p1.6.m6.3.3.3.3.2.5" xref="S5.SS4.p1.6.m6.3.3.3.4.cmml">)</mo></mrow></mrow></msqrt></mrow></mrow><annotation-xml encoding="MathML-Content" id="S5.SS4.p1.6.m6.5b"><apply id="S5.SS4.p1.6.m6.5.5.cmml" xref="S5.SS4.p1.6.m6.5.5"><csymbol cd="latexml" id="S5.SS4.p1.6.m6.5.5.3.cmml" xref="S5.SS4.p1.6.m6.5.5.3">proportional-to</csymbol><apply id="S5.SS4.p1.6.m6.4.4.1.cmml" xref="S5.SS4.p1.6.m6.4.4.1"><csymbol cd="ambiguous" id="S5.SS4.p1.6.m6.4.4.1.2.cmml" xref="S5.SS4.p1.6.m6.4.4.1">subscript</csymbol><apply id="S5.SS4.p1.6.m6.4.4.1.1.2.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1"><csymbol cd="latexml" id="S5.SS4.p1.6.m6.4.4.1.1.2.1.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.2">norm</csymbol><apply id="S5.SS4.p1.6.m6.4.4.1.1.1.1.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1"><times id="S5.SS4.p1.6.m6.4.4.1.1.1.1.1.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.1"></times><ci id="S5.SS4.p1.6.m6.4.4.1.1.1.1.2.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.2">Δ</ci><apply id="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.3"><csymbol cd="ambiguous" id="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.1.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.3">subscript</csymbol><ci id="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.2.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.2">𝑾</ci><ci id="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.3.cmml" xref="S5.SS4.p1.6.m6.4.4.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><ci id="S5.SS4.p1.6.m6.4.4.1.3.cmml" xref="S5.SS4.p1.6.m6.4.4.1.3">𝐹</ci></apply><apply id="S5.SS4.p1.6.m6.5.5.2.cmml" xref="S5.SS4.p1.6.m6.5.5.2"><divide id="S5.SS4.p1.6.m6.5.5.2.2.cmml" xref="S5.SS4.p1.6.m6.5.5.2.2"></divide><apply id="S5.SS4.p1.6.m6.5.5.2.1.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1"><csymbol cd="ambiguous" id="S5.SS4.p1.6.m6.5.5.2.1.2.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1">subscript</csymbol><apply id="S5.SS4.p1.6.m6.5.5.2.1.1.2.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1"><csymbol cd="latexml" id="S5.SS4.p1.6.m6.5.5.2.1.1.2.1.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.2">norm</csymbol><apply id="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.1"><csymbol cd="ambiguous" id="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.1.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.1">subscript</csymbol><ci id="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.2.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.2">𝑾</ci><ci id="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.3.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1.1.1.1.3">ℓ</ci></apply></apply><ci id="S5.SS4.p1.6.m6.5.5.2.1.3.cmml" xref="S5.SS4.p1.6.m6.5.5.2.1.3">𝐹</ci></apply><apply id="S5.SS4.p1.6.m6.3.3.cmml" xref="S5.SS4.p1.6.m6.3.3"><root id="S5.SS4.p1.6.m6.3.3a.cmml" xref="S5.SS4.p1.6.m6.3.3"></root><apply id="S5.SS4.p1.6.m6.3.3.3.4.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3"><min id="S5.SS4.p1.6.m6.1.1.1.1.cmml" xref="S5.SS4.p1.6.m6.1.1.1.1"></min><apply id="S5.SS4.p1.6.m6.2.2.2.2.1.1.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1"><times id="S5.SS4.p1.6.m6.2.2.2.2.1.1.1.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.1"></times><cn type="integer" id="S5.SS4.p1.6.m6.2.2.2.2.1.1.2.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.2">0</cn><ci id="S5.SS4.p1.6.m6.2.2.2.2.1.1.3.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.3">𝑝</ci><apply id="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.4"><csymbol cd="ambiguous" id="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.1.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.4">subscript</csymbol><ci id="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.2.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.2">𝑡</ci><ci id="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.3.cmml" xref="S5.SS4.p1.6.m6.2.2.2.2.1.1.4.3">ℓ</ci></apply></apply><apply id="S5.SS4.p1.6.m6.3.3.3.3.2.2.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2"><times id="S5.SS4.p1.6.m6.3.3.3.3.2.2.1.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.1"></times><cn type="integer" id="S5.SS4.p1.6.m6.3.3.3.3.2.2.2.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.2">0</cn><ci id="S5.SS4.p1.6.m6.3.3.3.3.2.2.3.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.3">𝑝</ci><apply id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4"><csymbol cd="ambiguous" id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.1.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4">subscript</csymbol><ci id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.2.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.2">𝑡</ci><apply id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3"><minus id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.1.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.1"></minus><ci id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.2.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.2">ℓ</ci><cn type="integer" id="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.3.cmml" xref="S5.SS4.p1.6.m6.3.3.3.3.2.2.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S5.SS4.p1.6.m6.5c">\smash{\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}\propto\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{F}/\sqrt{\min(0pt_{\ell},0pt_{\ell-1})}}</annotation></semantics></math> in order to see proper feature evolution.</p>
</div>
</section>
</section>
<section id="S6" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">6 </span>Demonstration: <math id="S6.1.m1.1" class="ltx_Math" alttext="\bm{\mu}" display="inline"><semantics id="S6.1.m1.1b"><mi id="S6.1.m1.1.1" xref="S6.1.m1.1.1.cmml">𝝁</mi><annotation-xml encoding="MathML-Content" id="S6.1.m1.1c"><ci id="S6.1.m1.1.1.cmml" xref="S6.1.m1.1.1">𝝁</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.1.m1.1d">\bm{\mu}</annotation></semantics></math>P versus NTP</h2>

<div id="S6.p1" class="ltx_para ltx_noindent">
<p id="S6.p1.1" class="ltx_p">Here we discuss a simple, illustrative experiment in which we directly verify that <math id="S6.p1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S6.p1.1.m1.1a"><mi id="S6.p1.1.m1.1.1" xref="S6.p1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S6.p1.1.m1.1b"><ci id="S6.p1.1.m1.1.1.cmml" xref="S6.p1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p1.1.m1.1c">\mu</annotation></semantics></math>P obeys our spectral scaling condition (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) and achieves leading-order feature evolution (<a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) and the NTP does not.
We do so via direct measurement of spectral quantities in MLPs of varying width trained on the same task. <a href="#A1" title="Appendix A Experimental details ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">A</span></a> provides full experimental details, and results are plotted <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a>.</p>
</div>
<div id="S6.p2" class="ltx_para ltx_noindent">
<p id="S6.p2.8" class="ltx_p"><span id="S6.p2.8.1" class="ltx_text ltx_font_bold">Model and data.</span>
We train MLPs with <math id="S6.p2.1.m1.1" class="ltx_Math" alttext="L=3" display="inline"><semantics id="S6.p2.1.m1.1a"><mrow id="S6.p2.1.m1.1.1" xref="S6.p2.1.m1.1.1.cmml"><mi id="S6.p2.1.m1.1.1.2" xref="S6.p2.1.m1.1.1.2.cmml">L</mi><mo id="S6.p2.1.m1.1.1.1" xref="S6.p2.1.m1.1.1.1.cmml">=</mo><mn id="S6.p2.1.m1.1.1.3" xref="S6.p2.1.m1.1.1.3.cmml">3</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.1.m1.1b"><apply id="S6.p2.1.m1.1.1.cmml" xref="S6.p2.1.m1.1.1"><eq id="S6.p2.1.m1.1.1.1.cmml" xref="S6.p2.1.m1.1.1.1"></eq><ci id="S6.p2.1.m1.1.1.2.cmml" xref="S6.p2.1.m1.1.1.2">𝐿</ci><cn type="integer" id="S6.p2.1.m1.1.1.3.cmml" xref="S6.p2.1.m1.1.1.3">3</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.1.m1.1c">L=3</annotation></semantics></math> linear layers, no biases, and ReLU activations.
For demonstration purposes, we train on a small subset of <math id="S6.p2.2.m2.1" class="ltx_Math" alttext="B=200" display="inline"><semantics id="S6.p2.2.m2.1a"><mrow id="S6.p2.2.m2.1.1" xref="S6.p2.2.m2.1.1.cmml"><mi id="S6.p2.2.m2.1.1.2" xref="S6.p2.2.m2.1.1.2.cmml">B</mi><mo id="S6.p2.2.m2.1.1.1" xref="S6.p2.2.m2.1.1.1.cmml">=</mo><mn id="S6.p2.2.m2.1.1.3" xref="S6.p2.2.m2.1.1.3.cmml">200</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.2.m2.1b"><apply id="S6.p2.2.m2.1.1.cmml" xref="S6.p2.2.m2.1.1"><eq id="S6.p2.2.m2.1.1.1.cmml" xref="S6.p2.2.m2.1.1.1"></eq><ci id="S6.p2.2.m2.1.1.2.cmml" xref="S6.p2.2.m2.1.1.2">𝐵</ci><cn type="integer" id="S6.p2.2.m2.1.1.3.cmml" xref="S6.p2.2.m2.1.1.3">200</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.2.m2.1c">B=200</annotation></semantics></math> examples from a two-class subset of CIFAR-10.
The model has input dimension <math id="S6.p2.3.m3.1" class="ltx_Math" alttext="0pt_{0}=3072" display="inline"><semantics id="S6.p2.3.m3.1a"><mrow id="S6.p2.3.m3.1.1" xref="S6.p2.3.m3.1.1.cmml"><mrow id="S6.p2.3.m3.1.1.2" xref="S6.p2.3.m3.1.1.2.cmml"><mn id="S6.p2.3.m3.1.1.2.2" xref="S6.p2.3.m3.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p2.3.m3.1.1.2.1" xref="S6.p2.3.m3.1.1.2.1.cmml">​</mo><mi id="S6.p2.3.m3.1.1.2.3" xref="S6.p2.3.m3.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p2.3.m3.1.1.2.1a" xref="S6.p2.3.m3.1.1.2.1.cmml">​</mo><msub id="S6.p2.3.m3.1.1.2.4" xref="S6.p2.3.m3.1.1.2.4.cmml"><mi id="S6.p2.3.m3.1.1.2.4.2" xref="S6.p2.3.m3.1.1.2.4.2.cmml">t</mi><mn id="S6.p2.3.m3.1.1.2.4.3" xref="S6.p2.3.m3.1.1.2.4.3.cmml">0</mn></msub></mrow><mo id="S6.p2.3.m3.1.1.1" xref="S6.p2.3.m3.1.1.1.cmml">=</mo><mn id="S6.p2.3.m3.1.1.3" xref="S6.p2.3.m3.1.1.3.cmml">3072</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.3.m3.1b"><apply id="S6.p2.3.m3.1.1.cmml" xref="S6.p2.3.m3.1.1"><eq id="S6.p2.3.m3.1.1.1.cmml" xref="S6.p2.3.m3.1.1.1"></eq><apply id="S6.p2.3.m3.1.1.2.cmml" xref="S6.p2.3.m3.1.1.2"><times id="S6.p2.3.m3.1.1.2.1.cmml" xref="S6.p2.3.m3.1.1.2.1"></times><cn type="integer" id="S6.p2.3.m3.1.1.2.2.cmml" xref="S6.p2.3.m3.1.1.2.2">0</cn><ci id="S6.p2.3.m3.1.1.2.3.cmml" xref="S6.p2.3.m3.1.1.2.3">𝑝</ci><apply id="S6.p2.3.m3.1.1.2.4.cmml" xref="S6.p2.3.m3.1.1.2.4"><csymbol cd="ambiguous" id="S6.p2.3.m3.1.1.2.4.1.cmml" xref="S6.p2.3.m3.1.1.2.4">subscript</csymbol><ci id="S6.p2.3.m3.1.1.2.4.2.cmml" xref="S6.p2.3.m3.1.1.2.4.2">𝑡</ci><cn type="integer" id="S6.p2.3.m3.1.1.2.4.3.cmml" xref="S6.p2.3.m3.1.1.2.4.3">0</cn></apply></apply><cn type="integer" id="S6.p2.3.m3.1.1.3.cmml" xref="S6.p2.3.m3.1.1.3">3072</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.3.m3.1c">0pt_{0}=3072</annotation></semantics></math>, output dimension <math id="S6.p2.4.m4.1" class="ltx_Math" alttext="0pt_{3}=1" display="inline"><semantics id="S6.p2.4.m4.1a"><mrow id="S6.p2.4.m4.1.1" xref="S6.p2.4.m4.1.1.cmml"><mrow id="S6.p2.4.m4.1.1.2" xref="S6.p2.4.m4.1.1.2.cmml"><mn id="S6.p2.4.m4.1.1.2.2" xref="S6.p2.4.m4.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p2.4.m4.1.1.2.1" xref="S6.p2.4.m4.1.1.2.1.cmml">​</mo><mi id="S6.p2.4.m4.1.1.2.3" xref="S6.p2.4.m4.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p2.4.m4.1.1.2.1a" xref="S6.p2.4.m4.1.1.2.1.cmml">​</mo><msub id="S6.p2.4.m4.1.1.2.4" xref="S6.p2.4.m4.1.1.2.4.cmml"><mi id="S6.p2.4.m4.1.1.2.4.2" xref="S6.p2.4.m4.1.1.2.4.2.cmml">t</mi><mn id="S6.p2.4.m4.1.1.2.4.3" xref="S6.p2.4.m4.1.1.2.4.3.cmml">3</mn></msub></mrow><mo id="S6.p2.4.m4.1.1.1" xref="S6.p2.4.m4.1.1.1.cmml">=</mo><mn id="S6.p2.4.m4.1.1.3" xref="S6.p2.4.m4.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.4.m4.1b"><apply id="S6.p2.4.m4.1.1.cmml" xref="S6.p2.4.m4.1.1"><eq id="S6.p2.4.m4.1.1.1.cmml" xref="S6.p2.4.m4.1.1.1"></eq><apply id="S6.p2.4.m4.1.1.2.cmml" xref="S6.p2.4.m4.1.1.2"><times id="S6.p2.4.m4.1.1.2.1.cmml" xref="S6.p2.4.m4.1.1.2.1"></times><cn type="integer" id="S6.p2.4.m4.1.1.2.2.cmml" xref="S6.p2.4.m4.1.1.2.2">0</cn><ci id="S6.p2.4.m4.1.1.2.3.cmml" xref="S6.p2.4.m4.1.1.2.3">𝑝</ci><apply id="S6.p2.4.m4.1.1.2.4.cmml" xref="S6.p2.4.m4.1.1.2.4"><csymbol cd="ambiguous" id="S6.p2.4.m4.1.1.2.4.1.cmml" xref="S6.p2.4.m4.1.1.2.4">subscript</csymbol><ci id="S6.p2.4.m4.1.1.2.4.2.cmml" xref="S6.p2.4.m4.1.1.2.4.2">𝑡</ci><cn type="integer" id="S6.p2.4.m4.1.1.2.4.3.cmml" xref="S6.p2.4.m4.1.1.2.4.3">3</cn></apply></apply><cn type="integer" id="S6.p2.4.m4.1.1.3.cmml" xref="S6.p2.4.m4.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.4.m4.1c">0pt_{3}=1</annotation></semantics></math>, and uniform hidden dimension <math id="S6.p2.5.m5.1" class="ltx_Math" alttext="0pt_{1}=0pt_{2}=0pt" display="inline"><semantics id="S6.p2.5.m5.1a"><mrow id="S6.p2.5.m5.1.1" xref="S6.p2.5.m5.1.1.cmml"><mrow id="S6.p2.5.m5.1.1.2" xref="S6.p2.5.m5.1.1.2.cmml"><mn id="S6.p2.5.m5.1.1.2.2" xref="S6.p2.5.m5.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p2.5.m5.1.1.2.1" xref="S6.p2.5.m5.1.1.2.1.cmml">​</mo><mi id="S6.p2.5.m5.1.1.2.3" xref="S6.p2.5.m5.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p2.5.m5.1.1.2.1a" xref="S6.p2.5.m5.1.1.2.1.cmml">​</mo><msub id="S6.p2.5.m5.1.1.2.4" xref="S6.p2.5.m5.1.1.2.4.cmml"><mi id="S6.p2.5.m5.1.1.2.4.2" xref="S6.p2.5.m5.1.1.2.4.2.cmml">t</mi><mn id="S6.p2.5.m5.1.1.2.4.3" xref="S6.p2.5.m5.1.1.2.4.3.cmml">1</mn></msub></mrow><mo id="S6.p2.5.m5.1.1.3" xref="S6.p2.5.m5.1.1.3.cmml">=</mo><mrow id="S6.p2.5.m5.1.1.4" xref="S6.p2.5.m5.1.1.4.cmml"><mn id="S6.p2.5.m5.1.1.4.2" xref="S6.p2.5.m5.1.1.4.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p2.5.m5.1.1.4.1" xref="S6.p2.5.m5.1.1.4.1.cmml">​</mo><mi id="S6.p2.5.m5.1.1.4.3" xref="S6.p2.5.m5.1.1.4.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p2.5.m5.1.1.4.1a" xref="S6.p2.5.m5.1.1.4.1.cmml">​</mo><msub id="S6.p2.5.m5.1.1.4.4" xref="S6.p2.5.m5.1.1.4.4.cmml"><mi id="S6.p2.5.m5.1.1.4.4.2" xref="S6.p2.5.m5.1.1.4.4.2.cmml">t</mi><mn id="S6.p2.5.m5.1.1.4.4.3" xref="S6.p2.5.m5.1.1.4.4.3.cmml">2</mn></msub></mrow><mo id="S6.p2.5.m5.1.1.5" xref="S6.p2.5.m5.1.1.5.cmml">=</mo><mrow id="S6.p2.5.m5.1.1.6" xref="S6.p2.5.m5.1.1.6.cmml"><mn id="S6.p2.5.m5.1.1.6.2" xref="S6.p2.5.m5.1.1.6.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p2.5.m5.1.1.6.1" xref="S6.p2.5.m5.1.1.6.1.cmml">​</mo><mi id="S6.p2.5.m5.1.1.6.3" xref="S6.p2.5.m5.1.1.6.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p2.5.m5.1.1.6.1a" xref="S6.p2.5.m5.1.1.6.1.cmml">​</mo><mi id="S6.p2.5.m5.1.1.6.4" xref="S6.p2.5.m5.1.1.6.4.cmml">t</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.5.m5.1b"><apply id="S6.p2.5.m5.1.1.cmml" xref="S6.p2.5.m5.1.1"><and id="S6.p2.5.m5.1.1a.cmml" xref="S6.p2.5.m5.1.1"></and><apply id="S6.p2.5.m5.1.1b.cmml" xref="S6.p2.5.m5.1.1"><eq id="S6.p2.5.m5.1.1.3.cmml" xref="S6.p2.5.m5.1.1.3"></eq><apply id="S6.p2.5.m5.1.1.2.cmml" xref="S6.p2.5.m5.1.1.2"><times id="S6.p2.5.m5.1.1.2.1.cmml" xref="S6.p2.5.m5.1.1.2.1"></times><cn type="integer" id="S6.p2.5.m5.1.1.2.2.cmml" xref="S6.p2.5.m5.1.1.2.2">0</cn><ci id="S6.p2.5.m5.1.1.2.3.cmml" xref="S6.p2.5.m5.1.1.2.3">𝑝</ci><apply id="S6.p2.5.m5.1.1.2.4.cmml" xref="S6.p2.5.m5.1.1.2.4"><csymbol cd="ambiguous" id="S6.p2.5.m5.1.1.2.4.1.cmml" xref="S6.p2.5.m5.1.1.2.4">subscript</csymbol><ci id="S6.p2.5.m5.1.1.2.4.2.cmml" xref="S6.p2.5.m5.1.1.2.4.2">𝑡</ci><cn type="integer" id="S6.p2.5.m5.1.1.2.4.3.cmml" xref="S6.p2.5.m5.1.1.2.4.3">1</cn></apply></apply><apply id="S6.p2.5.m5.1.1.4.cmml" xref="S6.p2.5.m5.1.1.4"><times id="S6.p2.5.m5.1.1.4.1.cmml" xref="S6.p2.5.m5.1.1.4.1"></times><cn type="integer" id="S6.p2.5.m5.1.1.4.2.cmml" xref="S6.p2.5.m5.1.1.4.2">0</cn><ci id="S6.p2.5.m5.1.1.4.3.cmml" xref="S6.p2.5.m5.1.1.4.3">𝑝</ci><apply id="S6.p2.5.m5.1.1.4.4.cmml" xref="S6.p2.5.m5.1.1.4.4"><csymbol cd="ambiguous" id="S6.p2.5.m5.1.1.4.4.1.cmml" xref="S6.p2.5.m5.1.1.4.4">subscript</csymbol><ci id="S6.p2.5.m5.1.1.4.4.2.cmml" xref="S6.p2.5.m5.1.1.4.4.2">𝑡</ci><cn type="integer" id="S6.p2.5.m5.1.1.4.4.3.cmml" xref="S6.p2.5.m5.1.1.4.4.3">2</cn></apply></apply></apply><apply id="S6.p2.5.m5.1.1c.cmml" xref="S6.p2.5.m5.1.1"><eq id="S6.p2.5.m5.1.1.5.cmml" xref="S6.p2.5.m5.1.1.5"></eq><share href="#S6.p2.5.m5.1.1.4.cmml" id="S6.p2.5.m5.1.1d.cmml" xref="S6.p2.5.m5.1.1"></share><apply id="S6.p2.5.m5.1.1.6.cmml" xref="S6.p2.5.m5.1.1.6"><times id="S6.p2.5.m5.1.1.6.1.cmml" xref="S6.p2.5.m5.1.1.6.1"></times><cn type="integer" id="S6.p2.5.m5.1.1.6.2.cmml" xref="S6.p2.5.m5.1.1.6.2">0</cn><ci id="S6.p2.5.m5.1.1.6.3.cmml" xref="S6.p2.5.m5.1.1.6.3">𝑝</ci><ci id="S6.p2.5.m5.1.1.6.4.cmml" xref="S6.p2.5.m5.1.1.6.4">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.5.m5.1c">0pt_{1}=0pt_{2}=0pt</annotation></semantics></math>, with <math id="S6.p2.6.m6.1" class="ltx_Math" alttext="0pt" display="inline"><semantics id="S6.p2.6.m6.1a"><mrow id="S6.p2.6.m6.1.1" xref="S6.p2.6.m6.1.1.cmml"><mn id="S6.p2.6.m6.1.1.2" xref="S6.p2.6.m6.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p2.6.m6.1.1.1" xref="S6.p2.6.m6.1.1.1.cmml">​</mo><mi id="S6.p2.6.m6.1.1.3" xref="S6.p2.6.m6.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p2.6.m6.1.1.1a" xref="S6.p2.6.m6.1.1.1.cmml">​</mo><mi id="S6.p2.6.m6.1.1.4" xref="S6.p2.6.m6.1.1.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.6.m6.1b"><apply id="S6.p2.6.m6.1.1.cmml" xref="S6.p2.6.m6.1.1"><times id="S6.p2.6.m6.1.1.1.cmml" xref="S6.p2.6.m6.1.1.1"></times><cn type="integer" id="S6.p2.6.m6.1.1.2.cmml" xref="S6.p2.6.m6.1.1.2">0</cn><ci id="S6.p2.6.m6.1.1.3.cmml" xref="S6.p2.6.m6.1.1.3">𝑝</ci><ci id="S6.p2.6.m6.1.1.4.cmml" xref="S6.p2.6.m6.1.1.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.6.m6.1c">0pt</annotation></semantics></math> varied between training runs.
We initialize and train each MLP twice with hyperparameters obtained using <math id="S6.p2.7.m7.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S6.p2.7.m7.1a"><mi id="S6.p2.7.m7.1.1" xref="S6.p2.7.m7.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S6.p2.7.m7.1b"><ci id="S6.p2.7.m7.1.1.cmml" xref="S6.p2.7.m7.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.7.m7.1c">\mu</annotation></semantics></math>P and NTP scalings, respectively. We train networks of widths <math id="S6.p2.8.m8.2" class="ltx_Math" alttext="0pt\in[16,4096]" display="inline"><semantics id="S6.p2.8.m8.2a"><mrow id="S6.p2.8.m8.2.3" xref="S6.p2.8.m8.2.3.cmml"><mrow id="S6.p2.8.m8.2.3.2" xref="S6.p2.8.m8.2.3.2.cmml"><mn id="S6.p2.8.m8.2.3.2.2" xref="S6.p2.8.m8.2.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p2.8.m8.2.3.2.1" xref="S6.p2.8.m8.2.3.2.1.cmml">​</mo><mi id="S6.p2.8.m8.2.3.2.3" xref="S6.p2.8.m8.2.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p2.8.m8.2.3.2.1a" xref="S6.p2.8.m8.2.3.2.1.cmml">​</mo><mi id="S6.p2.8.m8.2.3.2.4" xref="S6.p2.8.m8.2.3.2.4.cmml">t</mi></mrow><mo id="S6.p2.8.m8.2.3.1" xref="S6.p2.8.m8.2.3.1.cmml">∈</mo><mrow id="S6.p2.8.m8.2.3.3.2" xref="S6.p2.8.m8.2.3.3.1.cmml"><mo stretchy="false" id="S6.p2.8.m8.2.3.3.2.1" xref="S6.p2.8.m8.2.3.3.1.cmml">[</mo><mn id="S6.p2.8.m8.1.1" xref="S6.p2.8.m8.1.1.cmml">16</mn><mo id="S6.p2.8.m8.2.3.3.2.2" xref="S6.p2.8.m8.2.3.3.1.cmml">,</mo><mn id="S6.p2.8.m8.2.2" xref="S6.p2.8.m8.2.2.cmml">4096</mn><mo stretchy="false" id="S6.p2.8.m8.2.3.3.2.3" xref="S6.p2.8.m8.2.3.3.1.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p2.8.m8.2b"><apply id="S6.p2.8.m8.2.3.cmml" xref="S6.p2.8.m8.2.3"><in id="S6.p2.8.m8.2.3.1.cmml" xref="S6.p2.8.m8.2.3.1"></in><apply id="S6.p2.8.m8.2.3.2.cmml" xref="S6.p2.8.m8.2.3.2"><times id="S6.p2.8.m8.2.3.2.1.cmml" xref="S6.p2.8.m8.2.3.2.1"></times><cn type="integer" id="S6.p2.8.m8.2.3.2.2.cmml" xref="S6.p2.8.m8.2.3.2.2">0</cn><ci id="S6.p2.8.m8.2.3.2.3.cmml" xref="S6.p2.8.m8.2.3.2.3">𝑝</ci><ci id="S6.p2.8.m8.2.3.2.4.cmml" xref="S6.p2.8.m8.2.3.2.4">𝑡</ci></apply><interval closure="closed" id="S6.p2.8.m8.2.3.3.1.cmml" xref="S6.p2.8.m8.2.3.3.2"><cn type="integer" id="S6.p2.8.m8.1.1.cmml" xref="S6.p2.8.m8.1.1">16</cn><cn type="integer" id="S6.p2.8.m8.2.2.cmml" xref="S6.p2.8.m8.2.2">4096</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p2.8.m8.2c">0pt\in[16,4096]</annotation></semantics></math> to near-zero training loss. After training, we compute various spectral quantities which we now discuss.</p>
</div>
<figure id="S6.F2" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_1"><img src="/html/2310.17813/assets/x2.png" id="S6.F2.g1" class="ltx_graphics ltx_centering ltx_figure_panel ltx_img_landscape" width="500" height="277" alt="Refer to caption"></div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<p id="S6.F2.2" class="ltx_p ltx_figure_panel ltx_align_center"><span id="S6.F2.1.1" class="ltx_text ltx_inline-block" style="width:0.0pt;"><span id="S6.F2.1.1.1" class="ltx_text" style="position:relative; bottom:14.8pt;"><img src="/html/2310.17813/assets/x3.png" id="S6.F2.1.1.1.g1" class="ltx_graphics ltx_img_portrait" width="5" height="9" alt="Refer to caption"></span>                       </span><span id="S6.F2.2.2" class="ltx_text ltx_inline-block" style="width:0.0pt;"><span id="S6.F2.2.2.1" class="ltx_text" style="position:relative; bottom:14.8pt;"><img src="/html/2310.17813/assets/x4.png" id="S6.F2.2.2.1.g1" class="ltx_graphics ltx_img_portrait" width="5" height="9" alt="Refer to caption"></span></span></p>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 2: </span>
<span id="S6.F2.6.2" class="ltx_text ltx_font_bold">Spectral quantities are <math id="S6.F2.5.1.m1.1" class="ltx_Math" alttext="\bm{\Theta(1)}" display="inline"><semantics id="S6.F2.5.1.m1.1b"><mrow id="S6.F2.5.1.m1.1.2" xref="S6.F2.5.1.m1.1.2.cmml"><mi id="S6.F2.5.1.m1.1.2.2" xref="S6.F2.5.1.m1.1.2.2.cmml">𝚯</mi><mo lspace="0em" rspace="0em" id="S6.F2.5.1.m1.1.2.1" xref="S6.F2.5.1.m1.1.2.1.cmml">​</mo><mrow id="S6.F2.5.1.m1.1.2.3.2" xref="S6.F2.5.1.m1.1.2.cmml"><mo class="ltx_mathvariant_bold" mathvariant="bold" stretchy="false" id="S6.F2.5.1.m1.1.2.3.2.1" xref="S6.F2.5.1.m1.1.2.cmml">(</mo><mn id="S6.F2.5.1.m1.1.1" xref="S6.F2.5.1.m1.1.1.cmml">𝟏</mn><mo class="ltx_mathvariant_bold" mathvariant="bold" stretchy="false" id="S6.F2.5.1.m1.1.2.3.2.2" xref="S6.F2.5.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.F2.5.1.m1.1c"><apply id="S6.F2.5.1.m1.1.2.cmml" xref="S6.F2.5.1.m1.1.2"><times id="S6.F2.5.1.m1.1.2.1.cmml" xref="S6.F2.5.1.m1.1.2.1"></times><ci id="S6.F2.5.1.m1.1.2.2.cmml" xref="S6.F2.5.1.m1.1.2.2">𝚯</ci><cn type="integer" id="S6.F2.5.1.m1.1.1.cmml" xref="S6.F2.5.1.m1.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.F2.5.1.m1.1d">\bm{\Theta(1)}</annotation></semantics></math> under <math id="S6.F2.6.2.m2.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S6.F2.6.2.m2.1b"><mi id="S6.F2.6.2.m2.1.1" xref="S6.F2.6.2.m2.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S6.F2.6.2.m2.1c"><ci id="S6.F2.6.2.m2.1.1.cmml" xref="S6.F2.6.2.m2.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.F2.6.2.m2.1d">\mu</annotation></semantics></math>P but decay with width under NTP.</span> We train multilayer perceptrons of varying width, and plot the following quantities computed between the initial and final network:
<span id="S6.F2.11.3" class="ltx_text ltx_font_bold">(A)</span> Average relative change in features.
<span id="S6.F2.12.4" class="ltx_text ltx_font_bold">(B)</span> Relative change in weights in spectral norm.
<span id="S6.F2.13.5" class="ltx_text ltx_font_bold">(C)</span> Final layer alignment with incoming vectors (<a href="#S6.E24" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Equation</span> <span class="ltx_text ltx_ref_tag">24</span></a>).
<span id="S6.F2.14.6" class="ltx_text ltx_font_bold">(D)</span> Relative change in weights in Frobenius norm.
Labeled triangles show predicted powerlaw slopes.
Shaded regions show one standard deviation over random data and initialization.
</figcaption>
</figure>
<div id="S6.p3" class="ltx_para ltx_noindent">
<p id="S6.p3.7" class="ltx_p"><span id="S6.p3.7.1" class="ltx_text ltx_font_bold">Norms of feature updates.</span>
We measure the average relative change in features over training:</p>
<table id="S6.E23" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S6.E23.m1.6" class="ltx_Math" alttext="\mathbb{E}_{{\bm{x}}}\!\left[\frac{\left|\!\left|{\bm{h}}_{2}({\bm{x}})-{\bm{h}}_{2}^{0}({\bm{x}})\right|\!\right|_{2}}{\left|\!\left|{\bm{h}}_{2}^{0}({\bm{x}})\right|\!\right|_{2}}\right]," display="block"><semantics id="S6.E23.m1.6a"><mrow id="S6.E23.m1.6.6.1" xref="S6.E23.m1.6.6.1.1.cmml"><mrow id="S6.E23.m1.6.6.1.1" xref="S6.E23.m1.6.6.1.1.cmml"><msub id="S6.E23.m1.6.6.1.1.2" xref="S6.E23.m1.6.6.1.1.2.cmml"><mi id="S6.E23.m1.6.6.1.1.2.2" xref="S6.E23.m1.6.6.1.1.2.2.cmml">𝔼</mi><mi id="S6.E23.m1.6.6.1.1.2.3" xref="S6.E23.m1.6.6.1.1.2.3.cmml">𝒙</mi></msub><mo lspace="0em" rspace="0em" id="S6.E23.m1.6.6.1.1.1" xref="S6.E23.m1.6.6.1.1.1.cmml">​</mo><mrow id="S6.E23.m1.6.6.1.1.3.2" xref="S6.E23.m1.6.6.1.1.3.1.cmml"><mo id="S6.E23.m1.6.6.1.1.3.2.1" xref="S6.E23.m1.6.6.1.1.3.1.1.cmml">[</mo><mfrac id="S6.E23.m1.5.5" xref="S6.E23.m1.5.5.cmml"><msub id="S6.E23.m1.3.3.3" xref="S6.E23.m1.3.3.3.cmml"><mrow id="S6.E23.m1.3.3.3.3.1" xref="S6.E23.m1.3.3.3.3.2.cmml"><mo stretchy="false" id="S6.E23.m1.3.3.3.3.1.2" xref="S6.E23.m1.3.3.3.3.2.1.cmml">‖</mo><mrow id="S6.E23.m1.3.3.3.3.1.1" xref="S6.E23.m1.3.3.3.3.1.1.cmml"><mrow id="S6.E23.m1.3.3.3.3.1.1.2" xref="S6.E23.m1.3.3.3.3.1.1.2.cmml"><msub id="S6.E23.m1.3.3.3.3.1.1.2.2" xref="S6.E23.m1.3.3.3.3.1.1.2.2.cmml"><mi id="S6.E23.m1.3.3.3.3.1.1.2.2.2" xref="S6.E23.m1.3.3.3.3.1.1.2.2.2.cmml">𝒉</mi><mn id="S6.E23.m1.3.3.3.3.1.1.2.2.3" xref="S6.E23.m1.3.3.3.3.1.1.2.2.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="S6.E23.m1.3.3.3.3.1.1.2.1" xref="S6.E23.m1.3.3.3.3.1.1.2.1.cmml">​</mo><mrow id="S6.E23.m1.3.3.3.3.1.1.2.3.2" xref="S6.E23.m1.3.3.3.3.1.1.2.cmml"><mo stretchy="false" id="S6.E23.m1.3.3.3.3.1.1.2.3.2.1" xref="S6.E23.m1.3.3.3.3.1.1.2.cmml">(</mo><mi id="S6.E23.m1.1.1.1.1" xref="S6.E23.m1.1.1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S6.E23.m1.3.3.3.3.1.1.2.3.2.2" xref="S6.E23.m1.3.3.3.3.1.1.2.cmml">)</mo></mrow></mrow><mo id="S6.E23.m1.3.3.3.3.1.1.1" xref="S6.E23.m1.3.3.3.3.1.1.1.cmml">−</mo><mrow id="S6.E23.m1.3.3.3.3.1.1.3" xref="S6.E23.m1.3.3.3.3.1.1.3.cmml"><msubsup id="S6.E23.m1.3.3.3.3.1.1.3.2" xref="S6.E23.m1.3.3.3.3.1.1.3.2.cmml"><mi id="S6.E23.m1.3.3.3.3.1.1.3.2.2.2" xref="S6.E23.m1.3.3.3.3.1.1.3.2.2.2.cmml">𝒉</mi><mn id="S6.E23.m1.3.3.3.3.1.1.3.2.2.3" xref="S6.E23.m1.3.3.3.3.1.1.3.2.2.3.cmml">2</mn><mn id="S6.E23.m1.3.3.3.3.1.1.3.2.3" xref="S6.E23.m1.3.3.3.3.1.1.3.2.3.cmml">0</mn></msubsup><mo lspace="0em" rspace="0em" id="S6.E23.m1.3.3.3.3.1.1.3.1" xref="S6.E23.m1.3.3.3.3.1.1.3.1.cmml">​</mo><mrow id="S6.E23.m1.3.3.3.3.1.1.3.3.2" xref="S6.E23.m1.3.3.3.3.1.1.3.cmml"><mo stretchy="false" id="S6.E23.m1.3.3.3.3.1.1.3.3.2.1" xref="S6.E23.m1.3.3.3.3.1.1.3.cmml">(</mo><mi id="S6.E23.m1.2.2.2.2" xref="S6.E23.m1.2.2.2.2.cmml">𝒙</mi><mo stretchy="false" id="S6.E23.m1.3.3.3.3.1.1.3.3.2.2" xref="S6.E23.m1.3.3.3.3.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="S6.E23.m1.3.3.3.3.1.3" xref="S6.E23.m1.3.3.3.3.2.1.cmml">‖</mo></mrow><mn id="S6.E23.m1.3.3.3.5" xref="S6.E23.m1.3.3.3.5.cmml">2</mn></msub><msub id="S6.E23.m1.5.5.5" xref="S6.E23.m1.5.5.5.cmml"><mrow id="S6.E23.m1.5.5.5.2.1" xref="S6.E23.m1.5.5.5.2.2.cmml"><mo stretchy="false" id="S6.E23.m1.5.5.5.2.1.2" xref="S6.E23.m1.5.5.5.2.2.1.cmml">‖</mo><mrow id="S6.E23.m1.5.5.5.2.1.1" xref="S6.E23.m1.5.5.5.2.1.1.cmml"><msubsup id="S6.E23.m1.5.5.5.2.1.1.2" xref="S6.E23.m1.5.5.5.2.1.1.2.cmml"><mi id="S6.E23.m1.5.5.5.2.1.1.2.2.2" xref="S6.E23.m1.5.5.5.2.1.1.2.2.2.cmml">𝒉</mi><mn id="S6.E23.m1.5.5.5.2.1.1.2.2.3" xref="S6.E23.m1.5.5.5.2.1.1.2.2.3.cmml">2</mn><mn id="S6.E23.m1.5.5.5.2.1.1.2.3" xref="S6.E23.m1.5.5.5.2.1.1.2.3.cmml">0</mn></msubsup><mo lspace="0em" rspace="0em" id="S6.E23.m1.5.5.5.2.1.1.1" xref="S6.E23.m1.5.5.5.2.1.1.1.cmml">​</mo><mrow id="S6.E23.m1.5.5.5.2.1.1.3.2" xref="S6.E23.m1.5.5.5.2.1.1.cmml"><mo stretchy="false" id="S6.E23.m1.5.5.5.2.1.1.3.2.1" xref="S6.E23.m1.5.5.5.2.1.1.cmml">(</mo><mi id="S6.E23.m1.4.4.4.1" xref="S6.E23.m1.4.4.4.1.cmml">𝒙</mi><mo stretchy="false" id="S6.E23.m1.5.5.5.2.1.1.3.2.2" xref="S6.E23.m1.5.5.5.2.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S6.E23.m1.5.5.5.2.1.3" xref="S6.E23.m1.5.5.5.2.2.1.cmml">‖</mo></mrow><mn id="S6.E23.m1.5.5.5.4" xref="S6.E23.m1.5.5.5.4.cmml">2</mn></msub></mfrac><mo id="S6.E23.m1.6.6.1.1.3.2.2" xref="S6.E23.m1.6.6.1.1.3.1.1.cmml">]</mo></mrow></mrow><mo id="S6.E23.m1.6.6.1.2" xref="S6.E23.m1.6.6.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="S6.E23.m1.6b"><apply id="S6.E23.m1.6.6.1.1.cmml" xref="S6.E23.m1.6.6.1"><times id="S6.E23.m1.6.6.1.1.1.cmml" xref="S6.E23.m1.6.6.1.1.1"></times><apply id="S6.E23.m1.6.6.1.1.2.cmml" xref="S6.E23.m1.6.6.1.1.2"><csymbol cd="ambiguous" id="S6.E23.m1.6.6.1.1.2.1.cmml" xref="S6.E23.m1.6.6.1.1.2">subscript</csymbol><ci id="S6.E23.m1.6.6.1.1.2.2.cmml" xref="S6.E23.m1.6.6.1.1.2.2">𝔼</ci><ci id="S6.E23.m1.6.6.1.1.2.3.cmml" xref="S6.E23.m1.6.6.1.1.2.3">𝒙</ci></apply><apply id="S6.E23.m1.6.6.1.1.3.1.cmml" xref="S6.E23.m1.6.6.1.1.3.2"><csymbol cd="latexml" id="S6.E23.m1.6.6.1.1.3.1.1.cmml" xref="S6.E23.m1.6.6.1.1.3.2.1">delimited-[]</csymbol><apply id="S6.E23.m1.5.5.cmml" xref="S6.E23.m1.5.5"><divide id="S6.E23.m1.5.5.6.cmml" xref="S6.E23.m1.5.5"></divide><apply id="S6.E23.m1.3.3.3.cmml" xref="S6.E23.m1.3.3.3"><csymbol cd="ambiguous" id="S6.E23.m1.3.3.3.4.cmml" xref="S6.E23.m1.3.3.3">subscript</csymbol><apply id="S6.E23.m1.3.3.3.3.2.cmml" xref="S6.E23.m1.3.3.3.3.1"><csymbol cd="latexml" id="S6.E23.m1.3.3.3.3.2.1.cmml" xref="S6.E23.m1.3.3.3.3.1.2">norm</csymbol><apply id="S6.E23.m1.3.3.3.3.1.1.cmml" xref="S6.E23.m1.3.3.3.3.1.1"><minus id="S6.E23.m1.3.3.3.3.1.1.1.cmml" xref="S6.E23.m1.3.3.3.3.1.1.1"></minus><apply id="S6.E23.m1.3.3.3.3.1.1.2.cmml" xref="S6.E23.m1.3.3.3.3.1.1.2"><times id="S6.E23.m1.3.3.3.3.1.1.2.1.cmml" xref="S6.E23.m1.3.3.3.3.1.1.2.1"></times><apply id="S6.E23.m1.3.3.3.3.1.1.2.2.cmml" xref="S6.E23.m1.3.3.3.3.1.1.2.2"><csymbol cd="ambiguous" id="S6.E23.m1.3.3.3.3.1.1.2.2.1.cmml" xref="S6.E23.m1.3.3.3.3.1.1.2.2">subscript</csymbol><ci id="S6.E23.m1.3.3.3.3.1.1.2.2.2.cmml" xref="S6.E23.m1.3.3.3.3.1.1.2.2.2">𝒉</ci><cn type="integer" id="S6.E23.m1.3.3.3.3.1.1.2.2.3.cmml" xref="S6.E23.m1.3.3.3.3.1.1.2.2.3">2</cn></apply><ci id="S6.E23.m1.1.1.1.1.cmml" xref="S6.E23.m1.1.1.1.1">𝒙</ci></apply><apply id="S6.E23.m1.3.3.3.3.1.1.3.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3"><times id="S6.E23.m1.3.3.3.3.1.1.3.1.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.1"></times><apply id="S6.E23.m1.3.3.3.3.1.1.3.2.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.2"><csymbol cd="ambiguous" id="S6.E23.m1.3.3.3.3.1.1.3.2.1.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.2">superscript</csymbol><apply id="S6.E23.m1.3.3.3.3.1.1.3.2.2.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.2"><csymbol cd="ambiguous" id="S6.E23.m1.3.3.3.3.1.1.3.2.2.1.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.2">subscript</csymbol><ci id="S6.E23.m1.3.3.3.3.1.1.3.2.2.2.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.2.2.2">𝒉</ci><cn type="integer" id="S6.E23.m1.3.3.3.3.1.1.3.2.2.3.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.2.2.3">2</cn></apply><cn type="integer" id="S6.E23.m1.3.3.3.3.1.1.3.2.3.cmml" xref="S6.E23.m1.3.3.3.3.1.1.3.2.3">0</cn></apply><ci id="S6.E23.m1.2.2.2.2.cmml" xref="S6.E23.m1.2.2.2.2">𝒙</ci></apply></apply></apply><cn type="integer" id="S6.E23.m1.3.3.3.5.cmml" xref="S6.E23.m1.3.3.3.5">2</cn></apply><apply id="S6.E23.m1.5.5.5.cmml" xref="S6.E23.m1.5.5.5"><csymbol cd="ambiguous" id="S6.E23.m1.5.5.5.3.cmml" xref="S6.E23.m1.5.5.5">subscript</csymbol><apply id="S6.E23.m1.5.5.5.2.2.cmml" xref="S6.E23.m1.5.5.5.2.1"><csymbol cd="latexml" id="S6.E23.m1.5.5.5.2.2.1.cmml" xref="S6.E23.m1.5.5.5.2.1.2">norm</csymbol><apply id="S6.E23.m1.5.5.5.2.1.1.cmml" xref="S6.E23.m1.5.5.5.2.1.1"><times id="S6.E23.m1.5.5.5.2.1.1.1.cmml" xref="S6.E23.m1.5.5.5.2.1.1.1"></times><apply id="S6.E23.m1.5.5.5.2.1.1.2.cmml" xref="S6.E23.m1.5.5.5.2.1.1.2"><csymbol cd="ambiguous" id="S6.E23.m1.5.5.5.2.1.1.2.1.cmml" xref="S6.E23.m1.5.5.5.2.1.1.2">superscript</csymbol><apply id="S6.E23.m1.5.5.5.2.1.1.2.2.cmml" xref="S6.E23.m1.5.5.5.2.1.1.2"><csymbol cd="ambiguous" id="S6.E23.m1.5.5.5.2.1.1.2.2.1.cmml" xref="S6.E23.m1.5.5.5.2.1.1.2">subscript</csymbol><ci id="S6.E23.m1.5.5.5.2.1.1.2.2.2.cmml" xref="S6.E23.m1.5.5.5.2.1.1.2.2.2">𝒉</ci><cn type="integer" id="S6.E23.m1.5.5.5.2.1.1.2.2.3.cmml" xref="S6.E23.m1.5.5.5.2.1.1.2.2.3">2</cn></apply><cn type="integer" id="S6.E23.m1.5.5.5.2.1.1.2.3.cmml" xref="S6.E23.m1.5.5.5.2.1.1.2.3">0</cn></apply><ci id="S6.E23.m1.4.4.4.1.cmml" xref="S6.E23.m1.4.4.4.1">𝒙</ci></apply></apply><cn type="integer" id="S6.E23.m1.5.5.5.4.cmml" xref="S6.E23.m1.5.5.5.4">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.E23.m1.6c">\mathbb{E}_{{\bm{x}}}\!\left[\frac{\left|\!\left|{\bm{h}}_{2}({\bm{x}})-{\bm{h}}_{2}^{0}({\bm{x}})\right|\!\right|_{2}}{\left|\!\left|{\bm{h}}_{2}^{0}({\bm{x}})\right|\!\right|_{2}}\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(23)</span></td>
</tr></tbody>
</table>
<p id="S6.p3.6" class="ltx_p">where <math id="S6.p3.1.m1.1" class="ltx_Math" alttext="{\bm{h}}_{2}^{0}({\bm{x}})" display="inline"><semantics id="S6.p3.1.m1.1a"><mrow id="S6.p3.1.m1.1.2" xref="S6.p3.1.m1.1.2.cmml"><msubsup id="S6.p3.1.m1.1.2.2" xref="S6.p3.1.m1.1.2.2.cmml"><mi id="S6.p3.1.m1.1.2.2.2.2" xref="S6.p3.1.m1.1.2.2.2.2.cmml">𝒉</mi><mn id="S6.p3.1.m1.1.2.2.2.3" xref="S6.p3.1.m1.1.2.2.2.3.cmml">2</mn><mn id="S6.p3.1.m1.1.2.2.3" xref="S6.p3.1.m1.1.2.2.3.cmml">0</mn></msubsup><mo lspace="0em" rspace="0em" id="S6.p3.1.m1.1.2.1" xref="S6.p3.1.m1.1.2.1.cmml">​</mo><mrow id="S6.p3.1.m1.1.2.3.2" xref="S6.p3.1.m1.1.2.cmml"><mo stretchy="false" id="S6.p3.1.m1.1.2.3.2.1" xref="S6.p3.1.m1.1.2.cmml">(</mo><mi id="S6.p3.1.m1.1.1" xref="S6.p3.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S6.p3.1.m1.1.2.3.2.2" xref="S6.p3.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.1.m1.1b"><apply id="S6.p3.1.m1.1.2.cmml" xref="S6.p3.1.m1.1.2"><times id="S6.p3.1.m1.1.2.1.cmml" xref="S6.p3.1.m1.1.2.1"></times><apply id="S6.p3.1.m1.1.2.2.cmml" xref="S6.p3.1.m1.1.2.2"><csymbol cd="ambiguous" id="S6.p3.1.m1.1.2.2.1.cmml" xref="S6.p3.1.m1.1.2.2">superscript</csymbol><apply id="S6.p3.1.m1.1.2.2.2.cmml" xref="S6.p3.1.m1.1.2.2"><csymbol cd="ambiguous" id="S6.p3.1.m1.1.2.2.2.1.cmml" xref="S6.p3.1.m1.1.2.2">subscript</csymbol><ci id="S6.p3.1.m1.1.2.2.2.2.cmml" xref="S6.p3.1.m1.1.2.2.2.2">𝒉</ci><cn type="integer" id="S6.p3.1.m1.1.2.2.2.3.cmml" xref="S6.p3.1.m1.1.2.2.2.3">2</cn></apply><cn type="integer" id="S6.p3.1.m1.1.2.2.3.cmml" xref="S6.p3.1.m1.1.2.2.3">0</cn></apply><ci id="S6.p3.1.m1.1.1.cmml" xref="S6.p3.1.m1.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.1.m1.1c">{\bm{h}}_{2}^{0}({\bm{x}})</annotation></semantics></math> and <math id="S6.p3.2.m2.1" class="ltx_Math" alttext="{\bm{h}}_{2}({\bm{x}})" display="inline"><semantics id="S6.p3.2.m2.1a"><mrow id="S6.p3.2.m2.1.2" xref="S6.p3.2.m2.1.2.cmml"><msub id="S6.p3.2.m2.1.2.2" xref="S6.p3.2.m2.1.2.2.cmml"><mi id="S6.p3.2.m2.1.2.2.2" xref="S6.p3.2.m2.1.2.2.2.cmml">𝒉</mi><mn id="S6.p3.2.m2.1.2.2.3" xref="S6.p3.2.m2.1.2.2.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="S6.p3.2.m2.1.2.1" xref="S6.p3.2.m2.1.2.1.cmml">​</mo><mrow id="S6.p3.2.m2.1.2.3.2" xref="S6.p3.2.m2.1.2.cmml"><mo stretchy="false" id="S6.p3.2.m2.1.2.3.2.1" xref="S6.p3.2.m2.1.2.cmml">(</mo><mi id="S6.p3.2.m2.1.1" xref="S6.p3.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="S6.p3.2.m2.1.2.3.2.2" xref="S6.p3.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.2.m2.1b"><apply id="S6.p3.2.m2.1.2.cmml" xref="S6.p3.2.m2.1.2"><times id="S6.p3.2.m2.1.2.1.cmml" xref="S6.p3.2.m2.1.2.1"></times><apply id="S6.p3.2.m2.1.2.2.cmml" xref="S6.p3.2.m2.1.2.2"><csymbol cd="ambiguous" id="S6.p3.2.m2.1.2.2.1.cmml" xref="S6.p3.2.m2.1.2.2">subscript</csymbol><ci id="S6.p3.2.m2.1.2.2.2.cmml" xref="S6.p3.2.m2.1.2.2.2">𝒉</ci><cn type="integer" id="S6.p3.2.m2.1.2.2.3.cmml" xref="S6.p3.2.m2.1.2.2.3">2</cn></apply><ci id="S6.p3.2.m2.1.1.cmml" xref="S6.p3.2.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.2.m2.1c">{\bm{h}}_{2}({\bm{x}})</annotation></semantics></math> are the second (preactivation) hidden vector at initialization and after training respectively, and the expectation is over samples <math id="S6.p3.3.m3.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="S6.p3.3.m3.1a"><mi id="S6.p3.3.m3.1.1" xref="S6.p3.3.m3.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="S6.p3.3.m3.1b"><ci id="S6.p3.3.m3.1.1.cmml" xref="S6.p3.3.m3.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.3.m3.1c">{\bm{x}}</annotation></semantics></math> from the batch.
As shown in <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a>A, this feature evolution ratio remains roughly fixed as width <math id="S6.p3.4.m4.1" class="ltx_Math" alttext="d" display="inline"><semantics id="S6.p3.4.m4.1a"><mi id="S6.p3.4.m4.1.1" xref="S6.p3.4.m4.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="S6.p3.4.m4.1b"><ci id="S6.p3.4.m4.1.1.cmml" xref="S6.p3.4.m4.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.4.m4.1c">d</annotation></semantics></math> grows when using <math id="S6.p3.5.m5.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S6.p3.5.m5.1a"><mi id="S6.p3.5.m5.1.1" xref="S6.p3.5.m5.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S6.p3.5.m5.1b"><ci id="S6.p3.5.m5.1.1.cmml" xref="S6.p3.5.m5.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.5.m5.1c">\mu</annotation></semantics></math>P, in satisfaction of <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
By contrast, it decays as <math id="S6.p3.6.m6.1" class="ltx_Math" alttext="1/\sqrt{0pt}" display="inline"><semantics id="S6.p3.6.m6.1a"><mrow id="S6.p3.6.m6.1.1" xref="S6.p3.6.m6.1.1.cmml"><mn id="S6.p3.6.m6.1.1.2" xref="S6.p3.6.m6.1.1.2.cmml">1</mn><mo id="S6.p3.6.m6.1.1.1" xref="S6.p3.6.m6.1.1.1.cmml">/</mo><msqrt id="S6.p3.6.m6.1.1.3" xref="S6.p3.6.m6.1.1.3.cmml"><mrow id="S6.p3.6.m6.1.1.3.2" xref="S6.p3.6.m6.1.1.3.2.cmml"><mn id="S6.p3.6.m6.1.1.3.2.2" xref="S6.p3.6.m6.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p3.6.m6.1.1.3.2.1" xref="S6.p3.6.m6.1.1.3.2.1.cmml">​</mo><mi id="S6.p3.6.m6.1.1.3.2.3" xref="S6.p3.6.m6.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p3.6.m6.1.1.3.2.1a" xref="S6.p3.6.m6.1.1.3.2.1.cmml">​</mo><mi id="S6.p3.6.m6.1.1.3.2.4" xref="S6.p3.6.m6.1.1.3.2.4.cmml">t</mi></mrow></msqrt></mrow><annotation-xml encoding="MathML-Content" id="S6.p3.6.m6.1b"><apply id="S6.p3.6.m6.1.1.cmml" xref="S6.p3.6.m6.1.1"><divide id="S6.p3.6.m6.1.1.1.cmml" xref="S6.p3.6.m6.1.1.1"></divide><cn type="integer" id="S6.p3.6.m6.1.1.2.cmml" xref="S6.p3.6.m6.1.1.2">1</cn><apply id="S6.p3.6.m6.1.1.3.cmml" xref="S6.p3.6.m6.1.1.3"><root id="S6.p3.6.m6.1.1.3a.cmml" xref="S6.p3.6.m6.1.1.3"></root><apply id="S6.p3.6.m6.1.1.3.2.cmml" xref="S6.p3.6.m6.1.1.3.2"><times id="S6.p3.6.m6.1.1.3.2.1.cmml" xref="S6.p3.6.m6.1.1.3.2.1"></times><cn type="integer" id="S6.p3.6.m6.1.1.3.2.2.cmml" xref="S6.p3.6.m6.1.1.3.2.2">0</cn><ci id="S6.p3.6.m6.1.1.3.2.3.cmml" xref="S6.p3.6.m6.1.1.3.2.3">𝑝</ci><ci id="S6.p3.6.m6.1.1.3.2.4.cmml" xref="S6.p3.6.m6.1.1.3.2.4">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p3.6.m6.1c">1/\sqrt{0pt}</annotation></semantics></math> for the NTP as predicted by <cite class="ltx_cite ltx_citemacro_citet">Lee et al. (<a href="#bib.bib27" title="" class="ltx_ref">2019</a>)</cite>.</p>
</div>
<div id="S6.p4" class="ltx_para ltx_noindent">
<p id="S6.p4.5" class="ltx_p"><span id="S6.p4.5.1" class="ltx_text ltx_font_bold">Spectral norms of weight updates.</span>
We measure the relative change in weights in spectral norm:
<math id="S6.p4.1.m1.2" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{2}-{\bm{W}}_{2}^{0}\right|\!\right|_{*}/\left|\!\left|{\bm{W}}_{2}^{0}\right|\!\right|_{*}" display="inline"><semantics id="S6.p4.1.m1.2a"><mrow id="S6.p4.1.m1.2.2" xref="S6.p4.1.m1.2.2.cmml"><msub id="S6.p4.1.m1.1.1.1" xref="S6.p4.1.m1.1.1.1.cmml"><mrow id="S6.p4.1.m1.1.1.1.1.1" xref="S6.p4.1.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="S6.p4.1.m1.1.1.1.1.1.2" xref="S6.p4.1.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S6.p4.1.m1.1.1.1.1.1.1" xref="S6.p4.1.m1.1.1.1.1.1.1.cmml"><msub id="S6.p4.1.m1.1.1.1.1.1.1.2" xref="S6.p4.1.m1.1.1.1.1.1.1.2.cmml"><mi id="S6.p4.1.m1.1.1.1.1.1.1.2.2" xref="S6.p4.1.m1.1.1.1.1.1.1.2.2.cmml">𝑾</mi><mn id="S6.p4.1.m1.1.1.1.1.1.1.2.3" xref="S6.p4.1.m1.1.1.1.1.1.1.2.3.cmml">2</mn></msub><mo id="S6.p4.1.m1.1.1.1.1.1.1.1" xref="S6.p4.1.m1.1.1.1.1.1.1.1.cmml">−</mo><msubsup id="S6.p4.1.m1.1.1.1.1.1.1.3" xref="S6.p4.1.m1.1.1.1.1.1.1.3.cmml"><mi id="S6.p4.1.m1.1.1.1.1.1.1.3.2.2" xref="S6.p4.1.m1.1.1.1.1.1.1.3.2.2.cmml">𝑾</mi><mn id="S6.p4.1.m1.1.1.1.1.1.1.3.2.3" xref="S6.p4.1.m1.1.1.1.1.1.1.3.2.3.cmml">2</mn><mn id="S6.p4.1.m1.1.1.1.1.1.1.3.3" xref="S6.p4.1.m1.1.1.1.1.1.1.3.3.cmml">0</mn></msubsup></mrow><mo stretchy="false" id="S6.p4.1.m1.1.1.1.1.1.3" xref="S6.p4.1.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="S6.p4.1.m1.1.1.1.3" xref="S6.p4.1.m1.1.1.1.3.cmml">∗</mo></msub><mo id="S6.p4.1.m1.2.2.3" xref="S6.p4.1.m1.2.2.3.cmml">/</mo><msub id="S6.p4.1.m1.2.2.2" xref="S6.p4.1.m1.2.2.2.cmml"><mrow id="S6.p4.1.m1.2.2.2.1.1" xref="S6.p4.1.m1.2.2.2.1.2.cmml"><mo stretchy="false" id="S6.p4.1.m1.2.2.2.1.1.2" xref="S6.p4.1.m1.2.2.2.1.2.1.cmml">‖</mo><msubsup id="S6.p4.1.m1.2.2.2.1.1.1" xref="S6.p4.1.m1.2.2.2.1.1.1.cmml"><mi id="S6.p4.1.m1.2.2.2.1.1.1.2.2" xref="S6.p4.1.m1.2.2.2.1.1.1.2.2.cmml">𝑾</mi><mn id="S6.p4.1.m1.2.2.2.1.1.1.2.3" xref="S6.p4.1.m1.2.2.2.1.1.1.2.3.cmml">2</mn><mn id="S6.p4.1.m1.2.2.2.1.1.1.3" xref="S6.p4.1.m1.2.2.2.1.1.1.3.cmml">0</mn></msubsup><mo stretchy="false" id="S6.p4.1.m1.2.2.2.1.1.3" xref="S6.p4.1.m1.2.2.2.1.2.1.cmml">‖</mo></mrow><mo id="S6.p4.1.m1.2.2.2.3" xref="S6.p4.1.m1.2.2.2.3.cmml">∗</mo></msub></mrow><annotation-xml encoding="MathML-Content" id="S6.p4.1.m1.2b"><apply id="S6.p4.1.m1.2.2.cmml" xref="S6.p4.1.m1.2.2"><divide id="S6.p4.1.m1.2.2.3.cmml" xref="S6.p4.1.m1.2.2.3"></divide><apply id="S6.p4.1.m1.1.1.1.cmml" xref="S6.p4.1.m1.1.1.1"><csymbol cd="ambiguous" id="S6.p4.1.m1.1.1.1.2.cmml" xref="S6.p4.1.m1.1.1.1">subscript</csymbol><apply id="S6.p4.1.m1.1.1.1.1.2.cmml" xref="S6.p4.1.m1.1.1.1.1.1"><csymbol cd="latexml" id="S6.p4.1.m1.1.1.1.1.2.1.cmml" xref="S6.p4.1.m1.1.1.1.1.1.2">norm</csymbol><apply id="S6.p4.1.m1.1.1.1.1.1.1.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1"><minus id="S6.p4.1.m1.1.1.1.1.1.1.1.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.1"></minus><apply id="S6.p4.1.m1.1.1.1.1.1.1.2.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S6.p4.1.m1.1.1.1.1.1.1.2.1.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.2">subscript</csymbol><ci id="S6.p4.1.m1.1.1.1.1.1.1.2.2.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.2.2">𝑾</ci><cn type="integer" id="S6.p4.1.m1.1.1.1.1.1.1.2.3.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.2.3">2</cn></apply><apply id="S6.p4.1.m1.1.1.1.1.1.1.3.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S6.p4.1.m1.1.1.1.1.1.1.3.1.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.3">superscript</csymbol><apply id="S6.p4.1.m1.1.1.1.1.1.1.3.2.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S6.p4.1.m1.1.1.1.1.1.1.3.2.1.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S6.p4.1.m1.1.1.1.1.1.1.3.2.2.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.3.2.2">𝑾</ci><cn type="integer" id="S6.p4.1.m1.1.1.1.1.1.1.3.2.3.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.3.2.3">2</cn></apply><cn type="integer" id="S6.p4.1.m1.1.1.1.1.1.1.3.3.cmml" xref="S6.p4.1.m1.1.1.1.1.1.1.3.3">0</cn></apply></apply></apply><times id="S6.p4.1.m1.1.1.1.3.cmml" xref="S6.p4.1.m1.1.1.1.3"></times></apply><apply id="S6.p4.1.m1.2.2.2.cmml" xref="S6.p4.1.m1.2.2.2"><csymbol cd="ambiguous" id="S6.p4.1.m1.2.2.2.2.cmml" xref="S6.p4.1.m1.2.2.2">subscript</csymbol><apply id="S6.p4.1.m1.2.2.2.1.2.cmml" xref="S6.p4.1.m1.2.2.2.1.1"><csymbol cd="latexml" id="S6.p4.1.m1.2.2.2.1.2.1.cmml" xref="S6.p4.1.m1.2.2.2.1.1.2">norm</csymbol><apply id="S6.p4.1.m1.2.2.2.1.1.1.cmml" xref="S6.p4.1.m1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="S6.p4.1.m1.2.2.2.1.1.1.1.cmml" xref="S6.p4.1.m1.2.2.2.1.1.1">superscript</csymbol><apply id="S6.p4.1.m1.2.2.2.1.1.1.2.cmml" xref="S6.p4.1.m1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="S6.p4.1.m1.2.2.2.1.1.1.2.1.cmml" xref="S6.p4.1.m1.2.2.2.1.1.1">subscript</csymbol><ci id="S6.p4.1.m1.2.2.2.1.1.1.2.2.cmml" xref="S6.p4.1.m1.2.2.2.1.1.1.2.2">𝑾</ci><cn type="integer" id="S6.p4.1.m1.2.2.2.1.1.1.2.3.cmml" xref="S6.p4.1.m1.2.2.2.1.1.1.2.3">2</cn></apply><cn type="integer" id="S6.p4.1.m1.2.2.2.1.1.1.3.cmml" xref="S6.p4.1.m1.2.2.2.1.1.1.3">0</cn></apply></apply><times id="S6.p4.1.m1.2.2.2.3.cmml" xref="S6.p4.1.m1.2.2.2.3"></times></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p4.1.m1.2c">\left|\!\left|{\bm{W}}_{2}-{\bm{W}}_{2}^{0}\right|\!\right|_{*}/\left|\!\left|{\bm{W}}_{2}^{0}\right|\!\right|_{*}</annotation></semantics></math>,
where <math id="S6.p4.2.m2.1" class="ltx_Math" alttext="{\bm{W}}_{2}^{0}" display="inline"><semantics id="S6.p4.2.m2.1a"><msubsup id="S6.p4.2.m2.1.1" xref="S6.p4.2.m2.1.1.cmml"><mi id="S6.p4.2.m2.1.1.2.2" xref="S6.p4.2.m2.1.1.2.2.cmml">𝑾</mi><mn id="S6.p4.2.m2.1.1.2.3" xref="S6.p4.2.m2.1.1.2.3.cmml">2</mn><mn id="S6.p4.2.m2.1.1.3" xref="S6.p4.2.m2.1.1.3.cmml">0</mn></msubsup><annotation-xml encoding="MathML-Content" id="S6.p4.2.m2.1b"><apply id="S6.p4.2.m2.1.1.cmml" xref="S6.p4.2.m2.1.1"><csymbol cd="ambiguous" id="S6.p4.2.m2.1.1.1.cmml" xref="S6.p4.2.m2.1.1">superscript</csymbol><apply id="S6.p4.2.m2.1.1.2.cmml" xref="S6.p4.2.m2.1.1"><csymbol cd="ambiguous" id="S6.p4.2.m2.1.1.2.1.cmml" xref="S6.p4.2.m2.1.1">subscript</csymbol><ci id="S6.p4.2.m2.1.1.2.2.cmml" xref="S6.p4.2.m2.1.1.2.2">𝑾</ci><cn type="integer" id="S6.p4.2.m2.1.1.2.3.cmml" xref="S6.p4.2.m2.1.1.2.3">2</cn></apply><cn type="integer" id="S6.p4.2.m2.1.1.3.cmml" xref="S6.p4.2.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p4.2.m2.1c">{\bm{W}}_{2}^{0}</annotation></semantics></math> and <math id="S6.p4.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{2}" display="inline"><semantics id="S6.p4.3.m3.1a"><msub id="S6.p4.3.m3.1.1" xref="S6.p4.3.m3.1.1.cmml"><mi id="S6.p4.3.m3.1.1.2" xref="S6.p4.3.m3.1.1.2.cmml">𝑾</mi><mn id="S6.p4.3.m3.1.1.3" xref="S6.p4.3.m3.1.1.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="S6.p4.3.m3.1b"><apply id="S6.p4.3.m3.1.1.cmml" xref="S6.p4.3.m3.1.1"><csymbol cd="ambiguous" id="S6.p4.3.m3.1.1.1.cmml" xref="S6.p4.3.m3.1.1">subscript</csymbol><ci id="S6.p4.3.m3.1.1.2.cmml" xref="S6.p4.3.m3.1.1.2">𝑾</ci><cn type="integer" id="S6.p4.3.m3.1.1.3.cmml" xref="S6.p4.3.m3.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p4.3.m3.1c">{\bm{W}}_{2}</annotation></semantics></math> are the second weight matrix before and after training, respectively.
As shown in <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a>B, this ratio remains roughly fixed with width in the case of <math id="S6.p4.4.m4.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S6.p4.4.m4.1a"><mi id="S6.p4.4.m4.1.1" xref="S6.p4.4.m4.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S6.p4.4.m4.1b"><ci id="S6.p4.4.m4.1.1.cmml" xref="S6.p4.4.m4.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p4.4.m4.1c">\mu</annotation></semantics></math>P, in accordance with <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.
By contrast, it decays as <math id="S6.p4.5.m5.1" class="ltx_Math" alttext="1/\sqrt{0pt}" display="inline"><semantics id="S6.p4.5.m5.1a"><mrow id="S6.p4.5.m5.1.1" xref="S6.p4.5.m5.1.1.cmml"><mn id="S6.p4.5.m5.1.1.2" xref="S6.p4.5.m5.1.1.2.cmml">1</mn><mo id="S6.p4.5.m5.1.1.1" xref="S6.p4.5.m5.1.1.1.cmml">/</mo><msqrt id="S6.p4.5.m5.1.1.3" xref="S6.p4.5.m5.1.1.3.cmml"><mrow id="S6.p4.5.m5.1.1.3.2" xref="S6.p4.5.m5.1.1.3.2.cmml"><mn id="S6.p4.5.m5.1.1.3.2.2" xref="S6.p4.5.m5.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p4.5.m5.1.1.3.2.1" xref="S6.p4.5.m5.1.1.3.2.1.cmml">​</mo><mi id="S6.p4.5.m5.1.1.3.2.3" xref="S6.p4.5.m5.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p4.5.m5.1.1.3.2.1a" xref="S6.p4.5.m5.1.1.3.2.1.cmml">​</mo><mi id="S6.p4.5.m5.1.1.3.2.4" xref="S6.p4.5.m5.1.1.3.2.4.cmml">t</mi></mrow></msqrt></mrow><annotation-xml encoding="MathML-Content" id="S6.p4.5.m5.1b"><apply id="S6.p4.5.m5.1.1.cmml" xref="S6.p4.5.m5.1.1"><divide id="S6.p4.5.m5.1.1.1.cmml" xref="S6.p4.5.m5.1.1.1"></divide><cn type="integer" id="S6.p4.5.m5.1.1.2.cmml" xref="S6.p4.5.m5.1.1.2">1</cn><apply id="S6.p4.5.m5.1.1.3.cmml" xref="S6.p4.5.m5.1.1.3"><root id="S6.p4.5.m5.1.1.3a.cmml" xref="S6.p4.5.m5.1.1.3"></root><apply id="S6.p4.5.m5.1.1.3.2.cmml" xref="S6.p4.5.m5.1.1.3.2"><times id="S6.p4.5.m5.1.1.3.2.1.cmml" xref="S6.p4.5.m5.1.1.3.2.1"></times><cn type="integer" id="S6.p4.5.m5.1.1.3.2.2.cmml" xref="S6.p4.5.m5.1.1.3.2.2">0</cn><ci id="S6.p4.5.m5.1.1.3.2.3.cmml" xref="S6.p4.5.m5.1.1.3.2.3">𝑝</ci><ci id="S6.p4.5.m5.1.1.3.2.4.cmml" xref="S6.p4.5.m5.1.1.3.2.4">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p4.5.m5.1c">1/\sqrt{0pt}</annotation></semantics></math> for the NTP.</p>
</div>
<div id="S6.p5" class="ltx_para ltx_noindent">
<p id="S6.p5.5" class="ltx_p"><span id="S6.p5.5.1" class="ltx_text ltx_font_bold">Final-layer alignment.</span>
We measure the alignment of the final layer to incoming vectors as follows:</p>
<table id="S6.E24" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="S6.E24.m1.6" class="ltx_Math" alttext="\textrm{Final-layer alignment}\vcentcolon=\mathbb{E}_{x}\!\left[\frac{\left|\!\left|{\bm{W}}_{3}{\bm{h}}^{\prime}_{2}({\bm{x}})\right|\!\right|_{2}}{\left|\!\left|{\bm{W}}_{3}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}^{\prime}_{2}({\bm{x}})\right|\!\right|_{2}}\right]." display="block"><semantics id="S6.E24.m1.6a"><mrow id="S6.E24.m1.6.6.1" xref="S6.E24.m1.6.6.1.1.cmml"><mrow id="S6.E24.m1.6.6.1.1" xref="S6.E24.m1.6.6.1.1.cmml"><mtext id="S6.E24.m1.6.6.1.1.2" xref="S6.E24.m1.6.6.1.1.2a.cmml">Final-layer alignment</mtext><mo lspace="0.278em" rspace="0.278em" id="S6.E24.m1.6.6.1.1.1" xref="S6.E24.m1.6.6.1.1.1.cmml">:=</mo><mrow id="S6.E24.m1.6.6.1.1.3" xref="S6.E24.m1.6.6.1.1.3.cmml"><msub id="S6.E24.m1.6.6.1.1.3.2" xref="S6.E24.m1.6.6.1.1.3.2.cmml"><mi id="S6.E24.m1.6.6.1.1.3.2.2" xref="S6.E24.m1.6.6.1.1.3.2.2.cmml">𝔼</mi><mi id="S6.E24.m1.6.6.1.1.3.2.3" xref="S6.E24.m1.6.6.1.1.3.2.3.cmml">x</mi></msub><mo lspace="0em" rspace="0em" id="S6.E24.m1.6.6.1.1.3.1" xref="S6.E24.m1.6.6.1.1.3.1.cmml">​</mo><mrow id="S6.E24.m1.6.6.1.1.3.3.2" xref="S6.E24.m1.6.6.1.1.3.3.1.cmml"><mo id="S6.E24.m1.6.6.1.1.3.3.2.1" xref="S6.E24.m1.6.6.1.1.3.3.1.1.cmml">[</mo><mfrac id="S6.E24.m1.5.5" xref="S6.E24.m1.5.5.cmml"><msub id="S6.E24.m1.2.2.2" xref="S6.E24.m1.2.2.2.cmml"><mrow id="S6.E24.m1.2.2.2.2.1" xref="S6.E24.m1.2.2.2.2.2.cmml"><mo stretchy="false" id="S6.E24.m1.2.2.2.2.1.2" xref="S6.E24.m1.2.2.2.2.2.1.cmml">‖</mo><mrow id="S6.E24.m1.2.2.2.2.1.1" xref="S6.E24.m1.2.2.2.2.1.1.cmml"><msub id="S6.E24.m1.2.2.2.2.1.1.2" xref="S6.E24.m1.2.2.2.2.1.1.2.cmml"><mi id="S6.E24.m1.2.2.2.2.1.1.2.2" xref="S6.E24.m1.2.2.2.2.1.1.2.2.cmml">𝑾</mi><mn id="S6.E24.m1.2.2.2.2.1.1.2.3" xref="S6.E24.m1.2.2.2.2.1.1.2.3.cmml">3</mn></msub><mo lspace="0em" rspace="0em" id="S6.E24.m1.2.2.2.2.1.1.1" xref="S6.E24.m1.2.2.2.2.1.1.1.cmml">​</mo><msubsup id="S6.E24.m1.2.2.2.2.1.1.3" xref="S6.E24.m1.2.2.2.2.1.1.3.cmml"><mi id="S6.E24.m1.2.2.2.2.1.1.3.2.2" xref="S6.E24.m1.2.2.2.2.1.1.3.2.2.cmml">𝒉</mi><mn id="S6.E24.m1.2.2.2.2.1.1.3.3" xref="S6.E24.m1.2.2.2.2.1.1.3.3.cmml">2</mn><mo id="S6.E24.m1.2.2.2.2.1.1.3.2.3" xref="S6.E24.m1.2.2.2.2.1.1.3.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S6.E24.m1.2.2.2.2.1.1.1a" xref="S6.E24.m1.2.2.2.2.1.1.1.cmml">​</mo><mrow id="S6.E24.m1.2.2.2.2.1.1.4.2" xref="S6.E24.m1.2.2.2.2.1.1.cmml"><mo stretchy="false" id="S6.E24.m1.2.2.2.2.1.1.4.2.1" xref="S6.E24.m1.2.2.2.2.1.1.cmml">(</mo><mi id="S6.E24.m1.1.1.1.1" xref="S6.E24.m1.1.1.1.1.cmml">𝒙</mi><mo stretchy="false" id="S6.E24.m1.2.2.2.2.1.1.4.2.2" xref="S6.E24.m1.2.2.2.2.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S6.E24.m1.2.2.2.2.1.3" xref="S6.E24.m1.2.2.2.2.2.1.cmml">‖</mo></mrow><mn id="S6.E24.m1.2.2.2.4" xref="S6.E24.m1.2.2.2.4.cmml">2</mn></msub><mrow id="S6.E24.m1.5.5.5" xref="S6.E24.m1.5.5.5.cmml"><msub id="S6.E24.m1.4.4.4.2" xref="S6.E24.m1.4.4.4.2.cmml"><mrow id="S6.E24.m1.4.4.4.2.1.1" xref="S6.E24.m1.4.4.4.2.1.2.cmml"><mo stretchy="false" id="S6.E24.m1.4.4.4.2.1.1.2" xref="S6.E24.m1.4.4.4.2.1.2.1.cmml">‖</mo><msub id="S6.E24.m1.4.4.4.2.1.1.1" xref="S6.E24.m1.4.4.4.2.1.1.1.cmml"><mi id="S6.E24.m1.4.4.4.2.1.1.1.2" xref="S6.E24.m1.4.4.4.2.1.1.1.2.cmml">𝑾</mi><mn id="S6.E24.m1.4.4.4.2.1.1.1.3" xref="S6.E24.m1.4.4.4.2.1.1.1.3.cmml">3</mn></msub><mo stretchy="false" id="S6.E24.m1.4.4.4.2.1.1.3" xref="S6.E24.m1.4.4.4.2.1.2.1.cmml">‖</mo></mrow><mo id="S6.E24.m1.4.4.4.2.3" xref="S6.E24.m1.4.4.4.2.3.cmml">∗</mo></msub><mo lspace="0.222em" rspace="0.222em" id="S6.E24.m1.5.5.5.4" xref="S6.E24.m1.5.5.5.4.cmml">⋅</mo><msub id="S6.E24.m1.5.5.5.3" xref="S6.E24.m1.5.5.5.3.cmml"><mrow id="S6.E24.m1.5.5.5.3.1.1" xref="S6.E24.m1.5.5.5.3.1.2.cmml"><mo stretchy="false" id="S6.E24.m1.5.5.5.3.1.1.2" xref="S6.E24.m1.5.5.5.3.1.2.1.cmml">‖</mo><mrow id="S6.E24.m1.5.5.5.3.1.1.1" xref="S6.E24.m1.5.5.5.3.1.1.1.cmml"><msubsup id="S6.E24.m1.5.5.5.3.1.1.1.2" xref="S6.E24.m1.5.5.5.3.1.1.1.2.cmml"><mi id="S6.E24.m1.5.5.5.3.1.1.1.2.2.2" xref="S6.E24.m1.5.5.5.3.1.1.1.2.2.2.cmml">𝒉</mi><mn id="S6.E24.m1.5.5.5.3.1.1.1.2.3" xref="S6.E24.m1.5.5.5.3.1.1.1.2.3.cmml">2</mn><mo id="S6.E24.m1.5.5.5.3.1.1.1.2.2.3" xref="S6.E24.m1.5.5.5.3.1.1.1.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="S6.E24.m1.5.5.5.3.1.1.1.1" xref="S6.E24.m1.5.5.5.3.1.1.1.1.cmml">​</mo><mrow id="S6.E24.m1.5.5.5.3.1.1.1.3.2" xref="S6.E24.m1.5.5.5.3.1.1.1.cmml"><mo stretchy="false" id="S6.E24.m1.5.5.5.3.1.1.1.3.2.1" xref="S6.E24.m1.5.5.5.3.1.1.1.cmml">(</mo><mi id="S6.E24.m1.3.3.3.1" xref="S6.E24.m1.3.3.3.1.cmml">𝒙</mi><mo stretchy="false" id="S6.E24.m1.5.5.5.3.1.1.1.3.2.2" xref="S6.E24.m1.5.5.5.3.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="S6.E24.m1.5.5.5.3.1.1.3" xref="S6.E24.m1.5.5.5.3.1.2.1.cmml">‖</mo></mrow><mn id="S6.E24.m1.5.5.5.3.3" xref="S6.E24.m1.5.5.5.3.3.cmml">2</mn></msub></mrow></mfrac><mo id="S6.E24.m1.6.6.1.1.3.3.2.2" xref="S6.E24.m1.6.6.1.1.3.3.1.1.cmml">]</mo></mrow></mrow></mrow><mo lspace="0em" id="S6.E24.m1.6.6.1.2" xref="S6.E24.m1.6.6.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="S6.E24.m1.6b"><apply id="S6.E24.m1.6.6.1.1.cmml" xref="S6.E24.m1.6.6.1"><csymbol cd="latexml" id="S6.E24.m1.6.6.1.1.1.cmml" xref="S6.E24.m1.6.6.1.1.1">assign</csymbol><ci id="S6.E24.m1.6.6.1.1.2a.cmml" xref="S6.E24.m1.6.6.1.1.2"><mtext id="S6.E24.m1.6.6.1.1.2.cmml" xref="S6.E24.m1.6.6.1.1.2">Final-layer alignment</mtext></ci><apply id="S6.E24.m1.6.6.1.1.3.cmml" xref="S6.E24.m1.6.6.1.1.3"><times id="S6.E24.m1.6.6.1.1.3.1.cmml" xref="S6.E24.m1.6.6.1.1.3.1"></times><apply id="S6.E24.m1.6.6.1.1.3.2.cmml" xref="S6.E24.m1.6.6.1.1.3.2"><csymbol cd="ambiguous" id="S6.E24.m1.6.6.1.1.3.2.1.cmml" xref="S6.E24.m1.6.6.1.1.3.2">subscript</csymbol><ci id="S6.E24.m1.6.6.1.1.3.2.2.cmml" xref="S6.E24.m1.6.6.1.1.3.2.2">𝔼</ci><ci id="S6.E24.m1.6.6.1.1.3.2.3.cmml" xref="S6.E24.m1.6.6.1.1.3.2.3">𝑥</ci></apply><apply id="S6.E24.m1.6.6.1.1.3.3.1.cmml" xref="S6.E24.m1.6.6.1.1.3.3.2"><csymbol cd="latexml" id="S6.E24.m1.6.6.1.1.3.3.1.1.cmml" xref="S6.E24.m1.6.6.1.1.3.3.2.1">delimited-[]</csymbol><apply id="S6.E24.m1.5.5.cmml" xref="S6.E24.m1.5.5"><divide id="S6.E24.m1.5.5.6.cmml" xref="S6.E24.m1.5.5"></divide><apply id="S6.E24.m1.2.2.2.cmml" xref="S6.E24.m1.2.2.2"><csymbol cd="ambiguous" id="S6.E24.m1.2.2.2.3.cmml" xref="S6.E24.m1.2.2.2">subscript</csymbol><apply id="S6.E24.m1.2.2.2.2.2.cmml" xref="S6.E24.m1.2.2.2.2.1"><csymbol cd="latexml" id="S6.E24.m1.2.2.2.2.2.1.cmml" xref="S6.E24.m1.2.2.2.2.1.2">norm</csymbol><apply id="S6.E24.m1.2.2.2.2.1.1.cmml" xref="S6.E24.m1.2.2.2.2.1.1"><times id="S6.E24.m1.2.2.2.2.1.1.1.cmml" xref="S6.E24.m1.2.2.2.2.1.1.1"></times><apply id="S6.E24.m1.2.2.2.2.1.1.2.cmml" xref="S6.E24.m1.2.2.2.2.1.1.2"><csymbol cd="ambiguous" id="S6.E24.m1.2.2.2.2.1.1.2.1.cmml" xref="S6.E24.m1.2.2.2.2.1.1.2">subscript</csymbol><ci id="S6.E24.m1.2.2.2.2.1.1.2.2.cmml" xref="S6.E24.m1.2.2.2.2.1.1.2.2">𝑾</ci><cn type="integer" id="S6.E24.m1.2.2.2.2.1.1.2.3.cmml" xref="S6.E24.m1.2.2.2.2.1.1.2.3">3</cn></apply><apply id="S6.E24.m1.2.2.2.2.1.1.3.cmml" xref="S6.E24.m1.2.2.2.2.1.1.3"><csymbol cd="ambiguous" id="S6.E24.m1.2.2.2.2.1.1.3.1.cmml" xref="S6.E24.m1.2.2.2.2.1.1.3">subscript</csymbol><apply id="S6.E24.m1.2.2.2.2.1.1.3.2.cmml" xref="S6.E24.m1.2.2.2.2.1.1.3"><csymbol cd="ambiguous" id="S6.E24.m1.2.2.2.2.1.1.3.2.1.cmml" xref="S6.E24.m1.2.2.2.2.1.1.3">superscript</csymbol><ci id="S6.E24.m1.2.2.2.2.1.1.3.2.2.cmml" xref="S6.E24.m1.2.2.2.2.1.1.3.2.2">𝒉</ci><ci id="S6.E24.m1.2.2.2.2.1.1.3.2.3.cmml" xref="S6.E24.m1.2.2.2.2.1.1.3.2.3">′</ci></apply><cn type="integer" id="S6.E24.m1.2.2.2.2.1.1.3.3.cmml" xref="S6.E24.m1.2.2.2.2.1.1.3.3">2</cn></apply><ci id="S6.E24.m1.1.1.1.1.cmml" xref="S6.E24.m1.1.1.1.1">𝒙</ci></apply></apply><cn type="integer" id="S6.E24.m1.2.2.2.4.cmml" xref="S6.E24.m1.2.2.2.4">2</cn></apply><apply id="S6.E24.m1.5.5.5.cmml" xref="S6.E24.m1.5.5.5"><ci id="S6.E24.m1.5.5.5.4.cmml" xref="S6.E24.m1.5.5.5.4">⋅</ci><apply id="S6.E24.m1.4.4.4.2.cmml" xref="S6.E24.m1.4.4.4.2"><csymbol cd="ambiguous" id="S6.E24.m1.4.4.4.2.2.cmml" xref="S6.E24.m1.4.4.4.2">subscript</csymbol><apply id="S6.E24.m1.4.4.4.2.1.2.cmml" xref="S6.E24.m1.4.4.4.2.1.1"><csymbol cd="latexml" id="S6.E24.m1.4.4.4.2.1.2.1.cmml" xref="S6.E24.m1.4.4.4.2.1.1.2">norm</csymbol><apply id="S6.E24.m1.4.4.4.2.1.1.1.cmml" xref="S6.E24.m1.4.4.4.2.1.1.1"><csymbol cd="ambiguous" id="S6.E24.m1.4.4.4.2.1.1.1.1.cmml" xref="S6.E24.m1.4.4.4.2.1.1.1">subscript</csymbol><ci id="S6.E24.m1.4.4.4.2.1.1.1.2.cmml" xref="S6.E24.m1.4.4.4.2.1.1.1.2">𝑾</ci><cn type="integer" id="S6.E24.m1.4.4.4.2.1.1.1.3.cmml" xref="S6.E24.m1.4.4.4.2.1.1.1.3">3</cn></apply></apply><times id="S6.E24.m1.4.4.4.2.3.cmml" xref="S6.E24.m1.4.4.4.2.3"></times></apply><apply id="S6.E24.m1.5.5.5.3.cmml" xref="S6.E24.m1.5.5.5.3"><csymbol cd="ambiguous" id="S6.E24.m1.5.5.5.3.2.cmml" xref="S6.E24.m1.5.5.5.3">subscript</csymbol><apply id="S6.E24.m1.5.5.5.3.1.2.cmml" xref="S6.E24.m1.5.5.5.3.1.1"><csymbol cd="latexml" id="S6.E24.m1.5.5.5.3.1.2.1.cmml" xref="S6.E24.m1.5.5.5.3.1.1.2">norm</csymbol><apply id="S6.E24.m1.5.5.5.3.1.1.1.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1"><times id="S6.E24.m1.5.5.5.3.1.1.1.1.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.1"></times><apply id="S6.E24.m1.5.5.5.3.1.1.1.2.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.2"><csymbol cd="ambiguous" id="S6.E24.m1.5.5.5.3.1.1.1.2.1.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.2">subscript</csymbol><apply id="S6.E24.m1.5.5.5.3.1.1.1.2.2.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.2"><csymbol cd="ambiguous" id="S6.E24.m1.5.5.5.3.1.1.1.2.2.1.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.2">superscript</csymbol><ci id="S6.E24.m1.5.5.5.3.1.1.1.2.2.2.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.2.2.2">𝒉</ci><ci id="S6.E24.m1.5.5.5.3.1.1.1.2.2.3.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.2.2.3">′</ci></apply><cn type="integer" id="S6.E24.m1.5.5.5.3.1.1.1.2.3.cmml" xref="S6.E24.m1.5.5.5.3.1.1.1.2.3">2</cn></apply><ci id="S6.E24.m1.3.3.3.1.cmml" xref="S6.E24.m1.3.3.3.1">𝒙</ci></apply></apply><cn type="integer" id="S6.E24.m1.5.5.5.3.3.cmml" xref="S6.E24.m1.5.5.5.3.3">2</cn></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.E24.m1.6c">\textrm{Final-layer alignment}\vcentcolon=\mathbb{E}_{x}\!\left[\frac{\left|\!\left|{\bm{W}}_{3}{\bm{h}}^{\prime}_{2}({\bm{x}})\right|\!\right|_{2}}{\left|\!\left|{\bm{W}}_{3}\right|\!\right|_{*}\cdot\left|\!\left|{\bm{h}}^{\prime}_{2}({\bm{x}})\right|\!\right|_{2}}\right].</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(24)</span></td>
</tr></tbody>
</table>
<p id="S6.p5.4" class="ltx_p">This quantity is <math id="S6.p5.1.m1.1" class="ltx_Math" alttext="\Theta(1/\sqrt{0pt})" display="inline"><semantics id="S6.p5.1.m1.1a"><mrow id="S6.p5.1.m1.1.1" xref="S6.p5.1.m1.1.1.cmml"><mi mathvariant="normal" id="S6.p5.1.m1.1.1.3" xref="S6.p5.1.m1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S6.p5.1.m1.1.1.2" xref="S6.p5.1.m1.1.1.2.cmml">​</mo><mrow id="S6.p5.1.m1.1.1.1.1" xref="S6.p5.1.m1.1.1.1.1.1.cmml"><mo stretchy="false" id="S6.p5.1.m1.1.1.1.1.2" xref="S6.p5.1.m1.1.1.1.1.1.cmml">(</mo><mrow id="S6.p5.1.m1.1.1.1.1.1" xref="S6.p5.1.m1.1.1.1.1.1.cmml"><mn id="S6.p5.1.m1.1.1.1.1.1.2" xref="S6.p5.1.m1.1.1.1.1.1.2.cmml">1</mn><mo id="S6.p5.1.m1.1.1.1.1.1.1" xref="S6.p5.1.m1.1.1.1.1.1.1.cmml">/</mo><msqrt id="S6.p5.1.m1.1.1.1.1.1.3" xref="S6.p5.1.m1.1.1.1.1.1.3.cmml"><mrow id="S6.p5.1.m1.1.1.1.1.1.3.2" xref="S6.p5.1.m1.1.1.1.1.1.3.2.cmml"><mn id="S6.p5.1.m1.1.1.1.1.1.3.2.2" xref="S6.p5.1.m1.1.1.1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p5.1.m1.1.1.1.1.1.3.2.1" xref="S6.p5.1.m1.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S6.p5.1.m1.1.1.1.1.1.3.2.3" xref="S6.p5.1.m1.1.1.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p5.1.m1.1.1.1.1.1.3.2.1a" xref="S6.p5.1.m1.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S6.p5.1.m1.1.1.1.1.1.3.2.4" xref="S6.p5.1.m1.1.1.1.1.1.3.2.4.cmml">t</mi></mrow></msqrt></mrow><mo stretchy="false" id="S6.p5.1.m1.1.1.1.1.3" xref="S6.p5.1.m1.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p5.1.m1.1b"><apply id="S6.p5.1.m1.1.1.cmml" xref="S6.p5.1.m1.1.1"><times id="S6.p5.1.m1.1.1.2.cmml" xref="S6.p5.1.m1.1.1.2"></times><ci id="S6.p5.1.m1.1.1.3.cmml" xref="S6.p5.1.m1.1.1.3">Θ</ci><apply id="S6.p5.1.m1.1.1.1.1.1.cmml" xref="S6.p5.1.m1.1.1.1.1"><divide id="S6.p5.1.m1.1.1.1.1.1.1.cmml" xref="S6.p5.1.m1.1.1.1.1.1.1"></divide><cn type="integer" id="S6.p5.1.m1.1.1.1.1.1.2.cmml" xref="S6.p5.1.m1.1.1.1.1.1.2">1</cn><apply id="S6.p5.1.m1.1.1.1.1.1.3.cmml" xref="S6.p5.1.m1.1.1.1.1.1.3"><root id="S6.p5.1.m1.1.1.1.1.1.3a.cmml" xref="S6.p5.1.m1.1.1.1.1.1.3"></root><apply id="S6.p5.1.m1.1.1.1.1.1.3.2.cmml" xref="S6.p5.1.m1.1.1.1.1.1.3.2"><times id="S6.p5.1.m1.1.1.1.1.1.3.2.1.cmml" xref="S6.p5.1.m1.1.1.1.1.1.3.2.1"></times><cn type="integer" id="S6.p5.1.m1.1.1.1.1.1.3.2.2.cmml" xref="S6.p5.1.m1.1.1.1.1.1.3.2.2">0</cn><ci id="S6.p5.1.m1.1.1.1.1.1.3.2.3.cmml" xref="S6.p5.1.m1.1.1.1.1.1.3.2.3">𝑝</ci><ci id="S6.p5.1.m1.1.1.1.1.1.3.2.4.cmml" xref="S6.p5.1.m1.1.1.1.1.1.3.2.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p5.1.m1.1c">\Theta(1/\sqrt{0pt})</annotation></semantics></math> at initialization.
As shown in <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a>C, it grows to <math id="S6.p5.2.m2.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S6.p5.2.m2.1a"><mrow id="S6.p5.2.m2.1.2" xref="S6.p5.2.m2.1.2.cmml"><mi mathvariant="normal" id="S6.p5.2.m2.1.2.2" xref="S6.p5.2.m2.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S6.p5.2.m2.1.2.1" xref="S6.p5.2.m2.1.2.1.cmml">​</mo><mrow id="S6.p5.2.m2.1.2.3.2" xref="S6.p5.2.m2.1.2.cmml"><mo stretchy="false" id="S6.p5.2.m2.1.2.3.2.1" xref="S6.p5.2.m2.1.2.cmml">(</mo><mn id="S6.p5.2.m2.1.1" xref="S6.p5.2.m2.1.1.cmml">1</mn><mo stretchy="false" id="S6.p5.2.m2.1.2.3.2.2" xref="S6.p5.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p5.2.m2.1b"><apply id="S6.p5.2.m2.1.2.cmml" xref="S6.p5.2.m2.1.2"><times id="S6.p5.2.m2.1.2.1.cmml" xref="S6.p5.2.m2.1.2.1"></times><ci id="S6.p5.2.m2.1.2.2.cmml" xref="S6.p5.2.m2.1.2.2">Θ</ci><cn type="integer" id="S6.p5.2.m2.1.1.cmml" xref="S6.p5.2.m2.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p5.2.m2.1c">\Theta(1)</annotation></semantics></math> when using <math id="S6.p5.3.m3.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S6.p5.3.m3.1a"><mi id="S6.p5.3.m3.1.1" xref="S6.p5.3.m3.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S6.p5.3.m3.1b"><ci id="S6.p5.3.m3.1.1.cmml" xref="S6.p5.3.m3.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S6.p5.3.m3.1c">\mu</annotation></semantics></math>P but remains <math id="S6.p5.4.m4.1" class="ltx_Math" alttext="\Theta(1/\sqrt{0pt})" display="inline"><semantics id="S6.p5.4.m4.1a"><mrow id="S6.p5.4.m4.1.1" xref="S6.p5.4.m4.1.1.cmml"><mi mathvariant="normal" id="S6.p5.4.m4.1.1.3" xref="S6.p5.4.m4.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S6.p5.4.m4.1.1.2" xref="S6.p5.4.m4.1.1.2.cmml">​</mo><mrow id="S6.p5.4.m4.1.1.1.1" xref="S6.p5.4.m4.1.1.1.1.1.cmml"><mo stretchy="false" id="S6.p5.4.m4.1.1.1.1.2" xref="S6.p5.4.m4.1.1.1.1.1.cmml">(</mo><mrow id="S6.p5.4.m4.1.1.1.1.1" xref="S6.p5.4.m4.1.1.1.1.1.cmml"><mn id="S6.p5.4.m4.1.1.1.1.1.2" xref="S6.p5.4.m4.1.1.1.1.1.2.cmml">1</mn><mo id="S6.p5.4.m4.1.1.1.1.1.1" xref="S6.p5.4.m4.1.1.1.1.1.1.cmml">/</mo><msqrt id="S6.p5.4.m4.1.1.1.1.1.3" xref="S6.p5.4.m4.1.1.1.1.1.3.cmml"><mrow id="S6.p5.4.m4.1.1.1.1.1.3.2" xref="S6.p5.4.m4.1.1.1.1.1.3.2.cmml"><mn id="S6.p5.4.m4.1.1.1.1.1.3.2.2" xref="S6.p5.4.m4.1.1.1.1.1.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S6.p5.4.m4.1.1.1.1.1.3.2.1" xref="S6.p5.4.m4.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S6.p5.4.m4.1.1.1.1.1.3.2.3" xref="S6.p5.4.m4.1.1.1.1.1.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S6.p5.4.m4.1.1.1.1.1.3.2.1a" xref="S6.p5.4.m4.1.1.1.1.1.3.2.1.cmml">​</mo><mi id="S6.p5.4.m4.1.1.1.1.1.3.2.4" xref="S6.p5.4.m4.1.1.1.1.1.3.2.4.cmml">t</mi></mrow></msqrt></mrow><mo stretchy="false" id="S6.p5.4.m4.1.1.1.1.3" xref="S6.p5.4.m4.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S6.p5.4.m4.1b"><apply id="S6.p5.4.m4.1.1.cmml" xref="S6.p5.4.m4.1.1"><times id="S6.p5.4.m4.1.1.2.cmml" xref="S6.p5.4.m4.1.1.2"></times><ci id="S6.p5.4.m4.1.1.3.cmml" xref="S6.p5.4.m4.1.1.3">Θ</ci><apply id="S6.p5.4.m4.1.1.1.1.1.cmml" xref="S6.p5.4.m4.1.1.1.1"><divide id="S6.p5.4.m4.1.1.1.1.1.1.cmml" xref="S6.p5.4.m4.1.1.1.1.1.1"></divide><cn type="integer" id="S6.p5.4.m4.1.1.1.1.1.2.cmml" xref="S6.p5.4.m4.1.1.1.1.1.2">1</cn><apply id="S6.p5.4.m4.1.1.1.1.1.3.cmml" xref="S6.p5.4.m4.1.1.1.1.1.3"><root id="S6.p5.4.m4.1.1.1.1.1.3a.cmml" xref="S6.p5.4.m4.1.1.1.1.1.3"></root><apply id="S6.p5.4.m4.1.1.1.1.1.3.2.cmml" xref="S6.p5.4.m4.1.1.1.1.1.3.2"><times id="S6.p5.4.m4.1.1.1.1.1.3.2.1.cmml" xref="S6.p5.4.m4.1.1.1.1.1.3.2.1"></times><cn type="integer" id="S6.p5.4.m4.1.1.1.1.1.3.2.2.cmml" xref="S6.p5.4.m4.1.1.1.1.1.3.2.2">0</cn><ci id="S6.p5.4.m4.1.1.1.1.1.3.2.3.cmml" xref="S6.p5.4.m4.1.1.1.1.1.3.2.3">𝑝</ci><ci id="S6.p5.4.m4.1.1.1.1.1.3.2.4.cmml" xref="S6.p5.4.m4.1.1.1.1.1.3.2.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p5.4.m4.1c">\Theta(1/\sqrt{0pt})</annotation></semantics></math> when using the NTP.</p>
</div>
<div id="S6.p6" class="ltx_para ltx_noindent">
<p id="S6.p6.1" class="ltx_p"><span id="S6.p6.1.1" class="ltx_text ltx_font_bold">Frobenius norms of weight updates.</span>
One often hears the claim that “the weights don’t move” when training very wide neural networks.
Here we show that the validity of this claim crucially depends on the choice of metric.
In <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a>D, we show that the Frobenius norm is deceptive: the net relative change <math id="S6.p6.1.m1.2" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}_{2}-{\bm{W}}_{2}^{0}\right|\!\right|_{F}/\left|\!\left|{\bm{W}}_{2}^{0}\right|\!\right|_{F}" display="inline"><semantics id="S6.p6.1.m1.2a"><mrow id="S6.p6.1.m1.2.2" xref="S6.p6.1.m1.2.2.cmml"><msub id="S6.p6.1.m1.1.1.1" xref="S6.p6.1.m1.1.1.1.cmml"><mrow id="S6.p6.1.m1.1.1.1.1.1" xref="S6.p6.1.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="S6.p6.1.m1.1.1.1.1.1.2" xref="S6.p6.1.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="S6.p6.1.m1.1.1.1.1.1.1" xref="S6.p6.1.m1.1.1.1.1.1.1.cmml"><msub id="S6.p6.1.m1.1.1.1.1.1.1.2" xref="S6.p6.1.m1.1.1.1.1.1.1.2.cmml"><mi id="S6.p6.1.m1.1.1.1.1.1.1.2.2" xref="S6.p6.1.m1.1.1.1.1.1.1.2.2.cmml">𝑾</mi><mn id="S6.p6.1.m1.1.1.1.1.1.1.2.3" xref="S6.p6.1.m1.1.1.1.1.1.1.2.3.cmml">2</mn></msub><mo id="S6.p6.1.m1.1.1.1.1.1.1.1" xref="S6.p6.1.m1.1.1.1.1.1.1.1.cmml">−</mo><msubsup id="S6.p6.1.m1.1.1.1.1.1.1.3" xref="S6.p6.1.m1.1.1.1.1.1.1.3.cmml"><mi id="S6.p6.1.m1.1.1.1.1.1.1.3.2.2" xref="S6.p6.1.m1.1.1.1.1.1.1.3.2.2.cmml">𝑾</mi><mn id="S6.p6.1.m1.1.1.1.1.1.1.3.2.3" xref="S6.p6.1.m1.1.1.1.1.1.1.3.2.3.cmml">2</mn><mn id="S6.p6.1.m1.1.1.1.1.1.1.3.3" xref="S6.p6.1.m1.1.1.1.1.1.1.3.3.cmml">0</mn></msubsup></mrow><mo stretchy="false" id="S6.p6.1.m1.1.1.1.1.1.3" xref="S6.p6.1.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="S6.p6.1.m1.1.1.1.3" xref="S6.p6.1.m1.1.1.1.3.cmml">F</mi></msub><mo id="S6.p6.1.m1.2.2.3" xref="S6.p6.1.m1.2.2.3.cmml">/</mo><msub id="S6.p6.1.m1.2.2.2" xref="S6.p6.1.m1.2.2.2.cmml"><mrow id="S6.p6.1.m1.2.2.2.1.1" xref="S6.p6.1.m1.2.2.2.1.2.cmml"><mo stretchy="false" id="S6.p6.1.m1.2.2.2.1.1.2" xref="S6.p6.1.m1.2.2.2.1.2.1.cmml">‖</mo><msubsup id="S6.p6.1.m1.2.2.2.1.1.1" xref="S6.p6.1.m1.2.2.2.1.1.1.cmml"><mi id="S6.p6.1.m1.2.2.2.1.1.1.2.2" xref="S6.p6.1.m1.2.2.2.1.1.1.2.2.cmml">𝑾</mi><mn id="S6.p6.1.m1.2.2.2.1.1.1.2.3" xref="S6.p6.1.m1.2.2.2.1.1.1.2.3.cmml">2</mn><mn id="S6.p6.1.m1.2.2.2.1.1.1.3" xref="S6.p6.1.m1.2.2.2.1.1.1.3.cmml">0</mn></msubsup><mo stretchy="false" id="S6.p6.1.m1.2.2.2.1.1.3" xref="S6.p6.1.m1.2.2.2.1.2.1.cmml">‖</mo></mrow><mi id="S6.p6.1.m1.2.2.2.3" xref="S6.p6.1.m1.2.2.2.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S6.p6.1.m1.2b"><apply id="S6.p6.1.m1.2.2.cmml" xref="S6.p6.1.m1.2.2"><divide id="S6.p6.1.m1.2.2.3.cmml" xref="S6.p6.1.m1.2.2.3"></divide><apply id="S6.p6.1.m1.1.1.1.cmml" xref="S6.p6.1.m1.1.1.1"><csymbol cd="ambiguous" id="S6.p6.1.m1.1.1.1.2.cmml" xref="S6.p6.1.m1.1.1.1">subscript</csymbol><apply id="S6.p6.1.m1.1.1.1.1.2.cmml" xref="S6.p6.1.m1.1.1.1.1.1"><csymbol cd="latexml" id="S6.p6.1.m1.1.1.1.1.2.1.cmml" xref="S6.p6.1.m1.1.1.1.1.1.2">norm</csymbol><apply id="S6.p6.1.m1.1.1.1.1.1.1.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1"><minus id="S6.p6.1.m1.1.1.1.1.1.1.1.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.1"></minus><apply id="S6.p6.1.m1.1.1.1.1.1.1.2.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="S6.p6.1.m1.1.1.1.1.1.1.2.1.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.2">subscript</csymbol><ci id="S6.p6.1.m1.1.1.1.1.1.1.2.2.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.2.2">𝑾</ci><cn type="integer" id="S6.p6.1.m1.1.1.1.1.1.1.2.3.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.2.3">2</cn></apply><apply id="S6.p6.1.m1.1.1.1.1.1.1.3.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S6.p6.1.m1.1.1.1.1.1.1.3.1.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.3">superscript</csymbol><apply id="S6.p6.1.m1.1.1.1.1.1.1.3.2.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="S6.p6.1.m1.1.1.1.1.1.1.3.2.1.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.3">subscript</csymbol><ci id="S6.p6.1.m1.1.1.1.1.1.1.3.2.2.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.3.2.2">𝑾</ci><cn type="integer" id="S6.p6.1.m1.1.1.1.1.1.1.3.2.3.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.3.2.3">2</cn></apply><cn type="integer" id="S6.p6.1.m1.1.1.1.1.1.1.3.3.cmml" xref="S6.p6.1.m1.1.1.1.1.1.1.3.3">0</cn></apply></apply></apply><ci id="S6.p6.1.m1.1.1.1.3.cmml" xref="S6.p6.1.m1.1.1.1.3">𝐹</ci></apply><apply id="S6.p6.1.m1.2.2.2.cmml" xref="S6.p6.1.m1.2.2.2"><csymbol cd="ambiguous" id="S6.p6.1.m1.2.2.2.2.cmml" xref="S6.p6.1.m1.2.2.2">subscript</csymbol><apply id="S6.p6.1.m1.2.2.2.1.2.cmml" xref="S6.p6.1.m1.2.2.2.1.1"><csymbol cd="latexml" id="S6.p6.1.m1.2.2.2.1.2.1.cmml" xref="S6.p6.1.m1.2.2.2.1.1.2">norm</csymbol><apply id="S6.p6.1.m1.2.2.2.1.1.1.cmml" xref="S6.p6.1.m1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="S6.p6.1.m1.2.2.2.1.1.1.1.cmml" xref="S6.p6.1.m1.2.2.2.1.1.1">superscript</csymbol><apply id="S6.p6.1.m1.2.2.2.1.1.1.2.cmml" xref="S6.p6.1.m1.2.2.2.1.1.1"><csymbol cd="ambiguous" id="S6.p6.1.m1.2.2.2.1.1.1.2.1.cmml" xref="S6.p6.1.m1.2.2.2.1.1.1">subscript</csymbol><ci id="S6.p6.1.m1.2.2.2.1.1.1.2.2.cmml" xref="S6.p6.1.m1.2.2.2.1.1.1.2.2">𝑾</ci><cn type="integer" id="S6.p6.1.m1.2.2.2.1.1.1.2.3.cmml" xref="S6.p6.1.m1.2.2.2.1.1.1.2.3">2</cn></apply><cn type="integer" id="S6.p6.1.m1.2.2.2.1.1.1.3.cmml" xref="S6.p6.1.m1.2.2.2.1.1.1.3">0</cn></apply></apply><ci id="S6.p6.1.m1.2.2.2.3.cmml" xref="S6.p6.1.m1.2.2.2.3">𝐹</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S6.p6.1.m1.2c">\left|\!\left|{\bm{W}}_{2}-{\bm{W}}_{2}^{0}\right|\!\right|_{F}/\left|\!\left|{\bm{W}}_{2}^{0}\right|\!\right|_{F}</annotation></semantics></math> can decay with width even when the relative change in spectral norm is constant. This provides crucial context for interpreting existing results in the literature <cite class="ltx_cite ltx_citemacro_citep">(Lee et al., <a href="#bib.bib27" title="" class="ltx_ref">2019</a>, Figure 1)</cite>.</p>
</div>
</section>
<section id="S7" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">7 </span>Related work</h2>

<div id="S7.p1" class="ltx_para ltx_noindent">
<p id="S7.p1.1" class="ltx_p"><math id="S7.p1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S7.p1.1.m1.1a"><mi id="S7.p1.1.m1.1.1" xref="S7.p1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S7.p1.1.m1.1b"><ci id="S7.p1.1.m1.1.1.cmml" xref="S7.p1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S7.p1.1.m1.1c">\mu</annotation></semantics></math>P was derived heuristically from spectral norm considerations in talks given by the first author in 2021 <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Hu, <a href="#bib.bib45" title="" class="ltx_ref">2021a</a>)</cite>. Earlier work <cite class="ltx_cite ltx_citemacro_citep">(Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>)</cite> derived a spectral analysis of feature learning based on perturbation bounds, but that work obtained the wrong scaling relation with network width due to a flawed conditioning assumption on gradients. Below, we review various strands of related work on feature learning and training strategies.</p>
</div>
<div id="S7.p2" class="ltx_para ltx_noindent">
<p id="S7.p2.1" class="ltx_p"><span id="S7.p2.1.1" class="ltx_text ltx_font_bold">Parametrizations for wide neural networks.</span>
Much work has examined the scaling behavior of training dynamics of networks at large width.
Together, works on the “neural tangent kernel” (NTK) limit <cite class="ltx_cite ltx_citemacro_citep">(Jacot et al., <a href="#bib.bib22" title="" class="ltx_ref">2018</a>, Lee et al., <a href="#bib.bib27" title="" class="ltx_ref">2019</a>)</cite>, the “mean-field” limit <cite class="ltx_cite ltx_citemacro_citep">(Rotskoff &amp; Vanden-Eijnden, <a href="#bib.bib36" title="" class="ltx_ref">2022</a>, Mei et al., <a href="#bib.bib30" title="" class="ltx_ref">2019</a>, Sirignano &amp; Spiliopoulos, <a href="#bib.bib40" title="" class="ltx_ref">2022</a>)</cite>, and the related “feature learning” limit <cite class="ltx_cite ltx_citemacro_citep">(Geiger et al., <a href="#bib.bib18" title="" class="ltx_ref">2020</a>, Yaida, <a href="#bib.bib44" title="" class="ltx_ref">2022</a>, Yang &amp; Hu, <a href="#bib.bib46" title="" class="ltx_ref">2021b</a>)</cite> (i.e. the <math id="S7.p2.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S7.p2.1.m1.1a"><mi id="S7.p2.1.m1.1.1" xref="S7.p2.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S7.p2.1.m1.1b"><ci id="S7.p2.1.m1.1.1.cmml" xref="S7.p2.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S7.p2.1.m1.1c">\mu</annotation></semantics></math>P limit), paint a rich picture of a family of possible infinite-width scalings.
After healthy debate regarding the relative empirical performance of the (more analytically tractable) NTK limit and the feature learning limit, a recent consensus holds that learning features is usually beneficial in practical large-scale deep learning settings <cite class="ltx_cite ltx_citemacro_citep">(Chizat et al., <a href="#bib.bib13" title="" class="ltx_ref">2019</a>, Fort et al., <a href="#bib.bib17" title="" class="ltx_ref">2020</a>, Vyas et al., <a href="#bib.bib43" title="" class="ltx_ref">2022</a>)</cite>.
Our spectral scaling analysis recovers the feature learning limit in a simpler manner than previous analyses.</p>
</div>
<div id="S7.p3" class="ltx_para ltx_noindent">
<p id="S7.p3.3" class="ltx_p"><span id="S7.p3.3.1" class="ltx_text ltx_font_bold">Spectral normalization.</span> Spectral normalization emerged as a form of weight normalization in the generative adversarial network literature <cite class="ltx_cite ltx_citemacro_citep">(Miyato et al., <a href="#bib.bib31" title="" class="ltx_ref">2018</a>)</cite>. This form of normalization acts on the weight matrices, and is used analogously to other normalization schemes such as batchnorm <cite class="ltx_cite ltx_citemacro_citep">(Ioffe &amp; Szegedy, <a href="#bib.bib21" title="" class="ltx_ref">2015</a>)</cite> and layernorm <cite class="ltx_cite ltx_citemacro_citep">(Ba et al., <a href="#bib.bib4" title="" class="ltx_ref">2016</a>)</cite>.
In contrast to our spectral scaling condition (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>), this method treats only the weights <math id="S7.p3.1.m1.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}" display="inline"><semantics id="S7.p3.1.m1.1a"><msub id="S7.p3.1.m1.1.1" xref="S7.p3.1.m1.1.1.cmml"><mi id="S7.p3.1.m1.1.1.2" xref="S7.p3.1.m1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="S7.p3.1.m1.1.1.3" xref="S7.p3.1.m1.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="S7.p3.1.m1.1b"><apply id="S7.p3.1.m1.1.1.cmml" xref="S7.p3.1.m1.1.1"><csymbol cd="ambiguous" id="S7.p3.1.m1.1.1.1.cmml" xref="S7.p3.1.m1.1.1">subscript</csymbol><ci id="S7.p3.1.m1.1.1.2.cmml" xref="S7.p3.1.m1.1.1.2">𝑾</ci><ci id="S7.p3.1.m1.1.1.3.cmml" xref="S7.p3.1.m1.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="S7.p3.1.m1.1c">{\bm{W}}_{\ell}</annotation></semantics></math>, not the updates <math id="S7.p3.2.m2.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="S7.p3.2.m2.1a"><mrow id="S7.p3.2.m2.1.1" xref="S7.p3.2.m2.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="S7.p3.2.m2.1.1.2" xref="S7.p3.2.m2.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="S7.p3.2.m2.1.1.1" xref="S7.p3.2.m2.1.1.1.cmml">​</mo><msub id="S7.p3.2.m2.1.1.3" xref="S7.p3.2.m2.1.1.3.cmml"><mi id="S7.p3.2.m2.1.1.3.2" xref="S7.p3.2.m2.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="S7.p3.2.m2.1.1.3.3" xref="S7.p3.2.m2.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="S7.p3.2.m2.1b"><apply id="S7.p3.2.m2.1.1.cmml" xref="S7.p3.2.m2.1.1"><times id="S7.p3.2.m2.1.1.1.cmml" xref="S7.p3.2.m2.1.1.1"></times><ci id="S7.p3.2.m2.1.1.2.cmml" xref="S7.p3.2.m2.1.1.2">Δ</ci><apply id="S7.p3.2.m2.1.1.3.cmml" xref="S7.p3.2.m2.1.1.3"><csymbol cd="ambiguous" id="S7.p3.2.m2.1.1.3.1.cmml" xref="S7.p3.2.m2.1.1.3">subscript</csymbol><ci id="S7.p3.2.m2.1.1.3.2.cmml" xref="S7.p3.2.m2.1.1.3.2">𝑾</ci><ci id="S7.p3.2.m2.1.1.3.3.cmml" xref="S7.p3.2.m2.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S7.p3.2.m2.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math>. Furthermore, spectral normalization implementations typically set the spectral norm of weight matrices either to one or to a tunable hyperparameter <cite class="ltx_cite ltx_citemacro_citep">(Farnia et al., <a href="#bib.bib16" title="" class="ltx_ref">2019</a>)</cite>, and do not include the key factor of <math id="S7.p3.3.m3.1" class="ltx_Math" alttext="\sqrt{0pt_{\ell}/0pt_{\ell-1}}" display="inline"><semantics id="S7.p3.3.m3.1a"><msqrt id="S7.p3.3.m3.1.1" xref="S7.p3.3.m3.1.1.cmml"><mrow id="S7.p3.3.m3.1.1.2" xref="S7.p3.3.m3.1.1.2.cmml"><mrow id="S7.p3.3.m3.1.1.2.2" xref="S7.p3.3.m3.1.1.2.2.cmml"><mrow id="S7.p3.3.m3.1.1.2.2.2" xref="S7.p3.3.m3.1.1.2.2.2.cmml"><mn id="S7.p3.3.m3.1.1.2.2.2.2" xref="S7.p3.3.m3.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S7.p3.3.m3.1.1.2.2.2.1" xref="S7.p3.3.m3.1.1.2.2.2.1.cmml">​</mo><mi id="S7.p3.3.m3.1.1.2.2.2.3" xref="S7.p3.3.m3.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S7.p3.3.m3.1.1.2.2.2.1a" xref="S7.p3.3.m3.1.1.2.2.2.1.cmml">​</mo><msub id="S7.p3.3.m3.1.1.2.2.2.4" xref="S7.p3.3.m3.1.1.2.2.2.4.cmml"><mi id="S7.p3.3.m3.1.1.2.2.2.4.2" xref="S7.p3.3.m3.1.1.2.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="S7.p3.3.m3.1.1.2.2.2.4.3" xref="S7.p3.3.m3.1.1.2.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo id="S7.p3.3.m3.1.1.2.2.1" xref="S7.p3.3.m3.1.1.2.2.1.cmml">/</mo><mn id="S7.p3.3.m3.1.1.2.2.3" xref="S7.p3.3.m3.1.1.2.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="S7.p3.3.m3.1.1.2.1" xref="S7.p3.3.m3.1.1.2.1.cmml">​</mo><mi id="S7.p3.3.m3.1.1.2.3" xref="S7.p3.3.m3.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S7.p3.3.m3.1.1.2.1a" xref="S7.p3.3.m3.1.1.2.1.cmml">​</mo><msub id="S7.p3.3.m3.1.1.2.4" xref="S7.p3.3.m3.1.1.2.4.cmml"><mi id="S7.p3.3.m3.1.1.2.4.2" xref="S7.p3.3.m3.1.1.2.4.2.cmml">t</mi><mrow id="S7.p3.3.m3.1.1.2.4.3" xref="S7.p3.3.m3.1.1.2.4.3.cmml"><mi mathvariant="normal" id="S7.p3.3.m3.1.1.2.4.3.2" xref="S7.p3.3.m3.1.1.2.4.3.2.cmml">ℓ</mi><mo id="S7.p3.3.m3.1.1.2.4.3.1" xref="S7.p3.3.m3.1.1.2.4.3.1.cmml">−</mo><mn id="S7.p3.3.m3.1.1.2.4.3.3" xref="S7.p3.3.m3.1.1.2.4.3.3.cmml">1</mn></mrow></msub></mrow></msqrt><annotation-xml encoding="MathML-Content" id="S7.p3.3.m3.1b"><apply id="S7.p3.3.m3.1.1.cmml" xref="S7.p3.3.m3.1.1"><root id="S7.p3.3.m3.1.1a.cmml" xref="S7.p3.3.m3.1.1"></root><apply id="S7.p3.3.m3.1.1.2.cmml" xref="S7.p3.3.m3.1.1.2"><times id="S7.p3.3.m3.1.1.2.1.cmml" xref="S7.p3.3.m3.1.1.2.1"></times><apply id="S7.p3.3.m3.1.1.2.2.cmml" xref="S7.p3.3.m3.1.1.2.2"><divide id="S7.p3.3.m3.1.1.2.2.1.cmml" xref="S7.p3.3.m3.1.1.2.2.1"></divide><apply id="S7.p3.3.m3.1.1.2.2.2.cmml" xref="S7.p3.3.m3.1.1.2.2.2"><times id="S7.p3.3.m3.1.1.2.2.2.1.cmml" xref="S7.p3.3.m3.1.1.2.2.2.1"></times><cn type="integer" id="S7.p3.3.m3.1.1.2.2.2.2.cmml" xref="S7.p3.3.m3.1.1.2.2.2.2">0</cn><ci id="S7.p3.3.m3.1.1.2.2.2.3.cmml" xref="S7.p3.3.m3.1.1.2.2.2.3">𝑝</ci><apply id="S7.p3.3.m3.1.1.2.2.2.4.cmml" xref="S7.p3.3.m3.1.1.2.2.2.4"><csymbol cd="ambiguous" id="S7.p3.3.m3.1.1.2.2.2.4.1.cmml" xref="S7.p3.3.m3.1.1.2.2.2.4">subscript</csymbol><ci id="S7.p3.3.m3.1.1.2.2.2.4.2.cmml" xref="S7.p3.3.m3.1.1.2.2.2.4.2">𝑡</ci><ci id="S7.p3.3.m3.1.1.2.2.2.4.3.cmml" xref="S7.p3.3.m3.1.1.2.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="S7.p3.3.m3.1.1.2.2.3.cmml" xref="S7.p3.3.m3.1.1.2.2.3">0</cn></apply><ci id="S7.p3.3.m3.1.1.2.3.cmml" xref="S7.p3.3.m3.1.1.2.3">𝑝</ci><apply id="S7.p3.3.m3.1.1.2.4.cmml" xref="S7.p3.3.m3.1.1.2.4"><csymbol cd="ambiguous" id="S7.p3.3.m3.1.1.2.4.1.cmml" xref="S7.p3.3.m3.1.1.2.4">subscript</csymbol><ci id="S7.p3.3.m3.1.1.2.4.2.cmml" xref="S7.p3.3.m3.1.1.2.4.2">𝑡</ci><apply id="S7.p3.3.m3.1.1.2.4.3.cmml" xref="S7.p3.3.m3.1.1.2.4.3"><minus id="S7.p3.3.m3.1.1.2.4.3.1.cmml" xref="S7.p3.3.m3.1.1.2.4.3.1"></minus><ci id="S7.p3.3.m3.1.1.2.4.3.2.cmml" xref="S7.p3.3.m3.1.1.2.4.3.2">ℓ</ci><cn type="integer" id="S7.p3.3.m3.1.1.2.4.3.3.cmml" xref="S7.p3.3.m3.1.1.2.4.3.3">1</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S7.p3.3.m3.1c">\sqrt{0pt_{\ell}/0pt_{\ell-1}}</annotation></semantics></math> in our <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<div id="S7.p4" class="ltx_para ltx_noindent">
<p id="S7.p4.1" class="ltx_p"><span id="S7.p4.1.1" class="ltx_text ltx_font_bold">Operator theory of neural networks.</span> Neural networks are constructed by composing linear operators with elementwise nonlinearities. One line of work studies this operator structure and how it behaves under perturbation to understand how step sizes should be set in gradient descent. For instance, <cite class="ltx_cite ltx_citemacro_citet">Bernstein et al. (<a href="#bib.bib6" title="" class="ltx_ref">2020a</a>)</cite> derive perturbation bounds on the maximum amount of feature change that can be induced by a gradient step in terms of the operator properties of the weight matrices. Meanwhile, <cite class="ltx_cite ltx_citemacro_citet">Yang &amp; Hu (<a href="#bib.bib46" title="" class="ltx_ref">2021b</a>)</cite> study the operator structure of neural networks in the limit that width is taken to infinity, proposing a parametrization that obtains feature learning in this limit.</p>
</div>
<section id="S7.SS0.SSS0.Px1" class="ltx_paragraph">
<h5 class="ltx_title ltx_title_paragraph">Optimization theory.</h5>

<div id="S7.SS0.SSS0.Px1.p1" class="ltx_para ltx_noindent">
<p id="S7.SS0.SSS0.Px1.p1.1" class="ltx_p">A body of literature studies optimization algorithms for deep networks that take steps whose size is set relative to the weights to which they are applied <cite class="ltx_cite ltx_citemacro_citep">(You et al., <a href="#bib.bib49" title="" class="ltx_ref">2017</a>, Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>; <a href="#bib.bib7" title="" class="ltx_ref">b</a>, Liu et al., <a href="#bib.bib29" title="" class="ltx_ref">2021</a>, Carbonnelle &amp; Vleeschouwer, <a href="#bib.bib12" title="" class="ltx_ref">2019</a>, Shazeer &amp; Stern, <a href="#bib.bib38" title="" class="ltx_ref">2018</a>)</cite>.
A particular focus has been placed on setting the Frobenius norm of update steps to be small relative to the Frobenius norm of the weight matrices <cite class="ltx_cite ltx_citemacro_citep">(You et al., <a href="#bib.bib49" title="" class="ltx_ref">2017</a>, Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>; <a href="#bib.bib7" title="" class="ltx_ref">b</a>, Liu et al., <a href="#bib.bib29" title="" class="ltx_ref">2021</a>)</cite>.
A main practical takeaway of this paper is that the Frobenius norm should be replaced by the spectral norm to get proper width scaling. The source of the difference between Frobenius and spectral norm is that gradient updates tend to have low stable rank, as shown in <a href="#S3.F1" title="In 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">1</span></a>, while the weights themselves tend to have high stable rank.</p>
</div>
</section>
</section>
<section id="S8" class="ltx_section">
<h2 class="ltx_title ltx_title_section">
<span class="ltx_tag ltx_tag_section">8 </span>Conclusion</h2>

<div id="S8.p1" class="ltx_para ltx_noindent">
<p id="S8.p1.1" class="ltx_p">We have presented an analysis of the dynamics of feature learning in deep neural networks, beginning with desired conditions on feature evolution (<a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) and culminating in the demonstration that these conditions may be achieved by simple scaling rules (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> and <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) applied uniformly to each layer.
Our analysis recovers and generalizes practically-important “feature-learning parametrizations” and provides a simple, unifying perspective on the question of parametrization in wide neural networks. For comparison, formal results derived under the <span id="S8.p1.1.1" class="ltx_text ltx_font_italic">tensor programs</span> framework are given in <a href="#A2" title="Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">B</span></a>.</p>
</div>
<div id="S8.p2" class="ltx_para ltx_noindent">
<p id="S8.p2.1" class="ltx_p">Our discussion has focused principally on MLPs for clarity, but our feature learning desideratum and spectral scaling condition can be directly applied to structured architectures.
The spectral scaling condition may be applied to multi-index tensors as appear in convolutional architectures by applying the condition to appropriate “slices” of the full tensor.
Simple application of our spectral scaling condition recovers <math id="S8.p2.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="S8.p2.1.m1.1a"><mi id="S8.p2.1.m1.1.1" xref="S8.p2.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="S8.p2.1.m1.1b"><ci id="S8.p2.1.m1.1.1.cmml" xref="S8.p2.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="S8.p2.1.m1.1c">\mu</annotation></semantics></math>P scalings reported for these model classes (see e.g. <cite class="ltx_cite ltx_citemacro_citet">Yang et al. (<a href="#bib.bib48" title="" class="ltx_ref">2021</a>)</cite>, Table 8 and Section J.2).
We also give the hyperparameter scalings for biases (which are easily derived but omitted in the main text for clarity)
in Appendix <a href="#A4" title="Appendix D Scalings for biases ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">D</span></a>.
This architectural universality is also proven rigorously in <a href="#A2" title="Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">B</span></a>.</p>
</div>
<div id="S8.p3" class="ltx_para ltx_noindent">
<p id="S8.p3.4" class="ltx_p">Finally, we note that under a natural redefinition of the <math id="S8.p3.1.m1.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="S8.p3.1.m1.1a"><msup id="S8.p3.1.m1.1.1" xref="S8.p3.1.m1.1.1.cmml"><mi mathvariant="normal" id="S8.p3.1.m1.1.1.2" xref="S8.p3.1.m1.1.1.2.cmml">ℓ</mi><mn id="S8.p3.1.m1.1.1.3" xref="S8.p3.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="S8.p3.1.m1.1b"><apply id="S8.p3.1.m1.1.1.cmml" xref="S8.p3.1.m1.1.1"><csymbol cd="ambiguous" id="S8.p3.1.m1.1.1.1.cmml" xref="S8.p3.1.m1.1.1">superscript</csymbol><ci id="S8.p3.1.m1.1.1.2.cmml" xref="S8.p3.1.m1.1.1.2">ℓ</ci><cn type="integer" id="S8.p3.1.m1.1.1.3.cmml" xref="S8.p3.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S8.p3.1.m1.1c">\ell^{2}</annotation></semantics></math>-norm of a vector <math id="S8.p3.2.m2.1" class="ltx_Math" alttext="{\bm{v}}\in\mathbb{R}^{0}pt" display="inline"><semantics id="S8.p3.2.m2.1a"><mrow id="S8.p3.2.m2.1.1" xref="S8.p3.2.m2.1.1.cmml"><mi id="S8.p3.2.m2.1.1.2" xref="S8.p3.2.m2.1.1.2.cmml">𝒗</mi><mo id="S8.p3.2.m2.1.1.1" xref="S8.p3.2.m2.1.1.1.cmml">∈</mo><mrow id="S8.p3.2.m2.1.1.3" xref="S8.p3.2.m2.1.1.3.cmml"><msup id="S8.p3.2.m2.1.1.3.2" xref="S8.p3.2.m2.1.1.3.2.cmml"><mi id="S8.p3.2.m2.1.1.3.2.2" xref="S8.p3.2.m2.1.1.3.2.2.cmml">ℝ</mi><mn id="S8.p3.2.m2.1.1.3.2.3" xref="S8.p3.2.m2.1.1.3.2.3.cmml">0</mn></msup><mo lspace="0em" rspace="0em" id="S8.p3.2.m2.1.1.3.1" xref="S8.p3.2.m2.1.1.3.1.cmml">​</mo><mi id="S8.p3.2.m2.1.1.3.3" xref="S8.p3.2.m2.1.1.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S8.p3.2.m2.1.1.3.1a" xref="S8.p3.2.m2.1.1.3.1.cmml">​</mo><mi id="S8.p3.2.m2.1.1.3.4" xref="S8.p3.2.m2.1.1.3.4.cmml">t</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="S8.p3.2.m2.1b"><apply id="S8.p3.2.m2.1.1.cmml" xref="S8.p3.2.m2.1.1"><in id="S8.p3.2.m2.1.1.1.cmml" xref="S8.p3.2.m2.1.1.1"></in><ci id="S8.p3.2.m2.1.1.2.cmml" xref="S8.p3.2.m2.1.1.2">𝒗</ci><apply id="S8.p3.2.m2.1.1.3.cmml" xref="S8.p3.2.m2.1.1.3"><times id="S8.p3.2.m2.1.1.3.1.cmml" xref="S8.p3.2.m2.1.1.3.1"></times><apply id="S8.p3.2.m2.1.1.3.2.cmml" xref="S8.p3.2.m2.1.1.3.2"><csymbol cd="ambiguous" id="S8.p3.2.m2.1.1.3.2.1.cmml" xref="S8.p3.2.m2.1.1.3.2">superscript</csymbol><ci id="S8.p3.2.m2.1.1.3.2.2.cmml" xref="S8.p3.2.m2.1.1.3.2.2">ℝ</ci><cn type="integer" id="S8.p3.2.m2.1.1.3.2.3.cmml" xref="S8.p3.2.m2.1.1.3.2.3">0</cn></apply><ci id="S8.p3.2.m2.1.1.3.3.cmml" xref="S8.p3.2.m2.1.1.3.3">𝑝</ci><ci id="S8.p3.2.m2.1.1.3.4.cmml" xref="S8.p3.2.m2.1.1.3.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S8.p3.2.m2.1c">{\bm{v}}\in\mathbb{R}^{0}pt</annotation></semantics></math> incorporating a normalization prefactor, <span id="S8.p3.4.1" class="ltx_text ltx_font_italic">all vector and matrix norms used in our spectral analysis</span> become <math id="S8.p3.3.m3.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="S8.p3.3.m3.1a"><mrow id="S8.p3.3.m3.1.2" xref="S8.p3.3.m3.1.2.cmml"><mi mathvariant="normal" id="S8.p3.3.m3.1.2.2" xref="S8.p3.3.m3.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S8.p3.3.m3.1.2.1" xref="S8.p3.3.m3.1.2.1.cmml">​</mo><mrow id="S8.p3.3.m3.1.2.3.2" xref="S8.p3.3.m3.1.2.cmml"><mo stretchy="false" id="S8.p3.3.m3.1.2.3.2.1" xref="S8.p3.3.m3.1.2.cmml">(</mo><mn id="S8.p3.3.m3.1.1" xref="S8.p3.3.m3.1.1.cmml">1</mn><mo stretchy="false" id="S8.p3.3.m3.1.2.3.2.2" xref="S8.p3.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="S8.p3.3.m3.1b"><apply id="S8.p3.3.m3.1.2.cmml" xref="S8.p3.3.m3.1.2"><times id="S8.p3.3.m3.1.2.1.cmml" xref="S8.p3.3.m3.1.2.1"></times><ci id="S8.p3.3.m3.1.2.2.cmml" xref="S8.p3.3.m3.1.2.2">Θ</ci><cn type="integer" id="S8.p3.3.m3.1.1.cmml" xref="S8.p3.3.m3.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="S8.p3.3.m3.1c">\Theta(1)</annotation></semantics></math>, permitting an elegant summary of our conclusions.
We state and discuss this nondimensionalization procedure in <a href="#A5" title="Appendix E Nondimensionalization and natural norms ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">E</span></a>.
This generalization permits the extension of our results to e.g. the input layer in language modeling, in which one-hot embeddings violate our assumption that <math id="S8.p3.4.m4.2" class="ltx_Math" alttext="\left|\!\left|{\bm{x}}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{0}})" display="inline"><semantics id="S8.p3.4.m4.2a"><mrow id="S8.p3.4.m4.2.3" xref="S8.p3.4.m4.2.3.cmml"><msub id="S8.p3.4.m4.2.3.2" xref="S8.p3.4.m4.2.3.2.cmml"><mrow id="S8.p3.4.m4.2.3.2.2.2" xref="S8.p3.4.m4.2.3.2.2.1.cmml"><mo stretchy="false" id="S8.p3.4.m4.2.3.2.2.2.1" xref="S8.p3.4.m4.2.3.2.2.1.1.cmml">‖</mo><mi id="S8.p3.4.m4.1.1" xref="S8.p3.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="S8.p3.4.m4.2.3.2.2.2.2" xref="S8.p3.4.m4.2.3.2.2.1.1.cmml">‖</mo></mrow><mn id="S8.p3.4.m4.2.3.2.3" xref="S8.p3.4.m4.2.3.2.3.cmml">2</mn></msub><mo id="S8.p3.4.m4.2.3.1" xref="S8.p3.4.m4.2.3.1.cmml">=</mo><mrow id="S8.p3.4.m4.2.3.3" xref="S8.p3.4.m4.2.3.3.cmml"><mi mathvariant="normal" id="S8.p3.4.m4.2.3.3.2" xref="S8.p3.4.m4.2.3.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="S8.p3.4.m4.2.3.3.1" xref="S8.p3.4.m4.2.3.3.1.cmml">​</mo><mrow id="S8.p3.4.m4.2.3.3.3.2" xref="S8.p3.4.m4.2.2.cmml"><mo stretchy="false" id="S8.p3.4.m4.2.3.3.3.2.1" xref="S8.p3.4.m4.2.2.cmml">(</mo><msqrt id="S8.p3.4.m4.2.2" xref="S8.p3.4.m4.2.2.cmml"><mrow id="S8.p3.4.m4.2.2.2" xref="S8.p3.4.m4.2.2.2.cmml"><mn id="S8.p3.4.m4.2.2.2.2" xref="S8.p3.4.m4.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="S8.p3.4.m4.2.2.2.1" xref="S8.p3.4.m4.2.2.2.1.cmml">​</mo><mi id="S8.p3.4.m4.2.2.2.3" xref="S8.p3.4.m4.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="S8.p3.4.m4.2.2.2.1a" xref="S8.p3.4.m4.2.2.2.1.cmml">​</mo><msub id="S8.p3.4.m4.2.2.2.4" xref="S8.p3.4.m4.2.2.2.4.cmml"><mi id="S8.p3.4.m4.2.2.2.4.2" xref="S8.p3.4.m4.2.2.2.4.2.cmml">t</mi><mn id="S8.p3.4.m4.2.2.2.4.3" xref="S8.p3.4.m4.2.2.2.4.3.cmml">0</mn></msub></mrow></msqrt><mo stretchy="false" id="S8.p3.4.m4.2.3.3.3.2.2" xref="S8.p3.4.m4.2.2.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="S8.p3.4.m4.2b"><apply id="S8.p3.4.m4.2.3.cmml" xref="S8.p3.4.m4.2.3"><eq id="S8.p3.4.m4.2.3.1.cmml" xref="S8.p3.4.m4.2.3.1"></eq><apply id="S8.p3.4.m4.2.3.2.cmml" xref="S8.p3.4.m4.2.3.2"><csymbol cd="ambiguous" id="S8.p3.4.m4.2.3.2.1.cmml" xref="S8.p3.4.m4.2.3.2">subscript</csymbol><apply id="S8.p3.4.m4.2.3.2.2.1.cmml" xref="S8.p3.4.m4.2.3.2.2.2"><csymbol cd="latexml" id="S8.p3.4.m4.2.3.2.2.1.1.cmml" xref="S8.p3.4.m4.2.3.2.2.2.1">norm</csymbol><ci id="S8.p3.4.m4.1.1.cmml" xref="S8.p3.4.m4.1.1">𝒙</ci></apply><cn type="integer" id="S8.p3.4.m4.2.3.2.3.cmml" xref="S8.p3.4.m4.2.3.2.3">2</cn></apply><apply id="S8.p3.4.m4.2.3.3.cmml" xref="S8.p3.4.m4.2.3.3"><times id="S8.p3.4.m4.2.3.3.1.cmml" xref="S8.p3.4.m4.2.3.3.1"></times><ci id="S8.p3.4.m4.2.3.3.2.cmml" xref="S8.p3.4.m4.2.3.3.2">Θ</ci><apply id="S8.p3.4.m4.2.2.cmml" xref="S8.p3.4.m4.2.3.3.3.2"><root id="S8.p3.4.m4.2.2a.cmml" xref="S8.p3.4.m4.2.3.3.3.2"></root><apply id="S8.p3.4.m4.2.2.2.cmml" xref="S8.p3.4.m4.2.2.2"><times id="S8.p3.4.m4.2.2.2.1.cmml" xref="S8.p3.4.m4.2.2.2.1"></times><cn type="integer" id="S8.p3.4.m4.2.2.2.2.cmml" xref="S8.p3.4.m4.2.2.2.2">0</cn><ci id="S8.p3.4.m4.2.2.2.3.cmml" xref="S8.p3.4.m4.2.2.2.3">𝑝</ci><apply id="S8.p3.4.m4.2.2.2.4.cmml" xref="S8.p3.4.m4.2.2.2.4"><csymbol cd="ambiguous" id="S8.p3.4.m4.2.2.2.4.1.cmml" xref="S8.p3.4.m4.2.2.2.4">subscript</csymbol><ci id="S8.p3.4.m4.2.2.2.4.2.cmml" xref="S8.p3.4.m4.2.2.2.4.2">𝑡</ci><cn type="integer" id="S8.p3.4.m4.2.2.2.4.3.cmml" xref="S8.p3.4.m4.2.2.2.4.3">0</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="S8.p3.4.m4.2c">\left|\!\left|{\bm{x}}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{0}})</annotation></semantics></math>.</p>
</div>
</section>
<section id="Sx1" class="ltx_section">
<h2 class="ltx_title ltx_title_section">Acknowledgements</h2>

<div id="Sx1.p1" class="ltx_para ltx_noindent">
<p id="Sx1.p1.1" class="ltx_p">The authors thank Josh Albrecht, Blake Bordelon, Alex Wei, Nikhil Ghosh, and Dhruva Karkada for useful discussions and comments on the manuscript.
JS gratefully acknowledges support from the National Science Foundation Graduate Fellow Research Program (NSF-GRFP) under grant DGE 1752814.</p>
</div>
</section>
<section id="Sx2" class="ltx_section">
<h2 class="ltx_title ltx_title_section">Author Contributions</h2>

<div id="Sx2.p1" class="ltx_para ltx_noindent">
<p id="Sx2.p1.1" class="ltx_p">GY developed our core insight regarding the utility of the spectral norm, produced our tensor programs theory (<a href="#A2" title="Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Appendix</span> <span class="ltx_text ltx_ref_tag">B</span></a>), and aided in refinement of the paper.
JS spearheaded the writing of the paper, led iteration towards simple analysis which communicates our spectral picture, and ran experiments.
JB developed an early incarnation of the spectral picture <cite class="ltx_cite ltx_citemacro_citep">(Bernstein et al., <a href="#bib.bib6" title="" class="ltx_ref">2020a</a>)</cite>, contributed key insights simplifying our exposition including unifying all layers under single formulae, aided in writing the paper, and ran experiments.</p>
</div>
</section>
<section id="bib" class="ltx_bibliography">
<h2 class="ltx_title ltx_title_bibliography">References</h2>

<ul class="ltx_biblist">
<li id="bib.bib1" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Amari (1998)</span>
<span class="ltx_bibblock">
Shun-ichi Amari.

</span>
<span class="ltx_bibblock">Natural gradient works efficiently in learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib1.1.1" class="ltx_emph ltx_font_italic">Neural Computation</em>, 1998.

</span>
</li>
<li id="bib.bib2" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Arora et al. (2019)</span>
<span class="ltx_bibblock">
Sanjeev Arora, Simon S. Du, Wei Hu, Zhiyuan Li, Ruslan Salakhutdinov, and
Ruosong Wang.

</span>
<span class="ltx_bibblock">On exact computation with an infinitely wide neural net.

</span>
<span class="ltx_bibblock">In <em id="bib.bib2.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2019.

</span>
</li>
<li id="bib.bib3" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Atanasov et al. (2022)</span>
<span class="ltx_bibblock">
Alexander Atanasov, Blake Bordelon, and Cengiz Pehlevan.

</span>
<span class="ltx_bibblock">Neural networks as kernel learners: the silent alignment effect.

</span>
<span class="ltx_bibblock">In <em id="bib.bib3.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2022.

</span>
</li>
<li id="bib.bib4" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ba et al. (2016)</span>
<span class="ltx_bibblock">
Jimmy Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton.

</span>
<span class="ltx_bibblock">Layer normalization.

</span>
<span class="ltx_bibblock"><em id="bib.bib4.1.1" class="ltx_emph ltx_font_italic">arXiv:1607.06450</em>, 2016.

</span>
</li>
<li id="bib.bib5" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bernstein et al. (2018)</span>
<span class="ltx_bibblock">
Jeremy Bernstein, Yu-Xiang Wang, Kamyar Azizzadenesheli, and Anima Anandkumar.

</span>
<span class="ltx_bibblock">signSGD: Compressed Optimisation for Non-Convex Problems,
February 2018.

</span>
<span class="ltx_bibblock">URL <a target="_blank" href="https://arxiv.org/abs/1802.04434v3" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://arxiv.org/abs/1802.04434v3</a>.

</span>
</li>
<li id="bib.bib6" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bernstein et al. (2020a)</span>
<span class="ltx_bibblock">
Jeremy Bernstein, Arash Vahdat, Yisong Yue, and Ming-Yu Liu.

</span>
<span class="ltx_bibblock">On the distance between two neural networks and the stability of
learning.

</span>
<span class="ltx_bibblock">In <em id="bib.bib6.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2020a.

</span>
</li>
<li id="bib.bib7" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bernstein et al. (2020b)</span>
<span class="ltx_bibblock">
Jeremy Bernstein, Jiawei Zhao, Markus Meister, Ming-Yu Liu, Anima Anandkumar,
and Yisong Yue.

</span>
<span class="ltx_bibblock">Learning compositional functions via multiplicative weight updates.

</span>
<span class="ltx_bibblock">In <em id="bib.bib7.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2020b.

</span>
</li>
<li id="bib.bib8" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bernstein et al. (2023)</span>
<span class="ltx_bibblock">
Jeremy Bernstein, Chris Mingard, Kevin Huang, Navid Azizan, and Yisong Yue.

</span>
<span class="ltx_bibblock">Automatic Gradient Descent: Deep Learning without
Hyperparameters.

</span>
<span class="ltx_bibblock"><em id="bib.bib8.1.1" class="ltx_emph ltx_font_italic">arXiv:2304.05187</em>, 2023.

</span>
</li>
<li id="bib.bib9" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Bordelon &amp; Pehlevan (2022)</span>
<span class="ltx_bibblock">
Blake Bordelon and Cengiz Pehlevan.

</span>
<span class="ltx_bibblock">Self-consistent dynamical field theory of kernel evolution in wide
neural networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib9.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2022.

</span>
</li>
<li id="bib.bib10" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Brown et al. (2020)</span>
<span class="ltx_bibblock">
Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla
Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell,
Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon
Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris
Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess,
Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever,
and Dario Amodei.

</span>
<span class="ltx_bibblock">Language models are few-shot learners.

</span>
<span class="ltx_bibblock"><em id="bib.bib10.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2020.

</span>
</li>
<li id="bib.bib11" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Canatar et al. (2021)</span>
<span class="ltx_bibblock">
Abdulkadir Canatar, Blake Bordelon, and Cengiz Pehlevan.

</span>
<span class="ltx_bibblock">Spectral bias and task-model alignment explain generalization in
kernel regression and infinitely wide neural networks.

</span>
<span class="ltx_bibblock"><em id="bib.bib11.1.1" class="ltx_emph ltx_font_italic">Nature Communications</em>, 2021.

</span>
</li>
<li id="bib.bib12" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Carbonnelle &amp; Vleeschouwer (2019)</span>
<span class="ltx_bibblock">
Simon Carbonnelle and Christophe De Vleeschouwer.

</span>
<span class="ltx_bibblock">Layer rotation: A surprisingly simple indicator of generalization
in deep networks?

</span>
<span class="ltx_bibblock">In <em id="bib.bib12.1.1" class="ltx_emph ltx_font_italic">ICML Workshop on Identifying and Understanding Deep Learning
Phenomena</em>, 2019.

</span>
</li>
<li id="bib.bib13" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Chizat et al. (2019)</span>
<span class="ltx_bibblock">
Lénaïc Chizat, Edouard Oyallon, and Francis Bach.

</span>
<span class="ltx_bibblock">On lazy training in differentiable programming.

</span>
<span class="ltx_bibblock"><em id="bib.bib13.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2019.

</span>
</li>
<li id="bib.bib14" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Dey et al. (2023)</span>
<span class="ltx_bibblock">
Nolan Dey, Gurpreet Gosal, Hemant Khachane, William Marshall, Ribhu Pathria,
Marvin Tom, Joel Hestness, et al.

</span>
<span class="ltx_bibblock">Cerebras-GPT: Open compute-optimal language models trained on the
Cerebras wafer-scale cluster.

</span>
<span class="ltx_bibblock"><em id="bib.bib14.1.1" class="ltx_emph ltx_font_italic">arXiv:2304.03208</em>, 2023.

</span>
</li>
<li id="bib.bib15" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Dhillon &amp; Tropp (2008)</span>
<span class="ltx_bibblock">
Inderjit S. Dhillon and Joel A. Tropp.

</span>
<span class="ltx_bibblock">Matrix nearness problems with Bregman divergences.

</span>
<span class="ltx_bibblock"><em id="bib.bib15.1.1" class="ltx_emph ltx_font_italic">SIAM Journal on Matrix Analysis and Applications</em>, 2008.

</span>
</li>
<li id="bib.bib16" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Farnia et al. (2019)</span>
<span class="ltx_bibblock">
Farzan Farnia, Jesse Zhang, and David Tse.

</span>
<span class="ltx_bibblock">Generalizable adversarial training via spectral normalization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib16.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2019.

</span>
</li>
<li id="bib.bib17" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Fort et al. (2020)</span>
<span class="ltx_bibblock">
Stanislav Fort, Gintare Karolina Dziugaite, Mansheej Paul, Sepideh Kharaghani,
Daniel M. Roy, and Surya Ganguli.

</span>
<span class="ltx_bibblock">Deep learning versus kernel learning: an empirical study of loss
landscape geometry and the time evolution of the neural tangent kernel.

</span>
<span class="ltx_bibblock"><em id="bib.bib17.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2020.

</span>
</li>
<li id="bib.bib18" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Geiger et al. (2020)</span>
<span class="ltx_bibblock">
Mario Geiger, Stefano Spigler, Arthur Jacot, and Matthieu Wyart.

</span>
<span class="ltx_bibblock">Disentangling feature and lazy training in deep neural networks.

</span>
<span class="ltx_bibblock"><em id="bib.bib18.1.1" class="ltx_emph ltx_font_italic">Journal of Statistical Mechanics: Theory and Experiment</em>, 2020.

</span>
</li>
<li id="bib.bib19" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Glorot &amp; Bengio (2010)</span>
<span class="ltx_bibblock">
Xavier Glorot and Yoshua Bengio.

</span>
<span class="ltx_bibblock">Understanding the difficulty of training deep feedforward neural
networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib19.1.1" class="ltx_emph ltx_font_italic">International Conference on Artificial Intelligence and
Statistics</em>, 2010.

</span>
</li>
<li id="bib.bib20" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">He et al. (2015)</span>
<span class="ltx_bibblock">
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun.

</span>
<span class="ltx_bibblock">Delving deep into rectifiers: Surpassing human-level performance on
ImageNet classification.

</span>
<span class="ltx_bibblock">In <em id="bib.bib20.1.1" class="ltx_emph ltx_font_italic">International Conference on Computer Vision</em>, 2015.

</span>
</li>
<li id="bib.bib21" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ioffe &amp; Szegedy (2015)</span>
<span class="ltx_bibblock">
Sergey Ioffe and Christian Szegedy.

</span>
<span class="ltx_bibblock">Batch normalization: Accelerating deep network training by reducing
internal covariate shift.

</span>
<span class="ltx_bibblock">In <em id="bib.bib21.1.1" class="ltx_emph ltx_font_italic">International Conference on Machine Learning</em>, 2015.

</span>
</li>
<li id="bib.bib22" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Jacot et al. (2018)</span>
<span class="ltx_bibblock">
Arthur Jacot, Clément Hongler, and Franck Gabriel.

</span>
<span class="ltx_bibblock">Neural tangent kernel: Convergence and generalization in neural
networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib22.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2018.

</span>
</li>
<li id="bib.bib23" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Kingma &amp; Ba (2015)</span>
<span class="ltx_bibblock">
Diederik P. Kingma and Jimmy Ba.

</span>
<span class="ltx_bibblock">Adam: A method for stochastic optimization.

</span>
<span class="ltx_bibblock">In <em id="bib.bib23.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2015.

</span>
</li>
<li id="bib.bib24" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Krizhevsky (2009)</span>
<span class="ltx_bibblock">
Alex Krizhevsky.

</span>
<span class="ltx_bibblock">Learning multiple layers of features from tiny images.

</span>
<span class="ltx_bibblock">Technical report, University of Toronto, 2009.

</span>
</li>
<li id="bib.bib25" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">LeCun et al. (2002)</span>
<span class="ltx_bibblock">
Yann LeCun, Léon Bottou, Genevieve B. Orr, and Klaus-Robert Müller.

</span>
<span class="ltx_bibblock">Efficient backprop.

</span>
<span class="ltx_bibblock">In <em id="bib.bib25.1.1" class="ltx_emph ltx_font_italic">Neural Networks: Tricks of the Trade</em>. Springer, 2002.

</span>
</li>
<li id="bib.bib26" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Lee et al. (2018)</span>
<span class="ltx_bibblock">
Jaehoon Lee, Yasaman Bahri, Roman Novak, Samuel S. Schoenholz, Jeffrey
Pennington, and Jascha Sohl-Dickstein.

</span>
<span class="ltx_bibblock">Deep neural networks as Gaussian processes.

</span>
<span class="ltx_bibblock">In <em id="bib.bib26.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2018.

</span>
</li>
<li id="bib.bib27" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Lee et al. (2019)</span>
<span class="ltx_bibblock">
Jaehoon Lee, Lechao Xiao, Samuel S. Schoenholz, Yasaman Bahri, Roman Novak,
Jascha Sohl-Dickstein, and Jeffrey Pennington.

</span>
<span class="ltx_bibblock">Wide neural networks of any depth evolve as linear models under
gradient descent.

</span>
<span class="ltx_bibblock">In <em id="bib.bib27.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2019.

</span>
</li>
<li id="bib.bib28" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Lee et al. (2020)</span>
<span class="ltx_bibblock">
Jaehoon Lee, Samuel S. Schoenholz, Jeffrey Pennington, Ben Adlam, Lechao Xiao,
Roman Novak, and Jascha Sohl-Dickstein.

</span>
<span class="ltx_bibblock">Finite versus infinite neural networks: an empirical study.

</span>
<span class="ltx_bibblock">In <em id="bib.bib28.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2020.

</span>
</li>
<li id="bib.bib29" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Liu et al. (2021)</span>
<span class="ltx_bibblock">
Yang Liu, Jeremy Bernstein, Markus Meister, and Yisong Yue.

</span>
<span class="ltx_bibblock">Learning by turning: Neural architecture aware optimisation.

</span>
<span class="ltx_bibblock">In <em id="bib.bib29.1.1" class="ltx_emph ltx_font_italic">International Conference on Machine Learning</em>, 2021.

</span>
</li>
<li id="bib.bib30" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Mei et al. (2019)</span>
<span class="ltx_bibblock">
Song Mei, Theodor Misiakiewicz, and Andrea Montanari.

</span>
<span class="ltx_bibblock">Mean-field theory of two-layers neural networks: Dimension-free
bounds and kernel limit.

</span>
<span class="ltx_bibblock">In <em id="bib.bib30.1.1" class="ltx_emph ltx_font_italic">Conference on Learning Theory</em>, 2019.

</span>
</li>
<li id="bib.bib31" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Miyato et al. (2018)</span>
<span class="ltx_bibblock">
Takeru Miyato, Toshiki Kataoka, Masanori Koyama, and Yuichi Yoshida.

</span>
<span class="ltx_bibblock">Spectral normalization for Generative Adversarial Networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib31.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2018.

</span>
</li>
<li id="bib.bib32" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Nemirovsky &amp; Yudin (1983)</span>
<span class="ltx_bibblock">
Arkady S. Nemirovsky and David B. Yudin.

</span>
<span class="ltx_bibblock"><em id="bib.bib32.1.1" class="ltx_emph ltx_font_italic">Problem complexity and method efficiency in optimization</em>.

</span>
<span class="ltx_bibblock">Wiley, 1983.

</span>
</li>
<li id="bib.bib33" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Olah et al. (2017)</span>
<span class="ltx_bibblock">
Chris Olah, Alexander Mordvintsev, and Ludwig Schubert.

</span>
<span class="ltx_bibblock">Feature visualization.

</span>
<span class="ltx_bibblock"><em id="bib.bib33.1.1" class="ltx_emph ltx_font_italic">Distill</em>, 2017.

</span>
</li>
<li id="bib.bib34" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Poole et al. (2016)</span>
<span class="ltx_bibblock">
Ben Poole, Subhaneil Lahiri, Maithra Raghu, Jascha Sohl-Dickstein, and Surya
Ganguli.

</span>
<span class="ltx_bibblock">Exponential expressivity in deep neural networks through transient
chaos.

</span>
<span class="ltx_bibblock">In <em id="bib.bib34.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2016.

</span>
</li>
<li id="bib.bib35" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Ramesh et al. (2022)</span>
<span class="ltx_bibblock">
Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen.

</span>
<span class="ltx_bibblock">Hierarchical text-conditional image generation with CLIP latents.

</span>
<span class="ltx_bibblock"><em id="bib.bib35.1.1" class="ltx_emph ltx_font_italic">arXiv:2204.06125</em>, 2022.

</span>
</li>
<li id="bib.bib36" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rotskoff &amp; Vanden-Eijnden (2022)</span>
<span class="ltx_bibblock">
Grant M. Rotskoff and Eric Vanden-Eijnden.

</span>
<span class="ltx_bibblock">Trainability and accuracy of artificial neural networks: An
interacting particle system approach.

</span>
<span class="ltx_bibblock"><em id="bib.bib36.1.1" class="ltx_emph ltx_font_italic">Communications on Pure and Applied Mathematics</em>, 2022.

</span>
</li>
<li id="bib.bib37" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Rudelson &amp; Vershynin (2010)</span>
<span class="ltx_bibblock">
Mark Rudelson and Roman Vershynin.

</span>
<span class="ltx_bibblock">Non-asymptotic theory of random matrices: Extreme singular values.

</span>
<span class="ltx_bibblock">In <em id="bib.bib37.1.1" class="ltx_emph ltx_font_italic">International Congress of Mathematicians</em>, 2010.

</span>
</li>
<li id="bib.bib38" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Shazeer &amp; Stern (2018)</span>
<span class="ltx_bibblock">
Noam Shazeer and Mitchell Stern.

</span>
<span class="ltx_bibblock">Adafactor: Adaptive learning rates with sublinear memory cost.

</span>
<span class="ltx_bibblock">In <em id="bib.bib38.1.1" class="ltx_emph ltx_font_italic">International Conference on Machine Learning</em>, 2018.

</span>
</li>
<li id="bib.bib39" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Silver et al. (2016)</span>
<span class="ltx_bibblock">
David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George
van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda
Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal
Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray
Kavukcuoglu, Thore Graepel, and Demis Hassabis.

</span>
<span class="ltx_bibblock">Mastering the game of Go with deep neural networks and tree search.

</span>
<span class="ltx_bibblock"><em id="bib.bib39.1.1" class="ltx_emph ltx_font_italic">Nature</em>, 2016.

</span>
</li>
<li id="bib.bib40" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sirignano &amp; Spiliopoulos (2022)</span>
<span class="ltx_bibblock">
Justin Sirignano and Konstantinos Spiliopoulos.

</span>
<span class="ltx_bibblock">Mean field analysis of deep neural networks.

</span>
<span class="ltx_bibblock"><em id="bib.bib40.1.1" class="ltx_emph ltx_font_italic">Mathematics of Operations Research</em>, 2022.

</span>
</li>
<li id="bib.bib41" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Sohl-Dickstein et al. (2020)</span>
<span class="ltx_bibblock">
Jascha Sohl-Dickstein, Roman Novak, Samuel S. Schoenholz, and Jaehoon Lee.

</span>
<span class="ltx_bibblock">On the infinite width limit of neural networks with a standard
parameterization.

</span>
<span class="ltx_bibblock"><em id="bib.bib41.1.1" class="ltx_emph ltx_font_italic">arXiv:2001.07301</em>, 2020.

</span>
</li>
<li id="bib.bib42" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Vershynin (2018)</span>
<span class="ltx_bibblock">
Roman Vershynin.

</span>
<span class="ltx_bibblock"><em id="bib.bib42.1.1" class="ltx_emph ltx_font_italic">High-Dimensional Probability: An Introduction with Applications
in Data Science</em>.

</span>
<span class="ltx_bibblock">Cambridge University Press, 2018.

</span>
</li>
<li id="bib.bib43" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Vyas et al. (2022)</span>
<span class="ltx_bibblock">
Nikhil Vyas, Yamini Bansal, and Preetum Nakkiran.

</span>
<span class="ltx_bibblock">Limitations of the NTK for understanding generalization in deep
learning.

</span>
<span class="ltx_bibblock"><em id="bib.bib43.1.1" class="ltx_emph ltx_font_italic">arXiv:2206.10012</em>, 2022.

</span>
</li>
<li id="bib.bib44" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yaida (2022)</span>
<span class="ltx_bibblock">
Sho Yaida.

</span>
<span class="ltx_bibblock">Meta-principled family of hyperparameter scaling strategies.

</span>
<span class="ltx_bibblock"><em id="bib.bib44.1.1" class="ltx_emph ltx_font_italic">arXiv:2210.04909</em>, 2022.

</span>
</li>
<li id="bib.bib45" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yang &amp; Hu (2021a)</span>
<span class="ltx_bibblock">
Greg Yang and Edward J. Hu.

</span>
<span class="ltx_bibblock">Feature learning in infinite-width neural networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib45.1.1" class="ltx_emph ltx_font_italic">ICML 2021 Workshop on Over-parameterization: Pitfalls and
Opportunities</em>, 2021a.

</span>
<span class="ltx_bibblock"><a target="_blank" href="https://slideslive.com/38963058/feature-learning-in-infinitewidth-neural-networks" title="" class="ltx_ref ltx_url ltx_font_typewriter">https://slideslive.com/38963058/feature-learning-in-infinitewidth-neural-networks</a>.

</span>
</li>
<li id="bib.bib46" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yang &amp; Hu (2021b)</span>
<span class="ltx_bibblock">
Greg Yang and Edward J. Hu.

</span>
<span class="ltx_bibblock">Tensor Programs IV: Feature learning in infinite-width neural
networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib46.1.1" class="ltx_emph ltx_font_italic">International Conference on Machine Learning</em>,
2021b.

</span>
</li>
<li id="bib.bib47" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yang &amp; Littwin (2023)</span>
<span class="ltx_bibblock">
Greg Yang and Etai Littwin.

</span>
<span class="ltx_bibblock">Tensor programs IVb: Adaptive optimization in the <math id="bib.bib47.1.m1.1" class="ltx_Math" alttext="\infty" display="inline"><semantics id="bib.bib47.1.m1.1a"><mi mathvariant="normal" id="bib.bib47.1.m1.1.1" xref="bib.bib47.1.m1.1.1.cmml">∞</mi><annotation-xml encoding="MathML-Content" id="bib.bib47.1.m1.1b"><infinity id="bib.bib47.1.m1.1.1.cmml" xref="bib.bib47.1.m1.1.1"></infinity></annotation-xml><annotation encoding="application/x-tex" id="bib.bib47.1.m1.1c">\infty</annotation></semantics></math>-width
limit.

</span>
<span class="ltx_bibblock"><em id="bib.bib47.2.1" class="ltx_emph ltx_font_italic">arXiv:2308.01814</em>, 2023.

</span>
</li>
<li id="bib.bib48" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Yang et al. (2021)</span>
<span class="ltx_bibblock">
Greg Yang, Edward J. Hu, Igor Babuschkin, Szymon Sidor, Xiaodong Liu, David
Farhi, Nick Ryder, Jakub Pachocki, Weizhu Chen, and Jianfeng Gao.

</span>
<span class="ltx_bibblock">Tensor Programs V: Tuning large neural networks via zero-shot
hyperparameter transfer.

</span>
<span class="ltx_bibblock">In <em id="bib.bib48.1.1" class="ltx_emph ltx_font_italic">Neural Information Processing Systems</em>, 2021.

</span>
</li>
<li id="bib.bib49" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">You et al. (2017)</span>
<span class="ltx_bibblock">
Yang You, Igor Gitman, and Boris Ginsburg.

</span>
<span class="ltx_bibblock">Scaling SGD batch size to 32K for ImageNet training.

</span>
<span class="ltx_bibblock">Technical Report UCB/EECS-2017-156, University of California,
Berkeley, 2017.

</span>
</li>
<li id="bib.bib50" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">You et al. (2020)</span>
<span class="ltx_bibblock">
Yang You, Jing Li, Sashank Reddi, Jonathan Hseu, Sanjiv Kumar, Srinadh
Bhojanapalli, Xiaodan Song, James Demmel, Kurt Keutzer, and Cho-Jui Hsieh.

</span>
<span class="ltx_bibblock">Large batch optimization for deep learning: Training BERT in 76
minutes.

</span>
<span class="ltx_bibblock">In <em id="bib.bib50.1.1" class="ltx_emph ltx_font_italic">International Conference on Learning Representations</em>, 2020.

</span>
</li>
<li id="bib.bib51" class="ltx_bibitem">
<span class="ltx_tag ltx_role_refnum ltx_tag_bibitem">Zeiler &amp; Fergus (2014)</span>
<span class="ltx_bibblock">
Matthew D. Zeiler and Rob Fergus.

</span>
<span class="ltx_bibblock">Visualizing and understanding convolutional networks.

</span>
<span class="ltx_bibblock">In <em id="bib.bib51.1.1" class="ltx_emph ltx_font_italic">European Conference on Computer Vision</em>, 2014.

</span>
</li>
</ul>
</section>
<div class="ltx_pagination ltx_role_newpage"></div>
<section id="A1" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix A </span>Experimental details</h2>

<div id="A1.p1" class="ltx_para ltx_noindent">
<p id="A1.p1.6" class="ltx_p"><span id="A1.p1.6.1" class="ltx_text ltx_font_bold">Experimental details for <a href="#S3.F1" title="In 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">1</span></a>.</span>
We examine randomly-initialized MLPs with depth <math id="A1.p1.1.m1.1" class="ltx_Math" alttext="L=3" display="inline"><semantics id="A1.p1.1.m1.1a"><mrow id="A1.p1.1.m1.1.1" xref="A1.p1.1.m1.1.1.cmml"><mi id="A1.p1.1.m1.1.1.2" xref="A1.p1.1.m1.1.1.2.cmml">L</mi><mo id="A1.p1.1.m1.1.1.1" xref="A1.p1.1.m1.1.1.1.cmml">=</mo><mn id="A1.p1.1.m1.1.1.3" xref="A1.p1.1.m1.1.1.3.cmml">3</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p1.1.m1.1b"><apply id="A1.p1.1.m1.1.1.cmml" xref="A1.p1.1.m1.1.1"><eq id="A1.p1.1.m1.1.1.1.cmml" xref="A1.p1.1.m1.1.1.1"></eq><ci id="A1.p1.1.m1.1.1.2.cmml" xref="A1.p1.1.m1.1.1.2">𝐿</ci><cn type="integer" id="A1.p1.1.m1.1.1.3.cmml" xref="A1.p1.1.m1.1.1.3">3</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.1.m1.1c">L=3</annotation></semantics></math>, widths <math id="A1.p1.2.m2.2" class="ltx_Math" alttext="0pt_{0}=3072,0pt_{1}=0pt_{2}=d=300,0pt_{3}=10" display="inline"><semantics id="A1.p1.2.m2.2a"><mrow id="A1.p1.2.m2.2.2.2" xref="A1.p1.2.m2.2.2.3.cmml"><mrow id="A1.p1.2.m2.1.1.1.1.2" xref="A1.p1.2.m2.1.1.1.1.3.cmml"><mrow id="A1.p1.2.m2.1.1.1.1.1.1" xref="A1.p1.2.m2.1.1.1.1.1.1.cmml"><mrow id="A1.p1.2.m2.1.1.1.1.1.1.2" xref="A1.p1.2.m2.1.1.1.1.1.1.2.cmml"><mn id="A1.p1.2.m2.1.1.1.1.1.1.2.2" xref="A1.p1.2.m2.1.1.1.1.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.1.1.1.1.1.1.2.1" xref="A1.p1.2.m2.1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.p1.2.m2.1.1.1.1.1.1.2.3" xref="A1.p1.2.m2.1.1.1.1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.1.1.1.1.1.1.2.1a" xref="A1.p1.2.m2.1.1.1.1.1.1.2.1.cmml">​</mo><msub id="A1.p1.2.m2.1.1.1.1.1.1.2.4" xref="A1.p1.2.m2.1.1.1.1.1.1.2.4.cmml"><mi id="A1.p1.2.m2.1.1.1.1.1.1.2.4.2" xref="A1.p1.2.m2.1.1.1.1.1.1.2.4.2.cmml">t</mi><mn id="A1.p1.2.m2.1.1.1.1.1.1.2.4.3" xref="A1.p1.2.m2.1.1.1.1.1.1.2.4.3.cmml">0</mn></msub></mrow><mo id="A1.p1.2.m2.1.1.1.1.1.1.1" xref="A1.p1.2.m2.1.1.1.1.1.1.1.cmml">=</mo><mn id="A1.p1.2.m2.1.1.1.1.1.1.3" xref="A1.p1.2.m2.1.1.1.1.1.1.3.cmml">3072</mn></mrow><mo id="A1.p1.2.m2.1.1.1.1.2.3" xref="A1.p1.2.m2.1.1.1.1.3a.cmml">,</mo><mrow id="A1.p1.2.m2.1.1.1.1.2.2" xref="A1.p1.2.m2.1.1.1.1.2.2.cmml"><mrow id="A1.p1.2.m2.1.1.1.1.2.2.2" xref="A1.p1.2.m2.1.1.1.1.2.2.2.cmml"><mn id="A1.p1.2.m2.1.1.1.1.2.2.2.2" xref="A1.p1.2.m2.1.1.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.1.1.1.1.2.2.2.1" xref="A1.p1.2.m2.1.1.1.1.2.2.2.1.cmml">​</mo><mi id="A1.p1.2.m2.1.1.1.1.2.2.2.3" xref="A1.p1.2.m2.1.1.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.1.1.1.1.2.2.2.1a" xref="A1.p1.2.m2.1.1.1.1.2.2.2.1.cmml">​</mo><msub id="A1.p1.2.m2.1.1.1.1.2.2.2.4" xref="A1.p1.2.m2.1.1.1.1.2.2.2.4.cmml"><mi id="A1.p1.2.m2.1.1.1.1.2.2.2.4.2" xref="A1.p1.2.m2.1.1.1.1.2.2.2.4.2.cmml">t</mi><mn id="A1.p1.2.m2.1.1.1.1.2.2.2.4.3" xref="A1.p1.2.m2.1.1.1.1.2.2.2.4.3.cmml">1</mn></msub></mrow><mo id="A1.p1.2.m2.1.1.1.1.2.2.3" xref="A1.p1.2.m2.1.1.1.1.2.2.3.cmml">=</mo><mrow id="A1.p1.2.m2.1.1.1.1.2.2.4" xref="A1.p1.2.m2.1.1.1.1.2.2.4.cmml"><mn id="A1.p1.2.m2.1.1.1.1.2.2.4.2" xref="A1.p1.2.m2.1.1.1.1.2.2.4.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.1.1.1.1.2.2.4.1" xref="A1.p1.2.m2.1.1.1.1.2.2.4.1.cmml">​</mo><mi id="A1.p1.2.m2.1.1.1.1.2.2.4.3" xref="A1.p1.2.m2.1.1.1.1.2.2.4.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.1.1.1.1.2.2.4.1a" xref="A1.p1.2.m2.1.1.1.1.2.2.4.1.cmml">​</mo><msub id="A1.p1.2.m2.1.1.1.1.2.2.4.4" xref="A1.p1.2.m2.1.1.1.1.2.2.4.4.cmml"><mi id="A1.p1.2.m2.1.1.1.1.2.2.4.4.2" xref="A1.p1.2.m2.1.1.1.1.2.2.4.4.2.cmml">t</mi><mn id="A1.p1.2.m2.1.1.1.1.2.2.4.4.3" xref="A1.p1.2.m2.1.1.1.1.2.2.4.4.3.cmml">2</mn></msub></mrow><mo id="A1.p1.2.m2.1.1.1.1.2.2.5" xref="A1.p1.2.m2.1.1.1.1.2.2.5.cmml">=</mo><mi id="A1.p1.2.m2.1.1.1.1.2.2.6" xref="A1.p1.2.m2.1.1.1.1.2.2.6.cmml">d</mi><mo id="A1.p1.2.m2.1.1.1.1.2.2.7" xref="A1.p1.2.m2.1.1.1.1.2.2.7.cmml">=</mo><mn id="A1.p1.2.m2.1.1.1.1.2.2.8" xref="A1.p1.2.m2.1.1.1.1.2.2.8.cmml">300</mn></mrow></mrow><mo id="A1.p1.2.m2.2.2.2.3" xref="A1.p1.2.m2.2.2.3a.cmml">,</mo><mrow id="A1.p1.2.m2.2.2.2.2" xref="A1.p1.2.m2.2.2.2.2.cmml"><mrow id="A1.p1.2.m2.2.2.2.2.2" xref="A1.p1.2.m2.2.2.2.2.2.cmml"><mn id="A1.p1.2.m2.2.2.2.2.2.2" xref="A1.p1.2.m2.2.2.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.2.2.2.2.2.1" xref="A1.p1.2.m2.2.2.2.2.2.1.cmml">​</mo><mi id="A1.p1.2.m2.2.2.2.2.2.3" xref="A1.p1.2.m2.2.2.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p1.2.m2.2.2.2.2.2.1a" xref="A1.p1.2.m2.2.2.2.2.2.1.cmml">​</mo><msub id="A1.p1.2.m2.2.2.2.2.2.4" xref="A1.p1.2.m2.2.2.2.2.2.4.cmml"><mi id="A1.p1.2.m2.2.2.2.2.2.4.2" xref="A1.p1.2.m2.2.2.2.2.2.4.2.cmml">t</mi><mn id="A1.p1.2.m2.2.2.2.2.2.4.3" xref="A1.p1.2.m2.2.2.2.2.2.4.3.cmml">3</mn></msub></mrow><mo id="A1.p1.2.m2.2.2.2.2.1" xref="A1.p1.2.m2.2.2.2.2.1.cmml">=</mo><mn id="A1.p1.2.m2.2.2.2.2.3" xref="A1.p1.2.m2.2.2.2.2.3.cmml">10</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.p1.2.m2.2b"><apply id="A1.p1.2.m2.2.2.3.cmml" xref="A1.p1.2.m2.2.2.2"><csymbol cd="ambiguous" id="A1.p1.2.m2.2.2.3a.cmml" xref="A1.p1.2.m2.2.2.2.3">formulae-sequence</csymbol><apply id="A1.p1.2.m2.1.1.1.1.3.cmml" xref="A1.p1.2.m2.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.p1.2.m2.1.1.1.1.3a.cmml" xref="A1.p1.2.m2.1.1.1.1.2.3">formulae-sequence</csymbol><apply id="A1.p1.2.m2.1.1.1.1.1.1.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1"><eq id="A1.p1.2.m2.1.1.1.1.1.1.1.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.1"></eq><apply id="A1.p1.2.m2.1.1.1.1.1.1.2.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2"><times id="A1.p1.2.m2.1.1.1.1.1.1.2.1.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2.1"></times><cn type="integer" id="A1.p1.2.m2.1.1.1.1.1.1.2.2.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2.2">0</cn><ci id="A1.p1.2.m2.1.1.1.1.1.1.2.3.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2.3">𝑝</ci><apply id="A1.p1.2.m2.1.1.1.1.1.1.2.4.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2.4"><csymbol cd="ambiguous" id="A1.p1.2.m2.1.1.1.1.1.1.2.4.1.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2.4">subscript</csymbol><ci id="A1.p1.2.m2.1.1.1.1.1.1.2.4.2.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2.4.2">𝑡</ci><cn type="integer" id="A1.p1.2.m2.1.1.1.1.1.1.2.4.3.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.2.4.3">0</cn></apply></apply><cn type="integer" id="A1.p1.2.m2.1.1.1.1.1.1.3.cmml" xref="A1.p1.2.m2.1.1.1.1.1.1.3">3072</cn></apply><apply id="A1.p1.2.m2.1.1.1.1.2.2.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2"><and id="A1.p1.2.m2.1.1.1.1.2.2a.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2"></and><apply id="A1.p1.2.m2.1.1.1.1.2.2b.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2"><eq id="A1.p1.2.m2.1.1.1.1.2.2.3.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.3"></eq><apply id="A1.p1.2.m2.1.1.1.1.2.2.2.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2"><times id="A1.p1.2.m2.1.1.1.1.2.2.2.1.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2.1"></times><cn type="integer" id="A1.p1.2.m2.1.1.1.1.2.2.2.2.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2.2">0</cn><ci id="A1.p1.2.m2.1.1.1.1.2.2.2.3.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2.3">𝑝</ci><apply id="A1.p1.2.m2.1.1.1.1.2.2.2.4.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2.4"><csymbol cd="ambiguous" id="A1.p1.2.m2.1.1.1.1.2.2.2.4.1.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2.4">subscript</csymbol><ci id="A1.p1.2.m2.1.1.1.1.2.2.2.4.2.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2.4.2">𝑡</ci><cn type="integer" id="A1.p1.2.m2.1.1.1.1.2.2.2.4.3.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.2.4.3">1</cn></apply></apply><apply id="A1.p1.2.m2.1.1.1.1.2.2.4.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4"><times id="A1.p1.2.m2.1.1.1.1.2.2.4.1.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4.1"></times><cn type="integer" id="A1.p1.2.m2.1.1.1.1.2.2.4.2.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4.2">0</cn><ci id="A1.p1.2.m2.1.1.1.1.2.2.4.3.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4.3">𝑝</ci><apply id="A1.p1.2.m2.1.1.1.1.2.2.4.4.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4.4"><csymbol cd="ambiguous" id="A1.p1.2.m2.1.1.1.1.2.2.4.4.1.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4.4">subscript</csymbol><ci id="A1.p1.2.m2.1.1.1.1.2.2.4.4.2.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4.4.2">𝑡</ci><cn type="integer" id="A1.p1.2.m2.1.1.1.1.2.2.4.4.3.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.4.4.3">2</cn></apply></apply></apply><apply id="A1.p1.2.m2.1.1.1.1.2.2c.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2"><eq id="A1.p1.2.m2.1.1.1.1.2.2.5.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.5"></eq><share href="#A1.p1.2.m2.1.1.1.1.2.2.4.cmml" id="A1.p1.2.m2.1.1.1.1.2.2d.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2"></share><ci id="A1.p1.2.m2.1.1.1.1.2.2.6.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.6">𝑑</ci></apply><apply id="A1.p1.2.m2.1.1.1.1.2.2e.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2"><eq id="A1.p1.2.m2.1.1.1.1.2.2.7.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.7"></eq><share href="#A1.p1.2.m2.1.1.1.1.2.2.6.cmml" id="A1.p1.2.m2.1.1.1.1.2.2f.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2"></share><cn type="integer" id="A1.p1.2.m2.1.1.1.1.2.2.8.cmml" xref="A1.p1.2.m2.1.1.1.1.2.2.8">300</cn></apply></apply></apply><apply id="A1.p1.2.m2.2.2.2.2.cmml" xref="A1.p1.2.m2.2.2.2.2"><eq id="A1.p1.2.m2.2.2.2.2.1.cmml" xref="A1.p1.2.m2.2.2.2.2.1"></eq><apply id="A1.p1.2.m2.2.2.2.2.2.cmml" xref="A1.p1.2.m2.2.2.2.2.2"><times id="A1.p1.2.m2.2.2.2.2.2.1.cmml" xref="A1.p1.2.m2.2.2.2.2.2.1"></times><cn type="integer" id="A1.p1.2.m2.2.2.2.2.2.2.cmml" xref="A1.p1.2.m2.2.2.2.2.2.2">0</cn><ci id="A1.p1.2.m2.2.2.2.2.2.3.cmml" xref="A1.p1.2.m2.2.2.2.2.2.3">𝑝</ci><apply id="A1.p1.2.m2.2.2.2.2.2.4.cmml" xref="A1.p1.2.m2.2.2.2.2.2.4"><csymbol cd="ambiguous" id="A1.p1.2.m2.2.2.2.2.2.4.1.cmml" xref="A1.p1.2.m2.2.2.2.2.2.4">subscript</csymbol><ci id="A1.p1.2.m2.2.2.2.2.2.4.2.cmml" xref="A1.p1.2.m2.2.2.2.2.2.4.2">𝑡</ci><cn type="integer" id="A1.p1.2.m2.2.2.2.2.2.4.3.cmml" xref="A1.p1.2.m2.2.2.2.2.2.4.3">3</cn></apply></apply><cn type="integer" id="A1.p1.2.m2.2.2.2.2.3.cmml" xref="A1.p1.2.m2.2.2.2.2.3">10</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.2.m2.2c">0pt_{0}=3072,0pt_{1}=0pt_{2}=d=300,0pt_{3}=10</annotation></semantics></math>, and ReLU and tanh activation functions.
We then pass single batches of CIFAR-10 data of varying size <math id="A1.p1.3.m3.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A1.p1.3.m3.1a"><mi id="A1.p1.3.m3.1.1" xref="A1.p1.3.m3.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A1.p1.3.m3.1b"><ci id="A1.p1.3.m3.1.1.cmml" xref="A1.p1.3.m3.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.3.m3.1c">B</annotation></semantics></math> through the model and compute a single gradient step <math id="A1.p1.4.m4.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="A1.p1.4.m4.1a"><mrow id="A1.p1.4.m4.1.1" xref="A1.p1.4.m4.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A1.p1.4.m4.1.1.2" xref="A1.p1.4.m4.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A1.p1.4.m4.1.1.1" xref="A1.p1.4.m4.1.1.1.cmml">​</mo><msub id="A1.p1.4.m4.1.1.3" xref="A1.p1.4.m4.1.1.3.cmml"><mi id="A1.p1.4.m4.1.1.3.2" xref="A1.p1.4.m4.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A1.p1.4.m4.1.1.3.3" xref="A1.p1.4.m4.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A1.p1.4.m4.1b"><apply id="A1.p1.4.m4.1.1.cmml" xref="A1.p1.4.m4.1.1"><times id="A1.p1.4.m4.1.1.1.cmml" xref="A1.p1.4.m4.1.1.1"></times><ci id="A1.p1.4.m4.1.1.2.cmml" xref="A1.p1.4.m4.1.1.2">Δ</ci><apply id="A1.p1.4.m4.1.1.3.cmml" xref="A1.p1.4.m4.1.1.3"><csymbol cd="ambiguous" id="A1.p1.4.m4.1.1.3.1.cmml" xref="A1.p1.4.m4.1.1.3">subscript</csymbol><ci id="A1.p1.4.m4.1.1.3.2.cmml" xref="A1.p1.4.m4.1.1.3.2">𝑾</ci><ci id="A1.p1.4.m4.1.1.3.3.cmml" xref="A1.p1.4.m4.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.4.m4.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> at layer <math id="A1.p1.5.m5.1" class="ltx_Math" alttext="\ell=2" display="inline"><semantics id="A1.p1.5.m5.1a"><mrow id="A1.p1.5.m5.1.1" xref="A1.p1.5.m5.1.1.cmml"><mi mathvariant="normal" id="A1.p1.5.m5.1.1.2" xref="A1.p1.5.m5.1.1.2.cmml">ℓ</mi><mo id="A1.p1.5.m5.1.1.1" xref="A1.p1.5.m5.1.1.1.cmml">=</mo><mn id="A1.p1.5.m5.1.1.3" xref="A1.p1.5.m5.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p1.5.m5.1b"><apply id="A1.p1.5.m5.1.1.cmml" xref="A1.p1.5.m5.1.1"><eq id="A1.p1.5.m5.1.1.1.cmml" xref="A1.p1.5.m5.1.1.1"></eq><ci id="A1.p1.5.m5.1.1.2.cmml" xref="A1.p1.5.m5.1.1.2">ℓ</ci><cn type="integer" id="A1.p1.5.m5.1.1.3.cmml" xref="A1.p1.5.m5.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.5.m5.1c">\ell=2</annotation></semantics></math> with arbitrary learning rate.
We then compute the stable rank of <math id="A1.p1.6.m6.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="A1.p1.6.m6.1a"><mrow id="A1.p1.6.m6.1.1" xref="A1.p1.6.m6.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A1.p1.6.m6.1.1.2" xref="A1.p1.6.m6.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A1.p1.6.m6.1.1.1" xref="A1.p1.6.m6.1.1.1.cmml">​</mo><msub id="A1.p1.6.m6.1.1.3" xref="A1.p1.6.m6.1.1.3.cmml"><mi id="A1.p1.6.m6.1.1.3.2" xref="A1.p1.6.m6.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A1.p1.6.m6.1.1.3.3" xref="A1.p1.6.m6.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A1.p1.6.m6.1b"><apply id="A1.p1.6.m6.1.1.cmml" xref="A1.p1.6.m6.1.1"><times id="A1.p1.6.m6.1.1.1.cmml" xref="A1.p1.6.m6.1.1.1"></times><ci id="A1.p1.6.m6.1.1.2.cmml" xref="A1.p1.6.m6.1.1.2">Δ</ci><apply id="A1.p1.6.m6.1.1.3.cmml" xref="A1.p1.6.m6.1.1.3"><csymbol cd="ambiguous" id="A1.p1.6.m6.1.1.3.1.cmml" xref="A1.p1.6.m6.1.1.3">subscript</csymbol><ci id="A1.p1.6.m6.1.1.3.2.cmml" xref="A1.p1.6.m6.1.1.3.2">𝑾</ci><ci id="A1.p1.6.m6.1.1.3.3.cmml" xref="A1.p1.6.m6.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.6.m6.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> and the alignment metric</p>
<table id="A1.E25" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A1.E25.m1.4" class="ltx_Math" alttext="\mathbb{E}_{{\bm{x}}}\!\left[\frac{\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}}_{i})\right|\!\right|_{2}}{\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\left|\!\left|{\bm{h}}^{\prime}_{\ell-1}({\bm{x}}_{i})\right|\!\right|_{2}}\right]," display="block"><semantics id="A1.E25.m1.4a"><mrow id="A1.E25.m1.4.4.1" xref="A1.E25.m1.4.4.1.1.cmml"><mrow id="A1.E25.m1.4.4.1.1" xref="A1.E25.m1.4.4.1.1.cmml"><msub id="A1.E25.m1.4.4.1.1.2" xref="A1.E25.m1.4.4.1.1.2.cmml"><mi id="A1.E25.m1.4.4.1.1.2.2" xref="A1.E25.m1.4.4.1.1.2.2.cmml">𝔼</mi><mi id="A1.E25.m1.4.4.1.1.2.3" xref="A1.E25.m1.4.4.1.1.2.3.cmml">𝒙</mi></msub><mo lspace="0em" rspace="0em" id="A1.E25.m1.4.4.1.1.1" xref="A1.E25.m1.4.4.1.1.1.cmml">​</mo><mrow id="A1.E25.m1.4.4.1.1.3.2" xref="A1.E25.m1.4.4.1.1.3.1.cmml"><mo id="A1.E25.m1.4.4.1.1.3.2.1" xref="A1.E25.m1.4.4.1.1.3.1.1.cmml">[</mo><mfrac id="A1.E25.m1.3.3" xref="A1.E25.m1.3.3.cmml"><msub id="A1.E25.m1.1.1.1" xref="A1.E25.m1.1.1.1.cmml"><mrow id="A1.E25.m1.1.1.1.1.1" xref="A1.E25.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A1.E25.m1.1.1.1.1.1.2" xref="A1.E25.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A1.E25.m1.1.1.1.1.1.1" xref="A1.E25.m1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A1.E25.m1.1.1.1.1.1.1.3" xref="A1.E25.m1.1.1.1.1.1.1.3.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A1.E25.m1.1.1.1.1.1.1.2" xref="A1.E25.m1.1.1.1.1.1.1.2.cmml">​</mo><msub id="A1.E25.m1.1.1.1.1.1.1.4" xref="A1.E25.m1.1.1.1.1.1.1.4.cmml"><mi id="A1.E25.m1.1.1.1.1.1.1.4.2" xref="A1.E25.m1.1.1.1.1.1.1.4.2.cmml">𝑾</mi><mi mathvariant="normal" id="A1.E25.m1.1.1.1.1.1.1.4.3" xref="A1.E25.m1.1.1.1.1.1.1.4.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A1.E25.m1.1.1.1.1.1.1.2a" xref="A1.E25.m1.1.1.1.1.1.1.2.cmml">​</mo><msub id="A1.E25.m1.1.1.1.1.1.1.5" xref="A1.E25.m1.1.1.1.1.1.1.5.cmml"><mi id="A1.E25.m1.1.1.1.1.1.1.5.2" xref="A1.E25.m1.1.1.1.1.1.1.5.2.cmml">𝒉</mi><mrow id="A1.E25.m1.1.1.1.1.1.1.5.3" xref="A1.E25.m1.1.1.1.1.1.1.5.3.cmml"><mi mathvariant="normal" id="A1.E25.m1.1.1.1.1.1.1.5.3.2" xref="A1.E25.m1.1.1.1.1.1.1.5.3.2.cmml">ℓ</mi><mo id="A1.E25.m1.1.1.1.1.1.1.5.3.1" xref="A1.E25.m1.1.1.1.1.1.1.5.3.1.cmml">−</mo><mn id="A1.E25.m1.1.1.1.1.1.1.5.3.3" xref="A1.E25.m1.1.1.1.1.1.1.5.3.3.cmml">1</mn></mrow></msub><mo lspace="0em" rspace="0em" id="A1.E25.m1.1.1.1.1.1.1.2b" xref="A1.E25.m1.1.1.1.1.1.1.2.cmml">​</mo><mrow id="A1.E25.m1.1.1.1.1.1.1.1.1" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E25.m1.1.1.1.1.1.1.1.1.2" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E25.m1.1.1.1.1.1.1.1.1.1" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A1.E25.m1.1.1.1.1.1.1.1.1.1.2" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="A1.E25.m1.1.1.1.1.1.1.1.1.1.3" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="A1.E25.m1.1.1.1.1.1.1.1.1.3" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.E25.m1.1.1.1.1.1.3" xref="A1.E25.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A1.E25.m1.1.1.1.3" xref="A1.E25.m1.1.1.1.3.cmml">2</mn></msub><mrow id="A1.E25.m1.3.3.3" xref="A1.E25.m1.3.3.3.cmml"><msub id="A1.E25.m1.2.2.2.1" xref="A1.E25.m1.2.2.2.1.cmml"><mrow id="A1.E25.m1.2.2.2.1.1.1" xref="A1.E25.m1.2.2.2.1.1.2.cmml"><mo stretchy="false" id="A1.E25.m1.2.2.2.1.1.1.2" xref="A1.E25.m1.2.2.2.1.1.2.1.cmml">‖</mo><mrow id="A1.E25.m1.2.2.2.1.1.1.1" xref="A1.E25.m1.2.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A1.E25.m1.2.2.2.1.1.1.1.2" xref="A1.E25.m1.2.2.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A1.E25.m1.2.2.2.1.1.1.1.1" xref="A1.E25.m1.2.2.2.1.1.1.1.1.cmml">​</mo><msub id="A1.E25.m1.2.2.2.1.1.1.1.3" xref="A1.E25.m1.2.2.2.1.1.1.1.3.cmml"><mi id="A1.E25.m1.2.2.2.1.1.1.1.3.2" xref="A1.E25.m1.2.2.2.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A1.E25.m1.2.2.2.1.1.1.1.3.3" xref="A1.E25.m1.2.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="A1.E25.m1.2.2.2.1.1.1.3" xref="A1.E25.m1.2.2.2.1.1.2.1.cmml">‖</mo></mrow><mo id="A1.E25.m1.2.2.2.1.3" xref="A1.E25.m1.2.2.2.1.3.cmml">∗</mo></msub><mo lspace="0em" rspace="0em" id="A1.E25.m1.3.3.3.3" xref="A1.E25.m1.3.3.3.3.cmml">​</mo><msub id="A1.E25.m1.3.3.3.2" xref="A1.E25.m1.3.3.3.2.cmml"><mrow id="A1.E25.m1.3.3.3.2.1.1" xref="A1.E25.m1.3.3.3.2.1.2.cmml"><mo stretchy="false" id="A1.E25.m1.3.3.3.2.1.1.2" xref="A1.E25.m1.3.3.3.2.1.2.1.cmml">‖</mo><mrow id="A1.E25.m1.3.3.3.2.1.1.1" xref="A1.E25.m1.3.3.3.2.1.1.1.cmml"><msubsup id="A1.E25.m1.3.3.3.2.1.1.1.3" xref="A1.E25.m1.3.3.3.2.1.1.1.3.cmml"><mi id="A1.E25.m1.3.3.3.2.1.1.1.3.2.2" xref="A1.E25.m1.3.3.3.2.1.1.1.3.2.2.cmml">𝒉</mi><mrow id="A1.E25.m1.3.3.3.2.1.1.1.3.3" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3.cmml"><mi mathvariant="normal" id="A1.E25.m1.3.3.3.2.1.1.1.3.3.2" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3.2.cmml">ℓ</mi><mo id="A1.E25.m1.3.3.3.2.1.1.1.3.3.1" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3.1.cmml">−</mo><mn id="A1.E25.m1.3.3.3.2.1.1.1.3.3.3" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3.3.cmml">1</mn></mrow><mo id="A1.E25.m1.3.3.3.2.1.1.1.3.2.3" xref="A1.E25.m1.3.3.3.2.1.1.1.3.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="A1.E25.m1.3.3.3.2.1.1.1.2" xref="A1.E25.m1.3.3.3.2.1.1.1.2.cmml">​</mo><mrow id="A1.E25.m1.3.3.3.2.1.1.1.1.1" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.E25.m1.3.3.3.2.1.1.1.1.1.2" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.cmml">(</mo><msub id="A1.E25.m1.3.3.3.2.1.1.1.1.1.1" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.cmml"><mi id="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.2" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.3" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="A1.E25.m1.3.3.3.2.1.1.1.1.1.3" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.E25.m1.3.3.3.2.1.1.3" xref="A1.E25.m1.3.3.3.2.1.2.1.cmml">‖</mo></mrow><mn id="A1.E25.m1.3.3.3.2.3" xref="A1.E25.m1.3.3.3.2.3.cmml">2</mn></msub></mrow></mfrac><mo id="A1.E25.m1.4.4.1.1.3.2.2" xref="A1.E25.m1.4.4.1.1.3.1.1.cmml">]</mo></mrow></mrow><mo id="A1.E25.m1.4.4.1.2" xref="A1.E25.m1.4.4.1.1.cmml">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.E25.m1.4b"><apply id="A1.E25.m1.4.4.1.1.cmml" xref="A1.E25.m1.4.4.1"><times id="A1.E25.m1.4.4.1.1.1.cmml" xref="A1.E25.m1.4.4.1.1.1"></times><apply id="A1.E25.m1.4.4.1.1.2.cmml" xref="A1.E25.m1.4.4.1.1.2"><csymbol cd="ambiguous" id="A1.E25.m1.4.4.1.1.2.1.cmml" xref="A1.E25.m1.4.4.1.1.2">subscript</csymbol><ci id="A1.E25.m1.4.4.1.1.2.2.cmml" xref="A1.E25.m1.4.4.1.1.2.2">𝔼</ci><ci id="A1.E25.m1.4.4.1.1.2.3.cmml" xref="A1.E25.m1.4.4.1.1.2.3">𝒙</ci></apply><apply id="A1.E25.m1.4.4.1.1.3.1.cmml" xref="A1.E25.m1.4.4.1.1.3.2"><csymbol cd="latexml" id="A1.E25.m1.4.4.1.1.3.1.1.cmml" xref="A1.E25.m1.4.4.1.1.3.2.1">delimited-[]</csymbol><apply id="A1.E25.m1.3.3.cmml" xref="A1.E25.m1.3.3"><divide id="A1.E25.m1.3.3.4.cmml" xref="A1.E25.m1.3.3"></divide><apply id="A1.E25.m1.1.1.1.cmml" xref="A1.E25.m1.1.1.1"><csymbol cd="ambiguous" id="A1.E25.m1.1.1.1.2.cmml" xref="A1.E25.m1.1.1.1">subscript</csymbol><apply id="A1.E25.m1.1.1.1.1.2.cmml" xref="A1.E25.m1.1.1.1.1.1"><csymbol cd="latexml" id="A1.E25.m1.1.1.1.1.2.1.cmml" xref="A1.E25.m1.1.1.1.1.1.2">norm</csymbol><apply id="A1.E25.m1.1.1.1.1.1.1.cmml" xref="A1.E25.m1.1.1.1.1.1.1"><times id="A1.E25.m1.1.1.1.1.1.1.2.cmml" xref="A1.E25.m1.1.1.1.1.1.1.2"></times><ci id="A1.E25.m1.1.1.1.1.1.1.3.cmml" xref="A1.E25.m1.1.1.1.1.1.1.3">Δ</ci><apply id="A1.E25.m1.1.1.1.1.1.1.4.cmml" xref="A1.E25.m1.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A1.E25.m1.1.1.1.1.1.1.4.1.cmml" xref="A1.E25.m1.1.1.1.1.1.1.4">subscript</csymbol><ci id="A1.E25.m1.1.1.1.1.1.1.4.2.cmml" xref="A1.E25.m1.1.1.1.1.1.1.4.2">𝑾</ci><ci id="A1.E25.m1.1.1.1.1.1.1.4.3.cmml" xref="A1.E25.m1.1.1.1.1.1.1.4.3">ℓ</ci></apply><apply id="A1.E25.m1.1.1.1.1.1.1.5.cmml" xref="A1.E25.m1.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="A1.E25.m1.1.1.1.1.1.1.5.1.cmml" xref="A1.E25.m1.1.1.1.1.1.1.5">subscript</csymbol><ci id="A1.E25.m1.1.1.1.1.1.1.5.2.cmml" xref="A1.E25.m1.1.1.1.1.1.1.5.2">𝒉</ci><apply id="A1.E25.m1.1.1.1.1.1.1.5.3.cmml" xref="A1.E25.m1.1.1.1.1.1.1.5.3"><minus id="A1.E25.m1.1.1.1.1.1.1.5.3.1.cmml" xref="A1.E25.m1.1.1.1.1.1.1.5.3.1"></minus><ci id="A1.E25.m1.1.1.1.1.1.1.5.3.2.cmml" xref="A1.E25.m1.1.1.1.1.1.1.5.3.2">ℓ</ci><cn type="integer" id="A1.E25.m1.1.1.1.1.1.1.5.3.3.cmml" xref="A1.E25.m1.1.1.1.1.1.1.5.3.3">1</cn></apply></apply><apply id="A1.E25.m1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E25.m1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E25.m1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A1.E25.m1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.E25.m1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.2">𝒙</ci><ci id="A1.E25.m1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A1.E25.m1.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="A1.E25.m1.1.1.1.3.cmml" xref="A1.E25.m1.1.1.1.3">2</cn></apply><apply id="A1.E25.m1.3.3.3.cmml" xref="A1.E25.m1.3.3.3"><times id="A1.E25.m1.3.3.3.3.cmml" xref="A1.E25.m1.3.3.3.3"></times><apply id="A1.E25.m1.2.2.2.1.cmml" xref="A1.E25.m1.2.2.2.1"><csymbol cd="ambiguous" id="A1.E25.m1.2.2.2.1.2.cmml" xref="A1.E25.m1.2.2.2.1">subscript</csymbol><apply id="A1.E25.m1.2.2.2.1.1.2.cmml" xref="A1.E25.m1.2.2.2.1.1.1"><csymbol cd="latexml" id="A1.E25.m1.2.2.2.1.1.2.1.cmml" xref="A1.E25.m1.2.2.2.1.1.1.2">norm</csymbol><apply id="A1.E25.m1.2.2.2.1.1.1.1.cmml" xref="A1.E25.m1.2.2.2.1.1.1.1"><times id="A1.E25.m1.2.2.2.1.1.1.1.1.cmml" xref="A1.E25.m1.2.2.2.1.1.1.1.1"></times><ci id="A1.E25.m1.2.2.2.1.1.1.1.2.cmml" xref="A1.E25.m1.2.2.2.1.1.1.1.2">Δ</ci><apply id="A1.E25.m1.2.2.2.1.1.1.1.3.cmml" xref="A1.E25.m1.2.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="A1.E25.m1.2.2.2.1.1.1.1.3.1.cmml" xref="A1.E25.m1.2.2.2.1.1.1.1.3">subscript</csymbol><ci id="A1.E25.m1.2.2.2.1.1.1.1.3.2.cmml" xref="A1.E25.m1.2.2.2.1.1.1.1.3.2">𝑾</ci><ci id="A1.E25.m1.2.2.2.1.1.1.1.3.3.cmml" xref="A1.E25.m1.2.2.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="A1.E25.m1.2.2.2.1.3.cmml" xref="A1.E25.m1.2.2.2.1.3"></times></apply><apply id="A1.E25.m1.3.3.3.2.cmml" xref="A1.E25.m1.3.3.3.2"><csymbol cd="ambiguous" id="A1.E25.m1.3.3.3.2.2.cmml" xref="A1.E25.m1.3.3.3.2">subscript</csymbol><apply id="A1.E25.m1.3.3.3.2.1.2.cmml" xref="A1.E25.m1.3.3.3.2.1.1"><csymbol cd="latexml" id="A1.E25.m1.3.3.3.2.1.2.1.cmml" xref="A1.E25.m1.3.3.3.2.1.1.2">norm</csymbol><apply id="A1.E25.m1.3.3.3.2.1.1.1.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1"><times id="A1.E25.m1.3.3.3.2.1.1.1.2.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.2"></times><apply id="A1.E25.m1.3.3.3.2.1.1.1.3.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3"><csymbol cd="ambiguous" id="A1.E25.m1.3.3.3.2.1.1.1.3.1.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3">subscript</csymbol><apply id="A1.E25.m1.3.3.3.2.1.1.1.3.2.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3"><csymbol cd="ambiguous" id="A1.E25.m1.3.3.3.2.1.1.1.3.2.1.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3">superscript</csymbol><ci id="A1.E25.m1.3.3.3.2.1.1.1.3.2.2.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3.2.2">𝒉</ci><ci id="A1.E25.m1.3.3.3.2.1.1.1.3.2.3.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3.2.3">′</ci></apply><apply id="A1.E25.m1.3.3.3.2.1.1.1.3.3.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3"><minus id="A1.E25.m1.3.3.3.2.1.1.1.3.3.1.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3.1"></minus><ci id="A1.E25.m1.3.3.3.2.1.1.1.3.3.2.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3.2">ℓ</ci><cn type="integer" id="A1.E25.m1.3.3.3.2.1.1.1.3.3.3.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.3.3.3">1</cn></apply></apply><apply id="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.1.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1">subscript</csymbol><ci id="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.2.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.2">𝒙</ci><ci id="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.3.cmml" xref="A1.E25.m1.3.3.3.2.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="A1.E25.m1.3.3.3.2.3.cmml" xref="A1.E25.m1.3.3.3.2.3">2</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.E25.m1.4c">\mathbb{E}_{{\bm{x}}}\!\left[\frac{\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell-1}({\bm{x}}_{i})\right|\!\right|_{2}}{\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\left|\!\left|{\bm{h}}^{\prime}_{\ell-1}({\bm{x}}_{i})\right|\!\right|_{2}}\right],</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(25)</span></td>
</tr></tbody>
</table>
<p id="A1.p1.8" class="ltx_p">where the expectation is taken over <math id="A1.p1.7.m1.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="A1.p1.7.m1.1a"><mi id="A1.p1.7.m1.1.1" xref="A1.p1.7.m1.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="A1.p1.7.m1.1b"><ci id="A1.p1.7.m1.1.1.cmml" xref="A1.p1.7.m1.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.7.m1.1c">{\bm{x}}</annotation></semantics></math> from the batch.
Shaded envelopes in <a href="#S3.F1" title="In 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">1</span></a> denote one standard deviation with respect to both random network initialization and random batch selection over <math id="A1.p1.8.m2.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A1.p1.8.m2.1a"><mn id="A1.p1.8.m2.1.1" xref="A1.p1.8.m2.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A1.p1.8.m2.1b"><cn type="integer" id="A1.p1.8.m2.1.1.cmml" xref="A1.p1.8.m2.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A1.p1.8.m2.1c">10</annotation></semantics></math> trials.</p>
</div>
<div id="A1.p2" class="ltx_para ltx_noindent">
<p id="A1.p2.12" class="ltx_p">We conducted an additional experiment to try to ascertain the source of the low effective rank of <math id="A1.p2.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="A1.p2.1.m1.1a"><mrow id="A1.p2.1.m1.1.1" xref="A1.p2.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A1.p2.1.m1.1.1.2" xref="A1.p2.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A1.p2.1.m1.1.1.1" xref="A1.p2.1.m1.1.1.1.cmml">​</mo><msub id="A1.p2.1.m1.1.1.3" xref="A1.p2.1.m1.1.1.3.cmml"><mi id="A1.p2.1.m1.1.1.3.2" xref="A1.p2.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A1.p2.1.m1.1.1.3.3" xref="A1.p2.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.1.m1.1b"><apply id="A1.p2.1.m1.1.1.cmml" xref="A1.p2.1.m1.1.1"><times id="A1.p2.1.m1.1.1.1.cmml" xref="A1.p2.1.m1.1.1.1"></times><ci id="A1.p2.1.m1.1.1.2.cmml" xref="A1.p2.1.m1.1.1.2">Δ</ci><apply id="A1.p2.1.m1.1.1.3.cmml" xref="A1.p2.1.m1.1.1.3"><csymbol cd="ambiguous" id="A1.p2.1.m1.1.1.3.1.cmml" xref="A1.p2.1.m1.1.1.3">subscript</csymbol><ci id="A1.p2.1.m1.1.1.3.2.cmml" xref="A1.p2.1.m1.1.1.3.2">𝑾</ci><ci id="A1.p2.1.m1.1.1.3.3.cmml" xref="A1.p2.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math>.
Let <math id="A1.p2.2.m2.1" class="ltx_Math" alttext="{\bm{H}}^{\prime}_{\ell-1}=[{\bm{h}}^{\prime}_{1}({\bm{x}}_{1})\ldots{\bm{h}}^{\prime}_{1}({\bm{x}}_{B})]\in\mathbb{R}^{d\times B}" display="inline"><semantics id="A1.p2.2.m2.1a"><mrow id="A1.p2.2.m2.1.1" xref="A1.p2.2.m2.1.1.cmml"><msubsup id="A1.p2.2.m2.1.1.3" xref="A1.p2.2.m2.1.1.3.cmml"><mi id="A1.p2.2.m2.1.1.3.2.2" xref="A1.p2.2.m2.1.1.3.2.2.cmml">𝑯</mi><mrow id="A1.p2.2.m2.1.1.3.3" xref="A1.p2.2.m2.1.1.3.3.cmml"><mi mathvariant="normal" id="A1.p2.2.m2.1.1.3.3.2" xref="A1.p2.2.m2.1.1.3.3.2.cmml">ℓ</mi><mo id="A1.p2.2.m2.1.1.3.3.1" xref="A1.p2.2.m2.1.1.3.3.1.cmml">−</mo><mn id="A1.p2.2.m2.1.1.3.3.3" xref="A1.p2.2.m2.1.1.3.3.3.cmml">1</mn></mrow><mo id="A1.p2.2.m2.1.1.3.2.3" xref="A1.p2.2.m2.1.1.3.2.3.cmml">′</mo></msubsup><mo id="A1.p2.2.m2.1.1.4" xref="A1.p2.2.m2.1.1.4.cmml">=</mo><mrow id="A1.p2.2.m2.1.1.1.1" xref="A1.p2.2.m2.1.1.1.2.cmml"><mo stretchy="false" id="A1.p2.2.m2.1.1.1.1.2" xref="A1.p2.2.m2.1.1.1.2.1.cmml">[</mo><mrow id="A1.p2.2.m2.1.1.1.1.1" xref="A1.p2.2.m2.1.1.1.1.1.cmml"><msubsup id="A1.p2.2.m2.1.1.1.1.1.4" xref="A1.p2.2.m2.1.1.1.1.1.4.cmml"><mi id="A1.p2.2.m2.1.1.1.1.1.4.2.2" xref="A1.p2.2.m2.1.1.1.1.1.4.2.2.cmml">𝒉</mi><mn id="A1.p2.2.m2.1.1.1.1.1.4.3" xref="A1.p2.2.m2.1.1.1.1.1.4.3.cmml">1</mn><mo id="A1.p2.2.m2.1.1.1.1.1.4.2.3" xref="A1.p2.2.m2.1.1.1.1.1.4.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="A1.p2.2.m2.1.1.1.1.1.3" xref="A1.p2.2.m2.1.1.1.1.1.3.cmml">​</mo><mrow id="A1.p2.2.m2.1.1.1.1.1.1.1" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.p2.2.m2.1.1.1.1.1.1.1.2" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.p2.2.m2.1.1.1.1.1.1.1.1" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.cmml"><mi id="A1.p2.2.m2.1.1.1.1.1.1.1.1.2" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mn id="A1.p2.2.m2.1.1.1.1.1.1.1.1.3" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.3.cmml">1</mn></msub><mo stretchy="false" id="A1.p2.2.m2.1.1.1.1.1.1.1.3" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A1.p2.2.m2.1.1.1.1.1.3a" xref="A1.p2.2.m2.1.1.1.1.1.3.cmml">​</mo><mi mathvariant="normal" id="A1.p2.2.m2.1.1.1.1.1.5" xref="A1.p2.2.m2.1.1.1.1.1.5.cmml">…</mi><mo lspace="0em" rspace="0em" id="A1.p2.2.m2.1.1.1.1.1.3b" xref="A1.p2.2.m2.1.1.1.1.1.3.cmml">​</mo><msubsup id="A1.p2.2.m2.1.1.1.1.1.6" xref="A1.p2.2.m2.1.1.1.1.1.6.cmml"><mi id="A1.p2.2.m2.1.1.1.1.1.6.2.2" xref="A1.p2.2.m2.1.1.1.1.1.6.2.2.cmml">𝒉</mi><mn id="A1.p2.2.m2.1.1.1.1.1.6.3" xref="A1.p2.2.m2.1.1.1.1.1.6.3.cmml">1</mn><mo id="A1.p2.2.m2.1.1.1.1.1.6.2.3" xref="A1.p2.2.m2.1.1.1.1.1.6.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="A1.p2.2.m2.1.1.1.1.1.3c" xref="A1.p2.2.m2.1.1.1.1.1.3.cmml">​</mo><mrow id="A1.p2.2.m2.1.1.1.1.1.2.1" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.cmml"><mo stretchy="false" id="A1.p2.2.m2.1.1.1.1.1.2.1.2" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.cmml">(</mo><msub id="A1.p2.2.m2.1.1.1.1.1.2.1.1" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.cmml"><mi id="A1.p2.2.m2.1.1.1.1.1.2.1.1.2" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.2.cmml">𝒙</mi><mi id="A1.p2.2.m2.1.1.1.1.1.2.1.1.3" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.3.cmml">B</mi></msub><mo stretchy="false" id="A1.p2.2.m2.1.1.1.1.1.2.1.3" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.p2.2.m2.1.1.1.1.3" xref="A1.p2.2.m2.1.1.1.2.1.cmml">]</mo></mrow><mo id="A1.p2.2.m2.1.1.5" xref="A1.p2.2.m2.1.1.5.cmml">∈</mo><msup id="A1.p2.2.m2.1.1.6" xref="A1.p2.2.m2.1.1.6.cmml"><mi id="A1.p2.2.m2.1.1.6.2" xref="A1.p2.2.m2.1.1.6.2.cmml">ℝ</mi><mrow id="A1.p2.2.m2.1.1.6.3" xref="A1.p2.2.m2.1.1.6.3.cmml"><mi id="A1.p2.2.m2.1.1.6.3.2" xref="A1.p2.2.m2.1.1.6.3.2.cmml">d</mi><mo lspace="0.222em" rspace="0.222em" id="A1.p2.2.m2.1.1.6.3.1" xref="A1.p2.2.m2.1.1.6.3.1.cmml">×</mo><mi id="A1.p2.2.m2.1.1.6.3.3" xref="A1.p2.2.m2.1.1.6.3.3.cmml">B</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.2.m2.1b"><apply id="A1.p2.2.m2.1.1.cmml" xref="A1.p2.2.m2.1.1"><and id="A1.p2.2.m2.1.1a.cmml" xref="A1.p2.2.m2.1.1"></and><apply id="A1.p2.2.m2.1.1b.cmml" xref="A1.p2.2.m2.1.1"><eq id="A1.p2.2.m2.1.1.4.cmml" xref="A1.p2.2.m2.1.1.4"></eq><apply id="A1.p2.2.m2.1.1.3.cmml" xref="A1.p2.2.m2.1.1.3"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.3.1.cmml" xref="A1.p2.2.m2.1.1.3">subscript</csymbol><apply id="A1.p2.2.m2.1.1.3.2.cmml" xref="A1.p2.2.m2.1.1.3"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.3.2.1.cmml" xref="A1.p2.2.m2.1.1.3">superscript</csymbol><ci id="A1.p2.2.m2.1.1.3.2.2.cmml" xref="A1.p2.2.m2.1.1.3.2.2">𝑯</ci><ci id="A1.p2.2.m2.1.1.3.2.3.cmml" xref="A1.p2.2.m2.1.1.3.2.3">′</ci></apply><apply id="A1.p2.2.m2.1.1.3.3.cmml" xref="A1.p2.2.m2.1.1.3.3"><minus id="A1.p2.2.m2.1.1.3.3.1.cmml" xref="A1.p2.2.m2.1.1.3.3.1"></minus><ci id="A1.p2.2.m2.1.1.3.3.2.cmml" xref="A1.p2.2.m2.1.1.3.3.2">ℓ</ci><cn type="integer" id="A1.p2.2.m2.1.1.3.3.3.cmml" xref="A1.p2.2.m2.1.1.3.3.3">1</cn></apply></apply><apply id="A1.p2.2.m2.1.1.1.2.cmml" xref="A1.p2.2.m2.1.1.1.1"><csymbol cd="latexml" id="A1.p2.2.m2.1.1.1.2.1.cmml" xref="A1.p2.2.m2.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.p2.2.m2.1.1.1.1.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1"><times id="A1.p2.2.m2.1.1.1.1.1.3.cmml" xref="A1.p2.2.m2.1.1.1.1.1.3"></times><apply id="A1.p2.2.m2.1.1.1.1.1.4.cmml" xref="A1.p2.2.m2.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.1.1.1.4.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.4">subscript</csymbol><apply id="A1.p2.2.m2.1.1.1.1.1.4.2.cmml" xref="A1.p2.2.m2.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.1.1.1.4.2.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.4">superscript</csymbol><ci id="A1.p2.2.m2.1.1.1.1.1.4.2.2.cmml" xref="A1.p2.2.m2.1.1.1.1.1.4.2.2">𝒉</ci><ci id="A1.p2.2.m2.1.1.1.1.1.4.2.3.cmml" xref="A1.p2.2.m2.1.1.1.1.1.4.2.3">′</ci></apply><cn type="integer" id="A1.p2.2.m2.1.1.1.1.1.4.3.cmml" xref="A1.p2.2.m2.1.1.1.1.1.4.3">1</cn></apply><apply id="A1.p2.2.m2.1.1.1.1.1.1.1.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.1.1.1.1.1.1.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.p2.2.m2.1.1.1.1.1.1.1.1.2.cmml" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.2">𝒙</ci><cn type="integer" id="A1.p2.2.m2.1.1.1.1.1.1.1.1.3.cmml" xref="A1.p2.2.m2.1.1.1.1.1.1.1.1.3">1</cn></apply><ci id="A1.p2.2.m2.1.1.1.1.1.5.cmml" xref="A1.p2.2.m2.1.1.1.1.1.5">…</ci><apply id="A1.p2.2.m2.1.1.1.1.1.6.cmml" xref="A1.p2.2.m2.1.1.1.1.1.6"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.1.1.1.6.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.6">subscript</csymbol><apply id="A1.p2.2.m2.1.1.1.1.1.6.2.cmml" xref="A1.p2.2.m2.1.1.1.1.1.6"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.1.1.1.6.2.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.6">superscript</csymbol><ci id="A1.p2.2.m2.1.1.1.1.1.6.2.2.cmml" xref="A1.p2.2.m2.1.1.1.1.1.6.2.2">𝒉</ci><ci id="A1.p2.2.m2.1.1.1.1.1.6.2.3.cmml" xref="A1.p2.2.m2.1.1.1.1.1.6.2.3">′</ci></apply><cn type="integer" id="A1.p2.2.m2.1.1.1.1.1.6.3.cmml" xref="A1.p2.2.m2.1.1.1.1.1.6.3">1</cn></apply><apply id="A1.p2.2.m2.1.1.1.1.1.2.1.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.1.1.1.2.1.1.1.cmml" xref="A1.p2.2.m2.1.1.1.1.1.2.1">subscript</csymbol><ci id="A1.p2.2.m2.1.1.1.1.1.2.1.1.2.cmml" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.2">𝒙</ci><ci id="A1.p2.2.m2.1.1.1.1.1.2.1.1.3.cmml" xref="A1.p2.2.m2.1.1.1.1.1.2.1.1.3">𝐵</ci></apply></apply></apply></apply><apply id="A1.p2.2.m2.1.1c.cmml" xref="A1.p2.2.m2.1.1"><in id="A1.p2.2.m2.1.1.5.cmml" xref="A1.p2.2.m2.1.1.5"></in><share href="#A1.p2.2.m2.1.1.1.cmml" id="A1.p2.2.m2.1.1d.cmml" xref="A1.p2.2.m2.1.1"></share><apply id="A1.p2.2.m2.1.1.6.cmml" xref="A1.p2.2.m2.1.1.6"><csymbol cd="ambiguous" id="A1.p2.2.m2.1.1.6.1.cmml" xref="A1.p2.2.m2.1.1.6">superscript</csymbol><ci id="A1.p2.2.m2.1.1.6.2.cmml" xref="A1.p2.2.m2.1.1.6.2">ℝ</ci><apply id="A1.p2.2.m2.1.1.6.3.cmml" xref="A1.p2.2.m2.1.1.6.3"><times id="A1.p2.2.m2.1.1.6.3.1.cmml" xref="A1.p2.2.m2.1.1.6.3.1"></times><ci id="A1.p2.2.m2.1.1.6.3.2.cmml" xref="A1.p2.2.m2.1.1.6.3.2">𝑑</ci><ci id="A1.p2.2.m2.1.1.6.3.3.cmml" xref="A1.p2.2.m2.1.1.6.3.3">𝐵</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.2.m2.1c">{\bm{H}}^{\prime}_{\ell-1}=[{\bm{h}}^{\prime}_{1}({\bm{x}}_{1})\ldots{\bm{h}}^{\prime}_{1}({\bm{x}}_{B})]\in\mathbb{R}^{d\times B}</annotation></semantics></math> be the matrix formed from stacking the <math id="A1.p2.3.m3.1" class="ltx_Math" alttext="\ell=1" display="inline"><semantics id="A1.p2.3.m3.1a"><mrow id="A1.p2.3.m3.1.1" xref="A1.p2.3.m3.1.1.cmml"><mi mathvariant="normal" id="A1.p2.3.m3.1.1.2" xref="A1.p2.3.m3.1.1.2.cmml">ℓ</mi><mo id="A1.p2.3.m3.1.1.1" xref="A1.p2.3.m3.1.1.1.cmml">=</mo><mn id="A1.p2.3.m3.1.1.3" xref="A1.p2.3.m3.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.3.m3.1b"><apply id="A1.p2.3.m3.1.1.cmml" xref="A1.p2.3.m3.1.1"><eq id="A1.p2.3.m3.1.1.1.cmml" xref="A1.p2.3.m3.1.1.1"></eq><ci id="A1.p2.3.m3.1.1.2.cmml" xref="A1.p2.3.m3.1.1.2">ℓ</ci><cn type="integer" id="A1.p2.3.m3.1.1.3.cmml" xref="A1.p2.3.m3.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.3.m3.1c">\ell=1</annotation></semantics></math> post-nonlinearity hidden vectors from the full batch, and let <math id="A1.p2.4.m4.1" class="ltx_Math" alttext="{\bm{G}}_{\ell}=[{\bm{g}}_{2}({\bm{x}}_{1})\ldots{\bm{g}}_{2}({\bm{x}}_{B})]\in\mathbb{R}^{d\times B}" display="inline"><semantics id="A1.p2.4.m4.1a"><mrow id="A1.p2.4.m4.1.1" xref="A1.p2.4.m4.1.1.cmml"><msub id="A1.p2.4.m4.1.1.3" xref="A1.p2.4.m4.1.1.3.cmml"><mi id="A1.p2.4.m4.1.1.3.2" xref="A1.p2.4.m4.1.1.3.2.cmml">𝑮</mi><mi mathvariant="normal" id="A1.p2.4.m4.1.1.3.3" xref="A1.p2.4.m4.1.1.3.3.cmml">ℓ</mi></msub><mo id="A1.p2.4.m4.1.1.4" xref="A1.p2.4.m4.1.1.4.cmml">=</mo><mrow id="A1.p2.4.m4.1.1.1.1" xref="A1.p2.4.m4.1.1.1.2.cmml"><mo stretchy="false" id="A1.p2.4.m4.1.1.1.1.2" xref="A1.p2.4.m4.1.1.1.2.1.cmml">[</mo><mrow id="A1.p2.4.m4.1.1.1.1.1" xref="A1.p2.4.m4.1.1.1.1.1.cmml"><msub id="A1.p2.4.m4.1.1.1.1.1.4" xref="A1.p2.4.m4.1.1.1.1.1.4.cmml"><mi id="A1.p2.4.m4.1.1.1.1.1.4.2" xref="A1.p2.4.m4.1.1.1.1.1.4.2.cmml">𝒈</mi><mn id="A1.p2.4.m4.1.1.1.1.1.4.3" xref="A1.p2.4.m4.1.1.1.1.1.4.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="A1.p2.4.m4.1.1.1.1.1.3" xref="A1.p2.4.m4.1.1.1.1.1.3.cmml">​</mo><mrow id="A1.p2.4.m4.1.1.1.1.1.1.1" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A1.p2.4.m4.1.1.1.1.1.1.1.2" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="A1.p2.4.m4.1.1.1.1.1.1.1.1" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.cmml"><mi id="A1.p2.4.m4.1.1.1.1.1.1.1.1.2" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mn id="A1.p2.4.m4.1.1.1.1.1.1.1.1.3" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.3.cmml">1</mn></msub><mo stretchy="false" id="A1.p2.4.m4.1.1.1.1.1.1.1.3" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.cmml">)</mo></mrow><mo lspace="0em" rspace="0em" id="A1.p2.4.m4.1.1.1.1.1.3a" xref="A1.p2.4.m4.1.1.1.1.1.3.cmml">​</mo><mi mathvariant="normal" id="A1.p2.4.m4.1.1.1.1.1.5" xref="A1.p2.4.m4.1.1.1.1.1.5.cmml">…</mi><mo lspace="0em" rspace="0em" id="A1.p2.4.m4.1.1.1.1.1.3b" xref="A1.p2.4.m4.1.1.1.1.1.3.cmml">​</mo><msub id="A1.p2.4.m4.1.1.1.1.1.6" xref="A1.p2.4.m4.1.1.1.1.1.6.cmml"><mi id="A1.p2.4.m4.1.1.1.1.1.6.2" xref="A1.p2.4.m4.1.1.1.1.1.6.2.cmml">𝒈</mi><mn id="A1.p2.4.m4.1.1.1.1.1.6.3" xref="A1.p2.4.m4.1.1.1.1.1.6.3.cmml">2</mn></msub><mo lspace="0em" rspace="0em" id="A1.p2.4.m4.1.1.1.1.1.3c" xref="A1.p2.4.m4.1.1.1.1.1.3.cmml">​</mo><mrow id="A1.p2.4.m4.1.1.1.1.1.2.1" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.cmml"><mo stretchy="false" id="A1.p2.4.m4.1.1.1.1.1.2.1.2" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.cmml">(</mo><msub id="A1.p2.4.m4.1.1.1.1.1.2.1.1" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.cmml"><mi id="A1.p2.4.m4.1.1.1.1.1.2.1.1.2" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.2.cmml">𝒙</mi><mi id="A1.p2.4.m4.1.1.1.1.1.2.1.1.3" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.3.cmml">B</mi></msub><mo stretchy="false" id="A1.p2.4.m4.1.1.1.1.1.2.1.3" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A1.p2.4.m4.1.1.1.1.3" xref="A1.p2.4.m4.1.1.1.2.1.cmml">]</mo></mrow><mo id="A1.p2.4.m4.1.1.5" xref="A1.p2.4.m4.1.1.5.cmml">∈</mo><msup id="A1.p2.4.m4.1.1.6" xref="A1.p2.4.m4.1.1.6.cmml"><mi id="A1.p2.4.m4.1.1.6.2" xref="A1.p2.4.m4.1.1.6.2.cmml">ℝ</mi><mrow id="A1.p2.4.m4.1.1.6.3" xref="A1.p2.4.m4.1.1.6.3.cmml"><mi id="A1.p2.4.m4.1.1.6.3.2" xref="A1.p2.4.m4.1.1.6.3.2.cmml">d</mi><mo lspace="0.222em" rspace="0.222em" id="A1.p2.4.m4.1.1.6.3.1" xref="A1.p2.4.m4.1.1.6.3.1.cmml">×</mo><mi id="A1.p2.4.m4.1.1.6.3.3" xref="A1.p2.4.m4.1.1.6.3.3.cmml">B</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.4.m4.1b"><apply id="A1.p2.4.m4.1.1.cmml" xref="A1.p2.4.m4.1.1"><and id="A1.p2.4.m4.1.1a.cmml" xref="A1.p2.4.m4.1.1"></and><apply id="A1.p2.4.m4.1.1b.cmml" xref="A1.p2.4.m4.1.1"><eq id="A1.p2.4.m4.1.1.4.cmml" xref="A1.p2.4.m4.1.1.4"></eq><apply id="A1.p2.4.m4.1.1.3.cmml" xref="A1.p2.4.m4.1.1.3"><csymbol cd="ambiguous" id="A1.p2.4.m4.1.1.3.1.cmml" xref="A1.p2.4.m4.1.1.3">subscript</csymbol><ci id="A1.p2.4.m4.1.1.3.2.cmml" xref="A1.p2.4.m4.1.1.3.2">𝑮</ci><ci id="A1.p2.4.m4.1.1.3.3.cmml" xref="A1.p2.4.m4.1.1.3.3">ℓ</ci></apply><apply id="A1.p2.4.m4.1.1.1.2.cmml" xref="A1.p2.4.m4.1.1.1.1"><csymbol cd="latexml" id="A1.p2.4.m4.1.1.1.2.1.cmml" xref="A1.p2.4.m4.1.1.1.1.2">delimited-[]</csymbol><apply id="A1.p2.4.m4.1.1.1.1.1.cmml" xref="A1.p2.4.m4.1.1.1.1.1"><times id="A1.p2.4.m4.1.1.1.1.1.3.cmml" xref="A1.p2.4.m4.1.1.1.1.1.3"></times><apply id="A1.p2.4.m4.1.1.1.1.1.4.cmml" xref="A1.p2.4.m4.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A1.p2.4.m4.1.1.1.1.1.4.1.cmml" xref="A1.p2.4.m4.1.1.1.1.1.4">subscript</csymbol><ci id="A1.p2.4.m4.1.1.1.1.1.4.2.cmml" xref="A1.p2.4.m4.1.1.1.1.1.4.2">𝒈</ci><cn type="integer" id="A1.p2.4.m4.1.1.1.1.1.4.3.cmml" xref="A1.p2.4.m4.1.1.1.1.1.4.3">2</cn></apply><apply id="A1.p2.4.m4.1.1.1.1.1.1.1.1.cmml" xref="A1.p2.4.m4.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A1.p2.4.m4.1.1.1.1.1.1.1.1.1.cmml" xref="A1.p2.4.m4.1.1.1.1.1.1.1">subscript</csymbol><ci id="A1.p2.4.m4.1.1.1.1.1.1.1.1.2.cmml" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.2">𝒙</ci><cn type="integer" id="A1.p2.4.m4.1.1.1.1.1.1.1.1.3.cmml" xref="A1.p2.4.m4.1.1.1.1.1.1.1.1.3">1</cn></apply><ci id="A1.p2.4.m4.1.1.1.1.1.5.cmml" xref="A1.p2.4.m4.1.1.1.1.1.5">…</ci><apply id="A1.p2.4.m4.1.1.1.1.1.6.cmml" xref="A1.p2.4.m4.1.1.1.1.1.6"><csymbol cd="ambiguous" id="A1.p2.4.m4.1.1.1.1.1.6.1.cmml" xref="A1.p2.4.m4.1.1.1.1.1.6">subscript</csymbol><ci id="A1.p2.4.m4.1.1.1.1.1.6.2.cmml" xref="A1.p2.4.m4.1.1.1.1.1.6.2">𝒈</ci><cn type="integer" id="A1.p2.4.m4.1.1.1.1.1.6.3.cmml" xref="A1.p2.4.m4.1.1.1.1.1.6.3">2</cn></apply><apply id="A1.p2.4.m4.1.1.1.1.1.2.1.1.cmml" xref="A1.p2.4.m4.1.1.1.1.1.2.1"><csymbol cd="ambiguous" id="A1.p2.4.m4.1.1.1.1.1.2.1.1.1.cmml" xref="A1.p2.4.m4.1.1.1.1.1.2.1">subscript</csymbol><ci id="A1.p2.4.m4.1.1.1.1.1.2.1.1.2.cmml" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.2">𝒙</ci><ci id="A1.p2.4.m4.1.1.1.1.1.2.1.1.3.cmml" xref="A1.p2.4.m4.1.1.1.1.1.2.1.1.3">𝐵</ci></apply></apply></apply></apply><apply id="A1.p2.4.m4.1.1c.cmml" xref="A1.p2.4.m4.1.1"><in id="A1.p2.4.m4.1.1.5.cmml" xref="A1.p2.4.m4.1.1.5"></in><share href="#A1.p2.4.m4.1.1.1.cmml" id="A1.p2.4.m4.1.1d.cmml" xref="A1.p2.4.m4.1.1"></share><apply id="A1.p2.4.m4.1.1.6.cmml" xref="A1.p2.4.m4.1.1.6"><csymbol cd="ambiguous" id="A1.p2.4.m4.1.1.6.1.cmml" xref="A1.p2.4.m4.1.1.6">superscript</csymbol><ci id="A1.p2.4.m4.1.1.6.2.cmml" xref="A1.p2.4.m4.1.1.6.2">ℝ</ci><apply id="A1.p2.4.m4.1.1.6.3.cmml" xref="A1.p2.4.m4.1.1.6.3"><times id="A1.p2.4.m4.1.1.6.3.1.cmml" xref="A1.p2.4.m4.1.1.6.3.1"></times><ci id="A1.p2.4.m4.1.1.6.3.2.cmml" xref="A1.p2.4.m4.1.1.6.3.2">𝑑</ci><ci id="A1.p2.4.m4.1.1.6.3.3.cmml" xref="A1.p2.4.m4.1.1.6.3.3">𝐵</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.4.m4.1c">{\bm{G}}_{\ell}=[{\bm{g}}_{2}({\bm{x}}_{1})\ldots{\bm{g}}_{2}({\bm{x}}_{B})]\in\mathbb{R}^{d\times B}</annotation></semantics></math> with <math id="A1.p2.5.m5.2" class="ltx_Math" alttext="{\bm{g}}_{\ell}({\bm{x}})=\nabla_{{\bm{h}}_{\ell}({\bm{x}})}\mathcal{L}" display="inline"><semantics id="A1.p2.5.m5.2a"><mrow id="A1.p2.5.m5.2.3" xref="A1.p2.5.m5.2.3.cmml"><mrow id="A1.p2.5.m5.2.3.2" xref="A1.p2.5.m5.2.3.2.cmml"><msub id="A1.p2.5.m5.2.3.2.2" xref="A1.p2.5.m5.2.3.2.2.cmml"><mi id="A1.p2.5.m5.2.3.2.2.2" xref="A1.p2.5.m5.2.3.2.2.2.cmml">𝒈</mi><mi mathvariant="normal" id="A1.p2.5.m5.2.3.2.2.3" xref="A1.p2.5.m5.2.3.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A1.p2.5.m5.2.3.2.1" xref="A1.p2.5.m5.2.3.2.1.cmml">​</mo><mrow id="A1.p2.5.m5.2.3.2.3.2" xref="A1.p2.5.m5.2.3.2.cmml"><mo stretchy="false" id="A1.p2.5.m5.2.3.2.3.2.1" xref="A1.p2.5.m5.2.3.2.cmml">(</mo><mi id="A1.p2.5.m5.2.2" xref="A1.p2.5.m5.2.2.cmml">𝒙</mi><mo stretchy="false" id="A1.p2.5.m5.2.3.2.3.2.2" xref="A1.p2.5.m5.2.3.2.cmml">)</mo></mrow></mrow><mo id="A1.p2.5.m5.2.3.1" xref="A1.p2.5.m5.2.3.1.cmml">=</mo><mrow id="A1.p2.5.m5.2.3.3" xref="A1.p2.5.m5.2.3.3.cmml"><msub id="A1.p2.5.m5.2.3.3.1" xref="A1.p2.5.m5.2.3.3.1.cmml"><mo rspace="0.167em" id="A1.p2.5.m5.2.3.3.1.2" xref="A1.p2.5.m5.2.3.3.1.2.cmml">∇</mo><mrow id="A1.p2.5.m5.1.1.1" xref="A1.p2.5.m5.1.1.1.cmml"><msub id="A1.p2.5.m5.1.1.1.3" xref="A1.p2.5.m5.1.1.1.3.cmml"><mi id="A1.p2.5.m5.1.1.1.3.2" xref="A1.p2.5.m5.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="A1.p2.5.m5.1.1.1.3.3" xref="A1.p2.5.m5.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A1.p2.5.m5.1.1.1.2" xref="A1.p2.5.m5.1.1.1.2.cmml">​</mo><mrow id="A1.p2.5.m5.1.1.1.4.2" xref="A1.p2.5.m5.1.1.1.cmml"><mo stretchy="false" id="A1.p2.5.m5.1.1.1.4.2.1" xref="A1.p2.5.m5.1.1.1.cmml">(</mo><mi id="A1.p2.5.m5.1.1.1.1" xref="A1.p2.5.m5.1.1.1.1.cmml">𝒙</mi><mo stretchy="false" id="A1.p2.5.m5.1.1.1.4.2.2" xref="A1.p2.5.m5.1.1.1.cmml">)</mo></mrow></mrow></msub><mi class="ltx_font_mathcaligraphic" id="A1.p2.5.m5.2.3.3.2" xref="A1.p2.5.m5.2.3.3.2.cmml">ℒ</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.5.m5.2b"><apply id="A1.p2.5.m5.2.3.cmml" xref="A1.p2.5.m5.2.3"><eq id="A1.p2.5.m5.2.3.1.cmml" xref="A1.p2.5.m5.2.3.1"></eq><apply id="A1.p2.5.m5.2.3.2.cmml" xref="A1.p2.5.m5.2.3.2"><times id="A1.p2.5.m5.2.3.2.1.cmml" xref="A1.p2.5.m5.2.3.2.1"></times><apply id="A1.p2.5.m5.2.3.2.2.cmml" xref="A1.p2.5.m5.2.3.2.2"><csymbol cd="ambiguous" id="A1.p2.5.m5.2.3.2.2.1.cmml" xref="A1.p2.5.m5.2.3.2.2">subscript</csymbol><ci id="A1.p2.5.m5.2.3.2.2.2.cmml" xref="A1.p2.5.m5.2.3.2.2.2">𝒈</ci><ci id="A1.p2.5.m5.2.3.2.2.3.cmml" xref="A1.p2.5.m5.2.3.2.2.3">ℓ</ci></apply><ci id="A1.p2.5.m5.2.2.cmml" xref="A1.p2.5.m5.2.2">𝒙</ci></apply><apply id="A1.p2.5.m5.2.3.3.cmml" xref="A1.p2.5.m5.2.3.3"><apply id="A1.p2.5.m5.2.3.3.1.cmml" xref="A1.p2.5.m5.2.3.3.1"><csymbol cd="ambiguous" id="A1.p2.5.m5.2.3.3.1.1.cmml" xref="A1.p2.5.m5.2.3.3.1">subscript</csymbol><ci id="A1.p2.5.m5.2.3.3.1.2.cmml" xref="A1.p2.5.m5.2.3.3.1.2">∇</ci><apply id="A1.p2.5.m5.1.1.1.cmml" xref="A1.p2.5.m5.1.1.1"><times id="A1.p2.5.m5.1.1.1.2.cmml" xref="A1.p2.5.m5.1.1.1.2"></times><apply id="A1.p2.5.m5.1.1.1.3.cmml" xref="A1.p2.5.m5.1.1.1.3"><csymbol cd="ambiguous" id="A1.p2.5.m5.1.1.1.3.1.cmml" xref="A1.p2.5.m5.1.1.1.3">subscript</csymbol><ci id="A1.p2.5.m5.1.1.1.3.2.cmml" xref="A1.p2.5.m5.1.1.1.3.2">𝒉</ci><ci id="A1.p2.5.m5.1.1.1.3.3.cmml" xref="A1.p2.5.m5.1.1.1.3.3">ℓ</ci></apply><ci id="A1.p2.5.m5.1.1.1.1.cmml" xref="A1.p2.5.m5.1.1.1.1">𝒙</ci></apply></apply><ci id="A1.p2.5.m5.2.3.3.2.cmml" xref="A1.p2.5.m5.2.3.3.2">ℒ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.5.m5.2c">{\bm{g}}_{\ell}({\bm{x}})=\nabla_{{\bm{h}}_{\ell}({\bm{x}})}\mathcal{L}</annotation></semantics></math> be the matrix formed from stacking the loss gradients at layer <math id="A1.p2.6.m6.1" class="ltx_Math" alttext="\ell=2" display="inline"><semantics id="A1.p2.6.m6.1a"><mrow id="A1.p2.6.m6.1.1" xref="A1.p2.6.m6.1.1.cmml"><mi mathvariant="normal" id="A1.p2.6.m6.1.1.2" xref="A1.p2.6.m6.1.1.2.cmml">ℓ</mi><mo id="A1.p2.6.m6.1.1.1" xref="A1.p2.6.m6.1.1.1.cmml">=</mo><mn id="A1.p2.6.m6.1.1.3" xref="A1.p2.6.m6.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.6.m6.1b"><apply id="A1.p2.6.m6.1.1.cmml" xref="A1.p2.6.m6.1.1"><eq id="A1.p2.6.m6.1.1.1.cmml" xref="A1.p2.6.m6.1.1.1"></eq><ci id="A1.p2.6.m6.1.1.2.cmml" xref="A1.p2.6.m6.1.1.2">ℓ</ci><cn type="integer" id="A1.p2.6.m6.1.1.3.cmml" xref="A1.p2.6.m6.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.6.m6.1c">\ell=2</annotation></semantics></math> from the full batch.
It is the case that <math id="A1.p2.7.m7.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}\propto{\bm{G}}_{\ell}{{\bm{H}}^{\prime}_{\ell-1}}^{\top}" display="inline"><semantics id="A1.p2.7.m7.1a"><mrow id="A1.p2.7.m7.1.1" xref="A1.p2.7.m7.1.1.cmml"><mrow id="A1.p2.7.m7.1.1.2" xref="A1.p2.7.m7.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A1.p2.7.m7.1.1.2.2" xref="A1.p2.7.m7.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A1.p2.7.m7.1.1.2.1" xref="A1.p2.7.m7.1.1.2.1.cmml">​</mo><msub id="A1.p2.7.m7.1.1.2.3" xref="A1.p2.7.m7.1.1.2.3.cmml"><mi id="A1.p2.7.m7.1.1.2.3.2" xref="A1.p2.7.m7.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A1.p2.7.m7.1.1.2.3.3" xref="A1.p2.7.m7.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="A1.p2.7.m7.1.1.1" xref="A1.p2.7.m7.1.1.1.cmml">∝</mo><mrow id="A1.p2.7.m7.1.1.3" xref="A1.p2.7.m7.1.1.3.cmml"><msub id="A1.p2.7.m7.1.1.3.2" xref="A1.p2.7.m7.1.1.3.2.cmml"><mi id="A1.p2.7.m7.1.1.3.2.2" xref="A1.p2.7.m7.1.1.3.2.2.cmml">𝑮</mi><mi mathvariant="normal" id="A1.p2.7.m7.1.1.3.2.3" xref="A1.p2.7.m7.1.1.3.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A1.p2.7.m7.1.1.3.1" xref="A1.p2.7.m7.1.1.3.1.cmml">​</mo><mmultiscripts id="A1.p2.7.m7.1.1.3.3" xref="A1.p2.7.m7.1.1.3.3.cmml"><mi id="A1.p2.7.m7.1.1.3.3.2.2.2" xref="A1.p2.7.m7.1.1.3.3.2.2.2.cmml">𝑯</mi><mrow id="A1.p2.7.m7.1.1.3.3.2.3" xref="A1.p2.7.m7.1.1.3.3.2.3.cmml"><mi mathvariant="normal" id="A1.p2.7.m7.1.1.3.3.2.3.2" xref="A1.p2.7.m7.1.1.3.3.2.3.2.cmml">ℓ</mi><mo id="A1.p2.7.m7.1.1.3.3.2.3.1" xref="A1.p2.7.m7.1.1.3.3.2.3.1.cmml">−</mo><mn id="A1.p2.7.m7.1.1.3.3.2.3.3" xref="A1.p2.7.m7.1.1.3.3.2.3.3.cmml">1</mn></mrow><mo id="A1.p2.7.m7.1.1.3.3.2.2.3" xref="A1.p2.7.m7.1.1.3.3.2.2.3.cmml">′</mo><mrow id="A1.p2.7.m7.1.1.3.3a" xref="A1.p2.7.m7.1.1.3.3.cmml"></mrow><mo id="A1.p2.7.m7.1.1.3.3.3" xref="A1.p2.7.m7.1.1.3.3.3.cmml">⊤</mo></mmultiscripts></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.7.m7.1b"><apply id="A1.p2.7.m7.1.1.cmml" xref="A1.p2.7.m7.1.1"><csymbol cd="latexml" id="A1.p2.7.m7.1.1.1.cmml" xref="A1.p2.7.m7.1.1.1">proportional-to</csymbol><apply id="A1.p2.7.m7.1.1.2.cmml" xref="A1.p2.7.m7.1.1.2"><times id="A1.p2.7.m7.1.1.2.1.cmml" xref="A1.p2.7.m7.1.1.2.1"></times><ci id="A1.p2.7.m7.1.1.2.2.cmml" xref="A1.p2.7.m7.1.1.2.2">Δ</ci><apply id="A1.p2.7.m7.1.1.2.3.cmml" xref="A1.p2.7.m7.1.1.2.3"><csymbol cd="ambiguous" id="A1.p2.7.m7.1.1.2.3.1.cmml" xref="A1.p2.7.m7.1.1.2.3">subscript</csymbol><ci id="A1.p2.7.m7.1.1.2.3.2.cmml" xref="A1.p2.7.m7.1.1.2.3.2">𝑾</ci><ci id="A1.p2.7.m7.1.1.2.3.3.cmml" xref="A1.p2.7.m7.1.1.2.3.3">ℓ</ci></apply></apply><apply id="A1.p2.7.m7.1.1.3.cmml" xref="A1.p2.7.m7.1.1.3"><times id="A1.p2.7.m7.1.1.3.1.cmml" xref="A1.p2.7.m7.1.1.3.1"></times><apply id="A1.p2.7.m7.1.1.3.2.cmml" xref="A1.p2.7.m7.1.1.3.2"><csymbol cd="ambiguous" id="A1.p2.7.m7.1.1.3.2.1.cmml" xref="A1.p2.7.m7.1.1.3.2">subscript</csymbol><ci id="A1.p2.7.m7.1.1.3.2.2.cmml" xref="A1.p2.7.m7.1.1.3.2.2">𝑮</ci><ci id="A1.p2.7.m7.1.1.3.2.3.cmml" xref="A1.p2.7.m7.1.1.3.2.3">ℓ</ci></apply><apply id="A1.p2.7.m7.1.1.3.3.cmml" xref="A1.p2.7.m7.1.1.3.3"><csymbol cd="ambiguous" id="A1.p2.7.m7.1.1.3.3.1.cmml" xref="A1.p2.7.m7.1.1.3.3">superscript</csymbol><apply id="A1.p2.7.m7.1.1.3.3.2.cmml" xref="A1.p2.7.m7.1.1.3.3"><csymbol cd="ambiguous" id="A1.p2.7.m7.1.1.3.3.2.1.cmml" xref="A1.p2.7.m7.1.1.3.3">subscript</csymbol><apply id="A1.p2.7.m7.1.1.3.3.2.2.cmml" xref="A1.p2.7.m7.1.1.3.3"><csymbol cd="ambiguous" id="A1.p2.7.m7.1.1.3.3.2.2.1.cmml" xref="A1.p2.7.m7.1.1.3.3">superscript</csymbol><ci id="A1.p2.7.m7.1.1.3.3.2.2.2.cmml" xref="A1.p2.7.m7.1.1.3.3.2.2.2">𝑯</ci><ci id="A1.p2.7.m7.1.1.3.3.2.2.3.cmml" xref="A1.p2.7.m7.1.1.3.3.2.2.3">′</ci></apply><apply id="A1.p2.7.m7.1.1.3.3.2.3.cmml" xref="A1.p2.7.m7.1.1.3.3.2.3"><minus id="A1.p2.7.m7.1.1.3.3.2.3.1.cmml" xref="A1.p2.7.m7.1.1.3.3.2.3.1"></minus><ci id="A1.p2.7.m7.1.1.3.3.2.3.2.cmml" xref="A1.p2.7.m7.1.1.3.3.2.3.2">ℓ</ci><cn type="integer" id="A1.p2.7.m7.1.1.3.3.2.3.3.cmml" xref="A1.p2.7.m7.1.1.3.3.2.3.3">1</cn></apply></apply><csymbol cd="latexml" id="A1.p2.7.m7.1.1.3.3.3.cmml" xref="A1.p2.7.m7.1.1.3.3.3">top</csymbol></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.7.m7.1c">\Delta\!{\bm{W}}_{\ell}\propto{\bm{G}}_{\ell}{{\bm{H}}^{\prime}_{\ell-1}}^{\top}</annotation></semantics></math>, and if <math id="A1.p2.8.m8.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="A1.p2.8.m8.1a"><mrow id="A1.p2.8.m8.1.1" xref="A1.p2.8.m8.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A1.p2.8.m8.1.1.2" xref="A1.p2.8.m8.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A1.p2.8.m8.1.1.1" xref="A1.p2.8.m8.1.1.1.cmml">​</mo><msub id="A1.p2.8.m8.1.1.3" xref="A1.p2.8.m8.1.1.3.cmml"><mi id="A1.p2.8.m8.1.1.3.2" xref="A1.p2.8.m8.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A1.p2.8.m8.1.1.3.3" xref="A1.p2.8.m8.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A1.p2.8.m8.1b"><apply id="A1.p2.8.m8.1.1.cmml" xref="A1.p2.8.m8.1.1"><times id="A1.p2.8.m8.1.1.1.cmml" xref="A1.p2.8.m8.1.1.1"></times><ci id="A1.p2.8.m8.1.1.2.cmml" xref="A1.p2.8.m8.1.1.2">Δ</ci><apply id="A1.p2.8.m8.1.1.3.cmml" xref="A1.p2.8.m8.1.1.3"><csymbol cd="ambiguous" id="A1.p2.8.m8.1.1.3.1.cmml" xref="A1.p2.8.m8.1.1.3">subscript</csymbol><ci id="A1.p2.8.m8.1.1.3.2.cmml" xref="A1.p2.8.m8.1.1.3.2">𝑾</ci><ci id="A1.p2.8.m8.1.1.3.3.cmml" xref="A1.p2.8.m8.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.8.m8.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> has low stable rank, it is a reasonable guess that either <math id="A1.p2.9.m9.1" class="ltx_Math" alttext="{\bm{H}}^{\prime}_{\ell-1}" display="inline"><semantics id="A1.p2.9.m9.1a"><msubsup id="A1.p2.9.m9.1.1" xref="A1.p2.9.m9.1.1.cmml"><mi id="A1.p2.9.m9.1.1.2.2" xref="A1.p2.9.m9.1.1.2.2.cmml">𝑯</mi><mrow id="A1.p2.9.m9.1.1.3" xref="A1.p2.9.m9.1.1.3.cmml"><mi mathvariant="normal" id="A1.p2.9.m9.1.1.3.2" xref="A1.p2.9.m9.1.1.3.2.cmml">ℓ</mi><mo id="A1.p2.9.m9.1.1.3.1" xref="A1.p2.9.m9.1.1.3.1.cmml">−</mo><mn id="A1.p2.9.m9.1.1.3.3" xref="A1.p2.9.m9.1.1.3.3.cmml">1</mn></mrow><mo id="A1.p2.9.m9.1.1.2.3" xref="A1.p2.9.m9.1.1.2.3.cmml">′</mo></msubsup><annotation-xml encoding="MathML-Content" id="A1.p2.9.m9.1b"><apply id="A1.p2.9.m9.1.1.cmml" xref="A1.p2.9.m9.1.1"><csymbol cd="ambiguous" id="A1.p2.9.m9.1.1.1.cmml" xref="A1.p2.9.m9.1.1">subscript</csymbol><apply id="A1.p2.9.m9.1.1.2.cmml" xref="A1.p2.9.m9.1.1"><csymbol cd="ambiguous" id="A1.p2.9.m9.1.1.2.1.cmml" xref="A1.p2.9.m9.1.1">superscript</csymbol><ci id="A1.p2.9.m9.1.1.2.2.cmml" xref="A1.p2.9.m9.1.1.2.2">𝑯</ci><ci id="A1.p2.9.m9.1.1.2.3.cmml" xref="A1.p2.9.m9.1.1.2.3">′</ci></apply><apply id="A1.p2.9.m9.1.1.3.cmml" xref="A1.p2.9.m9.1.1.3"><minus id="A1.p2.9.m9.1.1.3.1.cmml" xref="A1.p2.9.m9.1.1.3.1"></minus><ci id="A1.p2.9.m9.1.1.3.2.cmml" xref="A1.p2.9.m9.1.1.3.2">ℓ</ci><cn type="integer" id="A1.p2.9.m9.1.1.3.3.cmml" xref="A1.p2.9.m9.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.9.m9.1c">{\bm{H}}^{\prime}_{\ell-1}</annotation></semantics></math> and <math id="A1.p2.10.m10.1" class="ltx_Math" alttext="{\bm{G}}_{\ell}" display="inline"><semantics id="A1.p2.10.m10.1a"><msub id="A1.p2.10.m10.1.1" xref="A1.p2.10.m10.1.1.cmml"><mi id="A1.p2.10.m10.1.1.2" xref="A1.p2.10.m10.1.1.2.cmml">𝑮</mi><mi mathvariant="normal" id="A1.p2.10.m10.1.1.3" xref="A1.p2.10.m10.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="A1.p2.10.m10.1b"><apply id="A1.p2.10.m10.1.1.cmml" xref="A1.p2.10.m10.1.1"><csymbol cd="ambiguous" id="A1.p2.10.m10.1.1.1.cmml" xref="A1.p2.10.m10.1.1">subscript</csymbol><ci id="A1.p2.10.m10.1.1.2.cmml" xref="A1.p2.10.m10.1.1.2">𝑮</ci><ci id="A1.p2.10.m10.1.1.3.cmml" xref="A1.p2.10.m10.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.10.m10.1c">{\bm{G}}_{\ell}</annotation></semantics></math> also has low stable rank.
In fact, we find that <span id="A1.p2.12.1" class="ltx_text ltx_font_italic">both</span> <math id="A1.p2.11.m11.1" class="ltx_Math" alttext="{\bm{H}}^{\prime}_{\ell-1}" display="inline"><semantics id="A1.p2.11.m11.1a"><msubsup id="A1.p2.11.m11.1.1" xref="A1.p2.11.m11.1.1.cmml"><mi id="A1.p2.11.m11.1.1.2.2" xref="A1.p2.11.m11.1.1.2.2.cmml">𝑯</mi><mrow id="A1.p2.11.m11.1.1.3" xref="A1.p2.11.m11.1.1.3.cmml"><mi mathvariant="normal" id="A1.p2.11.m11.1.1.3.2" xref="A1.p2.11.m11.1.1.3.2.cmml">ℓ</mi><mo id="A1.p2.11.m11.1.1.3.1" xref="A1.p2.11.m11.1.1.3.1.cmml">−</mo><mn id="A1.p2.11.m11.1.1.3.3" xref="A1.p2.11.m11.1.1.3.3.cmml">1</mn></mrow><mo id="A1.p2.11.m11.1.1.2.3" xref="A1.p2.11.m11.1.1.2.3.cmml">′</mo></msubsup><annotation-xml encoding="MathML-Content" id="A1.p2.11.m11.1b"><apply id="A1.p2.11.m11.1.1.cmml" xref="A1.p2.11.m11.1.1"><csymbol cd="ambiguous" id="A1.p2.11.m11.1.1.1.cmml" xref="A1.p2.11.m11.1.1">subscript</csymbol><apply id="A1.p2.11.m11.1.1.2.cmml" xref="A1.p2.11.m11.1.1"><csymbol cd="ambiguous" id="A1.p2.11.m11.1.1.2.1.cmml" xref="A1.p2.11.m11.1.1">superscript</csymbol><ci id="A1.p2.11.m11.1.1.2.2.cmml" xref="A1.p2.11.m11.1.1.2.2">𝑯</ci><ci id="A1.p2.11.m11.1.1.2.3.cmml" xref="A1.p2.11.m11.1.1.2.3">′</ci></apply><apply id="A1.p2.11.m11.1.1.3.cmml" xref="A1.p2.11.m11.1.1.3"><minus id="A1.p2.11.m11.1.1.3.1.cmml" xref="A1.p2.11.m11.1.1.3.1"></minus><ci id="A1.p2.11.m11.1.1.3.2.cmml" xref="A1.p2.11.m11.1.1.3.2">ℓ</ci><cn type="integer" id="A1.p2.11.m11.1.1.3.3.cmml" xref="A1.p2.11.m11.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.11.m11.1c">{\bm{H}}^{\prime}_{\ell-1}</annotation></semantics></math> and <math id="A1.p2.12.m12.1" class="ltx_Math" alttext="{\bm{G}}_{\ell}" display="inline"><semantics id="A1.p2.12.m12.1a"><msub id="A1.p2.12.m12.1.1" xref="A1.p2.12.m12.1.1.cmml"><mi id="A1.p2.12.m12.1.1.2" xref="A1.p2.12.m12.1.1.2.cmml">𝑮</mi><mi mathvariant="normal" id="A1.p2.12.m12.1.1.3" xref="A1.p2.12.m12.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="A1.p2.12.m12.1b"><apply id="A1.p2.12.m12.1.1.cmml" xref="A1.p2.12.m12.1.1"><csymbol cd="ambiguous" id="A1.p2.12.m12.1.1.1.cmml" xref="A1.p2.12.m12.1.1">subscript</csymbol><ci id="A1.p2.12.m12.1.1.2.cmml" xref="A1.p2.12.m12.1.1.2">𝑮</ci><ci id="A1.p2.12.m12.1.1.3.cmml" xref="A1.p2.12.m12.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p2.12.m12.1c">{\bm{G}}_{\ell}</annotation></semantics></math> have low stable rank, as shown in <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:fig:forwar\width_backwar\width_sranks</span>.</p>
</div>
<figure id="A1.F3" class="ltx_figure"><img src="/html/2310.17813/assets/x5.png" id="A1.F3.g1" class="ltx_graphics ltx_centering ltx_img_landscape" width="500" height="136" alt="Refer to caption">
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 3: </span>
Stable ranks for the set of forward hidden vectors <math id="A1.F3.9.m1.1" class="ltx_Math" alttext="{\bm{H}}^{\prime}_{\ell-1}" display="inline"><semantics id="A1.F3.9.m1.1b"><msubsup id="A1.F3.9.m1.1.1" xref="A1.F3.9.m1.1.1.cmml"><mi id="A1.F3.9.m1.1.1.2.2" xref="A1.F3.9.m1.1.1.2.2.cmml">𝑯</mi><mrow id="A1.F3.9.m1.1.1.3" xref="A1.F3.9.m1.1.1.3.cmml"><mi mathvariant="normal" id="A1.F3.9.m1.1.1.3.2" xref="A1.F3.9.m1.1.1.3.2.cmml">ℓ</mi><mo id="A1.F3.9.m1.1.1.3.1" xref="A1.F3.9.m1.1.1.3.1.cmml">−</mo><mn id="A1.F3.9.m1.1.1.3.3" xref="A1.F3.9.m1.1.1.3.3.cmml">1</mn></mrow><mo id="A1.F3.9.m1.1.1.2.3" xref="A1.F3.9.m1.1.1.2.3.cmml">′</mo></msubsup><annotation-xml encoding="MathML-Content" id="A1.F3.9.m1.1c"><apply id="A1.F3.9.m1.1.1.cmml" xref="A1.F3.9.m1.1.1"><csymbol cd="ambiguous" id="A1.F3.9.m1.1.1.1.cmml" xref="A1.F3.9.m1.1.1">subscript</csymbol><apply id="A1.F3.9.m1.1.1.2.cmml" xref="A1.F3.9.m1.1.1"><csymbol cd="ambiguous" id="A1.F3.9.m1.1.1.2.1.cmml" xref="A1.F3.9.m1.1.1">superscript</csymbol><ci id="A1.F3.9.m1.1.1.2.2.cmml" xref="A1.F3.9.m1.1.1.2.2">𝑯</ci><ci id="A1.F3.9.m1.1.1.2.3.cmml" xref="A1.F3.9.m1.1.1.2.3">′</ci></apply><apply id="A1.F3.9.m1.1.1.3.cmml" xref="A1.F3.9.m1.1.1.3"><minus id="A1.F3.9.m1.1.1.3.1.cmml" xref="A1.F3.9.m1.1.1.3.1"></minus><ci id="A1.F3.9.m1.1.1.3.2.cmml" xref="A1.F3.9.m1.1.1.3.2">ℓ</ci><cn type="integer" id="A1.F3.9.m1.1.1.3.3.cmml" xref="A1.F3.9.m1.1.1.3.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.9.m1.1d">{\bm{H}}^{\prime}_{\ell-1}</annotation></semantics></math> and the set of backward hidden vectors <math id="A1.F3.10.m2.1" class="ltx_Math" alttext="{\bm{G}}_{\ell}" display="inline"><semantics id="A1.F3.10.m2.1b"><msub id="A1.F3.10.m2.1.1" xref="A1.F3.10.m2.1.1.cmml"><mi id="A1.F3.10.m2.1.1.2" xref="A1.F3.10.m2.1.1.2.cmml">𝑮</mi><mi mathvariant="normal" id="A1.F3.10.m2.1.1.3" xref="A1.F3.10.m2.1.1.3.cmml">ℓ</mi></msub><annotation-xml encoding="MathML-Content" id="A1.F3.10.m2.1c"><apply id="A1.F3.10.m2.1.1.cmml" xref="A1.F3.10.m2.1.1"><csymbol cd="ambiguous" id="A1.F3.10.m2.1.1.1.cmml" xref="A1.F3.10.m2.1.1">subscript</csymbol><ci id="A1.F3.10.m2.1.1.2.cmml" xref="A1.F3.10.m2.1.1.2">𝑮</ci><ci id="A1.F3.10.m2.1.1.3.cmml" xref="A1.F3.10.m2.1.1.3">ℓ</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.10.m2.1d">{\bm{G}}_{\ell}</annotation></semantics></math> for <math id="A1.F3.11.m3.1" class="ltx_Math" alttext="\ell=2" display="inline"><semantics id="A1.F3.11.m3.1b"><mrow id="A1.F3.11.m3.1.1" xref="A1.F3.11.m3.1.1.cmml"><mi mathvariant="normal" id="A1.F3.11.m3.1.1.2" xref="A1.F3.11.m3.1.1.2.cmml">ℓ</mi><mo id="A1.F3.11.m3.1.1.1" xref="A1.F3.11.m3.1.1.1.cmml">=</mo><mn id="A1.F3.11.m3.1.1.3" xref="A1.F3.11.m3.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.F3.11.m3.1c"><apply id="A1.F3.11.m3.1.1.cmml" xref="A1.F3.11.m3.1.1"><eq id="A1.F3.11.m3.1.1.1.cmml" xref="A1.F3.11.m3.1.1.1"></eq><ci id="A1.F3.11.m3.1.1.2.cmml" xref="A1.F3.11.m3.1.1.2">ℓ</ci><cn type="integer" id="A1.F3.11.m3.1.1.3.cmml" xref="A1.F3.11.m3.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.11.m3.1d">\ell=2</annotation></semantics></math>.
Even at large batch size <math id="A1.F3.12.m4.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A1.F3.12.m4.1b"><mi id="A1.F3.12.m4.1.1" xref="A1.F3.12.m4.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A1.F3.12.m4.1c"><ci id="A1.F3.12.m4.1.1.cmml" xref="A1.F3.12.m4.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.12.m4.1d">B</annotation></semantics></math>, both are consistently much lower than their maximal possible values of <math id="A1.F3.13.m5.1" class="ltx_Math" alttext="d=300" display="inline"><semantics id="A1.F3.13.m5.1b"><mrow id="A1.F3.13.m5.1.1" xref="A1.F3.13.m5.1.1.cmml"><mi id="A1.F3.13.m5.1.1.2" xref="A1.F3.13.m5.1.1.2.cmml">d</mi><mo id="A1.F3.13.m5.1.1.1" xref="A1.F3.13.m5.1.1.1.cmml">=</mo><mn id="A1.F3.13.m5.1.1.3" xref="A1.F3.13.m5.1.1.3.cmml">300</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.F3.13.m5.1c"><apply id="A1.F3.13.m5.1.1.cmml" xref="A1.F3.13.m5.1.1"><eq id="A1.F3.13.m5.1.1.1.cmml" xref="A1.F3.13.m5.1.1.1"></eq><ci id="A1.F3.13.m5.1.1.2.cmml" xref="A1.F3.13.m5.1.1.2">𝑑</ci><cn type="integer" id="A1.F3.13.m5.1.1.3.cmml" xref="A1.F3.13.m5.1.1.3">300</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.13.m5.1d">d=300</annotation></semantics></math>.
Dashed lines on both axes in both subplots show the network width <math id="A1.F3.14.m6.1" class="ltx_Math" alttext="d" display="inline"><semantics id="A1.F3.14.m6.1b"><mi id="A1.F3.14.m6.1.1" xref="A1.F3.14.m6.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="A1.F3.14.m6.1c"><ci id="A1.F3.14.m6.1.1.cmml" xref="A1.F3.14.m6.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.14.m6.1d">d</annotation></semantics></math>.
Note that the stable rank of a matrix <math id="A1.F3.15.m7.1" class="ltx_Math" alttext="{\bm{M}}" display="inline"><semantics id="A1.F3.15.m7.1b"><mi id="A1.F3.15.m7.1.1" xref="A1.F3.15.m7.1.1.cmml">𝑴</mi><annotation-xml encoding="MathML-Content" id="A1.F3.15.m7.1c"><ci id="A1.F3.15.m7.1.1.cmml" xref="A1.F3.15.m7.1.1">𝑴</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.15.m7.1d">{\bm{M}}</annotation></semantics></math> is given by <math id="A1.F3.16.m8.2" class="ltx_Math" alttext="\smash{\left|\!\left|{\bm{M}}\right|\!\right|_{F}^{2}/\left|\!\left|{\bm{M}}\right|\!\right|_{*}^{2}}" display="inline"><semantics id="A1.F3.16.m8.2b"><mrow id="A1.F3.16.m8.2.3" xref="A1.F3.16.m8.2.3.cmml"><msubsup id="A1.F3.16.m8.2.3.2" xref="A1.F3.16.m8.2.3.2.cmml"><mrow id="A1.F3.16.m8.2.3.2.2.2.2" xref="A1.F3.16.m8.2.3.2.2.2.1.cmml"><mo stretchy="false" id="A1.F3.16.m8.2.3.2.2.2.2.1" xref="A1.F3.16.m8.2.3.2.2.2.1.1.cmml">‖</mo><mi id="A1.F3.16.m8.1.1" xref="A1.F3.16.m8.1.1.cmml">𝑴</mi><mo stretchy="false" id="A1.F3.16.m8.2.3.2.2.2.2.2" xref="A1.F3.16.m8.2.3.2.2.2.1.1.cmml">‖</mo></mrow><mi id="A1.F3.16.m8.2.3.2.2.3" xref="A1.F3.16.m8.2.3.2.2.3.cmml">F</mi><mn id="A1.F3.16.m8.2.3.2.3" xref="A1.F3.16.m8.2.3.2.3.cmml">2</mn></msubsup><mo id="A1.F3.16.m8.2.3.1" xref="A1.F3.16.m8.2.3.1.cmml">/</mo><msubsup id="A1.F3.16.m8.2.3.3" xref="A1.F3.16.m8.2.3.3.cmml"><mrow id="A1.F3.16.m8.2.3.3.2.2.2" xref="A1.F3.16.m8.2.3.3.2.2.1.cmml"><mo stretchy="false" id="A1.F3.16.m8.2.3.3.2.2.2.1" xref="A1.F3.16.m8.2.3.3.2.2.1.1.cmml">‖</mo><mi id="A1.F3.16.m8.2.2" xref="A1.F3.16.m8.2.2.cmml">𝑴</mi><mo stretchy="false" id="A1.F3.16.m8.2.3.3.2.2.2.2" xref="A1.F3.16.m8.2.3.3.2.2.1.1.cmml">‖</mo></mrow><mo id="A1.F3.16.m8.2.3.3.2.3" xref="A1.F3.16.m8.2.3.3.2.3.cmml">∗</mo><mn id="A1.F3.16.m8.2.3.3.3" xref="A1.F3.16.m8.2.3.3.3.cmml">2</mn></msubsup></mrow><annotation-xml encoding="MathML-Content" id="A1.F3.16.m8.2c"><apply id="A1.F3.16.m8.2.3.cmml" xref="A1.F3.16.m8.2.3"><divide id="A1.F3.16.m8.2.3.1.cmml" xref="A1.F3.16.m8.2.3.1"></divide><apply id="A1.F3.16.m8.2.3.2.cmml" xref="A1.F3.16.m8.2.3.2"><csymbol cd="ambiguous" id="A1.F3.16.m8.2.3.2.1.cmml" xref="A1.F3.16.m8.2.3.2">superscript</csymbol><apply id="A1.F3.16.m8.2.3.2.2.cmml" xref="A1.F3.16.m8.2.3.2"><csymbol cd="ambiguous" id="A1.F3.16.m8.2.3.2.2.1.cmml" xref="A1.F3.16.m8.2.3.2">subscript</csymbol><apply id="A1.F3.16.m8.2.3.2.2.2.1.cmml" xref="A1.F3.16.m8.2.3.2.2.2.2"><csymbol cd="latexml" id="A1.F3.16.m8.2.3.2.2.2.1.1.cmml" xref="A1.F3.16.m8.2.3.2.2.2.2.1">norm</csymbol><ci id="A1.F3.16.m8.1.1.cmml" xref="A1.F3.16.m8.1.1">𝑴</ci></apply><ci id="A1.F3.16.m8.2.3.2.2.3.cmml" xref="A1.F3.16.m8.2.3.2.2.3">𝐹</ci></apply><cn type="integer" id="A1.F3.16.m8.2.3.2.3.cmml" xref="A1.F3.16.m8.2.3.2.3">2</cn></apply><apply id="A1.F3.16.m8.2.3.3.cmml" xref="A1.F3.16.m8.2.3.3"><csymbol cd="ambiguous" id="A1.F3.16.m8.2.3.3.1.cmml" xref="A1.F3.16.m8.2.3.3">superscript</csymbol><apply id="A1.F3.16.m8.2.3.3.2.cmml" xref="A1.F3.16.m8.2.3.3"><csymbol cd="ambiguous" id="A1.F3.16.m8.2.3.3.2.1.cmml" xref="A1.F3.16.m8.2.3.3">subscript</csymbol><apply id="A1.F3.16.m8.2.3.3.2.2.1.cmml" xref="A1.F3.16.m8.2.3.3.2.2.2"><csymbol cd="latexml" id="A1.F3.16.m8.2.3.3.2.2.1.1.cmml" xref="A1.F3.16.m8.2.3.3.2.2.2.1">norm</csymbol><ci id="A1.F3.16.m8.2.2.cmml" xref="A1.F3.16.m8.2.2">𝑴</ci></apply><times id="A1.F3.16.m8.2.3.3.2.3.cmml" xref="A1.F3.16.m8.2.3.3.2.3"></times></apply><cn type="integer" id="A1.F3.16.m8.2.3.3.3.cmml" xref="A1.F3.16.m8.2.3.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.F3.16.m8.2d">\smash{\left|\!\left|{\bm{M}}\right|\!\right|_{F}^{2}/\left|\!\left|{\bm{M}}\right|\!\right|_{*}^{2}}</annotation></semantics></math>.
</figcaption>
</figure>
<div id="A1.p3" class="ltx_para ltx_noindent">
<p id="A1.p3.3" class="ltx_p"><span id="A1.p3.3.1" class="ltx_text ltx_font_bold">Experimental details for <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a>.</span>
We train MLPs with depth <math id="A1.p3.1.m1.1" class="ltx_Math" alttext="L=3" display="inline"><semantics id="A1.p3.1.m1.1a"><mrow id="A1.p3.1.m1.1.1" xref="A1.p3.1.m1.1.1.cmml"><mi id="A1.p3.1.m1.1.1.2" xref="A1.p3.1.m1.1.1.2.cmml">L</mi><mo id="A1.p3.1.m1.1.1.1" xref="A1.p3.1.m1.1.1.1.cmml">=</mo><mn id="A1.p3.1.m1.1.1.3" xref="A1.p3.1.m1.1.1.3.cmml">3</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p3.1.m1.1b"><apply id="A1.p3.1.m1.1.1.cmml" xref="A1.p3.1.m1.1.1"><eq id="A1.p3.1.m1.1.1.1.cmml" xref="A1.p3.1.m1.1.1.1"></eq><ci id="A1.p3.1.m1.1.1.2.cmml" xref="A1.p3.1.m1.1.1.2">𝐿</ci><cn type="integer" id="A1.p3.1.m1.1.1.3.cmml" xref="A1.p3.1.m1.1.1.3">3</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p3.1.m1.1c">L=3</annotation></semantics></math>, widths <math id="A1.p3.2.m2.2" class="ltx_Math" alttext="0pt_{0}=3072,0pt_{1}=0pt_{2}=d,0pt_{3}=1" display="inline"><semantics id="A1.p3.2.m2.2a"><mrow id="A1.p3.2.m2.2.2.2" xref="A1.p3.2.m2.2.2.3.cmml"><mrow id="A1.p3.2.m2.1.1.1.1.2" xref="A1.p3.2.m2.1.1.1.1.3.cmml"><mrow id="A1.p3.2.m2.1.1.1.1.1.1" xref="A1.p3.2.m2.1.1.1.1.1.1.cmml"><mrow id="A1.p3.2.m2.1.1.1.1.1.1.2" xref="A1.p3.2.m2.1.1.1.1.1.1.2.cmml"><mn id="A1.p3.2.m2.1.1.1.1.1.1.2.2" xref="A1.p3.2.m2.1.1.1.1.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.1.1.1.1.1.1.2.1" xref="A1.p3.2.m2.1.1.1.1.1.1.2.1.cmml">​</mo><mi id="A1.p3.2.m2.1.1.1.1.1.1.2.3" xref="A1.p3.2.m2.1.1.1.1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.1.1.1.1.1.1.2.1a" xref="A1.p3.2.m2.1.1.1.1.1.1.2.1.cmml">​</mo><msub id="A1.p3.2.m2.1.1.1.1.1.1.2.4" xref="A1.p3.2.m2.1.1.1.1.1.1.2.4.cmml"><mi id="A1.p3.2.m2.1.1.1.1.1.1.2.4.2" xref="A1.p3.2.m2.1.1.1.1.1.1.2.4.2.cmml">t</mi><mn id="A1.p3.2.m2.1.1.1.1.1.1.2.4.3" xref="A1.p3.2.m2.1.1.1.1.1.1.2.4.3.cmml">0</mn></msub></mrow><mo id="A1.p3.2.m2.1.1.1.1.1.1.1" xref="A1.p3.2.m2.1.1.1.1.1.1.1.cmml">=</mo><mn id="A1.p3.2.m2.1.1.1.1.1.1.3" xref="A1.p3.2.m2.1.1.1.1.1.1.3.cmml">3072</mn></mrow><mo id="A1.p3.2.m2.1.1.1.1.2.3" xref="A1.p3.2.m2.1.1.1.1.3a.cmml">,</mo><mrow id="A1.p3.2.m2.1.1.1.1.2.2" xref="A1.p3.2.m2.1.1.1.1.2.2.cmml"><mrow id="A1.p3.2.m2.1.1.1.1.2.2.2" xref="A1.p3.2.m2.1.1.1.1.2.2.2.cmml"><mn id="A1.p3.2.m2.1.1.1.1.2.2.2.2" xref="A1.p3.2.m2.1.1.1.1.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.1.1.1.1.2.2.2.1" xref="A1.p3.2.m2.1.1.1.1.2.2.2.1.cmml">​</mo><mi id="A1.p3.2.m2.1.1.1.1.2.2.2.3" xref="A1.p3.2.m2.1.1.1.1.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.1.1.1.1.2.2.2.1a" xref="A1.p3.2.m2.1.1.1.1.2.2.2.1.cmml">​</mo><msub id="A1.p3.2.m2.1.1.1.1.2.2.2.4" xref="A1.p3.2.m2.1.1.1.1.2.2.2.4.cmml"><mi id="A1.p3.2.m2.1.1.1.1.2.2.2.4.2" xref="A1.p3.2.m2.1.1.1.1.2.2.2.4.2.cmml">t</mi><mn id="A1.p3.2.m2.1.1.1.1.2.2.2.4.3" xref="A1.p3.2.m2.1.1.1.1.2.2.2.4.3.cmml">1</mn></msub></mrow><mo id="A1.p3.2.m2.1.1.1.1.2.2.3" xref="A1.p3.2.m2.1.1.1.1.2.2.3.cmml">=</mo><mrow id="A1.p3.2.m2.1.1.1.1.2.2.4" xref="A1.p3.2.m2.1.1.1.1.2.2.4.cmml"><mn id="A1.p3.2.m2.1.1.1.1.2.2.4.2" xref="A1.p3.2.m2.1.1.1.1.2.2.4.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.1.1.1.1.2.2.4.1" xref="A1.p3.2.m2.1.1.1.1.2.2.4.1.cmml">​</mo><mi id="A1.p3.2.m2.1.1.1.1.2.2.4.3" xref="A1.p3.2.m2.1.1.1.1.2.2.4.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.1.1.1.1.2.2.4.1a" xref="A1.p3.2.m2.1.1.1.1.2.2.4.1.cmml">​</mo><msub id="A1.p3.2.m2.1.1.1.1.2.2.4.4" xref="A1.p3.2.m2.1.1.1.1.2.2.4.4.cmml"><mi id="A1.p3.2.m2.1.1.1.1.2.2.4.4.2" xref="A1.p3.2.m2.1.1.1.1.2.2.4.4.2.cmml">t</mi><mn id="A1.p3.2.m2.1.1.1.1.2.2.4.4.3" xref="A1.p3.2.m2.1.1.1.1.2.2.4.4.3.cmml">2</mn></msub></mrow><mo id="A1.p3.2.m2.1.1.1.1.2.2.5" xref="A1.p3.2.m2.1.1.1.1.2.2.5.cmml">=</mo><mi id="A1.p3.2.m2.1.1.1.1.2.2.6" xref="A1.p3.2.m2.1.1.1.1.2.2.6.cmml">d</mi></mrow></mrow><mo id="A1.p3.2.m2.2.2.2.3" xref="A1.p3.2.m2.2.2.3a.cmml">,</mo><mrow id="A1.p3.2.m2.2.2.2.2" xref="A1.p3.2.m2.2.2.2.2.cmml"><mrow id="A1.p3.2.m2.2.2.2.2.2" xref="A1.p3.2.m2.2.2.2.2.2.cmml"><mn id="A1.p3.2.m2.2.2.2.2.2.2" xref="A1.p3.2.m2.2.2.2.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.2.2.2.2.2.1" xref="A1.p3.2.m2.2.2.2.2.2.1.cmml">​</mo><mi id="A1.p3.2.m2.2.2.2.2.2.3" xref="A1.p3.2.m2.2.2.2.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.p3.2.m2.2.2.2.2.2.1a" xref="A1.p3.2.m2.2.2.2.2.2.1.cmml">​</mo><msub id="A1.p3.2.m2.2.2.2.2.2.4" xref="A1.p3.2.m2.2.2.2.2.2.4.cmml"><mi id="A1.p3.2.m2.2.2.2.2.2.4.2" xref="A1.p3.2.m2.2.2.2.2.2.4.2.cmml">t</mi><mn id="A1.p3.2.m2.2.2.2.2.2.4.3" xref="A1.p3.2.m2.2.2.2.2.2.4.3.cmml">3</mn></msub></mrow><mo id="A1.p3.2.m2.2.2.2.2.1" xref="A1.p3.2.m2.2.2.2.2.1.cmml">=</mo><mn id="A1.p3.2.m2.2.2.2.2.3" xref="A1.p3.2.m2.2.2.2.2.3.cmml">1</mn></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.p3.2.m2.2b"><apply id="A1.p3.2.m2.2.2.3.cmml" xref="A1.p3.2.m2.2.2.2"><csymbol cd="ambiguous" id="A1.p3.2.m2.2.2.3a.cmml" xref="A1.p3.2.m2.2.2.2.3">formulae-sequence</csymbol><apply id="A1.p3.2.m2.1.1.1.1.3.cmml" xref="A1.p3.2.m2.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.p3.2.m2.1.1.1.1.3a.cmml" xref="A1.p3.2.m2.1.1.1.1.2.3">formulae-sequence</csymbol><apply id="A1.p3.2.m2.1.1.1.1.1.1.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1"><eq id="A1.p3.2.m2.1.1.1.1.1.1.1.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.1"></eq><apply id="A1.p3.2.m2.1.1.1.1.1.1.2.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2"><times id="A1.p3.2.m2.1.1.1.1.1.1.2.1.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2.1"></times><cn type="integer" id="A1.p3.2.m2.1.1.1.1.1.1.2.2.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2.2">0</cn><ci id="A1.p3.2.m2.1.1.1.1.1.1.2.3.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2.3">𝑝</ci><apply id="A1.p3.2.m2.1.1.1.1.1.1.2.4.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2.4"><csymbol cd="ambiguous" id="A1.p3.2.m2.1.1.1.1.1.1.2.4.1.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2.4">subscript</csymbol><ci id="A1.p3.2.m2.1.1.1.1.1.1.2.4.2.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2.4.2">𝑡</ci><cn type="integer" id="A1.p3.2.m2.1.1.1.1.1.1.2.4.3.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.2.4.3">0</cn></apply></apply><cn type="integer" id="A1.p3.2.m2.1.1.1.1.1.1.3.cmml" xref="A1.p3.2.m2.1.1.1.1.1.1.3">3072</cn></apply><apply id="A1.p3.2.m2.1.1.1.1.2.2.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2"><and id="A1.p3.2.m2.1.1.1.1.2.2a.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2"></and><apply id="A1.p3.2.m2.1.1.1.1.2.2b.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2"><eq id="A1.p3.2.m2.1.1.1.1.2.2.3.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.3"></eq><apply id="A1.p3.2.m2.1.1.1.1.2.2.2.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2"><times id="A1.p3.2.m2.1.1.1.1.2.2.2.1.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2.1"></times><cn type="integer" id="A1.p3.2.m2.1.1.1.1.2.2.2.2.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2.2">0</cn><ci id="A1.p3.2.m2.1.1.1.1.2.2.2.3.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2.3">𝑝</ci><apply id="A1.p3.2.m2.1.1.1.1.2.2.2.4.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2.4"><csymbol cd="ambiguous" id="A1.p3.2.m2.1.1.1.1.2.2.2.4.1.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2.4">subscript</csymbol><ci id="A1.p3.2.m2.1.1.1.1.2.2.2.4.2.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2.4.2">𝑡</ci><cn type="integer" id="A1.p3.2.m2.1.1.1.1.2.2.2.4.3.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.2.4.3">1</cn></apply></apply><apply id="A1.p3.2.m2.1.1.1.1.2.2.4.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4"><times id="A1.p3.2.m2.1.1.1.1.2.2.4.1.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4.1"></times><cn type="integer" id="A1.p3.2.m2.1.1.1.1.2.2.4.2.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4.2">0</cn><ci id="A1.p3.2.m2.1.1.1.1.2.2.4.3.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4.3">𝑝</ci><apply id="A1.p3.2.m2.1.1.1.1.2.2.4.4.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4.4"><csymbol cd="ambiguous" id="A1.p3.2.m2.1.1.1.1.2.2.4.4.1.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4.4">subscript</csymbol><ci id="A1.p3.2.m2.1.1.1.1.2.2.4.4.2.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4.4.2">𝑡</ci><cn type="integer" id="A1.p3.2.m2.1.1.1.1.2.2.4.4.3.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.4.4.3">2</cn></apply></apply></apply><apply id="A1.p3.2.m2.1.1.1.1.2.2c.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2"><eq id="A1.p3.2.m2.1.1.1.1.2.2.5.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.5"></eq><share href="#A1.p3.2.m2.1.1.1.1.2.2.4.cmml" id="A1.p3.2.m2.1.1.1.1.2.2d.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2"></share><ci id="A1.p3.2.m2.1.1.1.1.2.2.6.cmml" xref="A1.p3.2.m2.1.1.1.1.2.2.6">𝑑</ci></apply></apply></apply><apply id="A1.p3.2.m2.2.2.2.2.cmml" xref="A1.p3.2.m2.2.2.2.2"><eq id="A1.p3.2.m2.2.2.2.2.1.cmml" xref="A1.p3.2.m2.2.2.2.2.1"></eq><apply id="A1.p3.2.m2.2.2.2.2.2.cmml" xref="A1.p3.2.m2.2.2.2.2.2"><times id="A1.p3.2.m2.2.2.2.2.2.1.cmml" xref="A1.p3.2.m2.2.2.2.2.2.1"></times><cn type="integer" id="A1.p3.2.m2.2.2.2.2.2.2.cmml" xref="A1.p3.2.m2.2.2.2.2.2.2">0</cn><ci id="A1.p3.2.m2.2.2.2.2.2.3.cmml" xref="A1.p3.2.m2.2.2.2.2.2.3">𝑝</ci><apply id="A1.p3.2.m2.2.2.2.2.2.4.cmml" xref="A1.p3.2.m2.2.2.2.2.2.4"><csymbol cd="ambiguous" id="A1.p3.2.m2.2.2.2.2.2.4.1.cmml" xref="A1.p3.2.m2.2.2.2.2.2.4">subscript</csymbol><ci id="A1.p3.2.m2.2.2.2.2.2.4.2.cmml" xref="A1.p3.2.m2.2.2.2.2.2.4.2">𝑡</ci><cn type="integer" id="A1.p3.2.m2.2.2.2.2.2.4.3.cmml" xref="A1.p3.2.m2.2.2.2.2.2.4.3">3</cn></apply></apply><cn type="integer" id="A1.p3.2.m2.2.2.2.2.3.cmml" xref="A1.p3.2.m2.2.2.2.2.3">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p3.2.m2.2c">0pt_{0}=3072,0pt_{1}=0pt_{2}=d,0pt_{3}=1</annotation></semantics></math>, and ReLU activation functions.
The data consists of 200 samples from CIFAR-10 <cite class="ltx_cite ltx_citemacro_citep">(Krizhevsky, <a href="#bib.bib24" title="" class="ltx_ref">2009</a>)</cite> from only the classes <span id="A1.p3.3.2" class="ltx_text ltx_font_typewriter">airplane</span> and <span id="A1.p3.3.3" class="ltx_text ltx_font_typewriter">automobile</span> and uses <math id="A1.p3.3.m3.1" class="ltx_Math" alttext="\pm 1" display="inline"><semantics id="A1.p3.3.m3.1a"><mrow id="A1.p3.3.m3.1.1" xref="A1.p3.3.m3.1.1.cmml"><mo id="A1.p3.3.m3.1.1a" xref="A1.p3.3.m3.1.1.cmml">±</mo><mn id="A1.p3.3.m3.1.1.2" xref="A1.p3.3.m3.1.1.2.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p3.3.m3.1b"><apply id="A1.p3.3.m3.1.1.cmml" xref="A1.p3.3.m3.1.1"><csymbol cd="latexml" id="A1.p3.3.m3.1.1.1.cmml" xref="A1.p3.3.m3.1.1">plus-or-minus</csymbol><cn type="integer" id="A1.p3.3.m3.1.1.2.cmml" xref="A1.p3.3.m3.1.1.2">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p3.3.m3.1c">\pm 1</annotation></semantics></math> targets.</p>
</div>
<div id="A1.p4" class="ltx_para ltx_noindent">
<p id="A1.p4.1" class="ltx_p">We use two different hyperparameter schemes as follows.
To implement <math id="A1.p4.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A1.p4.1.m1.1a"><mi id="A1.p4.1.m1.1.1" xref="A1.p4.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A1.p4.1.m1.1b"><ci id="A1.p4.1.m1.1.1.cmml" xref="A1.p4.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.p4.1.m1.1c">\mu</annotation></semantics></math>P, we take</p>
<table id="A1.Ex6" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A1.Ex6.m1.1" class="ltx_Math" alttext="\sigma_{1}=\sqrt{\frac{2}{0pt_{0}}};\quad\sigma_{2}=\sqrt{\frac{2}{d}};\quad\sigma_{3}=\frac{\sqrt{2}}{d};\quad\eta_{1}=\eta\cdot\frac{d}{0pt_{0}};\quad\eta_{2}=\eta;\quad\eta_{3}=\eta\cdot\frac{1}{d}," display="block"><semantics id="A1.Ex6.m1.1a"><mrow id="A1.Ex6.m1.1.1.1"><mrow id="A1.Ex6.m1.1.1.1.1.2" xref="A1.Ex6.m1.1.1.1.1.3.cmml"><mrow id="A1.Ex6.m1.1.1.1.1.1.1" xref="A1.Ex6.m1.1.1.1.1.1.1.cmml"><msub id="A1.Ex6.m1.1.1.1.1.1.1.2" xref="A1.Ex6.m1.1.1.1.1.1.1.2.cmml"><mi id="A1.Ex6.m1.1.1.1.1.1.1.2.2" xref="A1.Ex6.m1.1.1.1.1.1.1.2.2.cmml">σ</mi><mn id="A1.Ex6.m1.1.1.1.1.1.1.2.3" xref="A1.Ex6.m1.1.1.1.1.1.1.2.3.cmml">1</mn></msub><mo id="A1.Ex6.m1.1.1.1.1.1.1.1" xref="A1.Ex6.m1.1.1.1.1.1.1.1.cmml">=</mo><msqrt id="A1.Ex6.m1.1.1.1.1.1.1.3" xref="A1.Ex6.m1.1.1.1.1.1.1.3.cmml"><mfrac id="A1.Ex6.m1.1.1.1.1.1.1.3.2" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.cmml"><mn id="A1.Ex6.m1.1.1.1.1.1.1.3.2.2" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.2.cmml">2</mn><mrow id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.cmml"><mn id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.2" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.1" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.1.cmml">​</mo><mi id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.3" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.1a" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.1.cmml">​</mo><msub id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.cmml"><mi id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.2" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.2.cmml">t</mi><mn id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.3" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.3.cmml">0</mn></msub></mrow></mfrac></msqrt></mrow><mo rspace="1.167em" id="A1.Ex6.m1.1.1.1.1.2.3" xref="A1.Ex6.m1.1.1.1.1.3a.cmml">;</mo><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.3.cmml"><mrow id="A1.Ex6.m1.1.1.1.1.2.2.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.cmml"><msub id="A1.Ex6.m1.1.1.1.1.2.2.1.1.2" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.2.cmml">σ</mi><mn id="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.3.cmml">2</mn></msub><mo id="A1.Ex6.m1.1.1.1.1.2.2.1.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.1.cmml">=</mo><msqrt id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.cmml"><mfrac id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.cmml"><mn id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.2.cmml">2</mn><mi id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.3.cmml">d</mi></mfrac></msqrt></mrow><mo rspace="1.167em" id="A1.Ex6.m1.1.1.1.1.2.2.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.3a.cmml">;</mo><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.3.cmml"><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.cmml"><msub id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.2.cmml">σ</mi><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.3.cmml">3</mn></msub><mo id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.1.cmml">=</mo><mfrac id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.cmml"><msqrt id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2.cmml"><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2.2.cmml">2</mn></msqrt><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.3.cmml">d</mi></mfrac></mrow><mo rspace="1.167em" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.3a.cmml">;</mo><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.3.cmml"><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.cmml"><msub id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.2.cmml">η</mi><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.3.cmml">1</mn></msub><mo id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.1.cmml">=</mo><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.2.cmml">η</mi><mo lspace="0.222em" rspace="0.222em" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.1.cmml">⋅</mo><mfrac id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.2.cmml">d</mi><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.cmml"><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.1.cmml">​</mo><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.1a" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.1.cmml">​</mo><msub id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.2.cmml">t</mi><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.3.cmml">0</mn></msub></mrow></mfrac></mrow></mrow><mo rspace="1.167em" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.3a.cmml">;</mo><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.3.cmml"><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.cmml"><msub id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.2.cmml">η</mi><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.3.cmml">2</mn></msub><mo id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.1.cmml">=</mo><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.3.cmml">η</mi></mrow><mo rspace="1.167em" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.3a.cmml">;</mo><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.cmml"><msub id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.2.cmml">η</mi><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.3.cmml">3</mn></msub><mo id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.1.cmml">=</mo><mrow id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.cmml"><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.2.cmml">η</mi><mo lspace="0.222em" rspace="0.222em" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.1" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.1.cmml">⋅</mo><mfrac id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.cmml"><mn id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.2" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.2.cmml">1</mn><mi id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.3" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.3.cmml">d</mi></mfrac></mrow></mrow></mrow></mrow></mrow></mrow></mrow><mo id="A1.Ex6.m1.1.1.1.2">,</mo></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex6.m1.1b"><apply id="A1.Ex6.m1.1.1.1.1.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.3a.cmml" xref="A1.Ex6.m1.1.1.1.1.2.3">formulae-sequence</csymbol><apply id="A1.Ex6.m1.1.1.1.1.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1"><eq id="A1.Ex6.m1.1.1.1.1.1.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.1"></eq><apply id="A1.Ex6.m1.1.1.1.1.1.1.2.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.1.1.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.1.1.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.2.2">𝜎</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.1.1.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.2.3">1</cn></apply><apply id="A1.Ex6.m1.1.1.1.1.1.1.3.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3"><root id="A1.Ex6.m1.1.1.1.1.1.1.3a.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3"></root><apply id="A1.Ex6.m1.1.1.1.1.1.1.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2"><divide id="A1.Ex6.m1.1.1.1.1.1.1.3.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2"></divide><cn type="integer" id="A1.Ex6.m1.1.1.1.1.1.1.3.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.2">2</cn><apply id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3"><times id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.1.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.1"></times><cn type="integer" id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.2">0</cn><ci id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.3.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.3">𝑝</ci><apply id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.1.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.2.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.2">𝑡</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.3.cmml" xref="A1.Ex6.m1.1.1.1.1.1.1.3.2.3.4.3">0</cn></apply></apply></apply></apply></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.3a.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.3">formulae-sequence</csymbol><apply id="A1.Ex6.m1.1.1.1.1.2.2.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1"><eq id="A1.Ex6.m1.1.1.1.1.2.2.1.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.1"></eq><apply id="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.2">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.2">𝜎</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.2.3">2</cn></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3"><root id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3a.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3"></root><apply id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2"><divide id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2"></divide><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.2">2</cn><ci id="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.1.1.3.2.3">𝑑</ci></apply></apply></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.3a.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.3">formulae-sequence</csymbol><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1"><eq id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.1"></eq><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.2">𝜎</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.2.3">3</cn></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3"><divide id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3"></divide><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2"><root id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2a.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2"></root><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.2.2">2</cn></apply><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.1.1.3.3">𝑑</ci></apply></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.3a.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.3">formulae-sequence</csymbol><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1"><eq id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.1"></eq><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.2">𝜂</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.2.3">1</cn></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3"><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.1">⋅</ci><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.2">𝜂</ci><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3"><divide id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3"></divide><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.2">𝑑</ci><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3"><times id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.1"></times><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.2">0</cn><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.3">𝑝</ci><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.2">𝑡</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.1.1.3.3.3.4.3">0</cn></apply></apply></apply></apply></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.3a.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.3">formulae-sequence</csymbol><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1"><eq id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.1"></eq><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.2">𝜂</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.2.3">2</cn></apply><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.1.1.3">𝜂</ci></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2"><eq id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.1"></eq><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2">subscript</csymbol><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.2">𝜂</ci><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.2.3">3</cn></apply><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3"><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.1">⋅</ci><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.2">𝜂</ci><apply id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3"><divide id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.1.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3"></divide><cn type="integer" id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.2.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.2">1</cn><ci id="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.3.cmml" xref="A1.Ex6.m1.1.1.1.1.2.2.2.2.2.2.2.2.2.2.3.3.3">𝑑</ci></apply></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex6.m1.1c">\sigma_{1}=\sqrt{\frac{2}{0pt_{0}}};\quad\sigma_{2}=\sqrt{\frac{2}{d}};\quad\sigma_{3}=\frac{\sqrt{2}}{d};\quad\eta_{1}=\eta\cdot\frac{d}{0pt_{0}};\quad\eta_{2}=\eta;\quad\eta_{3}=\eta\cdot\frac{1}{d},</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(<math id="A1.Ex6.1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A1.Ex6.1.1.m1.1b"><mi id="A1.Ex6.1.1.m1.1.1" xref="A1.Ex6.1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A1.Ex6.1.1.m1.1c"><ci id="A1.Ex6.1.1.m1.1.1.cmml" xref="A1.Ex6.1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex6.1.1.m1.1d">\mu</annotation></semantics></math>P)</span></td>
</tr></tbody>
</table>
<p id="A1.p4.2" class="ltx_p">with global learning rate <math id="A1.p4.2.m1.1" class="ltx_Math" alttext="\eta=0.1" display="inline"><semantics id="A1.p4.2.m1.1a"><mrow id="A1.p4.2.m1.1.1" xref="A1.p4.2.m1.1.1.cmml"><mi id="A1.p4.2.m1.1.1.2" xref="A1.p4.2.m1.1.1.2.cmml">η</mi><mo id="A1.p4.2.m1.1.1.1" xref="A1.p4.2.m1.1.1.1.cmml">=</mo><mn id="A1.p4.2.m1.1.1.3" xref="A1.p4.2.m1.1.1.3.cmml">0.1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p4.2.m1.1b"><apply id="A1.p4.2.m1.1.1.cmml" xref="A1.p4.2.m1.1.1"><eq id="A1.p4.2.m1.1.1.1.cmml" xref="A1.p4.2.m1.1.1.1"></eq><ci id="A1.p4.2.m1.1.1.2.cmml" xref="A1.p4.2.m1.1.1.2">𝜂</ci><cn type="float" id="A1.p4.2.m1.1.1.3.cmml" xref="A1.p4.2.m1.1.1.3">0.1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p4.2.m1.1c">\eta=0.1</annotation></semantics></math>.
To implement NTP, we follow <cite class="ltx_cite ltx_citemacro_citet">Jacot et al. (<a href="#bib.bib22" title="" class="ltx_ref">2018</a>)</cite> and <cite class="ltx_cite ltx_citemacro_citet">Lee et al. (<a href="#bib.bib27" title="" class="ltx_ref">2019</a>)</cite>:</p>
<table id="A1.Ex7" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A1.Ex7.m1.2" class="ltx_Math" alttext="\sigma_{\ell}=\sqrt{\frac{2}{0pt_{\ell-1}}};\qquad\eta_{\ell}=\eta\cdot\frac{1}{0pt_{\ell-1}}" display="block"><semantics id="A1.Ex7.m1.2a"><mrow id="A1.Ex7.m1.2.2.2" xref="A1.Ex7.m1.2.2.3.cmml"><mrow id="A1.Ex7.m1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.cmml"><msub id="A1.Ex7.m1.1.1.1.1.2" xref="A1.Ex7.m1.1.1.1.1.2.cmml"><mi id="A1.Ex7.m1.1.1.1.1.2.2" xref="A1.Ex7.m1.1.1.1.1.2.2.cmml">σ</mi><mi mathvariant="normal" id="A1.Ex7.m1.1.1.1.1.2.3" xref="A1.Ex7.m1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo id="A1.Ex7.m1.1.1.1.1.1" xref="A1.Ex7.m1.1.1.1.1.1.cmml">=</mo><msqrt id="A1.Ex7.m1.1.1.1.1.3" xref="A1.Ex7.m1.1.1.1.1.3.cmml"><mfrac id="A1.Ex7.m1.1.1.1.1.3.2" xref="A1.Ex7.m1.1.1.1.1.3.2.cmml"><mn id="A1.Ex7.m1.1.1.1.1.3.2.2" xref="A1.Ex7.m1.1.1.1.1.3.2.2.cmml">2</mn><mrow id="A1.Ex7.m1.1.1.1.1.3.2.3" xref="A1.Ex7.m1.1.1.1.1.3.2.3.cmml"><mn id="A1.Ex7.m1.1.1.1.1.3.2.3.2" xref="A1.Ex7.m1.1.1.1.1.3.2.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.Ex7.m1.1.1.1.1.3.2.3.1" xref="A1.Ex7.m1.1.1.1.1.3.2.3.1.cmml">​</mo><mi id="A1.Ex7.m1.1.1.1.1.3.2.3.3" xref="A1.Ex7.m1.1.1.1.1.3.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.Ex7.m1.1.1.1.1.3.2.3.1a" xref="A1.Ex7.m1.1.1.1.1.3.2.3.1.cmml">​</mo><msub id="A1.Ex7.m1.1.1.1.1.3.2.3.4" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.cmml"><mi id="A1.Ex7.m1.1.1.1.1.3.2.3.4.2" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.2.cmml">t</mi><mrow id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.cmml"><mi mathvariant="normal" id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.2" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.2.cmml">ℓ</mi><mo id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.1" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.1.cmml">−</mo><mn id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.3" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></msqrt></mrow><mo rspace="2.167em" id="A1.Ex7.m1.2.2.2.3" xref="A1.Ex7.m1.2.2.3a.cmml">;</mo><mrow id="A1.Ex7.m1.2.2.2.2" xref="A1.Ex7.m1.2.2.2.2.cmml"><msub id="A1.Ex7.m1.2.2.2.2.2" xref="A1.Ex7.m1.2.2.2.2.2.cmml"><mi id="A1.Ex7.m1.2.2.2.2.2.2" xref="A1.Ex7.m1.2.2.2.2.2.2.cmml">η</mi><mi mathvariant="normal" id="A1.Ex7.m1.2.2.2.2.2.3" xref="A1.Ex7.m1.2.2.2.2.2.3.cmml">ℓ</mi></msub><mo id="A1.Ex7.m1.2.2.2.2.1" xref="A1.Ex7.m1.2.2.2.2.1.cmml">=</mo><mrow id="A1.Ex7.m1.2.2.2.2.3" xref="A1.Ex7.m1.2.2.2.2.3.cmml"><mi id="A1.Ex7.m1.2.2.2.2.3.2" xref="A1.Ex7.m1.2.2.2.2.3.2.cmml">η</mi><mo lspace="0.222em" rspace="0.222em" id="A1.Ex7.m1.2.2.2.2.3.1" xref="A1.Ex7.m1.2.2.2.2.3.1.cmml">⋅</mo><mfrac id="A1.Ex7.m1.2.2.2.2.3.3" xref="A1.Ex7.m1.2.2.2.2.3.3.cmml"><mn id="A1.Ex7.m1.2.2.2.2.3.3.2" xref="A1.Ex7.m1.2.2.2.2.3.3.2.cmml">1</mn><mrow id="A1.Ex7.m1.2.2.2.2.3.3.3" xref="A1.Ex7.m1.2.2.2.2.3.3.3.cmml"><mn id="A1.Ex7.m1.2.2.2.2.3.3.3.2" xref="A1.Ex7.m1.2.2.2.2.3.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A1.Ex7.m1.2.2.2.2.3.3.3.1" xref="A1.Ex7.m1.2.2.2.2.3.3.3.1.cmml">​</mo><mi id="A1.Ex7.m1.2.2.2.2.3.3.3.3" xref="A1.Ex7.m1.2.2.2.2.3.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A1.Ex7.m1.2.2.2.2.3.3.3.1a" xref="A1.Ex7.m1.2.2.2.2.3.3.3.1.cmml">​</mo><msub id="A1.Ex7.m1.2.2.2.2.3.3.3.4" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.cmml"><mi id="A1.Ex7.m1.2.2.2.2.3.3.3.4.2" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.2.cmml">t</mi><mrow id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.cmml"><mi mathvariant="normal" id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.2" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.2.cmml">ℓ</mi><mo id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.1" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.1.cmml">−</mo><mn id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.3" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></mfrac></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A1.Ex7.m1.2b"><apply id="A1.Ex7.m1.2.2.3.cmml" xref="A1.Ex7.m1.2.2.2"><csymbol cd="ambiguous" id="A1.Ex7.m1.2.2.3a.cmml" xref="A1.Ex7.m1.2.2.2.3">formulae-sequence</csymbol><apply id="A1.Ex7.m1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1"><eq id="A1.Ex7.m1.1.1.1.1.1.cmml" xref="A1.Ex7.m1.1.1.1.1.1"></eq><apply id="A1.Ex7.m1.1.1.1.1.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.2">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.2.2">𝜎</ci><ci id="A1.Ex7.m1.1.1.1.1.2.3.cmml" xref="A1.Ex7.m1.1.1.1.1.2.3">ℓ</ci></apply><apply id="A1.Ex7.m1.1.1.1.1.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3"><root id="A1.Ex7.m1.1.1.1.1.3a.cmml" xref="A1.Ex7.m1.1.1.1.1.3"></root><apply id="A1.Ex7.m1.1.1.1.1.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2"><divide id="A1.Ex7.m1.1.1.1.1.3.2.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2"></divide><cn type="integer" id="A1.Ex7.m1.1.1.1.1.3.2.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.2">2</cn><apply id="A1.Ex7.m1.1.1.1.1.3.2.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3"><times id="A1.Ex7.m1.1.1.1.1.3.2.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.1"></times><cn type="integer" id="A1.Ex7.m1.1.1.1.1.3.2.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.2">0</cn><ci id="A1.Ex7.m1.1.1.1.1.3.2.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.3">𝑝</ci><apply id="A1.Ex7.m1.1.1.1.1.3.2.3.4.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4"><csymbol cd="ambiguous" id="A1.Ex7.m1.1.1.1.1.3.2.3.4.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4">subscript</csymbol><ci id="A1.Ex7.m1.1.1.1.1.3.2.3.4.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.2">𝑡</ci><apply id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3"><minus id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.1.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.1"></minus><ci id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.2.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.2">ℓ</ci><cn type="integer" id="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.3.cmml" xref="A1.Ex7.m1.1.1.1.1.3.2.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply><apply id="A1.Ex7.m1.2.2.2.2.cmml" xref="A1.Ex7.m1.2.2.2.2"><eq id="A1.Ex7.m1.2.2.2.2.1.cmml" xref="A1.Ex7.m1.2.2.2.2.1"></eq><apply id="A1.Ex7.m1.2.2.2.2.2.cmml" xref="A1.Ex7.m1.2.2.2.2.2"><csymbol cd="ambiguous" id="A1.Ex7.m1.2.2.2.2.2.1.cmml" xref="A1.Ex7.m1.2.2.2.2.2">subscript</csymbol><ci id="A1.Ex7.m1.2.2.2.2.2.2.cmml" xref="A1.Ex7.m1.2.2.2.2.2.2">𝜂</ci><ci id="A1.Ex7.m1.2.2.2.2.2.3.cmml" xref="A1.Ex7.m1.2.2.2.2.2.3">ℓ</ci></apply><apply id="A1.Ex7.m1.2.2.2.2.3.cmml" xref="A1.Ex7.m1.2.2.2.2.3"><ci id="A1.Ex7.m1.2.2.2.2.3.1.cmml" xref="A1.Ex7.m1.2.2.2.2.3.1">⋅</ci><ci id="A1.Ex7.m1.2.2.2.2.3.2.cmml" xref="A1.Ex7.m1.2.2.2.2.3.2">𝜂</ci><apply id="A1.Ex7.m1.2.2.2.2.3.3.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3"><divide id="A1.Ex7.m1.2.2.2.2.3.3.1.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3"></divide><cn type="integer" id="A1.Ex7.m1.2.2.2.2.3.3.2.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.2">1</cn><apply id="A1.Ex7.m1.2.2.2.2.3.3.3.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3"><times id="A1.Ex7.m1.2.2.2.2.3.3.3.1.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.1"></times><cn type="integer" id="A1.Ex7.m1.2.2.2.2.3.3.3.2.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.2">0</cn><ci id="A1.Ex7.m1.2.2.2.2.3.3.3.3.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.3">𝑝</ci><apply id="A1.Ex7.m1.2.2.2.2.3.3.3.4.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4"><csymbol cd="ambiguous" id="A1.Ex7.m1.2.2.2.2.3.3.3.4.1.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4">subscript</csymbol><ci id="A1.Ex7.m1.2.2.2.2.3.3.3.4.2.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.2">𝑡</ci><apply id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3"><minus id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.1.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.1"></minus><ci id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.2.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.2">ℓ</ci><cn type="integer" id="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.3.cmml" xref="A1.Ex7.m1.2.2.2.2.3.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.Ex7.m1.2c">\sigma_{\ell}=\sqrt{\frac{2}{0pt_{\ell-1}}};\qquad\eta_{\ell}=\eta\cdot\frac{1}{0pt_{\ell-1}}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(NTP)</span></td>
</tr></tbody>
</table>
<p id="A1.p4.4" class="ltx_p">at all layers, again with <math id="A1.p4.3.m1.1" class="ltx_Math" alttext="\eta=0.1" display="inline"><semantics id="A1.p4.3.m1.1a"><mrow id="A1.p4.3.m1.1.1" xref="A1.p4.3.m1.1.1.cmml"><mi id="A1.p4.3.m1.1.1.2" xref="A1.p4.3.m1.1.1.2.cmml">η</mi><mo id="A1.p4.3.m1.1.1.1" xref="A1.p4.3.m1.1.1.1.cmml">=</mo><mn id="A1.p4.3.m1.1.1.3" xref="A1.p4.3.m1.1.1.3.cmml">0.1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p4.3.m1.1b"><apply id="A1.p4.3.m1.1.1.cmml" xref="A1.p4.3.m1.1.1"><eq id="A1.p4.3.m1.1.1.1.cmml" xref="A1.p4.3.m1.1.1.1"></eq><ci id="A1.p4.3.m1.1.1.2.cmml" xref="A1.p4.3.m1.1.1.2">𝜂</ci><cn type="float" id="A1.p4.3.m1.1.1.3.cmml" xref="A1.p4.3.m1.1.1.3">0.1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p4.3.m1.1c">\eta=0.1</annotation></semantics></math>.
These parameterizations are equivalent at <math id="A1.p4.4.m2.1" class="ltx_Math" alttext="d=1" display="inline"><semantics id="A1.p4.4.m2.1a"><mrow id="A1.p4.4.m2.1.1" xref="A1.p4.4.m2.1.1.cmml"><mi id="A1.p4.4.m2.1.1.2" xref="A1.p4.4.m2.1.1.2.cmml">d</mi><mo id="A1.p4.4.m2.1.1.1" xref="A1.p4.4.m2.1.1.1.cmml">=</mo><mn id="A1.p4.4.m2.1.1.3" xref="A1.p4.4.m2.1.1.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="A1.p4.4.m2.1b"><apply id="A1.p4.4.m2.1.1.cmml" xref="A1.p4.4.m2.1.1"><eq id="A1.p4.4.m2.1.1.1.cmml" xref="A1.p4.4.m2.1.1.1"></eq><ci id="A1.p4.4.m2.1.1.2.cmml" xref="A1.p4.4.m2.1.1.2">𝑑</ci><cn type="integer" id="A1.p4.4.m2.1.1.3.cmml" xref="A1.p4.4.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p4.4.m2.1c">d=1</annotation></semantics></math>, which lets us view each parameterization as a particular scaling prescription applied to a narrow base network.</p>
</div>
<div id="A1.p5" class="ltx_para ltx_noindent">
<p id="A1.p5.3" class="ltx_p">We train full-batch for <math id="A1.p5.1.m1.1" class="ltx_Math" alttext="10^{4}" display="inline"><semantics id="A1.p5.1.m1.1a"><msup id="A1.p5.1.m1.1.1" xref="A1.p5.1.m1.1.1.cmml"><mn id="A1.p5.1.m1.1.1.2" xref="A1.p5.1.m1.1.1.2.cmml">10</mn><mn id="A1.p5.1.m1.1.1.3" xref="A1.p5.1.m1.1.1.3.cmml">4</mn></msup><annotation-xml encoding="MathML-Content" id="A1.p5.1.m1.1b"><apply id="A1.p5.1.m1.1.1.cmml" xref="A1.p5.1.m1.1.1"><csymbol cd="ambiguous" id="A1.p5.1.m1.1.1.1.cmml" xref="A1.p5.1.m1.1.1">superscript</csymbol><cn type="integer" id="A1.p5.1.m1.1.1.2.cmml" xref="A1.p5.1.m1.1.1.2">10</cn><cn type="integer" id="A1.p5.1.m1.1.1.3.cmml" xref="A1.p5.1.m1.1.1.3">4</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A1.p5.1.m1.1c">10^{4}</annotation></semantics></math> steps, which is sufficient for all widths to drop below <math id="A1.p5.2.m2.1" class="ltx_Math" alttext="0.01" display="inline"><semantics id="A1.p5.2.m2.1a"><mn id="A1.p5.2.m2.1.1" xref="A1.p5.2.m2.1.1.cmml">0.01</mn><annotation-xml encoding="MathML-Content" id="A1.p5.2.m2.1b"><cn type="float" id="A1.p5.2.m2.1.1.cmml" xref="A1.p5.2.m2.1.1">0.01</cn></annotation-xml><annotation encoding="application/x-tex" id="A1.p5.2.m2.1c">0.01</annotation></semantics></math> training loss on average by the end of training.
We do not expect that training for many more steps would saliently change the resulting plots.
Shaded envelopes in <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a> denote one standard deviation with respect to both random network initialization and random batch selection over <math id="A1.p5.3.m3.1" class="ltx_Math" alttext="10" display="inline"><semantics id="A1.p5.3.m3.1a"><mn id="A1.p5.3.m3.1.1" xref="A1.p5.3.m3.1.1.cmml">10</mn><annotation-xml encoding="MathML-Content" id="A1.p5.3.m3.1b"><cn type="integer" id="A1.p5.3.m3.1.1.cmml" xref="A1.p5.3.m3.1.1">10</cn></annotation-xml><annotation encoding="application/x-tex" id="A1.p5.3.m3.1c">10</annotation></semantics></math> experiment trials.</p>
</div>
<div id="A1.p6" class="ltx_para ltx_noindent">
<p id="A1.p6.1" class="ltx_p">It is perhaps worth emphasizing that these experiments worked much better than they had to.
Our theory strictly applies only to the case of a small number of gradient steps relative to network width, but the net updates shown in each subplot of <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a> reflect the accumulation of thousands of gradient steps, a number which is larger than network width in all cases.
We were thus surprised by the very clear agreement of this experiment with predicted power laws.</p>
</div>
</section>
<section id="A2" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix B </span>Tensor programs theory</h2>

<div id="A2.p1" class="ltx_para">
<p id="A2.p1.2" class="ltx_p">For simplicity, assume all hidden widths <math id="A2.p1.1.m1.1" class="ltx_Math" alttext="0pt_{1}=\cdots=0pt_{L-1}" display="inline"><semantics id="A2.p1.1.m1.1a"><mrow id="A2.p1.1.m1.1.1" xref="A2.p1.1.m1.1.1.cmml"><mrow id="A2.p1.1.m1.1.1.2" xref="A2.p1.1.m1.1.1.2.cmml"><mn id="A2.p1.1.m1.1.1.2.2" xref="A2.p1.1.m1.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A2.p1.1.m1.1.1.2.1" xref="A2.p1.1.m1.1.1.2.1.cmml">​</mo><mi id="A2.p1.1.m1.1.1.2.3" xref="A2.p1.1.m1.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.p1.1.m1.1.1.2.1a" xref="A2.p1.1.m1.1.1.2.1.cmml">​</mo><msub id="A2.p1.1.m1.1.1.2.4" xref="A2.p1.1.m1.1.1.2.4.cmml"><mi id="A2.p1.1.m1.1.1.2.4.2" xref="A2.p1.1.m1.1.1.2.4.2.cmml">t</mi><mn id="A2.p1.1.m1.1.1.2.4.3" xref="A2.p1.1.m1.1.1.2.4.3.cmml">1</mn></msub></mrow><mo id="A2.p1.1.m1.1.1.3" xref="A2.p1.1.m1.1.1.3.cmml">=</mo><mi mathvariant="normal" id="A2.p1.1.m1.1.1.4" xref="A2.p1.1.m1.1.1.4.cmml">⋯</mi><mo id="A2.p1.1.m1.1.1.5" xref="A2.p1.1.m1.1.1.5.cmml">=</mo><mrow id="A2.p1.1.m1.1.1.6" xref="A2.p1.1.m1.1.1.6.cmml"><mn id="A2.p1.1.m1.1.1.6.2" xref="A2.p1.1.m1.1.1.6.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A2.p1.1.m1.1.1.6.1" xref="A2.p1.1.m1.1.1.6.1.cmml">​</mo><mi id="A2.p1.1.m1.1.1.6.3" xref="A2.p1.1.m1.1.1.6.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.p1.1.m1.1.1.6.1a" xref="A2.p1.1.m1.1.1.6.1.cmml">​</mo><msub id="A2.p1.1.m1.1.1.6.4" xref="A2.p1.1.m1.1.1.6.4.cmml"><mi id="A2.p1.1.m1.1.1.6.4.2" xref="A2.p1.1.m1.1.1.6.4.2.cmml">t</mi><mrow id="A2.p1.1.m1.1.1.6.4.3" xref="A2.p1.1.m1.1.1.6.4.3.cmml"><mi id="A2.p1.1.m1.1.1.6.4.3.2" xref="A2.p1.1.m1.1.1.6.4.3.2.cmml">L</mi><mo id="A2.p1.1.m1.1.1.6.4.3.1" xref="A2.p1.1.m1.1.1.6.4.3.1.cmml">−</mo><mn id="A2.p1.1.m1.1.1.6.4.3.3" xref="A2.p1.1.m1.1.1.6.4.3.3.cmml">1</mn></mrow></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.p1.1.m1.1b"><apply id="A2.p1.1.m1.1.1.cmml" xref="A2.p1.1.m1.1.1"><and id="A2.p1.1.m1.1.1a.cmml" xref="A2.p1.1.m1.1.1"></and><apply id="A2.p1.1.m1.1.1b.cmml" xref="A2.p1.1.m1.1.1"><eq id="A2.p1.1.m1.1.1.3.cmml" xref="A2.p1.1.m1.1.1.3"></eq><apply id="A2.p1.1.m1.1.1.2.cmml" xref="A2.p1.1.m1.1.1.2"><times id="A2.p1.1.m1.1.1.2.1.cmml" xref="A2.p1.1.m1.1.1.2.1"></times><cn type="integer" id="A2.p1.1.m1.1.1.2.2.cmml" xref="A2.p1.1.m1.1.1.2.2">0</cn><ci id="A2.p1.1.m1.1.1.2.3.cmml" xref="A2.p1.1.m1.1.1.2.3">𝑝</ci><apply id="A2.p1.1.m1.1.1.2.4.cmml" xref="A2.p1.1.m1.1.1.2.4"><csymbol cd="ambiguous" id="A2.p1.1.m1.1.1.2.4.1.cmml" xref="A2.p1.1.m1.1.1.2.4">subscript</csymbol><ci id="A2.p1.1.m1.1.1.2.4.2.cmml" xref="A2.p1.1.m1.1.1.2.4.2">𝑡</ci><cn type="integer" id="A2.p1.1.m1.1.1.2.4.3.cmml" xref="A2.p1.1.m1.1.1.2.4.3">1</cn></apply></apply><ci id="A2.p1.1.m1.1.1.4.cmml" xref="A2.p1.1.m1.1.1.4">⋯</ci></apply><apply id="A2.p1.1.m1.1.1c.cmml" xref="A2.p1.1.m1.1.1"><eq id="A2.p1.1.m1.1.1.5.cmml" xref="A2.p1.1.m1.1.1.5"></eq><share href="#A2.p1.1.m1.1.1.4.cmml" id="A2.p1.1.m1.1.1d.cmml" xref="A2.p1.1.m1.1.1"></share><apply id="A2.p1.1.m1.1.1.6.cmml" xref="A2.p1.1.m1.1.1.6"><times id="A2.p1.1.m1.1.1.6.1.cmml" xref="A2.p1.1.m1.1.1.6.1"></times><cn type="integer" id="A2.p1.1.m1.1.1.6.2.cmml" xref="A2.p1.1.m1.1.1.6.2">0</cn><ci id="A2.p1.1.m1.1.1.6.3.cmml" xref="A2.p1.1.m1.1.1.6.3">𝑝</ci><apply id="A2.p1.1.m1.1.1.6.4.cmml" xref="A2.p1.1.m1.1.1.6.4"><csymbol cd="ambiguous" id="A2.p1.1.m1.1.1.6.4.1.cmml" xref="A2.p1.1.m1.1.1.6.4">subscript</csymbol><ci id="A2.p1.1.m1.1.1.6.4.2.cmml" xref="A2.p1.1.m1.1.1.6.4.2">𝑡</ci><apply id="A2.p1.1.m1.1.1.6.4.3.cmml" xref="A2.p1.1.m1.1.1.6.4.3"><minus id="A2.p1.1.m1.1.1.6.4.3.1.cmml" xref="A2.p1.1.m1.1.1.6.4.3.1"></minus><ci id="A2.p1.1.m1.1.1.6.4.3.2.cmml" xref="A2.p1.1.m1.1.1.6.4.3.2">𝐿</ci><cn type="integer" id="A2.p1.1.m1.1.1.6.4.3.3.cmml" xref="A2.p1.1.m1.1.1.6.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.p1.1.m1.1c">0pt_{1}=\cdots=0pt_{L-1}</annotation></semantics></math> are the same.
Borrowing from <cite class="ltx_cite ltx_citemacro_citet">Yang &amp; Hu (<a href="#bib.bib46" title="" class="ltx_ref">2021b</a>)</cite>, an <em id="A2.p1.2.1" class="ltx_emph ltx_font_italic">abc-parametrization</em> is just a recipe for scaling (as powers of width) the multiplier, initializer scale, and learning rate of all parameter tensors of a neural network.
SP, NTP, and <math id="A2.p1.2.m2.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A2.p1.2.m2.1a"><mi id="A2.p1.2.m2.1.1" xref="A2.p1.2.m2.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A2.p1.2.m2.1b"><ci id="A2.p1.2.m2.1.1.cmml" xref="A2.p1.2.m2.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.p1.2.m2.1c">\mu</annotation></semantics></math>P are all examples of abc-parametrizations.
A <em id="A2.p1.2.2" class="ltx_emph ltx_font_italic">stable</em> abc-parametrization is one whose (pre)activations and output do not blow up with width at any step of training. Then (under the generous <a href="#Thmassumption5" title="Assumption 5. ‣ B.1 Proofs ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">5</span></a>) the following theorem is our main result:</p>
</div>
<div id="Thmtheorem1" class="ltx_theorem ltx_theorem_theorem">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmtheorem1.1.1.1" class="ltx_text ltx_font_bold">Theorem 1</span></span><span id="Thmtheorem1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmtheorem1.p1" class="ltx_para">
<p id="Thmtheorem1.p1.2" class="ltx_p"><span id="Thmtheorem1.p1.2.2" class="ltx_text ltx_font_italic">In <math id="Thmtheorem1.p1.1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="Thmtheorem1.p1.1.1.m1.1a"><mi id="Thmtheorem1.p1.1.1.m1.1.1" xref="Thmtheorem1.p1.1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="Thmtheorem1.p1.1.1.m1.1b"><ci id="Thmtheorem1.p1.1.1.m1.1.1.cmml" xref="Thmtheorem1.p1.1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmtheorem1.p1.1.1.m1.1c">\mu</annotation></semantics></math>P, for almost every learning rate (in the measure-theoretic sense), <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:{cond:scaling}</span> is satisfied at any time during training for sufficiently large width.
<math id="Thmtheorem1.p1.2.2.m2.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="Thmtheorem1.p1.2.2.m2.1a"><mi id="Thmtheorem1.p1.2.2.m2.1.1" xref="Thmtheorem1.p1.2.2.m2.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="Thmtheorem1.p1.2.2.m2.1b"><ci id="Thmtheorem1.p1.2.2.m2.1.1.cmml" xref="Thmtheorem1.p1.2.2.m2.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmtheorem1.p1.2.2.m2.1c">\mu</annotation></semantics></math>P is the unique stable abc-parametrization with this property.</span></p>
</div>
</div>
<div id="A2.p2" class="ltx_para">
<p id="A2.p2.1" class="ltx_p">The main insight leading to <a href="#Thmtheorem1" title="Theorem 1. ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Theorem</span> <span class="ltx_text ltx_ref_tag">1</span></a> is that: <math id="A2.p2.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}" display="inline"><semantics id="A2.p2.1.m1.1a"><mrow id="A2.p2.1.m1.1.1" xref="A2.p2.1.m1.1.1.cmml"><mrow id="A2.p2.1.m1.1.1.3" xref="A2.p2.1.m1.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A2.p2.1.m1.1.1.3.2" xref="A2.p2.1.m1.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A2.p2.1.m1.1.1.3.1" xref="A2.p2.1.m1.1.1.3.1.cmml">​</mo><msub id="A2.p2.1.m1.1.1.3.3" xref="A2.p2.1.m1.1.1.3.3.cmml"><mi id="A2.p2.1.m1.1.1.3.3.2" xref="A2.p2.1.m1.1.1.3.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A2.p2.1.m1.1.1.3.3.3" xref="A2.p2.1.m1.1.1.3.3.3.cmml">ℓ</mi></msub></mrow><mo id="A2.p2.1.m1.1.1.2" xref="A2.p2.1.m1.1.1.2.cmml">/</mo><msub id="A2.p2.1.m1.1.1.1" xref="A2.p2.1.m1.1.1.1.cmml"><mrow id="A2.p2.1.m1.1.1.1.1.1" xref="A2.p2.1.m1.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.p2.1.m1.1.1.1.1.1.2" xref="A2.p2.1.m1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A2.p2.1.m1.1.1.1.1.1.1" xref="A2.p2.1.m1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A2.p2.1.m1.1.1.1.1.1.1.2" xref="A2.p2.1.m1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A2.p2.1.m1.1.1.1.1.1.1.1" xref="A2.p2.1.m1.1.1.1.1.1.1.1.cmml">​</mo><msub id="A2.p2.1.m1.1.1.1.1.1.1.3" xref="A2.p2.1.m1.1.1.1.1.1.1.3.cmml"><mi id="A2.p2.1.m1.1.1.1.1.1.1.3.2" xref="A2.p2.1.m1.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A2.p2.1.m1.1.1.1.1.1.1.3.3" xref="A2.p2.1.m1.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="A2.p2.1.m1.1.1.1.1.1.3" xref="A2.p2.1.m1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="A2.p2.1.m1.1.1.1.3" xref="A2.p2.1.m1.1.1.1.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A2.p2.1.m1.1b"><apply id="A2.p2.1.m1.1.1.cmml" xref="A2.p2.1.m1.1.1"><divide id="A2.p2.1.m1.1.1.2.cmml" xref="A2.p2.1.m1.1.1.2"></divide><apply id="A2.p2.1.m1.1.1.3.cmml" xref="A2.p2.1.m1.1.1.3"><times id="A2.p2.1.m1.1.1.3.1.cmml" xref="A2.p2.1.m1.1.1.3.1"></times><ci id="A2.p2.1.m1.1.1.3.2.cmml" xref="A2.p2.1.m1.1.1.3.2">Δ</ci><apply id="A2.p2.1.m1.1.1.3.3.cmml" xref="A2.p2.1.m1.1.1.3.3"><csymbol cd="ambiguous" id="A2.p2.1.m1.1.1.3.3.1.cmml" xref="A2.p2.1.m1.1.1.3.3">subscript</csymbol><ci id="A2.p2.1.m1.1.1.3.3.2.cmml" xref="A2.p2.1.m1.1.1.3.3.2">𝑾</ci><ci id="A2.p2.1.m1.1.1.3.3.3.cmml" xref="A2.p2.1.m1.1.1.3.3.3">ℓ</ci></apply></apply><apply id="A2.p2.1.m1.1.1.1.cmml" xref="A2.p2.1.m1.1.1.1"><csymbol cd="ambiguous" id="A2.p2.1.m1.1.1.1.2.cmml" xref="A2.p2.1.m1.1.1.1">subscript</csymbol><apply id="A2.p2.1.m1.1.1.1.1.2.cmml" xref="A2.p2.1.m1.1.1.1.1.1"><csymbol cd="latexml" id="A2.p2.1.m1.1.1.1.1.2.1.cmml" xref="A2.p2.1.m1.1.1.1.1.1.2">norm</csymbol><apply id="A2.p2.1.m1.1.1.1.1.1.1.cmml" xref="A2.p2.1.m1.1.1.1.1.1.1"><times id="A2.p2.1.m1.1.1.1.1.1.1.1.cmml" xref="A2.p2.1.m1.1.1.1.1.1.1.1"></times><ci id="A2.p2.1.m1.1.1.1.1.1.1.2.cmml" xref="A2.p2.1.m1.1.1.1.1.1.1.2">Δ</ci><apply id="A2.p2.1.m1.1.1.1.1.1.1.3.cmml" xref="A2.p2.1.m1.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A2.p2.1.m1.1.1.1.1.1.1.3.1.cmml" xref="A2.p2.1.m1.1.1.1.1.1.1.3">subscript</csymbol><ci id="A2.p2.1.m1.1.1.1.1.1.1.3.2.cmml" xref="A2.p2.1.m1.1.1.1.1.1.1.3.2">𝑾</ci><ci id="A2.p2.1.m1.1.1.1.1.1.1.3.3.cmml" xref="A2.p2.1.m1.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><ci id="A2.p2.1.m1.1.1.1.3.cmml" xref="A2.p2.1.m1.1.1.1.3">𝐹</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.p2.1.m1.1c">\Delta\!{\bm{W}}_{\ell}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}</annotation></semantics></math> converges to a Hilbert-Schmidt operator (in an appropriate space) as width goes to infinity.
This in turn implies:
</p>
</div>
<div id="Thmlemma1" class="ltx_theorem ltx_theorem_lemma">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmlemma1.1.1.1" class="ltx_text ltx_font_bold">Lemma 1</span></span><span id="Thmlemma1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmlemma1.p1" class="ltx_para">
<p id="Thmlemma1.p1.2" class="ltx_p"><span id="Thmlemma1.p1.2.2" class="ltx_text ltx_font_italic">Unless <math id="Thmlemma1.p1.1.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}=0" display="inline"><semantics id="Thmlemma1.p1.1.1.m1.1a"><mrow id="Thmlemma1.p1.1.1.m1.1.1" xref="Thmlemma1.p1.1.1.m1.1.1.cmml"><mrow id="Thmlemma1.p1.1.1.m1.1.1.2" xref="Thmlemma1.p1.1.1.m1.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmlemma1.p1.1.1.m1.1.1.2.2" xref="Thmlemma1.p1.1.1.m1.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmlemma1.p1.1.1.m1.1.1.2.1" xref="Thmlemma1.p1.1.1.m1.1.1.2.1.cmml">​</mo><msub id="Thmlemma1.p1.1.1.m1.1.1.2.3" xref="Thmlemma1.p1.1.1.m1.1.1.2.3.cmml"><mi id="Thmlemma1.p1.1.1.m1.1.1.2.3.2" xref="Thmlemma1.p1.1.1.m1.1.1.2.3.2.cmml">𝐖</mi><mi mathvariant="normal" id="Thmlemma1.p1.1.1.m1.1.1.2.3.3" xref="Thmlemma1.p1.1.1.m1.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="Thmlemma1.p1.1.1.m1.1.1.1" xref="Thmlemma1.p1.1.1.m1.1.1.1.cmml">=</mo><mn id="Thmlemma1.p1.1.1.m1.1.1.3" xref="Thmlemma1.p1.1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="Thmlemma1.p1.1.1.m1.1b"><apply id="Thmlemma1.p1.1.1.m1.1.1.cmml" xref="Thmlemma1.p1.1.1.m1.1.1"><eq id="Thmlemma1.p1.1.1.m1.1.1.1.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.1"></eq><apply id="Thmlemma1.p1.1.1.m1.1.1.2.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.2"><times id="Thmlemma1.p1.1.1.m1.1.1.2.1.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.2.1"></times><ci id="Thmlemma1.p1.1.1.m1.1.1.2.2.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.2.2">Δ</ci><apply id="Thmlemma1.p1.1.1.m1.1.1.2.3.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.2.3"><csymbol cd="ambiguous" id="Thmlemma1.p1.1.1.m1.1.1.2.3.1.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.2.3">subscript</csymbol><ci id="Thmlemma1.p1.1.1.m1.1.1.2.3.2.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.2.3.2">𝐖</ci><ci id="Thmlemma1.p1.1.1.m1.1.1.2.3.3.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.2.3.3">ℓ</ci></apply></apply><cn type="integer" id="Thmlemma1.p1.1.1.m1.1.1.3.cmml" xref="Thmlemma1.p1.1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmlemma1.p1.1.1.m1.1c">\Delta\!{\bm{W}}_{\ell}=0</annotation></semantics></math>, <math id="Thmlemma1.p1.2.2.m2.3" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(1)" display="inline"><semantics id="Thmlemma1.p1.2.2.m2.3a"><mrow id="Thmlemma1.p1.2.2.m2.3.3" xref="Thmlemma1.p1.2.2.m2.3.3.cmml"><mrow id="Thmlemma1.p1.2.2.m2.3.3.2" xref="Thmlemma1.p1.2.2.m2.3.3.2.cmml"><msub id="Thmlemma1.p1.2.2.m2.2.2.1.1" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.cmml"><mrow id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.2.cmml"><mo stretchy="false" id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.2" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.2.1.cmml">‖</mo><mrow id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.2" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.1" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.1.cmml">​</mo><msub id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.cmml"><mi id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.2" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.2.cmml">𝐖</mi><mi mathvariant="normal" id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.3" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.3" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.2.1.cmml">‖</mo></mrow><mi id="Thmlemma1.p1.2.2.m2.2.2.1.1.3" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.3.cmml">F</mi></msub><mo id="Thmlemma1.p1.2.2.m2.3.3.2.3" xref="Thmlemma1.p1.2.2.m2.3.3.2.3.cmml">/</mo><msub id="Thmlemma1.p1.2.2.m2.3.3.2.2" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.cmml"><mrow id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.2.cmml"><mo stretchy="false" id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.2" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.2.1.cmml">‖</mo><mrow id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.2" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.1" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.1.cmml">​</mo><msub id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.cmml"><mi id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.2" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.2.cmml">𝐖</mi><mi mathvariant="normal" id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.3" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.3" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.2.1.cmml">‖</mo></mrow><mo id="Thmlemma1.p1.2.2.m2.3.3.2.2.3" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.3.cmml">∗</mo></msub></mrow><mo id="Thmlemma1.p1.2.2.m2.3.3.3" xref="Thmlemma1.p1.2.2.m2.3.3.3.cmml">=</mo><mrow id="Thmlemma1.p1.2.2.m2.3.3.4" xref="Thmlemma1.p1.2.2.m2.3.3.4.cmml"><mi mathvariant="normal" id="Thmlemma1.p1.2.2.m2.3.3.4.2" xref="Thmlemma1.p1.2.2.m2.3.3.4.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmlemma1.p1.2.2.m2.3.3.4.1" xref="Thmlemma1.p1.2.2.m2.3.3.4.1.cmml">​</mo><mrow id="Thmlemma1.p1.2.2.m2.3.3.4.3.2" xref="Thmlemma1.p1.2.2.m2.3.3.4.cmml"><mo stretchy="false" id="Thmlemma1.p1.2.2.m2.3.3.4.3.2.1" xref="Thmlemma1.p1.2.2.m2.3.3.4.cmml">(</mo><mn id="Thmlemma1.p1.2.2.m2.1.1" xref="Thmlemma1.p1.2.2.m2.1.1.cmml">1</mn><mo stretchy="false" id="Thmlemma1.p1.2.2.m2.3.3.4.3.2.2" xref="Thmlemma1.p1.2.2.m2.3.3.4.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmlemma1.p1.2.2.m2.3b"><apply id="Thmlemma1.p1.2.2.m2.3.3.cmml" xref="Thmlemma1.p1.2.2.m2.3.3"><eq id="Thmlemma1.p1.2.2.m2.3.3.3.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.3"></eq><apply id="Thmlemma1.p1.2.2.m2.3.3.2.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2"><divide id="Thmlemma1.p1.2.2.m2.3.3.2.3.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.3"></divide><apply id="Thmlemma1.p1.2.2.m2.2.2.1.1.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1"><csymbol cd="ambiguous" id="Thmlemma1.p1.2.2.m2.2.2.1.1.2.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1">subscript</csymbol><apply id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.2.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1"><csymbol cd="latexml" id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.2.1.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.2">norm</csymbol><apply id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1"><times id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.1.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.1"></times><ci id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.2.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.2">Δ</ci><apply id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3"><csymbol cd="ambiguous" id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.1.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3">subscript</csymbol><ci id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.2.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.2">𝐖</ci><ci id="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.3.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><ci id="Thmlemma1.p1.2.2.m2.2.2.1.1.3.cmml" xref="Thmlemma1.p1.2.2.m2.2.2.1.1.3">𝐹</ci></apply><apply id="Thmlemma1.p1.2.2.m2.3.3.2.2.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2"><csymbol cd="ambiguous" id="Thmlemma1.p1.2.2.m2.3.3.2.2.2.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2">subscript</csymbol><apply id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.2.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1"><csymbol cd="latexml" id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.2.1.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.2">norm</csymbol><apply id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1"><times id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.1.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.1"></times><ci id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.2.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.2">Δ</ci><apply id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3"><csymbol cd="ambiguous" id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.1.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3">subscript</csymbol><ci id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.2.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.2">𝐖</ci><ci id="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.3.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="Thmlemma1.p1.2.2.m2.3.3.2.2.3.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.2.2.3"></times></apply></apply><apply id="Thmlemma1.p1.2.2.m2.3.3.4.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.4"><times id="Thmlemma1.p1.2.2.m2.3.3.4.1.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.4.1"></times><ci id="Thmlemma1.p1.2.2.m2.3.3.4.2.cmml" xref="Thmlemma1.p1.2.2.m2.3.3.4.2">Θ</ci><cn type="integer" id="Thmlemma1.p1.2.2.m2.1.1.cmml" xref="Thmlemma1.p1.2.2.m2.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmlemma1.p1.2.2.m2.3c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{F}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}=\Theta(1)</annotation></semantics></math> as width goes to infinity.<span id="footnote4" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">4</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">4</sup><span class="ltx_tag ltx_tag_note"><span id="footnote4.1.1.1" class="ltx_text ltx_font_upright">4</span></span><span id="footnote4.9" class="ltx_text ltx_font_upright">
It’s possible to make precise quantitative statements here using a quantitative version of the Master Theorem but we won’t be concerned with it here.</span></span></span></span></span></p>
</div>
</div>
<div id="A2.p3" class="ltx_para ltx_noindent">
<p id="A2.p3.1" class="ltx_p">These statements are universal: they hold for any architecture and any adaptive optimizers representable by tensor programs (including convolutional neural networks, residual networks, and transformers, etc., as well as RMSProp, Adam, etc.), not just MLP and SGD.</p>
</div>
<section id="A2.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">B.1 </span>Proofs</h3>

<div id="A2.SS1.p1" class="ltx_para ltx_noindent">
<p id="A2.SS1.p1.1" class="ltx_p">As we have explained the core intuitions of our spectral perspective of feature learning in the main text, here we focus on proving the most general result in the most concise way.</p>
</div>
<div id="A2.SS1.p2" class="ltx_para ltx_noindent">
<p id="A2.SS1.p2.1" class="ltx_p">Our proofs will rely on the following notions defined in prior work:</p>
<ul id="A2.I1" class="ltx_itemize">
<li id="A2.I1.i1" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A2.I1.i1.p1" class="ltx_para">
<p id="A2.I1.i1.p1.1" class="ltx_p">representable architecture <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Littwin, <a href="#bib.bib47" title="" class="ltx_ref">2023</a>, Defn 2.9.1)</cite></p>
</div>
</li>
<li id="A2.I1.i2" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A2.I1.i2.p1" class="ltx_para">
<p id="A2.I1.i2.p1.1" class="ltx_p">matrix/vector/scalar parameters <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Littwin, <a href="#bib.bib47" title="" class="ltx_ref">2023</a>, Defn 2.9.1)</cite></p>
</div>
</li>
<li id="A2.I1.i3" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A2.I1.i3.p1" class="ltx_para">
<p id="A2.I1.i3.p1.1" class="ltx_p">abcd-parametrization for representable architectures <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Littwin, <a href="#bib.bib47" title="" class="ltx_ref">2023</a>, Defn 2.9.7)</cite></p>
</div>
</li>
<li id="A2.I1.i4" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A2.I1.i4.p1" class="ltx_para">
<p id="A2.I1.i4.p1.1" class="ltx_p">entrywise optimizer <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Littwin, <a href="#bib.bib47" title="" class="ltx_ref">2023</a>, Sec 2.1)</cite></p>
</div>
</li>
<li id="A2.I1.i5" class="ltx_item" style="list-style-type:none;">
<span class="ltx_tag ltx_tag_item">•</span> 
<div id="A2.I1.i5.p1" class="ltx_para ltx_noindent">
<p id="A2.I1.i5.p1.1" class="ltx_p">ket and iid-copy notation <cite class="ltx_cite ltx_citemacro_citep">(Yang &amp; Littwin, <a href="#bib.bib47" title="" class="ltx_ref">2023</a>, Sec 1.2)</cite></p>
</div>
</li>
</ul>
</div>
<div id="A2.SS1.p3" class="ltx_para">
<p id="A2.SS1.p3.1" class="ltx_p">Everything here follows under the following:</p>
</div>
<div id="Thmassumption5" class="ltx_theorem ltx_theorem_assumption">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumption5.1.1.1" class="ltx_text ltx_font_bold">Assumption 5</span></span><span id="Thmassumption5.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumption5.p1" class="ltx_para">
<p id="Thmassumption5.p1.1" class="ltx_p">Assume our architecture is representable by a <math id="Thmassumption5.p1.1.m1.1" class="ltx_Math" alttext="\textsc{Ne}{\otimes}\textsc{or}\top" display="inline"><semantics id="Thmassumption5.p1.1.m1.1a"><mrow id="Thmassumption5.p1.1.m1.1.1" xref="Thmassumption5.p1.1.m1.1.1.cmml"><mrow id="Thmassumption5.p1.1.m1.1.1.2" xref="Thmassumption5.p1.1.m1.1.1.2.cmml"><mtext class="ltx_font_smallcaps" id="Thmassumption5.p1.1.m1.1.1.2.2" xref="Thmassumption5.p1.1.m1.1.1.2.2a.cmml">Ne</mtext><mo lspace="0.222em" rspace="0.222em" id="Thmassumption5.p1.1.m1.1.1.2.1" xref="Thmassumption5.p1.1.m1.1.1.2.1.cmml">⊗</mo><mtext class="ltx_font_smallcaps" id="Thmassumption5.p1.1.m1.1.1.2.3" xref="Thmassumption5.p1.1.m1.1.1.2.3a.cmml">or</mtext></mrow><mo lspace="0.222em" id="Thmassumption5.p1.1.m1.1.1.3" xref="Thmassumption5.p1.1.m1.1.1.3.cmml">⊤</mo></mrow><annotation-xml encoding="MathML-Content" id="Thmassumption5.p1.1.m1.1b"><apply id="Thmassumption5.p1.1.m1.1.1.cmml" xref="Thmassumption5.p1.1.m1.1.1"><csymbol cd="latexml" id="Thmassumption5.p1.1.m1.1.1.1.cmml" xref="Thmassumption5.p1.1.m1.1.1">limit-from</csymbol><apply id="Thmassumption5.p1.1.m1.1.1.2.cmml" xref="Thmassumption5.p1.1.m1.1.1.2"><csymbol cd="latexml" id="Thmassumption5.p1.1.m1.1.1.2.1.cmml" xref="Thmassumption5.p1.1.m1.1.1.2.1">tensor-product</csymbol><ci id="Thmassumption5.p1.1.m1.1.1.2.2a.cmml" xref="Thmassumption5.p1.1.m1.1.1.2.2"><mtext class="ltx_font_smallcaps" id="Thmassumption5.p1.1.m1.1.1.2.2.cmml" xref="Thmassumption5.p1.1.m1.1.1.2.2">Ne</mtext></ci><ci id="Thmassumption5.p1.1.m1.1.1.2.3a.cmml" xref="Thmassumption5.p1.1.m1.1.1.2.3"><mtext class="ltx_font_smallcaps" id="Thmassumption5.p1.1.m1.1.1.2.3.cmml" xref="Thmassumption5.p1.1.m1.1.1.2.3">or</mtext></ci></apply><csymbol cd="latexml" id="Thmassumption5.p1.1.m1.1.1.3.cmml" xref="Thmassumption5.p1.1.m1.1.1.3">top</csymbol></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmassumption5.p1.1.m1.1c">\textsc{Ne}{\otimes}\textsc{or}\top</annotation></semantics></math> program with pseudo-Lipschitz nonlinearities, trained by an entrywise optimizer with pseudo-Lipschitz update functions.</p>
</div>
</div>
<section id="A2.SS1.SSSx1" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">Random Initialization</h4>

<div id="A2.SS1.SSSx1.p1" class="ltx_para ltx_noindent">
<p id="A2.SS1.SSSx1.p1.1" class="ltx_p">The following is our main proposition for initialization:</p>
</div>
<div id="Thmproposition1" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmproposition1.1.1.1" class="ltx_text ltx_font_bold">Proposition 1</span></span><span id="Thmproposition1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmproposition1.p1" class="ltx_para">
<p id="Thmproposition1.p1.4" class="ltx_p"><span id="Thmproposition1.p1.4.4" class="ltx_text ltx_font_italic">In any abcd-parametrization, any matrix parameter <math id="Thmproposition1.p1.1.1.m1.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="Thmproposition1.p1.1.1.m1.1a"><mi id="Thmproposition1.p1.1.1.m1.1.1" xref="Thmproposition1.p1.1.1.m1.1.1.cmml">𝐖</mi><annotation-xml encoding="MathML-Content" id="Thmproposition1.p1.1.1.m1.1b"><ci id="Thmproposition1.p1.1.1.m1.1.1.cmml" xref="Thmproposition1.p1.1.1.m1.1.1">𝐖</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition1.p1.1.1.m1.1c">{\bm{W}}</annotation></semantics></math> at random initialization has <math id="Thmproposition1.p1.2.2.m2.3" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}\right|\!\right|_{F}/\left|\!\left|{\bm{W}}\right|\!\right|_{*}=\Theta(\sqrt{0}pt)" display="inline"><semantics id="Thmproposition1.p1.2.2.m2.3a"><mrow id="Thmproposition1.p1.2.2.m2.3.3" xref="Thmproposition1.p1.2.2.m2.3.3.cmml"><mrow id="Thmproposition1.p1.2.2.m2.3.3.3" xref="Thmproposition1.p1.2.2.m2.3.3.3.cmml"><msub id="Thmproposition1.p1.2.2.m2.3.3.3.2" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.cmml"><mrow id="Thmproposition1.p1.2.2.m2.3.3.3.2.2.2" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.2.1.cmml"><mo stretchy="false" id="Thmproposition1.p1.2.2.m2.3.3.3.2.2.2.1" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.2.1.1.cmml">‖</mo><mi id="Thmproposition1.p1.2.2.m2.1.1" xref="Thmproposition1.p1.2.2.m2.1.1.cmml">𝐖</mi><mo stretchy="false" id="Thmproposition1.p1.2.2.m2.3.3.3.2.2.2.2" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.2.1.1.cmml">‖</mo></mrow><mi id="Thmproposition1.p1.2.2.m2.3.3.3.2.3" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.3.cmml">F</mi></msub><mo id="Thmproposition1.p1.2.2.m2.3.3.3.1" xref="Thmproposition1.p1.2.2.m2.3.3.3.1.cmml">/</mo><msub id="Thmproposition1.p1.2.2.m2.3.3.3.3" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.cmml"><mrow id="Thmproposition1.p1.2.2.m2.3.3.3.3.2.2" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.2.1.cmml"><mo stretchy="false" id="Thmproposition1.p1.2.2.m2.3.3.3.3.2.2.1" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.2.1.1.cmml">‖</mo><mi id="Thmproposition1.p1.2.2.m2.2.2" xref="Thmproposition1.p1.2.2.m2.2.2.cmml">𝐖</mi><mo stretchy="false" id="Thmproposition1.p1.2.2.m2.3.3.3.3.2.2.2" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.2.1.1.cmml">‖</mo></mrow><mo id="Thmproposition1.p1.2.2.m2.3.3.3.3.3" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.3.cmml">∗</mo></msub></mrow><mo id="Thmproposition1.p1.2.2.m2.3.3.2" xref="Thmproposition1.p1.2.2.m2.3.3.2.cmml">=</mo><mrow id="Thmproposition1.p1.2.2.m2.3.3.1" xref="Thmproposition1.p1.2.2.m2.3.3.1.cmml"><mi mathvariant="normal" id="Thmproposition1.p1.2.2.m2.3.3.1.3" xref="Thmproposition1.p1.2.2.m2.3.3.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmproposition1.p1.2.2.m2.3.3.1.2" xref="Thmproposition1.p1.2.2.m2.3.3.1.2.cmml">​</mo><mrow id="Thmproposition1.p1.2.2.m2.3.3.1.1.1" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.cmml"><mo stretchy="false" id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.2" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.cmml">(</mo><mrow id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.cmml"><msqrt id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2.cmml"><mn id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2.2" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2.2.cmml">0</mn></msqrt><mo lspace="0em" rspace="0em" id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.1" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.1.cmml">​</mo><mi id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.3" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.1a" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.1.cmml">​</mo><mi id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.4" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.3" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition1.p1.2.2.m2.3b"><apply id="Thmproposition1.p1.2.2.m2.3.3.cmml" xref="Thmproposition1.p1.2.2.m2.3.3"><eq id="Thmproposition1.p1.2.2.m2.3.3.2.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.2"></eq><apply id="Thmproposition1.p1.2.2.m2.3.3.3.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3"><divide id="Thmproposition1.p1.2.2.m2.3.3.3.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.1"></divide><apply id="Thmproposition1.p1.2.2.m2.3.3.3.2.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.2"><csymbol cd="ambiguous" id="Thmproposition1.p1.2.2.m2.3.3.3.2.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.2">subscript</csymbol><apply id="Thmproposition1.p1.2.2.m2.3.3.3.2.2.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.2.2"><csymbol cd="latexml" id="Thmproposition1.p1.2.2.m2.3.3.3.2.2.1.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.2.2.1">norm</csymbol><ci id="Thmproposition1.p1.2.2.m2.1.1.cmml" xref="Thmproposition1.p1.2.2.m2.1.1">𝐖</ci></apply><ci id="Thmproposition1.p1.2.2.m2.3.3.3.2.3.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.2.3">𝐹</ci></apply><apply id="Thmproposition1.p1.2.2.m2.3.3.3.3.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.3"><csymbol cd="ambiguous" id="Thmproposition1.p1.2.2.m2.3.3.3.3.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.3">subscript</csymbol><apply id="Thmproposition1.p1.2.2.m2.3.3.3.3.2.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.2.2"><csymbol cd="latexml" id="Thmproposition1.p1.2.2.m2.3.3.3.3.2.1.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.2.2.1">norm</csymbol><ci id="Thmproposition1.p1.2.2.m2.2.2.cmml" xref="Thmproposition1.p1.2.2.m2.2.2">𝐖</ci></apply><times id="Thmproposition1.p1.2.2.m2.3.3.3.3.3.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.3.3.3"></times></apply></apply><apply id="Thmproposition1.p1.2.2.m2.3.3.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1"><times id="Thmproposition1.p1.2.2.m2.3.3.1.2.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.2"></times><ci id="Thmproposition1.p1.2.2.m2.3.3.1.3.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.3">Θ</ci><apply id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1"><times id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.1.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.1"></times><apply id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2"><root id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2a.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2"></root><cn type="integer" id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2.2.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.2.2">0</cn></apply><ci id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.3.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.3">𝑝</ci><ci id="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.4.cmml" xref="Thmproposition1.p1.2.2.m2.3.3.1.1.1.1.4">𝑡</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition1.p1.2.2.m2.3c">\left|\!\left|{\bm{W}}\right|\!\right|_{F}/\left|\!\left|{\bm{W}}\right|\!\right|_{*}=\Theta(\sqrt{0}pt)</annotation></semantics></math>, but any vector or scalar parameter <math id="Thmproposition1.p1.3.3.m3.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="Thmproposition1.p1.3.3.m3.1a"><mi id="Thmproposition1.p1.3.3.m3.1.1" xref="Thmproposition1.p1.3.3.m3.1.1.cmml">𝐖</mi><annotation-xml encoding="MathML-Content" id="Thmproposition1.p1.3.3.m3.1b"><ci id="Thmproposition1.p1.3.3.m3.1.1.cmml" xref="Thmproposition1.p1.3.3.m3.1.1">𝐖</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition1.p1.3.3.m3.1c">{\bm{W}}</annotation></semantics></math> has <math id="Thmproposition1.p1.4.4.m4.2" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}\right|\!\right|_{F}/\left|\!\left|{\bm{W}}\right|\!\right|_{*}=1" display="inline"><semantics id="Thmproposition1.p1.4.4.m4.2a"><mrow id="Thmproposition1.p1.4.4.m4.2.3" xref="Thmproposition1.p1.4.4.m4.2.3.cmml"><mrow id="Thmproposition1.p1.4.4.m4.2.3.2" xref="Thmproposition1.p1.4.4.m4.2.3.2.cmml"><msub id="Thmproposition1.p1.4.4.m4.2.3.2.2" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.cmml"><mrow id="Thmproposition1.p1.4.4.m4.2.3.2.2.2.2" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.2.1.cmml"><mo stretchy="false" id="Thmproposition1.p1.4.4.m4.2.3.2.2.2.2.1" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.2.1.1.cmml">‖</mo><mi id="Thmproposition1.p1.4.4.m4.1.1" xref="Thmproposition1.p1.4.4.m4.1.1.cmml">𝐖</mi><mo stretchy="false" id="Thmproposition1.p1.4.4.m4.2.3.2.2.2.2.2" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.2.1.1.cmml">‖</mo></mrow><mi id="Thmproposition1.p1.4.4.m4.2.3.2.2.3" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.3.cmml">F</mi></msub><mo id="Thmproposition1.p1.4.4.m4.2.3.2.1" xref="Thmproposition1.p1.4.4.m4.2.3.2.1.cmml">/</mo><msub id="Thmproposition1.p1.4.4.m4.2.3.2.3" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.cmml"><mrow id="Thmproposition1.p1.4.4.m4.2.3.2.3.2.2" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.2.1.cmml"><mo stretchy="false" id="Thmproposition1.p1.4.4.m4.2.3.2.3.2.2.1" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.2.1.1.cmml">‖</mo><mi id="Thmproposition1.p1.4.4.m4.2.2" xref="Thmproposition1.p1.4.4.m4.2.2.cmml">𝐖</mi><mo stretchy="false" id="Thmproposition1.p1.4.4.m4.2.3.2.3.2.2.2" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.2.1.1.cmml">‖</mo></mrow><mo id="Thmproposition1.p1.4.4.m4.2.3.2.3.3" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.3.cmml">∗</mo></msub></mrow><mo id="Thmproposition1.p1.4.4.m4.2.3.1" xref="Thmproposition1.p1.4.4.m4.2.3.1.cmml">=</mo><mn id="Thmproposition1.p1.4.4.m4.2.3.3" xref="Thmproposition1.p1.4.4.m4.2.3.3.cmml">1</mn></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition1.p1.4.4.m4.2b"><apply id="Thmproposition1.p1.4.4.m4.2.3.cmml" xref="Thmproposition1.p1.4.4.m4.2.3"><eq id="Thmproposition1.p1.4.4.m4.2.3.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.1"></eq><apply id="Thmproposition1.p1.4.4.m4.2.3.2.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2"><divide id="Thmproposition1.p1.4.4.m4.2.3.2.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.1"></divide><apply id="Thmproposition1.p1.4.4.m4.2.3.2.2.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.2"><csymbol cd="ambiguous" id="Thmproposition1.p1.4.4.m4.2.3.2.2.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.2">subscript</csymbol><apply id="Thmproposition1.p1.4.4.m4.2.3.2.2.2.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.2.2"><csymbol cd="latexml" id="Thmproposition1.p1.4.4.m4.2.3.2.2.2.1.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.2.2.1">norm</csymbol><ci id="Thmproposition1.p1.4.4.m4.1.1.cmml" xref="Thmproposition1.p1.4.4.m4.1.1">𝐖</ci></apply><ci id="Thmproposition1.p1.4.4.m4.2.3.2.2.3.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.2.3">𝐹</ci></apply><apply id="Thmproposition1.p1.4.4.m4.2.3.2.3.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.3"><csymbol cd="ambiguous" id="Thmproposition1.p1.4.4.m4.2.3.2.3.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.3">subscript</csymbol><apply id="Thmproposition1.p1.4.4.m4.2.3.2.3.2.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.2.2"><csymbol cd="latexml" id="Thmproposition1.p1.4.4.m4.2.3.2.3.2.1.1.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.2.2.1">norm</csymbol><ci id="Thmproposition1.p1.4.4.m4.2.2.cmml" xref="Thmproposition1.p1.4.4.m4.2.2">𝐖</ci></apply><times id="Thmproposition1.p1.4.4.m4.2.3.2.3.3.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.2.3.3"></times></apply></apply><cn type="integer" id="Thmproposition1.p1.4.4.m4.2.3.3.cmml" xref="Thmproposition1.p1.4.4.m4.2.3.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition1.p1.4.4.m4.2c">\left|\!\left|{\bm{W}}\right|\!\right|_{F}/\left|\!\left|{\bm{W}}\right|\!\right|_{*}=1</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="A2.SS1.SSSx1.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS1.SSSx1.1.p1" class="ltx_para">
<p id="A2.SS1.SSSx1.1.p1.4" class="ltx_p">This is a claim about random matrices and follows from classical random matrix theory.
Here’s a quick sketch:
If <math id="A2.SS1.SSSx1.1.p1.1.m1.1" class="ltx_Math" alttext="\sigma" display="inline"><semantics id="A2.SS1.SSSx1.1.p1.1.m1.1a"><mi id="A2.SS1.SSSx1.1.p1.1.m1.1.1" xref="A2.SS1.SSSx1.1.p1.1.m1.1.1.cmml">σ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx1.1.p1.1.m1.1b"><ci id="A2.SS1.SSSx1.1.p1.1.m1.1.1.cmml" xref="A2.SS1.SSSx1.1.p1.1.m1.1.1">𝜎</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx1.1.p1.1.m1.1c">\sigma</annotation></semantics></math> is the standard deviation of a matrix entry, then <math id="A2.SS1.SSSx1.1.p1.2.m2.1" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}\right|\!\right|_{F}\approx\sigma\cdot 0pt" display="inline"><semantics id="A2.SS1.SSSx1.1.p1.2.m2.1a"><mrow id="A2.SS1.SSSx1.1.p1.2.m2.1.2" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.cmml"><msub id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.cmml"><mrow id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.2" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.1.cmml"><mo stretchy="false" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.2.1" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.1.1.cmml">‖</mo><mi id="A2.SS1.SSSx1.1.p1.2.m2.1.1" xref="A2.SS1.SSSx1.1.p1.2.m2.1.1.cmml">𝑾</mi><mo stretchy="false" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.2.2" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.1.1.cmml">‖</mo></mrow><mi id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.3" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.3.cmml">F</mi></msub><mo id="A2.SS1.SSSx1.1.p1.2.m2.1.2.1" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.1.cmml">≈</mo><mrow id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.cmml"><mrow id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.cmml"><mi id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.2" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.2.cmml">σ</mi><mo lspace="0.222em" rspace="0.222em" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.1" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.1.cmml">⋅</mo><mn id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.3" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.1" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.1.cmml">​</mo><mi id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.3" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.1a" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.1.cmml">​</mo><mi id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.4" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.4.cmml">t</mi></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx1.1.p1.2.m2.1b"><apply id="A2.SS1.SSSx1.1.p1.2.m2.1.2.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2"><approx id="A2.SS1.SSSx1.1.p1.2.m2.1.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.1"></approx><apply id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2"><csymbol cd="ambiguous" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2">subscript</csymbol><apply id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.2"><csymbol cd="latexml" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.1.1.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.2.2.1">norm</csymbol><ci id="A2.SS1.SSSx1.1.p1.2.m2.1.1.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.1">𝑾</ci></apply><ci id="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.3.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.2.3">𝐹</ci></apply><apply id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3"><times id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.1.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.1"></times><apply id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2"><ci id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.1">⋅</ci><ci id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.2.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.2">𝜎</ci><cn type="integer" id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.3.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.2.3">0</cn></apply><ci id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.3.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.3">𝑝</ci><ci id="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.4.cmml" xref="A2.SS1.SSSx1.1.p1.2.m2.1.2.3.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx1.1.p1.2.m2.1c">\left|\!\left|{\bm{W}}\right|\!\right|_{F}\approx\sigma\cdot 0pt</annotation></semantics></math> from the central limit theorem, and <math id="A2.SS1.SSSx1.1.p1.3.m3.1" class="ltx_Math" alttext="\left|\!\left|{\bm{W}}\right|\!\right|_{*}\approx 2\sigma\cdot\sqrt{0pt}" display="inline"><semantics id="A2.SS1.SSSx1.1.p1.3.m3.1a"><mrow id="A2.SS1.SSSx1.1.p1.3.m3.1.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.cmml"><msub id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.cmml"><mrow id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.1.cmml"><mo stretchy="false" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.2.1" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.1.1.cmml">‖</mo><mi id="A2.SS1.SSSx1.1.p1.3.m3.1.1" xref="A2.SS1.SSSx1.1.p1.3.m3.1.1.cmml">𝑾</mi><mo stretchy="false" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.2.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.1.1.cmml">‖</mo></mrow><mo id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.3" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.3.cmml">∗</mo></msub><mo id="A2.SS1.SSSx1.1.p1.3.m3.1.2.1" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.1.cmml">≈</mo><mrow id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.cmml"><mrow id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.cmml"><mn id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.2.cmml">2</mn><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.1" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.1.cmml">​</mo><mi id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.3" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.3.cmml">σ</mi></mrow><mo lspace="0.222em" rspace="0.222em" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.1" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.1.cmml">⋅</mo><msqrt id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.cmml"><mrow id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.cmml"><mn id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.2" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.1" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.1.cmml">​</mo><mi id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.3" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.1a" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.1.cmml">​</mo><mi id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.4" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.4.cmml">t</mi></mrow></msqrt></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx1.1.p1.3.m3.1b"><apply id="A2.SS1.SSSx1.1.p1.3.m3.1.2.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2"><approx id="A2.SS1.SSSx1.1.p1.3.m3.1.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.1"></approx><apply id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2"><csymbol cd="ambiguous" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2">subscript</csymbol><apply id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.2"><csymbol cd="latexml" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.1.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.2.2.1">norm</csymbol><ci id="A2.SS1.SSSx1.1.p1.3.m3.1.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.1">𝑾</ci></apply><times id="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.3.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.2.3"></times></apply><apply id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3"><ci id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.1">⋅</ci><apply id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2"><times id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.1"></times><cn type="integer" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.2.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.2">2</cn><ci id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.3.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.2.3">𝜎</ci></apply><apply id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3"><root id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3a.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3"></root><apply id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2"><times id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.1.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.1"></times><cn type="integer" id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.2.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.2">0</cn><ci id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.3.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.3">𝑝</ci><ci id="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.4.cmml" xref="A2.SS1.SSSx1.1.p1.3.m3.1.2.3.3.2.4">𝑡</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx1.1.p1.3.m3.1c">\left|\!\left|{\bm{W}}\right|\!\right|_{*}\approx 2\sigma\cdot\sqrt{0pt}</annotation></semantics></math> as stated in the main text, from which the first part of the proposition follows.
For vectors and scalars, the stated ratio is always <math id="A2.SS1.SSSx1.1.p1.4.m4.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A2.SS1.SSSx1.1.p1.4.m4.1a"><mn id="A2.SS1.SSSx1.1.p1.4.m4.1.1" xref="A2.SS1.SSSx1.1.p1.4.m4.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx1.1.p1.4.m4.1b"><cn type="integer" id="A2.SS1.SSSx1.1.p1.4.m4.1.1.cmml" xref="A2.SS1.SSSx1.1.p1.4.m4.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx1.1.p1.4.m4.1c">1</annotation></semantics></math>.
∎</p>
</div>
</div>
</section>
<section id="A2.SS1.SSSx2" class="ltx_subsubsection">
<h4 class="ltx_title ltx_title_subsubsection">Matrix Updates</h4>

<div id="A2.SS1.SSSx2.p1" class="ltx_para ltx_noindent">
<p id="A2.SS1.SSSx2.p1.11" class="ltx_p">In a tensor program, each vector <math id="A2.SS1.SSSx2.p1.1.m1.1" class="ltx_Math" alttext="x" display="inline"><semantics id="A2.SS1.SSSx2.p1.1.m1.1a"><mi id="A2.SS1.SSSx2.p1.1.m1.1.1" xref="A2.SS1.SSSx2.p1.1.m1.1.1.cmml">x</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.1.m1.1b"><ci id="A2.SS1.SSSx2.p1.1.m1.1.1.cmml" xref="A2.SS1.SSSx2.p1.1.m1.1.1">𝑥</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.1.m1.1c">x</annotation></semantics></math> of the program converges to a random variable <math id="A2.SS1.SSSx2.p1.2.m2.1" class="ltx_math_unparsed" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}x\rangle" display="inline"><semantics id="A2.SS1.SSSx2.p1.2.m2.1a"><mrow id="A2.SS1.SSSx2.p1.2.m2.1b"><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.p1.2.m2.1.2"><mo id="A2.SS1.SSSx2.p1.2.m2.1.2a">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.p1.2.m2.1.3">x</mi><mo stretchy="false" id="A2.SS1.SSSx2.p1.2.m2.1.4">⟩</mo></mrow><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.2.m2.1c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}x\rangle</annotation></semantics></math> (called a <em id="A2.SS1.SSSx2.p1.11.1" class="ltx_emph ltx_font_italic">ket</em>) as width goes to infinity in the sense that the scaled inner product <math id="A2.SS1.SSSx2.p1.3.m3.2" class="ltx_Math" alttext="\langle x,y\rangle/0pt" display="inline"><semantics id="A2.SS1.SSSx2.p1.3.m3.2a"><mrow id="A2.SS1.SSSx2.p1.3.m3.2.3" xref="A2.SS1.SSSx2.p1.3.m3.2.3.cmml"><mrow id="A2.SS1.SSSx2.p1.3.m3.2.3.2" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.cmml"><mrow id="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.2" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.1.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.2.1" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.1.cmml">⟨</mo><mi id="A2.SS1.SSSx2.p1.3.m3.1.1" xref="A2.SS1.SSSx2.p1.3.m3.1.1.cmml">x</mi><mo id="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.2.2" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.1.cmml">,</mo><mi id="A2.SS1.SSSx2.p1.3.m3.2.2" xref="A2.SS1.SSSx2.p1.3.m3.2.2.cmml">y</mi><mo stretchy="false" id="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.2.3" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.1.cmml">⟩</mo></mrow><mo id="A2.SS1.SSSx2.p1.3.m3.2.3.2.1" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.1.cmml">/</mo><mn id="A2.SS1.SSSx2.p1.3.m3.2.3.2.3" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.p1.3.m3.2.3.1" xref="A2.SS1.SSSx2.p1.3.m3.2.3.1.cmml">​</mo><mi id="A2.SS1.SSSx2.p1.3.m3.2.3.3" xref="A2.SS1.SSSx2.p1.3.m3.2.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.p1.3.m3.2.3.1a" xref="A2.SS1.SSSx2.p1.3.m3.2.3.1.cmml">​</mo><mi id="A2.SS1.SSSx2.p1.3.m3.2.3.4" xref="A2.SS1.SSSx2.p1.3.m3.2.3.4.cmml">t</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.3.m3.2b"><apply id="A2.SS1.SSSx2.p1.3.m3.2.3.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3"><times id="A2.SS1.SSSx2.p1.3.m3.2.3.1.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3.1"></times><apply id="A2.SS1.SSSx2.p1.3.m3.2.3.2.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2"><divide id="A2.SS1.SSSx2.p1.3.m3.2.3.2.1.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.1"></divide><list id="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.1.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.2.2"><ci id="A2.SS1.SSSx2.p1.3.m3.1.1.cmml" xref="A2.SS1.SSSx2.p1.3.m3.1.1">𝑥</ci><ci id="A2.SS1.SSSx2.p1.3.m3.2.2.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.2">𝑦</ci></list><cn type="integer" id="A2.SS1.SSSx2.p1.3.m3.2.3.2.3.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3.2.3">0</cn></apply><ci id="A2.SS1.SSSx2.p1.3.m3.2.3.3.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3.3">𝑝</ci><ci id="A2.SS1.SSSx2.p1.3.m3.2.3.4.cmml" xref="A2.SS1.SSSx2.p1.3.m3.2.3.4">𝑡</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.3.m3.2c">\langle x,y\rangle/0pt</annotation></semantics></math> converges almost surely to <math id="A2.SS1.SSSx2.p1.4.m4.3" class="ltx_math_unparsed" alttext="\langle x\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}y\rangle=\operatorname*{\mathbb{E}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}x\rangle\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}y\rangle" display="inline"><semantics id="A2.SS1.SSSx2.p1.4.m4.3a"><mrow id="A2.SS1.SSSx2.p1.4.m4.3b"><mrow id="A2.SS1.SSSx2.p1.4.m4.3.4"><mrow id="A2.SS1.SSSx2.p1.4.m4.3.4.1"><mo stretchy="false" id="A2.SS1.SSSx2.p1.4.m4.3.4.1.1">⟨</mo><mi id="A2.SS1.SSSx2.p1.4.m4.3.4.1.2">x</mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.p1.4.m4.3.4.1.3"><mo id="A2.SS1.SSSx2.p1.4.m4.3.4.1.3a">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.p1.4.m4.3.4.1.4">y</mi><mo stretchy="false" id="A2.SS1.SSSx2.p1.4.m4.3.4.1.5">⟩</mo></mrow><mo rspace="0.1389em" id="A2.SS1.SSSx2.p1.4.m4.3.4.2">=</mo><mo lspace="0.1389em" id="A2.SS1.SSSx2.p1.4.m4.3.4.3">𝔼</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.p1.4.m4.3.4.4"><mo id="A2.SS1.SSSx2.p1.4.m4.3.4.4a">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.p1.4.m4.3.4.5">x</mi><mo rspace="0.278em" stretchy="false" id="A2.SS1.SSSx2.p1.4.m4.3.4.6">⟩</mo></mrow><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.p1.4.m4.3.5"><mo id="A2.SS1.SSSx2.p1.4.m4.3.5a">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.p1.4.m4.3.6">y</mi><mo stretchy="false" id="A2.SS1.SSSx2.p1.4.m4.3.7">⟩</mo></mrow><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.4.m4.3c">\langle x\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}y\rangle=\operatorname*{\mathbb{E}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}x\rangle\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}y\rangle</annotation></semantics></math>.
The kets form a Hilbert space <math id="A2.SS1.SSSx2.p1.5.m5.1" class="ltx_Math" alttext="\mathcal{Z}" display="inline"><semantics id="A2.SS1.SSSx2.p1.5.m5.1a"><mi class="ltx_font_mathcaligraphic" id="A2.SS1.SSSx2.p1.5.m5.1.1" xref="A2.SS1.SSSx2.p1.5.m5.1.1.cmml">𝒵</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.5.m5.1b"><ci id="A2.SS1.SSSx2.p1.5.m5.1.1.cmml" xref="A2.SS1.SSSx2.p1.5.m5.1.1">𝒵</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.5.m5.1c">\mathcal{Z}</annotation></semantics></math>.
Then any weight parameter converges to a linear operator from <math id="A2.SS1.SSSx2.p1.6.m6.1" class="ltx_Math" alttext="\mathcal{Z}" display="inline"><semantics id="A2.SS1.SSSx2.p1.6.m6.1a"><mi class="ltx_font_mathcaligraphic" id="A2.SS1.SSSx2.p1.6.m6.1.1" xref="A2.SS1.SSSx2.p1.6.m6.1.1.cmml">𝒵</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.6.m6.1b"><ci id="A2.SS1.SSSx2.p1.6.m6.1.1.cmml" xref="A2.SS1.SSSx2.p1.6.m6.1.1">𝒵</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.6.m6.1c">\mathcal{Z}</annotation></semantics></math> to <math id="A2.SS1.SSSx2.p1.7.m7.1" class="ltx_Math" alttext="\mathcal{Z}" display="inline"><semantics id="A2.SS1.SSSx2.p1.7.m7.1a"><mi class="ltx_font_mathcaligraphic" id="A2.SS1.SSSx2.p1.7.m7.1.1" xref="A2.SS1.SSSx2.p1.7.m7.1.1.cmml">𝒵</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.7.m7.1b"><ci id="A2.SS1.SSSx2.p1.7.m7.1.1.cmml" xref="A2.SS1.SSSx2.p1.7.m7.1.1">𝒵</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.7.m7.1c">\mathcal{Z}</annotation></semantics></math>; any vector parameter converges to a linear operator from <math id="A2.SS1.SSSx2.p1.8.m8.1" class="ltx_Math" alttext="\mathcal{Z}" display="inline"><semantics id="A2.SS1.SSSx2.p1.8.m8.1a"><mi class="ltx_font_mathcaligraphic" id="A2.SS1.SSSx2.p1.8.m8.1.1" xref="A2.SS1.SSSx2.p1.8.m8.1.1.cmml">𝒵</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.8.m8.1b"><ci id="A2.SS1.SSSx2.p1.8.m8.1.1.cmml" xref="A2.SS1.SSSx2.p1.8.m8.1.1">𝒵</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.8.m8.1c">\mathcal{Z}</annotation></semantics></math> to <math id="A2.SS1.SSSx2.p1.9.m9.1" class="ltx_Math" alttext="\mathbb{R}" display="inline"><semantics id="A2.SS1.SSSx2.p1.9.m9.1a"><mi id="A2.SS1.SSSx2.p1.9.m9.1.1" xref="A2.SS1.SSSx2.p1.9.m9.1.1.cmml">ℝ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.9.m9.1b"><ci id="A2.SS1.SSSx2.p1.9.m9.1.1.cmml" xref="A2.SS1.SSSx2.p1.9.m9.1.1">ℝ</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.9.m9.1c">\mathbb{R}</annotation></semantics></math> or <math id="A2.SS1.SSSx2.p1.10.m10.1" class="ltx_Math" alttext="\mathbb{R}" display="inline"><semantics id="A2.SS1.SSSx2.p1.10.m10.1a"><mi id="A2.SS1.SSSx2.p1.10.m10.1.1" xref="A2.SS1.SSSx2.p1.10.m10.1.1.cmml">ℝ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.10.m10.1b"><ci id="A2.SS1.SSSx2.p1.10.m10.1.1.cmml" xref="A2.SS1.SSSx2.p1.10.m10.1.1">ℝ</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.10.m10.1c">\mathbb{R}</annotation></semantics></math> to <math id="A2.SS1.SSSx2.p1.11.m11.1" class="ltx_Math" alttext="\mathcal{Z}" display="inline"><semantics id="A2.SS1.SSSx2.p1.11.m11.1a"><mi class="ltx_font_mathcaligraphic" id="A2.SS1.SSSx2.p1.11.m11.1.1" xref="A2.SS1.SSSx2.p1.11.m11.1.1.cmml">𝒵</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p1.11.m11.1b"><ci id="A2.SS1.SSSx2.p1.11.m11.1.1.cmml" xref="A2.SS1.SSSx2.p1.11.m11.1.1">𝒵</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p1.11.m11.1c">\mathcal{Z}</annotation></semantics></math>.
(Any scalar parameter converges to a random real, but that is not too important here).</p>
</div>
<div id="Thmproposition2" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmproposition2.1.1.1" class="ltx_text ltx_font_bold">Proposition 2</span></span><span id="Thmproposition2.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmproposition2.p1" class="ltx_para">
<p id="Thmproposition2.p1.2" class="ltx_p"><span id="Thmproposition2.p1.2.2" class="ltx_text ltx_font_italic">Consider any abcd-parametrization.
For any matrix or vector parameter <math id="Thmproposition2.p1.1.1.m1.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="Thmproposition2.p1.1.1.m1.1a"><mi id="Thmproposition2.p1.1.1.m1.1.1" xref="Thmproposition2.p1.1.1.m1.1.1.cmml">𝐖</mi><annotation-xml encoding="MathML-Content" id="Thmproposition2.p1.1.1.m1.1b"><ci id="Thmproposition2.p1.1.1.m1.1.1.cmml" xref="Thmproposition2.p1.1.1.m1.1.1">𝐖</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition2.p1.1.1.m1.1c">{\bm{W}}</annotation></semantics></math>,
at any step of training, <math id="Thmproposition2.p1.2.2.m2.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}/\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}" display="inline"><semantics id="Thmproposition2.p1.2.2.m2.1a"><mrow id="Thmproposition2.p1.2.2.m2.1.1" xref="Thmproposition2.p1.2.2.m2.1.1.cmml"><mrow id="Thmproposition2.p1.2.2.m2.1.1.3" xref="Thmproposition2.p1.2.2.m2.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmproposition2.p1.2.2.m2.1.1.3.2" xref="Thmproposition2.p1.2.2.m2.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmproposition2.p1.2.2.m2.1.1.3.1" xref="Thmproposition2.p1.2.2.m2.1.1.3.1.cmml">​</mo><mi id="Thmproposition2.p1.2.2.m2.1.1.3.3" xref="Thmproposition2.p1.2.2.m2.1.1.3.3.cmml">𝐖</mi></mrow><mo id="Thmproposition2.p1.2.2.m2.1.1.2" xref="Thmproposition2.p1.2.2.m2.1.1.2.cmml">/</mo><msub id="Thmproposition2.p1.2.2.m2.1.1.1" xref="Thmproposition2.p1.2.2.m2.1.1.1.cmml"><mrow id="Thmproposition2.p1.2.2.m2.1.1.1.1.1" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.2" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.2" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.1" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.1.cmml">​</mo><mi id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.3" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.3.cmml">𝐖</mi></mrow><mo stretchy="false" id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.3" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="Thmproposition2.p1.2.2.m2.1.1.1.3" xref="Thmproposition2.p1.2.2.m2.1.1.1.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition2.p1.2.2.m2.1b"><apply id="Thmproposition2.p1.2.2.m2.1.1.cmml" xref="Thmproposition2.p1.2.2.m2.1.1"><divide id="Thmproposition2.p1.2.2.m2.1.1.2.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.2"></divide><apply id="Thmproposition2.p1.2.2.m2.1.1.3.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.3"><times id="Thmproposition2.p1.2.2.m2.1.1.3.1.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.3.1"></times><ci id="Thmproposition2.p1.2.2.m2.1.1.3.2.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.3.2">Δ</ci><ci id="Thmproposition2.p1.2.2.m2.1.1.3.3.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.3.3">𝐖</ci></apply><apply id="Thmproposition2.p1.2.2.m2.1.1.1.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1"><csymbol cd="ambiguous" id="Thmproposition2.p1.2.2.m2.1.1.1.2.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1">subscript</csymbol><apply id="Thmproposition2.p1.2.2.m2.1.1.1.1.2.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1"><csymbol cd="latexml" id="Thmproposition2.p1.2.2.m2.1.1.1.1.2.1.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.2">norm</csymbol><apply id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1"><times id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.1.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.1"></times><ci id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.2.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.2">Δ</ci><ci id="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.3.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1.1.1.1.3">𝐖</ci></apply></apply><ci id="Thmproposition2.p1.2.2.m2.1.1.1.3.cmml" xref="Thmproposition2.p1.2.2.m2.1.1.1.3">𝐹</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition2.p1.2.2.m2.1c">\Delta\!{\bm{W}}/\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}</annotation></semantics></math> converges to a Hilbert-Schmidt integral operator.</span></p>
</div>
</div>
<div id="A2.SS1.SSSx2.1" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS1.SSSx2.1.p1" class="ltx_para">
<p id="A2.SS1.SSSx2.1.p1.1" class="ltx_p">This is trivial for vector parameters.
For matrix parameters, observe <math id="A2.SS1.SSSx2.1.p1.1.m1.1" class="ltx_Math" alttext="\widetilde{\Delta}\!{\bm{W}}=\Delta\!{\bm{W}}/\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.1.m1.1a"><mrow id="A2.SS1.SSSx2.1.p1.1.m1.1.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.cmml"><mrow id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.cmml"><mover accent="true" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.2" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.2.cmml">Δ</mi><mo id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.1.cmml">​</mo><mi id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.3" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.3.cmml">𝑾</mi></mrow><mo id="A2.SS1.SSSx2.1.p1.1.m1.1.1.2" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.2.cmml">=</mo><mrow id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.cmml"><mrow id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.2" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.1.cmml">​</mo><mi id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.3" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.3.cmml">𝑾</mi></mrow><mo id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.2" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.2.cmml">/</mo><msub id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.cmml"><mrow id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.2" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.2" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.1" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.1.cmml">​</mo><mi id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.3" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.3.cmml">𝑾</mi></mrow><mo stretchy="false" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.3" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.3" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.3.cmml">F</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.1.m1.1b"><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1"><eq id="A2.SS1.SSSx2.1.p1.1.m1.1.1.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.2"></eq><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3"><times id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.1"></times><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2"><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.1">~</ci><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.2.2">Δ</ci></apply><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.3.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.3.3">𝑾</ci></apply><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1"><divide id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.2"></divide><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3"><times id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.1"></times><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.2">Δ</ci><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.3.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.3.3">𝑾</ci></apply><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1"><csymbol cd="ambiguous" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1">subscript</csymbol><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1"><csymbol cd="latexml" id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.2.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.2">norm</csymbol><apply id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1"><times id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.1"></times><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.2.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.2">Δ</ci><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.3.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.1.1.1.3">𝑾</ci></apply></apply><ci id="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.3.cmml" xref="A2.SS1.SSSx2.1.p1.1.m1.1.1.1.1.3">𝐹</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.1.m1.1c">\widetilde{\Delta}\!{\bm{W}}=\Delta\!{\bm{W}}/\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}</annotation></semantics></math> is always a nonlinear outer product</p>
<table id="A2.Ex8" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A2.Ex8.m1.3" class="ltx_Math" alttext="\widetilde{\Delta}\!{\bm{W}}=Q(\bm{x};\bm{y};\bm{c})" display="block"><semantics id="A2.Ex8.m1.3a"><mrow id="A2.Ex8.m1.3.4" xref="A2.Ex8.m1.3.4.cmml"><mrow id="A2.Ex8.m1.3.4.2" xref="A2.Ex8.m1.3.4.2.cmml"><mover accent="true" id="A2.Ex8.m1.3.4.2.2" xref="A2.Ex8.m1.3.4.2.2.cmml"><mi mathvariant="normal" id="A2.Ex8.m1.3.4.2.2.2" xref="A2.Ex8.m1.3.4.2.2.2.cmml">Δ</mi><mo id="A2.Ex8.m1.3.4.2.2.1" xref="A2.Ex8.m1.3.4.2.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.Ex8.m1.3.4.2.1" xref="A2.Ex8.m1.3.4.2.1.cmml">​</mo><mi id="A2.Ex8.m1.3.4.2.3" xref="A2.Ex8.m1.3.4.2.3.cmml">𝑾</mi></mrow><mo id="A2.Ex8.m1.3.4.1" xref="A2.Ex8.m1.3.4.1.cmml">=</mo><mrow id="A2.Ex8.m1.3.4.3" xref="A2.Ex8.m1.3.4.3.cmml"><mi id="A2.Ex8.m1.3.4.3.2" xref="A2.Ex8.m1.3.4.3.2.cmml">Q</mi><mo lspace="0em" rspace="0em" id="A2.Ex8.m1.3.4.3.1" xref="A2.Ex8.m1.3.4.3.1.cmml">​</mo><mrow id="A2.Ex8.m1.3.4.3.3.2" xref="A2.Ex8.m1.3.4.3.3.1.cmml"><mo stretchy="false" id="A2.Ex8.m1.3.4.3.3.2.1" xref="A2.Ex8.m1.3.4.3.3.1.cmml">(</mo><mi id="A2.Ex8.m1.1.1" xref="A2.Ex8.m1.1.1.cmml">𝒙</mi><mo id="A2.Ex8.m1.3.4.3.3.2.2" xref="A2.Ex8.m1.3.4.3.3.1.cmml">;</mo><mi id="A2.Ex8.m1.2.2" xref="A2.Ex8.m1.2.2.cmml">𝒚</mi><mo id="A2.Ex8.m1.3.4.3.3.2.3" xref="A2.Ex8.m1.3.4.3.3.1.cmml">;</mo><mi id="A2.Ex8.m1.3.3" xref="A2.Ex8.m1.3.3.cmml">𝒄</mi><mo stretchy="false" id="A2.Ex8.m1.3.4.3.3.2.4" xref="A2.Ex8.m1.3.4.3.3.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex8.m1.3b"><apply id="A2.Ex8.m1.3.4.cmml" xref="A2.Ex8.m1.3.4"><eq id="A2.Ex8.m1.3.4.1.cmml" xref="A2.Ex8.m1.3.4.1"></eq><apply id="A2.Ex8.m1.3.4.2.cmml" xref="A2.Ex8.m1.3.4.2"><times id="A2.Ex8.m1.3.4.2.1.cmml" xref="A2.Ex8.m1.3.4.2.1"></times><apply id="A2.Ex8.m1.3.4.2.2.cmml" xref="A2.Ex8.m1.3.4.2.2"><ci id="A2.Ex8.m1.3.4.2.2.1.cmml" xref="A2.Ex8.m1.3.4.2.2.1">~</ci><ci id="A2.Ex8.m1.3.4.2.2.2.cmml" xref="A2.Ex8.m1.3.4.2.2.2">Δ</ci></apply><ci id="A2.Ex8.m1.3.4.2.3.cmml" xref="A2.Ex8.m1.3.4.2.3">𝑾</ci></apply><apply id="A2.Ex8.m1.3.4.3.cmml" xref="A2.Ex8.m1.3.4.3"><times id="A2.Ex8.m1.3.4.3.1.cmml" xref="A2.Ex8.m1.3.4.3.1"></times><ci id="A2.Ex8.m1.3.4.3.2.cmml" xref="A2.Ex8.m1.3.4.3.2">𝑄</ci><list id="A2.Ex8.m1.3.4.3.3.1.cmml" xref="A2.Ex8.m1.3.4.3.3.2"><ci id="A2.Ex8.m1.1.1.cmml" xref="A2.Ex8.m1.1.1">𝒙</ci><ci id="A2.Ex8.m1.2.2.cmml" xref="A2.Ex8.m1.2.2">𝒚</ci><ci id="A2.Ex8.m1.3.3.cmml" xref="A2.Ex8.m1.3.3">𝒄</ci></list></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex8.m1.3c">\widetilde{\Delta}\!{\bm{W}}=Q(\bm{x};\bm{y};\bm{c})</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS1.SSSx2.1.p1.7" class="ltx_p">for multi-vectors <math id="A2.SS1.SSSx2.1.p1.2.m1.1" class="ltx_Math" alttext="\bm{x}" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.2.m1.1a"><mi id="A2.SS1.SSSx2.1.p1.2.m1.1.1" xref="A2.SS1.SSSx2.1.p1.2.m1.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.2.m1.1b"><ci id="A2.SS1.SSSx2.1.p1.2.m1.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.2.m1.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.2.m1.1c">\bm{x}</annotation></semantics></math> and <math id="A2.SS1.SSSx2.1.p1.3.m2.1" class="ltx_Math" alttext="\bm{y}" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.3.m2.1a"><mi id="A2.SS1.SSSx2.1.p1.3.m2.1.1" xref="A2.SS1.SSSx2.1.p1.3.m2.1.1.cmml">𝒚</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.3.m2.1b"><ci id="A2.SS1.SSSx2.1.p1.3.m2.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.3.m2.1.1">𝒚</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.3.m2.1c">\bm{y}</annotation></semantics></math> and multi-scalars <math id="A2.SS1.SSSx2.1.p1.4.m3.1" class="ltx_Math" alttext="\bm{c}" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.4.m3.1a"><mi id="A2.SS1.SSSx2.1.p1.4.m3.1.1" xref="A2.SS1.SSSx2.1.p1.4.m3.1.1.cmml">𝒄</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.4.m3.1b"><ci id="A2.SS1.SSSx2.1.p1.4.m3.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.4.m3.1.1">𝒄</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.4.m3.1c">\bm{c}</annotation></semantics></math> and some nonlinearity <math id="A2.SS1.SSSx2.1.p1.5.m4.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.5.m4.1a"><mi id="A2.SS1.SSSx2.1.p1.5.m4.1.1" xref="A2.SS1.SSSx2.1.p1.5.m4.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.5.m4.1b"><ci id="A2.SS1.SSSx2.1.p1.5.m4.1.1.cmml" xref="A2.SS1.SSSx2.1.p1.5.m4.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.5.m4.1c">Q</annotation></semantics></math>.
Then the limit <math id="A2.SS1.SSSx2.1.p1.6.m5.2" class="ltx_Math" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.6.m5.2a"><mrow id="A2.SS1.SSSx2.1.p1.6.m5.2.3" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.cmml"><mi id="A2.SS1.SSSx2.1.p1.6.m5.2.3.2" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.2.cmml"></mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.6.m5.2.3.3" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.3.cmml"><mo id="A2.SS1.SSSx2.1.p1.6.m5.2.3.3a" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.3.cmml">⫿</mo></mpadded><mrow id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.cmml"><mover accent="true" id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.2" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.2.cmml">Δ</mi><mo id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.1" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.1" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.1.cmml">​</mo><mi id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.3" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.3.cmml">𝑾</mi></mrow><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.6.m5.2.3.5" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.5.cmml"><mo id="A2.SS1.SSSx2.1.p1.6.m5.2.3.5a" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.5.cmml">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.1.p1.6.m5.2.3.6" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.6.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.6.m5.2b"><apply id="A2.SS1.SSSx2.1.p1.6.m5.2.3.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3"><and id="A2.SS1.SSSx2.1.p1.6.m5.2.3a.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3"></and><apply id="A2.SS1.SSSx2.1.p1.6.m5.2.3b.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3"><ci id="A2.SS1.SSSx2.1.p1.6.m5.2.3.3.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.3">⫿</ci><csymbol cd="latexml" id="A2.SS1.SSSx2.1.p1.6.m5.2.3.2.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.2">absent</csymbol><apply id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4"><times id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.1.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.1"></times><apply id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2"><ci id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.1.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.1">~</ci><ci id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.2.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.2.2">Δ</ci></apply><ci id="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.3.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.4.3">𝑾</ci></apply></apply><apply id="A2.SS1.SSSx2.1.p1.6.m5.2.3c.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3"><ci id="A2.SS1.SSSx2.1.p1.6.m5.2.3.5.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.5">⫿</ci><share href="#A2.SS1.SSSx2.1.p1.6.m5.2.3.4.cmml" id="A2.SS1.SSSx2.1.p1.6.m5.2.3d.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3"></share><csymbol cd="latexml" id="A2.SS1.SSSx2.1.p1.6.m5.2.3.6.cmml" xref="A2.SS1.SSSx2.1.p1.6.m5.2.3.6">absent</csymbol></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.6.m5.2c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}</annotation></semantics></math> acts on a ket <math id="A2.SS1.SSSx2.1.p1.7.m6.1" class="ltx_math_unparsed" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.7.m6.1a"><mrow id="A2.SS1.SSSx2.1.p1.7.m6.1b"><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.7.m6.1.2"><mo id="A2.SS1.SSSx2.1.p1.7.m6.1.2a">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.1.p1.7.m6.1.3">z</mi><mo stretchy="false" id="A2.SS1.SSSx2.1.p1.7.m6.1.4">⟩</mo></mrow><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.7.m6.1c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle</annotation></semantics></math> by</p>
<table id="A2.Ex9" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A2.Ex9.m1.5" class="ltx_math_unparsed" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle=\operatorname*{\mathbb{E}}_{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}}Q(\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{x}\rangle;\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{y}\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}};\mathring{\bm{c}})\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}}" display="block"><semantics id="A2.Ex9.m1.5a"><mrow id="A2.Ex9.m1.5b"><mrow id="A2.Ex9.m1.5.6"><msup id="A2.Ex9.m1.5.6.1"><mrow id="A2.Ex9.m1.5.6.1.2"><mrow id="A2.Ex9.m1.5.6.1.2.1"><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex9.m1.5.6.1.2.1.1"><mo id="A2.Ex9.m1.5.6.1.2.1.1a">⫿</mo></mpadded><mover accent="true" id="A2.Ex9.m1.5.6.1.2.1.2"><mi mathvariant="normal" id="A2.Ex9.m1.5.6.1.2.1.2.2">Δ</mi><mo id="A2.Ex9.m1.5.6.1.2.1.2.1">~</mo></mover><mi id="A2.Ex9.m1.5.6.1.2.1.3">𝑾</mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex9.m1.5.6.1.2.1.4"><mo id="A2.Ex9.m1.5.6.1.2.1.4a">⫿</mo></mpadded><mi id="A2.Ex9.m1.5.6.1.2.1.5">z</mi><mo stretchy="false" id="A2.Ex9.m1.5.6.1.2.1.6">⟩</mo></mrow><mo rspace="0.1389em" id="A2.Ex9.m1.5.6.1.2.2">=</mo><munder id="A2.Ex9.m1.5.6.1.2.3"><mo lspace="0.1389em" rspace="0.167em" id="A2.Ex9.m1.5.6.1.2.3.2">𝔼</mo><mi mathsize="70%" mathvariant="normal" id="A2.Ex9.m1.5.6.1.2.3.3">1</mi></munder><mi id="A2.Ex9.m1.5.6.1.2.4">Q</mi><mrow id="A2.Ex9.m1.5.6.1.2.5"><mo stretchy="false" id="A2.Ex9.m1.5.6.1.2.5.1">(</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex9.m1.5.6.1.2.5.2"><mo id="A2.Ex9.m1.5.6.1.2.5.2a">⫿</mo></mpadded><mi id="A2.Ex9.m1.5.6.1.2.5.3">𝒙</mi><mo stretchy="false" id="A2.Ex9.m1.5.6.1.2.5.4">⟩</mo></mrow><mo id="A2.Ex9.m1.5.6.1.2.6">;</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex9.m1.5.6.1.2.7"><mo id="A2.Ex9.m1.5.6.1.2.7a">⫿</mo></mpadded><mi id="A2.Ex9.m1.5.6.1.2.8">𝒚</mi><mo stretchy="false" id="A2.Ex9.m1.5.6.1.2.9">⟩</mo></mrow><mi mathsize="70%" mathvariant="normal" id="A2.Ex9.m1.5.6.1.3">1</mi></msup><mo id="A2.Ex9.m1.5.6.2">;</mo><mover accent="true" id="A2.Ex9.m1.5.6.3"><mi id="A2.Ex9.m1.5.6.3.2">𝒄</mi><mo id="A2.Ex9.m1.5.6.3.1">̊</mo></mover><mo rspace="0.278em" stretchy="false" id="A2.Ex9.m1.5.6.4">)</mo></mrow><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex9.m1.5.7"><mo id="A2.Ex9.m1.5.7a">⫿</mo></mpadded><mi id="A2.Ex9.m1.5.8">z</mi><mo stretchy="false" id="A2.Ex9.m1.5.9">⟩</mo><msup id="A2.Ex9.m1.5.10"><mi id="A2.Ex9.m1.5.10a"></mi><mi mathsize="70%" mathvariant="normal" id="A2.Ex9.m1.5.10.1">1</mi></msup></mrow><annotation encoding="application/x-tex" id="A2.Ex9.m1.5c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle=\operatorname*{\mathbb{E}}_{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}}Q(\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{x}\rangle;\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{y}\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}};\mathring{\bm{c}})\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS1.SSSx2.1.p1.10" class="ltx_p">integrating over <math id="A2.SS1.SSSx2.1.p1.8.m1.1" class="ltx_math_unparsed" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{y}\rangle" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.8.m1.1a"><mrow id="A2.SS1.SSSx2.1.p1.8.m1.1b"><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.8.m1.1.2"><mo id="A2.SS1.SSSx2.1.p1.8.m1.1.2a">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.1.p1.8.m1.1.3">𝒚</mi><mo stretchy="false" id="A2.SS1.SSSx2.1.p1.8.m1.1.4">⟩</mo></mrow><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.8.m1.1c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{y}\rangle</annotation></semantics></math> and <math id="A2.SS1.SSSx2.1.p1.9.m2.1" class="ltx_math_unparsed" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.9.m2.1a"><mrow id="A2.SS1.SSSx2.1.p1.9.m2.1b"><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.9.m2.1.2"><mo id="A2.SS1.SSSx2.1.p1.9.m2.1.2a">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.1.p1.9.m2.1.3">z</mi><mo stretchy="false" id="A2.SS1.SSSx2.1.p1.9.m2.1.4">⟩</mo></mrow><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.9.m2.1c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle</annotation></semantics></math>.
The Hilbert-Schmidt norm of <math id="A2.SS1.SSSx2.1.p1.10.m3.2" class="ltx_Math" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.10.m3.2a"><mrow id="A2.SS1.SSSx2.1.p1.10.m3.2.3" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.cmml"><mi id="A2.SS1.SSSx2.1.p1.10.m3.2.3.2" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.2.cmml"></mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.10.m3.2.3.3" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.3.cmml"><mo id="A2.SS1.SSSx2.1.p1.10.m3.2.3.3a" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.3.cmml">⫿</mo></mpadded><mrow id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.cmml"><mover accent="true" id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.2" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.2.cmml">Δ</mi><mo id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.1" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.1" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.1.cmml">​</mo><mi id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.3" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.3.cmml">𝑾</mi></mrow><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.10.m3.2.3.5" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.5.cmml"><mo id="A2.SS1.SSSx2.1.p1.10.m3.2.3.5a" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.5.cmml">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.1.p1.10.m3.2.3.6" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.6.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.10.m3.2b"><apply id="A2.SS1.SSSx2.1.p1.10.m3.2.3.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3"><and id="A2.SS1.SSSx2.1.p1.10.m3.2.3a.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3"></and><apply id="A2.SS1.SSSx2.1.p1.10.m3.2.3b.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3"><ci id="A2.SS1.SSSx2.1.p1.10.m3.2.3.3.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.3">⫿</ci><csymbol cd="latexml" id="A2.SS1.SSSx2.1.p1.10.m3.2.3.2.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.2">absent</csymbol><apply id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4"><times id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.1.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.1"></times><apply id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2"><ci id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.1.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.1">~</ci><ci id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.2.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.2.2">Δ</ci></apply><ci id="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.3.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.4.3">𝑾</ci></apply></apply><apply id="A2.SS1.SSSx2.1.p1.10.m3.2.3c.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3"><ci id="A2.SS1.SSSx2.1.p1.10.m3.2.3.5.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.5">⫿</ci><share href="#A2.SS1.SSSx2.1.p1.10.m3.2.3.4.cmml" id="A2.SS1.SSSx2.1.p1.10.m3.2.3d.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3"></share><csymbol cd="latexml" id="A2.SS1.SSSx2.1.p1.10.m3.2.3.6.cmml" xref="A2.SS1.SSSx2.1.p1.10.m3.2.3.6">absent</csymbol></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.10.m3.2c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}</annotation></semantics></math> is</p>
<table id="A2.Ex10" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A2.Ex10.m1.6" class="ltx_math_unparsed" alttext="\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\right|\!\right|_{HS}=\sqrt{\operatorname*{\mathbb{E}}_{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 0$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 0$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 0$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 0$}\kern 0.5pt}},\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}}Q(\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{x}\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 0$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 0$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 0$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 0$}\kern 0.5pt}}};\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{y}\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}};\mathring{\bm{c}})^{2}}" display="block"><semantics id="A2.Ex10.m1.6a"><mrow id="A2.Ex10.m1.6b"><mo fence="false" id="A2.Ex10.m1.6.7">|</mo><mo fence="false" rspace="0.167em" id="A2.Ex10.m1.6.8">|</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex10.m1.6.9"><mo id="A2.Ex10.m1.6.9a">⫿</mo></mpadded><mover accent="true" id="A2.Ex10.m1.6.10"><mi mathvariant="normal" id="A2.Ex10.m1.6.10.2">Δ</mi><mo id="A2.Ex10.m1.6.10.1">~</mo></mover><mi id="A2.Ex10.m1.6.11">𝑾</mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex10.m1.6.12"><mo id="A2.Ex10.m1.6.12a">⫿</mo></mpadded><mo fence="false" id="A2.Ex10.m1.6.13">|</mo><msub id="A2.Ex10.m1.6.14"><mo fence="false" id="A2.Ex10.m1.6.14.2">|</mo><mrow id="A2.Ex10.m1.6.14.3"><mi id="A2.Ex10.m1.6.14.3.2">H</mi><mo lspace="0em" rspace="0em" id="A2.Ex10.m1.6.14.3.1">​</mo><mi id="A2.Ex10.m1.6.14.3.3">S</mi></mrow></msub><mo lspace="0.167em" id="A2.Ex10.m1.6.15">=</mo><msqrt id="A2.Ex10.m1.6.6"><mrow id="A2.Ex10.m1.6.6.4"><msup id="A2.Ex10.m1.6.6.4.5"><mrow id="A2.Ex10.m1.6.6.4.5.2"><munder id="A2.Ex10.m1.6.6.4.5.2.1"><mo id="A2.Ex10.m1.6.6.4.5.2.1.2">𝔼</mo><mrow id="A2.Ex10.m1.6.6.4.4.2.4"><mi mathsize="70%" mathvariant="normal" id="A2.Ex10.m1.5.5.3.3.1.1">0</mi><mo id="A2.Ex10.m1.6.6.4.4.2.4.1">,</mo><mi mathsize="70%" mathvariant="normal" id="A2.Ex10.m1.6.6.4.4.2.2">1</mi></mrow></munder><mi id="A2.Ex10.m1.6.6.4.5.2.2">Q</mi><msup id="A2.Ex10.m1.6.6.4.5.2.3"><mrow id="A2.Ex10.m1.6.6.4.5.2.3.2"><mo stretchy="false" id="A2.Ex10.m1.6.6.4.5.2.3.2.1">(</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex10.m1.6.6.4.5.2.3.2.2"><mo id="A2.Ex10.m1.6.6.4.5.2.3.2.2a">⫿</mo></mpadded><mi id="A2.Ex10.m1.6.6.4.5.2.3.2.3">𝒙</mi><mo stretchy="false" id="A2.Ex10.m1.6.6.4.5.2.3.2.4">⟩</mo></mrow><mi mathsize="70%" mathvariant="normal" id="A2.Ex10.m1.6.6.4.5.2.3.3">0</mi></msup><mo id="A2.Ex10.m1.6.6.4.5.2.4">;</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex10.m1.6.6.4.5.2.5"><mo id="A2.Ex10.m1.6.6.4.5.2.5a">⫿</mo></mpadded><mi id="A2.Ex10.m1.6.6.4.5.2.6">𝒚</mi><mo stretchy="false" id="A2.Ex10.m1.6.6.4.5.2.7">⟩</mo></mrow><mi mathsize="70%" mathvariant="normal" id="A2.Ex10.m1.6.6.4.5.3">1</mi></msup><mo id="A2.Ex10.m1.6.6.4.6">;</mo><mover accent="true" id="A2.Ex10.m1.6.6.4.7"><mi id="A2.Ex10.m1.6.6.4.7.2">𝒄</mi><mo id="A2.Ex10.m1.6.6.4.7.1">̊</mo></mover><mo stretchy="false" id="A2.Ex10.m1.6.6.4.8">)</mo><msup id="A2.Ex10.m1.6.6.4.9"><mi id="A2.Ex10.m1.6.6.4.9a"></mi><mn id="A2.Ex10.m1.6.6.4.9.1">2</mn></msup></mrow></msqrt></mrow><annotation encoding="application/x-tex" id="A2.Ex10.m1.6c">\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\right|\!\right|_{HS}=\sqrt{\operatorname*{\mathbb{E}}_{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 0$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 0$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 0$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 0$}\kern 0.5pt}},\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}}Q(\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{x}\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 0$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 0$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 0$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 0$}\kern 0.5pt}}};\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\bm{y}\rangle^{\mathord{\mathchoice{\kern 1.0pt\framebox{$\displaystyle 1$}\kern 1.0pt}{\kern 1.0pt\framebox{$\textstyle 1$}\kern 1.0pt}{\kern 0.7pt\framebox{$\scriptstyle 1$}\kern 0.7pt}{\kern 0.5pt\framebox{$\scriptscriptstyle 1$}\kern 0.5pt}}};\mathring{\bm{c}})^{2}}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS1.SSSx2.1.p1.11" class="ltx_p">which is finite by the Master Theorem.
Therefore <math id="A2.SS1.SSSx2.1.p1.11.m1.2" class="ltx_Math" alttext="\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}" display="inline"><semantics id="A2.SS1.SSSx2.1.p1.11.m1.2a"><mrow id="A2.SS1.SSSx2.1.p1.11.m1.2.3" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.cmml"><mi id="A2.SS1.SSSx2.1.p1.11.m1.2.3.2" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.2.cmml"></mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.11.m1.2.3.3" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.3.cmml"><mo id="A2.SS1.SSSx2.1.p1.11.m1.2.3.3a" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.3.cmml">⫿</mo></mpadded><mrow id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.cmml"><mover accent="true" id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.2" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.2.cmml">Δ</mi><mo id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.1" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.1" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.1.cmml">​</mo><mi id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.3" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.3.cmml">𝑾</mi></mrow><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.SS1.SSSx2.1.p1.11.m1.2.3.5" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.5.cmml"><mo id="A2.SS1.SSSx2.1.p1.11.m1.2.3.5a" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.5.cmml">⫿</mo></mpadded><mi id="A2.SS1.SSSx2.1.p1.11.m1.2.3.6" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.6.cmml"></mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.1.p1.11.m1.2b"><apply id="A2.SS1.SSSx2.1.p1.11.m1.2.3.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3"><and id="A2.SS1.SSSx2.1.p1.11.m1.2.3a.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3"></and><apply id="A2.SS1.SSSx2.1.p1.11.m1.2.3b.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3"><ci id="A2.SS1.SSSx2.1.p1.11.m1.2.3.3.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.3">⫿</ci><csymbol cd="latexml" id="A2.SS1.SSSx2.1.p1.11.m1.2.3.2.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.2">absent</csymbol><apply id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4"><times id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.1.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.1"></times><apply id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2"><ci id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.1.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.1">~</ci><ci id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.2.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.2.2">Δ</ci></apply><ci id="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.3.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.4.3">𝑾</ci></apply></apply><apply id="A2.SS1.SSSx2.1.p1.11.m1.2.3c.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3"><ci id="A2.SS1.SSSx2.1.p1.11.m1.2.3.5.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.5">⫿</ci><share href="#A2.SS1.SSSx2.1.p1.11.m1.2.3.4.cmml" id="A2.SS1.SSSx2.1.p1.11.m1.2.3d.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3"></share><csymbol cd="latexml" id="A2.SS1.SSSx2.1.p1.11.m1.2.3.6.cmml" xref="A2.SS1.SSSx2.1.p1.11.m1.2.3.6">absent</csymbol></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.1.p1.11.m1.2c">\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}</annotation></semantics></math> is Hilbert-Schmidt.
∎</p>
</div>
</div>
<div id="Thmproposition3" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmproposition3.1.1.1" class="ltx_text ltx_font_bold">Proposition 3</span></span><span id="Thmproposition3.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmproposition3.p1" class="ltx_para">
<p id="Thmproposition3.p1.3" class="ltx_p"><span id="Thmproposition3.p1.3.3" class="ltx_text ltx_font_italic">In <a href="#Thmproposition2" title="Proposition 2. ‣ Matrix Updates ‣ B.1 Proofs ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Proposition</span> <span class="ltx_text ltx_ref_tag">2</span></a>,
for large enough width, unless <math id="Thmproposition3.p1.1.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}=0" display="inline"><semantics id="Thmproposition3.p1.1.1.m1.1a"><mrow id="Thmproposition3.p1.1.1.m1.1.1" xref="Thmproposition3.p1.1.1.m1.1.1.cmml"><mrow id="Thmproposition3.p1.1.1.m1.1.1.2" xref="Thmproposition3.p1.1.1.m1.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmproposition3.p1.1.1.m1.1.1.2.2" xref="Thmproposition3.p1.1.1.m1.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmproposition3.p1.1.1.m1.1.1.2.1" xref="Thmproposition3.p1.1.1.m1.1.1.2.1.cmml">​</mo><mi id="Thmproposition3.p1.1.1.m1.1.1.2.3" xref="Thmproposition3.p1.1.1.m1.1.1.2.3.cmml">𝐖</mi></mrow><mo id="Thmproposition3.p1.1.1.m1.1.1.1" xref="Thmproposition3.p1.1.1.m1.1.1.1.cmml">=</mo><mn id="Thmproposition3.p1.1.1.m1.1.1.3" xref="Thmproposition3.p1.1.1.m1.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition3.p1.1.1.m1.1b"><apply id="Thmproposition3.p1.1.1.m1.1.1.cmml" xref="Thmproposition3.p1.1.1.m1.1.1"><eq id="Thmproposition3.p1.1.1.m1.1.1.1.cmml" xref="Thmproposition3.p1.1.1.m1.1.1.1"></eq><apply id="Thmproposition3.p1.1.1.m1.1.1.2.cmml" xref="Thmproposition3.p1.1.1.m1.1.1.2"><times id="Thmproposition3.p1.1.1.m1.1.1.2.1.cmml" xref="Thmproposition3.p1.1.1.m1.1.1.2.1"></times><ci id="Thmproposition3.p1.1.1.m1.1.1.2.2.cmml" xref="Thmproposition3.p1.1.1.m1.1.1.2.2">Δ</ci><ci id="Thmproposition3.p1.1.1.m1.1.1.2.3.cmml" xref="Thmproposition3.p1.1.1.m1.1.1.2.3">𝐖</ci></apply><cn type="integer" id="Thmproposition3.p1.1.1.m1.1.1.3.cmml" xref="Thmproposition3.p1.1.1.m1.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition3.p1.1.1.m1.1c">\Delta\!{\bm{W}}=0</annotation></semantics></math>, both spectral norm and Frobenius norm of <math id="Thmproposition3.p1.2.2.m2.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}/\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}" display="inline"><semantics id="Thmproposition3.p1.2.2.m2.1a"><mrow id="Thmproposition3.p1.2.2.m2.1.1" xref="Thmproposition3.p1.2.2.m2.1.1.cmml"><mrow id="Thmproposition3.p1.2.2.m2.1.1.3" xref="Thmproposition3.p1.2.2.m2.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmproposition3.p1.2.2.m2.1.1.3.2" xref="Thmproposition3.p1.2.2.m2.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmproposition3.p1.2.2.m2.1.1.3.1" xref="Thmproposition3.p1.2.2.m2.1.1.3.1.cmml">​</mo><mi id="Thmproposition3.p1.2.2.m2.1.1.3.3" xref="Thmproposition3.p1.2.2.m2.1.1.3.3.cmml">𝐖</mi></mrow><mo id="Thmproposition3.p1.2.2.m2.1.1.2" xref="Thmproposition3.p1.2.2.m2.1.1.2.cmml">/</mo><msub id="Thmproposition3.p1.2.2.m2.1.1.1" xref="Thmproposition3.p1.2.2.m2.1.1.1.cmml"><mrow id="Thmproposition3.p1.2.2.m2.1.1.1.1.1" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.2" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.2" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.1" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.1.cmml">​</mo><mi id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.3" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.3.cmml">𝐖</mi></mrow><mo stretchy="false" id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.3" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.2.1.cmml">‖</mo></mrow><mi id="Thmproposition3.p1.2.2.m2.1.1.1.3" xref="Thmproposition3.p1.2.2.m2.1.1.1.3.cmml">F</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition3.p1.2.2.m2.1b"><apply id="Thmproposition3.p1.2.2.m2.1.1.cmml" xref="Thmproposition3.p1.2.2.m2.1.1"><divide id="Thmproposition3.p1.2.2.m2.1.1.2.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.2"></divide><apply id="Thmproposition3.p1.2.2.m2.1.1.3.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.3"><times id="Thmproposition3.p1.2.2.m2.1.1.3.1.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.3.1"></times><ci id="Thmproposition3.p1.2.2.m2.1.1.3.2.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.3.2">Δ</ci><ci id="Thmproposition3.p1.2.2.m2.1.1.3.3.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.3.3">𝐖</ci></apply><apply id="Thmproposition3.p1.2.2.m2.1.1.1.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1"><csymbol cd="ambiguous" id="Thmproposition3.p1.2.2.m2.1.1.1.2.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1">subscript</csymbol><apply id="Thmproposition3.p1.2.2.m2.1.1.1.1.2.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1"><csymbol cd="latexml" id="Thmproposition3.p1.2.2.m2.1.1.1.1.2.1.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.2">norm</csymbol><apply id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1"><times id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.1.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.1"></times><ci id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.2.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.2">Δ</ci><ci id="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.3.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1.1.1.1.3">𝐖</ci></apply></apply><ci id="Thmproposition3.p1.2.2.m2.1.1.1.3.cmml" xref="Thmproposition3.p1.2.2.m2.1.1.1.3">𝐹</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition3.p1.2.2.m2.1c">\Delta\!{\bm{W}}/\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}</annotation></semantics></math> are <math id="Thmproposition3.p1.3.3.m3.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="Thmproposition3.p1.3.3.m3.1a"><mrow id="Thmproposition3.p1.3.3.m3.1.2" xref="Thmproposition3.p1.3.3.m3.1.2.cmml"><mi mathvariant="normal" id="Thmproposition3.p1.3.3.m3.1.2.2" xref="Thmproposition3.p1.3.3.m3.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmproposition3.p1.3.3.m3.1.2.1" xref="Thmproposition3.p1.3.3.m3.1.2.1.cmml">​</mo><mrow id="Thmproposition3.p1.3.3.m3.1.2.3.2" xref="Thmproposition3.p1.3.3.m3.1.2.cmml"><mo stretchy="false" id="Thmproposition3.p1.3.3.m3.1.2.3.2.1" xref="Thmproposition3.p1.3.3.m3.1.2.cmml">(</mo><mn id="Thmproposition3.p1.3.3.m3.1.1" xref="Thmproposition3.p1.3.3.m3.1.1.cmml">1</mn><mo stretchy="false" id="Thmproposition3.p1.3.3.m3.1.2.3.2.2" xref="Thmproposition3.p1.3.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition3.p1.3.3.m3.1b"><apply id="Thmproposition3.p1.3.3.m3.1.2.cmml" xref="Thmproposition3.p1.3.3.m3.1.2"><times id="Thmproposition3.p1.3.3.m3.1.2.1.cmml" xref="Thmproposition3.p1.3.3.m3.1.2.1"></times><ci id="Thmproposition3.p1.3.3.m3.1.2.2.cmml" xref="Thmproposition3.p1.3.3.m3.1.2.2">Θ</ci><cn type="integer" id="Thmproposition3.p1.3.3.m3.1.1.cmml" xref="Thmproposition3.p1.3.3.m3.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition3.p1.3.3.m3.1c">\Theta(1)</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="A2.SS1.SSSx2.p2" class="ltx_para">
<p id="A2.SS1.SSSx2.p2.1" class="ltx_p">This proposition implies <a href="#Thmlemma1" title="Lemma 1. ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Lemma</span> <span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<div id="A2.SS1.SSSx2.4" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS1.SSSx2.2.p1" class="ltx_para ltx_noindent">
<p id="A2.SS1.SSSx2.2.p1.1" class="ltx_p">This is obvious for Frobenius norm since it converges to the Hilbert-Schmidt norm of the operator limit.</p>
</div>
<div id="A2.SS1.SSSx2.3.p2" class="ltx_para ltx_noindent">
<p id="A2.SS1.SSSx2.3.p2.3" class="ltx_p">However, the spectral norm cannot be expressed directly in such form.
But, by definition of spectral norm and of the the ket space <math id="A2.SS1.SSSx2.3.p2.1.m1.1" class="ltx_Math" alttext="\mathcal{Z}" display="inline"><semantics id="A2.SS1.SSSx2.3.p2.1.m1.1a"><mi class="ltx_font_mathcaligraphic" id="A2.SS1.SSSx2.3.p2.1.m1.1.1" xref="A2.SS1.SSSx2.3.p2.1.m1.1.1.cmml">𝒵</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.3.p2.1.m1.1b"><ci id="A2.SS1.SSSx2.3.p2.1.m1.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.1.m1.1.1">𝒵</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.3.p2.1.m1.1c">\mathcal{Z}</annotation></semantics></math>, one can construct a nonzero vector <math id="A2.SS1.SSSx2.3.p2.2.m2.1" class="ltx_Math" alttext="z" display="inline"><semantics id="A2.SS1.SSSx2.3.p2.2.m2.1a"><mi id="A2.SS1.SSSx2.3.p2.2.m2.1.1" xref="A2.SS1.SSSx2.3.p2.2.m2.1.1.cmml">z</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.3.p2.2.m2.1b"><ci id="A2.SS1.SSSx2.3.p2.2.m2.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.2.m2.1.1">𝑧</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.3.p2.2.m2.1c">z</annotation></semantics></math> in an extension of the program that defined <math id="A2.SS1.SSSx2.3.p2.3.m3.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}" display="inline"><semantics id="A2.SS1.SSSx2.3.p2.3.m3.1a"><mrow id="A2.SS1.SSSx2.3.p2.3.m3.1.1" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A2.SS1.SSSx2.3.p2.3.m3.1.1.2" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.3.p2.3.m3.1.1.1" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1.1.cmml">​</mo><mi id="A2.SS1.SSSx2.3.p2.3.m3.1.1.3" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1.3.cmml">𝑾</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.3.p2.3.m3.1b"><apply id="A2.SS1.SSSx2.3.p2.3.m3.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1"><times id="A2.SS1.SSSx2.3.p2.3.m3.1.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1.1"></times><ci id="A2.SS1.SSSx2.3.p2.3.m3.1.1.2.cmml" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1.2">Δ</ci><ci id="A2.SS1.SSSx2.3.p2.3.m3.1.1.3.cmml" xref="A2.SS1.SSSx2.3.p2.3.m3.1.1.3">𝑾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.3.p2.3.m3.1c">\Delta\!{\bm{W}}</annotation></semantics></math>, such that</p>
<table id="A2.Ex11" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A2.Ex11.m1.5" class="ltx_math_unparsed" alttext="\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle\right|\!\right|=\theta\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\right|\!\right|_{*}\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle\right|\!\right|," display="block"><semantics id="A2.Ex11.m1.5a"><mrow id="A2.Ex11.m1.5b"><mrow id="A2.Ex11.m1.5.6"><mo fence="false" id="A2.Ex11.m1.5.6.1">|</mo><mo fence="false" rspace="0.167em" id="A2.Ex11.m1.5.6.2">|</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex11.m1.5.6.3"><mo id="A2.Ex11.m1.5.6.3a">⫿</mo></mpadded><mover accent="true" id="A2.Ex11.m1.5.6.4"><mi mathvariant="normal" id="A2.Ex11.m1.5.6.4.2">Δ</mi><mo id="A2.Ex11.m1.5.6.4.1">~</mo></mover><mi id="A2.Ex11.m1.5.6.5">𝑾</mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex11.m1.5.6.6"><mo id="A2.Ex11.m1.5.6.6a">⫿</mo></mpadded><mi id="A2.Ex11.m1.5.6.7">z</mi><mo stretchy="false" id="A2.Ex11.m1.5.6.8">⟩</mo></mrow><mo fence="false" id="A2.Ex11.m1.5.7">|</mo><mo fence="false" id="A2.Ex11.m1.5.8">|</mo><mo lspace="0.167em" id="A2.Ex11.m1.5.9">=</mo><mi id="A2.Ex11.m1.5.10">θ</mi><mo fence="false" id="A2.Ex11.m1.5.11">|</mo><mo fence="false" rspace="0.167em" id="A2.Ex11.m1.5.12">|</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex11.m1.5.13"><mo id="A2.Ex11.m1.5.13a">⫿</mo></mpadded><mover accent="true" id="A2.Ex11.m1.5.14"><mi mathvariant="normal" id="A2.Ex11.m1.5.14.2">Δ</mi><mo id="A2.Ex11.m1.5.14.1">~</mo></mover><mi id="A2.Ex11.m1.5.15">𝑾</mi><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex11.m1.5.16"><mo id="A2.Ex11.m1.5.16a">⫿</mo></mpadded><mo fence="false" id="A2.Ex11.m1.5.17">|</mo><msub id="A2.Ex11.m1.5.18"><mo fence="false" rspace="0.167em" id="A2.Ex11.m1.5.18.2">|</mo><mo id="A2.Ex11.m1.5.18.3">∗</mo></msub><mo fence="false" id="A2.Ex11.m1.5.19">|</mo><mo fence="false" rspace="0.167em" id="A2.Ex11.m1.5.20">|</mo><mpadded depth="2.0pt" height="7.0pt" width="7.2pt" id="A2.Ex11.m1.5.21"><mo id="A2.Ex11.m1.5.21a">⫿</mo></mpadded><mi id="A2.Ex11.m1.5.22">z</mi><mo stretchy="false" id="A2.Ex11.m1.5.23">⟩</mo><mo fence="false" id="A2.Ex11.m1.5.24">|</mo><mo fence="false" rspace="0.167em" id="A2.Ex11.m1.5.25">|</mo><mo id="A2.Ex11.m1.5.26">,</mo></mrow><annotation encoding="application/x-tex" id="A2.Ex11.m1.5c">\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle\right|\!\right|=\theta\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\widetilde{\Delta}\!{\bm{W}}\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}\right|\!\right|_{*}\left|\!\left|\mathchoice{\scalebox{0.7}[1.0]{$\displaystyle\talloblong$}}{\scalebox{0.7}[1.0]{$\textstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptstyle\talloblong$}}{\scalebox{0.7}[1.0]{$\scriptscriptstyle\talloblong$}}z\rangle\right|\!\right|,</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS1.SSSx2.3.p2.4" class="ltx_p">for some <math id="A2.SS1.SSSx2.3.p2.4.m1.2" class="ltx_Math" alttext="\theta\in(1/2,1]" display="inline"><semantics id="A2.SS1.SSSx2.3.p2.4.m1.2a"><mrow id="A2.SS1.SSSx2.3.p2.4.m1.2.2" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.cmml"><mi id="A2.SS1.SSSx2.3.p2.4.m1.2.2.3" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.3.cmml">θ</mi><mo id="A2.SS1.SSSx2.3.p2.4.m1.2.2.2" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.2.cmml">∈</mo><mrow id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.2" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.2.cmml">(</mo><mrow id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.cmml"><mn id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.2" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.2.cmml">1</mn><mo id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.1" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.1.cmml">/</mo><mn id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.3" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.3.cmml">2</mn></mrow><mo id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.3" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.2.cmml">,</mo><mn id="A2.SS1.SSSx2.3.p2.4.m1.1.1" xref="A2.SS1.SSSx2.3.p2.4.m1.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.4" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.2.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.3.p2.4.m1.2b"><apply id="A2.SS1.SSSx2.3.p2.4.m1.2.2.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2"><in id="A2.SS1.SSSx2.3.p2.4.m1.2.2.2.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.2"></in><ci id="A2.SS1.SSSx2.3.p2.4.m1.2.2.3.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.3">𝜃</ci><interval closure="open-closed" id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.2.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1"><apply id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1"><divide id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.1"></divide><cn type="integer" id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.2.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.2">1</cn><cn type="integer" id="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.3.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.2.2.1.1.1.3">2</cn></apply><cn type="integer" id="A2.SS1.SSSx2.3.p2.4.m1.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.4.m1.1.1">1</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.3.p2.4.m1.2c">\theta\in(1/2,1]</annotation></semantics></math>.<span id="footnote5" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">5</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">5</sup><span class="ltx_tag ltx_tag_note">5</span>In fact, we can pick <math id="footnote5.m1.2" class="ltx_Math" alttext="\theta\in[1-\epsilon,1]" display="inline"><semantics id="footnote5.m1.2b"><mrow id="footnote5.m1.2.2" xref="footnote5.m1.2.2.cmml"><mi id="footnote5.m1.2.2.3" xref="footnote5.m1.2.2.3.cmml">θ</mi><mo id="footnote5.m1.2.2.2" xref="footnote5.m1.2.2.2.cmml">∈</mo><mrow id="footnote5.m1.2.2.1.1" xref="footnote5.m1.2.2.1.2.cmml"><mo stretchy="false" id="footnote5.m1.2.2.1.1.2" xref="footnote5.m1.2.2.1.2.cmml">[</mo><mrow id="footnote5.m1.2.2.1.1.1" xref="footnote5.m1.2.2.1.1.1.cmml"><mn id="footnote5.m1.2.2.1.1.1.2" xref="footnote5.m1.2.2.1.1.1.2.cmml">1</mn><mo id="footnote5.m1.2.2.1.1.1.1" xref="footnote5.m1.2.2.1.1.1.1.cmml">−</mo><mi id="footnote5.m1.2.2.1.1.1.3" xref="footnote5.m1.2.2.1.1.1.3.cmml">ϵ</mi></mrow><mo id="footnote5.m1.2.2.1.1.3" xref="footnote5.m1.2.2.1.2.cmml">,</mo><mn id="footnote5.m1.1.1" xref="footnote5.m1.1.1.cmml">1</mn><mo stretchy="false" id="footnote5.m1.2.2.1.1.4" xref="footnote5.m1.2.2.1.2.cmml">]</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="footnote5.m1.2c"><apply id="footnote5.m1.2.2.cmml" xref="footnote5.m1.2.2"><in id="footnote5.m1.2.2.2.cmml" xref="footnote5.m1.2.2.2"></in><ci id="footnote5.m1.2.2.3.cmml" xref="footnote5.m1.2.2.3">𝜃</ci><interval closure="closed" id="footnote5.m1.2.2.1.2.cmml" xref="footnote5.m1.2.2.1.1"><apply id="footnote5.m1.2.2.1.1.1.cmml" xref="footnote5.m1.2.2.1.1.1"><minus id="footnote5.m1.2.2.1.1.1.1.cmml" xref="footnote5.m1.2.2.1.1.1.1"></minus><cn type="integer" id="footnote5.m1.2.2.1.1.1.2.cmml" xref="footnote5.m1.2.2.1.1.1.2">1</cn><ci id="footnote5.m1.2.2.1.1.1.3.cmml" xref="footnote5.m1.2.2.1.1.1.3">italic-ϵ</ci></apply><cn type="integer" id="footnote5.m1.1.1.cmml" xref="footnote5.m1.1.1">1</cn></interval></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote5.m1.2d">\theta\in[1-\epsilon,1]</annotation></semantics></math> for any <math id="footnote5.m2.1" class="ltx_Math" alttext="\epsilon&gt;0" display="inline"><semantics id="footnote5.m2.1b"><mrow id="footnote5.m2.1.1" xref="footnote5.m2.1.1.cmml"><mi id="footnote5.m2.1.1.2" xref="footnote5.m2.1.1.2.cmml">ϵ</mi><mo id="footnote5.m2.1.1.1" xref="footnote5.m2.1.1.1.cmml">&gt;</mo><mn id="footnote5.m2.1.1.3" xref="footnote5.m2.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="footnote5.m2.1c"><apply id="footnote5.m2.1.1.cmml" xref="footnote5.m2.1.1"><gt id="footnote5.m2.1.1.1.cmml" xref="footnote5.m2.1.1.1"></gt><ci id="footnote5.m2.1.1.2.cmml" xref="footnote5.m2.1.1.2">italic-ϵ</ci><cn type="integer" id="footnote5.m2.1.1.3.cmml" xref="footnote5.m2.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote5.m2.1d">\epsilon&gt;0</annotation></semantics></math>.</span></span></span>
This implies, by the Master Theorem, that</p>
<table id="A2.Ex12" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A2.Ex12.m1.3" class="ltx_Math" alttext="\frac{\theta}{2}\frac{\left|\!\left|\widetilde{\Delta}\!{\bm{W}}z\right|\!\right|}{\left|\!\left|z\right|\!\right|}\leq\left|\!\left|\widetilde{\Delta}\!{\bm{W}}\right|\!\right|_{*}" display="block"><semantics id="A2.Ex12.m1.3a"><mrow id="A2.Ex12.m1.3.3" xref="A2.Ex12.m1.3.3.cmml"><mrow id="A2.Ex12.m1.3.3.3" xref="A2.Ex12.m1.3.3.3.cmml"><mfrac id="A2.Ex12.m1.3.3.3.2" xref="A2.Ex12.m1.3.3.3.2.cmml"><mi id="A2.Ex12.m1.3.3.3.2.2" xref="A2.Ex12.m1.3.3.3.2.2.cmml">θ</mi><mn id="A2.Ex12.m1.3.3.3.2.3" xref="A2.Ex12.m1.3.3.3.2.3.cmml">2</mn></mfrac><mo lspace="0em" rspace="0em" id="A2.Ex12.m1.3.3.3.1" xref="A2.Ex12.m1.3.3.3.1.cmml">​</mo><mfrac id="A2.Ex12.m1.2.2" xref="A2.Ex12.m1.2.2.cmml"><mrow id="A2.Ex12.m1.1.1.1.1" xref="A2.Ex12.m1.1.1.1.2.cmml"><mo stretchy="false" id="A2.Ex12.m1.1.1.1.1.2" xref="A2.Ex12.m1.1.1.1.2.1.cmml">‖</mo><mrow id="A2.Ex12.m1.1.1.1.1.1" xref="A2.Ex12.m1.1.1.1.1.1.cmml"><mover accent="true" id="A2.Ex12.m1.1.1.1.1.1.2" xref="A2.Ex12.m1.1.1.1.1.1.2.cmml"><mi mathvariant="normal" id="A2.Ex12.m1.1.1.1.1.1.2.2" xref="A2.Ex12.m1.1.1.1.1.1.2.2.cmml">Δ</mi><mo id="A2.Ex12.m1.1.1.1.1.1.2.1" xref="A2.Ex12.m1.1.1.1.1.1.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.Ex12.m1.1.1.1.1.1.1" xref="A2.Ex12.m1.1.1.1.1.1.1.cmml">​</mo><mi id="A2.Ex12.m1.1.1.1.1.1.3" xref="A2.Ex12.m1.1.1.1.1.1.3.cmml">𝑾</mi><mo lspace="0em" rspace="0em" id="A2.Ex12.m1.1.1.1.1.1.1a" xref="A2.Ex12.m1.1.1.1.1.1.1.cmml">​</mo><mi id="A2.Ex12.m1.1.1.1.1.1.4" xref="A2.Ex12.m1.1.1.1.1.1.4.cmml">z</mi></mrow><mo stretchy="false" id="A2.Ex12.m1.1.1.1.1.3" xref="A2.Ex12.m1.1.1.1.2.1.cmml">‖</mo></mrow><mrow id="A2.Ex12.m1.2.2.2.3" xref="A2.Ex12.m1.2.2.2.2.cmml"><mo stretchy="false" id="A2.Ex12.m1.2.2.2.3.1" xref="A2.Ex12.m1.2.2.2.2.1.cmml">‖</mo><mi id="A2.Ex12.m1.2.2.2.1" xref="A2.Ex12.m1.2.2.2.1.cmml">z</mi><mo stretchy="false" id="A2.Ex12.m1.2.2.2.3.2" xref="A2.Ex12.m1.2.2.2.2.1.cmml">‖</mo></mrow></mfrac></mrow><mo id="A2.Ex12.m1.3.3.2" xref="A2.Ex12.m1.3.3.2.cmml">≤</mo><msub id="A2.Ex12.m1.3.3.1" xref="A2.Ex12.m1.3.3.1.cmml"><mrow id="A2.Ex12.m1.3.3.1.1.1" xref="A2.Ex12.m1.3.3.1.1.2.cmml"><mo stretchy="false" id="A2.Ex12.m1.3.3.1.1.1.2" xref="A2.Ex12.m1.3.3.1.1.2.1.cmml">‖</mo><mrow id="A2.Ex12.m1.3.3.1.1.1.1" xref="A2.Ex12.m1.3.3.1.1.1.1.cmml"><mover accent="true" id="A2.Ex12.m1.3.3.1.1.1.1.2" xref="A2.Ex12.m1.3.3.1.1.1.1.2.cmml"><mi mathvariant="normal" id="A2.Ex12.m1.3.3.1.1.1.1.2.2" xref="A2.Ex12.m1.3.3.1.1.1.1.2.2.cmml">Δ</mi><mo id="A2.Ex12.m1.3.3.1.1.1.1.2.1" xref="A2.Ex12.m1.3.3.1.1.1.1.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="A2.Ex12.m1.3.3.1.1.1.1.1" xref="A2.Ex12.m1.3.3.1.1.1.1.1.cmml">​</mo><mi id="A2.Ex12.m1.3.3.1.1.1.1.3" xref="A2.Ex12.m1.3.3.1.1.1.1.3.cmml">𝑾</mi></mrow><mo stretchy="false" id="A2.Ex12.m1.3.3.1.1.1.3" xref="A2.Ex12.m1.3.3.1.1.2.1.cmml">‖</mo></mrow><mo id="A2.Ex12.m1.3.3.1.3" xref="A2.Ex12.m1.3.3.1.3.cmml">∗</mo></msub></mrow><annotation-xml encoding="MathML-Content" id="A2.Ex12.m1.3b"><apply id="A2.Ex12.m1.3.3.cmml" xref="A2.Ex12.m1.3.3"><leq id="A2.Ex12.m1.3.3.2.cmml" xref="A2.Ex12.m1.3.3.2"></leq><apply id="A2.Ex12.m1.3.3.3.cmml" xref="A2.Ex12.m1.3.3.3"><times id="A2.Ex12.m1.3.3.3.1.cmml" xref="A2.Ex12.m1.3.3.3.1"></times><apply id="A2.Ex12.m1.3.3.3.2.cmml" xref="A2.Ex12.m1.3.3.3.2"><divide id="A2.Ex12.m1.3.3.3.2.1.cmml" xref="A2.Ex12.m1.3.3.3.2"></divide><ci id="A2.Ex12.m1.3.3.3.2.2.cmml" xref="A2.Ex12.m1.3.3.3.2.2">𝜃</ci><cn type="integer" id="A2.Ex12.m1.3.3.3.2.3.cmml" xref="A2.Ex12.m1.3.3.3.2.3">2</cn></apply><apply id="A2.Ex12.m1.2.2.cmml" xref="A2.Ex12.m1.2.2"><divide id="A2.Ex12.m1.2.2.3.cmml" xref="A2.Ex12.m1.2.2"></divide><apply id="A2.Ex12.m1.1.1.1.2.cmml" xref="A2.Ex12.m1.1.1.1.1"><csymbol cd="latexml" id="A2.Ex12.m1.1.1.1.2.1.cmml" xref="A2.Ex12.m1.1.1.1.1.2">norm</csymbol><apply id="A2.Ex12.m1.1.1.1.1.1.cmml" xref="A2.Ex12.m1.1.1.1.1.1"><times id="A2.Ex12.m1.1.1.1.1.1.1.cmml" xref="A2.Ex12.m1.1.1.1.1.1.1"></times><apply id="A2.Ex12.m1.1.1.1.1.1.2.cmml" xref="A2.Ex12.m1.1.1.1.1.1.2"><ci id="A2.Ex12.m1.1.1.1.1.1.2.1.cmml" xref="A2.Ex12.m1.1.1.1.1.1.2.1">~</ci><ci id="A2.Ex12.m1.1.1.1.1.1.2.2.cmml" xref="A2.Ex12.m1.1.1.1.1.1.2.2">Δ</ci></apply><ci id="A2.Ex12.m1.1.1.1.1.1.3.cmml" xref="A2.Ex12.m1.1.1.1.1.1.3">𝑾</ci><ci id="A2.Ex12.m1.1.1.1.1.1.4.cmml" xref="A2.Ex12.m1.1.1.1.1.1.4">𝑧</ci></apply></apply><apply id="A2.Ex12.m1.2.2.2.2.cmml" xref="A2.Ex12.m1.2.2.2.3"><csymbol cd="latexml" id="A2.Ex12.m1.2.2.2.2.1.cmml" xref="A2.Ex12.m1.2.2.2.3.1">norm</csymbol><ci id="A2.Ex12.m1.2.2.2.1.cmml" xref="A2.Ex12.m1.2.2.2.1">𝑧</ci></apply></apply></apply><apply id="A2.Ex12.m1.3.3.1.cmml" xref="A2.Ex12.m1.3.3.1"><csymbol cd="ambiguous" id="A2.Ex12.m1.3.3.1.2.cmml" xref="A2.Ex12.m1.3.3.1">subscript</csymbol><apply id="A2.Ex12.m1.3.3.1.1.2.cmml" xref="A2.Ex12.m1.3.3.1.1.1"><csymbol cd="latexml" id="A2.Ex12.m1.3.3.1.1.2.1.cmml" xref="A2.Ex12.m1.3.3.1.1.1.2">norm</csymbol><apply id="A2.Ex12.m1.3.3.1.1.1.1.cmml" xref="A2.Ex12.m1.3.3.1.1.1.1"><times id="A2.Ex12.m1.3.3.1.1.1.1.1.cmml" xref="A2.Ex12.m1.3.3.1.1.1.1.1"></times><apply id="A2.Ex12.m1.3.3.1.1.1.1.2.cmml" xref="A2.Ex12.m1.3.3.1.1.1.1.2"><ci id="A2.Ex12.m1.3.3.1.1.1.1.2.1.cmml" xref="A2.Ex12.m1.3.3.1.1.1.1.2.1">~</ci><ci id="A2.Ex12.m1.3.3.1.1.1.1.2.2.cmml" xref="A2.Ex12.m1.3.3.1.1.1.1.2.2">Δ</ci></apply><ci id="A2.Ex12.m1.3.3.1.1.1.1.3.cmml" xref="A2.Ex12.m1.3.3.1.1.1.1.3">𝑾</ci></apply></apply><times id="A2.Ex12.m1.3.3.1.3.cmml" xref="A2.Ex12.m1.3.3.1.3"></times></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.Ex12.m1.3c">\frac{\theta}{2}\frac{\left|\!\left|\widetilde{\Delta}\!{\bm{W}}z\right|\!\right|}{\left|\!\left|z\right|\!\right|}\leq\left|\!\left|\widetilde{\Delta}\!{\bm{W}}\right|\!\right|_{*}</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
</tr></tbody>
</table>
<p id="A2.SS1.SSSx2.3.p2.5" class="ltx_p">for sufficiently large width.
The LHS is <math id="A2.SS1.SSSx2.3.p2.5.m1.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A2.SS1.SSSx2.3.p2.5.m1.1a"><mrow id="A2.SS1.SSSx2.3.p2.5.m1.1.2" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.3.p2.5.m1.1.2.2" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.3.p2.5.m1.1.2.1" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.3.p2.5.m1.1.2.3.2" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.3.p2.5.m1.1.2.3.2.1" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.3.p2.5.m1.1.1" xref="A2.SS1.SSSx2.3.p2.5.m1.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.3.p2.5.m1.1.2.3.2.2" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.3.p2.5.m1.1b"><apply id="A2.SS1.SSSx2.3.p2.5.m1.1.2.cmml" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2"><times id="A2.SS1.SSSx2.3.p2.5.m1.1.2.1.cmml" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.1"></times><ci id="A2.SS1.SSSx2.3.p2.5.m1.1.2.2.cmml" xref="A2.SS1.SSSx2.3.p2.5.m1.1.2.2">Θ</ci><cn type="integer" id="A2.SS1.SSSx2.3.p2.5.m1.1.1.cmml" xref="A2.SS1.SSSx2.3.p2.5.m1.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.3.p2.5.m1.1c">\Theta(1)</annotation></semantics></math>, so we are done.</p>
</div>
<div id="A2.SS1.SSSx2.4.p3" class="ltx_para">
<p id="A2.SS1.SSSx2.4.p3.1" class="ltx_p">∎</p>
</div>
</div>
<div id="Thmproposition4" class="ltx_theorem ltx_theorem_proposition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmproposition4.1.1.1" class="ltx_text ltx_font_bold">Proposition 4</span></span><span id="Thmproposition4.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmproposition4.p1" class="ltx_para">
<p id="Thmproposition4.p1.5" class="ltx_p"><span id="Thmproposition4.p1.5.5" class="ltx_text ltx_font_italic">In <math id="Thmproposition4.p1.1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="Thmproposition4.p1.1.1.m1.1a"><mi id="Thmproposition4.p1.1.1.m1.1.1" xref="Thmproposition4.p1.1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="Thmproposition4.p1.1.1.m1.1b"><ci id="Thmproposition4.p1.1.1.m1.1.1.cmml" xref="Thmproposition4.p1.1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition4.p1.1.1.m1.1c">\mu</annotation></semantics></math>P,
at any fixed time during training, as width <math id="Thmproposition4.p1.2.2.m2.1" class="ltx_Math" alttext="\to\infty" display="inline"><semantics id="Thmproposition4.p1.2.2.m2.1a"><mrow id="Thmproposition4.p1.2.2.m2.1.1" xref="Thmproposition4.p1.2.2.m2.1.1.cmml"><mi id="Thmproposition4.p1.2.2.m2.1.1.2" xref="Thmproposition4.p1.2.2.m2.1.1.2.cmml"></mi><mo stretchy="false" id="Thmproposition4.p1.2.2.m2.1.1.1" xref="Thmproposition4.p1.2.2.m2.1.1.1.cmml">→</mo><mi mathvariant="normal" id="Thmproposition4.p1.2.2.m2.1.1.3" xref="Thmproposition4.p1.2.2.m2.1.1.3.cmml">∞</mi></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition4.p1.2.2.m2.1b"><apply id="Thmproposition4.p1.2.2.m2.1.1.cmml" xref="Thmproposition4.p1.2.2.m2.1.1"><ci id="Thmproposition4.p1.2.2.m2.1.1.1.cmml" xref="Thmproposition4.p1.2.2.m2.1.1.1">→</ci><csymbol cd="latexml" id="Thmproposition4.p1.2.2.m2.1.1.2.cmml" xref="Thmproposition4.p1.2.2.m2.1.1.2">absent</csymbol><infinity id="Thmproposition4.p1.2.2.m2.1.1.3.cmml" xref="Thmproposition4.p1.2.2.m2.1.1.3"></infinity></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition4.p1.2.2.m2.1c">\to\infty</annotation></semantics></math>, any matrix parameter <math id="Thmproposition4.p1.3.3.m3.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="Thmproposition4.p1.3.3.m3.1a"><mi id="Thmproposition4.p1.3.3.m3.1.1" xref="Thmproposition4.p1.3.3.m3.1.1.cmml">𝐖</mi><annotation-xml encoding="MathML-Content" id="Thmproposition4.p1.3.3.m3.1b"><ci id="Thmproposition4.p1.3.3.m3.1.1.cmml" xref="Thmproposition4.p1.3.3.m3.1.1">𝐖</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition4.p1.3.3.m3.1c">{\bm{W}}</annotation></semantics></math> has spectral norm <math id="Thmproposition4.p1.4.4.m4.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="Thmproposition4.p1.4.4.m4.1a"><mrow id="Thmproposition4.p1.4.4.m4.1.2" xref="Thmproposition4.p1.4.4.m4.1.2.cmml"><mi mathvariant="normal" id="Thmproposition4.p1.4.4.m4.1.2.2" xref="Thmproposition4.p1.4.4.m4.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmproposition4.p1.4.4.m4.1.2.1" xref="Thmproposition4.p1.4.4.m4.1.2.1.cmml">​</mo><mrow id="Thmproposition4.p1.4.4.m4.1.2.3.2" xref="Thmproposition4.p1.4.4.m4.1.2.cmml"><mo stretchy="false" id="Thmproposition4.p1.4.4.m4.1.2.3.2.1" xref="Thmproposition4.p1.4.4.m4.1.2.cmml">(</mo><mn id="Thmproposition4.p1.4.4.m4.1.1" xref="Thmproposition4.p1.4.4.m4.1.1.cmml">1</mn><mo stretchy="false" id="Thmproposition4.p1.4.4.m4.1.2.3.2.2" xref="Thmproposition4.p1.4.4.m4.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition4.p1.4.4.m4.1b"><apply id="Thmproposition4.p1.4.4.m4.1.2.cmml" xref="Thmproposition4.p1.4.4.m4.1.2"><times id="Thmproposition4.p1.4.4.m4.1.2.1.cmml" xref="Thmproposition4.p1.4.4.m4.1.2.1"></times><ci id="Thmproposition4.p1.4.4.m4.1.2.2.cmml" xref="Thmproposition4.p1.4.4.m4.1.2.2">Θ</ci><cn type="integer" id="Thmproposition4.p1.4.4.m4.1.1.cmml" xref="Thmproposition4.p1.4.4.m4.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition4.p1.4.4.m4.1c">\Theta(1)</annotation></semantics></math> and Frobenius norm <math id="Thmproposition4.p1.5.5.m5.1" class="ltx_Math" alttext="\Theta(\sqrt{0}pt)" display="inline"><semantics id="Thmproposition4.p1.5.5.m5.1a"><mrow id="Thmproposition4.p1.5.5.m5.1.1" xref="Thmproposition4.p1.5.5.m5.1.1.cmml"><mi mathvariant="normal" id="Thmproposition4.p1.5.5.m5.1.1.3" xref="Thmproposition4.p1.5.5.m5.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmproposition4.p1.5.5.m5.1.1.2" xref="Thmproposition4.p1.5.5.m5.1.1.2.cmml">​</mo><mrow id="Thmproposition4.p1.5.5.m5.1.1.1.1" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmproposition4.p1.5.5.m5.1.1.1.1.2" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.cmml">(</mo><mrow id="Thmproposition4.p1.5.5.m5.1.1.1.1.1" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.cmml"><msqrt id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2.cmml"><mn id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2.2" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2.2.cmml">0</mn></msqrt><mo lspace="0em" rspace="0em" id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.1" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.1.cmml">​</mo><mi id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.3" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.1a" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.1.cmml">​</mo><mi id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.4" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="Thmproposition4.p1.5.5.m5.1.1.1.1.3" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmproposition4.p1.5.5.m5.1b"><apply id="Thmproposition4.p1.5.5.m5.1.1.cmml" xref="Thmproposition4.p1.5.5.m5.1.1"><times id="Thmproposition4.p1.5.5.m5.1.1.2.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.2"></times><ci id="Thmproposition4.p1.5.5.m5.1.1.3.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.3">Θ</ci><apply id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.1.1"><times id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.1.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.1"></times><apply id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2"><root id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2a.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2"></root><cn type="integer" id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2.2.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.2.2">0</cn></apply><ci id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.3.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.3">𝑝</ci><ci id="Thmproposition4.p1.5.5.m5.1.1.1.1.1.4.cmml" xref="Thmproposition4.p1.5.5.m5.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmproposition4.p1.5.5.m5.1c">\Theta(\sqrt{0}pt)</annotation></semantics></math>.</span></p>
</div>
</div>
<div id="A2.SS1.SSSx2.6" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS1.SSSx2.5.p1" class="ltx_para ltx_noindent">
<p id="A2.SS1.SSSx2.5.p1.4" class="ltx_p">In <math id="A2.SS1.SSSx2.5.p1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A2.SS1.SSSx2.5.p1.1.m1.1a"><mi id="A2.SS1.SSSx2.5.p1.1.m1.1.1" xref="A2.SS1.SSSx2.5.p1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.5.p1.1.m1.1b"><ci id="A2.SS1.SSSx2.5.p1.1.m1.1.1.cmml" xref="A2.SS1.SSSx2.5.p1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.5.p1.1.m1.1c">\mu</annotation></semantics></math>P, it’s trivial to see that <math id="A2.SS1.SSSx2.5.p1.2.m2.2" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}=\Theta(1)" display="inline"><semantics id="A2.SS1.SSSx2.5.p1.2.m2.2a"><mrow id="A2.SS1.SSSx2.5.p1.2.m2.2.2" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.cmml"><msub id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.cmml"><mrow id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.2" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.2.1.cmml">‖</mo><mrow id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.2" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.1" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.1.cmml">​</mo><mi id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.3" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.3.cmml">𝑾</mi></mrow><mo stretchy="false" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.3" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.2.1.cmml">‖</mo></mrow><mi id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.3" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.3.cmml">F</mi></msub><mo id="A2.SS1.SSSx2.5.p1.2.m2.2.2.2" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.2.cmml">=</mo><mrow id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.2" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.1" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.3.2" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.3.2.1" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.cmml">(</mo><mn id="A2.SS1.SSSx2.5.p1.2.m2.1.1" xref="A2.SS1.SSSx2.5.p1.2.m2.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.3.2.2" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.5.p1.2.m2.2b"><apply id="A2.SS1.SSSx2.5.p1.2.m2.2.2.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2"><eq id="A2.SS1.SSSx2.5.p1.2.m2.2.2.2.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.2"></eq><apply id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1"><csymbol cd="ambiguous" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.2.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1">subscript</csymbol><apply id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.2.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1"><csymbol cd="latexml" id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.2.1.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.2">norm</csymbol><apply id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1"><times id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.1.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.1"></times><ci id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.2.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.2">Δ</ci><ci id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.3.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.1.1.1.3">𝑾</ci></apply></apply><ci id="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.3.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.1.3">𝐹</ci></apply><apply id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3"><times id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.1.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.1"></times><ci id="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.2.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.2.2.3.2">Θ</ci><cn type="integer" id="A2.SS1.SSSx2.5.p1.2.m2.1.1.cmml" xref="A2.SS1.SSSx2.5.p1.2.m2.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.5.p1.2.m2.2c">\left|\!\left|\Delta\!{\bm{W}}\right|\!\right|_{F}=\Theta(1)</annotation></semantics></math>.
So any nonzero <math id="A2.SS1.SSSx2.5.p1.3.m3.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}" display="inline"><semantics id="A2.SS1.SSSx2.5.p1.3.m3.1a"><mrow id="A2.SS1.SSSx2.5.p1.3.m3.1.1" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A2.SS1.SSSx2.5.p1.3.m3.1.1.2" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.5.p1.3.m3.1.1.1" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1.1.cmml">​</mo><mi id="A2.SS1.SSSx2.5.p1.3.m3.1.1.3" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1.3.cmml">𝑾</mi></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.5.p1.3.m3.1b"><apply id="A2.SS1.SSSx2.5.p1.3.m3.1.1.cmml" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1"><times id="A2.SS1.SSSx2.5.p1.3.m3.1.1.1.cmml" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1.1"></times><ci id="A2.SS1.SSSx2.5.p1.3.m3.1.1.2.cmml" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1.2">Δ</ci><ci id="A2.SS1.SSSx2.5.p1.3.m3.1.1.3.cmml" xref="A2.SS1.SSSx2.5.p1.3.m3.1.1.3">𝑾</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.5.p1.3.m3.1c">\Delta\!{\bm{W}}</annotation></semantics></math> (at any point of training) has both spectral norm and Frobenius norm <math id="A2.SS1.SSSx2.5.p1.4.m4.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A2.SS1.SSSx2.5.p1.4.m4.1a"><mrow id="A2.SS1.SSSx2.5.p1.4.m4.1.2" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.5.p1.4.m4.1.2.2" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.5.p1.4.m4.1.2.1" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.5.p1.4.m4.1.2.3.2" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.5.p1.4.m4.1.2.3.2.1" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.5.p1.4.m4.1.1" xref="A2.SS1.SSSx2.5.p1.4.m4.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.5.p1.4.m4.1.2.3.2.2" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.5.p1.4.m4.1b"><apply id="A2.SS1.SSSx2.5.p1.4.m4.1.2.cmml" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2"><times id="A2.SS1.SSSx2.5.p1.4.m4.1.2.1.cmml" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.1"></times><ci id="A2.SS1.SSSx2.5.p1.4.m4.1.2.2.cmml" xref="A2.SS1.SSSx2.5.p1.4.m4.1.2.2">Θ</ci><cn type="integer" id="A2.SS1.SSSx2.5.p1.4.m4.1.1.cmml" xref="A2.SS1.SSSx2.5.p1.4.m4.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.5.p1.4.m4.1c">\Theta(1)</annotation></semantics></math> by the above.</p>
</div>
<div id="A2.SS1.SSSx2.6.p2" class="ltx_para">
<p id="A2.SS1.SSSx2.6.p2.8" class="ltx_p">Simple calculation then shows that <math id="A2.SS1.SSSx2.6.p2.1.m1.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.1.m1.1a"><mi id="A2.SS1.SSSx2.6.p2.1.m1.1.1" xref="A2.SS1.SSSx2.6.p2.1.m1.1.1.cmml">𝑾</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.1.m1.1b"><ci id="A2.SS1.SSSx2.6.p2.1.m1.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.1.m1.1.1">𝑾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.1.m1.1c">{\bm{W}}</annotation></semantics></math> at any fixed time has <math id="A2.SS1.SSSx2.6.p2.2.m2.1" class="ltx_Math" alttext="\Theta(\sqrt{0}pt)" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.2.m2.1a"><mrow id="A2.SS1.SSSx2.6.p2.2.m2.1.1" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.6.p2.2.m2.1.1.3" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.6.p2.2.m2.1.1.2" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.2.cmml">​</mo><mrow id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.2" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.cmml">(</mo><mrow id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.cmml"><msqrt id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2.cmml"><mn id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2.2" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2.2.cmml">0</mn></msqrt><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.1" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.3" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.1a" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.1.cmml">​</mo><mi id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.4" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.4.cmml">t</mi></mrow><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.3" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.2.m2.1b"><apply id="A2.SS1.SSSx2.6.p2.2.m2.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1"><times id="A2.SS1.SSSx2.6.p2.2.m2.1.1.2.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.2"></times><ci id="A2.SS1.SSSx2.6.p2.2.m2.1.1.3.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.3">Θ</ci><apply id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1"><times id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.1"></times><apply id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2"><root id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2a.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2"></root><cn type="integer" id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2.2.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.2.2">0</cn></apply><ci id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.3.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.3">𝑝</ci><ci id="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.4.cmml" xref="A2.SS1.SSSx2.6.p2.2.m2.1.1.1.1.1.4">𝑡</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.2.m2.1c">\Theta(\sqrt{0}pt)</annotation></semantics></math> since this is the case at initialization by <a href="#Thmproposition1" title="Proposition 1. ‣ Random Initialization ‣ B.1 Proofs ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Proposition</span> <span class="ltx_text ltx_ref_tag">1</span></a>.
This means the quadratic mean of the singular values of <math id="A2.SS1.SSSx2.6.p2.3.m3.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.3.m3.1a"><mi id="A2.SS1.SSSx2.6.p2.3.m3.1.1" xref="A2.SS1.SSSx2.6.p2.3.m3.1.1.cmml">𝑾</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.3.m3.1b"><ci id="A2.SS1.SSSx2.6.p2.3.m3.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.3.m3.1.1">𝑾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.3.m3.1c">{\bm{W}}</annotation></semantics></math> is <math id="A2.SS1.SSSx2.6.p2.4.m4.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.4.m4.1a"><mrow id="A2.SS1.SSSx2.6.p2.4.m4.1.2" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.6.p2.4.m4.1.2.2" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.6.p2.4.m4.1.2.1" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.6.p2.4.m4.1.2.3.2" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.4.m4.1.2.3.2.1" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.6.p2.4.m4.1.1" xref="A2.SS1.SSSx2.6.p2.4.m4.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.4.m4.1.2.3.2.2" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.4.m4.1b"><apply id="A2.SS1.SSSx2.6.p2.4.m4.1.2.cmml" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2"><times id="A2.SS1.SSSx2.6.p2.4.m4.1.2.1.cmml" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.1"></times><ci id="A2.SS1.SSSx2.6.p2.4.m4.1.2.2.cmml" xref="A2.SS1.SSSx2.6.p2.4.m4.1.2.2">Θ</ci><cn type="integer" id="A2.SS1.SSSx2.6.p2.4.m4.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.4.m4.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.4.m4.1c">\Theta(1)</annotation></semantics></math>, so its max singular value must be <math id="A2.SS1.SSSx2.6.p2.5.m5.1" class="ltx_Math" alttext="\Omega(1)" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.5.m5.1a"><mrow id="A2.SS1.SSSx2.6.p2.5.m5.1.2" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.6.p2.5.m5.1.2.2" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.2.cmml">Ω</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.6.p2.5.m5.1.2.1" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.6.p2.5.m5.1.2.3.2" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.5.m5.1.2.3.2.1" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.6.p2.5.m5.1.1" xref="A2.SS1.SSSx2.6.p2.5.m5.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.5.m5.1.2.3.2.2" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.5.m5.1b"><apply id="A2.SS1.SSSx2.6.p2.5.m5.1.2.cmml" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2"><times id="A2.SS1.SSSx2.6.p2.5.m5.1.2.1.cmml" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.1"></times><ci id="A2.SS1.SSSx2.6.p2.5.m5.1.2.2.cmml" xref="A2.SS1.SSSx2.6.p2.5.m5.1.2.2">Ω</ci><cn type="integer" id="A2.SS1.SSSx2.6.p2.5.m5.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.5.m5.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.5.m5.1c">\Omega(1)</annotation></semantics></math>.
But it furthermore must be <math id="A2.SS1.SSSx2.6.p2.6.m6.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.6.m6.1a"><mrow id="A2.SS1.SSSx2.6.p2.6.m6.1.2" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.6.p2.6.m6.1.2.2" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.6.p2.6.m6.1.2.1" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.6.p2.6.m6.1.2.3.2" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.6.m6.1.2.3.2.1" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.6.p2.6.m6.1.1" xref="A2.SS1.SSSx2.6.p2.6.m6.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.6.m6.1.2.3.2.2" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.6.m6.1b"><apply id="A2.SS1.SSSx2.6.p2.6.m6.1.2.cmml" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2"><times id="A2.SS1.SSSx2.6.p2.6.m6.1.2.1.cmml" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.1"></times><ci id="A2.SS1.SSSx2.6.p2.6.m6.1.2.2.cmml" xref="A2.SS1.SSSx2.6.p2.6.m6.1.2.2">Θ</ci><cn type="integer" id="A2.SS1.SSSx2.6.p2.6.m6.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.6.m6.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.6.m6.1c">\Theta(1)</annotation></semantics></math> because <math id="A2.SS1.SSSx2.6.p2.7.m7.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.7.m7.1a"><mi id="A2.SS1.SSSx2.6.p2.7.m7.1.1" xref="A2.SS1.SSSx2.6.p2.7.m7.1.1.cmml">𝑾</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.7.m7.1b"><ci id="A2.SS1.SSSx2.6.p2.7.m7.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.7.m7.1.1">𝑾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.7.m7.1c">{\bm{W}}</annotation></semantics></math> at initialization and all of its updates have <math id="A2.SS1.SSSx2.6.p2.8.m8.1" class="ltx_Math" alttext="O(1)" display="inline"><semantics id="A2.SS1.SSSx2.6.p2.8.m8.1a"><mrow id="A2.SS1.SSSx2.6.p2.8.m8.1.2" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.cmml"><mi id="A2.SS1.SSSx2.6.p2.8.m8.1.2.2" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.2.cmml">O</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.6.p2.8.m8.1.2.1" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.6.p2.8.m8.1.2.3.2" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.8.m8.1.2.3.2.1" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.6.p2.8.m8.1.1" xref="A2.SS1.SSSx2.6.p2.8.m8.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.6.p2.8.m8.1.2.3.2.2" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.6.p2.8.m8.1b"><apply id="A2.SS1.SSSx2.6.p2.8.m8.1.2.cmml" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2"><times id="A2.SS1.SSSx2.6.p2.8.m8.1.2.1.cmml" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.1"></times><ci id="A2.SS1.SSSx2.6.p2.8.m8.1.2.2.cmml" xref="A2.SS1.SSSx2.6.p2.8.m8.1.2.2">𝑂</ci><cn type="integer" id="A2.SS1.SSSx2.6.p2.8.m8.1.1.cmml" xref="A2.SS1.SSSx2.6.p2.8.m8.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.6.p2.8.m8.1c">O(1)</annotation></semantics></math> spectral norm.
∎</p>
</div>
</div>
<div id="Thmtheorem2" class="ltx_theorem ltx_theorem_theorem">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmtheorem2.1.1.1" class="ltx_text ltx_font_bold">Theorem 2</span></span><span id="Thmtheorem2.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmtheorem2.p1" class="ltx_para">
<p id="Thmtheorem2.p1.2" class="ltx_p"><span id="Thmtheorem2.p1.2.2" class="ltx_text ltx_font_italic">In <math id="Thmtheorem2.p1.1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="Thmtheorem2.p1.1.1.m1.1a"><mi id="Thmtheorem2.p1.1.1.m1.1.1" xref="Thmtheorem2.p1.1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="Thmtheorem2.p1.1.1.m1.1b"><ci id="Thmtheorem2.p1.1.1.m1.1.1.cmml" xref="Thmtheorem2.p1.1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmtheorem2.p1.1.1.m1.1c">\mu</annotation></semantics></math>P, for all but a measure-zero set of learning rates, <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:{cond:scaling}</span> is satisfied at any time during training for sufficiently large width.
<math id="Thmtheorem2.p1.2.2.m2.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="Thmtheorem2.p1.2.2.m2.1a"><mi id="Thmtheorem2.p1.2.2.m2.1.1" xref="Thmtheorem2.p1.2.2.m2.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="Thmtheorem2.p1.2.2.m2.1b"><ci id="Thmtheorem2.p1.2.2.m2.1.1.cmml" xref="Thmtheorem2.p1.2.2.m2.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmtheorem2.p1.2.2.m2.1c">\mu</annotation></semantics></math>P is the unique stable and faithful abcd-parametrization with this property.</span></p>
</div>
</div>
<div id="A2.SS1.SSSx2.8" class="ltx_proof">
<h6 class="ltx_title ltx_runin ltx_font_italic ltx_title_proof">Proof.</h6>
<div id="A2.SS1.SSSx2.7.p1" class="ltx_para ltx_noindent">
<p id="A2.SS1.SSSx2.7.p1.6" class="ltx_p">In <math id="A2.SS1.SSSx2.7.p1.1.m1.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A2.SS1.SSSx2.7.p1.1.m1.1a"><mi id="A2.SS1.SSSx2.7.p1.1.m1.1.1" xref="A2.SS1.SSSx2.7.p1.1.m1.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.7.p1.1.m1.1b"><ci id="A2.SS1.SSSx2.7.p1.1.m1.1.1.cmml" xref="A2.SS1.SSSx2.7.p1.1.m1.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.7.p1.1.m1.1c">\mu</annotation></semantics></math>P,
by <a href="#Thmproposition4" title="Proposition 4. ‣ Matrix Updates ‣ B.1 Proofs ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Proposition</span> <span class="ltx_text ltx_ref_tag">4</span></a>, all matrix parameters satisfy <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:{cond:scaling}</span> no matter what the learning rate is.
However, for vector parameters, it’s possible for some specific learning rate to cause the weights to vanish after an update, but at most a (Lebesgue) measure-zero set of learning rates will cause this to happen.
Assuming this vanishing does not happen, <math id="A2.SS1.SSSx2.7.p1.2.m2.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="A2.SS1.SSSx2.7.p1.2.m2.1a"><mi id="A2.SS1.SSSx2.7.p1.2.m2.1.1" xref="A2.SS1.SSSx2.7.p1.2.m2.1.1.cmml">𝑾</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.7.p1.2.m2.1b"><ci id="A2.SS1.SSSx2.7.p1.2.m2.1.1.cmml" xref="A2.SS1.SSSx2.7.p1.2.m2.1.1">𝑾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.7.p1.2.m2.1c">{\bm{W}}</annotation></semantics></math> has <math id="A2.SS1.SSSx2.7.p1.3.m3.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A2.SS1.SSSx2.7.p1.3.m3.1a"><mrow id="A2.SS1.SSSx2.7.p1.3.m3.1.2" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.7.p1.3.m3.1.2.2" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.7.p1.3.m3.1.2.1" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.7.p1.3.m3.1.2.3.2" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.7.p1.3.m3.1.2.3.2.1" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.7.p1.3.m3.1.1" xref="A2.SS1.SSSx2.7.p1.3.m3.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.7.p1.3.m3.1.2.3.2.2" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.7.p1.3.m3.1b"><apply id="A2.SS1.SSSx2.7.p1.3.m3.1.2.cmml" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2"><times id="A2.SS1.SSSx2.7.p1.3.m3.1.2.1.cmml" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.1"></times><ci id="A2.SS1.SSSx2.7.p1.3.m3.1.2.2.cmml" xref="A2.SS1.SSSx2.7.p1.3.m3.1.2.2">Θ</ci><cn type="integer" id="A2.SS1.SSSx2.7.p1.3.m3.1.1.cmml" xref="A2.SS1.SSSx2.7.p1.3.m3.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.7.p1.3.m3.1c">\Theta(1)</annotation></semantics></math> Frobenius norm at initialization and at all times during training.
By <a href="#Thmproposition3" title="Proposition 3. ‣ Matrix Updates ‣ B.1 Proofs ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Proposition</span> <span class="ltx_text ltx_ref_tag">3</span></a>, <math id="A2.SS1.SSSx2.7.p1.4.m4.1" class="ltx_Math" alttext="{\bm{W}}" display="inline"><semantics id="A2.SS1.SSSx2.7.p1.4.m4.1a"><mi id="A2.SS1.SSSx2.7.p1.4.m4.1.1" xref="A2.SS1.SSSx2.7.p1.4.m4.1.1.cmml">𝑾</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.7.p1.4.m4.1b"><ci id="A2.SS1.SSSx2.7.p1.4.m4.1.1.cmml" xref="A2.SS1.SSSx2.7.p1.4.m4.1.1">𝑾</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.7.p1.4.m4.1c">{\bm{W}}</annotation></semantics></math> also has <math id="A2.SS1.SSSx2.7.p1.5.m5.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A2.SS1.SSSx2.7.p1.5.m5.1a"><mrow id="A2.SS1.SSSx2.7.p1.5.m5.1.2" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.cmml"><mi mathvariant="normal" id="A2.SS1.SSSx2.7.p1.5.m5.1.2.2" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A2.SS1.SSSx2.7.p1.5.m5.1.2.1" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.1.cmml">​</mo><mrow id="A2.SS1.SSSx2.7.p1.5.m5.1.2.3.2" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.cmml"><mo stretchy="false" id="A2.SS1.SSSx2.7.p1.5.m5.1.2.3.2.1" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.cmml">(</mo><mn id="A2.SS1.SSSx2.7.p1.5.m5.1.1" xref="A2.SS1.SSSx2.7.p1.5.m5.1.1.cmml">1</mn><mo stretchy="false" id="A2.SS1.SSSx2.7.p1.5.m5.1.2.3.2.2" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.7.p1.5.m5.1b"><apply id="A2.SS1.SSSx2.7.p1.5.m5.1.2.cmml" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2"><times id="A2.SS1.SSSx2.7.p1.5.m5.1.2.1.cmml" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.1"></times><ci id="A2.SS1.SSSx2.7.p1.5.m5.1.2.2.cmml" xref="A2.SS1.SSSx2.7.p1.5.m5.1.2.2">Θ</ci><cn type="integer" id="A2.SS1.SSSx2.7.p1.5.m5.1.1.cmml" xref="A2.SS1.SSSx2.7.p1.5.m5.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.7.p1.5.m5.1c">\Theta(1)</annotation></semantics></math> spectral norm, so <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:{cond:scaling}</span> is satisfied.
A similar but easier argument applies to all scalar parameters.
This shows <math id="A2.SS1.SSSx2.7.p1.6.m6.1" class="ltx_Math" alttext="\mu" display="inline"><semantics id="A2.SS1.SSSx2.7.p1.6.m6.1a"><mi id="A2.SS1.SSSx2.7.p1.6.m6.1.1" xref="A2.SS1.SSSx2.7.p1.6.m6.1.1.cmml">μ</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.7.p1.6.m6.1b"><ci id="A2.SS1.SSSx2.7.p1.6.m6.1.1.cmml" xref="A2.SS1.SSSx2.7.p1.6.m6.1.1">𝜇</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.7.p1.6.m6.1c">\mu</annotation></semantics></math>P satisfies <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:{cond:scaling}</span>.</p>
</div>
<div id="A2.SS1.SSSx2.8.p2" class="ltx_para">
<p id="A2.SS1.SSSx2.8.p2.1" class="ltx_p">Since any other stable and faithful parametrization essentially just rescales the initialization and the update, we see that no other parametrization can satisfy <span class="ltx_ref ltx_missing_label ltx_ref_self">LABEL:{cond:scaling}</span>.∎</p>
</div>
</div>
<div id="A2.SS1.SSSx2.p3" class="ltx_para ltx_noindent">
<p id="A2.SS1.SSSx2.p3.1" class="ltx_p">For SGD, all abc-parametrizations are equivalent to a faithful abcd-parametrization because <math id="A2.SS1.SSSx2.p3.1.m1.1" class="ltx_Math" alttext="Q" display="inline"><semantics id="A2.SS1.SSSx2.p3.1.m1.1a"><mi id="A2.SS1.SSSx2.p3.1.m1.1.1" xref="A2.SS1.SSSx2.p3.1.m1.1.1.cmml">Q</mi><annotation-xml encoding="MathML-Content" id="A2.SS1.SSSx2.p3.1.m1.1b"><ci id="A2.SS1.SSSx2.p3.1.m1.1.1.cmml" xref="A2.SS1.SSSx2.p3.1.m1.1.1">𝑄</ci></annotation-xml><annotation encoding="application/x-tex" id="A2.SS1.SSSx2.p3.1.m1.1c">Q</annotation></semantics></math> is identity, so <a href="#Thmtheorem2" title="Theorem 2. ‣ Matrix Updates ‣ B.1 Proofs ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Theorem</span> <span class="ltx_text ltx_ref_tag">2</span></a> recovers <a href="#Thmtheorem1" title="Theorem 1. ‣ Appendix B Tensor programs theory ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Theorem</span> <span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
</section>
</section>
</section>
<section id="A3" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix C </span>Empirical checks of <a href="#Thmassumption1" title="Assumption 1. ‣ 3.2.1 Additional gradient steps ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, <a href="#Thmassumption2" title="Assumption 2. ‣ 3.2.2 Nonlinearities ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> and <a href="#Thmassumption3" title="Assumption 3. ‣ 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a>
</h2>

<div id="A3.p1" class="ltx_para ltx_noindent">
<p id="A3.p1.1" class="ltx_p">In <a href="#S3" title="3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Section</span> <span class="ltx_text ltx_ref_tag">3</span></a>, we first illustrated how <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> satisfies <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> in a minimal model—a deep linear network trained for one step on one sample—and then iteratively extended our argument to multiple steps, nonlinearities, and multiple samples.
Each extension came with a mild assumption.
These assumptions are intended to be natural conditions one expects from generic network dynamics.</p>
</div>
<div id="A3.p2" class="ltx_para ltx_noindent">
<p id="A3.p2.2" class="ltx_p">In this section, we restate each assumption, explain further why it is expected to hold, and then present a validating experiment.
All experiments use the same setup as that of <a href="#S6.F2" title="In 6 Demonstration: 𝝁P versus NTP ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">2</span></a>.
Plotted quantities depending on the sample <math id="A3.p2.1.m1.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="A3.p2.1.m1.1a"><mi id="A3.p2.1.m1.1.1" xref="A3.p2.1.m1.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="A3.p2.1.m1.1b"><ci id="A3.p2.1.m1.1.1.cmml" xref="A3.p2.1.m1.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.p2.1.m1.1c">{\bm{x}}</annotation></semantics></math> are averaged over all <math id="A3.p2.2.m2.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="A3.p2.2.m2.1a"><mi id="A3.p2.2.m2.1.1" xref="A3.p2.2.m2.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="A3.p2.2.m2.1b"><ci id="A3.p2.2.m2.1.1.cmml" xref="A3.p2.2.m2.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.p2.2.m2.1c">{\bm{x}}</annotation></semantics></math> in the batch, with shaded envelopes showing one standard deviation of this mean over five experiment trials.</p>
</div>
<div id="Thmassumptionrepeat1" class="ltx_theorem ltx_theorem_assumptionrepeat">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumptionrepeat1.1.1.1" class="ltx_text ltx_font_bold">Assumption 1</span></span><span id="Thmassumptionrepeat1.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumptionrepeat1.p1" class="ltx_para">
<p id="Thmassumptionrepeat1.p1.1" class="ltx_p"><span id="Thmassumptionrepeat1.p1.1.1" class="ltx_text ltx_font_italic">Updates do not perfectly cancel initial quantities.
That is:</span></p>
<table id="A5.EGx6" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<tbody id="A3.E26"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.E26.m1.1" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}" display="inline"><semantics id="A3.E26.m1.1a"><msub id="A3.E26.m1.1.1" xref="A3.E26.m1.1.1.cmml"><mrow id="A3.E26.m1.1.1.1.1" xref="A3.E26.m1.1.1.1.2.cmml"><mo stretchy="false" id="A3.E26.m1.1.1.1.1.2" xref="A3.E26.m1.1.1.1.2.1.cmml">‖</mo><mrow id="A3.E26.m1.1.1.1.1.1" xref="A3.E26.m1.1.1.1.1.1.cmml"><msub id="A3.E26.m1.1.1.1.1.1.2" xref="A3.E26.m1.1.1.1.1.1.2.cmml"><mi id="A3.E26.m1.1.1.1.1.1.2.2" xref="A3.E26.m1.1.1.1.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.E26.m1.1.1.1.1.1.2.3" xref="A3.E26.m1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo id="A3.E26.m1.1.1.1.1.1.1" xref="A3.E26.m1.1.1.1.1.1.1.cmml">+</mo><mrow id="A3.E26.m1.1.1.1.1.1.3" xref="A3.E26.m1.1.1.1.1.1.3.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A3.E26.m1.1.1.1.1.1.3.2" xref="A3.E26.m1.1.1.1.1.1.3.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A3.E26.m1.1.1.1.1.1.3.1" xref="A3.E26.m1.1.1.1.1.1.3.1.cmml">​</mo><msub id="A3.E26.m1.1.1.1.1.1.3.3" xref="A3.E26.m1.1.1.1.1.1.3.3.cmml"><mi id="A3.E26.m1.1.1.1.1.1.3.3.2" xref="A3.E26.m1.1.1.1.1.1.3.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.E26.m1.1.1.1.1.1.3.3.3" xref="A3.E26.m1.1.1.1.1.1.3.3.3.cmml">ℓ</mi></msub></mrow></mrow><mo stretchy="false" id="A3.E26.m1.1.1.1.1.3" xref="A3.E26.m1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="A3.E26.m1.1.1.3" xref="A3.E26.m1.1.1.3.cmml">∗</mo></msub><annotation-xml encoding="MathML-Content" id="A3.E26.m1.1b"><apply id="A3.E26.m1.1.1.cmml" xref="A3.E26.m1.1.1"><csymbol cd="ambiguous" id="A3.E26.m1.1.1.2.cmml" xref="A3.E26.m1.1.1">subscript</csymbol><apply id="A3.E26.m1.1.1.1.2.cmml" xref="A3.E26.m1.1.1.1.1"><csymbol cd="latexml" id="A3.E26.m1.1.1.1.2.1.cmml" xref="A3.E26.m1.1.1.1.1.2">norm</csymbol><apply id="A3.E26.m1.1.1.1.1.1.cmml" xref="A3.E26.m1.1.1.1.1.1"><plus id="A3.E26.m1.1.1.1.1.1.1.cmml" xref="A3.E26.m1.1.1.1.1.1.1"></plus><apply id="A3.E26.m1.1.1.1.1.1.2.cmml" xref="A3.E26.m1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.E26.m1.1.1.1.1.1.2.1.cmml" xref="A3.E26.m1.1.1.1.1.1.2">subscript</csymbol><ci id="A3.E26.m1.1.1.1.1.1.2.2.cmml" xref="A3.E26.m1.1.1.1.1.1.2.2">𝑾</ci><ci id="A3.E26.m1.1.1.1.1.1.2.3.cmml" xref="A3.E26.m1.1.1.1.1.1.2.3">ℓ</ci></apply><apply id="A3.E26.m1.1.1.1.1.1.3.cmml" xref="A3.E26.m1.1.1.1.1.1.3"><times id="A3.E26.m1.1.1.1.1.1.3.1.cmml" xref="A3.E26.m1.1.1.1.1.1.3.1"></times><ci id="A3.E26.m1.1.1.1.1.1.3.2.cmml" xref="A3.E26.m1.1.1.1.1.1.3.2">Δ</ci><apply id="A3.E26.m1.1.1.1.1.1.3.3.cmml" xref="A3.E26.m1.1.1.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.E26.m1.1.1.1.1.1.3.3.1.cmml" xref="A3.E26.m1.1.1.1.1.1.3.3">subscript</csymbol><ci id="A3.E26.m1.1.1.1.1.1.3.3.2.cmml" xref="A3.E26.m1.1.1.1.1.1.3.3.2">𝑾</ci><ci id="A3.E26.m1.1.1.1.1.1.3.3.3.cmml" xref="A3.E26.m1.1.1.1.1.1.3.3.3">ℓ</ci></apply></apply></apply></apply><times id="A3.E26.m1.1.1.3.cmml" xref="A3.E26.m1.1.1.3"></times></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E26.m1.1c">\displaystyle\left|\!\left|{\bm{W}}_{\ell}+\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E26.m2.1" class="ltx_Math" alttext="\displaystyle=\Theta\left(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}+\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\right)" display="inline"><semantics id="A3.E26.m2.1a"><mrow id="A3.E26.m2.1.1" xref="A3.E26.m2.1.1.cmml"><mi id="A3.E26.m2.1.1.3" xref="A3.E26.m2.1.1.3.cmml"></mi><mo id="A3.E26.m2.1.1.2" xref="A3.E26.m2.1.1.2.cmml">=</mo><mrow id="A3.E26.m2.1.1.1" xref="A3.E26.m2.1.1.1.cmml"><mi mathvariant="normal" id="A3.E26.m2.1.1.1.3" xref="A3.E26.m2.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A3.E26.m2.1.1.1.2" xref="A3.E26.m2.1.1.1.2.cmml">​</mo><mrow id="A3.E26.m2.1.1.1.1.1" xref="A3.E26.m2.1.1.1.1.1.1.cmml"><mo id="A3.E26.m2.1.1.1.1.1.2" xref="A3.E26.m2.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.E26.m2.1.1.1.1.1.1" xref="A3.E26.m2.1.1.1.1.1.1.cmml"><msub id="A3.E26.m2.1.1.1.1.1.1.1" xref="A3.E26.m2.1.1.1.1.1.1.1.cmml"><mrow id="A3.E26.m2.1.1.1.1.1.1.1.1.1" xref="A3.E26.m2.1.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.E26.m2.1.1.1.1.1.1.1.1.1.2" xref="A3.E26.m2.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="A3.E26.m2.1.1.1.1.1.1.1.1.1.1" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.cmml"><mi id="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.3" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="A3.E26.m2.1.1.1.1.1.1.1.1.1.3" xref="A3.E26.m2.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mo id="A3.E26.m2.1.1.1.1.1.1.1.3" xref="A3.E26.m2.1.1.1.1.1.1.1.3.cmml">∗</mo></msub><mo id="A3.E26.m2.1.1.1.1.1.1.3" xref="A3.E26.m2.1.1.1.1.1.1.3.cmml">+</mo><msub id="A3.E26.m2.1.1.1.1.1.1.2" xref="A3.E26.m2.1.1.1.1.1.1.2.cmml"><mrow id="A3.E26.m2.1.1.1.1.1.1.2.1.1" xref="A3.E26.m2.1.1.1.1.1.1.2.1.2.cmml"><mo stretchy="false" id="A3.E26.m2.1.1.1.1.1.1.2.1.1.2" xref="A3.E26.m2.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.2" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.1" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><msub id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.2" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.3" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="A3.E26.m2.1.1.1.1.1.1.2.1.1.3" xref="A3.E26.m2.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mo id="A3.E26.m2.1.1.1.1.1.1.2.3" xref="A3.E26.m2.1.1.1.1.1.1.2.3.cmml">∗</mo></msub></mrow><mo id="A3.E26.m2.1.1.1.1.1.3" xref="A3.E26.m2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.E26.m2.1b"><apply id="A3.E26.m2.1.1.cmml" xref="A3.E26.m2.1.1"><eq id="A3.E26.m2.1.1.2.cmml" xref="A3.E26.m2.1.1.2"></eq><csymbol cd="latexml" id="A3.E26.m2.1.1.3.cmml" xref="A3.E26.m2.1.1.3">absent</csymbol><apply id="A3.E26.m2.1.1.1.cmml" xref="A3.E26.m2.1.1.1"><times id="A3.E26.m2.1.1.1.2.cmml" xref="A3.E26.m2.1.1.1.2"></times><ci id="A3.E26.m2.1.1.1.3.cmml" xref="A3.E26.m2.1.1.1.3">Θ</ci><apply id="A3.E26.m2.1.1.1.1.1.1.cmml" xref="A3.E26.m2.1.1.1.1.1"><plus id="A3.E26.m2.1.1.1.1.1.1.3.cmml" xref="A3.E26.m2.1.1.1.1.1.1.3"></plus><apply id="A3.E26.m2.1.1.1.1.1.1.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E26.m2.1.1.1.1.1.1.1.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1">subscript</csymbol><apply id="A3.E26.m2.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.E26.m2.1.1.1.1.1.1.1.1.2.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.2">norm</csymbol><apply id="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.2">𝑾</ci><ci id="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.3.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><times id="A3.E26.m2.1.1.1.1.1.1.1.3.cmml" xref="A3.E26.m2.1.1.1.1.1.1.1.3"></times></apply><apply id="A3.E26.m2.1.1.1.1.1.1.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.E26.m2.1.1.1.1.1.1.2.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2">subscript</csymbol><apply id="A3.E26.m2.1.1.1.1.1.1.2.1.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1"><csymbol cd="latexml" id="A3.E26.m2.1.1.1.1.1.1.2.1.2.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.2">norm</csymbol><apply id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1"><times id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.1"></times><ci id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.2">Δ</ci><apply id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3">subscript</csymbol><ci id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.2">𝑾</ci><ci id="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.1.1.1.3.3">ℓ</ci></apply></apply></apply><times id="A3.E26.m2.1.1.1.1.1.1.2.3.cmml" xref="A3.E26.m2.1.1.1.1.1.1.2.3"></times></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E26.m2.1c">\displaystyle=\Theta\left(\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{*}+\left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{*}\right)</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(26)</span></td>
</tr></tbody>
<tbody id="A3.E27"><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A3.E27.m1.3" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}" display="inline"><semantics id="A3.E27.m1.3a"><msub id="A3.E27.m1.3.3" xref="A3.E27.m1.3.3.cmml"><mrow id="A3.E27.m1.3.3.1.1" xref="A3.E27.m1.3.3.1.2.cmml"><mo stretchy="false" id="A3.E27.m1.3.3.1.1.2" xref="A3.E27.m1.3.3.1.2.1.cmml">‖</mo><mrow id="A3.E27.m1.3.3.1.1.1" xref="A3.E27.m1.3.3.1.1.1.cmml"><mrow id="A3.E27.m1.3.3.1.1.1.2" xref="A3.E27.m1.3.3.1.1.1.2.cmml"><msub id="A3.E27.m1.3.3.1.1.1.2.2" xref="A3.E27.m1.3.3.1.1.1.2.2.cmml"><mi id="A3.E27.m1.3.3.1.1.1.2.2.2" xref="A3.E27.m1.3.3.1.1.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.E27.m1.3.3.1.1.1.2.2.3" xref="A3.E27.m1.3.3.1.1.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.E27.m1.3.3.1.1.1.2.1" xref="A3.E27.m1.3.3.1.1.1.2.1.cmml">​</mo><mrow id="A3.E27.m1.3.3.1.1.1.2.3.2" xref="A3.E27.m1.3.3.1.1.1.2.cmml"><mo stretchy="false" id="A3.E27.m1.3.3.1.1.1.2.3.2.1" xref="A3.E27.m1.3.3.1.1.1.2.cmml">(</mo><mi id="A3.E27.m1.1.1" xref="A3.E27.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="A3.E27.m1.3.3.1.1.1.2.3.2.2" xref="A3.E27.m1.3.3.1.1.1.2.cmml">)</mo></mrow></mrow><mo id="A3.E27.m1.3.3.1.1.1.1" xref="A3.E27.m1.3.3.1.1.1.1.cmml">+</mo><mrow id="A3.E27.m1.3.3.1.1.1.3" xref="A3.E27.m1.3.3.1.1.1.3.cmml"><mi mathvariant="normal" id="A3.E27.m1.3.3.1.1.1.3.2" xref="A3.E27.m1.3.3.1.1.1.3.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A3.E27.m1.3.3.1.1.1.3.1" xref="A3.E27.m1.3.3.1.1.1.3.1.cmml">​</mo><msub id="A3.E27.m1.3.3.1.1.1.3.3" xref="A3.E27.m1.3.3.1.1.1.3.3.cmml"><mi id="A3.E27.m1.3.3.1.1.1.3.3.2" xref="A3.E27.m1.3.3.1.1.1.3.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.E27.m1.3.3.1.1.1.3.3.3" xref="A3.E27.m1.3.3.1.1.1.3.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.E27.m1.3.3.1.1.1.3.1a" xref="A3.E27.m1.3.3.1.1.1.3.1.cmml">​</mo><mrow id="A3.E27.m1.3.3.1.1.1.3.4.2" xref="A3.E27.m1.3.3.1.1.1.3.cmml"><mo stretchy="false" id="A3.E27.m1.3.3.1.1.1.3.4.2.1" xref="A3.E27.m1.3.3.1.1.1.3.cmml">(</mo><mi id="A3.E27.m1.2.2" xref="A3.E27.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="A3.E27.m1.3.3.1.1.1.3.4.2.2" xref="A3.E27.m1.3.3.1.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo stretchy="false" id="A3.E27.m1.3.3.1.1.3" xref="A3.E27.m1.3.3.1.2.1.cmml">‖</mo></mrow><mn id="A3.E27.m1.3.3.3" xref="A3.E27.m1.3.3.3.cmml">2</mn></msub><annotation-xml encoding="MathML-Content" id="A3.E27.m1.3b"><apply id="A3.E27.m1.3.3.cmml" xref="A3.E27.m1.3.3"><csymbol cd="ambiguous" id="A3.E27.m1.3.3.2.cmml" xref="A3.E27.m1.3.3">subscript</csymbol><apply id="A3.E27.m1.3.3.1.2.cmml" xref="A3.E27.m1.3.3.1.1"><csymbol cd="latexml" id="A3.E27.m1.3.3.1.2.1.cmml" xref="A3.E27.m1.3.3.1.1.2">norm</csymbol><apply id="A3.E27.m1.3.3.1.1.1.cmml" xref="A3.E27.m1.3.3.1.1.1"><plus id="A3.E27.m1.3.3.1.1.1.1.cmml" xref="A3.E27.m1.3.3.1.1.1.1"></plus><apply id="A3.E27.m1.3.3.1.1.1.2.cmml" xref="A3.E27.m1.3.3.1.1.1.2"><times id="A3.E27.m1.3.3.1.1.1.2.1.cmml" xref="A3.E27.m1.3.3.1.1.1.2.1"></times><apply id="A3.E27.m1.3.3.1.1.1.2.2.cmml" xref="A3.E27.m1.3.3.1.1.1.2.2"><csymbol cd="ambiguous" id="A3.E27.m1.3.3.1.1.1.2.2.1.cmml" xref="A3.E27.m1.3.3.1.1.1.2.2">subscript</csymbol><ci id="A3.E27.m1.3.3.1.1.1.2.2.2.cmml" xref="A3.E27.m1.3.3.1.1.1.2.2.2">𝒉</ci><ci id="A3.E27.m1.3.3.1.1.1.2.2.3.cmml" xref="A3.E27.m1.3.3.1.1.1.2.2.3">ℓ</ci></apply><ci id="A3.E27.m1.1.1.cmml" xref="A3.E27.m1.1.1">𝒙</ci></apply><apply id="A3.E27.m1.3.3.1.1.1.3.cmml" xref="A3.E27.m1.3.3.1.1.1.3"><times id="A3.E27.m1.3.3.1.1.1.3.1.cmml" xref="A3.E27.m1.3.3.1.1.1.3.1"></times><ci id="A3.E27.m1.3.3.1.1.1.3.2.cmml" xref="A3.E27.m1.3.3.1.1.1.3.2">Δ</ci><apply id="A3.E27.m1.3.3.1.1.1.3.3.cmml" xref="A3.E27.m1.3.3.1.1.1.3.3"><csymbol cd="ambiguous" id="A3.E27.m1.3.3.1.1.1.3.3.1.cmml" xref="A3.E27.m1.3.3.1.1.1.3.3">subscript</csymbol><ci id="A3.E27.m1.3.3.1.1.1.3.3.2.cmml" xref="A3.E27.m1.3.3.1.1.1.3.3.2">𝒉</ci><ci id="A3.E27.m1.3.3.1.1.1.3.3.3.cmml" xref="A3.E27.m1.3.3.1.1.1.3.3.3">ℓ</ci></apply><ci id="A3.E27.m1.2.2.cmml" xref="A3.E27.m1.2.2">𝒙</ci></apply></apply></apply><cn type="integer" id="A3.E27.m1.3.3.3.cmml" xref="A3.E27.m1.3.3.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E27.m1.3c">\displaystyle\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})+\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}</annotation></semantics></math></td>
<td class="ltx_td ltx_align_left ltx_eqn_cell"><math id="A3.E27.m2.3" class="ltx_Math" alttext="\displaystyle=\Theta(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2})." display="inline"><semantics id="A3.E27.m2.3a"><mrow id="A3.E27.m2.3.3.1" xref="A3.E27.m2.3.3.1.1.cmml"><mrow id="A3.E27.m2.3.3.1.1" xref="A3.E27.m2.3.3.1.1.cmml"><mi id="A3.E27.m2.3.3.1.1.3" xref="A3.E27.m2.3.3.1.1.3.cmml"></mi><mo id="A3.E27.m2.3.3.1.1.2" xref="A3.E27.m2.3.3.1.1.2.cmml">=</mo><mrow id="A3.E27.m2.3.3.1.1.1" xref="A3.E27.m2.3.3.1.1.1.cmml"><mi mathvariant="normal" id="A3.E27.m2.3.3.1.1.1.3" xref="A3.E27.m2.3.3.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A3.E27.m2.3.3.1.1.1.2" xref="A3.E27.m2.3.3.1.1.1.2.cmml">​</mo><mrow id="A3.E27.m2.3.3.1.1.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.cmml">(</mo><mrow id="A3.E27.m2.3.3.1.1.1.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.cmml"><msub id="A3.E27.m2.3.3.1.1.1.1.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.cmml"><mrow id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.2.cmml"><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo><mrow id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><msub id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml"><mi id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml">​</mo><mrow id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.2.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml">(</mo><mi id="A3.E27.m2.1.1" xref="A3.E27.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.3.2.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="A3.E27.m2.3.3.1.1.1.1.1.1.1.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.3.cmml">2</mn></msub><mo id="A3.E27.m2.3.3.1.1.1.1.1.1.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.3.cmml">+</mo><msub id="A3.E27.m2.3.3.1.1.1.1.1.1.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.cmml"><mrow id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.2.cmml"><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo><mrow id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml"><mi mathvariant="normal" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><msub id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.cmml"><mi id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.1a" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.1.cmml">​</mo><mrow id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.4.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml"><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.4.2.1" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml">(</mo><mi id="A3.E27.m2.2.2" xref="A3.E27.m2.2.2.cmml">𝒙</mi><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.4.2.2" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.2.1.cmml">‖</mo></mrow><mn id="A3.E27.m2.3.3.1.1.1.1.1.1.2.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.3.cmml">2</mn></msub></mrow><mo stretchy="false" id="A3.E27.m2.3.3.1.1.1.1.1.3" xref="A3.E27.m2.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="A3.E27.m2.3.3.1.2" xref="A3.E27.m2.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A3.E27.m2.3b"><apply id="A3.E27.m2.3.3.1.1.cmml" xref="A3.E27.m2.3.3.1"><eq id="A3.E27.m2.3.3.1.1.2.cmml" xref="A3.E27.m2.3.3.1.1.2"></eq><csymbol cd="latexml" id="A3.E27.m2.3.3.1.1.3.cmml" xref="A3.E27.m2.3.3.1.1.3">absent</csymbol><apply id="A3.E27.m2.3.3.1.1.1.cmml" xref="A3.E27.m2.3.3.1.1.1"><times id="A3.E27.m2.3.3.1.1.1.2.cmml" xref="A3.E27.m2.3.3.1.1.1.2"></times><ci id="A3.E27.m2.3.3.1.1.1.3.cmml" xref="A3.E27.m2.3.3.1.1.1.3">Θ</ci><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1"><plus id="A3.E27.m2.3.3.1.1.1.1.1.1.3.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.3"></plus><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1">subscript</csymbol><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.2.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.2">norm</csymbol><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1"><times id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.1"></times><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2">subscript</csymbol><ci id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.2">𝒉</ci><ci id="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="A3.E27.m2.1.1.cmml" xref="A3.E27.m2.1.1">𝒙</ci></apply></apply><cn type="integer" id="A3.E27.m2.3.3.1.1.1.1.1.1.1.3.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.1.3">2</cn></apply><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2">subscript</csymbol><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1"><csymbol cd="latexml" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.2.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.2">norm</csymbol><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1"><times id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.1"></times><ci id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.2">Δ</ci><apply id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3"><csymbol cd="ambiguous" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.1.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3">subscript</csymbol><ci id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.2">𝒉</ci><ci id="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.1.1.1.3.3">ℓ</ci></apply><ci id="A3.E27.m2.2.2.cmml" xref="A3.E27.m2.2.2">𝒙</ci></apply></apply><cn type="integer" id="A3.E27.m2.3.3.1.1.1.1.1.1.2.3.cmml" xref="A3.E27.m2.3.3.1.1.1.1.1.1.2.3">2</cn></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.E27.m2.3c">\displaystyle=\Theta(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}+\left|\!\left|\Delta{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}).</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(27)</span></td>
</tr></tbody>
</table>
</div>
</div>
<div id="A3.p3" class="ltx_para ltx_noindent">
<p id="A3.p3.4" class="ltx_p">Recall that the cancellation of two high-dimensional tensors (i.e. matrices or vectors) tends to be unlikely as dimension grows (unless there is a good reason to expect cancellation, which there is not here).
For the small learning rate used in our experiment, <a href="#Thmassumption1" title="Assumption 1. ‣ 3.2.1 Additional gradient steps ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> is in fact true simply because small updates are not big enough to cancel the initial quantities even if aligned.
In <a href="#A3.F4" title="In Appendix C Empirical checks of 1, 2 and 3 ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">4</span></a>, we verify that <a href="#Thmassumption1" title="Assumption 1. ‣ 3.2.1 Additional gradient steps ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> also holds when <math id="A3.p3.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="A3.p3.1.m1.1a"><mrow id="A3.p3.1.m1.1.1" xref="A3.p3.1.m1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A3.p3.1.m1.1.1.2" xref="A3.p3.1.m1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A3.p3.1.m1.1.1.1" xref="A3.p3.1.m1.1.1.1.cmml">​</mo><msub id="A3.p3.1.m1.1.1.3" xref="A3.p3.1.m1.1.1.3.cmml"><mi id="A3.p3.1.m1.1.1.3.2" xref="A3.p3.1.m1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.p3.1.m1.1.1.3.3" xref="A3.p3.1.m1.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A3.p3.1.m1.1b"><apply id="A3.p3.1.m1.1.1.cmml" xref="A3.p3.1.m1.1.1"><times id="A3.p3.1.m1.1.1.1.cmml" xref="A3.p3.1.m1.1.1.1"></times><ci id="A3.p3.1.m1.1.1.2.cmml" xref="A3.p3.1.m1.1.1.2">Δ</ci><apply id="A3.p3.1.m1.1.1.3.cmml" xref="A3.p3.1.m1.1.1.3"><csymbol cd="ambiguous" id="A3.p3.1.m1.1.1.3.1.cmml" xref="A3.p3.1.m1.1.1.3">subscript</csymbol><ci id="A3.p3.1.m1.1.1.3.2.cmml" xref="A3.p3.1.m1.1.1.3.2">𝑾</ci><ci id="A3.p3.1.m1.1.1.3.3.cmml" xref="A3.p3.1.m1.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p3.1.m1.1c">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> and <math id="A3.p3.2.m2.1" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="A3.p3.2.m2.1a"><mrow id="A3.p3.2.m2.1.2" xref="A3.p3.2.m2.1.2.cmml"><mi mathvariant="normal" id="A3.p3.2.m2.1.2.2" xref="A3.p3.2.m2.1.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A3.p3.2.m2.1.2.1" xref="A3.p3.2.m2.1.2.1.cmml">​</mo><msub id="A3.p3.2.m2.1.2.3" xref="A3.p3.2.m2.1.2.3.cmml"><mi id="A3.p3.2.m2.1.2.3.2" xref="A3.p3.2.m2.1.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.p3.2.m2.1.2.3.3" xref="A3.p3.2.m2.1.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.p3.2.m2.1.2.1a" xref="A3.p3.2.m2.1.2.1.cmml">​</mo><mrow id="A3.p3.2.m2.1.2.4.2" xref="A3.p3.2.m2.1.2.cmml"><mo stretchy="false" id="A3.p3.2.m2.1.2.4.2.1" xref="A3.p3.2.m2.1.2.cmml">(</mo><mi id="A3.p3.2.m2.1.1" xref="A3.p3.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="A3.p3.2.m2.1.2.4.2.2" xref="A3.p3.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.p3.2.m2.1b"><apply id="A3.p3.2.m2.1.2.cmml" xref="A3.p3.2.m2.1.2"><times id="A3.p3.2.m2.1.2.1.cmml" xref="A3.p3.2.m2.1.2.1"></times><ci id="A3.p3.2.m2.1.2.2.cmml" xref="A3.p3.2.m2.1.2.2">Δ</ci><apply id="A3.p3.2.m2.1.2.3.cmml" xref="A3.p3.2.m2.1.2.3"><csymbol cd="ambiguous" id="A3.p3.2.m2.1.2.3.1.cmml" xref="A3.p3.2.m2.1.2.3">subscript</csymbol><ci id="A3.p3.2.m2.1.2.3.2.cmml" xref="A3.p3.2.m2.1.2.3.2">𝒉</ci><ci id="A3.p3.2.m2.1.2.3.3.cmml" xref="A3.p3.2.m2.1.2.3.3">ℓ</ci></apply><ci id="A3.p3.2.m2.1.1.cmml" xref="A3.p3.2.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p3.2.m2.1c">\Delta{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math> are respectively replaced by <math id="A3.p3.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}-{\bm{W}}_{\ell}^{0}" display="inline"><semantics id="A3.p3.3.m3.1a"><mrow id="A3.p3.3.m3.1.1" xref="A3.p3.3.m3.1.1.cmml"><msub id="A3.p3.3.m3.1.1.2" xref="A3.p3.3.m3.1.1.2.cmml"><mi id="A3.p3.3.m3.1.1.2.2" xref="A3.p3.3.m3.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.p3.3.m3.1.1.2.3" xref="A3.p3.3.m3.1.1.2.3.cmml">ℓ</mi></msub><mo id="A3.p3.3.m3.1.1.1" xref="A3.p3.3.m3.1.1.1.cmml">−</mo><msubsup id="A3.p3.3.m3.1.1.3" xref="A3.p3.3.m3.1.1.3.cmml"><mi id="A3.p3.3.m3.1.1.3.2.2" xref="A3.p3.3.m3.1.1.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.p3.3.m3.1.1.3.2.3" xref="A3.p3.3.m3.1.1.3.2.3.cmml">ℓ</mi><mn id="A3.p3.3.m3.1.1.3.3" xref="A3.p3.3.m3.1.1.3.3.cmml">0</mn></msubsup></mrow><annotation-xml encoding="MathML-Content" id="A3.p3.3.m3.1b"><apply id="A3.p3.3.m3.1.1.cmml" xref="A3.p3.3.m3.1.1"><minus id="A3.p3.3.m3.1.1.1.cmml" xref="A3.p3.3.m3.1.1.1"></minus><apply id="A3.p3.3.m3.1.1.2.cmml" xref="A3.p3.3.m3.1.1.2"><csymbol cd="ambiguous" id="A3.p3.3.m3.1.1.2.1.cmml" xref="A3.p3.3.m3.1.1.2">subscript</csymbol><ci id="A3.p3.3.m3.1.1.2.2.cmml" xref="A3.p3.3.m3.1.1.2.2">𝑾</ci><ci id="A3.p3.3.m3.1.1.2.3.cmml" xref="A3.p3.3.m3.1.1.2.3">ℓ</ci></apply><apply id="A3.p3.3.m3.1.1.3.cmml" xref="A3.p3.3.m3.1.1.3"><csymbol cd="ambiguous" id="A3.p3.3.m3.1.1.3.1.cmml" xref="A3.p3.3.m3.1.1.3">superscript</csymbol><apply id="A3.p3.3.m3.1.1.3.2.cmml" xref="A3.p3.3.m3.1.1.3"><csymbol cd="ambiguous" id="A3.p3.3.m3.1.1.3.2.1.cmml" xref="A3.p3.3.m3.1.1.3">subscript</csymbol><ci id="A3.p3.3.m3.1.1.3.2.2.cmml" xref="A3.p3.3.m3.1.1.3.2.2">𝑾</ci><ci id="A3.p3.3.m3.1.1.3.2.3.cmml" xref="A3.p3.3.m3.1.1.3.2.3">ℓ</ci></apply><cn type="integer" id="A3.p3.3.m3.1.1.3.3.cmml" xref="A3.p3.3.m3.1.1.3.3">0</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p3.3.m3.1c">{\bm{W}}_{\ell}-{\bm{W}}_{\ell}^{0}</annotation></semantics></math> and <math id="A3.p3.4.m4.2" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})-{\bm{h}}^{0}_{\ell}({\bm{x}})" display="inline"><semantics id="A3.p3.4.m4.2a"><mrow id="A3.p3.4.m4.2.3" xref="A3.p3.4.m4.2.3.cmml"><mrow id="A3.p3.4.m4.2.3.2" xref="A3.p3.4.m4.2.3.2.cmml"><msub id="A3.p3.4.m4.2.3.2.2" xref="A3.p3.4.m4.2.3.2.2.cmml"><mi id="A3.p3.4.m4.2.3.2.2.2" xref="A3.p3.4.m4.2.3.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.p3.4.m4.2.3.2.2.3" xref="A3.p3.4.m4.2.3.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.p3.4.m4.2.3.2.1" xref="A3.p3.4.m4.2.3.2.1.cmml">​</mo><mrow id="A3.p3.4.m4.2.3.2.3.2" xref="A3.p3.4.m4.2.3.2.cmml"><mo stretchy="false" id="A3.p3.4.m4.2.3.2.3.2.1" xref="A3.p3.4.m4.2.3.2.cmml">(</mo><mi id="A3.p3.4.m4.1.1" xref="A3.p3.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="A3.p3.4.m4.2.3.2.3.2.2" xref="A3.p3.4.m4.2.3.2.cmml">)</mo></mrow></mrow><mo id="A3.p3.4.m4.2.3.1" xref="A3.p3.4.m4.2.3.1.cmml">−</mo><mrow id="A3.p3.4.m4.2.3.3" xref="A3.p3.4.m4.2.3.3.cmml"><msubsup id="A3.p3.4.m4.2.3.3.2" xref="A3.p3.4.m4.2.3.3.2.cmml"><mi id="A3.p3.4.m4.2.3.3.2.2.2" xref="A3.p3.4.m4.2.3.3.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.p3.4.m4.2.3.3.2.3" xref="A3.p3.4.m4.2.3.3.2.3.cmml">ℓ</mi><mn id="A3.p3.4.m4.2.3.3.2.2.3" xref="A3.p3.4.m4.2.3.3.2.2.3.cmml">0</mn></msubsup><mo lspace="0em" rspace="0em" id="A3.p3.4.m4.2.3.3.1" xref="A3.p3.4.m4.2.3.3.1.cmml">​</mo><mrow id="A3.p3.4.m4.2.3.3.3.2" xref="A3.p3.4.m4.2.3.3.cmml"><mo stretchy="false" id="A3.p3.4.m4.2.3.3.3.2.1" xref="A3.p3.4.m4.2.3.3.cmml">(</mo><mi id="A3.p3.4.m4.2.2" xref="A3.p3.4.m4.2.2.cmml">𝒙</mi><mo stretchy="false" id="A3.p3.4.m4.2.3.3.3.2.2" xref="A3.p3.4.m4.2.3.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.p3.4.m4.2b"><apply id="A3.p3.4.m4.2.3.cmml" xref="A3.p3.4.m4.2.3"><minus id="A3.p3.4.m4.2.3.1.cmml" xref="A3.p3.4.m4.2.3.1"></minus><apply id="A3.p3.4.m4.2.3.2.cmml" xref="A3.p3.4.m4.2.3.2"><times id="A3.p3.4.m4.2.3.2.1.cmml" xref="A3.p3.4.m4.2.3.2.1"></times><apply id="A3.p3.4.m4.2.3.2.2.cmml" xref="A3.p3.4.m4.2.3.2.2"><csymbol cd="ambiguous" id="A3.p3.4.m4.2.3.2.2.1.cmml" xref="A3.p3.4.m4.2.3.2.2">subscript</csymbol><ci id="A3.p3.4.m4.2.3.2.2.2.cmml" xref="A3.p3.4.m4.2.3.2.2.2">𝒉</ci><ci id="A3.p3.4.m4.2.3.2.2.3.cmml" xref="A3.p3.4.m4.2.3.2.2.3">ℓ</ci></apply><ci id="A3.p3.4.m4.1.1.cmml" xref="A3.p3.4.m4.1.1">𝒙</ci></apply><apply id="A3.p3.4.m4.2.3.3.cmml" xref="A3.p3.4.m4.2.3.3"><times id="A3.p3.4.m4.2.3.3.1.cmml" xref="A3.p3.4.m4.2.3.3.1"></times><apply id="A3.p3.4.m4.2.3.3.2.cmml" xref="A3.p3.4.m4.2.3.3.2"><csymbol cd="ambiguous" id="A3.p3.4.m4.2.3.3.2.1.cmml" xref="A3.p3.4.m4.2.3.3.2">subscript</csymbol><apply id="A3.p3.4.m4.2.3.3.2.2.cmml" xref="A3.p3.4.m4.2.3.3.2"><csymbol cd="ambiguous" id="A3.p3.4.m4.2.3.3.2.2.1.cmml" xref="A3.p3.4.m4.2.3.3.2">superscript</csymbol><ci id="A3.p3.4.m4.2.3.3.2.2.2.cmml" xref="A3.p3.4.m4.2.3.3.2.2.2">𝒉</ci><cn type="integer" id="A3.p3.4.m4.2.3.3.2.2.3.cmml" xref="A3.p3.4.m4.2.3.3.2.2.3">0</cn></apply><ci id="A3.p3.4.m4.2.3.3.2.3.cmml" xref="A3.p3.4.m4.2.3.3.2.3">ℓ</ci></apply><ci id="A3.p3.4.m4.2.2.cmml" xref="A3.p3.4.m4.2.2">𝒙</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p3.4.m4.2c">{\bm{h}}_{\ell}({\bm{x}})-{\bm{h}}^{0}_{\ell}({\bm{x}})</annotation></semantics></math>, the total updates across all of training.</p>
</div>
<figure id="A3.F4" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_1"><img src="/html/2310.17813/assets/x6.png" id="A3.F4.g1" class="ltx_graphics ltx_centering ltx_figure_panel ltx_img_landscape" width="453" height="151" alt="Refer to caption"></div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<p id="A3.F4.2" class="ltx_p ltx_figure_panel ltx_align_center"><span id="A3.F4.1.1" class="ltx_text ltx_inline-block" style="width:0.0pt;"><span id="A3.F4.1.1.1" class="ltx_text" style="position:relative; bottom:13.7pt;"><img src="/html/2310.17813/assets/x7.png" id="A3.F4.1.1.1.g1" class="ltx_graphics ltx_img_portrait" width="5" height="8" alt="Refer to caption"></span>                      </span><span id="A3.F4.2.2" class="ltx_text ltx_inline-block" style="width:0.0pt;"><span id="A3.F4.2.2.1" class="ltx_text" style="position:relative; bottom:13.7pt;"><img src="/html/2310.17813/assets/x8.png" id="A3.F4.2.2.1.g1" class="ltx_graphics ltx_img_portrait" width="5" height="8" alt="Refer to caption"></span></span></p>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 4: </span>
<span id="A3.F4.6.1" class="ltx_text ltx_font_bold">Verification of <a href="#Thmassumption1" title="Assumption 1. ‣ 3.2.1 Additional gradient steps ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</span>
Subplots show the ratios between left- and right-hand sides of conditions of <a href="#Thmassumption1" title="Assumption 1. ‣ 3.2.1 Additional gradient steps ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> at various layers.
Envelopes show variation over trials.
The ratios are <math id="A3.F4.4.m1.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A3.F4.4.m1.1b"><mrow id="A3.F4.4.m1.1.2" xref="A3.F4.4.m1.1.2.cmml"><mi mathvariant="normal" id="A3.F4.4.m1.1.2.2" xref="A3.F4.4.m1.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A3.F4.4.m1.1.2.1" xref="A3.F4.4.m1.1.2.1.cmml">​</mo><mrow id="A3.F4.4.m1.1.2.3.2" xref="A3.F4.4.m1.1.2.cmml"><mo stretchy="false" id="A3.F4.4.m1.1.2.3.2.1" xref="A3.F4.4.m1.1.2.cmml">(</mo><mn id="A3.F4.4.m1.1.1" xref="A3.F4.4.m1.1.1.cmml">1</mn><mo stretchy="false" id="A3.F4.4.m1.1.2.3.2.2" xref="A3.F4.4.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.F4.4.m1.1c"><apply id="A3.F4.4.m1.1.2.cmml" xref="A3.F4.4.m1.1.2"><times id="A3.F4.4.m1.1.2.1.cmml" xref="A3.F4.4.m1.1.2.1"></times><ci id="A3.F4.4.m1.1.2.2.cmml" xref="A3.F4.4.m1.1.2.2">Θ</ci><cn type="integer" id="A3.F4.4.m1.1.1.cmml" xref="A3.F4.4.m1.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F4.4.m1.1d">\Theta(1)</annotation></semantics></math> (showing no obvious decay with network width), verifying Assumption 1.
</figcaption>
</figure>
<div id="Thmassumptionrepeat2" class="ltx_theorem ltx_theorem_assumptionrepeat">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumptionrepeat2.1.1.1" class="ltx_text ltx_font_bold">Assumption 2</span></span><span id="Thmassumptionrepeat2.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumptionrepeat2.p1" class="ltx_para">
<p id="Thmassumptionrepeat2.p1.1" class="ltx_p"><math id="Thmassumptionrepeat2.p1.1.m1.3" class="ltx_Math" alttext="\left|\!\left|{\bm{h}}^{\prime}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta\left(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}\right)." display="inline"><semantics id="Thmassumptionrepeat2.p1.1.m1.3a"><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.cmml"><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.cmml"><msub id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.cmml"><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.cmml"><msubsup id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.cmml"><mi id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.3.cmml">ℓ</mi><mo id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.1.cmml">​</mo><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.3.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.3.2.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.cmml">(</mo><mi id="Thmassumptionrepeat2.p1.1.m1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.3.2.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.3.cmml">2</mn></msub><mo id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.3.cmml">=</mo><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.cmml"><mi mathvariant="normal" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.2.cmml">​</mo><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.cmml"><mo id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.cmml">(</mo><msub id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.cmml"><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml"><msub id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.cmml"><mi id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml">​</mo><mrow id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2.1" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml">(</mo><mi id="Thmassumptionrepeat2.p1.1.m1.2.2" xref="Thmassumptionrepeat2.p1.1.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.3.2.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.3.cmml">2</mn></msub><mo id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.3" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><mo lspace="0em" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.2" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="Thmassumptionrepeat2.p1.1.m1.3b"><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1"><eq id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.3.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.3"></eq><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1"><csymbol cd="ambiguous" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1">subscript</csymbol><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1"><csymbol cd="latexml" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.2.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.2">norm</csymbol><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1"><times id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.1"></times><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2">subscript</csymbol><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2">superscript</csymbol><ci id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.2">𝒉</ci><ci id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.2.3">′</ci></apply><ci id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.3.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="Thmassumptionrepeat2.p1.1.m1.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.1.1">𝒙</ci></apply></apply><cn type="integer" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.3.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.1.3">2</cn></apply><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2"><times id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.2"></times><ci id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.3.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.3">Θ</ci><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1"><csymbol cd="ambiguous" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1">subscript</csymbol><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1"><csymbol cd="latexml" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.2.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.2">norm</csymbol><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1"><times id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.1"></times><apply id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2"><csymbol cd="ambiguous" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.1.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2">subscript</csymbol><ci id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.2">𝒉</ci><ci id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.1.1.1.2.3">ℓ</ci></apply><ci id="Thmassumptionrepeat2.p1.1.m1.2.2.cmml" xref="Thmassumptionrepeat2.p1.1.m1.2.2">𝒙</ci></apply></apply><cn type="integer" id="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.3.cmml" xref="Thmassumptionrepeat2.p1.1.m1.3.3.1.1.2.1.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmassumptionrepeat2.p1.1.m1.3c">\left|\!\left|{\bm{h}}^{\prime}_{\ell}({\bm{x}})\right|\!\right|_{2}=\Theta\left(\left|\!\left|{\bm{h}}_{\ell}({\bm{x}})\right|\!\right|_{2}\right).</annotation></semantics></math><span id="Thmassumptionrepeat2.p1.1.1" class="ltx_text ltx_font_italic"></span></p>
</div>
</div>
<div id="A3.p4" class="ltx_para ltx_noindent">
<p id="A3.p4.8" class="ltx_p">Recall that <math id="A3.p4.1.m1.3" class="ltx_Math" alttext="{\bm{h}}^{\prime}_{\ell}({\bm{x}})=\phi({\bm{h}}_{\ell}({\bm{x}}))" display="inline"><semantics id="A3.p4.1.m1.3a"><mrow id="A3.p4.1.m1.3.3" xref="A3.p4.1.m1.3.3.cmml"><mrow id="A3.p4.1.m1.3.3.3" xref="A3.p4.1.m1.3.3.3.cmml"><msubsup id="A3.p4.1.m1.3.3.3.2" xref="A3.p4.1.m1.3.3.3.2.cmml"><mi id="A3.p4.1.m1.3.3.3.2.2.2" xref="A3.p4.1.m1.3.3.3.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.p4.1.m1.3.3.3.2.3" xref="A3.p4.1.m1.3.3.3.2.3.cmml">ℓ</mi><mo id="A3.p4.1.m1.3.3.3.2.2.3" xref="A3.p4.1.m1.3.3.3.2.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="A3.p4.1.m1.3.3.3.1" xref="A3.p4.1.m1.3.3.3.1.cmml">​</mo><mrow id="A3.p4.1.m1.3.3.3.3.2" xref="A3.p4.1.m1.3.3.3.cmml"><mo stretchy="false" id="A3.p4.1.m1.3.3.3.3.2.1" xref="A3.p4.1.m1.3.3.3.cmml">(</mo><mi id="A3.p4.1.m1.1.1" xref="A3.p4.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="A3.p4.1.m1.3.3.3.3.2.2" xref="A3.p4.1.m1.3.3.3.cmml">)</mo></mrow></mrow><mo id="A3.p4.1.m1.3.3.2" xref="A3.p4.1.m1.3.3.2.cmml">=</mo><mrow id="A3.p4.1.m1.3.3.1" xref="A3.p4.1.m1.3.3.1.cmml"><mi id="A3.p4.1.m1.3.3.1.3" xref="A3.p4.1.m1.3.3.1.3.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="A3.p4.1.m1.3.3.1.2" xref="A3.p4.1.m1.3.3.1.2.cmml">​</mo><mrow id="A3.p4.1.m1.3.3.1.1.1" xref="A3.p4.1.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="A3.p4.1.m1.3.3.1.1.1.2" xref="A3.p4.1.m1.3.3.1.1.1.1.cmml">(</mo><mrow id="A3.p4.1.m1.3.3.1.1.1.1" xref="A3.p4.1.m1.3.3.1.1.1.1.cmml"><msub id="A3.p4.1.m1.3.3.1.1.1.1.2" xref="A3.p4.1.m1.3.3.1.1.1.1.2.cmml"><mi id="A3.p4.1.m1.3.3.1.1.1.1.2.2" xref="A3.p4.1.m1.3.3.1.1.1.1.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.p4.1.m1.3.3.1.1.1.1.2.3" xref="A3.p4.1.m1.3.3.1.1.1.1.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.p4.1.m1.3.3.1.1.1.1.1" xref="A3.p4.1.m1.3.3.1.1.1.1.1.cmml">​</mo><mrow id="A3.p4.1.m1.3.3.1.1.1.1.3.2" xref="A3.p4.1.m1.3.3.1.1.1.1.cmml"><mo stretchy="false" id="A3.p4.1.m1.3.3.1.1.1.1.3.2.1" xref="A3.p4.1.m1.3.3.1.1.1.1.cmml">(</mo><mi id="A3.p4.1.m1.2.2" xref="A3.p4.1.m1.2.2.cmml">𝒙</mi><mo stretchy="false" id="A3.p4.1.m1.3.3.1.1.1.1.3.2.2" xref="A3.p4.1.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.p4.1.m1.3.3.1.1.1.3" xref="A3.p4.1.m1.3.3.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.p4.1.m1.3b"><apply id="A3.p4.1.m1.3.3.cmml" xref="A3.p4.1.m1.3.3"><eq id="A3.p4.1.m1.3.3.2.cmml" xref="A3.p4.1.m1.3.3.2"></eq><apply id="A3.p4.1.m1.3.3.3.cmml" xref="A3.p4.1.m1.3.3.3"><times id="A3.p4.1.m1.3.3.3.1.cmml" xref="A3.p4.1.m1.3.3.3.1"></times><apply id="A3.p4.1.m1.3.3.3.2.cmml" xref="A3.p4.1.m1.3.3.3.2"><csymbol cd="ambiguous" id="A3.p4.1.m1.3.3.3.2.1.cmml" xref="A3.p4.1.m1.3.3.3.2">subscript</csymbol><apply id="A3.p4.1.m1.3.3.3.2.2.cmml" xref="A3.p4.1.m1.3.3.3.2"><csymbol cd="ambiguous" id="A3.p4.1.m1.3.3.3.2.2.1.cmml" xref="A3.p4.1.m1.3.3.3.2">superscript</csymbol><ci id="A3.p4.1.m1.3.3.3.2.2.2.cmml" xref="A3.p4.1.m1.3.3.3.2.2.2">𝒉</ci><ci id="A3.p4.1.m1.3.3.3.2.2.3.cmml" xref="A3.p4.1.m1.3.3.3.2.2.3">′</ci></apply><ci id="A3.p4.1.m1.3.3.3.2.3.cmml" xref="A3.p4.1.m1.3.3.3.2.3">ℓ</ci></apply><ci id="A3.p4.1.m1.1.1.cmml" xref="A3.p4.1.m1.1.1">𝒙</ci></apply><apply id="A3.p4.1.m1.3.3.1.cmml" xref="A3.p4.1.m1.3.3.1"><times id="A3.p4.1.m1.3.3.1.2.cmml" xref="A3.p4.1.m1.3.3.1.2"></times><ci id="A3.p4.1.m1.3.3.1.3.cmml" xref="A3.p4.1.m1.3.3.1.3">italic-ϕ</ci><apply id="A3.p4.1.m1.3.3.1.1.1.1.cmml" xref="A3.p4.1.m1.3.3.1.1.1"><times id="A3.p4.1.m1.3.3.1.1.1.1.1.cmml" xref="A3.p4.1.m1.3.3.1.1.1.1.1"></times><apply id="A3.p4.1.m1.3.3.1.1.1.1.2.cmml" xref="A3.p4.1.m1.3.3.1.1.1.1.2"><csymbol cd="ambiguous" id="A3.p4.1.m1.3.3.1.1.1.1.2.1.cmml" xref="A3.p4.1.m1.3.3.1.1.1.1.2">subscript</csymbol><ci id="A3.p4.1.m1.3.3.1.1.1.1.2.2.cmml" xref="A3.p4.1.m1.3.3.1.1.1.1.2.2">𝒉</ci><ci id="A3.p4.1.m1.3.3.1.1.1.1.2.3.cmml" xref="A3.p4.1.m1.3.3.1.1.1.1.2.3">ℓ</ci></apply><ci id="A3.p4.1.m1.2.2.cmml" xref="A3.p4.1.m1.2.2">𝒙</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.1.m1.3c">{\bm{h}}^{\prime}_{\ell}({\bm{x}})=\phi({\bm{h}}_{\ell}({\bm{x}}))</annotation></semantics></math>, and that <math id="A3.p4.2.m2.1" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})" display="inline"><semantics id="A3.p4.2.m2.1a"><mrow id="A3.p4.2.m2.1.2" xref="A3.p4.2.m2.1.2.cmml"><msub id="A3.p4.2.m2.1.2.2" xref="A3.p4.2.m2.1.2.2.cmml"><mi id="A3.p4.2.m2.1.2.2.2" xref="A3.p4.2.m2.1.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.p4.2.m2.1.2.2.3" xref="A3.p4.2.m2.1.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.p4.2.m2.1.2.1" xref="A3.p4.2.m2.1.2.1.cmml">​</mo><mrow id="A3.p4.2.m2.1.2.3.2" xref="A3.p4.2.m2.1.2.cmml"><mo stretchy="false" id="A3.p4.2.m2.1.2.3.2.1" xref="A3.p4.2.m2.1.2.cmml">(</mo><mi id="A3.p4.2.m2.1.1" xref="A3.p4.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="A3.p4.2.m2.1.2.3.2.2" xref="A3.p4.2.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.p4.2.m2.1b"><apply id="A3.p4.2.m2.1.2.cmml" xref="A3.p4.2.m2.1.2"><times id="A3.p4.2.m2.1.2.1.cmml" xref="A3.p4.2.m2.1.2.1"></times><apply id="A3.p4.2.m2.1.2.2.cmml" xref="A3.p4.2.m2.1.2.2"><csymbol cd="ambiguous" id="A3.p4.2.m2.1.2.2.1.cmml" xref="A3.p4.2.m2.1.2.2">subscript</csymbol><ci id="A3.p4.2.m2.1.2.2.2.cmml" xref="A3.p4.2.m2.1.2.2.2">𝒉</ci><ci id="A3.p4.2.m2.1.2.2.3.cmml" xref="A3.p4.2.m2.1.2.2.3">ℓ</ci></apply><ci id="A3.p4.2.m2.1.1.cmml" xref="A3.p4.2.m2.1.1">𝒙</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.2.m2.1c">{\bm{h}}_{\ell}({\bm{x}})</annotation></semantics></math> contains elements of size <math id="A3.p4.3.m3.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A3.p4.3.m3.1a"><mrow id="A3.p4.3.m3.1.2" xref="A3.p4.3.m3.1.2.cmml"><mi mathvariant="normal" id="A3.p4.3.m3.1.2.2" xref="A3.p4.3.m3.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A3.p4.3.m3.1.2.1" xref="A3.p4.3.m3.1.2.1.cmml">​</mo><mrow id="A3.p4.3.m3.1.2.3.2" xref="A3.p4.3.m3.1.2.cmml"><mo stretchy="false" id="A3.p4.3.m3.1.2.3.2.1" xref="A3.p4.3.m3.1.2.cmml">(</mo><mn id="A3.p4.3.m3.1.1" xref="A3.p4.3.m3.1.1.cmml">1</mn><mo stretchy="false" id="A3.p4.3.m3.1.2.3.2.2" xref="A3.p4.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.p4.3.m3.1b"><apply id="A3.p4.3.m3.1.2.cmml" xref="A3.p4.3.m3.1.2"><times id="A3.p4.3.m3.1.2.1.cmml" xref="A3.p4.3.m3.1.2.1"></times><ci id="A3.p4.3.m3.1.2.2.cmml" xref="A3.p4.3.m3.1.2.2">Θ</ci><cn type="integer" id="A3.p4.3.m3.1.1.cmml" xref="A3.p4.3.m3.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.3.m3.1c">\Theta(1)</annotation></semantics></math>.
Satisfaction of <a href="#Thmassumption2" title="Assumption 2. ‣ 3.2.2 Nonlinearities ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> merely requires that <math id="A3.p4.4.m4.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="A3.p4.4.m4.1a"><mi id="A3.p4.4.m4.1.1" xref="A3.p4.4.m4.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="A3.p4.4.m4.1b"><ci id="A3.p4.4.m4.1.1.cmml" xref="A3.p4.4.m4.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.4.m4.1c">\phi</annotation></semantics></math> maps a nonvanishing fraction of preactivations to nonzero quantities.
Its violation would require preactivations to concentrate in regions of <math id="A3.p4.5.m5.1" class="ltx_Math" alttext="\mathbb{R}" display="inline"><semantics id="A3.p4.5.m5.1a"><mi id="A3.p4.5.m5.1.1" xref="A3.p4.5.m5.1.1.cmml">ℝ</mi><annotation-xml encoding="MathML-Content" id="A3.p4.5.m5.1b"><ci id="A3.p4.5.m5.1.1.cmml" xref="A3.p4.5.m5.1.1">ℝ</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.5.m5.1c">\mathbb{R}</annotation></semantics></math> which <math id="A3.p4.6.m6.1" class="ltx_Math" alttext="\phi" display="inline"><semantics id="A3.p4.6.m6.1a"><mi id="A3.p4.6.m6.1.1" xref="A3.p4.6.m6.1.1.cmml">ϕ</mi><annotation-xml encoding="MathML-Content" id="A3.p4.6.m6.1b"><ci id="A3.p4.6.m6.1.1.cmml" xref="A3.p4.6.m6.1.1">italic-ϕ</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.6.m6.1c">\phi</annotation></semantics></math> maps to zero.
This might occur, for example, in the unlikely scenario in which <math id="A3.p4.7.m7.1" class="ltx_Math" alttext="\phi=\textrm{ReLU}" display="inline"><semantics id="A3.p4.7.m7.1a"><mrow id="A3.p4.7.m7.1.1" xref="A3.p4.7.m7.1.1.cmml"><mi id="A3.p4.7.m7.1.1.2" xref="A3.p4.7.m7.1.1.2.cmml">ϕ</mi><mo id="A3.p4.7.m7.1.1.1" xref="A3.p4.7.m7.1.1.1.cmml">=</mo><mtext id="A3.p4.7.m7.1.1.3" xref="A3.p4.7.m7.1.1.3a.cmml">ReLU</mtext></mrow><annotation-xml encoding="MathML-Content" id="A3.p4.7.m7.1b"><apply id="A3.p4.7.m7.1.1.cmml" xref="A3.p4.7.m7.1.1"><eq id="A3.p4.7.m7.1.1.1.cmml" xref="A3.p4.7.m7.1.1.1"></eq><ci id="A3.p4.7.m7.1.1.2.cmml" xref="A3.p4.7.m7.1.1.2">italic-ϕ</ci><ci id="A3.p4.7.m7.1.1.3a.cmml" xref="A3.p4.7.m7.1.1.3"><mtext id="A3.p4.7.m7.1.1.3.cmml" xref="A3.p4.7.m7.1.1.3">ReLU</mtext></ci></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.7.m7.1c">\phi=\textrm{ReLU}</annotation></semantics></math> and almost all preactivations are negative.<span id="footnote6" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">6</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">6</sup><span class="ltx_tag ltx_tag_note">6</span>It will also occur if the activation function is <math id="footnote6.m1.1" class="ltx_Math" alttext="\phi(z)=0" display="inline"><semantics id="footnote6.m1.1b"><mrow id="footnote6.m1.1.2" xref="footnote6.m1.1.2.cmml"><mrow id="footnote6.m1.1.2.2" xref="footnote6.m1.1.2.2.cmml"><mi id="footnote6.m1.1.2.2.2" xref="footnote6.m1.1.2.2.2.cmml">ϕ</mi><mo lspace="0em" rspace="0em" id="footnote6.m1.1.2.2.1" xref="footnote6.m1.1.2.2.1.cmml">​</mo><mrow id="footnote6.m1.1.2.2.3.2" xref="footnote6.m1.1.2.2.cmml"><mo stretchy="false" id="footnote6.m1.1.2.2.3.2.1" xref="footnote6.m1.1.2.2.cmml">(</mo><mi id="footnote6.m1.1.1" xref="footnote6.m1.1.1.cmml">z</mi><mo stretchy="false" id="footnote6.m1.1.2.2.3.2.2" xref="footnote6.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="footnote6.m1.1.2.1" xref="footnote6.m1.1.2.1.cmml">=</mo><mn id="footnote6.m1.1.2.3" xref="footnote6.m1.1.2.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="footnote6.m1.1c"><apply id="footnote6.m1.1.2.cmml" xref="footnote6.m1.1.2"><eq id="footnote6.m1.1.2.1.cmml" xref="footnote6.m1.1.2.1"></eq><apply id="footnote6.m1.1.2.2.cmml" xref="footnote6.m1.1.2.2"><times id="footnote6.m1.1.2.2.1.cmml" xref="footnote6.m1.1.2.2.1"></times><ci id="footnote6.m1.1.2.2.2.cmml" xref="footnote6.m1.1.2.2.2">italic-ϕ</ci><ci id="footnote6.m1.1.1.cmml" xref="footnote6.m1.1.1">𝑧</ci></apply><cn type="integer" id="footnote6.m1.1.2.3.cmml" xref="footnote6.m1.1.2.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote6.m1.1d">\phi(z)=0</annotation></semantics></math>, but we can neglect this edge case.</span></span></span>
For activations that do not map nonzero inputs to zero (for example, <math id="A3.p4.8.m8.1" class="ltx_Math" alttext="\phi=\tanh" display="inline"><semantics id="A3.p4.8.m8.1a"><mrow id="A3.p4.8.m8.1.1" xref="A3.p4.8.m8.1.1.cmml"><mi id="A3.p4.8.m8.1.1.2" xref="A3.p4.8.m8.1.1.2.cmml">ϕ</mi><mo id="A3.p4.8.m8.1.1.1" xref="A3.p4.8.m8.1.1.1.cmml">=</mo><mi id="A3.p4.8.m8.1.1.3" xref="A3.p4.8.m8.1.1.3.cmml">tanh</mi></mrow><annotation-xml encoding="MathML-Content" id="A3.p4.8.m8.1b"><apply id="A3.p4.8.m8.1.1.cmml" xref="A3.p4.8.m8.1.1"><eq id="A3.p4.8.m8.1.1.1.cmml" xref="A3.p4.8.m8.1.1.1"></eq><ci id="A3.p4.8.m8.1.1.2.cmml" xref="A3.p4.8.m8.1.1.2">italic-ϕ</ci><tanh id="A3.p4.8.m8.1.1.3.cmml" xref="A3.p4.8.m8.1.1.3"></tanh></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.p4.8.m8.1c">\phi=\tanh</annotation></semantics></math>), <a href="#Thmassumption2" title="Assumption 2. ‣ 3.2.2 Nonlinearities ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> may be dropped altogether.
<a href="#A3.F5" title="In Appendix C Empirical checks of 1, 2 and 3 ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">5</span></a> verifies <a href="#Thmassumption2" title="Assumption 2. ‣ 3.2.2 Nonlinearities ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> in a deep ReLU MLP.
See <cite class="ltx_cite ltx_citemacro_citet">Poole et al. (<a href="#bib.bib34" title="" class="ltx_ref">2016</a>)</cite> for a theoretical framework sufficient to check <a href="#Thmassumption2" title="Assumption 2. ‣ 3.2.2 Nonlinearities ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a> at initialization.</p>
</div>
<figure id="A3.F5" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_1"><img src="/html/2310.17813/assets/x9.png" id="A3.F5.g1" class="ltx_graphics ltx_centering ltx_figure_panel ltx_img_landscape" width="242" height="145" alt="Refer to caption"></div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<p id="A3.F5.1" class="ltx_p ltx_figure_panel ltx_align_center"><span id="A3.F5.1.1" class="ltx_text ltx_inline-block" style="width:0.0pt;"><span id="A3.F5.1.1.1" class="ltx_text" style="position:relative; bottom:13.1pt;"><img src="/html/2310.17813/assets/x10.png" id="A3.F5.1.1.1.g1" class="ltx_graphics ltx_img_portrait" width="5" height="8" alt="Refer to caption"></span></span></p>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 5: </span>
<span id="A3.F5.5.1" class="ltx_text ltx_font_bold">Verification of <a href="#Thmassumption2" title="Assumption 2. ‣ 3.2.2 Nonlinearities ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>.</span>
At all layers, the norm of the activation vector scales as the norm of the corresponding preactivation vector, both before and after training.
(Note that the ratio in this case is close to <math id="A3.F5.3.m1.1" class="ltx_Math" alttext="1/\sqrt{2}" display="inline"><semantics id="A3.F5.3.m1.1b"><mrow id="A3.F5.3.m1.1.1" xref="A3.F5.3.m1.1.1.cmml"><mn id="A3.F5.3.m1.1.1.2" xref="A3.F5.3.m1.1.1.2.cmml">1</mn><mo id="A3.F5.3.m1.1.1.1" xref="A3.F5.3.m1.1.1.1.cmml">/</mo><msqrt id="A3.F5.3.m1.1.1.3" xref="A3.F5.3.m1.1.1.3.cmml"><mn id="A3.F5.3.m1.1.1.3.2" xref="A3.F5.3.m1.1.1.3.2.cmml">2</mn></msqrt></mrow><annotation-xml encoding="MathML-Content" id="A3.F5.3.m1.1c"><apply id="A3.F5.3.m1.1.1.cmml" xref="A3.F5.3.m1.1.1"><divide id="A3.F5.3.m1.1.1.1.cmml" xref="A3.F5.3.m1.1.1.1"></divide><cn type="integer" id="A3.F5.3.m1.1.1.2.cmml" xref="A3.F5.3.m1.1.1.2">1</cn><apply id="A3.F5.3.m1.1.1.3.cmml" xref="A3.F5.3.m1.1.1.3"><root id="A3.F5.3.m1.1.1.3a.cmml" xref="A3.F5.3.m1.1.1.3"></root><cn type="integer" id="A3.F5.3.m1.1.1.3.2.cmml" xref="A3.F5.3.m1.1.1.3.2">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F5.3.m1.1d">1/\sqrt{2}</annotation></semantics></math>, which is what one expects from an approximately-mean-zero random variable passed through a ReLU nonlinearity.)
</figcaption>
</figure>
<div id="Thmassumptionrepeat3" class="ltx_theorem ltx_theorem_assumptionrepeat">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmassumptionrepeat3.1.1.1" class="ltx_text ltx_font_bold">Assumption 3</span></span><span id="Thmassumptionrepeat3.2.2" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmassumptionrepeat3.p1" class="ltx_para">
<p id="Thmassumptionrepeat3.p1.1" class="ltx_p"><math id="Thmassumptionrepeat3.p1.1.m1.3" class="ltx_Math" alttext="\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}=\Theta(|\!|\frac{1}{B}\Delta\!{\bm{W}}_{\ell}^{(i)}{\bm{h}}_{\ell}({\bm{x}}_{i})|\!|_{2})" display="inline"><semantics id="Thmassumptionrepeat3.p1.1.m1.3a"><mrow id="Thmassumptionrepeat3.p1.1.m1.3.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.cmml"><msub id="Thmassumptionrepeat3.p1.1.m1.2.2.1" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.cmml"><mrow id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.2.cmml"><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.2.1.cmml">‖</mo><mrow id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.3.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2.cmml">​</mo><msub id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.cmml"><mi id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.2" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.3" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2a" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2.cmml">​</mo><msub id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.cmml"><mi id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.2" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.3" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2b" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2.cmml">​</mo><mrow id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml">(</mo><msub id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml"><mi id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumptionrepeat3.p1.1.m1.2.2.1.3" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.3.cmml">2</mn></msub><mo id="Thmassumptionrepeat3.p1.1.m1.3.3.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.3.cmml">=</mo><mrow id="Thmassumptionrepeat3.p1.1.m1.3.3.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.cmml"><mi mathvariant="normal" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.2.cmml">​</mo><mrow id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.cmml"><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.cmml">(</mo><msub id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.cmml"><mrow id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.2.cmml"><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.cmml"><mfrac id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.cmml"><mn id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2.cmml">1</mn><mi id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3.cmml">B</mi></mfrac><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><mpadded width="0.663em"><mi mathvariant="normal" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.4" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.4.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2a" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><msubsup id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml"><mi id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3.cmml">ℓ</mi><mrow id="Thmassumptionrepeat3.p1.1.m1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml"><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.1.1.1.3.1" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml">(</mo><mi id="Thmassumptionrepeat3.p1.1.m1.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.1.1.1.1.cmml">i</mi><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.1.1.1.3.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml">)</mo></mrow></msubsup><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2b" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><msub id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.cmml"><mi id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2c" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml">​</mo><mrow id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml">(</mo><msub id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml"><mi id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mn id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.3.cmml">2</mn></msub><mo stretchy="false" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.3" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="Thmassumptionrepeat3.p1.1.m1.3b"><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3"><eq id="Thmassumptionrepeat3.p1.1.m1.3.3.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.3"></eq><apply id="Thmassumptionrepeat3.p1.1.m1.2.2.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1">subscript</csymbol><apply id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1"><csymbol cd="latexml" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.2.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.2">norm</csymbol><apply id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1"><times id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.2"></times><ci id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.3">Δ</ci><apply id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4">subscript</csymbol><ci id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.2">𝑾</ci><ci id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.4.3">ℓ</ci></apply><apply id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5">subscript</csymbol><ci id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.2">𝒉</ci><ci id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.5.3">ℓ</ci></apply><apply id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.2">𝒙</ci><ci id="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="Thmassumptionrepeat3.p1.1.m1.2.2.1.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.2.2.1.3">2</cn></apply><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2"><times id="Thmassumptionrepeat3.p1.1.m1.3.3.2.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.2"></times><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.3">Θ</ci><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1">subscript</csymbol><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1"><csymbol cd="latexml" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.2.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.2">norm</csymbol><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1"><times id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.2"></times><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3"><divide id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3"></divide><cn type="integer" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.2">1</cn><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.3.3">𝐵</ci></apply><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.4.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.4">Δ</ci><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5">superscript</csymbol><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5">subscript</csymbol><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.2">𝑾</ci><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.5.2.3">ℓ</ci></apply><ci id="Thmassumptionrepeat3.p1.1.m1.1.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.1.1.1.1">𝑖</ci></apply><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6">subscript</csymbol><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.2">𝒉</ci><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.6.3">ℓ</ci></apply><apply id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.1.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.2">𝒙</ci><ci id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.3.cmml" xref="Thmassumptionrepeat3.p1.1.m1.3.3.2.1.1.1.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmassumptionrepeat3.p1.1.m1.3c">\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}=\Theta(|\!|\frac{1}{B}\Delta\!{\bm{W}}_{\ell}^{(i)}{\bm{h}}_{\ell}({\bm{x}}_{i})|\!|_{2})</annotation></semantics></math><span id="Thmassumptionrepeat3.p1.1.1" class="ltx_text ltx_font_italic">.</span></p>
</div>
</div>
<div id="A3.p5" class="ltx_para ltx_noindent">
<p id="A3.p5.1" class="ltx_p">Like <a href="#Thmassumption1" title="Assumption 1. ‣ 3.2.1 Additional gradient steps ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>, a violation of <a href="#Thmassumption3" title="Assumption 3. ‣ 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> would require a perfect cancellation of high-dimensional matrices, which is unlikely.
We verify <a href="#Thmassumption3" title="Assumption 3. ‣ 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> in <a href="#A3.F6" title="In Appendix C Empirical checks of 1, 2 and 3 ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">6</span></a>.
<a href="#Thmassumption3" title="Assumption 3. ‣ 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a> is also verified implicitly by the right-hand subplot of <a href="#S3.F1" title="In 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">Figure</span> <span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<figure id="A3.F6" class="ltx_figure">
<div class="ltx_flex_figure">
<div class="ltx_flex_cell ltx_flex_size_1"><img src="/html/2310.17813/assets/x11.png" id="A3.F6.g1" class="ltx_graphics ltx_centering ltx_figure_panel ltx_img_landscape" width="242" height="145" alt="Refer to caption"></div>
<div class="ltx_flex_break"></div>
<div class="ltx_flex_cell ltx_flex_size_1">
<p id="A3.F6.1" class="ltx_p ltx_figure_panel ltx_align_center"><span id="A3.F6.1.1" class="ltx_text ltx_inline-block" style="width:0.0pt;"><span id="A3.F6.1.1.1" class="ltx_text" style="position:relative; bottom:12.9pt;"><img src="/html/2310.17813/assets/x12.png" id="A3.F6.1.1.1.g1" class="ltx_graphics ltx_img_portrait" width="5" height="8" alt="Refer to caption"></span></span></p>
</div>
</div>
<figcaption class="ltx_caption ltx_centering"><span class="ltx_tag ltx_tag_figure">Figure 6: </span>
<span id="A3.F6.17.1" class="ltx_text ltx_font_bold">Verification of <a href="#Thmassumption3" title="Assumption 3. ‣ 3.2.3 Batch size greater than one ‣ 3.2 Extensions: additional gradient steps, nonlinearities, and multiple examples ‣ 3 The spectral scaling condition induces feature learning ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">3</span></a>.</span>
We compute <math id="A3.F6.9.m1.3" class="ltx_Math" alttext="\|\Delta\!{\bm{W}}_{\ell}^{(i)}{\bm{h}}_{\ell}({\bm{x}}_{i})|_{2}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}" display="inline"><semantics id="A3.F6.9.m1.3b"><mrow id="A3.F6.9.m1.3.3" xref="A3.F6.9.m1.3.3.cmml"><msub id="A3.F6.9.m1.2.2.1" xref="A3.F6.9.m1.2.2.1.cmml"><mrow id="A3.F6.9.m1.2.2.1.1.1" xref="A3.F6.9.m1.2.2.1.1.2.cmml"><mo stretchy="false" id="A3.F6.9.m1.2.2.1.1.1.2" xref="A3.F6.9.m1.2.2.1.1.2.1.cmml">‖</mo><mrow id="A3.F6.9.m1.2.2.1.1.1.1" xref="A3.F6.9.m1.2.2.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A3.F6.9.m1.2.2.1.1.1.1.3" xref="A3.F6.9.m1.2.2.1.1.1.1.3.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A3.F6.9.m1.2.2.1.1.1.1.2" xref="A3.F6.9.m1.2.2.1.1.1.1.2.cmml">​</mo><msubsup id="A3.F6.9.m1.2.2.1.1.1.1.4" xref="A3.F6.9.m1.2.2.1.1.1.1.4.cmml"><mi id="A3.F6.9.m1.2.2.1.1.1.1.4.2.2" xref="A3.F6.9.m1.2.2.1.1.1.1.4.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.F6.9.m1.2.2.1.1.1.1.4.2.3" xref="A3.F6.9.m1.2.2.1.1.1.1.4.2.3.cmml">ℓ</mi><mrow id="A3.F6.9.m1.1.1.1.3" xref="A3.F6.9.m1.2.2.1.1.1.1.4.cmml"><mo stretchy="false" id="A3.F6.9.m1.1.1.1.3.1" xref="A3.F6.9.m1.2.2.1.1.1.1.4.cmml">(</mo><mi id="A3.F6.9.m1.1.1.1.1" xref="A3.F6.9.m1.1.1.1.1.cmml">i</mi><mo stretchy="false" id="A3.F6.9.m1.1.1.1.3.2" xref="A3.F6.9.m1.2.2.1.1.1.1.4.cmml">)</mo></mrow></msubsup><mo lspace="0em" rspace="0em" id="A3.F6.9.m1.2.2.1.1.1.1.2b" xref="A3.F6.9.m1.2.2.1.1.1.1.2.cmml">​</mo><msub id="A3.F6.9.m1.2.2.1.1.1.1.5" xref="A3.F6.9.m1.2.2.1.1.1.1.5.cmml"><mi id="A3.F6.9.m1.2.2.1.1.1.1.5.2" xref="A3.F6.9.m1.2.2.1.1.1.1.5.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.F6.9.m1.2.2.1.1.1.1.5.3" xref="A3.F6.9.m1.2.2.1.1.1.1.5.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.F6.9.m1.2.2.1.1.1.1.2c" xref="A3.F6.9.m1.2.2.1.1.1.1.2.cmml">​</mo><mrow id="A3.F6.9.m1.2.2.1.1.1.1.1.1" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.F6.9.m1.2.2.1.1.1.1.1.1.2" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.cmml">(</mo><msub id="A3.F6.9.m1.2.2.1.1.1.1.1.1.1" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.cmml"><mi id="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.2" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.3" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="A3.F6.9.m1.2.2.1.1.1.1.1.1.3" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.F6.9.m1.2.2.1.1.1.3" xref="A3.F6.9.m1.2.2.1.1.2.1.cmml">|</mo></mrow><mn id="A3.F6.9.m1.2.2.1.3" xref="A3.F6.9.m1.2.2.1.3.cmml">2</mn></msub><mo id="A3.F6.9.m1.3.3.3" xref="A3.F6.9.m1.3.3.3.cmml">/</mo><msub id="A3.F6.9.m1.3.3.2" xref="A3.F6.9.m1.3.3.2.cmml"><mrow id="A3.F6.9.m1.3.3.2.1.1" xref="A3.F6.9.m1.3.3.2.1.2.cmml"><mo stretchy="false" id="A3.F6.9.m1.3.3.2.1.1.2" xref="A3.F6.9.m1.3.3.2.1.2.1.cmml">‖</mo><mrow id="A3.F6.9.m1.3.3.2.1.1.1" xref="A3.F6.9.m1.3.3.2.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A3.F6.9.m1.3.3.2.1.1.1.3" xref="A3.F6.9.m1.3.3.2.1.1.1.3.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A3.F6.9.m1.3.3.2.1.1.1.2" xref="A3.F6.9.m1.3.3.2.1.1.1.2.cmml">​</mo><msub id="A3.F6.9.m1.3.3.2.1.1.1.4" xref="A3.F6.9.m1.3.3.2.1.1.1.4.cmml"><mi id="A3.F6.9.m1.3.3.2.1.1.1.4.2" xref="A3.F6.9.m1.3.3.2.1.1.1.4.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.F6.9.m1.3.3.2.1.1.1.4.3" xref="A3.F6.9.m1.3.3.2.1.1.1.4.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.F6.9.m1.3.3.2.1.1.1.2b" xref="A3.F6.9.m1.3.3.2.1.1.1.2.cmml">​</mo><msub id="A3.F6.9.m1.3.3.2.1.1.1.5" xref="A3.F6.9.m1.3.3.2.1.1.1.5.cmml"><mi id="A3.F6.9.m1.3.3.2.1.1.1.5.2" xref="A3.F6.9.m1.3.3.2.1.1.1.5.2.cmml">𝒉</mi><mi mathvariant="normal" id="A3.F6.9.m1.3.3.2.1.1.1.5.3" xref="A3.F6.9.m1.3.3.2.1.1.1.5.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A3.F6.9.m1.3.3.2.1.1.1.2c" xref="A3.F6.9.m1.3.3.2.1.1.1.2.cmml">​</mo><mrow id="A3.F6.9.m1.3.3.2.1.1.1.1.1" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A3.F6.9.m1.3.3.2.1.1.1.1.1.2" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.cmml">(</mo><msub id="A3.F6.9.m1.3.3.2.1.1.1.1.1.1" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.cmml"><mi id="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.2" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.2.cmml">𝒙</mi><mi id="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.3" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.3.cmml">i</mi></msub><mo stretchy="false" id="A3.F6.9.m1.3.3.2.1.1.1.1.1.3" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.cmml">)</mo></mrow></mrow><mo stretchy="false" id="A3.F6.9.m1.3.3.2.1.1.3" xref="A3.F6.9.m1.3.3.2.1.2.1.cmml">‖</mo></mrow><mn id="A3.F6.9.m1.3.3.2.3" xref="A3.F6.9.m1.3.3.2.3.cmml">2</mn></msub></mrow><annotation-xml encoding="MathML-Content" id="A3.F6.9.m1.3c"><apply id="A3.F6.9.m1.3.3.cmml" xref="A3.F6.9.m1.3.3"><divide id="A3.F6.9.m1.3.3.3.cmml" xref="A3.F6.9.m1.3.3.3"></divide><apply id="A3.F6.9.m1.2.2.1.cmml" xref="A3.F6.9.m1.2.2.1"><csymbol cd="ambiguous" id="A3.F6.9.m1.2.2.1.2.cmml" xref="A3.F6.9.m1.2.2.1">subscript</csymbol><apply id="A3.F6.9.m1.2.2.1.1.2.cmml" xref="A3.F6.9.m1.2.2.1.1.1"><csymbol cd="latexml" id="A3.F6.9.m1.2.2.1.1.2.1.cmml" xref="A3.F6.9.m1.2.2.1.1.1.2">delimited-‖|</csymbol><apply id="A3.F6.9.m1.2.2.1.1.1.1.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1"><times id="A3.F6.9.m1.2.2.1.1.1.1.2.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.2"></times><ci id="A3.F6.9.m1.2.2.1.1.1.1.3.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.3">Δ</ci><apply id="A3.F6.9.m1.2.2.1.1.1.1.4.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.F6.9.m1.2.2.1.1.1.1.4.1.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.4">superscript</csymbol><apply id="A3.F6.9.m1.2.2.1.1.1.1.4.2.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.4"><csymbol cd="ambiguous" id="A3.F6.9.m1.2.2.1.1.1.1.4.2.1.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.4">subscript</csymbol><ci id="A3.F6.9.m1.2.2.1.1.1.1.4.2.2.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.4.2.2">𝑾</ci><ci id="A3.F6.9.m1.2.2.1.1.1.1.4.2.3.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.4.2.3">ℓ</ci></apply><ci id="A3.F6.9.m1.1.1.1.1.cmml" xref="A3.F6.9.m1.1.1.1.1">𝑖</ci></apply><apply id="A3.F6.9.m1.2.2.1.1.1.1.5.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.5"><csymbol cd="ambiguous" id="A3.F6.9.m1.2.2.1.1.1.1.5.1.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.5">subscript</csymbol><ci id="A3.F6.9.m1.2.2.1.1.1.1.5.2.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.5.2">𝒉</ci><ci id="A3.F6.9.m1.2.2.1.1.1.1.5.3.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.5.3">ℓ</ci></apply><apply id="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.1.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1">subscript</csymbol><ci id="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.2.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.2">𝒙</ci><ci id="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.3.cmml" xref="A3.F6.9.m1.2.2.1.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="A3.F6.9.m1.2.2.1.3.cmml" xref="A3.F6.9.m1.2.2.1.3">2</cn></apply><apply id="A3.F6.9.m1.3.3.2.cmml" xref="A3.F6.9.m1.3.3.2"><csymbol cd="ambiguous" id="A3.F6.9.m1.3.3.2.2.cmml" xref="A3.F6.9.m1.3.3.2">subscript</csymbol><apply id="A3.F6.9.m1.3.3.2.1.2.cmml" xref="A3.F6.9.m1.3.3.2.1.1"><csymbol cd="latexml" id="A3.F6.9.m1.3.3.2.1.2.1.cmml" xref="A3.F6.9.m1.3.3.2.1.1.2">norm</csymbol><apply id="A3.F6.9.m1.3.3.2.1.1.1.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1"><times id="A3.F6.9.m1.3.3.2.1.1.1.2.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.2"></times><ci id="A3.F6.9.m1.3.3.2.1.1.1.3.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.3">Δ</ci><apply id="A3.F6.9.m1.3.3.2.1.1.1.4.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.4"><csymbol cd="ambiguous" id="A3.F6.9.m1.3.3.2.1.1.1.4.1.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.4">subscript</csymbol><ci id="A3.F6.9.m1.3.3.2.1.1.1.4.2.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.4.2">𝑾</ci><ci id="A3.F6.9.m1.3.3.2.1.1.1.4.3.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.4.3">ℓ</ci></apply><apply id="A3.F6.9.m1.3.3.2.1.1.1.5.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.5"><csymbol cd="ambiguous" id="A3.F6.9.m1.3.3.2.1.1.1.5.1.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.5">subscript</csymbol><ci id="A3.F6.9.m1.3.3.2.1.1.1.5.2.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.5.2">𝒉</ci><ci id="A3.F6.9.m1.3.3.2.1.1.1.5.3.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.5.3">ℓ</ci></apply><apply id="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1"><csymbol cd="ambiguous" id="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.1.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1">subscript</csymbol><ci id="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.2.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.2">𝒙</ci><ci id="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.3.cmml" xref="A3.F6.9.m1.3.3.2.1.1.1.1.1.1.3">𝑖</ci></apply></apply></apply><cn type="integer" id="A3.F6.9.m1.3.3.2.3.cmml" xref="A3.F6.9.m1.3.3.2.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F6.9.m1.3d">\|\Delta\!{\bm{W}}_{\ell}^{(i)}{\bm{h}}_{\ell}({\bm{x}}_{i})|_{2}/\left|\!\left|\Delta\!{\bm{W}}_{\ell}{\bm{h}}_{\ell}({\bm{x}}_{i})\right|\!\right|_{2}</annotation></semantics></math> at layer <math id="A3.F6.10.m2.1" class="ltx_Math" alttext="\ell=2" display="inline"><semantics id="A3.F6.10.m2.1b"><mrow id="A3.F6.10.m2.1.1" xref="A3.F6.10.m2.1.1.cmml"><mi mathvariant="normal" id="A3.F6.10.m2.1.1.2" xref="A3.F6.10.m2.1.1.2.cmml">ℓ</mi><mo id="A3.F6.10.m2.1.1.1" xref="A3.F6.10.m2.1.1.1.cmml">=</mo><mn id="A3.F6.10.m2.1.1.3" xref="A3.F6.10.m2.1.1.3.cmml">2</mn></mrow><annotation-xml encoding="MathML-Content" id="A3.F6.10.m2.1c"><apply id="A3.F6.10.m2.1.1.cmml" xref="A3.F6.10.m2.1.1"><eq id="A3.F6.10.m2.1.1.1.cmml" xref="A3.F6.10.m2.1.1.1"></eq><ci id="A3.F6.10.m2.1.1.2.cmml" xref="A3.F6.10.m2.1.1.2">ℓ</ci><cn type="integer" id="A3.F6.10.m2.1.1.3.cmml" xref="A3.F6.10.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F6.10.m2.1d">\ell=2</annotation></semantics></math> for a single step both at initialization and after training.
As expected, this ratio remains <math id="A3.F6.11.m3.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A3.F6.11.m3.1b"><mrow id="A3.F6.11.m3.1.2" xref="A3.F6.11.m3.1.2.cmml"><mi mathvariant="normal" id="A3.F6.11.m3.1.2.2" xref="A3.F6.11.m3.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A3.F6.11.m3.1.2.1" xref="A3.F6.11.m3.1.2.1.cmml">​</mo><mrow id="A3.F6.11.m3.1.2.3.2" xref="A3.F6.11.m3.1.2.cmml"><mo stretchy="false" id="A3.F6.11.m3.1.2.3.2.1" xref="A3.F6.11.m3.1.2.cmml">(</mo><mn id="A3.F6.11.m3.1.1" xref="A3.F6.11.m3.1.1.cmml">1</mn><mo stretchy="false" id="A3.F6.11.m3.1.2.3.2.2" xref="A3.F6.11.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A3.F6.11.m3.1c"><apply id="A3.F6.11.m3.1.2.cmml" xref="A3.F6.11.m3.1.2"><times id="A3.F6.11.m3.1.2.1.cmml" xref="A3.F6.11.m3.1.2.1"></times><ci id="A3.F6.11.m3.1.2.2.cmml" xref="A3.F6.11.m3.1.2.2">Θ</ci><cn type="integer" id="A3.F6.11.m3.1.1.cmml" xref="A3.F6.11.m3.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F6.11.m3.1d">\Theta(1)</annotation></semantics></math> as width grows — note the lack of decay with width.
We note as a curiosity that this quantity hovers around <math id="A3.F6.12.m4.1" class="ltx_Math" alttext="1/\sqrt{B}" display="inline"><semantics id="A3.F6.12.m4.1b"><mrow id="A3.F6.12.m4.1.1" xref="A3.F6.12.m4.1.1.cmml"><mn id="A3.F6.12.m4.1.1.2" xref="A3.F6.12.m4.1.1.2.cmml">1</mn><mo id="A3.F6.12.m4.1.1.1" xref="A3.F6.12.m4.1.1.1.cmml">/</mo><msqrt id="A3.F6.12.m4.1.1.3" xref="A3.F6.12.m4.1.1.3.cmml"><mi id="A3.F6.12.m4.1.1.3.2" xref="A3.F6.12.m4.1.1.3.2.cmml">B</mi></msqrt></mrow><annotation-xml encoding="MathML-Content" id="A3.F6.12.m4.1c"><apply id="A3.F6.12.m4.1.1.cmml" xref="A3.F6.12.m4.1.1"><divide id="A3.F6.12.m4.1.1.1.cmml" xref="A3.F6.12.m4.1.1.1"></divide><cn type="integer" id="A3.F6.12.m4.1.1.2.cmml" xref="A3.F6.12.m4.1.1.2">1</cn><apply id="A3.F6.12.m4.1.1.3.cmml" xref="A3.F6.12.m4.1.1.3"><root id="A3.F6.12.m4.1.1.3a.cmml" xref="A3.F6.12.m4.1.1.3"></root><ci id="A3.F6.12.m4.1.1.3.2.cmml" xref="A3.F6.12.m4.1.1.3.2">𝐵</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F6.12.m4.1d">1/\sqrt{B}</annotation></semantics></math> (dashed line), which one expects from the central limit theorem if, for example, <math id="A3.F6.13.m5.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}" display="inline"><semantics id="A3.F6.13.m5.1b"><mrow id="A3.F6.13.m5.1.1" xref="A3.F6.13.m5.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A3.F6.13.m5.1.1.2" xref="A3.F6.13.m5.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A3.F6.13.m5.1.1.1" xref="A3.F6.13.m5.1.1.1.cmml">​</mo><msub id="A3.F6.13.m5.1.1.3" xref="A3.F6.13.m5.1.1.3.cmml"><mi id="A3.F6.13.m5.1.1.3.2" xref="A3.F6.13.m5.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.F6.13.m5.1.1.3.3" xref="A3.F6.13.m5.1.1.3.3.cmml">ℓ</mi></msub></mrow><annotation-xml encoding="MathML-Content" id="A3.F6.13.m5.1c"><apply id="A3.F6.13.m5.1.1.cmml" xref="A3.F6.13.m5.1.1"><times id="A3.F6.13.m5.1.1.1.cmml" xref="A3.F6.13.m5.1.1.1"></times><ci id="A3.F6.13.m5.1.1.2.cmml" xref="A3.F6.13.m5.1.1.2">Δ</ci><apply id="A3.F6.13.m5.1.1.3.cmml" xref="A3.F6.13.m5.1.1.3"><csymbol cd="ambiguous" id="A3.F6.13.m5.1.1.3.1.cmml" xref="A3.F6.13.m5.1.1.3">subscript</csymbol><ci id="A3.F6.13.m5.1.1.3.2.cmml" xref="A3.F6.13.m5.1.1.3.2">𝑾</ci><ci id="A3.F6.13.m5.1.1.3.3.cmml" xref="A3.F6.13.m5.1.1.3.3">ℓ</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F6.13.m5.1d">\Delta\!{\bm{W}}_{\ell}</annotation></semantics></math> resembles a sum of <math id="A3.F6.14.m6.1" class="ltx_Math" alttext="B" display="inline"><semantics id="A3.F6.14.m6.1b"><mi id="A3.F6.14.m6.1.1" xref="A3.F6.14.m6.1.1.cmml">B</mi><annotation-xml encoding="MathML-Content" id="A3.F6.14.m6.1c"><ci id="A3.F6.14.m6.1.1.cmml" xref="A3.F6.14.m6.1.1">𝐵</ci></annotation-xml><annotation encoding="application/x-tex" id="A3.F6.14.m6.1d">B</annotation></semantics></math> terms similar to <math id="A3.F6.15.m7.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}^{(i)}" display="inline"><semantics id="A3.F6.15.m7.1b"><mrow id="A3.F6.15.m7.1.2" xref="A3.F6.15.m7.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A3.F6.15.m7.1.2.2" xref="A3.F6.15.m7.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A3.F6.15.m7.1.2.1" xref="A3.F6.15.m7.1.2.1.cmml">​</mo><msubsup id="A3.F6.15.m7.1.2.3" xref="A3.F6.15.m7.1.2.3.cmml"><mi id="A3.F6.15.m7.1.2.3.2.2" xref="A3.F6.15.m7.1.2.3.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="A3.F6.15.m7.1.2.3.2.3" xref="A3.F6.15.m7.1.2.3.2.3.cmml">ℓ</mi><mrow id="A3.F6.15.m7.1.1.1.3" xref="A3.F6.15.m7.1.2.3.cmml"><mo stretchy="false" id="A3.F6.15.m7.1.1.1.3.1" xref="A3.F6.15.m7.1.2.3.cmml">(</mo><mi id="A3.F6.15.m7.1.1.1.1" xref="A3.F6.15.m7.1.1.1.1.cmml">i</mi><mo stretchy="false" id="A3.F6.15.m7.1.1.1.3.2" xref="A3.F6.15.m7.1.2.3.cmml">)</mo></mrow></msubsup></mrow><annotation-xml encoding="MathML-Content" id="A3.F6.15.m7.1c"><apply id="A3.F6.15.m7.1.2.cmml" xref="A3.F6.15.m7.1.2"><times id="A3.F6.15.m7.1.2.1.cmml" xref="A3.F6.15.m7.1.2.1"></times><ci id="A3.F6.15.m7.1.2.2.cmml" xref="A3.F6.15.m7.1.2.2">Δ</ci><apply id="A3.F6.15.m7.1.2.3.cmml" xref="A3.F6.15.m7.1.2.3"><csymbol cd="ambiguous" id="A3.F6.15.m7.1.2.3.1.cmml" xref="A3.F6.15.m7.1.2.3">superscript</csymbol><apply id="A3.F6.15.m7.1.2.3.2.cmml" xref="A3.F6.15.m7.1.2.3"><csymbol cd="ambiguous" id="A3.F6.15.m7.1.2.3.2.1.cmml" xref="A3.F6.15.m7.1.2.3">subscript</csymbol><ci id="A3.F6.15.m7.1.2.3.2.2.cmml" xref="A3.F6.15.m7.1.2.3.2.2">𝑾</ci><ci id="A3.F6.15.m7.1.2.3.2.3.cmml" xref="A3.F6.15.m7.1.2.3.2.3">ℓ</ci></apply><ci id="A3.F6.15.m7.1.1.1.1.cmml" xref="A3.F6.15.m7.1.1.1.1">𝑖</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A3.F6.15.m7.1d">\Delta\!{\bm{W}}_{\ell}^{(i)}</annotation></semantics></math> but with random signs.
</figcaption>
</figure>
</section>
<section id="A4" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix D </span>Scalings for biases</h2>

<div id="A4.p1" class="ltx_para ltx_noindent">
<p id="A4.p1.11" class="ltx_p">Here we extend our spectral analysis to biases.
Let <math id="A4.p1.1.m1.1" class="ltx_Math" alttext="{\bm{b}}_{\ell}\in\mathbb{R}^{0pt_{\ell}}" display="inline"><semantics id="A4.p1.1.m1.1a"><mrow id="A4.p1.1.m1.1.1" xref="A4.p1.1.m1.1.1.cmml"><msub id="A4.p1.1.m1.1.1.2" xref="A4.p1.1.m1.1.1.2.cmml"><mi id="A4.p1.1.m1.1.1.2.2" xref="A4.p1.1.m1.1.1.2.2.cmml">𝒃</mi><mi mathvariant="normal" id="A4.p1.1.m1.1.1.2.3" xref="A4.p1.1.m1.1.1.2.3.cmml">ℓ</mi></msub><mo id="A4.p1.1.m1.1.1.1" xref="A4.p1.1.m1.1.1.1.cmml">∈</mo><msup id="A4.p1.1.m1.1.1.3" xref="A4.p1.1.m1.1.1.3.cmml"><mi id="A4.p1.1.m1.1.1.3.2" xref="A4.p1.1.m1.1.1.3.2.cmml">ℝ</mi><mrow id="A4.p1.1.m1.1.1.3.3" xref="A4.p1.1.m1.1.1.3.3.cmml"><mn id="A4.p1.1.m1.1.1.3.3.2" xref="A4.p1.1.m1.1.1.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A4.p1.1.m1.1.1.3.3.1" xref="A4.p1.1.m1.1.1.3.3.1.cmml">​</mo><mi id="A4.p1.1.m1.1.1.3.3.3" xref="A4.p1.1.m1.1.1.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A4.p1.1.m1.1.1.3.3.1a" xref="A4.p1.1.m1.1.1.3.3.1.cmml">​</mo><msub id="A4.p1.1.m1.1.1.3.3.4" xref="A4.p1.1.m1.1.1.3.3.4.cmml"><mi id="A4.p1.1.m1.1.1.3.3.4.2" xref="A4.p1.1.m1.1.1.3.3.4.2.cmml">t</mi><mi mathvariant="normal" id="A4.p1.1.m1.1.1.3.3.4.3" xref="A4.p1.1.m1.1.1.3.3.4.3.cmml">ℓ</mi></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.1.m1.1b"><apply id="A4.p1.1.m1.1.1.cmml" xref="A4.p1.1.m1.1.1"><in id="A4.p1.1.m1.1.1.1.cmml" xref="A4.p1.1.m1.1.1.1"></in><apply id="A4.p1.1.m1.1.1.2.cmml" xref="A4.p1.1.m1.1.1.2"><csymbol cd="ambiguous" id="A4.p1.1.m1.1.1.2.1.cmml" xref="A4.p1.1.m1.1.1.2">subscript</csymbol><ci id="A4.p1.1.m1.1.1.2.2.cmml" xref="A4.p1.1.m1.1.1.2.2">𝒃</ci><ci id="A4.p1.1.m1.1.1.2.3.cmml" xref="A4.p1.1.m1.1.1.2.3">ℓ</ci></apply><apply id="A4.p1.1.m1.1.1.3.cmml" xref="A4.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="A4.p1.1.m1.1.1.3.1.cmml" xref="A4.p1.1.m1.1.1.3">superscript</csymbol><ci id="A4.p1.1.m1.1.1.3.2.cmml" xref="A4.p1.1.m1.1.1.3.2">ℝ</ci><apply id="A4.p1.1.m1.1.1.3.3.cmml" xref="A4.p1.1.m1.1.1.3.3"><times id="A4.p1.1.m1.1.1.3.3.1.cmml" xref="A4.p1.1.m1.1.1.3.3.1"></times><cn type="integer" id="A4.p1.1.m1.1.1.3.3.2.cmml" xref="A4.p1.1.m1.1.1.3.3.2">0</cn><ci id="A4.p1.1.m1.1.1.3.3.3.cmml" xref="A4.p1.1.m1.1.1.3.3.3">𝑝</ci><apply id="A4.p1.1.m1.1.1.3.3.4.cmml" xref="A4.p1.1.m1.1.1.3.3.4"><csymbol cd="ambiguous" id="A4.p1.1.m1.1.1.3.3.4.1.cmml" xref="A4.p1.1.m1.1.1.3.3.4">subscript</csymbol><ci id="A4.p1.1.m1.1.1.3.3.4.2.cmml" xref="A4.p1.1.m1.1.1.3.3.4.2">𝑡</ci><ci id="A4.p1.1.m1.1.1.3.3.4.3.cmml" xref="A4.p1.1.m1.1.1.3.3.4.3">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.1.m1.1c">{\bm{b}}_{\ell}\in\mathbb{R}^{0pt_{\ell}}</annotation></semantics></math> be a bias vector which enters during forward propagation as <math id="A4.p1.2.m2.2" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})+{\bm{b}}_{\ell}" display="inline"><semantics id="A4.p1.2.m2.2a"><mrow id="A4.p1.2.m2.2.3" xref="A4.p1.2.m2.2.3.cmml"><mrow id="A4.p1.2.m2.2.3.2" xref="A4.p1.2.m2.2.3.2.cmml"><msub id="A4.p1.2.m2.2.3.2.2" xref="A4.p1.2.m2.2.3.2.2.cmml"><mi id="A4.p1.2.m2.2.3.2.2.2" xref="A4.p1.2.m2.2.3.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="A4.p1.2.m2.2.3.2.2.3" xref="A4.p1.2.m2.2.3.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A4.p1.2.m2.2.3.2.1" xref="A4.p1.2.m2.2.3.2.1.cmml">​</mo><mrow id="A4.p1.2.m2.2.3.2.3.2" xref="A4.p1.2.m2.2.3.2.cmml"><mo stretchy="false" id="A4.p1.2.m2.2.3.2.3.2.1" xref="A4.p1.2.m2.2.3.2.cmml">(</mo><mi id="A4.p1.2.m2.1.1" xref="A4.p1.2.m2.1.1.cmml">𝒙</mi><mo stretchy="false" id="A4.p1.2.m2.2.3.2.3.2.2" xref="A4.p1.2.m2.2.3.2.cmml">)</mo></mrow></mrow><mo id="A4.p1.2.m2.2.3.1" xref="A4.p1.2.m2.2.3.1.cmml">=</mo><mrow id="A4.p1.2.m2.2.3.3" xref="A4.p1.2.m2.2.3.3.cmml"><mrow id="A4.p1.2.m2.2.3.3.2" xref="A4.p1.2.m2.2.3.3.2.cmml"><msub id="A4.p1.2.m2.2.3.3.2.2" xref="A4.p1.2.m2.2.3.3.2.2.cmml"><mi id="A4.p1.2.m2.2.3.3.2.2.2" xref="A4.p1.2.m2.2.3.3.2.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="A4.p1.2.m2.2.3.3.2.2.3" xref="A4.p1.2.m2.2.3.3.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="A4.p1.2.m2.2.3.3.2.1" xref="A4.p1.2.m2.2.3.3.2.1.cmml">​</mo><msubsup id="A4.p1.2.m2.2.3.3.2.3" xref="A4.p1.2.m2.2.3.3.2.3.cmml"><mi id="A4.p1.2.m2.2.3.3.2.3.2.2" xref="A4.p1.2.m2.2.3.3.2.3.2.2.cmml">𝒉</mi><mrow id="A4.p1.2.m2.2.3.3.2.3.3" xref="A4.p1.2.m2.2.3.3.2.3.3.cmml"><mi mathvariant="normal" id="A4.p1.2.m2.2.3.3.2.3.3.2" xref="A4.p1.2.m2.2.3.3.2.3.3.2.cmml">ℓ</mi><mo id="A4.p1.2.m2.2.3.3.2.3.3.1" xref="A4.p1.2.m2.2.3.3.2.3.3.1.cmml">−</mo><mn id="A4.p1.2.m2.2.3.3.2.3.3.3" xref="A4.p1.2.m2.2.3.3.2.3.3.3.cmml">1</mn></mrow><mo id="A4.p1.2.m2.2.3.3.2.3.2.3" xref="A4.p1.2.m2.2.3.3.2.3.2.3.cmml">′</mo></msubsup><mo lspace="0em" rspace="0em" id="A4.p1.2.m2.2.3.3.2.1a" xref="A4.p1.2.m2.2.3.3.2.1.cmml">​</mo><mrow id="A4.p1.2.m2.2.3.3.2.4.2" xref="A4.p1.2.m2.2.3.3.2.cmml"><mo stretchy="false" id="A4.p1.2.m2.2.3.3.2.4.2.1" xref="A4.p1.2.m2.2.3.3.2.cmml">(</mo><mi id="A4.p1.2.m2.2.2" xref="A4.p1.2.m2.2.2.cmml">𝒙</mi><mo stretchy="false" id="A4.p1.2.m2.2.3.3.2.4.2.2" xref="A4.p1.2.m2.2.3.3.2.cmml">)</mo></mrow></mrow><mo id="A4.p1.2.m2.2.3.3.1" xref="A4.p1.2.m2.2.3.3.1.cmml">+</mo><msub id="A4.p1.2.m2.2.3.3.3" xref="A4.p1.2.m2.2.3.3.3.cmml"><mi id="A4.p1.2.m2.2.3.3.3.2" xref="A4.p1.2.m2.2.3.3.3.2.cmml">𝒃</mi><mi mathvariant="normal" id="A4.p1.2.m2.2.3.3.3.3" xref="A4.p1.2.m2.2.3.3.3.3.cmml">ℓ</mi></msub></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.2.m2.2b"><apply id="A4.p1.2.m2.2.3.cmml" xref="A4.p1.2.m2.2.3"><eq id="A4.p1.2.m2.2.3.1.cmml" xref="A4.p1.2.m2.2.3.1"></eq><apply id="A4.p1.2.m2.2.3.2.cmml" xref="A4.p1.2.m2.2.3.2"><times id="A4.p1.2.m2.2.3.2.1.cmml" xref="A4.p1.2.m2.2.3.2.1"></times><apply id="A4.p1.2.m2.2.3.2.2.cmml" xref="A4.p1.2.m2.2.3.2.2"><csymbol cd="ambiguous" id="A4.p1.2.m2.2.3.2.2.1.cmml" xref="A4.p1.2.m2.2.3.2.2">subscript</csymbol><ci id="A4.p1.2.m2.2.3.2.2.2.cmml" xref="A4.p1.2.m2.2.3.2.2.2">𝒉</ci><ci id="A4.p1.2.m2.2.3.2.2.3.cmml" xref="A4.p1.2.m2.2.3.2.2.3">ℓ</ci></apply><ci id="A4.p1.2.m2.1.1.cmml" xref="A4.p1.2.m2.1.1">𝒙</ci></apply><apply id="A4.p1.2.m2.2.3.3.cmml" xref="A4.p1.2.m2.2.3.3"><plus id="A4.p1.2.m2.2.3.3.1.cmml" xref="A4.p1.2.m2.2.3.3.1"></plus><apply id="A4.p1.2.m2.2.3.3.2.cmml" xref="A4.p1.2.m2.2.3.3.2"><times id="A4.p1.2.m2.2.3.3.2.1.cmml" xref="A4.p1.2.m2.2.3.3.2.1"></times><apply id="A4.p1.2.m2.2.3.3.2.2.cmml" xref="A4.p1.2.m2.2.3.3.2.2"><csymbol cd="ambiguous" id="A4.p1.2.m2.2.3.3.2.2.1.cmml" xref="A4.p1.2.m2.2.3.3.2.2">subscript</csymbol><ci id="A4.p1.2.m2.2.3.3.2.2.2.cmml" xref="A4.p1.2.m2.2.3.3.2.2.2">𝑾</ci><ci id="A4.p1.2.m2.2.3.3.2.2.3.cmml" xref="A4.p1.2.m2.2.3.3.2.2.3">ℓ</ci></apply><apply id="A4.p1.2.m2.2.3.3.2.3.cmml" xref="A4.p1.2.m2.2.3.3.2.3"><csymbol cd="ambiguous" id="A4.p1.2.m2.2.3.3.2.3.1.cmml" xref="A4.p1.2.m2.2.3.3.2.3">subscript</csymbol><apply id="A4.p1.2.m2.2.3.3.2.3.2.cmml" xref="A4.p1.2.m2.2.3.3.2.3"><csymbol cd="ambiguous" id="A4.p1.2.m2.2.3.3.2.3.2.1.cmml" xref="A4.p1.2.m2.2.3.3.2.3">superscript</csymbol><ci id="A4.p1.2.m2.2.3.3.2.3.2.2.cmml" xref="A4.p1.2.m2.2.3.3.2.3.2.2">𝒉</ci><ci id="A4.p1.2.m2.2.3.3.2.3.2.3.cmml" xref="A4.p1.2.m2.2.3.3.2.3.2.3">′</ci></apply><apply id="A4.p1.2.m2.2.3.3.2.3.3.cmml" xref="A4.p1.2.m2.2.3.3.2.3.3"><minus id="A4.p1.2.m2.2.3.3.2.3.3.1.cmml" xref="A4.p1.2.m2.2.3.3.2.3.3.1"></minus><ci id="A4.p1.2.m2.2.3.3.2.3.3.2.cmml" xref="A4.p1.2.m2.2.3.3.2.3.3.2">ℓ</ci><cn type="integer" id="A4.p1.2.m2.2.3.3.2.3.3.3.cmml" xref="A4.p1.2.m2.2.3.3.2.3.3.3">1</cn></apply></apply><ci id="A4.p1.2.m2.2.2.cmml" xref="A4.p1.2.m2.2.2">𝒙</ci></apply><apply id="A4.p1.2.m2.2.3.3.3.cmml" xref="A4.p1.2.m2.2.3.3.3"><csymbol cd="ambiguous" id="A4.p1.2.m2.2.3.3.3.1.cmml" xref="A4.p1.2.m2.2.3.3.3">subscript</csymbol><ci id="A4.p1.2.m2.2.3.3.3.2.cmml" xref="A4.p1.2.m2.2.3.3.3.2">𝒃</ci><ci id="A4.p1.2.m2.2.3.3.3.3.cmml" xref="A4.p1.2.m2.2.3.3.3.3">ℓ</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.2.m2.2c">{\bm{h}}_{\ell}({\bm{x}})={\bm{W}}_{\ell}{\bm{h}}^{\prime}_{\ell-1}({\bm{x}})+{\bm{b}}_{\ell}</annotation></semantics></math>.
We may choose to view the bias vector as a weight matrix <math id="A4.p1.3.m3.1" class="ltx_Math" alttext="{\bm{b}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 1}" display="inline"><semantics id="A4.p1.3.m3.1a"><mrow id="A4.p1.3.m3.1.1" xref="A4.p1.3.m3.1.1.cmml"><msub id="A4.p1.3.m3.1.1.2" xref="A4.p1.3.m3.1.1.2.cmml"><mi id="A4.p1.3.m3.1.1.2.2" xref="A4.p1.3.m3.1.1.2.2.cmml">𝒃</mi><mi mathvariant="normal" id="A4.p1.3.m3.1.1.2.3" xref="A4.p1.3.m3.1.1.2.3.cmml">ℓ</mi></msub><mo id="A4.p1.3.m3.1.1.1" xref="A4.p1.3.m3.1.1.1.cmml">∈</mo><msup id="A4.p1.3.m3.1.1.3" xref="A4.p1.3.m3.1.1.3.cmml"><mi id="A4.p1.3.m3.1.1.3.2" xref="A4.p1.3.m3.1.1.3.2.cmml">ℝ</mi><mrow id="A4.p1.3.m3.1.1.3.3" xref="A4.p1.3.m3.1.1.3.3.cmml"><mrow id="A4.p1.3.m3.1.1.3.3.2" xref="A4.p1.3.m3.1.1.3.3.2.cmml"><mn id="A4.p1.3.m3.1.1.3.3.2.2" xref="A4.p1.3.m3.1.1.3.3.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A4.p1.3.m3.1.1.3.3.2.1" xref="A4.p1.3.m3.1.1.3.3.2.1.cmml">​</mo><mi id="A4.p1.3.m3.1.1.3.3.2.3" xref="A4.p1.3.m3.1.1.3.3.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A4.p1.3.m3.1.1.3.3.2.1a" xref="A4.p1.3.m3.1.1.3.3.2.1.cmml">​</mo><msub id="A4.p1.3.m3.1.1.3.3.2.4" xref="A4.p1.3.m3.1.1.3.3.2.4.cmml"><mi id="A4.p1.3.m3.1.1.3.3.2.4.2" xref="A4.p1.3.m3.1.1.3.3.2.4.2.cmml">t</mi><mi mathvariant="normal" id="A4.p1.3.m3.1.1.3.3.2.4.3" xref="A4.p1.3.m3.1.1.3.3.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="A4.p1.3.m3.1.1.3.3.1" xref="A4.p1.3.m3.1.1.3.3.1.cmml">×</mo><mn id="A4.p1.3.m3.1.1.3.3.3" xref="A4.p1.3.m3.1.1.3.3.3.cmml">1</mn></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.3.m3.1b"><apply id="A4.p1.3.m3.1.1.cmml" xref="A4.p1.3.m3.1.1"><in id="A4.p1.3.m3.1.1.1.cmml" xref="A4.p1.3.m3.1.1.1"></in><apply id="A4.p1.3.m3.1.1.2.cmml" xref="A4.p1.3.m3.1.1.2"><csymbol cd="ambiguous" id="A4.p1.3.m3.1.1.2.1.cmml" xref="A4.p1.3.m3.1.1.2">subscript</csymbol><ci id="A4.p1.3.m3.1.1.2.2.cmml" xref="A4.p1.3.m3.1.1.2.2">𝒃</ci><ci id="A4.p1.3.m3.1.1.2.3.cmml" xref="A4.p1.3.m3.1.1.2.3">ℓ</ci></apply><apply id="A4.p1.3.m3.1.1.3.cmml" xref="A4.p1.3.m3.1.1.3"><csymbol cd="ambiguous" id="A4.p1.3.m3.1.1.3.1.cmml" xref="A4.p1.3.m3.1.1.3">superscript</csymbol><ci id="A4.p1.3.m3.1.1.3.2.cmml" xref="A4.p1.3.m3.1.1.3.2">ℝ</ci><apply id="A4.p1.3.m3.1.1.3.3.cmml" xref="A4.p1.3.m3.1.1.3.3"><times id="A4.p1.3.m3.1.1.3.3.1.cmml" xref="A4.p1.3.m3.1.1.3.3.1"></times><apply id="A4.p1.3.m3.1.1.3.3.2.cmml" xref="A4.p1.3.m3.1.1.3.3.2"><times id="A4.p1.3.m3.1.1.3.3.2.1.cmml" xref="A4.p1.3.m3.1.1.3.3.2.1"></times><cn type="integer" id="A4.p1.3.m3.1.1.3.3.2.2.cmml" xref="A4.p1.3.m3.1.1.3.3.2.2">0</cn><ci id="A4.p1.3.m3.1.1.3.3.2.3.cmml" xref="A4.p1.3.m3.1.1.3.3.2.3">𝑝</ci><apply id="A4.p1.3.m3.1.1.3.3.2.4.cmml" xref="A4.p1.3.m3.1.1.3.3.2.4"><csymbol cd="ambiguous" id="A4.p1.3.m3.1.1.3.3.2.4.1.cmml" xref="A4.p1.3.m3.1.1.3.3.2.4">subscript</csymbol><ci id="A4.p1.3.m3.1.1.3.3.2.4.2.cmml" xref="A4.p1.3.m3.1.1.3.3.2.4.2">𝑡</ci><ci id="A4.p1.3.m3.1.1.3.3.2.4.3.cmml" xref="A4.p1.3.m3.1.1.3.3.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="A4.p1.3.m3.1.1.3.3.3.cmml" xref="A4.p1.3.m3.1.1.3.3.3">1</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.3.m3.1c">{\bm{b}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 1}</annotation></semantics></math> connecting an auxiliary layer with width <math id="A4.p1.4.m4.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A4.p1.4.m4.1a"><mn id="A4.p1.4.m4.1.1" xref="A4.p1.4.m4.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A4.p1.4.m4.1b"><cn type="integer" id="A4.p1.4.m4.1.1.cmml" xref="A4.p1.4.m4.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.4.m4.1c">1</annotation></semantics></math> and output <math id="A4.p1.5.m5.1" class="ltx_Math" alttext="1" display="inline"><semantics id="A4.p1.5.m5.1a"><mn id="A4.p1.5.m5.1.1" xref="A4.p1.5.m5.1.1.cmml">1</mn><annotation-xml encoding="MathML-Content" id="A4.p1.5.m5.1b"><cn type="integer" id="A4.p1.5.m5.1.1.cmml" xref="A4.p1.5.m5.1.1">1</cn></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.5.m5.1c">1</annotation></semantics></math> to the <math id="A4.p1.6.m6.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="A4.p1.6.m6.1a"><mi mathvariant="normal" id="A4.p1.6.m6.1.1" xref="A4.p1.6.m6.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="A4.p1.6.m6.1b"><ci id="A4.p1.6.m6.1.1.cmml" xref="A4.p1.6.m6.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.6.m6.1c">\ell</annotation></semantics></math>th hidden layer, after which we may simply apply our scaling analysis for weight matrices.
The spectral scaling condition (<a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>) prescribes that <math id="A4.p1.7.m7.2" class="ltx_Math" alttext="\left|\!\left|{\bm{b}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})" display="inline"><semantics id="A4.p1.7.m7.2a"><mrow id="A4.p1.7.m7.2.2" xref="A4.p1.7.m7.2.2.cmml"><msub id="A4.p1.7.m7.2.2.1" xref="A4.p1.7.m7.2.2.1.cmml"><mrow id="A4.p1.7.m7.2.2.1.1.1" xref="A4.p1.7.m7.2.2.1.1.2.cmml"><mo stretchy="false" id="A4.p1.7.m7.2.2.1.1.1.2" xref="A4.p1.7.m7.2.2.1.1.2.1.cmml">‖</mo><msub id="A4.p1.7.m7.2.2.1.1.1.1" xref="A4.p1.7.m7.2.2.1.1.1.1.cmml"><mi id="A4.p1.7.m7.2.2.1.1.1.1.2" xref="A4.p1.7.m7.2.2.1.1.1.1.2.cmml">𝒃</mi><mi mathvariant="normal" id="A4.p1.7.m7.2.2.1.1.1.1.3" xref="A4.p1.7.m7.2.2.1.1.1.1.3.cmml">ℓ</mi></msub><mo stretchy="false" id="A4.p1.7.m7.2.2.1.1.1.3" xref="A4.p1.7.m7.2.2.1.1.2.1.cmml">‖</mo></mrow><mn id="A4.p1.7.m7.2.2.1.3" xref="A4.p1.7.m7.2.2.1.3.cmml">2</mn></msub><mo id="A4.p1.7.m7.2.2.2" xref="A4.p1.7.m7.2.2.2.cmml">=</mo><mrow id="A4.p1.7.m7.2.2.3" xref="A4.p1.7.m7.2.2.3.cmml"><mi mathvariant="normal" id="A4.p1.7.m7.2.2.3.2" xref="A4.p1.7.m7.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A4.p1.7.m7.2.2.3.1" xref="A4.p1.7.m7.2.2.3.1.cmml">​</mo><mrow id="A4.p1.7.m7.2.2.3.3.2" xref="A4.p1.7.m7.1.1.cmml"><mo stretchy="false" id="A4.p1.7.m7.2.2.3.3.2.1" xref="A4.p1.7.m7.1.1.cmml">(</mo><msqrt id="A4.p1.7.m7.1.1" xref="A4.p1.7.m7.1.1.cmml"><mrow id="A4.p1.7.m7.1.1.2" xref="A4.p1.7.m7.1.1.2.cmml"><mn id="A4.p1.7.m7.1.1.2.2" xref="A4.p1.7.m7.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A4.p1.7.m7.1.1.2.1" xref="A4.p1.7.m7.1.1.2.1.cmml">​</mo><mi id="A4.p1.7.m7.1.1.2.3" xref="A4.p1.7.m7.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A4.p1.7.m7.1.1.2.1a" xref="A4.p1.7.m7.1.1.2.1.cmml">​</mo><msub id="A4.p1.7.m7.1.1.2.4" xref="A4.p1.7.m7.1.1.2.4.cmml"><mi id="A4.p1.7.m7.1.1.2.4.2" xref="A4.p1.7.m7.1.1.2.4.2.cmml">t</mi><mi mathvariant="normal" id="A4.p1.7.m7.1.1.2.4.3" xref="A4.p1.7.m7.1.1.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="A4.p1.7.m7.2.2.3.3.2.2" xref="A4.p1.7.m7.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.7.m7.2b"><apply id="A4.p1.7.m7.2.2.cmml" xref="A4.p1.7.m7.2.2"><eq id="A4.p1.7.m7.2.2.2.cmml" xref="A4.p1.7.m7.2.2.2"></eq><apply id="A4.p1.7.m7.2.2.1.cmml" xref="A4.p1.7.m7.2.2.1"><csymbol cd="ambiguous" id="A4.p1.7.m7.2.2.1.2.cmml" xref="A4.p1.7.m7.2.2.1">subscript</csymbol><apply id="A4.p1.7.m7.2.2.1.1.2.cmml" xref="A4.p1.7.m7.2.2.1.1.1"><csymbol cd="latexml" id="A4.p1.7.m7.2.2.1.1.2.1.cmml" xref="A4.p1.7.m7.2.2.1.1.1.2">norm</csymbol><apply id="A4.p1.7.m7.2.2.1.1.1.1.cmml" xref="A4.p1.7.m7.2.2.1.1.1.1"><csymbol cd="ambiguous" id="A4.p1.7.m7.2.2.1.1.1.1.1.cmml" xref="A4.p1.7.m7.2.2.1.1.1.1">subscript</csymbol><ci id="A4.p1.7.m7.2.2.1.1.1.1.2.cmml" xref="A4.p1.7.m7.2.2.1.1.1.1.2">𝒃</ci><ci id="A4.p1.7.m7.2.2.1.1.1.1.3.cmml" xref="A4.p1.7.m7.2.2.1.1.1.1.3">ℓ</ci></apply></apply><cn type="integer" id="A4.p1.7.m7.2.2.1.3.cmml" xref="A4.p1.7.m7.2.2.1.3">2</cn></apply><apply id="A4.p1.7.m7.2.2.3.cmml" xref="A4.p1.7.m7.2.2.3"><times id="A4.p1.7.m7.2.2.3.1.cmml" xref="A4.p1.7.m7.2.2.3.1"></times><ci id="A4.p1.7.m7.2.2.3.2.cmml" xref="A4.p1.7.m7.2.2.3.2">Θ</ci><apply id="A4.p1.7.m7.1.1.cmml" xref="A4.p1.7.m7.2.2.3.3.2"><root id="A4.p1.7.m7.1.1a.cmml" xref="A4.p1.7.m7.2.2.3.3.2"></root><apply id="A4.p1.7.m7.1.1.2.cmml" xref="A4.p1.7.m7.1.1.2"><times id="A4.p1.7.m7.1.1.2.1.cmml" xref="A4.p1.7.m7.1.1.2.1"></times><cn type="integer" id="A4.p1.7.m7.1.1.2.2.cmml" xref="A4.p1.7.m7.1.1.2.2">0</cn><ci id="A4.p1.7.m7.1.1.2.3.cmml" xref="A4.p1.7.m7.1.1.2.3">𝑝</ci><apply id="A4.p1.7.m7.1.1.2.4.cmml" xref="A4.p1.7.m7.1.1.2.4"><csymbol cd="ambiguous" id="A4.p1.7.m7.1.1.2.4.1.cmml" xref="A4.p1.7.m7.1.1.2.4">subscript</csymbol><ci id="A4.p1.7.m7.1.1.2.4.2.cmml" xref="A4.p1.7.m7.1.1.2.4.2">𝑡</ci><ci id="A4.p1.7.m7.1.1.2.4.3.cmml" xref="A4.p1.7.m7.1.1.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.7.m7.2c">\left|\!\left|{\bm{b}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})</annotation></semantics></math> and <math id="A4.p1.8.m8.2" class="ltx_Math" alttext="\left|\!\left|\Delta{\bm{b}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})" display="inline"><semantics id="A4.p1.8.m8.2a"><mrow id="A4.p1.8.m8.2.2" xref="A4.p1.8.m8.2.2.cmml"><msub id="A4.p1.8.m8.2.2.1" xref="A4.p1.8.m8.2.2.1.cmml"><mrow id="A4.p1.8.m8.2.2.1.1.1" xref="A4.p1.8.m8.2.2.1.1.2.cmml"><mo stretchy="false" id="A4.p1.8.m8.2.2.1.1.1.2" xref="A4.p1.8.m8.2.2.1.1.2.1.cmml">‖</mo><mrow id="A4.p1.8.m8.2.2.1.1.1.1" xref="A4.p1.8.m8.2.2.1.1.1.1.cmml"><mi mathvariant="normal" id="A4.p1.8.m8.2.2.1.1.1.1.2" xref="A4.p1.8.m8.2.2.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A4.p1.8.m8.2.2.1.1.1.1.1" xref="A4.p1.8.m8.2.2.1.1.1.1.1.cmml">​</mo><msub id="A4.p1.8.m8.2.2.1.1.1.1.3" xref="A4.p1.8.m8.2.2.1.1.1.1.3.cmml"><mi id="A4.p1.8.m8.2.2.1.1.1.1.3.2" xref="A4.p1.8.m8.2.2.1.1.1.1.3.2.cmml">𝒃</mi><mi mathvariant="normal" id="A4.p1.8.m8.2.2.1.1.1.1.3.3" xref="A4.p1.8.m8.2.2.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="A4.p1.8.m8.2.2.1.1.1.3" xref="A4.p1.8.m8.2.2.1.1.2.1.cmml">‖</mo></mrow><mn id="A4.p1.8.m8.2.2.1.3" xref="A4.p1.8.m8.2.2.1.3.cmml">2</mn></msub><mo id="A4.p1.8.m8.2.2.2" xref="A4.p1.8.m8.2.2.2.cmml">=</mo><mrow id="A4.p1.8.m8.2.2.3" xref="A4.p1.8.m8.2.2.3.cmml"><mi mathvariant="normal" id="A4.p1.8.m8.2.2.3.2" xref="A4.p1.8.m8.2.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A4.p1.8.m8.2.2.3.1" xref="A4.p1.8.m8.2.2.3.1.cmml">​</mo><mrow id="A4.p1.8.m8.2.2.3.3.2" xref="A4.p1.8.m8.1.1.cmml"><mo stretchy="false" id="A4.p1.8.m8.2.2.3.3.2.1" xref="A4.p1.8.m8.1.1.cmml">(</mo><msqrt id="A4.p1.8.m8.1.1" xref="A4.p1.8.m8.1.1.cmml"><mrow id="A4.p1.8.m8.1.1.2" xref="A4.p1.8.m8.1.1.2.cmml"><mn id="A4.p1.8.m8.1.1.2.2" xref="A4.p1.8.m8.1.1.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A4.p1.8.m8.1.1.2.1" xref="A4.p1.8.m8.1.1.2.1.cmml">​</mo><mi id="A4.p1.8.m8.1.1.2.3" xref="A4.p1.8.m8.1.1.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A4.p1.8.m8.1.1.2.1a" xref="A4.p1.8.m8.1.1.2.1.cmml">​</mo><msub id="A4.p1.8.m8.1.1.2.4" xref="A4.p1.8.m8.1.1.2.4.cmml"><mi id="A4.p1.8.m8.1.1.2.4.2" xref="A4.p1.8.m8.1.1.2.4.2.cmml">t</mi><mi mathvariant="normal" id="A4.p1.8.m8.1.1.2.4.3" xref="A4.p1.8.m8.1.1.2.4.3.cmml">ℓ</mi></msub></mrow></msqrt><mo stretchy="false" id="A4.p1.8.m8.2.2.3.3.2.2" xref="A4.p1.8.m8.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.8.m8.2b"><apply id="A4.p1.8.m8.2.2.cmml" xref="A4.p1.8.m8.2.2"><eq id="A4.p1.8.m8.2.2.2.cmml" xref="A4.p1.8.m8.2.2.2"></eq><apply id="A4.p1.8.m8.2.2.1.cmml" xref="A4.p1.8.m8.2.2.1"><csymbol cd="ambiguous" id="A4.p1.8.m8.2.2.1.2.cmml" xref="A4.p1.8.m8.2.2.1">subscript</csymbol><apply id="A4.p1.8.m8.2.2.1.1.2.cmml" xref="A4.p1.8.m8.2.2.1.1.1"><csymbol cd="latexml" id="A4.p1.8.m8.2.2.1.1.2.1.cmml" xref="A4.p1.8.m8.2.2.1.1.1.2">norm</csymbol><apply id="A4.p1.8.m8.2.2.1.1.1.1.cmml" xref="A4.p1.8.m8.2.2.1.1.1.1"><times id="A4.p1.8.m8.2.2.1.1.1.1.1.cmml" xref="A4.p1.8.m8.2.2.1.1.1.1.1"></times><ci id="A4.p1.8.m8.2.2.1.1.1.1.2.cmml" xref="A4.p1.8.m8.2.2.1.1.1.1.2">Δ</ci><apply id="A4.p1.8.m8.2.2.1.1.1.1.3.cmml" xref="A4.p1.8.m8.2.2.1.1.1.1.3"><csymbol cd="ambiguous" id="A4.p1.8.m8.2.2.1.1.1.1.3.1.cmml" xref="A4.p1.8.m8.2.2.1.1.1.1.3">subscript</csymbol><ci id="A4.p1.8.m8.2.2.1.1.1.1.3.2.cmml" xref="A4.p1.8.m8.2.2.1.1.1.1.3.2">𝒃</ci><ci id="A4.p1.8.m8.2.2.1.1.1.1.3.3.cmml" xref="A4.p1.8.m8.2.2.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><cn type="integer" id="A4.p1.8.m8.2.2.1.3.cmml" xref="A4.p1.8.m8.2.2.1.3">2</cn></apply><apply id="A4.p1.8.m8.2.2.3.cmml" xref="A4.p1.8.m8.2.2.3"><times id="A4.p1.8.m8.2.2.3.1.cmml" xref="A4.p1.8.m8.2.2.3.1"></times><ci id="A4.p1.8.m8.2.2.3.2.cmml" xref="A4.p1.8.m8.2.2.3.2">Θ</ci><apply id="A4.p1.8.m8.1.1.cmml" xref="A4.p1.8.m8.2.2.3.3.2"><root id="A4.p1.8.m8.1.1a.cmml" xref="A4.p1.8.m8.2.2.3.3.2"></root><apply id="A4.p1.8.m8.1.1.2.cmml" xref="A4.p1.8.m8.1.1.2"><times id="A4.p1.8.m8.1.1.2.1.cmml" xref="A4.p1.8.m8.1.1.2.1"></times><cn type="integer" id="A4.p1.8.m8.1.1.2.2.cmml" xref="A4.p1.8.m8.1.1.2.2">0</cn><ci id="A4.p1.8.m8.1.1.2.3.cmml" xref="A4.p1.8.m8.1.1.2.3">𝑝</ci><apply id="A4.p1.8.m8.1.1.2.4.cmml" xref="A4.p1.8.m8.1.1.2.4"><csymbol cd="ambiguous" id="A4.p1.8.m8.1.1.2.4.1.cmml" xref="A4.p1.8.m8.1.1.2.4">subscript</csymbol><ci id="A4.p1.8.m8.1.1.2.4.2.cmml" xref="A4.p1.8.m8.1.1.2.4.2">𝑡</ci><ci id="A4.p1.8.m8.1.1.2.4.3.cmml" xref="A4.p1.8.m8.1.1.2.4.3">ℓ</ci></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.8.m8.2c">\left|\!\left|\Delta{\bm{b}}_{\ell}\right|\!\right|_{2}=\Theta(\sqrt{0pt_{\ell}})</annotation></semantics></math>, and <a href="#Thmparametrization1" title="Parametrization 1 (Spectral parametrization). ‣ 4 Efficient implementation of the spectral scaling condition ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> prescribes that the initialization scale and learning rate should be <math id="A4.p1.9.m9.1" class="ltx_Math" alttext="\sigma^{b}_{\ell}=\Theta(1)" display="inline"><semantics id="A4.p1.9.m9.1a"><mrow id="A4.p1.9.m9.1.2" xref="A4.p1.9.m9.1.2.cmml"><msubsup id="A4.p1.9.m9.1.2.2" xref="A4.p1.9.m9.1.2.2.cmml"><mi id="A4.p1.9.m9.1.2.2.2.2" xref="A4.p1.9.m9.1.2.2.2.2.cmml">σ</mi><mi mathvariant="normal" id="A4.p1.9.m9.1.2.2.3" xref="A4.p1.9.m9.1.2.2.3.cmml">ℓ</mi><mi id="A4.p1.9.m9.1.2.2.2.3" xref="A4.p1.9.m9.1.2.2.2.3.cmml">b</mi></msubsup><mo id="A4.p1.9.m9.1.2.1" xref="A4.p1.9.m9.1.2.1.cmml">=</mo><mrow id="A4.p1.9.m9.1.2.3" xref="A4.p1.9.m9.1.2.3.cmml"><mi mathvariant="normal" id="A4.p1.9.m9.1.2.3.2" xref="A4.p1.9.m9.1.2.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A4.p1.9.m9.1.2.3.1" xref="A4.p1.9.m9.1.2.3.1.cmml">​</mo><mrow id="A4.p1.9.m9.1.2.3.3.2" xref="A4.p1.9.m9.1.2.3.cmml"><mo stretchy="false" id="A4.p1.9.m9.1.2.3.3.2.1" xref="A4.p1.9.m9.1.2.3.cmml">(</mo><mn id="A4.p1.9.m9.1.1" xref="A4.p1.9.m9.1.1.cmml">1</mn><mo stretchy="false" id="A4.p1.9.m9.1.2.3.3.2.2" xref="A4.p1.9.m9.1.2.3.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.9.m9.1b"><apply id="A4.p1.9.m9.1.2.cmml" xref="A4.p1.9.m9.1.2"><eq id="A4.p1.9.m9.1.2.1.cmml" xref="A4.p1.9.m9.1.2.1"></eq><apply id="A4.p1.9.m9.1.2.2.cmml" xref="A4.p1.9.m9.1.2.2"><csymbol cd="ambiguous" id="A4.p1.9.m9.1.2.2.1.cmml" xref="A4.p1.9.m9.1.2.2">subscript</csymbol><apply id="A4.p1.9.m9.1.2.2.2.cmml" xref="A4.p1.9.m9.1.2.2"><csymbol cd="ambiguous" id="A4.p1.9.m9.1.2.2.2.1.cmml" xref="A4.p1.9.m9.1.2.2">superscript</csymbol><ci id="A4.p1.9.m9.1.2.2.2.2.cmml" xref="A4.p1.9.m9.1.2.2.2.2">𝜎</ci><ci id="A4.p1.9.m9.1.2.2.2.3.cmml" xref="A4.p1.9.m9.1.2.2.2.3">𝑏</ci></apply><ci id="A4.p1.9.m9.1.2.2.3.cmml" xref="A4.p1.9.m9.1.2.2.3">ℓ</ci></apply><apply id="A4.p1.9.m9.1.2.3.cmml" xref="A4.p1.9.m9.1.2.3"><times id="A4.p1.9.m9.1.2.3.1.cmml" xref="A4.p1.9.m9.1.2.3.1"></times><ci id="A4.p1.9.m9.1.2.3.2.cmml" xref="A4.p1.9.m9.1.2.3.2">Θ</ci><cn type="integer" id="A4.p1.9.m9.1.1.cmml" xref="A4.p1.9.m9.1.1">1</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.9.m9.1c">\sigma^{b}_{\ell}=\Theta(1)</annotation></semantics></math> and <math id="A4.p1.10.m10.1" class="ltx_Math" alttext="\eta^{b}_{\ell}=\Theta(0pt_{\ell})" display="inline"><semantics id="A4.p1.10.m10.1a"><mrow id="A4.p1.10.m10.1.1" xref="A4.p1.10.m10.1.1.cmml"><msubsup id="A4.p1.10.m10.1.1.3" xref="A4.p1.10.m10.1.1.3.cmml"><mi id="A4.p1.10.m10.1.1.3.2.2" xref="A4.p1.10.m10.1.1.3.2.2.cmml">η</mi><mi mathvariant="normal" id="A4.p1.10.m10.1.1.3.3" xref="A4.p1.10.m10.1.1.3.3.cmml">ℓ</mi><mi id="A4.p1.10.m10.1.1.3.2.3" xref="A4.p1.10.m10.1.1.3.2.3.cmml">b</mi></msubsup><mo id="A4.p1.10.m10.1.1.2" xref="A4.p1.10.m10.1.1.2.cmml">=</mo><mrow id="A4.p1.10.m10.1.1.1" xref="A4.p1.10.m10.1.1.1.cmml"><mi mathvariant="normal" id="A4.p1.10.m10.1.1.1.3" xref="A4.p1.10.m10.1.1.1.3.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A4.p1.10.m10.1.1.1.2" xref="A4.p1.10.m10.1.1.1.2.cmml">​</mo><mrow id="A4.p1.10.m10.1.1.1.1.1" xref="A4.p1.10.m10.1.1.1.1.1.1.cmml"><mo stretchy="false" id="A4.p1.10.m10.1.1.1.1.1.2" xref="A4.p1.10.m10.1.1.1.1.1.1.cmml">(</mo><mrow id="A4.p1.10.m10.1.1.1.1.1.1" xref="A4.p1.10.m10.1.1.1.1.1.1.cmml"><mn id="A4.p1.10.m10.1.1.1.1.1.1.2" xref="A4.p1.10.m10.1.1.1.1.1.1.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="A4.p1.10.m10.1.1.1.1.1.1.1" xref="A4.p1.10.m10.1.1.1.1.1.1.1.cmml">​</mo><mi id="A4.p1.10.m10.1.1.1.1.1.1.3" xref="A4.p1.10.m10.1.1.1.1.1.1.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="A4.p1.10.m10.1.1.1.1.1.1.1a" xref="A4.p1.10.m10.1.1.1.1.1.1.1.cmml">​</mo><msub id="A4.p1.10.m10.1.1.1.1.1.1.4" xref="A4.p1.10.m10.1.1.1.1.1.1.4.cmml"><mi id="A4.p1.10.m10.1.1.1.1.1.1.4.2" xref="A4.p1.10.m10.1.1.1.1.1.1.4.2.cmml">t</mi><mi mathvariant="normal" id="A4.p1.10.m10.1.1.1.1.1.1.4.3" xref="A4.p1.10.m10.1.1.1.1.1.1.4.3.cmml">ℓ</mi></msub></mrow><mo stretchy="false" id="A4.p1.10.m10.1.1.1.1.1.3" xref="A4.p1.10.m10.1.1.1.1.1.1.cmml">)</mo></mrow></mrow></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.10.m10.1b"><apply id="A4.p1.10.m10.1.1.cmml" xref="A4.p1.10.m10.1.1"><eq id="A4.p1.10.m10.1.1.2.cmml" xref="A4.p1.10.m10.1.1.2"></eq><apply id="A4.p1.10.m10.1.1.3.cmml" xref="A4.p1.10.m10.1.1.3"><csymbol cd="ambiguous" id="A4.p1.10.m10.1.1.3.1.cmml" xref="A4.p1.10.m10.1.1.3">subscript</csymbol><apply id="A4.p1.10.m10.1.1.3.2.cmml" xref="A4.p1.10.m10.1.1.3"><csymbol cd="ambiguous" id="A4.p1.10.m10.1.1.3.2.1.cmml" xref="A4.p1.10.m10.1.1.3">superscript</csymbol><ci id="A4.p1.10.m10.1.1.3.2.2.cmml" xref="A4.p1.10.m10.1.1.3.2.2">𝜂</ci><ci id="A4.p1.10.m10.1.1.3.2.3.cmml" xref="A4.p1.10.m10.1.1.3.2.3">𝑏</ci></apply><ci id="A4.p1.10.m10.1.1.3.3.cmml" xref="A4.p1.10.m10.1.1.3.3">ℓ</ci></apply><apply id="A4.p1.10.m10.1.1.1.cmml" xref="A4.p1.10.m10.1.1.1"><times id="A4.p1.10.m10.1.1.1.2.cmml" xref="A4.p1.10.m10.1.1.1.2"></times><ci id="A4.p1.10.m10.1.1.1.3.cmml" xref="A4.p1.10.m10.1.1.1.3">Θ</ci><apply id="A4.p1.10.m10.1.1.1.1.1.1.cmml" xref="A4.p1.10.m10.1.1.1.1.1"><times id="A4.p1.10.m10.1.1.1.1.1.1.1.cmml" xref="A4.p1.10.m10.1.1.1.1.1.1.1"></times><cn type="integer" id="A4.p1.10.m10.1.1.1.1.1.1.2.cmml" xref="A4.p1.10.m10.1.1.1.1.1.1.2">0</cn><ci id="A4.p1.10.m10.1.1.1.1.1.1.3.cmml" xref="A4.p1.10.m10.1.1.1.1.1.1.3">𝑝</ci><apply id="A4.p1.10.m10.1.1.1.1.1.1.4.cmml" xref="A4.p1.10.m10.1.1.1.1.1.1.4"><csymbol cd="ambiguous" id="A4.p1.10.m10.1.1.1.1.1.1.4.1.cmml" xref="A4.p1.10.m10.1.1.1.1.1.1.4">subscript</csymbol><ci id="A4.p1.10.m10.1.1.1.1.1.1.4.2.cmml" xref="A4.p1.10.m10.1.1.1.1.1.1.4.2">𝑡</ci><ci id="A4.p1.10.m10.1.1.1.1.1.1.4.3.cmml" xref="A4.p1.10.m10.1.1.1.1.1.1.4.3">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.10.m10.1c">\eta^{b}_{\ell}=\Theta(0pt_{\ell})</annotation></semantics></math>.
In practice, one may usually just take <math id="A4.p1.11.m11.1" class="ltx_Math" alttext="\sigma^{b}_{\ell}=0" display="inline"><semantics id="A4.p1.11.m11.1a"><mrow id="A4.p1.11.m11.1.1" xref="A4.p1.11.m11.1.1.cmml"><msubsup id="A4.p1.11.m11.1.1.2" xref="A4.p1.11.m11.1.1.2.cmml"><mi id="A4.p1.11.m11.1.1.2.2.2" xref="A4.p1.11.m11.1.1.2.2.2.cmml">σ</mi><mi mathvariant="normal" id="A4.p1.11.m11.1.1.2.3" xref="A4.p1.11.m11.1.1.2.3.cmml">ℓ</mi><mi id="A4.p1.11.m11.1.1.2.2.3" xref="A4.p1.11.m11.1.1.2.2.3.cmml">b</mi></msubsup><mo id="A4.p1.11.m11.1.1.1" xref="A4.p1.11.m11.1.1.1.cmml">=</mo><mn id="A4.p1.11.m11.1.1.3" xref="A4.p1.11.m11.1.1.3.cmml">0</mn></mrow><annotation-xml encoding="MathML-Content" id="A4.p1.11.m11.1b"><apply id="A4.p1.11.m11.1.1.cmml" xref="A4.p1.11.m11.1.1"><eq id="A4.p1.11.m11.1.1.1.cmml" xref="A4.p1.11.m11.1.1.1"></eq><apply id="A4.p1.11.m11.1.1.2.cmml" xref="A4.p1.11.m11.1.1.2"><csymbol cd="ambiguous" id="A4.p1.11.m11.1.1.2.1.cmml" xref="A4.p1.11.m11.1.1.2">subscript</csymbol><apply id="A4.p1.11.m11.1.1.2.2.cmml" xref="A4.p1.11.m11.1.1.2"><csymbol cd="ambiguous" id="A4.p1.11.m11.1.1.2.2.1.cmml" xref="A4.p1.11.m11.1.1.2">superscript</csymbol><ci id="A4.p1.11.m11.1.1.2.2.2.cmml" xref="A4.p1.11.m11.1.1.2.2.2">𝜎</ci><ci id="A4.p1.11.m11.1.1.2.2.3.cmml" xref="A4.p1.11.m11.1.1.2.2.3">𝑏</ci></apply><ci id="A4.p1.11.m11.1.1.2.3.cmml" xref="A4.p1.11.m11.1.1.2.3">ℓ</ci></apply><cn type="integer" id="A4.p1.11.m11.1.1.3.cmml" xref="A4.p1.11.m11.1.1.3">0</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A4.p1.11.m11.1c">\sigma^{b}_{\ell}=0</annotation></semantics></math>.</p>
</div>
</section>
<section id="A5" class="ltx_appendix">
<h2 class="ltx_title ltx_title_appendix">
<span class="ltx_tag ltx_tag_appendix">Appendix E </span>Nondimensionalization and natural norms</h2>

<div id="A5.p1" class="ltx_para ltx_noindent">
<p id="A5.p1.3" class="ltx_p">While there are conventional notions of vector norms and matrix spectral norms, one can equip any norm on the input and output spaces of a matrix, thereby inducing a corresponding spectral norm on it.
For example, the conventional spectral norm of a matrix is defined assuming the typical <math id="A5.p1.1.m1.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="A5.p1.1.m1.1a"><msup id="A5.p1.1.m1.1.1" xref="A5.p1.1.m1.1.1.cmml"><mi mathvariant="normal" id="A5.p1.1.m1.1.1.2" xref="A5.p1.1.m1.1.1.2.cmml">ℓ</mi><mn id="A5.p1.1.m1.1.1.3" xref="A5.p1.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="A5.p1.1.m1.1b"><apply id="A5.p1.1.m1.1.1.cmml" xref="A5.p1.1.m1.1.1"><csymbol cd="ambiguous" id="A5.p1.1.m1.1.1.1.cmml" xref="A5.p1.1.m1.1.1">superscript</csymbol><ci id="A5.p1.1.m1.1.1.2.cmml" xref="A5.p1.1.m1.1.1.2">ℓ</ci><cn type="integer" id="A5.p1.1.m1.1.1.3.cmml" xref="A5.p1.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.1.m1.1c">\ell^{2}</annotation></semantics></math> norm on the input and output spaces; if the input space is instead given the <math id="A5.p1.2.m2.1" class="ltx_Math" alttext="\ell^{1}" display="inline"><semantics id="A5.p1.2.m2.1a"><msup id="A5.p1.2.m2.1.1" xref="A5.p1.2.m2.1.1.cmml"><mi mathvariant="normal" id="A5.p1.2.m2.1.1.2" xref="A5.p1.2.m2.1.1.2.cmml">ℓ</mi><mn id="A5.p1.2.m2.1.1.3" xref="A5.p1.2.m2.1.1.3.cmml">1</mn></msup><annotation-xml encoding="MathML-Content" id="A5.p1.2.m2.1b"><apply id="A5.p1.2.m2.1.1.cmml" xref="A5.p1.2.m2.1.1"><csymbol cd="ambiguous" id="A5.p1.2.m2.1.1.1.cmml" xref="A5.p1.2.m2.1.1">superscript</csymbol><ci id="A5.p1.2.m2.1.1.2.cmml" xref="A5.p1.2.m2.1.1.2">ℓ</ci><cn type="integer" id="A5.p1.2.m2.1.1.3.cmml" xref="A5.p1.2.m2.1.1.3">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.2.m2.1c">\ell^{1}</annotation></semantics></math> norm, then the spectral norm is something very different.
As we explain below, the vectors encountered in deep neural networks naturally come with a specific notion of norm, which we refer to as the “natural norm.” When we equip vectors at various layers of the neural network with their natural norms, we induce what we call a “natural spectral norm” on the weight matrices. Our primary criterion <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> is then simplified to stipulating that these <em id="A5.p1.3.1" class="ltx_emph ltx_font_italic">natural spectral norms</em> should be <math id="A5.p1.3.m3.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A5.p1.3.m3.1a"><mrow id="A5.p1.3.m3.1.2" xref="A5.p1.3.m3.1.2.cmml"><mi mathvariant="normal" id="A5.p1.3.m3.1.2.2" xref="A5.p1.3.m3.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A5.p1.3.m3.1.2.1" xref="A5.p1.3.m3.1.2.1.cmml">​</mo><mrow id="A5.p1.3.m3.1.2.3.2" xref="A5.p1.3.m3.1.2.cmml"><mo stretchy="false" id="A5.p1.3.m3.1.2.3.2.1" xref="A5.p1.3.m3.1.2.cmml">(</mo><mn id="A5.p1.3.m3.1.1" xref="A5.p1.3.m3.1.1.cmml">1</mn><mo stretchy="false" id="A5.p1.3.m3.1.2.3.2.2" xref="A5.p1.3.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.p1.3.m3.1b"><apply id="A5.p1.3.m3.1.2.cmml" xref="A5.p1.3.m3.1.2"><times id="A5.p1.3.m3.1.2.1.cmml" xref="A5.p1.3.m3.1.2.1"></times><ci id="A5.p1.3.m3.1.2.2.cmml" xref="A5.p1.3.m3.1.2.2">Θ</ci><cn type="integer" id="A5.p1.3.m3.1.1.cmml" xref="A5.p1.3.m3.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.p1.3.m3.1c">\Theta(1)</annotation></semantics></math> in the limit of large network width (<a href="#Thmcondition2" title="Condition 2 (Spectral scaling, natural norms). ‣ E.3 Spectral scaling in natural norms ‣ Appendix E Nondimensionalization and natural norms ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">2</span></a>).</p>
</div>
<section id="A5.SS1" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">E.1 </span>Dense and sparse vectors</h3>

<div id="A5.SS1.p1" class="ltx_para ltx_noindent">
<p id="A5.SS1.p1.1" class="ltx_p">Vectors in the context of deep learning typically fall into one of two categories: dense and sparse.
Dense vectors are characterized by having every entry contribute a constant amount to the squared Euclidean norm of the vector, while sparse vectors have only a constant number of entries that do so.
Here, the term “constant” means <math id="A5.SS1.p1.1.m1.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A5.SS1.p1.1.m1.1a"><mrow id="A5.SS1.p1.1.m1.1.2" xref="A5.SS1.p1.1.m1.1.2.cmml"><mi mathvariant="normal" id="A5.SS1.p1.1.m1.1.2.2" xref="A5.SS1.p1.1.m1.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A5.SS1.p1.1.m1.1.2.1" xref="A5.SS1.p1.1.m1.1.2.1.cmml">​</mo><mrow id="A5.SS1.p1.1.m1.1.2.3.2" xref="A5.SS1.p1.1.m1.1.2.cmml"><mo stretchy="false" id="A5.SS1.p1.1.m1.1.2.3.2.1" xref="A5.SS1.p1.1.m1.1.2.cmml">(</mo><mn id="A5.SS1.p1.1.m1.1.1" xref="A5.SS1.p1.1.m1.1.1.cmml">1</mn><mo stretchy="false" id="A5.SS1.p1.1.m1.1.2.3.2.2" xref="A5.SS1.p1.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.SS1.p1.1.m1.1b"><apply id="A5.SS1.p1.1.m1.1.2.cmml" xref="A5.SS1.p1.1.m1.1.2"><times id="A5.SS1.p1.1.m1.1.2.1.cmml" xref="A5.SS1.p1.1.m1.1.2.1"></times><ci id="A5.SS1.p1.1.m1.1.2.2.cmml" xref="A5.SS1.p1.1.m1.1.2.2">Θ</ci><cn type="integer" id="A5.SS1.p1.1.m1.1.1.cmml" xref="A5.SS1.p1.1.m1.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.SS1.p1.1.m1.1c">\Theta(1)</annotation></semantics></math> with respect to the size of the vector.<span id="footnote7" class="ltx_note ltx_role_footnote"><sup class="ltx_note_mark">7</sup><span class="ltx_note_outer"><span class="ltx_note_content"><sup class="ltx_note_mark">7</sup><span class="ltx_tag ltx_tag_note">7</span>Actually, a vector of <math id="footnote7.m1.1" class="ltx_Math" alttext="d" display="inline"><semantics id="footnote7.m1.1b"><mi id="footnote7.m1.1.1" xref="footnote7.m1.1.1.cmml">d</mi><annotation-xml encoding="MathML-Content" id="footnote7.m1.1c"><ci id="footnote7.m1.1.1.cmml" xref="footnote7.m1.1.1">𝑑</ci></annotation-xml><annotation encoding="application/x-tex" id="footnote7.m1.1d">d</annotation></semantics></math> iid samples from a unbounded subgaussian or subexponential distribution will have its extreme elements scale like <math id="footnote7.m2.1" class="ltx_Math" alttext="\mathrm{polylog}(d)" display="inline"><semantics id="footnote7.m2.1b"><mrow id="footnote7.m2.1.2" xref="footnote7.m2.1.2.cmml"><mi id="footnote7.m2.1.2.2" xref="footnote7.m2.1.2.2.cmml">polylog</mi><mo lspace="0em" rspace="0em" id="footnote7.m2.1.2.1" xref="footnote7.m2.1.2.1.cmml">​</mo><mrow id="footnote7.m2.1.2.3.2" xref="footnote7.m2.1.2.cmml"><mo stretchy="false" id="footnote7.m2.1.2.3.2.1" xref="footnote7.m2.1.2.cmml">(</mo><mi id="footnote7.m2.1.1" xref="footnote7.m2.1.1.cmml">d</mi><mo stretchy="false" id="footnote7.m2.1.2.3.2.2" xref="footnote7.m2.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="footnote7.m2.1c"><apply id="footnote7.m2.1.2.cmml" xref="footnote7.m2.1.2"><times id="footnote7.m2.1.2.1.cmml" xref="footnote7.m2.1.2.1"></times><ci id="footnote7.m2.1.2.2.cmml" xref="footnote7.m2.1.2.2">polylog</ci><ci id="footnote7.m2.1.1.cmml" xref="footnote7.m2.1.1">𝑑</ci></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote7.m2.1d">\mathrm{polylog}(d)</annotation></semantics></math>, so the really correct thing to say here is <math id="footnote7.m3.1" class="ltx_Math" alttext="\tilde{\Theta}(1)" display="inline"><semantics id="footnote7.m3.1b"><mrow id="footnote7.m3.1.2" xref="footnote7.m3.1.2.cmml"><mover accent="true" id="footnote7.m3.1.2.2" xref="footnote7.m3.1.2.2.cmml"><mi mathvariant="normal" id="footnote7.m3.1.2.2.2" xref="footnote7.m3.1.2.2.2.cmml">Θ</mi><mo id="footnote7.m3.1.2.2.1" xref="footnote7.m3.1.2.2.1.cmml">~</mo></mover><mo lspace="0em" rspace="0em" id="footnote7.m3.1.2.1" xref="footnote7.m3.1.2.1.cmml">​</mo><mrow id="footnote7.m3.1.2.3.2" xref="footnote7.m3.1.2.cmml"><mo stretchy="false" id="footnote7.m3.1.2.3.2.1" xref="footnote7.m3.1.2.cmml">(</mo><mn id="footnote7.m3.1.1" xref="footnote7.m3.1.1.cmml">1</mn><mo stretchy="false" id="footnote7.m3.1.2.3.2.2" xref="footnote7.m3.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="footnote7.m3.1c"><apply id="footnote7.m3.1.2.cmml" xref="footnote7.m3.1.2"><times id="footnote7.m3.1.2.1.cmml" xref="footnote7.m3.1.2.1"></times><apply id="footnote7.m3.1.2.2.cmml" xref="footnote7.m3.1.2.2"><ci id="footnote7.m3.1.2.2.1.cmml" xref="footnote7.m3.1.2.2.1">~</ci><ci id="footnote7.m3.1.2.2.2.cmml" xref="footnote7.m3.1.2.2.2">Θ</ci></apply><cn type="integer" id="footnote7.m3.1.1.cmml" xref="footnote7.m3.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="footnote7.m3.1d">\tilde{\Theta}(1)</annotation></semantics></math>, but in the main text we convey the key intuition in the main text without being too pedantic.
This fine detail does not affect the conclusion of this section.</span></span></span></p>
</div>
<div id="A5.SS1.p2" class="ltx_para ltx_noindent">
<p id="A5.SS1.p2.1" class="ltx_p">For example: in the input layer, image data typically takes the form of dense vectors, while the one-hot encoding in language models takes the form of sparse vectors. The output vector of a network is typically a dense vector. All hidden vectors (pre- or post-activation) are dense.</p>
</div>
</section>
<section id="A5.SS2" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">E.2 </span>Defining natural norms</h3>

<div id="Thmdefinition2" class="ltx_theorem ltx_theorem_definition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmdefinition2.2.1.1" class="ltx_text ltx_font_bold">Definition 2</span></span><span id="Thmdefinition2.3.2" class="ltx_text ltx_font_bold"> </span>(Natural <math id="Thmdefinition2.1.m1.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="Thmdefinition2.1.m1.1b"><msup id="Thmdefinition2.1.m1.1.1" xref="Thmdefinition2.1.m1.1.1.cmml"><mi mathvariant="normal" id="Thmdefinition2.1.m1.1.1.2" xref="Thmdefinition2.1.m1.1.1.2.cmml">ℓ</mi><mn id="Thmdefinition2.1.m1.1.1.3" xref="Thmdefinition2.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="Thmdefinition2.1.m1.1c"><apply id="Thmdefinition2.1.m1.1.1.cmml" xref="Thmdefinition2.1.m1.1.1"><csymbol cd="ambiguous" id="Thmdefinition2.1.m1.1.1.1.cmml" xref="Thmdefinition2.1.m1.1.1">superscript</csymbol><ci id="Thmdefinition2.1.m1.1.1.2.cmml" xref="Thmdefinition2.1.m1.1.1.2">ℓ</ci><cn type="integer" id="Thmdefinition2.1.m1.1.1.3.cmml" xref="Thmdefinition2.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition2.1.m1.1d">\ell^{2}</annotation></semantics></math>-norm)<span id="Thmdefinition2.4.3" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmdefinition2.p1" class="ltx_para">
<p id="Thmdefinition2.p1.2" class="ltx_p">The <em id="Thmdefinition2.p1.1.1" class="ltx_emph ltx_font_italic">natural <math id="Thmdefinition2.p1.1.1.m1.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="Thmdefinition2.p1.1.1.m1.1a"><msup id="Thmdefinition2.p1.1.1.m1.1.1" xref="Thmdefinition2.p1.1.1.m1.1.1.cmml"><mi mathvariant="normal" id="Thmdefinition2.p1.1.1.m1.1.1.2" xref="Thmdefinition2.p1.1.1.m1.1.1.2.cmml">ℓ</mi><mn id="Thmdefinition2.p1.1.1.m1.1.1.3" xref="Thmdefinition2.p1.1.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="Thmdefinition2.p1.1.1.m1.1b"><apply id="Thmdefinition2.p1.1.1.m1.1.1.cmml" xref="Thmdefinition2.p1.1.1.m1.1.1"><csymbol cd="ambiguous" id="Thmdefinition2.p1.1.1.m1.1.1.1.cmml" xref="Thmdefinition2.p1.1.1.m1.1.1">superscript</csymbol><ci id="Thmdefinition2.p1.1.1.m1.1.1.2.cmml" xref="Thmdefinition2.p1.1.1.m1.1.1.2">ℓ</ci><cn type="integer" id="Thmdefinition2.p1.1.1.m1.1.1.3.cmml" xref="Thmdefinition2.p1.1.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition2.p1.1.1.m1.1c">\ell^{2}</annotation></semantics></math>-norm</em> for a <em id="Thmdefinition2.p1.2.2" class="ltx_emph ltx_font_italic">dense</em> vector <math id="Thmdefinition2.p1.2.m1.1" class="ltx_Math" alttext="{\bm{v}}\in\mathbb{R}^{m}" display="inline"><semantics id="Thmdefinition2.p1.2.m1.1a"><mrow id="Thmdefinition2.p1.2.m1.1.1" xref="Thmdefinition2.p1.2.m1.1.1.cmml"><mi id="Thmdefinition2.p1.2.m1.1.1.2" xref="Thmdefinition2.p1.2.m1.1.1.2.cmml">𝒗</mi><mo id="Thmdefinition2.p1.2.m1.1.1.1" xref="Thmdefinition2.p1.2.m1.1.1.1.cmml">∈</mo><msup id="Thmdefinition2.p1.2.m1.1.1.3" xref="Thmdefinition2.p1.2.m1.1.1.3.cmml"><mi id="Thmdefinition2.p1.2.m1.1.1.3.2" xref="Thmdefinition2.p1.2.m1.1.1.3.2.cmml">ℝ</mi><mi id="Thmdefinition2.p1.2.m1.1.1.3.3" xref="Thmdefinition2.p1.2.m1.1.1.3.3.cmml">m</mi></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmdefinition2.p1.2.m1.1b"><apply id="Thmdefinition2.p1.2.m1.1.1.cmml" xref="Thmdefinition2.p1.2.m1.1.1"><in id="Thmdefinition2.p1.2.m1.1.1.1.cmml" xref="Thmdefinition2.p1.2.m1.1.1.1"></in><ci id="Thmdefinition2.p1.2.m1.1.1.2.cmml" xref="Thmdefinition2.p1.2.m1.1.1.2">𝒗</ci><apply id="Thmdefinition2.p1.2.m1.1.1.3.cmml" xref="Thmdefinition2.p1.2.m1.1.1.3"><csymbol cd="ambiguous" id="Thmdefinition2.p1.2.m1.1.1.3.1.cmml" xref="Thmdefinition2.p1.2.m1.1.1.3">superscript</csymbol><ci id="Thmdefinition2.p1.2.m1.1.1.3.2.cmml" xref="Thmdefinition2.p1.2.m1.1.1.3.2">ℝ</ci><ci id="Thmdefinition2.p1.2.m1.1.1.3.3.cmml" xref="Thmdefinition2.p1.2.m1.1.1.3.3">𝑚</ci></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition2.p1.2.m1.1c">{\bm{v}}\in\mathbb{R}^{m}</annotation></semantics></math> is the RMS norm</p>
<table id="A5.E28" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A5.E28.m1.3" class="ltx_Math" alttext="\left|\!\left|{\bm{v}}\right|\!\right|_{\tilde{2}}\vcentcolon=\frac{1}{\sqrt{m}}\left|\!\left|{\bm{v}}\right|\!\right|_{2}." display="block"><semantics id="A5.E28.m1.3a"><mrow id="A5.E28.m1.3.3.1" xref="A5.E28.m1.3.3.1.1.cmml"><mrow id="A5.E28.m1.3.3.1.1" xref="A5.E28.m1.3.3.1.1.cmml"><msub id="A5.E28.m1.3.3.1.1.2" xref="A5.E28.m1.3.3.1.1.2.cmml"><mrow id="A5.E28.m1.3.3.1.1.2.2.2" xref="A5.E28.m1.3.3.1.1.2.2.1.cmml"><mo stretchy="false" id="A5.E28.m1.3.3.1.1.2.2.2.1" xref="A5.E28.m1.3.3.1.1.2.2.1.1.cmml">‖</mo><mi id="A5.E28.m1.1.1" xref="A5.E28.m1.1.1.cmml">𝒗</mi><mo stretchy="false" id="A5.E28.m1.3.3.1.1.2.2.2.2" xref="A5.E28.m1.3.3.1.1.2.2.1.1.cmml">‖</mo></mrow><mover accent="true" id="A5.E28.m1.3.3.1.1.2.3" xref="A5.E28.m1.3.3.1.1.2.3.cmml"><mn id="A5.E28.m1.3.3.1.1.2.3.2" xref="A5.E28.m1.3.3.1.1.2.3.2.cmml">2</mn><mo id="A5.E28.m1.3.3.1.1.2.3.1" xref="A5.E28.m1.3.3.1.1.2.3.1.cmml">~</mo></mover></msub><mo lspace="0.278em" rspace="0.278em" id="A5.E28.m1.3.3.1.1.1" xref="A5.E28.m1.3.3.1.1.1.cmml">:=</mo><mrow id="A5.E28.m1.3.3.1.1.3" xref="A5.E28.m1.3.3.1.1.3.cmml"><mfrac id="A5.E28.m1.3.3.1.1.3.2" xref="A5.E28.m1.3.3.1.1.3.2.cmml"><mn id="A5.E28.m1.3.3.1.1.3.2.2" xref="A5.E28.m1.3.3.1.1.3.2.2.cmml">1</mn><msqrt id="A5.E28.m1.3.3.1.1.3.2.3" xref="A5.E28.m1.3.3.1.1.3.2.3.cmml"><mi id="A5.E28.m1.3.3.1.1.3.2.3.2" xref="A5.E28.m1.3.3.1.1.3.2.3.2.cmml">m</mi></msqrt></mfrac><mo lspace="0em" rspace="0em" id="A5.E28.m1.3.3.1.1.3.1" xref="A5.E28.m1.3.3.1.1.3.1.cmml">​</mo><msub id="A5.E28.m1.3.3.1.1.3.3" xref="A5.E28.m1.3.3.1.1.3.3.cmml"><mrow id="A5.E28.m1.3.3.1.1.3.3.2.2" xref="A5.E28.m1.3.3.1.1.3.3.2.1.cmml"><mo stretchy="false" id="A5.E28.m1.3.3.1.1.3.3.2.2.1" xref="A5.E28.m1.3.3.1.1.3.3.2.1.1.cmml">‖</mo><mi id="A5.E28.m1.2.2" xref="A5.E28.m1.2.2.cmml">𝒗</mi><mo stretchy="false" id="A5.E28.m1.3.3.1.1.3.3.2.2.2" xref="A5.E28.m1.3.3.1.1.3.3.2.1.1.cmml">‖</mo></mrow><mn id="A5.E28.m1.3.3.1.1.3.3.3" xref="A5.E28.m1.3.3.1.1.3.3.3.cmml">2</mn></msub></mrow></mrow><mo lspace="0em" id="A5.E28.m1.3.3.1.2" xref="A5.E28.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A5.E28.m1.3b"><apply id="A5.E28.m1.3.3.1.1.cmml" xref="A5.E28.m1.3.3.1"><csymbol cd="latexml" id="A5.E28.m1.3.3.1.1.1.cmml" xref="A5.E28.m1.3.3.1.1.1">assign</csymbol><apply id="A5.E28.m1.3.3.1.1.2.cmml" xref="A5.E28.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="A5.E28.m1.3.3.1.1.2.1.cmml" xref="A5.E28.m1.3.3.1.1.2">subscript</csymbol><apply id="A5.E28.m1.3.3.1.1.2.2.1.cmml" xref="A5.E28.m1.3.3.1.1.2.2.2"><csymbol cd="latexml" id="A5.E28.m1.3.3.1.1.2.2.1.1.cmml" xref="A5.E28.m1.3.3.1.1.2.2.2.1">norm</csymbol><ci id="A5.E28.m1.1.1.cmml" xref="A5.E28.m1.1.1">𝒗</ci></apply><apply id="A5.E28.m1.3.3.1.1.2.3.cmml" xref="A5.E28.m1.3.3.1.1.2.3"><ci id="A5.E28.m1.3.3.1.1.2.3.1.cmml" xref="A5.E28.m1.3.3.1.1.2.3.1">~</ci><cn type="integer" id="A5.E28.m1.3.3.1.1.2.3.2.cmml" xref="A5.E28.m1.3.3.1.1.2.3.2">2</cn></apply></apply><apply id="A5.E28.m1.3.3.1.1.3.cmml" xref="A5.E28.m1.3.3.1.1.3"><times id="A5.E28.m1.3.3.1.1.3.1.cmml" xref="A5.E28.m1.3.3.1.1.3.1"></times><apply id="A5.E28.m1.3.3.1.1.3.2.cmml" xref="A5.E28.m1.3.3.1.1.3.2"><divide id="A5.E28.m1.3.3.1.1.3.2.1.cmml" xref="A5.E28.m1.3.3.1.1.3.2"></divide><cn type="integer" id="A5.E28.m1.3.3.1.1.3.2.2.cmml" xref="A5.E28.m1.3.3.1.1.3.2.2">1</cn><apply id="A5.E28.m1.3.3.1.1.3.2.3.cmml" xref="A5.E28.m1.3.3.1.1.3.2.3"><root id="A5.E28.m1.3.3.1.1.3.2.3a.cmml" xref="A5.E28.m1.3.3.1.1.3.2.3"></root><ci id="A5.E28.m1.3.3.1.1.3.2.3.2.cmml" xref="A5.E28.m1.3.3.1.1.3.2.3.2">𝑚</ci></apply></apply><apply id="A5.E28.m1.3.3.1.1.3.3.cmml" xref="A5.E28.m1.3.3.1.1.3.3"><csymbol cd="ambiguous" id="A5.E28.m1.3.3.1.1.3.3.1.cmml" xref="A5.E28.m1.3.3.1.1.3.3">subscript</csymbol><apply id="A5.E28.m1.3.3.1.1.3.3.2.1.cmml" xref="A5.E28.m1.3.3.1.1.3.3.2.2"><csymbol cd="latexml" id="A5.E28.m1.3.3.1.1.3.3.2.1.1.cmml" xref="A5.E28.m1.3.3.1.1.3.3.2.2.1">norm</csymbol><ci id="A5.E28.m1.2.2.cmml" xref="A5.E28.m1.2.2">𝒗</ci></apply><cn type="integer" id="A5.E28.m1.3.3.1.1.3.3.3.cmml" xref="A5.E28.m1.3.3.1.1.3.3.3">2</cn></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.E28.m1.3c">\left|\!\left|{\bm{v}}\right|\!\right|_{\tilde{2}}\vcentcolon=\frac{1}{\sqrt{m}}\left|\!\left|{\bm{v}}\right|\!\right|_{2}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(28)</span></td>
</tr></tbody>
</table>
<p id="Thmdefinition2.p1.5" class="ltx_p">The <em id="Thmdefinition2.p1.3.1" class="ltx_emph ltx_font_italic">natural <math id="Thmdefinition2.p1.3.1.m1.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="Thmdefinition2.p1.3.1.m1.1a"><msup id="Thmdefinition2.p1.3.1.m1.1.1" xref="Thmdefinition2.p1.3.1.m1.1.1.cmml"><mi mathvariant="normal" id="Thmdefinition2.p1.3.1.m1.1.1.2" xref="Thmdefinition2.p1.3.1.m1.1.1.2.cmml">ℓ</mi><mn id="Thmdefinition2.p1.3.1.m1.1.1.3" xref="Thmdefinition2.p1.3.1.m1.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="Thmdefinition2.p1.3.1.m1.1b"><apply id="Thmdefinition2.p1.3.1.m1.1.1.cmml" xref="Thmdefinition2.p1.3.1.m1.1.1"><csymbol cd="ambiguous" id="Thmdefinition2.p1.3.1.m1.1.1.1.cmml" xref="Thmdefinition2.p1.3.1.m1.1.1">superscript</csymbol><ci id="Thmdefinition2.p1.3.1.m1.1.1.2.cmml" xref="Thmdefinition2.p1.3.1.m1.1.1.2">ℓ</ci><cn type="integer" id="Thmdefinition2.p1.3.1.m1.1.1.3.cmml" xref="Thmdefinition2.p1.3.1.m1.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition2.p1.3.1.m1.1c">\ell^{2}</annotation></semantics></math>-norm</em> for a <em id="Thmdefinition2.p1.5.2" class="ltx_emph ltx_font_italic">sparse</em> vector <math id="Thmdefinition2.p1.4.m1.1" class="ltx_Math" alttext="{\bm{v}}" display="inline"><semantics id="Thmdefinition2.p1.4.m1.1a"><mi id="Thmdefinition2.p1.4.m1.1.1" xref="Thmdefinition2.p1.4.m1.1.1.cmml">𝒗</mi><annotation-xml encoding="MathML-Content" id="Thmdefinition2.p1.4.m1.1b"><ci id="Thmdefinition2.p1.4.m1.1.1.cmml" xref="Thmdefinition2.p1.4.m1.1.1">𝒗</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition2.p1.4.m1.1c">{\bm{v}}</annotation></semantics></math> is simply the usual <math id="Thmdefinition2.p1.5.m2.1" class="ltx_Math" alttext="\ell^{2}" display="inline"><semantics id="Thmdefinition2.p1.5.m2.1a"><msup id="Thmdefinition2.p1.5.m2.1.1" xref="Thmdefinition2.p1.5.m2.1.1.cmml"><mi mathvariant="normal" id="Thmdefinition2.p1.5.m2.1.1.2" xref="Thmdefinition2.p1.5.m2.1.1.2.cmml">ℓ</mi><mn id="Thmdefinition2.p1.5.m2.1.1.3" xref="Thmdefinition2.p1.5.m2.1.1.3.cmml">2</mn></msup><annotation-xml encoding="MathML-Content" id="Thmdefinition2.p1.5.m2.1b"><apply id="Thmdefinition2.p1.5.m2.1.1.cmml" xref="Thmdefinition2.p1.5.m2.1.1"><csymbol cd="ambiguous" id="Thmdefinition2.p1.5.m2.1.1.1.cmml" xref="Thmdefinition2.p1.5.m2.1.1">superscript</csymbol><ci id="Thmdefinition2.p1.5.m2.1.1.2.cmml" xref="Thmdefinition2.p1.5.m2.1.1.2">ℓ</ci><cn type="integer" id="Thmdefinition2.p1.5.m2.1.1.3.cmml" xref="Thmdefinition2.p1.5.m2.1.1.3">2</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition2.p1.5.m2.1c">\ell^{2}</annotation></semantics></math>-norm:</p>
<table id="A5.E29" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A5.E29.m1.3" class="ltx_Math" alttext="\left|\!\left|{\bm{v}}\right|\!\right|_{\tilde{2}}:=\left|\!\left|{\bm{v}}\right|\!\right|_{2}." display="block"><semantics id="A5.E29.m1.3a"><mrow id="A5.E29.m1.3.3.1" xref="A5.E29.m1.3.3.1.1.cmml"><mrow id="A5.E29.m1.3.3.1.1" xref="A5.E29.m1.3.3.1.1.cmml"><msub id="A5.E29.m1.3.3.1.1.2" xref="A5.E29.m1.3.3.1.1.2.cmml"><mrow id="A5.E29.m1.3.3.1.1.2.2.2" xref="A5.E29.m1.3.3.1.1.2.2.1.cmml"><mo stretchy="false" id="A5.E29.m1.3.3.1.1.2.2.2.1" xref="A5.E29.m1.3.3.1.1.2.2.1.1.cmml">‖</mo><mi id="A5.E29.m1.1.1" xref="A5.E29.m1.1.1.cmml">𝒗</mi><mo stretchy="false" id="A5.E29.m1.3.3.1.1.2.2.2.2" xref="A5.E29.m1.3.3.1.1.2.2.1.1.cmml">‖</mo></mrow><mover accent="true" id="A5.E29.m1.3.3.1.1.2.3" xref="A5.E29.m1.3.3.1.1.2.3.cmml"><mn id="A5.E29.m1.3.3.1.1.2.3.2" xref="A5.E29.m1.3.3.1.1.2.3.2.cmml">2</mn><mo id="A5.E29.m1.3.3.1.1.2.3.1" xref="A5.E29.m1.3.3.1.1.2.3.1.cmml">~</mo></mover></msub><mo lspace="0.278em" rspace="0.278em" id="A5.E29.m1.3.3.1.1.1" xref="A5.E29.m1.3.3.1.1.1.cmml">:=</mo><msub id="A5.E29.m1.3.3.1.1.3" xref="A5.E29.m1.3.3.1.1.3.cmml"><mrow id="A5.E29.m1.3.3.1.1.3.2.2" xref="A5.E29.m1.3.3.1.1.3.2.1.cmml"><mo stretchy="false" id="A5.E29.m1.3.3.1.1.3.2.2.1" xref="A5.E29.m1.3.3.1.1.3.2.1.1.cmml">‖</mo><mi id="A5.E29.m1.2.2" xref="A5.E29.m1.2.2.cmml">𝒗</mi><mo stretchy="false" id="A5.E29.m1.3.3.1.1.3.2.2.2" xref="A5.E29.m1.3.3.1.1.3.2.1.1.cmml">‖</mo></mrow><mn id="A5.E29.m1.3.3.1.1.3.3" xref="A5.E29.m1.3.3.1.1.3.3.cmml">2</mn></msub></mrow><mo lspace="0em" id="A5.E29.m1.3.3.1.2" xref="A5.E29.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A5.E29.m1.3b"><apply id="A5.E29.m1.3.3.1.1.cmml" xref="A5.E29.m1.3.3.1"><csymbol cd="latexml" id="A5.E29.m1.3.3.1.1.1.cmml" xref="A5.E29.m1.3.3.1.1.1">assign</csymbol><apply id="A5.E29.m1.3.3.1.1.2.cmml" xref="A5.E29.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="A5.E29.m1.3.3.1.1.2.1.cmml" xref="A5.E29.m1.3.3.1.1.2">subscript</csymbol><apply id="A5.E29.m1.3.3.1.1.2.2.1.cmml" xref="A5.E29.m1.3.3.1.1.2.2.2"><csymbol cd="latexml" id="A5.E29.m1.3.3.1.1.2.2.1.1.cmml" xref="A5.E29.m1.3.3.1.1.2.2.2.1">norm</csymbol><ci id="A5.E29.m1.1.1.cmml" xref="A5.E29.m1.1.1">𝒗</ci></apply><apply id="A5.E29.m1.3.3.1.1.2.3.cmml" xref="A5.E29.m1.3.3.1.1.2.3"><ci id="A5.E29.m1.3.3.1.1.2.3.1.cmml" xref="A5.E29.m1.3.3.1.1.2.3.1">~</ci><cn type="integer" id="A5.E29.m1.3.3.1.1.2.3.2.cmml" xref="A5.E29.m1.3.3.1.1.2.3.2">2</cn></apply></apply><apply id="A5.E29.m1.3.3.1.1.3.cmml" xref="A5.E29.m1.3.3.1.1.3"><csymbol cd="ambiguous" id="A5.E29.m1.3.3.1.1.3.1.cmml" xref="A5.E29.m1.3.3.1.1.3">subscript</csymbol><apply id="A5.E29.m1.3.3.1.1.3.2.1.cmml" xref="A5.E29.m1.3.3.1.1.3.2.2"><csymbol cd="latexml" id="A5.E29.m1.3.3.1.1.3.2.1.1.cmml" xref="A5.E29.m1.3.3.1.1.3.2.2.1">norm</csymbol><ci id="A5.E29.m1.2.2.cmml" xref="A5.E29.m1.2.2">𝒗</ci></apply><cn type="integer" id="A5.E29.m1.3.3.1.1.3.3.cmml" xref="A5.E29.m1.3.3.1.1.3.3">2</cn></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.E29.m1.3c">\left|\!\left|{\bm{v}}\right|\!\right|_{\tilde{2}}:=\left|\!\left|{\bm{v}}\right|\!\right|_{2}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(29)</span></td>
</tr></tbody>
</table>
</div>
</div>
<div id="A5.SS2.p1" class="ltx_para ltx_noindent">
<p id="A5.SS2.p1.1" class="ltx_p">While we say “dense” or “sparse” vector, these adjectives really apply to the space that contains such a vector.
For example, the set of one-hot encodings form a “sparse” input space, while the pre-activations at layer <math id="A5.SS2.p1.1.m1.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="A5.SS2.p1.1.m1.1a"><mi mathvariant="normal" id="A5.SS2.p1.1.m1.1.1" xref="A5.SS2.p1.1.m1.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="A5.SS2.p1.1.m1.1b"><ci id="A5.SS2.p1.1.m1.1.1.cmml" xref="A5.SS2.p1.1.m1.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="A5.SS2.p1.1.m1.1c">\ell</annotation></semantics></math> forms a “dense” hidden space.</p>
</div>
<div id="Thmdefinition3" class="ltx_theorem ltx_theorem_definition">
<h6 class="ltx_title ltx_runin ltx_title_theorem">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmdefinition3.1.1.1" class="ltx_text ltx_font_bold">Definition 3</span></span><span id="Thmdefinition3.2.2" class="ltx_text ltx_font_bold"> </span>(Natural spectral norm)<span id="Thmdefinition3.3.3" class="ltx_text ltx_font_bold">.</span>
</h6>
<div id="Thmdefinition3.p1" class="ltx_para">
<p id="Thmdefinition3.p1.3" class="ltx_p">Given a parameter matrix <math id="Thmdefinition3.p1.1.m1.1" class="ltx_Math" alttext="{\bm{A}}" display="inline"><semantics id="Thmdefinition3.p1.1.m1.1a"><mi id="Thmdefinition3.p1.1.m1.1.1" xref="Thmdefinition3.p1.1.m1.1.1.cmml">𝑨</mi><annotation-xml encoding="MathML-Content" id="Thmdefinition3.p1.1.m1.1b"><ci id="Thmdefinition3.p1.1.m1.1.1.cmml" xref="Thmdefinition3.p1.1.m1.1.1">𝑨</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition3.p1.1.m1.1c">{\bm{A}}</annotation></semantics></math>, equip its input and output spaces with their natural norms. Then the <em id="Thmdefinition3.p1.3.1" class="ltx_emph ltx_font_italic">natural spectral norm</em> <math id="Thmdefinition3.p1.2.m2.1" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}\right|\!\right|_{\tilde{*}}" display="inline"><semantics id="Thmdefinition3.p1.2.m2.1a"><msub id="Thmdefinition3.p1.2.m2.1.2" xref="Thmdefinition3.p1.2.m2.1.2.cmml"><mrow id="Thmdefinition3.p1.2.m2.1.2.2.2" xref="Thmdefinition3.p1.2.m2.1.2.2.1.cmml"><mo stretchy="false" id="Thmdefinition3.p1.2.m2.1.2.2.2.1" xref="Thmdefinition3.p1.2.m2.1.2.2.1.1.cmml">‖</mo><mi id="Thmdefinition3.p1.2.m2.1.1" xref="Thmdefinition3.p1.2.m2.1.1.cmml">𝑨</mi><mo stretchy="false" id="Thmdefinition3.p1.2.m2.1.2.2.2.2" xref="Thmdefinition3.p1.2.m2.1.2.2.1.1.cmml">‖</mo></mrow><mover accent="true" id="Thmdefinition3.p1.2.m2.1.2.3" xref="Thmdefinition3.p1.2.m2.1.2.3.cmml"><mo id="Thmdefinition3.p1.2.m2.1.2.3.2" xref="Thmdefinition3.p1.2.m2.1.2.3.2.cmml">∗</mo><mo id="Thmdefinition3.p1.2.m2.1.2.3.1" xref="Thmdefinition3.p1.2.m2.1.2.3.1.cmml">~</mo></mover></msub><annotation-xml encoding="MathML-Content" id="Thmdefinition3.p1.2.m2.1b"><apply id="Thmdefinition3.p1.2.m2.1.2.cmml" xref="Thmdefinition3.p1.2.m2.1.2"><csymbol cd="ambiguous" id="Thmdefinition3.p1.2.m2.1.2.1.cmml" xref="Thmdefinition3.p1.2.m2.1.2">subscript</csymbol><apply id="Thmdefinition3.p1.2.m2.1.2.2.1.cmml" xref="Thmdefinition3.p1.2.m2.1.2.2.2"><csymbol cd="latexml" id="Thmdefinition3.p1.2.m2.1.2.2.1.1.cmml" xref="Thmdefinition3.p1.2.m2.1.2.2.2.1">norm</csymbol><ci id="Thmdefinition3.p1.2.m2.1.1.cmml" xref="Thmdefinition3.p1.2.m2.1.1">𝑨</ci></apply><apply id="Thmdefinition3.p1.2.m2.1.2.3.cmml" xref="Thmdefinition3.p1.2.m2.1.2.3"><ci id="Thmdefinition3.p1.2.m2.1.2.3.1.cmml" xref="Thmdefinition3.p1.2.m2.1.2.3.1">~</ci><times id="Thmdefinition3.p1.2.m2.1.2.3.2.cmml" xref="Thmdefinition3.p1.2.m2.1.2.3.2"></times></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition3.p1.2.m2.1c">\left|\!\left|{\bm{A}}\right|\!\right|_{\tilde{*}}</annotation></semantics></math> of <math id="Thmdefinition3.p1.3.m3.1" class="ltx_Math" alttext="{\bm{A}}" display="inline"><semantics id="Thmdefinition3.p1.3.m3.1a"><mi id="Thmdefinition3.p1.3.m3.1.1" xref="Thmdefinition3.p1.3.m3.1.1.cmml">𝑨</mi><annotation-xml encoding="MathML-Content" id="Thmdefinition3.p1.3.m3.1b"><ci id="Thmdefinition3.p1.3.m3.1.1.cmml" xref="Thmdefinition3.p1.3.m3.1.1">𝑨</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmdefinition3.p1.3.m3.1c">{\bm{A}}</annotation></semantics></math> is defined as the induced spectral norm.</p>
</div>
</div>
<div id="A5.SS2.p2" class="ltx_para ltx_noindent">
<p id="A5.SS2.p2.1" class="ltx_p">For example, if both the input and output spaces are dense, then the natural spectral norm of <math id="A5.SS2.p2.1.m1.1" class="ltx_Math" alttext="{\bm{A}}\in\mathbb{R}^{m\times n}" display="inline"><semantics id="A5.SS2.p2.1.m1.1a"><mrow id="A5.SS2.p2.1.m1.1.1" xref="A5.SS2.p2.1.m1.1.1.cmml"><mi id="A5.SS2.p2.1.m1.1.1.2" xref="A5.SS2.p2.1.m1.1.1.2.cmml">𝑨</mi><mo id="A5.SS2.p2.1.m1.1.1.1" xref="A5.SS2.p2.1.m1.1.1.1.cmml">∈</mo><msup id="A5.SS2.p2.1.m1.1.1.3" xref="A5.SS2.p2.1.m1.1.1.3.cmml"><mi id="A5.SS2.p2.1.m1.1.1.3.2" xref="A5.SS2.p2.1.m1.1.1.3.2.cmml">ℝ</mi><mrow id="A5.SS2.p2.1.m1.1.1.3.3" xref="A5.SS2.p2.1.m1.1.1.3.3.cmml"><mi id="A5.SS2.p2.1.m1.1.1.3.3.2" xref="A5.SS2.p2.1.m1.1.1.3.3.2.cmml">m</mi><mo lspace="0.222em" rspace="0.222em" id="A5.SS2.p2.1.m1.1.1.3.3.1" xref="A5.SS2.p2.1.m1.1.1.3.3.1.cmml">×</mo><mi id="A5.SS2.p2.1.m1.1.1.3.3.3" xref="A5.SS2.p2.1.m1.1.1.3.3.3.cmml">n</mi></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="A5.SS2.p2.1.m1.1b"><apply id="A5.SS2.p2.1.m1.1.1.cmml" xref="A5.SS2.p2.1.m1.1.1"><in id="A5.SS2.p2.1.m1.1.1.1.cmml" xref="A5.SS2.p2.1.m1.1.1.1"></in><ci id="A5.SS2.p2.1.m1.1.1.2.cmml" xref="A5.SS2.p2.1.m1.1.1.2">𝑨</ci><apply id="A5.SS2.p2.1.m1.1.1.3.cmml" xref="A5.SS2.p2.1.m1.1.1.3"><csymbol cd="ambiguous" id="A5.SS2.p2.1.m1.1.1.3.1.cmml" xref="A5.SS2.p2.1.m1.1.1.3">superscript</csymbol><ci id="A5.SS2.p2.1.m1.1.1.3.2.cmml" xref="A5.SS2.p2.1.m1.1.1.3.2">ℝ</ci><apply id="A5.SS2.p2.1.m1.1.1.3.3.cmml" xref="A5.SS2.p2.1.m1.1.1.3.3"><times id="A5.SS2.p2.1.m1.1.1.3.3.1.cmml" xref="A5.SS2.p2.1.m1.1.1.3.3.1"></times><ci id="A5.SS2.p2.1.m1.1.1.3.3.2.cmml" xref="A5.SS2.p2.1.m1.1.1.3.3.2">𝑚</ci><ci id="A5.SS2.p2.1.m1.1.1.3.3.3.cmml" xref="A5.SS2.p2.1.m1.1.1.3.3.3">𝑛</ci></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.SS2.p2.1.m1.1c">{\bm{A}}\in\mathbb{R}^{m\times n}</annotation></semantics></math> is</p>
<table id="A5.E30" class="ltx_equation ltx_eqn_table">

<tbody><tr class="ltx_equation ltx_eqn_row ltx_align_baseline">
<td class="ltx_eqn_cell ltx_eqn_center_padleft"></td>
<td class="ltx_eqn_cell ltx_align_center"><math id="A5.E30.m1.3" class="ltx_Math" alttext="\left|\!\left|{\bm{A}}\right|\!\right|_{\tilde{*}}\vcentcolon=\frac{\sqrt{m}}{\sqrt{n}}\left|\!\left|{\bm{A}}\right|\!\right|_{*}." display="block"><semantics id="A5.E30.m1.3a"><mrow id="A5.E30.m1.3.3.1" xref="A5.E30.m1.3.3.1.1.cmml"><mrow id="A5.E30.m1.3.3.1.1" xref="A5.E30.m1.3.3.1.1.cmml"><msub id="A5.E30.m1.3.3.1.1.2" xref="A5.E30.m1.3.3.1.1.2.cmml"><mrow id="A5.E30.m1.3.3.1.1.2.2.2" xref="A5.E30.m1.3.3.1.1.2.2.1.cmml"><mo stretchy="false" id="A5.E30.m1.3.3.1.1.2.2.2.1" xref="A5.E30.m1.3.3.1.1.2.2.1.1.cmml">‖</mo><mi id="A5.E30.m1.1.1" xref="A5.E30.m1.1.1.cmml">𝑨</mi><mo stretchy="false" id="A5.E30.m1.3.3.1.1.2.2.2.2" xref="A5.E30.m1.3.3.1.1.2.2.1.1.cmml">‖</mo></mrow><mover accent="true" id="A5.E30.m1.3.3.1.1.2.3" xref="A5.E30.m1.3.3.1.1.2.3.cmml"><mo id="A5.E30.m1.3.3.1.1.2.3.2" xref="A5.E30.m1.3.3.1.1.2.3.2.cmml">∗</mo><mo id="A5.E30.m1.3.3.1.1.2.3.1" xref="A5.E30.m1.3.3.1.1.2.3.1.cmml">~</mo></mover></msub><mo lspace="0.278em" rspace="0.278em" id="A5.E30.m1.3.3.1.1.1" xref="A5.E30.m1.3.3.1.1.1.cmml">:=</mo><mrow id="A5.E30.m1.3.3.1.1.3" xref="A5.E30.m1.3.3.1.1.3.cmml"><mfrac id="A5.E30.m1.3.3.1.1.3.2" xref="A5.E30.m1.3.3.1.1.3.2.cmml"><msqrt id="A5.E30.m1.3.3.1.1.3.2.2" xref="A5.E30.m1.3.3.1.1.3.2.2.cmml"><mi id="A5.E30.m1.3.3.1.1.3.2.2.2" xref="A5.E30.m1.3.3.1.1.3.2.2.2.cmml">m</mi></msqrt><msqrt id="A5.E30.m1.3.3.1.1.3.2.3" xref="A5.E30.m1.3.3.1.1.3.2.3.cmml"><mi id="A5.E30.m1.3.3.1.1.3.2.3.2" xref="A5.E30.m1.3.3.1.1.3.2.3.2.cmml">n</mi></msqrt></mfrac><mo lspace="0em" rspace="0em" id="A5.E30.m1.3.3.1.1.3.1" xref="A5.E30.m1.3.3.1.1.3.1.cmml">​</mo><msub id="A5.E30.m1.3.3.1.1.3.3" xref="A5.E30.m1.3.3.1.1.3.3.cmml"><mrow id="A5.E30.m1.3.3.1.1.3.3.2.2" xref="A5.E30.m1.3.3.1.1.3.3.2.1.cmml"><mo stretchy="false" id="A5.E30.m1.3.3.1.1.3.3.2.2.1" xref="A5.E30.m1.3.3.1.1.3.3.2.1.1.cmml">‖</mo><mi id="A5.E30.m1.2.2" xref="A5.E30.m1.2.2.cmml">𝑨</mi><mo stretchy="false" id="A5.E30.m1.3.3.1.1.3.3.2.2.2" xref="A5.E30.m1.3.3.1.1.3.3.2.1.1.cmml">‖</mo></mrow><mo id="A5.E30.m1.3.3.1.1.3.3.3" xref="A5.E30.m1.3.3.1.1.3.3.3.cmml">∗</mo></msub></mrow></mrow><mo lspace="0em" id="A5.E30.m1.3.3.1.2" xref="A5.E30.m1.3.3.1.1.cmml">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A5.E30.m1.3b"><apply id="A5.E30.m1.3.3.1.1.cmml" xref="A5.E30.m1.3.3.1"><csymbol cd="latexml" id="A5.E30.m1.3.3.1.1.1.cmml" xref="A5.E30.m1.3.3.1.1.1">assign</csymbol><apply id="A5.E30.m1.3.3.1.1.2.cmml" xref="A5.E30.m1.3.3.1.1.2"><csymbol cd="ambiguous" id="A5.E30.m1.3.3.1.1.2.1.cmml" xref="A5.E30.m1.3.3.1.1.2">subscript</csymbol><apply id="A5.E30.m1.3.3.1.1.2.2.1.cmml" xref="A5.E30.m1.3.3.1.1.2.2.2"><csymbol cd="latexml" id="A5.E30.m1.3.3.1.1.2.2.1.1.cmml" xref="A5.E30.m1.3.3.1.1.2.2.2.1">norm</csymbol><ci id="A5.E30.m1.1.1.cmml" xref="A5.E30.m1.1.1">𝑨</ci></apply><apply id="A5.E30.m1.3.3.1.1.2.3.cmml" xref="A5.E30.m1.3.3.1.1.2.3"><ci id="A5.E30.m1.3.3.1.1.2.3.1.cmml" xref="A5.E30.m1.3.3.1.1.2.3.1">~</ci><times id="A5.E30.m1.3.3.1.1.2.3.2.cmml" xref="A5.E30.m1.3.3.1.1.2.3.2"></times></apply></apply><apply id="A5.E30.m1.3.3.1.1.3.cmml" xref="A5.E30.m1.3.3.1.1.3"><times id="A5.E30.m1.3.3.1.1.3.1.cmml" xref="A5.E30.m1.3.3.1.1.3.1"></times><apply id="A5.E30.m1.3.3.1.1.3.2.cmml" xref="A5.E30.m1.3.3.1.1.3.2"><divide id="A5.E30.m1.3.3.1.1.3.2.1.cmml" xref="A5.E30.m1.3.3.1.1.3.2"></divide><apply id="A5.E30.m1.3.3.1.1.3.2.2.cmml" xref="A5.E30.m1.3.3.1.1.3.2.2"><root id="A5.E30.m1.3.3.1.1.3.2.2a.cmml" xref="A5.E30.m1.3.3.1.1.3.2.2"></root><ci id="A5.E30.m1.3.3.1.1.3.2.2.2.cmml" xref="A5.E30.m1.3.3.1.1.3.2.2.2">𝑚</ci></apply><apply id="A5.E30.m1.3.3.1.1.3.2.3.cmml" xref="A5.E30.m1.3.3.1.1.3.2.3"><root id="A5.E30.m1.3.3.1.1.3.2.3a.cmml" xref="A5.E30.m1.3.3.1.1.3.2.3"></root><ci id="A5.E30.m1.3.3.1.1.3.2.3.2.cmml" xref="A5.E30.m1.3.3.1.1.3.2.3.2">𝑛</ci></apply></apply><apply id="A5.E30.m1.3.3.1.1.3.3.cmml" xref="A5.E30.m1.3.3.1.1.3.3"><csymbol cd="ambiguous" id="A5.E30.m1.3.3.1.1.3.3.1.cmml" xref="A5.E30.m1.3.3.1.1.3.3">subscript</csymbol><apply id="A5.E30.m1.3.3.1.1.3.3.2.1.cmml" xref="A5.E30.m1.3.3.1.1.3.3.2.2"><csymbol cd="latexml" id="A5.E30.m1.3.3.1.1.3.3.2.1.1.cmml" xref="A5.E30.m1.3.3.1.1.3.3.2.2.1">norm</csymbol><ci id="A5.E30.m1.2.2.cmml" xref="A5.E30.m1.2.2">𝑨</ci></apply><times id="A5.E30.m1.3.3.1.1.3.3.3.cmml" xref="A5.E30.m1.3.3.1.1.3.3.3"></times></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.E30.m1.3c">\left|\!\left|{\bm{A}}\right|\!\right|_{\tilde{*}}\vcentcolon=\frac{\sqrt{m}}{\sqrt{n}}\left|\!\left|{\bm{A}}\right|\!\right|_{*}.</annotation></semantics></math></td>
<td class="ltx_eqn_cell ltx_eqn_center_padright"></td>
<td rowspan="1" class="ltx_eqn_cell ltx_eqn_eqno ltx_align_middle ltx_align_right"><span class="ltx_tag ltx_tag_equation ltx_align_right">(30)</span></td>
</tr></tbody>
</table>
</div>
</section>
<section id="A5.SS3" class="ltx_subsection">
<h3 class="ltx_title ltx_title_subsection">
<span class="ltx_tag ltx_tag_subsection">E.3 </span>Spectral scaling in natural norms</h3>

<div id="A5.SS3.p1" class="ltx_para ltx_noindent">
<p id="A5.SS3.p1.1" class="ltx_p">By equipping vectors and matrices with their natural norms, we simplify the conditions <a href="#Thmdesired1" title="Desideratum 1 (Feature learning). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> and <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a> from the main text:</p>
</div>
<div id="A5.SS3.p2" class="ltx_para ltx_noindent">
<svg id="A5.SS3.p2.pic1" class="ltx_picture" height="62.83" overflow="visible" version="1.1" width="600"><g transform="translate(0,62.83) matrix(1 0 0 -1 0 0)" fill="#000000" stroke="#000000" stroke-width="0.4pt"><g fill="#000000" fill-opacity="1.0"><path d="M 0 1.38 L 0 61.44 C 0 62.21 0.62 62.83 1.38 62.83 L 598.62 62.83 C 599.38 62.83 600 62.21 600 61.44 L 600 1.38 C 600 0.62 599.38 0 598.62 0 L 1.38 0 C 0.62 0 0 0.62 0 1.38 Z" style="stroke:none"></path></g><g fill="#FFFFFF" fill-opacity="1.0"><path d="M 1.38 1.38 L 1.38 61.44 L 598.62 61.44 L 598.62 1.38 Z" style="stroke:none"></path></g><g fill-opacity="1.0" transform="matrix(1.0 0.0 0.0 1.0 21.07 13.19)"><foreignObject width="557.86" height="36.44" transform="matrix(1 0 0 -1 0 16.6)" overflow="visible" color="#000000"><span id="A5.SS3.p2.pic1.1.1.1.1.1" class="ltx_inline-logical-block ltx_minipage ltx_align_bottom" style="width:403.2pt;">
<span id="Thmdesired2" class="ltx_theorem ltx_theorem_desired">
<h6 class="ltx_title ltx_runin ltx_title_theorem" style="color:#000000;">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmdesired2.1.1.1" class="ltx_text ltx_font_bold" style="color:#000000;">Desideratum 2</span></span><span id="Thmdesired2.2.2" class="ltx_text ltx_font_bold" style="color:#000000;"> <span id="Thmdesired2.2.2.1" class="ltx_text ltx_font_medium">(Feature learning, natural norms)</span>.</span>
</h6>
<span id="Thmdesired2.p1" class="ltx_para">
<span id="Thmdesired2.p1.4" class="ltx_p">Let <math id="Thmdesired2.p1.1.m1.1" class="ltx_Math" alttext="{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}" display="inline"><semantics id="Thmdesired2.p1.1.m1.1a"><mrow id="Thmdesired2.p1.1.m1.1.2" xref="Thmdesired2.p1.1.m1.1.2.cmml"><mrow id="Thmdesired2.p1.1.m1.1.2.2" xref="Thmdesired2.p1.1.m1.1.2.2.cmml"><msub id="Thmdesired2.p1.1.m1.1.2.2.2" xref="Thmdesired2.p1.1.m1.1.2.2.2.cmml"><mi id="Thmdesired2.p1.1.m1.1.2.2.2.2" xref="Thmdesired2.p1.1.m1.1.2.2.2.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmdesired2.p1.1.m1.1.2.2.2.3" xref="Thmdesired2.p1.1.m1.1.2.2.2.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmdesired2.p1.1.m1.1.2.2.1" xref="Thmdesired2.p1.1.m1.1.2.2.1.cmml">​</mo><mrow id="Thmdesired2.p1.1.m1.1.2.2.3.2" xref="Thmdesired2.p1.1.m1.1.2.2.cmml"><mo stretchy="false" id="Thmdesired2.p1.1.m1.1.2.2.3.2.1" xref="Thmdesired2.p1.1.m1.1.2.2.cmml">(</mo><mi id="Thmdesired2.p1.1.m1.1.1" xref="Thmdesired2.p1.1.m1.1.1.cmml">𝒙</mi><mo stretchy="false" id="Thmdesired2.p1.1.m1.1.2.2.3.2.2" xref="Thmdesired2.p1.1.m1.1.2.2.cmml">)</mo></mrow></mrow><mo id="Thmdesired2.p1.1.m1.1.2.1" xref="Thmdesired2.p1.1.m1.1.2.1.cmml">∈</mo><msup id="Thmdesired2.p1.1.m1.1.2.3" xref="Thmdesired2.p1.1.m1.1.2.3.cmml"><mi id="Thmdesired2.p1.1.m1.1.2.3.2" xref="Thmdesired2.p1.1.m1.1.2.3.2.cmml">ℝ</mi><mrow id="Thmdesired2.p1.1.m1.1.2.3.3" xref="Thmdesired2.p1.1.m1.1.2.3.3.cmml"><mn id="Thmdesired2.p1.1.m1.1.2.3.3.2" xref="Thmdesired2.p1.1.m1.1.2.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmdesired2.p1.1.m1.1.2.3.3.1" xref="Thmdesired2.p1.1.m1.1.2.3.3.1.cmml">​</mo><mi id="Thmdesired2.p1.1.m1.1.2.3.3.3" xref="Thmdesired2.p1.1.m1.1.2.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmdesired2.p1.1.m1.1.2.3.3.1a" xref="Thmdesired2.p1.1.m1.1.2.3.3.1.cmml">​</mo><msub id="Thmdesired2.p1.1.m1.1.2.3.3.4" xref="Thmdesired2.p1.1.m1.1.2.3.3.4.cmml"><mi id="Thmdesired2.p1.1.m1.1.2.3.3.4.2" xref="Thmdesired2.p1.1.m1.1.2.3.3.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmdesired2.p1.1.m1.1.2.3.3.4.3" xref="Thmdesired2.p1.1.m1.1.2.3.3.4.3.cmml">ℓ</mi></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmdesired2.p1.1.m1.1b"><apply id="Thmdesired2.p1.1.m1.1.2.cmml" xref="Thmdesired2.p1.1.m1.1.2"><in id="Thmdesired2.p1.1.m1.1.2.1.cmml" xref="Thmdesired2.p1.1.m1.1.2.1"></in><apply id="Thmdesired2.p1.1.m1.1.2.2.cmml" xref="Thmdesired2.p1.1.m1.1.2.2"><times id="Thmdesired2.p1.1.m1.1.2.2.1.cmml" xref="Thmdesired2.p1.1.m1.1.2.2.1"></times><apply id="Thmdesired2.p1.1.m1.1.2.2.2.cmml" xref="Thmdesired2.p1.1.m1.1.2.2.2"><csymbol cd="ambiguous" id="Thmdesired2.p1.1.m1.1.2.2.2.1.cmml" xref="Thmdesired2.p1.1.m1.1.2.2.2">subscript</csymbol><ci id="Thmdesired2.p1.1.m1.1.2.2.2.2.cmml" xref="Thmdesired2.p1.1.m1.1.2.2.2.2">𝒉</ci><ci id="Thmdesired2.p1.1.m1.1.2.2.2.3.cmml" xref="Thmdesired2.p1.1.m1.1.2.2.2.3">ℓ</ci></apply><ci id="Thmdesired2.p1.1.m1.1.1.cmml" xref="Thmdesired2.p1.1.m1.1.1">𝒙</ci></apply><apply id="Thmdesired2.p1.1.m1.1.2.3.cmml" xref="Thmdesired2.p1.1.m1.1.2.3"><csymbol cd="ambiguous" id="Thmdesired2.p1.1.m1.1.2.3.1.cmml" xref="Thmdesired2.p1.1.m1.1.2.3">superscript</csymbol><ci id="Thmdesired2.p1.1.m1.1.2.3.2.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.2">ℝ</ci><apply id="Thmdesired2.p1.1.m1.1.2.3.3.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3"><times id="Thmdesired2.p1.1.m1.1.2.3.3.1.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3.1"></times><cn type="integer" id="Thmdesired2.p1.1.m1.1.2.3.3.2.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3.2">0</cn><ci id="Thmdesired2.p1.1.m1.1.2.3.3.3.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3.3">𝑝</ci><apply id="Thmdesired2.p1.1.m1.1.2.3.3.4.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3.4"><csymbol cd="ambiguous" id="Thmdesired2.p1.1.m1.1.2.3.3.4.1.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3.4">subscript</csymbol><ci id="Thmdesired2.p1.1.m1.1.2.3.3.4.2.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3.4.2">𝑡</ci><ci id="Thmdesired2.p1.1.m1.1.2.3.3.4.3.cmml" xref="Thmdesired2.p1.1.m1.1.2.3.3.4.3">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired2.p1.1.m1.1c">{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}</annotation></semantics></math> denote the features of input <math id="Thmdesired2.p1.2.m2.1" class="ltx_Math" alttext="{\bm{x}}" display="inline"><semantics id="Thmdesired2.p1.2.m2.1a"><mi id="Thmdesired2.p1.2.m2.1.1" xref="Thmdesired2.p1.2.m2.1.1.cmml">𝒙</mi><annotation-xml encoding="MathML-Content" id="Thmdesired2.p1.2.m2.1b"><ci id="Thmdesired2.p1.2.m2.1.1.cmml" xref="Thmdesired2.p1.2.m2.1.1">𝒙</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired2.p1.2.m2.1c">{\bm{x}}</annotation></semantics></math> at layer <math id="Thmdesired2.p1.3.m3.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="Thmdesired2.p1.3.m3.1a"><mi mathvariant="normal" id="Thmdesired2.p1.3.m3.1.1" xref="Thmdesired2.p1.3.m3.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="Thmdesired2.p1.3.m3.1b"><ci id="Thmdesired2.p1.3.m3.1.1.cmml" xref="Thmdesired2.p1.3.m3.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired2.p1.3.m3.1c">\ell</annotation></semantics></math> of a deep neural network, and let <math id="Thmdesired2.p1.4.m4.1" class="ltx_Math" alttext="\Delta{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}" display="inline"><semantics id="Thmdesired2.p1.4.m4.1a"><mrow id="Thmdesired2.p1.4.m4.1.2" xref="Thmdesired2.p1.4.m4.1.2.cmml"><mrow id="Thmdesired2.p1.4.m4.1.2.2" xref="Thmdesired2.p1.4.m4.1.2.2.cmml"><mi mathvariant="normal" id="Thmdesired2.p1.4.m4.1.2.2.2" xref="Thmdesired2.p1.4.m4.1.2.2.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="Thmdesired2.p1.4.m4.1.2.2.1" xref="Thmdesired2.p1.4.m4.1.2.2.1.cmml">​</mo><msub id="Thmdesired2.p1.4.m4.1.2.2.3" xref="Thmdesired2.p1.4.m4.1.2.2.3.cmml"><mi id="Thmdesired2.p1.4.m4.1.2.2.3.2" xref="Thmdesired2.p1.4.m4.1.2.2.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="Thmdesired2.p1.4.m4.1.2.2.3.3" xref="Thmdesired2.p1.4.m4.1.2.2.3.3.cmml">ℓ</mi></msub><mo lspace="0em" rspace="0em" id="Thmdesired2.p1.4.m4.1.2.2.1a" xref="Thmdesired2.p1.4.m4.1.2.2.1.cmml">​</mo><mrow id="Thmdesired2.p1.4.m4.1.2.2.4.2" xref="Thmdesired2.p1.4.m4.1.2.2.cmml"><mo stretchy="false" id="Thmdesired2.p1.4.m4.1.2.2.4.2.1" xref="Thmdesired2.p1.4.m4.1.2.2.cmml">(</mo><mi id="Thmdesired2.p1.4.m4.1.1" xref="Thmdesired2.p1.4.m4.1.1.cmml">𝒙</mi><mo stretchy="false" id="Thmdesired2.p1.4.m4.1.2.2.4.2.2" xref="Thmdesired2.p1.4.m4.1.2.2.cmml">)</mo></mrow></mrow><mo id="Thmdesired2.p1.4.m4.1.2.1" xref="Thmdesired2.p1.4.m4.1.2.1.cmml">∈</mo><msup id="Thmdesired2.p1.4.m4.1.2.3" xref="Thmdesired2.p1.4.m4.1.2.3.cmml"><mi id="Thmdesired2.p1.4.m4.1.2.3.2" xref="Thmdesired2.p1.4.m4.1.2.3.2.cmml">ℝ</mi><mrow id="Thmdesired2.p1.4.m4.1.2.3.3" xref="Thmdesired2.p1.4.m4.1.2.3.3.cmml"><mn id="Thmdesired2.p1.4.m4.1.2.3.3.2" xref="Thmdesired2.p1.4.m4.1.2.3.3.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmdesired2.p1.4.m4.1.2.3.3.1" xref="Thmdesired2.p1.4.m4.1.2.3.3.1.cmml">​</mo><mi id="Thmdesired2.p1.4.m4.1.2.3.3.3" xref="Thmdesired2.p1.4.m4.1.2.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmdesired2.p1.4.m4.1.2.3.3.1a" xref="Thmdesired2.p1.4.m4.1.2.3.3.1.cmml">​</mo><msub id="Thmdesired2.p1.4.m4.1.2.3.3.4" xref="Thmdesired2.p1.4.m4.1.2.3.3.4.cmml"><mi id="Thmdesired2.p1.4.m4.1.2.3.3.4.2" xref="Thmdesired2.p1.4.m4.1.2.3.3.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmdesired2.p1.4.m4.1.2.3.3.4.3" xref="Thmdesired2.p1.4.m4.1.2.3.3.4.3.cmml">ℓ</mi></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmdesired2.p1.4.m4.1b"><apply id="Thmdesired2.p1.4.m4.1.2.cmml" xref="Thmdesired2.p1.4.m4.1.2"><in id="Thmdesired2.p1.4.m4.1.2.1.cmml" xref="Thmdesired2.p1.4.m4.1.2.1"></in><apply id="Thmdesired2.p1.4.m4.1.2.2.cmml" xref="Thmdesired2.p1.4.m4.1.2.2"><times id="Thmdesired2.p1.4.m4.1.2.2.1.cmml" xref="Thmdesired2.p1.4.m4.1.2.2.1"></times><ci id="Thmdesired2.p1.4.m4.1.2.2.2.cmml" xref="Thmdesired2.p1.4.m4.1.2.2.2">Δ</ci><apply id="Thmdesired2.p1.4.m4.1.2.2.3.cmml" xref="Thmdesired2.p1.4.m4.1.2.2.3"><csymbol cd="ambiguous" id="Thmdesired2.p1.4.m4.1.2.2.3.1.cmml" xref="Thmdesired2.p1.4.m4.1.2.2.3">subscript</csymbol><ci id="Thmdesired2.p1.4.m4.1.2.2.3.2.cmml" xref="Thmdesired2.p1.4.m4.1.2.2.3.2">𝒉</ci><ci id="Thmdesired2.p1.4.m4.1.2.2.3.3.cmml" xref="Thmdesired2.p1.4.m4.1.2.2.3.3">ℓ</ci></apply><ci id="Thmdesired2.p1.4.m4.1.1.cmml" xref="Thmdesired2.p1.4.m4.1.1">𝒙</ci></apply><apply id="Thmdesired2.p1.4.m4.1.2.3.cmml" xref="Thmdesired2.p1.4.m4.1.2.3"><csymbol cd="ambiguous" id="Thmdesired2.p1.4.m4.1.2.3.1.cmml" xref="Thmdesired2.p1.4.m4.1.2.3">superscript</csymbol><ci id="Thmdesired2.p1.4.m4.1.2.3.2.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.2">ℝ</ci><apply id="Thmdesired2.p1.4.m4.1.2.3.3.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3"><times id="Thmdesired2.p1.4.m4.1.2.3.3.1.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3.1"></times><cn type="integer" id="Thmdesired2.p1.4.m4.1.2.3.3.2.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3.2">0</cn><ci id="Thmdesired2.p1.4.m4.1.2.3.3.3.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3.3">𝑝</ci><apply id="Thmdesired2.p1.4.m4.1.2.3.3.4.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3.4"><csymbol cd="ambiguous" id="Thmdesired2.p1.4.m4.1.2.3.3.4.1.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3.4">subscript</csymbol><ci id="Thmdesired2.p1.4.m4.1.2.3.3.4.2.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3.4.2">𝑡</ci><ci id="Thmdesired2.p1.4.m4.1.2.3.3.4.3.cmml" xref="Thmdesired2.p1.4.m4.1.2.3.3.4.3">ℓ</ci></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmdesired2.p1.4.m4.1c">\Delta{\bm{h}}_{\ell}({\bm{x}})\in\mathbb{R}^{0pt_{\ell}}</annotation></semantics></math> denote their change after a gradient update. We desire that:</span>
<span id="A5.EGx7" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<span id="A5.Ex13"><span class="ltx_equation ltx_eqn_row ltx_align_baseline">
<span class="ltx_eqn_cell ltx_eqn_center_padleft"></span>
<span class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A5.Ex13.m1.6" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{h}}_{\ell}\right|\!\right|_{\tilde{2}}=\Theta(1)\quad\text{and}\quad\left|\!\left|\Delta{\bm{h}}_{\ell}\right|\!\right|_{\tilde{2}}=\Theta(1),\quad\text{ at layers }\ell=1,...,L\!-\!1." display="inline"><semantics id="A5.Ex13.m1.6a"><mrow id="A5.Ex13.m1.6.6.1"><mrow id="A5.Ex13.m1.6.6.1.1.2" xref="A5.Ex13.m1.6.6.1.1.3.cmml"><mrow id="A5.Ex13.m1.6.6.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.1.1.cmml"><msub id="A5.Ex13.m1.6.6.1.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.1.1.1.cmml"><mrow id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.2" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.cmml"><mi id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.2" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.2.cmml">𝒉</mi><mi mathvariant="normal" id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo mathcolor="#000000" stretchy="false" id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mover accent="true" id="A5.Ex13.m1.6.6.1.1.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.1.1.1.3.cmml"><mn id="A5.Ex13.m1.6.6.1.1.1.1.1.3.2" xref="A5.Ex13.m1.6.6.1.1.1.1.1.3.2.cmml">2</mn><mo id="A5.Ex13.m1.6.6.1.1.1.1.1.3.1" xref="A5.Ex13.m1.6.6.1.1.1.1.1.3.1.cmml">~</mo></mover></msub><mo id="A5.Ex13.m1.6.6.1.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.1.1.3.cmml">=</mo><mrow id="A5.Ex13.m1.6.6.1.1.1.1.2.1" xref="A5.Ex13.m1.6.6.1.1.1.1.2.2.cmml"><mrow id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.cmml"><mi mathvariant="normal" id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.2" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.1" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.1.cmml">​</mo><mrow id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.3.2" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.cmml"><mo stretchy="false" id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.3.2.1" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.cmml">(</mo><mn id="A5.Ex13.m1.1.1" xref="A5.Ex13.m1.1.1.cmml">1</mn><mo stretchy="false" id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.3.2.2" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mspace width="1em" id="A5.Ex13.m1.6.6.1.1.1.1.2.1.2" xref="A5.Ex13.m1.6.6.1.1.1.1.2.2.cmml"></mspace><mtext id="A5.Ex13.m1.5.5" xref="A5.Ex13.m1.5.5a.cmml">and</mtext></mrow></mrow><mspace width="1em" id="A5.Ex13.m1.6.6.1.1.2.3" xref="A5.Ex13.m1.6.6.1.1.3a.cmml"></mspace><mrow id="A5.Ex13.m1.6.6.1.1.2.2.2" xref="A5.Ex13.m1.6.6.1.1.2.2.3.cmml"><mrow id="A5.Ex13.m1.6.6.1.1.2.2.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.cmml"><msub id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.cmml"><mrow id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.cmml"><mi mathvariant="normal" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.2.cmml">Δ</mi><mo lspace="0em" rspace="0em" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.1.cmml">​</mo><msub id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.cmml"><mi id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2.cmml">𝒉</mi><mi mathvariant="normal" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo mathcolor="#000000" stretchy="false" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mover accent="true" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.cmml"><mn id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.2.cmml">2</mn><mo id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.1.cmml">~</mo></mover></msub><mo id="A5.Ex13.m1.6.6.1.1.2.2.1.1.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.2.cmml">=</mo><mrow id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.cmml"><mi mathvariant="normal" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.1.cmml">​</mo><mrow id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.3.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.cmml"><mo stretchy="false" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.3.2.1" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.cmml">(</mo><mn id="A5.Ex13.m1.2.2" xref="A5.Ex13.m1.2.2.cmml">1</mn><mo stretchy="false" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.3.2.2" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo rspace="1.167em" id="A5.Ex13.m1.6.6.1.1.2.2.2.3" xref="A5.Ex13.m1.6.6.1.1.2.2.3a.cmml">,</mo><mrow id="A5.Ex13.m1.6.6.1.1.2.2.2.2" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.cmml"><mrow id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.cmml"><mtext id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.2" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.2a.cmml"> at layers </mtext><mo lspace="0em" rspace="0em" id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.1" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.1.cmml">​</mo><mi mathvariant="normal" id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.3" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.3.cmml">ℓ</mi></mrow><mo id="A5.Ex13.m1.6.6.1.1.2.2.2.2.2" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.2.cmml">=</mo><mrow id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.2.cmml"><mn id="A5.Ex13.m1.3.3" xref="A5.Ex13.m1.3.3.cmml">1</mn><mo id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.2" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.2.cmml">,</mo><mi mathvariant="normal" id="A5.Ex13.m1.4.4" xref="A5.Ex13.m1.4.4.cmml">…</mi><mo id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.3" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.2.cmml">,</mo><mrow id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.cmml"><mi id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.2" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.2.cmml">L</mi><mo lspace="0.052em" rspace="0.052em" id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.1" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.1.cmml">−</mo><mn id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.3" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.3.cmml">1</mn></mrow></mrow></mrow></mrow></mrow><mo lspace="0em" id="A5.Ex13.m1.6.6.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex13.m1.6b"><apply id="A5.Ex13.m1.6.6.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2"><csymbol cd="ambiguous" id="A5.Ex13.m1.6.6.1.1.3a.cmml" xref="A5.Ex13.m1.6.6.1.1.2.3">formulae-sequence</csymbol><apply id="A5.Ex13.m1.6.6.1.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1"><eq id="A5.Ex13.m1.6.6.1.1.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.3"></eq><apply id="A5.Ex13.m1.6.6.1.1.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1"><csymbol cd="ambiguous" id="A5.Ex13.m1.6.6.1.1.1.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1">subscript</csymbol><apply id="A5.Ex13.m1.6.6.1.1.1.1.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A5.Ex13.m1.6.6.1.1.1.1.1.1.2.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.2">norm</csymbol><apply id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.2">𝒉</ci><ci id="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><apply id="A5.Ex13.m1.6.6.1.1.1.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.3"><ci id="A5.Ex13.m1.6.6.1.1.1.1.1.3.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.3.1">~</ci><cn type="integer" id="A5.Ex13.m1.6.6.1.1.1.1.1.3.2.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.1.3.2">2</cn></apply></apply><list id="A5.Ex13.m1.6.6.1.1.1.1.2.2.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1"><apply id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1"><times id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.1"></times><ci id="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.1.1.2.1.1.2">Θ</ci><cn type="integer" id="A5.Ex13.m1.1.1.cmml" xref="A5.Ex13.m1.1.1">1</cn></apply><ci id="A5.Ex13.m1.5.5a.cmml" xref="A5.Ex13.m1.5.5"><mtext id="A5.Ex13.m1.5.5.cmml" xref="A5.Ex13.m1.5.5">and</mtext></ci></list></apply><apply id="A5.Ex13.m1.6.6.1.1.2.2.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2"><csymbol cd="ambiguous" id="A5.Ex13.m1.6.6.1.1.2.2.3a.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.3">formulae-sequence</csymbol><apply id="A5.Ex13.m1.6.6.1.1.2.2.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1"><eq id="A5.Ex13.m1.6.6.1.1.2.2.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.2"></eq><apply id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1"><csymbol cd="ambiguous" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1">subscript</csymbol><apply id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1"><csymbol cd="latexml" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.2.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.2">norm</csymbol><apply id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1"><times id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.1"></times><ci id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.2">Δ</ci><apply id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3">subscript</csymbol><ci id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.2">𝒉</ci><ci id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><apply id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3"><ci id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.1">~</ci><cn type="integer" id="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.1.3.2">2</cn></apply></apply><apply id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3"><times id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.1"></times><ci id="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.1.1.3.2">Θ</ci><cn type="integer" id="A5.Ex13.m1.2.2.cmml" xref="A5.Ex13.m1.2.2">1</cn></apply></apply><apply id="A5.Ex13.m1.6.6.1.1.2.2.2.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2"><eq id="A5.Ex13.m1.6.6.1.1.2.2.2.2.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.2"></eq><apply id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3"><times id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.1"></times><ci id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.2a.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.2"><mtext id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.2"> at layers </mtext></ci><ci id="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.3.3">ℓ</ci></apply><list id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1"><cn type="integer" id="A5.Ex13.m1.3.3.cmml" xref="A5.Ex13.m1.3.3">1</cn><ci id="A5.Ex13.m1.4.4.cmml" xref="A5.Ex13.m1.4.4">…</ci><apply id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1"><minus id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.1.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.1"></minus><ci id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.2.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.2">𝐿</ci><cn type="integer" id="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.3.cmml" xref="A5.Ex13.m1.6.6.1.1.2.2.2.2.1.1.1.3">1</cn></apply></list></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex13.m1.6c">\displaystyle\left|\!\left|{\bm{h}}_{\ell}\right|\!\right|_{\tilde{2}}=\Theta(1)\quad\text{and}\quad\left|\!\left|\Delta{\bm{h}}_{\ell}\right|\!\right|_{\tilde{2}}=\Theta(1),\quad\text{ at layers }\ell=1,...,L\!-\!1.</annotation></semantics></math></span>
<span class="ltx_eqn_cell ltx_eqn_center_padright"></span></span></span>
</span>
</span>
</span></span></foreignObject></g></g></svg>
</div>
<div id="A5.SS3.p3" class="ltx_para ltx_noindent">
<p id="A5.SS3.p3.1" class="ltx_p">Note the norm here is just RMS norm because we only talk about hidden vectors (which are always dense).</p>
</div>
<div id="A5.SS3.p4" class="ltx_para ltx_noindent">
<svg id="A5.SS3.p4.pic1" class="ltx_picture" height="62.83" overflow="visible" version="1.1" width="600"><g transform="translate(0,62.83) matrix(1 0 0 -1 0 0)" fill="#000000" stroke="#000000" stroke-width="0.4pt"><g fill="#000000" fill-opacity="1.0"><path d="M 0 1.38 L 0 61.44 C 0 62.21 0.62 62.83 1.38 62.83 L 598.62 62.83 C 599.38 62.83 600 62.21 600 61.44 L 600 1.38 C 600 0.62 599.38 0 598.62 0 L 1.38 0 C 0.62 0 0 0.62 0 1.38 Z" style="stroke:none"></path></g><g fill="#FFFFFF" fill-opacity="1.0"><path d="M 1.38 1.38 L 1.38 61.44 L 598.62 61.44 L 598.62 1.38 Z" style="stroke:none"></path></g><g fill-opacity="1.0" transform="matrix(1.0 0.0 0.0 1.0 21.07 13.19)"><foreignObject width="557.86" height="36.44" transform="matrix(1 0 0 -1 0 16.6)" overflow="visible" color="#000000"><span id="A5.SS3.p4.pic1.1.1.1.1.1" class="ltx_inline-logical-block ltx_minipage ltx_align_bottom" style="width:403.2pt;">
<span id="Thmcondition2" class="ltx_theorem ltx_theorem_condition">
<h6 class="ltx_title ltx_runin ltx_title_theorem" style="color:#000000;">
<span class="ltx_tag ltx_tag_theorem"><span id="Thmcondition2.1.1.1" class="ltx_text ltx_font_bold" style="color:#000000;">Condition 2</span></span><span id="Thmcondition2.2.2" class="ltx_text ltx_font_bold" style="color:#000000;"> <span id="Thmcondition2.2.2.1" class="ltx_text ltx_font_medium">(Spectral scaling, natural norms)</span>.</span>
</h6>
<span id="Thmcondition2.p1" class="ltx_para">
<span id="Thmcondition2.p1.3" class="ltx_p">Consider applying a gradient update <math id="Thmcondition2.p1.1.m1.1" class="ltx_Math" alttext="\Delta\!{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}" display="inline"><semantics id="Thmcondition2.p1.1.m1.1a"><mrow id="Thmcondition2.p1.1.m1.1.1" xref="Thmcondition2.p1.1.m1.1.1.cmml"><mrow id="Thmcondition2.p1.1.m1.1.1.2" xref="Thmcondition2.p1.1.m1.1.1.2.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="Thmcondition2.p1.1.m1.1.1.2.2" xref="Thmcondition2.p1.1.m1.1.1.2.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.1.m1.1.1.2.1" xref="Thmcondition2.p1.1.m1.1.1.2.1.cmml">​</mo><msub id="Thmcondition2.p1.1.m1.1.1.2.3" xref="Thmcondition2.p1.1.m1.1.1.2.3.cmml"><mi id="Thmcondition2.p1.1.m1.1.1.2.3.2" xref="Thmcondition2.p1.1.m1.1.1.2.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmcondition2.p1.1.m1.1.1.2.3.3" xref="Thmcondition2.p1.1.m1.1.1.2.3.3.cmml">ℓ</mi></msub></mrow><mo id="Thmcondition2.p1.1.m1.1.1.1" xref="Thmcondition2.p1.1.m1.1.1.1.cmml">∈</mo><msup id="Thmcondition2.p1.1.m1.1.1.3" xref="Thmcondition2.p1.1.m1.1.1.3.cmml"><mi id="Thmcondition2.p1.1.m1.1.1.3.2" xref="Thmcondition2.p1.1.m1.1.1.3.2.cmml">ℝ</mi><mrow id="Thmcondition2.p1.1.m1.1.1.3.3" xref="Thmcondition2.p1.1.m1.1.1.3.3.cmml"><mrow id="Thmcondition2.p1.1.m1.1.1.3.3.2" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.cmml"><mrow id="Thmcondition2.p1.1.m1.1.1.3.3.2.2" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.cmml"><mn id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.2" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.1" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.1.cmml">​</mo><mi id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.3" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.1a" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.1.cmml">​</mo><msub id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.cmml"><mi id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.2" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.3" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="Thmcondition2.p1.1.m1.1.1.3.3.2.1" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.1.cmml">×</mo><mn id="Thmcondition2.p1.1.m1.1.1.3.3.2.3" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.1.m1.1.1.3.3.1" xref="Thmcondition2.p1.1.m1.1.1.3.3.1.cmml">​</mo><mi id="Thmcondition2.p1.1.m1.1.1.3.3.3" xref="Thmcondition2.p1.1.m1.1.1.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.1.m1.1.1.3.3.1a" xref="Thmcondition2.p1.1.m1.1.1.3.3.1.cmml">​</mo><msub id="Thmcondition2.p1.1.m1.1.1.3.3.4" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.cmml"><mi id="Thmcondition2.p1.1.m1.1.1.3.3.4.2" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.2.cmml">t</mi><mrow id="Thmcondition2.p1.1.m1.1.1.3.3.4.3" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3.cmml"><mi mathvariant="normal" id="Thmcondition2.p1.1.m1.1.1.3.3.4.3.2" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3.2.cmml">ℓ</mi><mo id="Thmcondition2.p1.1.m1.1.1.3.3.4.3.1" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3.1.cmml">−</mo><mn id="Thmcondition2.p1.1.m1.1.1.3.3.4.3.3" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmcondition2.p1.1.m1.1b"><apply id="Thmcondition2.p1.1.m1.1.1.cmml" xref="Thmcondition2.p1.1.m1.1.1"><in id="Thmcondition2.p1.1.m1.1.1.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.1"></in><apply id="Thmcondition2.p1.1.m1.1.1.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.2"><times id="Thmcondition2.p1.1.m1.1.1.2.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.2.1"></times><ci id="Thmcondition2.p1.1.m1.1.1.2.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.2.2">Δ</ci><apply id="Thmcondition2.p1.1.m1.1.1.2.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.2.3"><csymbol cd="ambiguous" id="Thmcondition2.p1.1.m1.1.1.2.3.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.2.3">subscript</csymbol><ci id="Thmcondition2.p1.1.m1.1.1.2.3.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.2.3.2">𝑾</ci><ci id="Thmcondition2.p1.1.m1.1.1.2.3.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.2.3.3">ℓ</ci></apply></apply><apply id="Thmcondition2.p1.1.m1.1.1.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3"><csymbol cd="ambiguous" id="Thmcondition2.p1.1.m1.1.1.3.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.3">superscript</csymbol><ci id="Thmcondition2.p1.1.m1.1.1.3.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.2">ℝ</ci><apply id="Thmcondition2.p1.1.m1.1.1.3.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3"><times id="Thmcondition2.p1.1.m1.1.1.3.3.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.1"></times><apply id="Thmcondition2.p1.1.m1.1.1.3.3.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2"><times id="Thmcondition2.p1.1.m1.1.1.3.3.2.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.1"></times><apply id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2"><times id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.1"></times><cn type="integer" id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.2">0</cn><ci id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.3">𝑝</ci><apply id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4"><csymbol cd="ambiguous" id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4">subscript</csymbol><ci id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.2">𝑡</ci><ci id="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="Thmcondition2.p1.1.m1.1.1.3.3.2.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.2.3">0</cn></apply><ci id="Thmcondition2.p1.1.m1.1.1.3.3.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.3">𝑝</ci><apply id="Thmcondition2.p1.1.m1.1.1.3.3.4.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.4"><csymbol cd="ambiguous" id="Thmcondition2.p1.1.m1.1.1.3.3.4.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.4">subscript</csymbol><ci id="Thmcondition2.p1.1.m1.1.1.3.3.4.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.2">𝑡</ci><apply id="Thmcondition2.p1.1.m1.1.1.3.3.4.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3"><minus id="Thmcondition2.p1.1.m1.1.1.3.3.4.3.1.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3.1"></minus><ci id="Thmcondition2.p1.1.m1.1.1.3.3.4.3.2.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3.2">ℓ</ci><cn type="integer" id="Thmcondition2.p1.1.m1.1.1.3.3.4.3.3.cmml" xref="Thmcondition2.p1.1.m1.1.1.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmcondition2.p1.1.m1.1c">\Delta\!{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}</annotation></semantics></math> to the <math id="Thmcondition2.p1.2.m2.1" class="ltx_Math" alttext="\ell" display="inline"><semantics id="Thmcondition2.p1.2.m2.1a"><mi mathvariant="normal" id="Thmcondition2.p1.2.m2.1.1" xref="Thmcondition2.p1.2.m2.1.1.cmml">ℓ</mi><annotation-xml encoding="MathML-Content" id="Thmcondition2.p1.2.m2.1b"><ci id="Thmcondition2.p1.2.m2.1.1.cmml" xref="Thmcondition2.p1.2.m2.1.1">ℓ</ci></annotation-xml><annotation encoding="application/x-tex" id="Thmcondition2.p1.2.m2.1c">\ell</annotation></semantics></math>th weight matrix <math id="Thmcondition2.p1.3.m3.1" class="ltx_Math" alttext="{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}" display="inline"><semantics id="Thmcondition2.p1.3.m3.1a"><mrow id="Thmcondition2.p1.3.m3.1.1" xref="Thmcondition2.p1.3.m3.1.1.cmml"><msub id="Thmcondition2.p1.3.m3.1.1.2" xref="Thmcondition2.p1.3.m3.1.1.2.cmml"><mi id="Thmcondition2.p1.3.m3.1.1.2.2" xref="Thmcondition2.p1.3.m3.1.1.2.2.cmml">𝑾</mi><mi mathvariant="normal" id="Thmcondition2.p1.3.m3.1.1.2.3" xref="Thmcondition2.p1.3.m3.1.1.2.3.cmml">ℓ</mi></msub><mo id="Thmcondition2.p1.3.m3.1.1.1" xref="Thmcondition2.p1.3.m3.1.1.1.cmml">∈</mo><msup id="Thmcondition2.p1.3.m3.1.1.3" xref="Thmcondition2.p1.3.m3.1.1.3.cmml"><mi id="Thmcondition2.p1.3.m3.1.1.3.2" xref="Thmcondition2.p1.3.m3.1.1.3.2.cmml">ℝ</mi><mrow id="Thmcondition2.p1.3.m3.1.1.3.3" xref="Thmcondition2.p1.3.m3.1.1.3.3.cmml"><mrow id="Thmcondition2.p1.3.m3.1.1.3.3.2" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.cmml"><mrow id="Thmcondition2.p1.3.m3.1.1.3.3.2.2" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.cmml"><mn id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.2" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.2.cmml">0</mn><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.1" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.1.cmml">​</mo><mi id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.3" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.1a" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.1.cmml">​</mo><msub id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.cmml"><mi id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.2" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.2.cmml">t</mi><mi mathvariant="normal" id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.3" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.3.cmml">ℓ</mi></msub></mrow><mo lspace="0.222em" rspace="0.222em" id="Thmcondition2.p1.3.m3.1.1.3.3.2.1" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.1.cmml">×</mo><mn id="Thmcondition2.p1.3.m3.1.1.3.3.2.3" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.3.cmml">0</mn></mrow><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.3.m3.1.1.3.3.1" xref="Thmcondition2.p1.3.m3.1.1.3.3.1.cmml">​</mo><mi id="Thmcondition2.p1.3.m3.1.1.3.3.3" xref="Thmcondition2.p1.3.m3.1.1.3.3.3.cmml">p</mi><mo lspace="0em" rspace="0em" id="Thmcondition2.p1.3.m3.1.1.3.3.1a" xref="Thmcondition2.p1.3.m3.1.1.3.3.1.cmml">​</mo><msub id="Thmcondition2.p1.3.m3.1.1.3.3.4" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.cmml"><mi id="Thmcondition2.p1.3.m3.1.1.3.3.4.2" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.2.cmml">t</mi><mrow id="Thmcondition2.p1.3.m3.1.1.3.3.4.3" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3.cmml"><mi mathvariant="normal" id="Thmcondition2.p1.3.m3.1.1.3.3.4.3.2" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3.2.cmml">ℓ</mi><mo id="Thmcondition2.p1.3.m3.1.1.3.3.4.3.1" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3.1.cmml">−</mo><mn id="Thmcondition2.p1.3.m3.1.1.3.3.4.3.3" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3.3.cmml">1</mn></mrow></msub></mrow></msup></mrow><annotation-xml encoding="MathML-Content" id="Thmcondition2.p1.3.m3.1b"><apply id="Thmcondition2.p1.3.m3.1.1.cmml" xref="Thmcondition2.p1.3.m3.1.1"><in id="Thmcondition2.p1.3.m3.1.1.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.1"></in><apply id="Thmcondition2.p1.3.m3.1.1.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.2"><csymbol cd="ambiguous" id="Thmcondition2.p1.3.m3.1.1.2.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.2">subscript</csymbol><ci id="Thmcondition2.p1.3.m3.1.1.2.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.2.2">𝑾</ci><ci id="Thmcondition2.p1.3.m3.1.1.2.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.2.3">ℓ</ci></apply><apply id="Thmcondition2.p1.3.m3.1.1.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3"><csymbol cd="ambiguous" id="Thmcondition2.p1.3.m3.1.1.3.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.3">superscript</csymbol><ci id="Thmcondition2.p1.3.m3.1.1.3.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.2">ℝ</ci><apply id="Thmcondition2.p1.3.m3.1.1.3.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3"><times id="Thmcondition2.p1.3.m3.1.1.3.3.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.1"></times><apply id="Thmcondition2.p1.3.m3.1.1.3.3.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2"><times id="Thmcondition2.p1.3.m3.1.1.3.3.2.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.1"></times><apply id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2"><times id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.1"></times><cn type="integer" id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.2">0</cn><ci id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.3">𝑝</ci><apply id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4"><csymbol cd="ambiguous" id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4">subscript</csymbol><ci id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.2">𝑡</ci><ci id="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.2.4.3">ℓ</ci></apply></apply><cn type="integer" id="Thmcondition2.p1.3.m3.1.1.3.3.2.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.2.3">0</cn></apply><ci id="Thmcondition2.p1.3.m3.1.1.3.3.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.3">𝑝</ci><apply id="Thmcondition2.p1.3.m3.1.1.3.3.4.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.4"><csymbol cd="ambiguous" id="Thmcondition2.p1.3.m3.1.1.3.3.4.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.4">subscript</csymbol><ci id="Thmcondition2.p1.3.m3.1.1.3.3.4.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.2">𝑡</ci><apply id="Thmcondition2.p1.3.m3.1.1.3.3.4.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3"><minus id="Thmcondition2.p1.3.m3.1.1.3.3.4.3.1.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3.1"></minus><ci id="Thmcondition2.p1.3.m3.1.1.3.3.4.3.2.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3.2">ℓ</ci><cn type="integer" id="Thmcondition2.p1.3.m3.1.1.3.3.4.3.3.cmml" xref="Thmcondition2.p1.3.m3.1.1.3.3.4.3.3">1</cn></apply></apply></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="Thmcondition2.p1.3.m3.1c">{\bm{W}}_{\ell}\in\mathbb{R}^{0pt_{\ell}\times 0pt_{\ell-1}}</annotation></semantics></math>.
The spectral norms of these matrices should satisfy:</span>
<span id="A5.EGx8" class="ltx_equationgroup ltx_eqn_align ltx_eqn_table">

<span id="A5.Ex14"><span class="ltx_equation ltx_eqn_row ltx_align_baseline">
<span class="ltx_eqn_cell ltx_eqn_center_padleft"></span>
<span class="ltx_td ltx_align_right ltx_eqn_cell"><math id="A5.Ex14.m1.7" class="ltx_Math" alttext="\displaystyle\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{\tilde{*}}=\Theta\left(1\right)\ \ \ \text{and}\ \ \ \left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{\tilde{*}}=\Theta\left(1\right),\quad\text{ at layers }\ell=1,...,L." display="inline"><semantics id="A5.Ex14.m1.7a"><mrow id="A5.Ex14.m1.7.7.1"><mrow id="A5.Ex14.m1.7.7.1.1.2" xref="A5.Ex14.m1.7.7.1.1.3.cmml"><mrow id="A5.Ex14.m1.7.7.1.1.1.1" xref="A5.Ex14.m1.7.7.1.1.1.1.cmml"><msub id="A5.Ex14.m1.7.7.1.1.1.1.1" xref="A5.Ex14.m1.7.7.1.1.1.1.1.cmml"><mrow id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.2" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.2.1.cmml">‖</mo><msub id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.cmml"><mi id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.2" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.2.cmml">𝑾</mi><mi mathvariant="normal" id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.3" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.3.cmml">ℓ</mi></msub><mo mathcolor="#000000" stretchy="false" id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.3" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.2.1.cmml">‖</mo></mrow><mover accent="true" id="A5.Ex14.m1.7.7.1.1.1.1.1.3" xref="A5.Ex14.m1.7.7.1.1.1.1.1.3.cmml"><mo id="A5.Ex14.m1.7.7.1.1.1.1.1.3.2" xref="A5.Ex14.m1.7.7.1.1.1.1.1.3.2.cmml">∗</mo><mo id="A5.Ex14.m1.7.7.1.1.1.1.1.3.1" xref="A5.Ex14.m1.7.7.1.1.1.1.1.3.1.cmml">~</mo></mover></msub><mo id="A5.Ex14.m1.7.7.1.1.1.1.3" xref="A5.Ex14.m1.7.7.1.1.1.1.3.cmml">=</mo><mrow id="A5.Ex14.m1.7.7.1.1.1.1.2.1" xref="A5.Ex14.m1.7.7.1.1.1.1.2.2.cmml"><mrow id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.cmml"><mi mathvariant="normal" id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.2" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.1" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.1.cmml">​</mo><mrow id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.3.2" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.cmml"><mo id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.3.2.1" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.cmml">(</mo><mn id="A5.Ex14.m1.1.1" xref="A5.Ex14.m1.1.1.cmml">1</mn><mo id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.3.2.2" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.cmml">)</mo></mrow></mrow><mspace width="1.5em" id="A5.Ex14.m1.7.7.1.1.1.1.2.1.2" xref="A5.Ex14.m1.7.7.1.1.1.1.2.2.cmml"></mspace><mtext id="A5.Ex14.m1.6.6" xref="A5.Ex14.m1.6.6a.cmml">and</mtext></mrow></mrow><mspace width="1.5em" id="A5.Ex14.m1.7.7.1.1.2.3" xref="A5.Ex14.m1.7.7.1.1.3a.cmml"></mspace><mrow id="A5.Ex14.m1.7.7.1.1.2.2.2" xref="A5.Ex14.m1.7.7.1.1.2.2.3.cmml"><mrow id="A5.Ex14.m1.7.7.1.1.2.2.1.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.cmml"><msub id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.cmml"><mrow id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.2.cmml"><mo mathcolor="#000000" stretchy="false" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo><mrow id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml"><mpadded width="0.663em"><mi mathvariant="normal" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.cmml">Δ</mi></mpadded><mo lspace="0em" rspace="0em" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.1.cmml">​</mo><msub id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.cmml"><mi id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2.cmml">𝑾</mi><mi mathvariant="normal" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3.cmml">ℓ</mi></msub></mrow><mo mathcolor="#000000" stretchy="false" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.3" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.2.1.cmml">‖</mo></mrow><mover accent="true" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.cmml"><mo id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.2.cmml">∗</mo><mo id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.1.cmml">~</mo></mover></msub><mo id="A5.Ex14.m1.7.7.1.1.2.2.1.1.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.2.cmml">=</mo><mrow id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.cmml"><mi mathvariant="normal" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.1.cmml">​</mo><mrow id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.3.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.cmml"><mo id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.3.2.1" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.cmml">(</mo><mn id="A5.Ex14.m1.2.2" xref="A5.Ex14.m1.2.2.cmml">1</mn><mo id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.3.2.2" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.cmml">)</mo></mrow></mrow></mrow><mo rspace="1.167em" id="A5.Ex14.m1.7.7.1.1.2.2.2.3" xref="A5.Ex14.m1.7.7.1.1.2.2.3a.cmml">,</mo><mrow id="A5.Ex14.m1.7.7.1.1.2.2.2.2" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.cmml"><mrow id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.cmml"><mtext id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.2" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.2a.cmml"> at layers </mtext><mo lspace="0em" rspace="0em" id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.1" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.1.cmml">​</mo><mi mathvariant="normal" id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.3" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.3.cmml">ℓ</mi></mrow><mo id="A5.Ex14.m1.7.7.1.1.2.2.2.2.1" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.1.cmml">=</mo><mrow id="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.2" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.1.cmml"><mn id="A5.Ex14.m1.3.3" xref="A5.Ex14.m1.3.3.cmml">1</mn><mo id="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.2.1" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.1.cmml">,</mo><mi mathvariant="normal" id="A5.Ex14.m1.4.4" xref="A5.Ex14.m1.4.4.cmml">…</mi><mo id="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.2.2" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.1.cmml">,</mo><mi id="A5.Ex14.m1.5.5" xref="A5.Ex14.m1.5.5.cmml">L</mi></mrow></mrow></mrow></mrow><mo lspace="0em" id="A5.Ex14.m1.7.7.1.2">.</mo></mrow><annotation-xml encoding="MathML-Content" id="A5.Ex14.m1.7b"><apply id="A5.Ex14.m1.7.7.1.1.3.cmml" xref="A5.Ex14.m1.7.7.1.1.2"><csymbol cd="ambiguous" id="A5.Ex14.m1.7.7.1.1.3a.cmml" xref="A5.Ex14.m1.7.7.1.1.2.3">formulae-sequence</csymbol><apply id="A5.Ex14.m1.7.7.1.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1"><eq id="A5.Ex14.m1.7.7.1.1.1.1.3.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.3"></eq><apply id="A5.Ex14.m1.7.7.1.1.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1"><csymbol cd="ambiguous" id="A5.Ex14.m1.7.7.1.1.1.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1">subscript</csymbol><apply id="A5.Ex14.m1.7.7.1.1.1.1.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1"><csymbol cd="latexml" id="A5.Ex14.m1.7.7.1.1.1.1.1.1.2.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.2">norm</csymbol><apply id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1"><csymbol cd="ambiguous" id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1">subscript</csymbol><ci id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.2">𝑾</ci><ci id="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.3.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.1.1.1.3">ℓ</ci></apply></apply><apply id="A5.Ex14.m1.7.7.1.1.1.1.1.3.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.3"><ci id="A5.Ex14.m1.7.7.1.1.1.1.1.3.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.3.1">~</ci><times id="A5.Ex14.m1.7.7.1.1.1.1.1.3.2.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.1.3.2"></times></apply></apply><list id="A5.Ex14.m1.7.7.1.1.1.1.2.2.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1"><apply id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1"><times id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.1"></times><ci id="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.1.1.2.1.1.2">Θ</ci><cn type="integer" id="A5.Ex14.m1.1.1.cmml" xref="A5.Ex14.m1.1.1">1</cn></apply><ci id="A5.Ex14.m1.6.6a.cmml" xref="A5.Ex14.m1.6.6"><mtext id="A5.Ex14.m1.6.6.cmml" xref="A5.Ex14.m1.6.6">and</mtext></ci></list></apply><apply id="A5.Ex14.m1.7.7.1.1.2.2.3.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2"><csymbol cd="ambiguous" id="A5.Ex14.m1.7.7.1.1.2.2.3a.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.3">formulae-sequence</csymbol><apply id="A5.Ex14.m1.7.7.1.1.2.2.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1"><eq id="A5.Ex14.m1.7.7.1.1.2.2.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.2"></eq><apply id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1"><csymbol cd="ambiguous" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1">subscript</csymbol><apply id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1"><csymbol cd="latexml" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.2.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.2">norm</csymbol><apply id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1"><times id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.1"></times><ci id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.2">Δ</ci><apply id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3"><csymbol cd="ambiguous" id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3">subscript</csymbol><ci id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.2">𝑾</ci><ci id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.1.1.1.3.3">ℓ</ci></apply></apply></apply><apply id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3"><ci id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.1">~</ci><times id="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.1.3.2"></times></apply></apply><apply id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3"><times id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.1"></times><ci id="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.1.1.3.2">Θ</ci><cn type="integer" id="A5.Ex14.m1.2.2.cmml" xref="A5.Ex14.m1.2.2">1</cn></apply></apply><apply id="A5.Ex14.m1.7.7.1.1.2.2.2.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2"><eq id="A5.Ex14.m1.7.7.1.1.2.2.2.2.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.1"></eq><apply id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2"><times id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.1"></times><ci id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.2a.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.2"><mtext id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.2.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.2"> at layers </mtext></ci><ci id="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.3.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.2.3">ℓ</ci></apply><list id="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.1.cmml" xref="A5.Ex14.m1.7.7.1.1.2.2.2.2.3.2"><cn type="integer" id="A5.Ex14.m1.3.3.cmml" xref="A5.Ex14.m1.3.3">1</cn><ci id="A5.Ex14.m1.4.4.cmml" xref="A5.Ex14.m1.4.4">…</ci><ci id="A5.Ex14.m1.5.5.cmml" xref="A5.Ex14.m1.5.5">𝐿</ci></list></apply></apply></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.Ex14.m1.7c">\displaystyle\left|\!\left|{\bm{W}}_{\ell}\right|\!\right|_{\tilde{*}}=\Theta\left(1\right)\ \ \ \text{and}\ \ \ \left|\!\left|\Delta\!{\bm{W}}_{\ell}\right|\!\right|_{\tilde{*}}=\Theta\left(1\right),\quad\text{ at layers }\ell=1,...,L.</annotation></semantics></math></span>
<span class="ltx_eqn_cell ltx_eqn_center_padright"></span></span></span>
</span>
</span>
</span></span></foreignObject></g></g></svg>
</div>
<div id="A5.SS3.p5" class="ltx_para ltx_noindent">
<p id="A5.SS3.p5.1" class="ltx_p">In summary, using these rescaled norms (that we call “natural norms”), our problem is nondimensionalized: feature vectors, feature vector updates, weight matrices, and weight matrix updates are <math id="A5.SS3.p5.1.m1.1" class="ltx_Math" alttext="\Theta(1)" display="inline"><semantics id="A5.SS3.p5.1.m1.1a"><mrow id="A5.SS3.p5.1.m1.1.2" xref="A5.SS3.p5.1.m1.1.2.cmml"><mi mathvariant="normal" id="A5.SS3.p5.1.m1.1.2.2" xref="A5.SS3.p5.1.m1.1.2.2.cmml">Θ</mi><mo lspace="0em" rspace="0em" id="A5.SS3.p5.1.m1.1.2.1" xref="A5.SS3.p5.1.m1.1.2.1.cmml">​</mo><mrow id="A5.SS3.p5.1.m1.1.2.3.2" xref="A5.SS3.p5.1.m1.1.2.cmml"><mo stretchy="false" id="A5.SS3.p5.1.m1.1.2.3.2.1" xref="A5.SS3.p5.1.m1.1.2.cmml">(</mo><mn id="A5.SS3.p5.1.m1.1.1" xref="A5.SS3.p5.1.m1.1.1.cmml">1</mn><mo stretchy="false" id="A5.SS3.p5.1.m1.1.2.3.2.2" xref="A5.SS3.p5.1.m1.1.2.cmml">)</mo></mrow></mrow><annotation-xml encoding="MathML-Content" id="A5.SS3.p5.1.m1.1b"><apply id="A5.SS3.p5.1.m1.1.2.cmml" xref="A5.SS3.p5.1.m1.1.2"><times id="A5.SS3.p5.1.m1.1.2.1.cmml" xref="A5.SS3.p5.1.m1.1.2.1"></times><ci id="A5.SS3.p5.1.m1.1.2.2.cmml" xref="A5.SS3.p5.1.m1.1.2.2">Θ</ci><cn type="integer" id="A5.SS3.p5.1.m1.1.1.cmml" xref="A5.SS3.p5.1.m1.1.1">1</cn></apply></annotation-xml><annotation encoding="application/x-tex" id="A5.SS3.p5.1.m1.1c">\Theta(1)</annotation></semantics></math> in norm.
These natural norms provide a universal framework that covers specific cases, such as one-hot embeddings in language models, that are not handled directly by <a href="#Thmcondition1" title="Condition 1 (Spectral scaling). ‣ 1.1 Road map for the paper ‣ 1 Introduction ‣ A Spectral Condition for Feature Learning" class="ltx_ref"><span class="ltx_text ltx_ref_tag">1</span></a>.</p>
</div>
<div class="ltx_pagination ltx_role_newpage"></div>
</section>
</section><div class="ltx_rdf" about="" property="dcterms:title" content="A Spectral Condition for Feature Learning"></div>

</article>
</div>
<div class="ar5iv-footer"><a href="/html/2310.17812" class="ar5iv-nav-button ar5iv-nav-button-prev">◄</a>
    <a class="ar5iv-home-button" href="/"><img height="40" alt="ar5iv homepage" src="/assets/ar5iv.png"></a>
    <a href="/feeling_lucky" class="ar5iv-text-button">Feeling<br>lucky?</a>
    <a href="/log/2310.17813" class="ar5iv-text-button ar5iv-severity-warning">Conversion<br>report</a>
    <a class="ar5iv-text-button" target="_blank" href="https://github.com/dginev/ar5iv/issues/new?template=improve-article--arxiv-id-.md&title=Improve+article+2310.17813">Report<br>an issue</a>
    <a href="https://arxiv.org/abs/2310.17813" class="ar5iv-text-button arxiv-ui-theme">View&nbsp;original<br>on&nbsp;arXiv</a><a href="/html/2310.17814" class="ar5iv-nav-button ar5iv-nav-button-next">►</a>
</div><footer class="ltx_page_footer">
<a class="ar5iv-toggle-color-scheme" href="javascript:toggleColorScheme()" title="Toggle ar5iv color scheme"><span class="color-scheme-icon"></span></a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/license" target="_blank">Copyright</a>
<a class="ar5iv-footer-button" href="https://arxiv.org/help/policies/privacy_policy" target="_blank">Privacy Policy</a>

<div class="ltx_page_logo">Generated  on Tue Feb 27 22:28:28 2024 by <a target="_blank" href="http://dlmf.nist.gov/LaTeXML/" class="ltx_LaTeXML_logo"><span style="letter-spacing:-0.2em; margin-right:0.1em;">L<span class="ltx_font_smallcaps" style="position:relative; bottom:2.2pt;">a</span>T<span class="ltx_font_smallcaps" style="font-size:120%;position:relative; bottom:-0.2ex;">e</span></span><span style="font-size:90%; position:relative; bottom:-0.2ex;">XML</span><img src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAsAAAAOCAYAAAD5YeaVAAAAAXNSR0IArs4c6QAAAAZiS0dEAP8A/wD/oL2nkwAAAAlwSFlzAAALEwAACxMBAJqcGAAAAAd0SU1FB9wKExQZLWTEaOUAAAAddEVYdENvbW1lbnQAQ3JlYXRlZCB3aXRoIFRoZSBHSU1Q72QlbgAAAdpJREFUKM9tkL+L2nAARz9fPZNCKFapUn8kyI0e4iRHSR1Kb8ng0lJw6FYHFwv2LwhOpcWxTjeUunYqOmqd6hEoRDhtDWdA8ApRYsSUCDHNt5ul13vz4w0vWCgUnnEc975arX6ORqN3VqtVZbfbTQC4uEHANM3jSqXymFI6yWazP2KxWAXAL9zCUa1Wy2tXVxheKA9YNoR8Pt+aTqe4FVVVvz05O6MBhqUIBGk8Hn8HAOVy+T+XLJfLS4ZhTiRJgqIoVBRFIoric47jPnmeB1mW/9rr9ZpSSn3Lsmir1fJZlqWlUonKsvwWwD8ymc/nXwVBeLjf7xEKhdBut9Hr9WgmkyGEkJwsy5eHG5vN5g0AKIoCAEgkEkin0wQAfN9/cXPdheu6P33fBwB4ngcAcByHJpPJl+fn54mD3Gg0NrquXxeLRQAAwzAYj8cwTZPwPH9/sVg8PXweDAauqqr2cDjEer1GJBLBZDJBs9mE4zjwfZ85lAGg2+06hmGgXq+j3+/DsixYlgVN03a9Xu8jgCNCyIegIAgx13Vfd7vdu+FweG8YRkjXdWy329+dTgeSJD3ieZ7RNO0VAXAPwDEAO5VKndi2fWrb9jWl9Esul6PZbDY9Go1OZ7PZ9z/lyuD3OozU2wAAAABJRU5ErkJggg==" alt="Mascot Sammy"></a>
</div></footer>
</div>

    <script>
      var canMathML = typeof(MathMLElement) == "function";
      if (!canMathML) {
        var body = document.querySelector("body");
        body.firstElementChild.setAttribute('style', 'opacity: 0;');
        var loading = document.createElement("div");
        loading.setAttribute("id", "mathjax-loading-spinner");
        var message = document.createElement("div");
        message.setAttribute("id", "mathjax-loading-message");
        message.innerText = "Typesetting Equations...";
        body.prepend(loading);
        body.prepend(message);

        var el = document.createElement("script");
        el.src = "https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js";
        document.querySelector("head").appendChild(el);

        window.MathJax = {
          startup: {
            pageReady: () => {
              return MathJax.startup.defaultPageReady().then(() => {
                body.removeChild(loading);
                body.removeChild(message);
                body.firstElementChild.removeAttribute('style');
              }); } } };
      }
    </script>
    <script>
    // Auxiliary function, building the preview feature when
    // an inline citation is clicked
    function clicked_cite(e) {
      e.preventDefault();
      let cite = this.closest('.ltx_cite');
      let next = cite.nextSibling;
      if (next && next.nodeType == Node.ELEMENT_NODE && next.getAttribute('class') == "ar5iv-bibitem-preview") {
        next.remove();
        return; }
      // Before adding a preview modal,
      // cleanup older previews, in case they're still open
      document.querySelectorAll('span.ar5iv-bibitem-preview').forEach(function(node) {
        node.remove();
      })

      // Create the preview
      preview = document.createElement('span');
      preview.setAttribute('class','ar5iv-bibitem-preview');
      let target = document.getElementById(this.getAttribute('href').slice(1));
      target.childNodes.forEach(function (child) {
        preview.append(child.cloneNode(true));
      });
      let close_x = document.createElement('button');
      close_x.setAttribute("aria-label","Close modal for bibliography item preview");
      close_x.textContent = "×";
      close_x.setAttribute('class', 'ar5iv-button-close-preview');
      close_x.setAttribute('onclick','this.parentNode.remove()');
      preview.append(close_x);
      preview.querySelectorAll('.ltx_tag_bibitem').forEach(function(node) {
        node.remove();
      });
      cite.parentNode.insertBefore(preview, cite.nextSibling);
      return;
    }
    // Global Document initialization:
    // - assign the preview feature to all inline citation links
    document.querySelectorAll(".ltx_cite .ltx_ref").forEach(function (link) {
      link.addEventListener("click", clicked_cite);
    });
    </script>
    </body>
</html>

2310.17813
The push to train ever larger neural networks has motivated the study of initialization and training at large network width.
A key challenge is to scale training so that a network’s internal representations evolve nontrivially at all widths, a process known asfeature learning.
Here, we show that feature learning is achieved by scaling thespectral normof weight matrices and their updates like, in contrast to widely used but heuristic scalings based on Frobenius norm and entry size.
Our spectral scaling analysis also leads to an elementary derivation ofmaximal update parametrization.
All in all, we aim to provide the reader with a solid conceptual understanding of feature learning in neural networks.
abstract
A Spectral Condition for Feature Learning
Abstract
2310.17813
1IntroductionRecent years have seen an unprecedented push to train deep learning systems with more and more parameters, leading to powerful models across domains and the unlocking of qualitatively new capabilities.
This continuing trend, combined with the technical challenges of training large models, has motivated much recent study of the dynamics of neural networks atlarge width, and more generally the study of how their dynamics scale as network width grows.
This program has yielded a cornucopia of theoretical insightsand practical scaling recommendations.A key challenge when training a network of large width is to ensure thatfeature learningoccurs at hidden layers.
By this, we mean that the hyperparameters of the network are scaled in a manner such that the hidden representations of the network (as obtained by partial evaluation of the network up to a certain layer)  change substantially over the course of training. Naïve hyperparameter scaling rules, including the well-studied “neural tangent parametrization” (NTP) , in factlosefeature learning at large width. But ample evidence supports the conclusion that proper feature learning is necessary for achieving optimal performance on many tasks. Furthermore, scaling training correctly can lead to new functionality such ashyperparameter transfer. For instance, the recently proposedmaximal update parametrizationallows for transferring hyperparameters from narrow models to wide models, avoiding the cost of tuning the wide model directly.Maximal update parametrization (P)  is derived by fairly involved “tensor programs” arguments that track feature distributions analytically in the infinite width limit. Anecdotally, the principles underlyingP are not well understood by the community. In this paper, we provide a new perspective onP, showing that its scaling relations can be obtained by elementary linear algebra arguments. In short, we show thatP is equivalent to scaling thespectral normof any weight matrix or update like. This simple condition has various favorable numerical properties that contrast sharply with heuristic optimization strategies based on controlling the Frobenius normor entry sizeof updates. In the authors’ experience, the spectral scaling condition both simplifies the implementation ofP in code, and is significantly easier to work with theoretically, leading to further conceptual advances in our research.On a more fundamental level, an important step to solving many problems in classical computer science is to write down a suitable distance function for the problem at hand. This idea is of particular importance in the design of optimization algorithms, where a notion of parameter distance is needed. While it can be tempting to use the Euclidean norm on parameter vectors to measure distance, this naïve choice risks discarding the structure of the problem. For example, neural networks involve compositions of linear operators, which we refer to as theiroperator structure. Past efforts to metrize the space of neural networks while accounting for their operator structure have included using the Frobenius norm to measure distance between matrices, which motivates various optimization algorithms that make Frobenius-normalized updates. This paper shows that the spectral norm provides a better notion of distance between operators in the context of deep learning.1.1Road map for the paperTo begin, we state the precise conditions on hidden features that we wish to ensure.
We will ask for two things: both thefeaturesand theirupdatesupon a step of gradient descent must be the proper size.Desideratum 1(Feature learning) .Letdenote the features of inputat layerof a neural network, and letdenote their change after a gradient step. We desire that:Let us unpack1.
These conditions treat the-normsof the feature vectorsand, a framing which will prove convenient.1amounts to asking that the “typical element size” of vectorsandiswith respect to width(we give a review of big-notation inSection2) . Enforcing that hidden features haveelement size has long been a principle of deep learning parametrization, motivated by the fact that activation functions are designed to take order-one inputs and give order-one outputs.
Our second requirement stipulates that feature entries also undergoupdates during training.
Note that any larger updates would blow up at large width, and any smaller updates would vanish at large width. We take1as our definition of feature learning.111Our notion of feature learning might also be called “nontrivial feature evolution.” While other authors may prefer different notions of “feature learning”—for example, the learning of interpretable, visualizable functions at hidden nodes—nontrivial feature evolution in our sense is necessary for any other reasonable definition of the term.Our main message is that feature learning in the sense of1may be ensured by the followingspectral scaling conditionon the weight matrices of a deep network and their gradient updates:Condition 1(Spectral scaling) .Consider applying a gradient updateto theth weight matrix.
The spectral norms of these matrices should satisfy:We review the spectral norm inSection2.
The spectral scaling condition has two components which will serve to enforce the respective components of1.
The first component mandates that eachweight matrixhas a spectral norm of a certain size, which will serve to enforce that the layer passes forward features of the correct size.
The second component mandates that eachgradient updatehas a spectral norm of a certain size, which will ensure that subsequent features undergo a change of the correct size.
We have implicitly assumed that the input has size, which is standard for image data. Language models are an important counterexample, where embedding matrices take one-hot inputs and thein1should be replaced by.AppendixEprovides a unifying treatment of these cases.To get some quick intuition for the origin of1, observe that under the forward propagation, if the layer inputaligns with the top singular vector of the weight matrix, then.
The requirement thatthen follows from1.
The scaling ofcan similarly be obtained by writingand applying the same argument. The key missing step is to justify that layer inputs actually do line up with the top singular subspaces of both weight matrices and weight updates. As the paper will show, gradient descent training actually induces this form of alignment.The bulk of this paper is dedicated to thoroughly demonstrating that training in accordance with our spectral scaling condition satisfies1in MLPs.
As an accessible path to this conclusion, we begin inSection3with a simple model—a deep linear MLP trained for one step on one example—and then successively extend to multiple training steps, a nonlinear model, and multiple inputs.
In the process, we give a scaling analysis of the dynamics of feature learning.
We then explain how1may be achieved in a standard deep learning setting and compare-and-contrast the resulting scaling prescription with others in the literature. In particular, we recover the recent “maximal-update parametrization” (P) .1.2Summary of contributionsConcretely, our contributions are as follows:•We propose thespectral scaling condition(1)  and show that it suffices to achieve feature learning in neural networks even at large width.•We show how1may be implemented: either via direct spectral normalization, or by layerwise initialization scalesand learning ratesthat recovermaximal update parametrization.222In fact,1is theuniquescaling on spectral norm that is equivalent toP in its usual definition in terms of learning rate and initialization scaling (Theorem1) .•We show that other popular scaling rules, including so-calledstandard parameterizationandneural tangent parametrization, fail to satisfy1.In the main text, we focus on MLPs trained via ordinary gradient descent for clarity. Our results may actually be extended to cover any architecture and any adaptive optimizer (for a suitable definition ofany, c.f.LABEL:{sec:formal_theory}) .
Therefore our spectral scaling condition provides a unifying hyperparameter scaling rule that remains the same whether the underlying optimizer is, say, SGD or Adam. We suggest that, when one wishes to determine how the hyperparameters of a new deep learning system should scale with width, one might turn to the satisfaction of1as an overarching principle.
introduction
A Spectral Condition for Feature Learning
1Introduction
2310.17813
2PreliminariesHere we review standard notations which we use in our scaling analysis.Scaling notation.We will use the usual big-notation and variants to make statements about how various quantities scale with network width. Intuitively speaking:•means that“scales no faster than”,•means that“scales like” or “is order”,•means that“scales at least as fast as”.Formally,is equivalent to the statement that there exist constantssuch thatfor all sufficiently large.
The weaker statementsandentail only the upper and lower bounds, respectively.We willonlybe concerned with scaling with respect to layer widths in this paper.
Big-notation will hide any dependence on other factors — such as depth, dataset size, learning rate schedule, a global learning rate prefactor — and our statements purely concern how quantities will or should scale with model width.Vector and matrix norms.We will use the standard-normto assess the size of a vector.
For matrices, we will principally use thespectral norm(a.k.a.operator norm)  defined as follows:Definition 1(Spectral norm) .The spectral norm of a matrixis given by(1) That is, the spectral norm is the largest factor by which a matrix can increase the norm of a vector on which it acts.
The spectral norm of a matrix is equal to its largest singular value.
We will sometimes contrast the spectral norm with theFrobenius normgiven by.Properties of the spectral norm.Letbe arbitrary matrices andbe an arbitrary vector. As with all norms, the spectral norm issubadditive, meaning that it obeys thetriangle inequality.
The spectral norm is alsosubmultiplicativein the sense thatand.
If we interpret a vectoras amatrix, then the, spectral and Frobenius norms are equivalent:.Special cases of the spectral norm.For arank-onematrix, which can be written as an outer-product, it holds that. A matrixissemi-orthogonalif eitheror.
A semi-orthogonal matrix has unit spectral norm:.
body
A Spectral Condition for Feature Learning
2Preliminaries
2310.17813
3The spectral scaling condition induces feature learningIn this section, we show that our spectral scaling condition (1)  achieves feature evolution of the correct scale in multilayer perceptrons (MLPs) .
We begin with a toy example which conveys key intuitions and then give a series of extensions which recover a much more general case.3.1Warmup: deep linear MLP, one step of SGD, on a single exampleWe begin with a simple model: a deep linear MLP trained for one step on a single input.
While elementary, this example will be sufficient to capture the intuition for a much more general case.Model definition.We will study an MLP composed ofsuccessive linear transformations.
We consider a single inputwith norm. The first hidden representation is, with the rest of the network following recursively as:(2) We letbe the network output.
We will keep the input dimensionand output dimensionfixed and consider scaling with respect to the hidden dimensions.We let the global loss bewhereandare a loss function and target vector, respectively.
During training, we will take gradient steps at each layer as, whereis a layerwise learning rate.
We will ultimately solve for the scale of, but for now we will be content to discuss the perturbationdirectly.
ByEquation2, hidden vector updates at subsequent layers are related by:(3) Hidden vector sizes.To reiterate1, we wish for features at theth layer to have a norm which scales as.
Upon a gradient update, this feature vector should undergo an update of size.
We will show that1is sufficient to achieve these aims at all layers.Plan of attack.For simplicity, we will first focus on thefirst step of gradient descentafter random initialization.
We will argue recursively in depth, showing that if the features at layerand their updates satisfy1, then so will those at layer.
In order to verify the desired scalings, we will show upper and lower scaling bounds separately: we will first show that the features and their updates are not larger than asked by1, and then show that they are in fact also not smaller than asked by1.Hidden vector updates.By the subadditivity and submultiplicativity of the spectral norm,Equations2and3imply that:(4) (5) where on the right hand sides of the inequality we have inserted1and1.
The spectral scaling condition thus gives features and feature updates obeying the correctupperbounds, and we need merely show comparable lower bounds.Tightness of bounds via matrix-vector alignment.The upper bound in the submultiplicativity propertycan be very loose—in particular, this is the case when the vector only interacts with the small singular values in the matrix.
We will now show that this is not the case in deep network training, and that these upper bounds provide a fairly accurate description of the way things scale.
We make two observations regarding random weight matrices and gradient updates:Claim 1(Alignment of initial weight matrices) .Fix a feature vector.
Assumeinis sampled using a common weight initialization strategy (e.g., Gaussian or semi-orthogonal init) . Provided that fan-out is no less than fan-in
() ,
then with high probability:Claim 2(Alignment of updates) .For an updategiven by gradient descent with batch size 1,In words,1states that random hidden weight matrices scale incoming vectors by factors commensurate to their spectral norms, so long as their fan-out is not smaller than their fan-in, which we will assume is the case for all but the final layer of the network.2states the same of weight updates, but the proportionality constant is precisely one and requires no condition on dimensionality.333Note thatin2is the same input that induced the gradientin the previous step.2is generally not an equality if this not true.We now justify these claims in turn.
For1, first suppose thatis a random semi-orthogonal matrix as is a popular initialization strategy. Then all singular values ofare one and, since fan-out exceeds fan-in, the null-space ofis empty. Taken together, these observations imply the equality:.
Fortunately, if the elements ofare instead sampled i.i.d. from a centered Gaussian distribution with standard deviation, then the situation is similar.
It is easily shown by the law of large numbers that,
and it is a standard result in random matrix theory that.1for Gaussian intialization follows by combining these results.2is easily verified as follows.
Observe that we can write the update at layeras the outer-product:(6) So the updateis rank-one with right singular vector.
To verify the claim, observe that:(7) With the claims established, we can now get lower bounds on hidden vector size which serve to verify1.
The features at initialization scale correctly as:(8) where we have first used1and then inserted1.
To bound the size of, let us first observe fromEquation3that(9) So long as the first termdoes not perfectly cancel with the latter two, we have that:(10) where in the last step we have inserted1.
CombiningEquation10with our matching upper bound fromEquation5,
we conclude thatas desired.We have achieved both clauses of Desideratum1at layer, completing a recursive step from layer.
The norm of the inputis by assumption the correct size to serve as a base case, and thus we recursively have the correct feature scaling at all layers.3.1.1Key intuitionsWe now pause to discuss key intuitions from the above argument which will carry through to the general case.Weight updates are low-rank and aligned.An important observation is that weight updates are highly structured: they have low rank and align to incoming vectors.
This motivates the spectral norm (which is the degree by which a matrix scales a “perfectly aligned” vector)  as the correct measure of size.Spectral variables enable simpler scaling analysis.Most prior work on hyperparameter scalingdiscusses layerwise initialization scalesand learning ratesas the primary variables—although there are exceptions.
By contrast, we work directly in terms of quantities that these hyperparameters regulate: the spectral norms ofand.
This enables us to determine the sizes of hidden vectors and their updates quite easily, whereas the same calculation in terms ofandis more involved.Section4shows how to recoverandfrom our spectral scaling condition.3.2Extensions: additional gradient steps, nonlinearities, and multiple examplesWe now extend our warmup example to successively more complex settings, ultimately recovering the general case.
As we add back complexity, our spectral scaling condition will remain sufficient to achieve feature evolution of the proper size, and key intuitions from our warmup will continue to hold up to minor modifications.
Each extension requires making a natural assumption. We empirically verify these assumptions for a deep MLP inAppendixC.3.2.1Additional gradient stepsOur warmup argument relied on two properties ofat initialization: its spectral norm being the correct size (1)  and it passing forward featuresof the correct size (2) .
Fortunately, it is easily seen that these two properties remain true ofafter a gradient step, and we can therefore treat the second (and later)  steps exactly as we did the first.
This follows quickly given the following assumption.Assumption 1.Updates do not perfectly cancel initial quantities.
That is:(11) (12) The sort of perfect cancellation required to violate this assumption will be rare in practice (and adding a small amount of randomness to the learning ratewill fix any occurrence with high probability) .
It follows thatandWith these facts in place, the same argument we used inSection3.1for the first step ensures that1also holds at later steps.3.2.2NonlinearitiesWe now add a nonlinearityto each layer of our MLP.
The modified forward recursion relation is:(13) with base caseand output.
We assume that the hidden features before and after the application of the nonlinearity are of the same scale:Assumption 2.This is the expected behavior for most activation functions (which are designed to take in order-one inputs and return outputs which neither explode nor uniformly vanish)  and seems like a reasonable assumption.
As in the linear case,will be rank-one and align to incoming signal as:(14) at each step.
All our scaling arguments from the linear case therefore carry through:
the termis sufficient to induce a changesatisfying1.
(The other terms which depend onwill be no larger.) 1therefore still achieves correctly-scaled feature evolution.3.2.3Batch size greater than oneWhen training on a minibatchwith size, each gradient step is simply an average of the steps on each example:(15) where the sum runs over the minibatch index anddenotes the update that would result from a step on the single example.
Whileis generally no longer rank one and cannot perfectly align to allincoming vectors, Equation15makes it clear that at least one summand will align to eachfrom the batch.
We first assume that this term is not perfectly cancelled by the others:Assumption 3..We additionally make the assumption that the batch size is fixed and independent of width:Assumption 4.The batch size is width-independent:.Combining these assumptions, we find that: the batch update is aligned with incoming signal in a scaling sense.
Our previous scaling arguments in fact needed only alignment in this “big-” sense (as opposed to the perfect rank-one sense of2) , and thus they still carry through: our spectral scaling condition continues to suffice to achieve proper feature learning as per1.Empirical observation: low-rank structure remains at large batch size.Surprisingly, we observe numerically that MLP updates remain low (effective)  rank and aligned with incoming vectorseven at large batch size.
This is demonstrated in Figure1.Figure 1:Gradient updates have low effective rank and high-alignment with incoming hidden vectors even at large batch size in MLPs on CIFAR-10.We randomly initialize MLPs with depth, hidden widths, andReLUandtanhactivation functions.
We then compute gradient updatesfor layeron randomly-sampled size-subsets of CIFAR-10.Left.As a measure of effective rank, we report thestable rankof gradient updates.
The stable rank remains less than 10 even whenis large, which is much less than its maximal possible value of.Right.We report the average alignmentof the weight updateto the incoming vector, averaged overfrom the batch.
Observe that alignment does not decay substantially with large batch size.
Dashed lines on both axes in both subplots show the network width.
Shaded regions denote one standard deviation of variation over random initializations and batches.
Curves look similar after training.
SeeAppendixAfor experimental details.3.3Adam and other adaptive optimizersAdam (like most adaptive optimizers in deep learning)  processes gradients into updates via an entrywise function.
For example, the momentum-less version of Adam is SignSGDwhich just applies the sign function to each gradient entry.
Via less elementary arguments detailed inAppendixB, all the above discussion holds forcalculated from these optimizers.
In a gist, the main ingredients are 1)  the nontrivial insight fromTensor Programsthat gradients look like outer products of iid vectors, and 2)  the fact that entrywise processing preserves the Frobenius norm of such a matrix up to multiplicative constants when width is large.3.4Uniqueness of spectral scaling conditionTechnically,1can be satisfied by scalings other than1.
For example, if one implements1at the first layer but setsfor layers, then1still holds.
However,1is the uniquemaximalscaling: if any oforexceeds1, then training will blow up as width is increased.
SeeAppendixBfor a proof.MatrixShapeStable RankSpectral NormFrobenius NormRMS Entry SizeTable 1:Conversion between matrix norms for initial weightsand updates. Results are first given for square matrices and vectors, then finally generalized to matrices of all shapes. Table entries denote the-scaling of each quantity. To obtain the Frobenius norm, one multiplies the spectral norm by the square root of the stable rank. To obtain the root-mean-square entry size, one divides the Frobenius norm by the square root of the number of entries. Notice that ainitial matrixwithspectral norm hasentry size, whereas aupdatewithspectral norm has onlyentry size, which is a factorsmaller! The truth of the statement “the weights move only a negligible amount in wide neural networks” thus depends on whether this change is measured in entry size or spectral norm.
body
A Spectral Condition for Feature Learning
3The spectral scaling condition induces feature learning
2310.17813
4Efficient implementation of the spectral scaling conditionWe have thus far proposed thespectral scaling condition(1)  and argued inSection3that this condition induces feature learning.
We now explain how this condition can be implemented in practice. Several implementation strategies are possible because relations exist between different notions of matrix norm (Table1provides a summary) .
In this section, we first discuss an implementation via direct spectral normalization, and ultimately recover a more standard setup in which each layer’s weight matrix is controlled by an initialization scaleand a (SGD)  learning rateas follows:Parametrization 1(Spectral parametrization) .We claim that the spectral scaling condition (1)  is satisfied and feature learning is achieved (as per1)  if the initialization scale and learning rate of each layerare chosen according to:Naïve method: direct spectral normalization.The most naïve way to impose1is to directly normalize the relevant quantities by their spectral norm.
For instance, to initialize the weight matrixat theth layer to have spectral norm, one could sample a temporary matrixusing any standard initializer and then re-normalize according to:(16) whereis a width-independent prefactor.
Similarly, to ensure that the gradient stepalso has a spectral norm of the proper size, one might spectrally normalize the gradient according to:(17) whereis a width-independent prefactor.It is quick to check that normalizing as inEquations16and17will satisfy1, but computing spectral norms is expensive and (as we will now show)  can be avoided entirely by working out howandwill scale and dividing by the appropriate factor.Random initialization.Let us suppose that, as is common practice,is initialized as, where all elements ofare initialized i.i.d. from a normal distribution with mean zero and unit variance.
The spectral norm of a matrix thus constructed is roughly.
To get the desired scaling, we need merely choose.
Simplifying within the, we arrive atscaled as in the spectral parametrization (1) .
Initializing weights with a prefactorscaling in this manner achieves the correct spectral norm of.
We note that the constant factor suppressed by thehere will usually be small—for example, a prefactor ofagrees with typical practice for ReLU networks at most layers.
Ifis instead a random semi-orthogonal matrix, then we can simply use a prefactor.Gradient updates.Here we give two methods for obtaining weight updateswith the correct spectral norm.
The first method is to note that, for a matrix with low stable rank, the Frobenius norm scales like the spectral norm (and is cheap to compute) , so we may simply approximateand useEquation17directly.
This approach is useful if one wants to avoid worrying about width-scaling pre-factors entirely.
The second method—on which we will spend more time—is to make standard updates(18) and find a scaling ofsuch that.The main challenge lies in finding the scaling of the gradient.
Note that we expect each gradient updateto induce a changein the output which induces a changefor common loss functions. Taylor expanding the loss to first order, we also expect that(19) wheredenotes the trace inner product and we have used the facts that the two arguments of the inner product are (a)  proportional to each other and (b)  low-rank.
Insertingand the spectral scaling condition, we can conclude that(20) This result may also be reached via direct layerwise-recursive analysis of the size of the gradient.
Returning toLABEL:eqn:gra\width_update, we now see that we achieve a properly-scaled updateif we takeas prescribed by1.In summary: training with layerwise initializationand learning ratescaled as in our1will implement the spectral scaling condition
and give features and feature evolution of the correct size.
body
A Spectral Condition for Feature Learning
4Efficient implementation of the spectral scaling condition
2310.17813
5Comparisons to existing parametrizationsWe have shown that training in accordance with ourspectral scaling condition(1)  at every layer suffices to achieve correctly-scaled feature evolution, and we have given width scalings for layerwise hyperparametersandthat suffice to put this condition into action in a standard deep learning paradigm (1) .
Here we compare this “spectral parametrization” with popular parametrizations.
We find that our parametrization recovers the “maximal update parametrization” (P)  at all layers and is different to other parametrizations.5.1Comparison with “maximal update parametrization”Maximal update parametrization (P)  was recently proposed as a scaling rule that retains feature learning even at infinite width.P as given in Table 3 ofmay be recovered from
our1by settingand. Our1actually streamlines and generalizesP: we provide a unifying treatment for any rectangular matrix, rather than treating input, hidden and output layers separately. In other words, from a spectral point of view, no layer is special. Our parametrization also includes scaling with respect to the input dimensionand output dimension(as opposed to neglecting them as agnosticquantities)  and treats hidden widths of unequal dimension () .5.2Contrast to “standard parametrization”At present, the vast majority of deep learning systems use either “Kaiming,” “Xavier,” or “LeCun” initializationwith layer-independent learning rates. Generically, we refer to this as “standard parametrization” (SP) , where layerwise initialization and learning rates scale as:(21) Notice that SP initialization exceeds1in any layer with fan-out smaller than fan-in. This includes the final layer in sufficiently wide networks. So, while1implies that weight matrices have spectral normat initialization, under SP the spectral norms of certain layers are initialized larger than this. This means that, under SP, network outputs can blow up if training aligns the layer inputs with the top singular subspaces (and in fact this alignment generally occurs) .5.3Contrast to “neural tangent parametrization”The neural tangent parametrization (NTP)  ofparameterizes a weight matrix aswhere the entries ofare sampled iid standard normal, and applies gradient descent with a layer-independent step-size. Since dividing a weight matrix byalso divides the gradient of that layer by the same factor, NTP is equivalent to training in our setup with a layer-wise standard deviation and learning rate:(22) ComparingEquations21and22, we see that NTP shares the same initialization scaling as SP but uses a smaller step-size. To see the deficiency of NTP, notice the output layerislarger than1, so that by the linearity of backpropagation, the gradient to any middle layeris alsolarger.
Then thelearning rate in NTP induces a changethat is(smaller)  compared to1, which prescribes a learning rate of.
Because1guarantees, NTP causesto vanish in spectral norm as hidden widths.It bears noting that an MLP parameterized with the NTP can be made to undergo feature evolution by simply rescaling the network output (and appropriately scaling down the global learning rate) .
This operation transforms the NTP intoP.5.4Contrast to “Frobenius-normalized updates”1mandates that the spectral norm of the update at layerbe proportional to the spectral norm of the weight matrix to which it is applied:. This contrasts with a body of optimization workthat has suggested instead that theFrobenius normof the update at layerbe proportional to theFrobenius normof the weight matrix to which it is applied:. For instance,analysed the operator structure of deep neural networks and wrote down perturbation bounds on network activations in terms of perturbations to the weight matrices at each layer, and used these perturbation bounds to motivate making updates that are small in Frobenius norm.
The flaw in that analysis is the assumption that weight matrices and their perturbations have identical conditioning structure, when in reality weight matrices have high stable rank and updates havestable rank.
In light of this fact, the Frobenius-normalized proportionality rule should be modified toin order to see proper feature evolution.
body
A Spectral Condition for Feature Learning
5Comparisons to existing parametrizations
2310.17813
6Demonstration:P versus NTPHere we discuss a simple, illustrative experiment in which we directly verify thatP obeys our spectral scaling condition (1)  and achieves leading-order feature evolution (1)  and the NTP does not.
We do so via direct measurement of spectral quantities in MLPs of varying width trained on the same task.AppendixAprovides full experimental details, and results are plottedFigure2.Model and data.We train MLPs withlinear layers, no biases, and ReLU activations.
For demonstration purposes, we train on a small subset ofexamples from a two-class subset of CIFAR-10.
The model has input dimension, output dimension, and uniform hidden dimension, withvaried between training runs.
We initialize and train each MLP twice with hyperparameters obtained usingP and NTP scalings, respectively. We train networks of widthsto near-zero training loss. After training, we compute various spectral quantities which we now discuss.Figure 2:Spectral quantities areunderP but decay with width under NTP.We train multilayer perceptrons of varying width, and plot the following quantities computed between the initial and final network:(A) Average relative change in features.(B) Relative change in weights in spectral norm.(C) Final layer alignment with incoming vectors (Equation24) .(D) Relative change in weights in Frobenius norm.
Labeled triangles show predicted powerlaw slopes.
Shaded regions show one standard deviation over random data and initialization.Norms of feature updates.We measure the average relative change in features over training:(23) whereandare the second (preactivation)  hidden vector at initialization and after training respectively, and the expectation is over samplesfrom the batch.
As shown inFigure2A, this feature evolution ratio remains roughly fixed as widthgrows when usingP, in satisfaction of1.
By contrast, it decays asfor the NTP as predicted by.Spectral norms of weight updates.We measure the relative change in weights in spectral norm:,
whereandare the second weight matrix before and after training, respectively.
As shown inFigure2B, this ratio remains roughly fixed with width in the case ofP, in accordance with1.
By contrast, it decays asfor the NTP.Final-layer alignment.We measure the alignment of the final layer to incoming vectors as follows:(24) This quantity isat initialization.
As shown inFigure2C, it grows towhen usingP but remainswhen using the NTP.Frobenius norms of weight updates.One often hears the claim that “the weights don’t move” when training very wide neural networks.
Here we show that the validity of this claim crucially depends on the choice of metric.
InFigure2D, we show that the Frobenius norm is deceptive: the net relative changecan decay with width even when the relative change in spectral norm is constant. This provides crucial context for interpreting existing results in the literature.
body
A Spectral Condition for Feature Learning
6Demonstration:P versus NTP
2310.17813
7Related workP was derived heuristically from spectral norm considerations in talks given by the first author in 2021. Earlier workderived a spectral analysis of feature learning based on perturbation bounds, but that work obtained the wrong scaling relation with network width due to a flawed conditioning assumption on gradients. Below, we review various strands of related work on feature learning and training strategies.Parametrizations for wide neural networks.Much work has examined the scaling behavior of training dynamics of networks at large width.
Together, works on the “neural tangent kernel” (NTK)  limit, the “mean-field” limit, and the related “feature learning” limit(i.e. theP limit) , paint a rich picture of a family of possible infinite-width scalings.
After healthy debate regarding the relative empirical performance of the (more analytically tractable)  NTK limit and the feature learning limit, a recent consensus holds that learning features is usually beneficial in practical large-scale deep learning settings.
Our spectral scaling analysis recovers the feature learning limit in a simpler manner than previous analyses.Spectral normalization.Spectral normalization emerged as a form of weight normalization in the generative adversarial network literature. This form of normalization acts on the weight matrices, and is used analogously to other normalization schemes such as batchnormand layernorm.
In contrast to our spectral scaling condition (1) , this method treats only the weights, not the updates. Furthermore, spectral normalization implementations typically set the spectral norm of weight matrices either to one or to a tunable hyperparameter, and do not include the key factor ofin our1.Operator theory of neural networks.Neural networks are constructed by composing linear operators with elementwise nonlinearities. One line of work studies this operator structure and how it behaves under perturbation to understand how step sizes should be set in gradient descent. For instance,derive perturbation bounds on the maximum amount of feature change that can be induced by a gradient step in terms of the operator properties of the weight matrices. Meanwhile,study the operator structure of neural networks in the limit that width is taken to infinity, proposing a parametrization that obtains feature learning in this limit.Optimization theory.A body of literature studies optimization algorithms for deep networks that take steps whose size is set relative to the weights to which they are applied.
A particular focus has been placed on setting the Frobenius norm of update steps to be small relative to the Frobenius norm of the weight matrices.
A main practical takeaway of this paper is that the Frobenius norm should be replaced by the spectral norm to get proper width scaling. The source of the difference between Frobenius and spectral norm is that gradient updates tend to have low stable rank, as shown inFigure1, while the weights themselves tend to have high stable rank.
body
A Spectral Condition for Feature Learning
7Related work
2310.17813
8ConclusionWe have presented an analysis of the dynamics of feature learning in deep neural networks, beginning with desired conditions on feature evolution (1)  and culminating in the demonstration that these conditions may be achieved by simple scaling rules (1and1)  applied uniformly to each layer.
Our analysis recovers and generalizes practically-important “feature-learning parametrizations” and provides a simple, unifying perspective on the question of parametrization in wide neural networks. For comparison, formal results derived under thetensor programsframework are given inAppendixB.Our discussion has focused principally on MLPs for clarity, but our feature learning desideratum and spectral scaling condition can be directly applied to structured architectures.
The spectral scaling condition may be applied to multi-index tensors as appear in convolutional architectures by applying the condition to appropriate “slices” of the full tensor.
Simple application of our spectral scaling condition recoversP scalings reported for these model classes (see e.g., Table 8 and Section J.2) .
We also give the hyperparameter scalings for biases (which are easily derived but omitted in the main text for clarity) 
in AppendixD.
This architectural universality is also proven rigorously inAppendixB.Finally, we note that under a natural redefinition of the-norm of a vectorincorporating a normalization prefactor,all vector and matrix norms used in our spectral analysisbecome, permitting an elegant summary of our conclusions.
We state and discuss this nondimensionalization procedure inAppendixE.
This generalization permits the extension of our results to e.g. the input layer in language modeling, in which one-hot embeddings violate our assumption that.
body
A Spectral Condition for Feature Learning
8Conclusion
2310.17813
AcknowledgementsThe authors thank Josh Albrecht, Blake Bordelon, Alex Wei, Nikhil Ghosh, and Dhruva Karkada for useful discussions and comments on the manuscript.
JS gratefully acknowledges support from the National Science Foundation Graduate Fellow Research Program (NSF-GRFP)  under grant DGE 1752814.
body
A Spectral Condition for Feature Learning
Acknowledgements
2310.17813
Author ContributionsGY developed our core insight regarding the utility of the spectral norm, produced our tensor programs theory (AppendixB) , and aided in refinement of the paper.
JS spearheaded the writing of the paper, led iteration towards simple analysis which communicates our spectral picture, and ran experiments.
JB developed an early incarnation of the spectral picture, contributed key insights simplifying our exposition including unifying all layers under single formulae, aided in writing the paper, and ran experiments.
conclusion
A Spectral Condition for Feature Learning
Author Contributions